JP6257308B2 - 自動追尾撮影システム - Google Patents

自動追尾撮影システム Download PDF

Info

Publication number
JP6257308B2
JP6257308B2 JP2013263511A JP2013263511A JP6257308B2 JP 6257308 B2 JP6257308 B2 JP 6257308B2 JP 2013263511 A JP2013263511 A JP 2013263511A JP 2013263511 A JP2013263511 A JP 2013263511A JP 6257308 B2 JP6257308 B2 JP 6257308B2
Authority
JP
Japan
Prior art keywords
tracking
subject
speed
captured image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013263511A
Other languages
English (en)
Other versions
JP2014143681A (ja
JP2014143681A5 (ja
Inventor
拓也 岸
拓也 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013263511A priority Critical patent/JP6257308B2/ja
Publication of JP2014143681A publication Critical patent/JP2014143681A/ja
Publication of JP2014143681A5 publication Critical patent/JP2014143681A5/ja
Application granted granted Critical
Publication of JP6257308B2 publication Critical patent/JP6257308B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、追尾対象物を自動で追尾する自動追尾撮影システムに関し、特に追尾対象物の動作に合わせて旋回を行う雲台を備える自動追尾撮影システムに関するものである。
近年、画像認識技術を用いて被写体を認識し雲台カメラをズーム・パン・チルト制御することで、被写体を自動で追尾する自動追尾カメラシステムが提案されている。
従来この様なシステムにおいては、自動追尾を行う前に追尾対象を画面のどの位置に表示するかをあらかじめ設定する必要がある。設定方法として特許文献1ではオペレータが操作器から画面上に追尾被写体の目標位置を設定し、自動追尾時にはその位置に被写体を画面内において相対的に停止するように雲台を制御することが開示されている。また、特許文献2に開示された従来技術では、被写体が画面中央へ向かう間は雲台制御を停止し、被写体が画面外側へ向かう場合に追尾制御する制御手法を取っている。
特開平8−74296号公報 特開2002−171439号公報
しかしながら、上述の特許文献1に開示された従来技術では、自動追尾開始時において、追尾すべき被写体が画面外側から進入してくると、設定された目標位置との位置が離れているため大きく急激な追尾動作を行うことになってしまう。また、追尾被写体が一定方向に移動する移動体である場合、画面進入直後に目標位置に捕捉制御すると、その追尾動作は移動方向と逆の不必要な動作となってしまう。特許文献2に開示された従来技術では、あらかじめ設定した画面中央の目標位置に被写体が到達するまで制御は行わないため急激で不必要な映像変化は生じない。しかし、被写体を追尾対象として識別する画像認識の乱れやズーム制御の影響によって、被写体と目標位置の相対的な位置関係が動いてしまうため、追尾動作が不安定になってしまうといったことがある。
そこで、本発明は、自動追尾開始時において追尾被写体の位置があらかじめ設定した目標位置と離れていても、急激で不必要な映像変化をさせないで所定の目標位置に追尾することを可能にすることを目的とする。また、追尾中において追尾対象を識別する画像認識の乱れやズーム制御によって取得する被写体の位置の値が不安定となった場合でも、安定した追尾動作を行うことが出来る自動追尾撮影システムを提供することを目的とする。
上記目的を達成するために、本発明の自動追尾撮影システムは、被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備え、前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、前記制御手段は、前記通常モードにおいて前記差分に基づいて前記駆動手段の速度を求める際のゲインが、前記初期モードのゲインよりも大きくなるように、前記駆動手段の速度を制御する。
本発明に係る自動追尾撮影システムおよび自動追尾カメラの制御方法によれば、大きな映像変化をさせることなく所定の目標位置に追尾することを可能にする。また、追尾中において追尾対象を識別する画像認識の乱れやズーム制御によって取得する被写体の位置の値が不安定となった場合でも、安定した追尾動作を行うことが可能となる。
追尾システムの構成図である。 追尾対象と追尾位置を示したモニタ画面である。 実施例における追尾処理のフローチャートである。 実施例1における初期モード処理のフローチャートである。 実施例における通常モード処理のフローチャートである。 実施例2における初期モード処理のフローチャートである。 実施例2における追尾の状態を示した説明図である。 実施例3における追尾手法の手順を示した説明図である。 実施例3における初期モード処理のフローチャートである。 追尾対象を認識した際の認識領域を示した図である。 実施例4における被写体の認識サイズの時間推移を示した図である。 実施例5における被写体の認識サイズの時間推移を示した図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態に関わる自動追尾撮影システムの構成図である。
以下、図1を参照して、本発明の第1の実施例による構成について説明する。
本実施例の自動追尾撮影システムは、レンズ30、カメラ20、雲台(駆動手段)10、自動追尾撮影システムを操作する操作機1、追尾処理装置40から構成される。レンズ30は、ズーム機能及びフォーカス機能を有する。カメラ20は、レンズ30からの被写体光を受光し被写体像を撮像する。雲台10は、カメラ20及びレンズ30をパン駆動及びチルト駆動して撮影方向を変更する。
雲台10は、雲台CPU11、追尾処理装置間通信部12、パン制御部13a、チルト制御部13b、パンモータ14a、チルトモータ14b、ズーム制御部15a、フォーカス制御部15b、カメラ20を制御するカメラ制御部16から構成される。追尾処理装置間通信部12は、追尾処理装置40との通信を行う。ズーム制御部15aはレンズ30のズームを制御する。フォーカス制御部15bはレンズ30のフォーカスを制御する。
雲台10は、まず追尾処理装置間通信部12で追尾処理装置40からの操作信号を受信する。受信した操作信号を雲台CPU11が解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン制御部13a、チルト制御部13bを制御することによって、パンモータ14a、チルトモータ14bを駆動する。ズーム・フォーカスの駆動命令であった場合には、ズーム制御部15a、フォーカス制御部15bを制御することによって、レンズ30を駆動する。カメラ20の各種制御命令であった場合には、カメラ制御部16を制御し、カメラ20を制御する。
追尾処理装置40は、画像データ変換部41、画像処理メモリ42、画像処理プロセッサ43、テンプレートメモリ44、追尾処理装置CPU45、操作器間通信部46、雲台間通信部47から構成される。
追尾処理装置40は、まずカメラ20から受信した撮影画像の映像信号を画像データ変換部41が1フレームごとの画像データに変換し画像処理メモリ42に保存する。画像処理プロセッサ43は、テンプレートメモリ44に保存されている画像を基準画像とし、画像処理メモリ42に保存されている画像に対して輝度パターンによるテンプレートマッチングを行うことで、追尾する被写体である追尾被写体の有無を判定する。画像処理メモリ42の中の基準画像との類似度が、あらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、追尾被写体が存在すると判定する。追尾被写体が存在する場合にはその撮影画像内における被写体の重心座標(Xobj, Yobj)を計算し、これらの抽出した被写体情報を現在値として追尾処理装置CPU45に送る。一方、閾値THを超える領域が存在しない場合には、追尾被写体が存在しないものとし、その結果を追尾処理装置CPU45に送る。
例えば、図2は追尾被写体がカメラ20の撮影する画角内に右側から進入し認識された直後のモニタ画面を示している。この場合には、追尾被写体が存在するという情報に加え、図2のように重心座標(Xobj, Yobj)をとり、追尾処理装置CPU45に送信する。追尾処理装置CPU45は、撮影画像内における追尾被写体の位置と撮影画像内での目標位置(最終的に被写体を表示させたい位置)との差分に基づいて駆動手段(パン、チルト、ズーム)の速度を制御する制御手段である。本実施例においては、追尾被写体が矢印のように移動し、Xobjが目標座標(所定位置)Xtgtに到達すると、その到達前と後で追尾処理のための雲台の駆動速度の決定手法を、目標座標(所定位置)への到達前を初期モード、到達後を通常モードとして切り替える。
以下に、追尾処理装置CPU45の処理の流れについて、図3のフローチャートをもとに説明する。
まず、操作器間通信部46から操作器1からの操作命令があるかを判定し(S101)、操作命令がある場合には、雲台10へ操作信号を送信する(S102)。次に、現在追尾中かどうかを判定し(S103)、追尾中でない場合には、追尾を開始するかの判定を行う(S104)。追尾開始条件を満たした場合には、カメラ20、レンズ30や雲台10の位置を初期状態へ移行させる(S105)。追尾中ではなく、追尾開始条件も満たしていない場合には、S101の操作信号の受信処理に戻る。追尾中であった場合には、追尾処理のモードフラグを参照し、初期モードであるかどうかの判定を行う(S107)。初期モードであった場合は、後述の初期モード処理を行う(S106)。初期モードではなく通常モードであった場合には、後述の通常モード処理を行う(S108)。最後に追尾終了の判定を行い(S109)、操作器1から追尾終了命令を受信するか、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する(S110)。以上のS101〜S110の処理を繰り返すことで、追尾被写体の追尾動作を行う。
次に、初期モードS106の詳細について、図4のフローチャートをもとに説明する。
追尾処理装置CPU45は初期モードの追尾処理のはじめに、前述の画像処理プロセッサ43から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する(S201)。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い(S202)、画面内に被写体が存在する場合には、さらに被写体が目標座標(所定位置)に到達したかの判定を行う(S203)。本実施例においては、目標座標とは、例えば、被写体の重心座標(Xobj, Yobj)のX座標値が、目標座標(所定位置)Xtgtに到達したか否かで判断することとするが、本発明はこれに限定されることはない。被写体が目標座標(所定位置)に到達した場合は、追尾処理のモードフラグを通常モードに切り替える(S204)。被写体が目標座標(所定位置)に到達していない場合は、処理を終了し、初期モードを継続する。S202において被写体が画面内に存在しない場合は、追尾終了フラグを立て(S205)、処理を終了する。
次に、通常モードS108の詳細について、図5のフローチャートをもとに説明する。
追尾処理装置CPU45は通常モードの追尾処理のはじめに、前述の画像処理プロセッサ43から被写体情報(画面内に被写体が存在する場合にはその位置情報を含む被写体情報)を受信する(S301)。受信された被写体情報から、画面内に被写体が存在するかの判定を行い(S302)、画面内に被写体が存在する場合には、速度決定手段である追尾処理装置CPU45は、撮影画像内における被写体の位置と撮影画像内での目標位置との差分に基づいて雲台10を追尾動作させる速度vを決定する(S303)。画面内に被写体が存在しない場合には、追尾終了フラグを立て(S304)、雲台10を停止させるようにv=0とする(S305)。最後に、決定した速度で動作するように雲台10へ操作信号を送信することで、自動追尾動作を行う(S306)。
以上のように初期モード時においては雲台10の制御を停止し、被写体が目標座標に到達後、通常の追尾制御を開始する。ここで、通常の追尾制御とは、所定の撮影画像内の位置或いは範囲内で、必要に応じて所定の撮影サイズで、撮影し続けるように、撮影画像内における被写体の位置と撮影画像内での目標位置(最終的に被写体を表示させたい位置、範囲、サイズ)との差分に基づいて駆動速度を決定して、雲台装置のパン、チルト、ズームを駆動することである。
追尾処理装置CPU45は、追尾被写体を最初に認識した後、追尾被写体が撮影画像内の所定位置に到達するまでは初期モードでパン、チルト、ズーム(駆動手段)の速度を制御し、追尾被写体が所定位置に到達した後は通常モードでパン、チルト、ズームの速度を制御する。
このことによって、追尾開始時における被写体を補足するための急激で不必要な動作を省き、被写体をスムーズに自動追尾することが出来る。
以下、本発明の第2の実施例について説明する。
自動追尾撮影システムの構成は図1に示す実施例1と同様である。追尾の基本処理についても図3に示すフローチャートと同様である。ただし、初期モードの処理S106における追尾処理装置CPU45の処理が異なるため、実施例2の初期モードにおける追尾処理装置CPU45の処理のフローチャートを図6に示す。通常モードにおける追尾処理S108は上記実施例1と同様である。
まず、実施例1と同様に、被写体の認識情報を受信し(401)、被写体が存在するかを判定する(S402)。被写体が存在する場合には、追尾に適した速度v(撮影画像内における被写体の位置と撮影画像内での目標位置(最終的に被写体を表示させたい位置、範囲、サイズ)との差分に基づく速度)を決定し(S403)、その速度vの操作信号を雲台10へ送信する(S404)。次に被写体が目標座標(所定位置)に到達したかの判定を行い(S405)、目標座標へ到達した場合は、追尾処理のモードフラグを通常モードに切り替える(S406)。被写体が目標座標(所定位置)に到達していない場合は、処理を終了し、初期モードを継続する。また、S402の判定において被写体が存在しない場合は、追尾終了フラグを立て(S407)、速度v=0とし(S408)、雲台10へ速度vの操作信号を送信した後(S409)、処理を終了する。S403において決定される速度vは、前述の通常モード処理におけるS303で決定される速度vと比較すると制御ゲインを下げ、低速となっている。すなわち、追尾処理装置CPU45は、通常モードにおいて撮影画像内における被写体の位置と撮影画像内での目標位置(最終的に被写体を表示させたい位置、範囲、サイズ)との差分に基づいてパン、チルトの速度を求める際のゲインが、初期モードのゲインよりも大きくなるように、パン、チルトの速度を制御する。または、被写体が撮影画像の外側(周辺側)の位置であるほど(撮影画像内の被写体の現在位置と目標位置との差分が大きいほど)低速で雲台10を制御するようにしてもよい。すなわち、追尾処理装置CPU45は、追尾被写体の位置が同じ場合、通常モードにおけるパン、チルトの速度よりも、初期モードにおけるパン、チルトの速度の方が遅くなるように制御する。
以上のように、被写体が目標座標へ到達する前の初期モード時において、雲台10を通常の追尾制御と比較して低速で動作させ被写体を追尾することで、撮影画像内に被写体を認識した直後に急激な雲台10の動作を行うことなく被写体を目標座標へ捕捉することが出来る。
図7は被写体が画面右側から進入し、目標座標に到達する前に画面外は出てしまうことを示している。実施例1の処理手順では図7のように移動する被写体を追尾することは出来ないが、本実施例2では初期モード時において雲台10を低速で動作させ追尾しているので、被写体を見失うことなく追尾することが出来る。
以下、本発明の第3の実施例について説明する。
自動追尾撮影システムの構成は図1に示す実施例1と同様である。追尾の基本処理についても図3に示すフローチャートと同様である。ただし初期モードの処理S106における追尾処理装置CPU45の処理が異なる。本実施例は、初期モードにおいて、目標算出手段である追尾処理装置CPU45は、追尾対象である被写体を捉えるための目標座標(目標位置、目標位置範囲)を随時更新することを特徴としている。図8は、目標座標を更新しながら被写体を最終的な目標座標へ誘導する例を示している。被写体が画面内に進入し追尾を開始すると、まず被写体を小目標1の位置に捕捉するように雲台10を動作させる。そして、順に小目標2、3…というように徐々に被写体を誘導し、最終的には通常モード時における目標座標へ被写体を留める。上記の目標座標の更新方法(小目標の設定方法)は2つの手法から選択する。一つ目の方法は、一定時間後に通常モードにおける目標座標へ到達するように更新する方法である(更新方法1)。二つ目の方法は、移動速度算出手段である追尾処理装置CPU45は、被写体の初期の移動ベクトルを検知し、その速度によって最適な時間で通常モードにおける目標座標へ到達するように更新する方法である(更新方法2)。通常モードにおける追尾処理S108は上記実施例1と同様である。
以下、実施例3の初期モードにおける追尾処理装置CPU45の処理を図9のフローチャートを用いて説明する。
まず、被写体を画面内に捉えるための目標座標の更新方法を決定する(S501)。そして実施例1、2と同様に、被写体の認識情報を受信し(S502)、被写体が存在するかを判定する(S503)。被写体が存在する場合には、S501で決定した目標座標の更新方法を判定し(S504)、上記更新方法2である場合のみ被写体の初期移動ベクトルを検知する(S505)。そして、目標値算出手段である追尾処理装置CPU45は、選択された更新方法に従って、目標座標を設定または更新する(S506)。次に、速度決定手段でもある追尾処理装置CPU45は、追尾に適した速度vを決定し(S507)、雲台10へ速度vの操作信号を送信する(S508)。最後に被写体が目標座標に到達したか判定し(S509)、目標座標に到達した場合は、追尾処理のモードフラグを通常モードに切り替える(S510)。目標座標へ到達していない場合には、処理を終了し、初期モードを継続する。また、S503で被写体が存在しなかった場合は、追尾終了フラグを立て(S511)、速度v=0とし(S512)、雲台10へ速度vの操作信号を送信した後(S513)、処理を終了する。
以上のように、被写体が目標座標へ到達する前の初期モード時において、目標座標を更新しながら追尾制御を行うことによって、追尾開始時において急激な動作を行うことなく被写体を目標座標に追尾制御することが出来る。また、通常モード時の目標座標に到達するまでの画面内における被写体の軌道を制御することで、良好な追尾映像を取得することが出来る。
以下、本発明の第4の実施例について説明する。
自動追尾撮影システムの構成は図1に示す実施例1と同様である。
上記実施例1〜3においては、主にパン・チルトの旋回制御について述べてきたが、本実施例4においては、レンズ30はズーム光学系を有し、パン・チルトの旋回制御に加えてズーム制御についての実施形態を示す。図10は追尾すべき被写体と、追尾処理装置40が認識する被写体の領域(Sx, Sy)(現在値)である。本実施例の通常モード時においては、撮影画像内における被写体サイズ(図10における被写体領域の対角線長)をあらかじめ設定した一定の値(目標値、所定サイズ)を保つようにズーム光学系の焦点距離を変更するようズーム制御を行っている。
本実施例の追尾処理装置CPU45の処理は、目標座標に到達する前の初期モード時においては、ズーム制御を停止(ズーム速度をゼロに設定)することを特徴としている。図11は本実施例における画面内における被写体サイズの値の時間推移を示している。この例における被写体は、遠方から徐々に近づく移動体を想定している。初期モード時においてはズーム制御を停止しているので、被写体が雲台10に近づくにつれて徐々に画面内における被写体サイズが大きくなっている。通常モードに切り替わると、設定された一定の値に画面内における被写体サイズを合わせ、その後は画面内における被写体サイズを保つようにズーム制御を行っている。
以上のように、初期モード時においてズーム制御を停止することによって、画面内の被写体と目標座標の相対的な位置関係が固定されるため、簡便な処理で安定したパン・チルト制御を行うことが出来る。本実施例は、ズーム制御を停止している間に画面内における被写体サイズが大きく変化すると、画面上における被写体の相対的な移動速度が変化してしまうため、初期モード時に画面内における被写体サイズが大きく変化しない状況で用いられることが望ましい。
以下、本発明の第5の実施例について説明する。
自動追尾撮影システムの構成は図1に示す実施例1と同様である。画面内における被写体サイズの定義、通常モード時の制御手法については実施例4と同様である。
本実施例の自動追尾撮影システムのレンズ30はズーム光学系を有し、追尾処理装置CPU45の処理は、目標座標に到達する前の初期モード時においては、最初に被写体を認識した時点の撮影画像内における被写体サイズを維持するようにズーム制御を行うことを特徴としている。図12は本実施例における画面内における被写体サイズの値の時間推移を示している。この例における被写体は、遠方から徐々に近づく移動体を想定している。初期モード時においては最初に被写体を認識した際の値を保ち、通常モードに切り替わると被写体の目標サイズをあらかじめ設定した目標値に切り替え、その目標値に撮影画像内における被写体サイズを合わせ、保つようにズーム光学系の焦点距離を変更するようズーム制御を行っている。
以上のように、初期モード時と通常モード時において使用される被写体の目標サイズ(目標値、所定サイズ)を切り替えてズーム制御を行うことによって、被写体の画面内における速度が被写体と雲台10の距離の変化に影響されなくなるため、安定したパン・チルト制御を行うことが出来る。また同様に、画面内の速度が距離に影響されなくなることから、初期における被写体の移動ベクトルを利用できるため、本実施例の手法を実施例3の移動ベクトルを用いる目標座標の更新方法に適用することが出来る。本実施例は、初期モード時にズーム制御によって被写体の値を保つことによって画面内における被写体の相対的な速度変化を抑制しているため、初期モード時において画面内における被写体サイズの変化量が無視できないような状況でより効果を発揮する。
上記の実施例1乃至5においては、被写体を認識する手法を画像認識で実現した場合を例示したが、他の認識手段、例えばレーダーを利用した被写体認識を用いてもよい。また、被写体を補足するための目標座標を撮影画像内の横方向の座標Xtgtとしたが、縦方向の座標を設定してもよいし、一点の座標ではなく、ある程度の広さを持たせた目標範囲としてもよい。また、被写体の進行方向を右から左として説明しているが、被写体の進行方向は特に限定されるものではない。また、追尾処理装置40において、画像処理プロセッサ43、操作器間通信部46、雲台間通信部47と追尾処理装置CPU45を別のものとしているが、1つのCPUで処理してもよいし、テンプレートメモリ44については、CPUの内蔵メモリを用いてもよい。さらに、追尾処理装置40の機能については、雲台10内部に組み込んでもよいし、雲台CPU11に統合してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
10 雲台
20 カメラ
30 レンズ
40 追尾処理装置
45 追尾処理装置CPU(速度決定手段、移動速度算出手段)

Claims (16)

  1. 被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備える自動追尾撮影システムであって、
    前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、
    前記制御手段は、前記通常モードにおいて前記差分に基づいて前記駆動手段の速度を求める際のゲインが、前記初期モードのゲインよりも大きくなるように、前記駆動手段の速度を制御する、
    ことを特徴とする自動追尾撮影システム。
  2. 前記制御手段は、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の前記目標位置との差分が大きいほど、前記初期モードでは遅く、前記通常モードでは速くなるように、前記駆動手段の速度を決定する、ことを特徴とする、請求項1に記載の自動追尾撮影システム。
  3. 前記制御手段が使用する前記目標位置を算出する目標算出手段を有し、
    前記目標算出手段は、前記初期モードでは前記目標位置を更新し、前記通常モードではあらかじめ設定された前記目標位置とする、
    ことを特徴とする請求項1又は2に記載の自動追尾撮影システム。
  4. 前記目標算出手段は、前記初期モードでは、前記追尾被写体を最初に撮影画像内で認識した位置と前記通常モードで使用する目標位置をもとに、目標位置を算出することを特徴とする請求項3に記載の自動追尾撮影システム。
  5. 前記追尾被写体の移動速度を算出する移動速度算出手段を有し、
    前記目標算出手段は、前記移動速度算出手段で算出される前記追尾被写体の移動速度をもとに目標位置を算出する、
    ことを特徴とする請求項3又は4に記載の自動追尾撮影システム。
  6. 前記撮影装置は、ズーム光学系を含み、
    前記制御手段は、前記初期モードではズーム速度をゼロとし、前記通常モードでは前記追尾被写体の撮影画像内での大きさが一定になるようにズーム速度を決定する、
    ことを特徴とする請求項1乃至5のいずれか1項に記載の自動追尾撮影システム。
  7. 前記撮影装置は、ズーム光学系を含み、
    前記制御手段は、前記初期モードでは前記追尾被写体を撮影画像内で認識した際の大きさを維持するようにズーム速度を決定し、前記通常モードでは撮影画像内で所定の大きさを維持するようにズーム速度を決定する、
    ことを特徴とする請求項1乃至5のいずれか1項に記載の自動追尾撮影システム。
  8. 被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備える自動追尾撮影システムであって、
    前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、
    前記制御手段は、前記追尾被写体の位置が同じ場合、前記通常モードにおける前記駆動手段の速度よりも、前記初期モードにおける前記駆動手段の速度の方が遅い、
    ことを特徴とする自動追尾撮影システム。
  9. 前記制御手段は、前記初期モードは前記通常モードよりも、前記駆動手段の駆動速度を算出する際のゲインが低い、ことを特徴とする請求項8に記載の自動追尾撮影システム。
  10. 前記制御手段は、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の前記目標位置との差分が大きいほど、前記初期モードでは遅く、前記通常モードでは速くなるように、前記駆動手段の速度を決定する、ことを特徴とする、請求項8又は9に記載の自動追尾撮影システム。
  11. 前記制御手段が使用する前記目標位置を算出する目標算出手段を有し、
    前記目標算出手段は、前記初期モードでは前記目標位置を更新し、前記通常モードではあらかじめ設定された前記目標位置とする、
    ことを特徴とする請求項8乃至10のいずれか1項に記載の自動追尾撮影システム。
  12. 前記目標算出手段は、前記初期モードでは、前記追尾被写体を最初に撮影画像内で認識した位置と前記通常モードで使用する目標位置をもとに、目標位置を算出することを特徴とする請求項11に記載の自動追尾撮影システム。
  13. 前記追尾被写体の移動速度を算出する移動速度算出手段を有し、
    前記目標算出手段は、前記移動速度算出手段で算出される前記追尾被写体の移動速度をもとに目標位置を算出する、
    ことを特徴とする請求項11又は12に記載の自動追尾撮影システム。
  14. 前記撮影装置は、ズーム光学系を含み、
    前記制御手段は、前記初期モードではズーム速度をゼロとし、前記通常モードでは前記追尾被写体の撮影画像内での大きさが一定になるようにズーム速度を決定する、
    ことを特徴とする請求項8乃至13のいずれか1項に記載の自動追尾撮影システム。
  15. 前記撮影装置は、ズーム光学系を含み、
    前記制御手段は、前記初期モードでは前記追尾被写体を撮影画像内で認識した際の大きさを維持するようにズーム速度を決定し、前記通常モードでは撮影画像内で所定の大きさを維持するようにズーム速度を決定する、
    ことを特徴とする請求項8乃至13のいずれか1項に記載の自動追尾撮影システム。
  16. ズーム光学系を用いて被写体を撮影する撮影装置と、前記ズーム光学系の焦点距離を変更し、前記撮影装置による撮影画像内での前記被写体の像の大きさを変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体のサイズと目標サイズとの差分に基づいて前記ズーム光学系を制御する制御手段と、を備える自動追尾撮影システムであって、
    前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体のサイズが前記撮影画像内の所定サイズに到達するまでは初期モードで前記ズーム光学系のズーム速度を制御し、前記追尾被写体のサイズが前記所定サイズに到達した後は通常モードで前記ズーム光学系のズーム速度を制御しており、
    前記制御手段は、前記追尾被写体のサイズが同じ場合、前記通常モードにおける前記駆動手段のズーム速度よりも、前記初期モードにおける前記駆動手段のズーム速度の方が遅い、
    ことを特徴とする自動追尾撮影システム。
JP2013263511A 2012-12-26 2013-12-20 自動追尾撮影システム Active JP6257308B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013263511A JP6257308B2 (ja) 2012-12-26 2013-12-20 自動追尾撮影システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012282226 2012-12-26
JP2012282226 2012-12-26
JP2013263511A JP6257308B2 (ja) 2012-12-26 2013-12-20 自動追尾撮影システム

Publications (3)

Publication Number Publication Date
JP2014143681A JP2014143681A (ja) 2014-08-07
JP2014143681A5 JP2014143681A5 (ja) 2017-01-26
JP6257308B2 true JP6257308B2 (ja) 2018-01-10

Family

ID=51424601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013263511A Active JP6257308B2 (ja) 2012-12-26 2013-12-20 自動追尾撮影システム

Country Status (2)

Country Link
US (1) US9165364B1 (ja)
JP (1) JP6257308B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6762726B2 (ja) * 2016-01-22 2020-09-30 古野電気株式会社 レーダ装置及び物標追尾方法
JP7478666B2 (ja) 2018-03-30 2024-05-07 ディーアールエス ネットワーク アンド イメージング システムズ、リミテッド ライアビリティー カンパニー 地球観測イメージング中の焦点面アレイのスキャンのための方法およびシステム
US11010905B2 (en) * 2018-09-07 2021-05-18 Apple Inc. Efficient object detection and tracking
JP7438706B2 (ja) 2019-09-30 2024-02-27 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
US11265478B2 (en) * 2019-12-20 2022-03-01 Canon Kabushiki Kaisha Tracking apparatus and control method thereof, image capturing apparatus, and storage medium
CN112989910A (zh) * 2020-12-12 2021-06-18 南方电网调峰调频发电有限公司 电力目标检测方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2875954B2 (ja) 1994-09-02 1999-03-31 新キャタピラー三菱株式会社 建設機械におけるカメラ自動追尾制御装置
JPH09186927A (ja) * 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
JP2002171439A (ja) 2000-11-29 2002-06-14 Fuji Photo Optical Co Ltd 自動追尾装置
JP2003060972A (ja) * 2001-08-09 2003-02-28 Olympus Optical Co Ltd カメラ
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
JP4699040B2 (ja) * 2005-02-15 2011-06-08 パナソニック株式会社 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
EP1881450A1 (en) * 2005-05-10 2008-01-23 Olympus Corporation Image processing apparatus, image processing method, and image processing program
JP4761146B2 (ja) * 2006-06-30 2011-08-31 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4623122B2 (ja) * 2008-04-03 2011-02-02 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
JP5809538B2 (ja) * 2011-11-15 2015-11-11 キヤノン株式会社 自動追尾カメラシステム

Also Published As

Publication number Publication date
JP2014143681A (ja) 2014-08-07
US9165364B1 (en) 2015-10-20
US20150294176A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
JP6257308B2 (ja) 自動追尾撮影システム
US9565348B2 (en) Automatic tracking apparatus
JP4697810B2 (ja) 自動追尾装置及び自動追尾方法
US7548269B2 (en) System for autofocusing a moving object
WO2007088856A1 (ja) 自動追尾装置及び自動追尾方法
WO2013066334A1 (en) Eye gaze based image capture
CN107147841B (zh) 一种双目摄像头调整方法、装置和系统
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
US20200329202A1 (en) Image capturing apparatus, control method, and recording medium
US20210152750A1 (en) Information processing apparatus and method for controlling the same
CN102016710A (zh) 摄像装置和用于控制摄像装置的方法
JP2017204795A (ja) 追尾装置
US10362277B2 (en) Following apparatus and following system
JP2014143681A5 (ja)
JP4948294B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2010145965A (ja) オートフォーカスシステム
JP5309499B2 (ja) エレベーターの防犯カメラ装置
JP3615868B2 (ja) 自動撮影カメラシステム
JP2010081041A (ja) 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法
JP2018085579A (ja) 撮像装置、制御方法、及び情報処理プログラム
JP2014039165A (ja) 追尾機能付き撮影装置
KR20200079963A (ko) 전주 위치 판단 시스템 및 방법
JPH09322048A (ja) 自動撮影カメラシステム
JP2017098723A (ja) 追尾装置
JP6317573B2 (ja) 追尾装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171205

R151 Written notification of patent or utility model registration

Ref document number: 6257308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151