WO2007088856A1 - 自動追尾装置及び自動追尾方法 - Google Patents

自動追尾装置及び自動追尾方法 Download PDF

Info

Publication number
WO2007088856A1
WO2007088856A1 PCT/JP2007/051512 JP2007051512W WO2007088856A1 WO 2007088856 A1 WO2007088856 A1 WO 2007088856A1 JP 2007051512 W JP2007051512 W JP 2007051512W WO 2007088856 A1 WO2007088856 A1 WO 2007088856A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
zoom
pan
automatic tracking
Prior art date
Application number
PCT/JP2007/051512
Other languages
English (en)
French (fr)
Inventor
Yasuyuki Michimoto
Satoru Ooyabu
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to CN2007800041584A priority Critical patent/CN101379825B/zh
Priority to EP07707730.3A priority patent/EP1981278B1/en
Priority to US12/162,823 priority patent/US8170277B2/en
Publication of WO2007088856A1 publication Critical patent/WO2007088856A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Definitions

  • the present invention is the above-described automatic tracking method, wherein the first zoom control step predicts a destination to which the object moves while changing the zoom magnification of the camera.
  • a first pan / tilt control step for controlling a pan angle and a tilt angle of the camera toward the predicted movement destination of the object, and the movement of the object tracked by the tracking step.
  • a second pan / tilt control step for controlling a pan angle and a tilt angle of the camera so as not to deviate from the image force.
  • FIG. 6 is a diagram showing the template matching operation according to this embodiment.
  • FIG. 7 A diagram showing a correlation map in which the correlation values at each position in the search area are represented in a two-dimensional array
  • the template matching unit 56 extracts the feature of the object detected by the second object detection unit 55 as a template, calculates the correlation between this template and the input image within the search range, and calculates the object region To track.
  • the template matching unit 56 uses the feature of the object detected by the first object detection unit 52 as a template. Extract as.
  • FIG. 7 is a diagram showing a correlation map in which the correlation values at each position in the search area are represented by a two-dimensional array.
  • the corresponding region 301 where the correlation value is a peak is the movement destination of the object.
  • the higher the correlation value the more the peak appears on the valley side.
  • the difference method and the difference absolute value is used.
  • the Japanese method and! in addition, although the case where the luminance value is used has been shown, for the correlation value calculation, a color, an edge, or the like may be used depending on the situation.
  • step Sl a process for capturing an image taken by the camera 8 is performed (step Sl). A time change of the captured image is detected, and an object that has entered the image is detected (step S2).
  • the automatic tracking camera 10 and the data processing device may be configured to be housed in the same casing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置を提供する。 　自動追尾装置は、カメラによって撮影され入力された画像から物体を検出する第１物体検出部５２と、検出された物体の大きさが画像上で所定より小さい場合、カメラのズーム倍率を変更する第１ズーム制御部５３と、ズーム倍率が変更された後、再びカメラによって撮影された画像から物体を検出する第２物体検出部５５と、第２物体検出部５５によって検出された物体とカメラによって撮影された画像とを比較して物体の位置を特定し、画像上で物体を追跡するテンプレートマッチング部５６と、追跡される物体がカメラによって撮影される画像上で所定の大きさになるように、カメラのズーム倍率を制御する第２ズーム制御５７とを備える。

Description

明 細 書
自動追尾装置及び自動追尾方法
技術分野
[0001] 本発明は、移動する物体を追尾する自動追尾装置及び自動追尾方法に関する。
背景技術
[0002] 従来、自動追尾装置として、パン、チルト、ズーム機能 (PTZ機能)を有するカメラを 設置し、所定の領域内に侵入した物体を検出し、さらに物体が適当な大きさに撮影さ れるようにズームアップして自動追尾を行うことで、侵入物体をより詳細に把握しようと する監視システムが知られて 、る。
[0003] この監視システムでは、広域を監視するために、初期状態でカメラのズーム倍率は 広角側に設定されていることが一般的である。侵入物体を検出した後、自動追尾状 態に遷移するために、急激にズームアップすると、画像の変形量が大きくなり、ブロッ クマッチングやテンプレートマッチング等による追跡中、侵入物体を見失いやすかつ た。したがって、画像の拡大、縮小の影響が出にくいように、比較的低速でズームを 行うことになる。
[0004] また、従来の自動追尾装置として、特許文献 1に記載のものが知られて 、る。この 自動追尾装置は、第 1、第 2の画像メモリ、デマルチプレクサ、相関演算器および移 動物体検知プログラムカゝら構成されている。相関演算器は、ハードウェアで構成され 、画像メモリに記憶されて ヽる撮像時間の異なる画像間で動きベクトルを推定する。 移動物体検知プログラムは、相関演算器を制御し、カメラによって撮像された画像中 に移動物体が存在するか否かを検知するためのものである。具体的に、画像を複数 のブロックに分割し、相関演算器によりブロック毎に動きベクトルを求める。求めた動 きベクトルを追跡し、人等の動き力木の揺れ等の外乱かを区別する。この区別の際、 人等の動きベクトルは一定方向にほぼ同じ大きさで現れるのに対し、木の揺れ等の 動きは振動的であるので、その動きベクトルは常に一定方向に現れるわけではないこ とが利用される。そして、動きべ外ルが塊状に検出された場合、追尾を開始する。
[0005] カメラ自体がパンやチルト動作を行う場合、カメラ自体の動きを示す背景動きべタト ルを抽出し、各ブロックのベクトル力も背景動きベクトルを差し引くことで、物体の動き ベクトルを抽出して追跡する。追尾中のズームにおいては、画像の拡大、縮小の変 化量を動きベクトル力 推定し、これを各ブロックのベクトル力 差し引くことで、物体 の動きベクトルを推定し、ズームによる追尾への影響を低減する。
[0006] また、従来の他の自動追尾装置として、特許文献 2に記載のものが知られて 、る。
この自動追尾装置は、ズームして移動体を拡大、縮小した場合、テンプレート画像と 撮影データ中の移動体の大きさが合わなくなり、追尾できなくなるという問題に対し、 撮像データから抽出した移動体領域を複数の任意倍率で拡大、縮小して複数のテ ンプレート画像を作成する。ズームによって移動体を拡大、縮小した場合、拡大、縮 小した画像の大きさに対応した拡大率、縮小率のテンプレート画像を用いて、テンプ レートマッチングを行い、移動体との相関を取りながら追尾する。
[0007] 特許文献 1 :特開 2000— 322581号公報
特許文献 2：特開 2001 - 243476号公報
発明の開示
発明が解決しょうとする課題
[0008] し力しながら、上記従来の自動追尾装置では、前述したように、画像の拡大、縮小 の影響が出にくいように、比較的低速でズームを行うことになる力 この場合、ズーム 倍率が所望の値まで変化している状態が長く続くため、追尾に失敗するなど、追尾 処理が不安定になりやす力つた。一方、侵入物体を検出した後、自動追尾状態に遷 移するためのズームアップを高速に行うと、画像の拡大あるいは縮小の変化度合い が大き過ぎて物体を見失 、やす力つた。
[0009] 本発明は、上記事情に鑑みてなされたもので、高速でズームアップまたはズームダ ゥンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる 自動追尾装置及び自動追尾方法を提供することを目的とする。
課題を解決するための手段
[0010] 本発明の自動追尾装置は、移動する物体を追尾する自動追尾装置であって、ズー ム機構を有し、所定の画角で撮影するカメラと、前記カメラによって撮影された画像か ら前記物体を検出する第 1物体検出手段と、前記検出された物体の大きさが前記画 像上で所定の条件を満たさな!/、場合、前記カメラのズーム倍率を変更する第 1ズー ム制御手段と、前記ズーム倍率が変更された後、再び前記カメラによって撮影された 画像から前記物体を検出する第 2物体検出手段と、前記第 2物体検出手段によって 検出された物体と前記カメラによって撮影された画像とを比較して前記物体の位置を 特定し、前記画像上で前記物体を追跡する追跡手段と、前記追跡される物体が前記 カメラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍 率を制御する第 2ズーム制御手段とを備えるものである。
[0011] この構成により、追尾開始前に広角な画像からズームアップを行い、その後に自動 追尾を行うように時間的に動作を分離させることで、ズームアップ処理中に発生しや すい追尾点を見失う現象を回避できる。よって、高速でズームアップまたはズームダ ゥンを行いつつ、ズームに伴う自動追尾の失敗を解消することができ、物体を安定し て追尾可能となる。
[0012] また、本発明は、上記の自動追尾装置であって、前記第 1ズーム制御手段によって 前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予 測手段と、前記予測された物体の移動先に向けて前記カメラのパン角およびチルト 角を制御する第 1パンチルト制御手段と、前記追跡手段によって追跡される物体の 移動に合わせて、前記物体が前記画像から外れないように、前記カメラのパン角およ びチルト角を制御する第 2パンチルト制御手段とを備えるものとする。
[0013] この構成により、追尾開始前のズーム制御を行う際、検出した物体の移動先を予測 してパン角およびチルト角を制御することで、さらに、ズームアップ処理中に物体が画 像力も外れて見失ってしまう現象を回避でき、より安定した追尾が可能となる。
[0014] また、本発明は、上記の自動追尾装置であって、前記第 2ズーム制御手段は、前記 第 1ズーム制御手段に比べて低速で前記ズーム倍率を制御するものとする。この構 成により、画像上で物体を安定した大きさに確保可能である。
[0015] また、本発明は、上記の自動追尾装置であって、前記第 2パンチルト制御手段は、 前記第 1パンチルト制御手段に比べて低速で前記パン角およびチルト角を制御する ものとする。この構成により、物体をさらに安定して追尾可能となる。
[0016] また、本発明は、上記の自動追尾装置であって、前記予測手段は、前記第 1ズーム 制御手段によってズーム倍率の変更が完了する時刻、および前記第 1パンチルト制 御手段によって前記パン角および前記チルト角の制御が完了する時刻のいずれか 遅い方の時刻における前記移動先を予測し、前記第 1パンチルト制御手段は、前記 予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御するも のとする。この構成により、ズーム処理中に物体の移動先位置を確実に捉えることが 可能となる。
[0017] 本発明の自動追尾方法は、移動する物体を追尾する自動追尾方法であって、ズー ム機構を有し、所定の画角で撮影するカメラによって撮影された画像から前記物体を 検出する第 1物体検出ステップと、前記検出された物体の大きさが前記画像上で所 定の条件を満たさな 、場合、前記カメラのズーム倍率を変更する第 1ズーム制御ステ ップと、前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像か ら前記物体を検出する第 2物体検出ステップと、前記第 2物体検出ステップで検出さ れた物体と前記カメラによって撮影された画像とを比較して前記物体の位置を特定し 、前記画像上で前記物体を追跡する追跡ステップと、前記追跡される物体が前記力 メラによって撮影される画像上で所定の大きさになるように、前記カメラのズーム倍率 を制御する第 2ズーム制御ステップとを有するものである。
[0018] この手順により、高速でズームアップまたはズームダウンを行 、つつ、ズームに伴う 自動追尾の失敗を解消することができ、物体を安定して追尾可能となる。
[0019] また、本発明は、上記の自動追尾方法であって、前記第 1ズーム制御ステップによ り前記カメラのズーム倍率を変更する間に前記物体が移動する移動先を予測する予 測ステップと、前記予測された物体の移動先に向けて前記カメラのパン角およびチル ト角を制御する第 1パンチルト制御ステップと、前記追跡ステップにより追跡される物 体の移動に合わせて、前記物体が前記画像力 外れないように、前記カメラのパン 角およびチルト角を制御する第 2パンチルト制御ステップとを有するものとする。
[0020] この手順により、さらに、ズームアップ処理中に物体が画像力 外れて見失ってしま う現象を回避でき、より安定した追尾が可能となる。
[0021] また、本発明は、コンピュータを、上記いずれかに記載の自動追尾装置の各手段と して機能させるためのプログラムを提供する。 発明の効果
[0022] 本発明によれば、高速でズームアップまたはズームダウンを行 、つつ、ズームに伴 う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置及び自動追尾 方法を提供することが可能である。
図面の簡単な説明
[0023] [図 1]本発明の実施形態における自動追尾カメラの外観的構成を示す図
[図 2]本実施形態に係る監視カメラシステムのハードウェア構成を示すブロック図 [図 3]実施形態に係る監視カメラシステムの制御部の機能的構成を示すブロック図 [図 4]画像の時間的変化によって検出された動きが発生した領域を含む画像を示す 図
[図 5]ズームアップされた物体を含む画像を示す図
[図 6]本実施形態に係るテンプレートマッチングの動作を示す図
[図 7]探索領域内の各位置の相関値が 2次元配列で表された相関マップを示す図
[図 8]本実施形態に係る自動追尾処理手順を示すフローチャート
符号の説明
[0024] 8 カメラ
11 回転台
10 撮像部（自動追尾カメラ)
20 制御部
21 CPU
22 ROM
23 RAM
24 画像メモリ
30 モニタ
51 画像入力部
52 第 1物体検出部
53 第 1ズーム制御部
54 第 1パンチルト制御部 55 第 2物体検出部
56 テンプレートマッチング部
57 第 2ズーム制御部
58 第 2パンチルト制御部
59 画像出力部
発明を実施するための最良の形態
[0025] 本実施形態の自動追尾装置は、パン、チルト、ズーム動作 (PTZ動作)可能な自動 追尾カメラを搭載した監視カメラシステム等に適用されるもので、人物等の侵入した 物体を自動的に検出して追尾する機能を有して 、る。
[0026] 図 1は本発明の実施形態における自動追尾カメラの外観的構成を示す図である。
この自動追尾カメラ 10は、天井 6に設置されたドーム型ケース 3を有する。ドーム型ケ ース 3には、その先端中央部を通過するように形成された溝部 3aから露出する光学 ズーム機構付きのカメラ 8、およびこのカメラ 8をパン方向に 360度かつチルト方向に
180度旋回自在である回転台 11 (図 2参照）が収納されている。カメラ 8は、光学ズー ム機構により調節される画角で画像を撮影する。
[0027] 図 2は本実施形態に係る監視カメラシステムのハードウェア構成を示すブロック図で ある。この監視カメラシステムは、撮像部（自動追尾カメラ） 10と、操作表示部 15およ び制御部 20からなるデータ処理部とにより主に構成される。
[0028] 撮像部 10は、前述したように、ドーム型ケース 3に収納されたカメラ 8および回転台
11を有する。操作表示部 15は、モニタ 30、ジョイスティック 33およびマウス 34を有す る。
[0029] 制御部 20は、周知の CPU21、 ROM22、 RAM23、カメラ 8によって撮影された画 像を蓄積する画像メモリ 24、回転台 11を駆動するための駆動インタフェース (IZF) 25、カメラ 8のズーム、シャツタ等を制御するとともに、撮影された画像を入力するた めのカメラ I/F26、外部のモニタ 30に撮影された画像を出力するためのモニタ I/F 27、時刻を計時するタイマ 29、および I/Oインタフェース 32がバス 28を介して接続 された構成を有する。
[0030] RAM23には、設定された探索範囲を記憶する探索範囲記憶部 23aが設けられて いる。画像メモリ 24には、テンプレート画像が登録されるテンプレート記憶部 24aが設 けられている。 I/Oインタフェース 32には、モニタ 30に表示された撮影画像に対し て入力指示を行うジョイスティック 33およびマウス 34が接続されている。
[0031] 図 3は本実施形態に係る監視カメラシステムの制御部 20の機能的構成を示すプロ ック図である。制御部 20は、画像入力部 51、第 1物体検出部 52、第 1ズーム制御部 53、第 1パンチルト制御部 54、第 2物体検出部 55、テンプレートマッチング部 56、第 2ズーム制御部 57、第 2パンチルト制御部 58、および画像出力部 59を備える機能的 構成を有する。画像入力部 51は、撮像部 10内のカメラ 8によって撮影された画像を 入力する。
[0032] ここで、第 1物体検出部 52は第 1物体検出手段の一例に相当し、第 1ズーム制御部 53は第 1ズーム制御手段の一例に相当し、第 2物体検出部 55は第 2物体検出手段 の一例に相当し、テンプレートマッチング部 56は追跡手段の一例に相当し、第 2ズー ム制御部 57は第 2ズーム制御手段の一例に相当する。また、第 1パンチルト制御部 5 4は予測手段および第 1パンチルト制御手段の機能を有する。また、第 2パンチルト 制御部 58は第 2パンチルト制御手段の機能を有する。
[0033] 第 1物体検出部 52は、画像入力部 51から入力された画像の時間的変化を検出す ることで画像内に侵入した物体を検出する。この物体検出では、例えば、画像中の動 き検出手段として広く知られるフレーム間差分法を用いて物体領域が検出される。即 ち、撮影時刻の異なる複数の画像間において、差分絶対値を各画素で計算し、この 差分絶対値が閾値を越える場合、動きが発生した領域であると判定する。また、動き が発生した領域が所定の大きさ (例えば、物体の高さと画像の高さとの比が 1Z10) 以上の塊状で検出され、かつ塊の重心の移動軌跡が所定の条件 (例えば、一定方 向にほぼ一定速度で移動)を満たす場合、画像中に物体が侵入した (移動物体が存 在する）と判断する。
[0034] 図 4は画像の時間的変化によって検出された動きが発生した領域を含む画像を示 す図である。図中、動きが発生した領域は斜線で描かれている。本実施形態の監視 カメラシステムでは、動きが発生した領域、つまり侵入物体は人間であると想定されて いる。 [0035] 第 1ズーム制御部 53は、物体領域の画像の大きさが所定の条件を満たさない場合 、カメラ 8のズーム倍率を変更する。このズーム倍率の変更では、第 1物体検出部 52 によって検出された物体の画像上における大きさが所定の条件を満たす力否かを判 断し、小さ過ぎる場合、所定の大きさに映るように目標となるズーム倍率までズームァ ップする。逆に、ズームダウンすることも考えられる力 一般的な監視カメラシステムで は、異常が発生していない状況では、ズームレンズを広角側に設定し、注視すべき 物体が侵入すると、望遠側にズームアップすることが多 、。
[0036] 図 5はズームアップされた物体を含む画像を示す図である。本実施形態では、検出 された物体が人物であると想定し、その全身の高さと画像の高さの比率が閾値 TH1 ( 例えば、 1Z5)未満である場合、 1Z4〜1Z2程度に映るように、ズーム倍率を変更 する。
[0037] 第 1パンチルト制御部 54は、予測した物体の移動位置に向けてパン角およびチル ト角を制御する。このパン角およびチルト角の制御は、第 1ズーム制御部 53によって 行われるズーム制御と並行して行われる。第 1物体検出部 52によって検出された物 体が画面 (撮影画像）内から外れないように、センタリングを行い、画面の中央付近で 安定して撮影が行われる。
[0038] しかし、第 1ズーム制御部 53が撮像部 10にズーム制御開始を指示して力も完了す るまでに数百ミリ秒〜数秒程度の時間を要する場合がある。最悪、パン、チルトおよ びズーム制御が完了した時には、移動物体が既に画面中央に存在しないか、画面 力ら外れることち考免られる。
[0039] そこで、本実施形態では、第 1物体検出部 52で算出された物体の移動軌跡を利用 し、移動物体は歩行程度の速度で移動するものと仮定し、パン、チルトおよびズーム 制御の完了予定時刻における物体位置に向けてパン角およびチルト角を制御し、力 メラ 8を移動、回転させる。つまり、現在の位置ではなぐこの先移動するであろう位置 を予測してパン、チルト制御を行う。移動先の予測として、ズーム倍率の変更が完了 する時刻、およびパン角およびチルト角の制御が完了する時刻のいずれか遅い方の 時刻における移動先が予測される。ここで、パン、チルトおよびズーム制御に要する 時間は、制御量に応じて予め計算可能である。 [0040] なお、物体の移動方向と一般的な歩行速度だけで物体の移動先を予測するので はなぐ実際に物体の移動速度を算出し、これを用いてパン角およびチルト角を制御 することも可能である。これにより、パン、チルト制御に多少時間が力かっても、完了 する時刻には、検出物体を画像の中心付近に捉えることができる。
[0041] 第 2物体検出部 55は、パン、チルトおよびズーム (PTZ)制御が行われた後の画像 内に存在する答の物体を再び検出する。この場合も、第 1物体検出部 52と同様、フ レーム間差分法により動きがあった領域を抽出し、物体の大きさ、移動軌跡等の特徴 量が所定の条件を満たす場合、物体として検出する。この物体の検出処理では、カメ ラ 8の PTZ制御は全て完了し、一時的に静止状態となっている。
[0042] なお、第 1物体検出部 52による物体の検出処理と比べ、被写体となる物体がより大 きく詳細に撮影されているので、検出条件の精度を変更したり、第 1物体検出部 52と 比べて異なるパラメータに設定したり、あるいは異なる処理を行うようにしてもよい。ま た、第 1物体検出部 52で検出された移動物体の色、輝度パターン、そのヒストグラム 等の特徴量を保持しておき、第 2物体検出部 55は、これに近い特徴量を持つ物体で ある力否かの判断をカ卩えて物体を検出するようにしてもよ!、。
[0043] テンプレートマッチング部 56は、第 2の物体検出部 55によって検出された物体の特 徴をテンプレートとして抽出し、探索範囲内でこのテンプレートと入力された画像との 相関を計算しながら物体領域を追跡する。なお、第 1物体検出部 52によって検出さ れた物体の画像上における大きさが所定の条件を満たす場合、テンプレートマッチ ング部 56は、第 1物体検出部 52によって検出された物体の特徴をテンプレートとして 抽出する。
[0044] 図 6は本実施形態に係るテンプレートマッチングの動作を示す図である。まず、第 2 物体検出部 55が物体を検出した領域力も初期テンプレート画像 (追尾点）を抽出す る。同一の物体について、取得した 1枚あるいは更新時刻が異なる複数枚の画像を 抽出し、テンプレート記憶部 24aに保持する。既存のテンプレート画像と入力画像と の相関が低くなつた場合、テンプレート画像を保存可能な上限枚数まで追加する。 上限枚数に達すると、古いものから新しいデータに更新する。なお、テンプレート画 像は、過去数枚から数十枚程度、保持し続けることが有効であるが、 1枚であってもよ い。
[0045] そして、入力画像 I力もテンプレート画像 Tと最も相関が高くなる対応領域 301を、 数十〜数百 ms周期毎に繰り返し探索することで物体を追跡する。複数のテンプレー ト画像が存在する場合、対象となる全てのテンプレート画像を用いて探索する。
[0046] 探索する範囲として、前回の処理で、テンプレート画像と最も相関が高力つた領域 を基準に、最新の入力画像 Iに対し、水平、垂直方向に数十画素程度の探索領域 3 02を設定する。この探索範囲 302内を走査しながらテンプレート画像 Tとの相関を順 次求める。なお、探索範囲を入力画像全体とすることも考えられるが、演算量が多す ぎること、誤対応が発生しやすいこと等から、一般的に探索範囲は限定される。探索 範囲の大きさは、物体の動きにもよるが、水平、垂直方向に数画素から数十画素程 度であることが望まれる。
[0047] 相関値の指標として、本実施形態では、正規化関数を用いた場合を示す。テンプ レート画像 Tの大きさを K(H) * L (V)画素とした場合、テンプレート画像 T(p, q)と、 現フレーム画像 I (x, y)内の矩形領域 K(H) * L (V)画素との正規ィ匕相関 NRM (xv , yv)は、以下の数式（1)で表される。
[0048] [数 1] 正規化相関値 NRML (xv,yv) =
Figure imgf000012_0001
但し、 現フレーム内の矩形領域 （K*L画素） における輝度の平均を 7、
テンプレート画像における輝度の平均 とする。
[0049] 正規ィ匕相関 NRM (xv, yv)は、両画像間の相関が高いほど値 1. 0に近い値となり 、相関が無い場合、値 0である。
[0050] 図 7は探索領域内の各位置の相関値が 2次元配列で表された相関マップを示す図 である。この相関マップでは、相関値がピークとなる対応領域 301が物体の移動先で ある。但し、図 7では、相関値が高いほど谷側にピークが現れるように表示されている [0051] なお、本実施形態では、正規ィ匕相関を用いて、入力画像とテンプレート画像との相 関値を求める場合を示したが、より演算量の少な!/、差分法や差分絶対値和法と!、つ た手法を用いてもよい。また、輝度値を用いる場合を示したが、相関値計算には、色 やエッジ等を、状況に応じて用いるようにしてもよい。
[0052] また、テンプレート画像のサイズを、物体領域全体を含む大きさに設定することが一 般的であるが、物体領域の頭部周辺等、その物体の特徴的な一部分をテンプレート 画像として抽出してもよい。また、追尾開始時の初期テンプレート画像の作成には、 前述した第 1物体検出部 52や第 2物体検出部 55で検出された物体の画像を利用す る他、操作者がジョイスティック 33やマウス 34等のポインティングデバイスにより指定 した位置の画像を利用してもよい。また、何らかの手段により画像中に所望の物体が 存在する確率が高 ヽ領域を認識して抽出するようにしてもょ ヽし、予め追尾した ヽ物 体のテンプレート画像を用意しておくことも考えられる。
[0053] 第 2ズーム制御部 57は、追跡中に物体が適切な大きさで撮影されるようにカメラ 8 のズーム倍率を制御する。第 1ズーム制御部 53では、できるだけ高速にズーム倍率 を制御する力 第 2ズーム制御部 57では、テンプレートマッチング部 56による物体の 追尾に影響が出ない程度、つまり画像の拡大および縮小が緩やかになるように、比 較的低速でズーム倍率を制御する。これは、第 2ズーム制御部 57によるズーム制御 は、微調整であるので、低速で制御しても制御に要する時間は短いことによる。追跡 中の物体の大きさは、カメラからの距離が変化することに伴って変化する。画面上で その大きさが所定の範囲を越えた場合、ズーム倍率を制御し、物体の大きさが所定 の範囲力も外れないようにする。例えば、人物がカメラに向力つて接近する場合、画 面上で物体が大きくなつていくので、所定の範囲を越えた場合、ズーム倍率を広角 側に制御し、物体を所定の範囲に収めるように制御する。
[0054] 第 2パンチルト制御部 58は、テンプレートマッチング部 56によって得られた物体領 域の移動に合わせて、追跡中に物体が画像から外れな!/、ようにパン角およびチルト 角を制御する。従って、追跡中の物体が監視区域内を移動しても、常に画面中央付 近で撮影される。第 1パンチルト制御部 54は、できるだけ高速にパンチルト制御を行 つたが、第 2パンチルト制御部 57は、テンプレートマッチング部 56による物体の追跡 処理に悪影響を与えな 、程度の比較的低速でパン角およびチルト角を制御する。
[0055] 画像出力部 59は、入力画像に処理結果等を重畳して外部のモニタ 30に出力する
[0056] 上記構成を有する監視カメラシステムの動作を説明する。図 8は本実施形態に係る 自動追尾処理手順を示すフローチャートである。この処理プログラムは、監視カメラシ ステムにおいて、 ROM22に格納されており、 CPU21によって実行される。
[0057] まず、カメラ 8によって撮影された画像を取り込む処理 (キヤプチヤ）を行う（ステップ Sl)。取り込まれた画像の時間的変化を検出し、画像内に侵入した物体を検出する（ ステップ S 2)。
[0058] 本実施形態では、動きが発生した領域が所定の大きさ（例えば、物体の高さと画像 の高さとの比が 1Z10)以上の塊状で検出され、かつ塊の重心の移動軌跡が所定の 条件 (例えば、一定方向にほぼ一定速度で移動）を満たす場合、画像中に物体が侵 入したと判断する。ここでは、追尾対象として、侵入した物体が人物であると想定して いる（図 4参照)。
[0059] そして、検出された物体領域の大きさが画像上で所定の条件を満たす力否かを判 別する (ステップ S3)。ここでは、物体領域 (全身)の高さと画像の高さとの比率が閾値 TH1 (例えば、 1Z5)未満であるか否かを判別する。物体の高さと画像の高さとの比 率が閾値 TH1未満である場合、カメラ 8のズーム倍率を変更するとともに (ステップ S 4)、予測した物体の移動先位置に向けてパン角およびチルト角を制御する (ステップ S5)。このように、ステップ S4、 S5で物体の大きさが所定の大きさになるように、カメラ 8のズーム倍率、パン角およびチルト角を制御した上で、物体を再度検出する (ステツ プ S6)。
[0060] 一方、ステップ S3で物体の高さと画像の高さとの比率が閾値 TH1以上である場合 、ステップ S4、 S5および S6の処理を行わない。
[0061] この後、検出された物体の特徴をテンプレート画像として抽出し、探索範囲内にお いて、この抽出されたテンプレート画像と入力した画像との相関を計算しながら物体 領域を追跡するテンプレートマッチングを行う（ステップ S7)。追跡中に物体が適切な 大きさで撮影されるように、カメラ 8のズーム倍率を制御する (ステップ S8)。さらに、テ ンプレートマッチングによって得られた物体領域の移動に合わせて、追跡中に物体 が画像力も外れないように、パン角およびチルト角を制御する (ステップ S9)。ズーム 倍率、パン角およびチルト角が制御されたカメラ 8からの画像をモニタ 30に出力する (ステップ S10)。そして、追尾完了であるか否かを判別する (ステップ S 11)。追尾完 了である場合、本処理を終了する。この追尾完了と判別される場合は、例えば、撮像 部 10では撮影不可能な領域 (監視区域外)に物体領域が移動した場合や、追尾完 了の指示が操作された場合等である。一方、追尾完了でない場合、ステップ S7の処 理に戻る。
[0062] このように、本実施形態の監視カメラシステムでは、撮影された画像上で検出された 物体が所定の大きさより小さく映っていた場合、すぐに追跡を開始せず、物体が所定 の大きさになるまで高速にズームアップする。その後、再び撮影された画像上でその 物体を検出して追尾を開始するので、長時間に亘るズーム制御による追跡処理の不 安定さを回避し、安定した追尾を実現できる。
[0063] また、物体が所定の大きさになるまで高速にズームアップする場合、ズーム制御に 数秒程度の時間を要するが、その間における物体の移動先位置を予測し、その位置 に向けてパン角およびチルト角を制御しておく。これにより、ズームアップ後も検出さ れた物体を確実に捉えている画像を用いて、物体の再検出が可能となる。これにより 、更に安定した追尾を実現できる。
[0064] なお、本発明は、上記実施形態の構成に限られるものではなぐ種々の変形が可 能である。例えば、上記実施形態では、侵入物体が人間であると想定し、第 1ズーム 制御部は物体の高さと画像の高さとの比率を基にズーム制御を行った場合を示した 力 侵入物体がその他の動物等であると想定した場合、物体の幅や物体の面積を基 にズーム制御を行うようにしてもよ 、。
[0065] また、上記実施形態では、 3次元座標として、パン角およびチルト角を有する極座 標を用いたが、 X軸、 Y軸、 Z軸カゝらなる直交座標を用いて、カメラの向きを制御する ようにしてもよい。
[0066] また、上記実施形態では、自動追尾カメラ 10と、データ処理装置 (制御部 20および 操作表示部 15を含む）とは別体に構成されていた力 同じ筐体内に収納するように 構成されてもよい。
[0067] 上述したように、本実施形態によれば、高速でズームアップまたはズームダウンを行 いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる。即ち、 ズームアップ処理中に発生しやす 、追尾点を見失う現象を回避することができる。ま た、追尾開始時のズーム制御を行う際、検出した物体の移動先を予測してパン角お よびチルト角を制御することで、ズームアップ処理中に物体が画像内から見失う現象 を回避することができる。これにより、安定した自動追尾が可能となる。
[0068] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
本出願は、 2006年 1月 31日出願の日本特許出願 (特願 2006-022887)、 に基づくものであり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0069] 本発明は、高速でズームアップまたはズームダウンを行 、つつ、ズームに伴う自動 追尾の失敗を解消し、物体を安定して追尾することが可能となる効果を有し、移動す る物体を追尾する自動追尾装置及び自動追尾方法等に有用である。

Claims

請求の範囲
[1] 移動する物体を追尾する自動追尾装置であって、
ズーム機構を有し、所定の画角で撮影するカメラによって撮影された画像から、前 記物体を検出する第 1物体検出手段と、
前記検出された物体の大きさが前記画像上で所定の条件を満たさな!/ヽ場合、前記 カメラのズーム倍率を変更する第 1ズーム制御手段と、
前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像力 前記 物体を検出する第 2物体検出手段と、
前記第 2物体検出手段によって検出された物体と前記カメラによって撮影された画 像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡 手段と、
前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになる ように、前記カメラのズーム倍率を制御する第 2ズーム制御手段と
を備える自動追尾装置。
[2] 前記第 1ズーム制御手段によって前記カメラのズーム倍率を変更する間に前記物 体が移動する移動先を予測する予測手段と、
前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御 する第 1パンチルト制御手段と、
前記追跡手段によって追跡される物体の移動に合わせて、前記物体が前記画像 から外れな 、ように、前記カメラのパン角およびチルト角を制御する第 2パンチルト制 御手段とを備える請求項 1記載の自動追尾装置。
[3] 前記第 2ズーム制御手段は、前記第 1ズーム制御手段に比べて低速で前記ズーム 倍率を制御する請求項 1または 2記載の自動追尾装置。
[4] 前記第 2パンチルト制御手段は、前記第 1パンチルト制御手段に比べて低速で前 記パン角およびチルト角を制御する請求項 2記載の自動追尾装置。
[5] 前記予測手段は、前記第 1ズーム制御手段によってズーム倍率の変更が完了する 時刻、および前記第 1パンチルト制御手段によって前記パン角および前記チルト角 の制御が完了する時刻のいずれか遅い方の時刻における前記移動先を予測し、 前記第 1パンチルト制御手段は、前記予測された物体の移動先に向けて前記カメ ラのパン角およびチルト角を制御する請求項 2記載の自動追尾装置。
[6] 移動する物体を追尾する自動追尾装置であって、
ズーム機構を有し、所定の画角で撮影するカメラと、
前記カメラによって撮影された画像カゝら前記物体を検出する第 1物体検出手段と、 前記検出された物体の大きさが前記画像上で所定の条件を満たさな!/ヽ場合、前記 カメラのズーム倍率を変更する第 1ズーム制御手段と、
前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像力 前記 物体を検出する第 2物体検出手段と、
前記第 2物体検出手段によって検出された物体と前記カメラによって撮影された画 像とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡 手段と、
前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになる ように、前記カメラのズーム倍率を制御する第 2ズーム制御手段と
を備える自動追尾装置。
[7] 移動する物体を追尾する自動追尾方法であって、
ズーム機構を有し、所定の画角で撮影するカメラによって撮影された画像から、前 記物体を検出する第 1物体検出ステップと、
前記検出された物体の大きさが前記画像上で所定の条件を満たさな!/ヽ場合、前記 カメラのズーム倍率を変更する第 1ズーム制御ステップと、
前記ズーム倍率が変更された後、再び前記カメラによって撮影された画像力 前記 物体を検出する第 2物体検出ステップと、
前記第 2物体検出ステップで検出された物体と前記カメラによって撮影された画像 とを比較して前記物体の位置を特定し、前記画像上で前記物体を追跡する追跡ステ ップと、
前記追跡される物体が前記カメラによって撮影される画像上で所定の大きさになる ように、前記カメラのズーム倍率を制御する第 2ズーム制御ステップと
を有する自動追尾方法。
[8] 前記第 1ズーム制御ステップにより前記カメラのズーム倍率を変更する間に前記物 体が移動する移動先を予測する予測ステップと、
前記予測された物体の移動先に向けて前記カメラのパン角およびチルト角を制御 する第 1パンチルト制御ステップと、
前記追跡ステップにより追跡される物体の移動に合わせて、前記物体が前記画像 から外れな 、ように、前記カメラのパン角およびチルト角を制御する第 2パンチルト制 御ステップとを有する請求項 7記載の自動追尾方法。
[9] コンピュータを、請求項 1から 5の 、ずれかに記載の自動追尾装置の各手段として 機能させるためのプログラム。
PCT/JP2007/051512 2006-01-31 2007-01-30 自動追尾装置及び自動追尾方法 WO2007088856A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800041584A CN101379825B (zh) 2006-01-31 2007-01-30 自动跟踪设备和自动跟踪方法
EP07707730.3A EP1981278B1 (en) 2006-01-31 2007-01-30 Automatic tracking device and automatic tracking method
US12/162,823 US8170277B2 (en) 2006-01-31 2007-01-30 Automatic tracking apparatus and automatic tracking method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006022887A JP4241742B2 (ja) 2006-01-31 2006-01-31 自動追尾装置及び自動追尾方法
JP2006-022887 2006-01-31

Publications (1)

Publication Number Publication Date
WO2007088856A1 true WO2007088856A1 (ja) 2007-08-09

Family

ID=38327428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/051512 WO2007088856A1 (ja) 2006-01-31 2007-01-30 自動追尾装置及び自動追尾方法

Country Status (5)

Country Link
US (1) US8170277B2 (ja)
EP (1) EP1981278B1 (ja)
JP (1) JP4241742B2 (ja)
CN (1) CN101379825B (ja)
WO (1) WO2007088856A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069223A1 (en) * 2009-05-28 2012-03-22 Panasonic Corporation Camera device with rotary base
US10965876B2 (en) 2017-11-08 2021-03-30 Panasonic Intellectual Property Management Co., Ltd. Imaging system, imaging method, and not-transitory recording medium

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ
JP2010016659A (ja) * 2008-07-04 2010-01-21 Sony Corp 撮像装置
JP5469894B2 (ja) * 2008-07-05 2014-04-16 株式会社トプコン 測量装置及び自動追尾方法
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
JP4780205B2 (ja) * 2009-02-23 2011-09-28 カシオ計算機株式会社 撮像装置、画角調節方法、及び、プログラム
JP5469899B2 (ja) * 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5214533B2 (ja) * 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム
CN102215377B (zh) * 2010-04-07 2012-10-31 北京智安邦科技有限公司 Ptz单目标自动跟踪的装置及方法
JP5553109B2 (ja) 2010-05-10 2014-07-16 富士通株式会社 画像処理装置および画像処理プログラム
KR101149329B1 (ko) * 2010-06-30 2012-05-23 아주대학교산학협력단 감시카메라를 이용한 능동적 객체 추적 장치 및 방법
US10560621B2 (en) * 2010-11-19 2020-02-11 Symbol Technologies, Llc Methods and apparatus for controlling a networked camera
US9497388B2 (en) * 2010-12-17 2016-11-15 Pelco, Inc. Zooming factor computation
US8872944B2 (en) * 2011-12-19 2014-10-28 Pelco, Inc. Method and system for image centering during zooming
US8704904B2 (en) * 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
WO2013116810A1 (en) 2012-02-03 2013-08-08 H4 Engineering, Inc. Apparatus and method for securing a portable electronic device
WO2013131036A1 (en) 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
JP2015513858A (ja) * 2012-03-02 2015-05-14 エイチ4 エンジニアリング, インコーポレイテッドH4 Engineering, Inc. 多機能自動ビデオ記録装置
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
JP2015514339A (ja) * 2012-03-13 2015-05-18 エイチ4 エンジニアリング, インコーポレイテッドH4 Engineering, Inc. スポーツイベントをビデオ録画し、ウェブキャストするシステム及び方法
EP2870748A4 (en) 2012-07-06 2016-03-09 H4 Eng Inc AUTOMATIC TRACKING SYSTEM FOR REMOTELY CONTROLLED VIEWING APPARATUS
CN102799977B (zh) * 2012-07-16 2015-12-16 泸州品创科技有限公司 一种物流颠簸监测取证系统及其工作方法
CN102932598B (zh) * 2012-11-06 2015-04-08 苏州科达科技股份有限公司 由摄像机对画面中的图像进行智能跟踪的方法
US9025051B2 (en) 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
JP2014241505A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラム
US9420187B2 (en) * 2013-11-29 2016-08-16 Avigilon Corporation Camera system control for correcting bore-sight offset
JP2015142181A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 制御装置、制御方法
JP2015097089A (ja) * 2014-11-21 2015-05-21 株式会社Ｊｖｃケンウッド 対象物検出装置、対象物検出方法
CN104469163A (zh) * 2014-12-18 2015-03-25 常州市好利莱光电科技有限公司 一种超清晰监控电动变焦镜头
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
JP6360204B2 (ja) * 2015-02-02 2018-07-18 富士フイルム株式会社 カメラ装置、撮像システム、制御方法及びプログラム
CN106370057B (zh) * 2015-07-20 2018-07-13 信泰光学(深圳)有限公司 追踪观测装置以及操作追踪观测装置的方法
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
EP3528024B1 (en) * 2016-10-17 2023-04-19 Sony Group Corporation Information processing device, information processing method, and program
CN107170239A (zh) * 2017-06-30 2017-09-15 广东工业大学 一种目标车辆追踪抓拍方法及装置
CN107959767B (zh) * 2017-12-14 2020-04-10 中国科学院长春光学精密机械与物理研究所 一种以电视跟踪结果为导向的调焦调光方法
KR20190094677A (ko) 2018-02-05 2019-08-14 삼성전자주식회사 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법
JP7169757B2 (ja) * 2018-03-28 2022-11-11 株式会社トプコン 測量装置、測量方法
CN110794692B (zh) * 2018-08-03 2021-07-23 珠海格力电器股份有限公司 家电设备的移动控制方法、装置及家电设备
JP7383438B2 (ja) * 2019-09-27 2023-11-20 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
JP7451122B2 (ja) * 2019-09-27 2024-03-18 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
JP2021118484A (ja) * 2020-01-28 2021-08-10 株式会社チャオ ゲートウェイ装置、ゲートウェイプログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体、ならびにカメラ映像転送方法
CN111627045B (zh) * 2020-05-06 2021-11-02 佳都科技集团股份有限公司 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
JP7451320B2 (ja) * 2020-06-18 2024-03-18 京セラ株式会社 情報処理システム、情報処理装置、及び、情報処理方法
KR102473142B1 (ko) * 2020-08-20 2022-12-01 엘텍코리아 주식회사 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
EP4047939A1 (en) 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise
JP2024033741A (ja) * 2022-08-31 2024-03-13 キヤノン株式会社 制御装置、撮像装置、制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322581A (ja) 1999-05-14 2000-11-24 Fujitsu Ltd 移動物体検知方法
JP2001243476A (ja) 2000-03-02 2001-09-07 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2002374521A (ja) * 2001-06-13 2002-12-26 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2005045383A (ja) * 2003-07-24 2005-02-17 Hitachi Kokusai Electric Inc 物体追跡装置
JP2006022887A (ja) 2004-07-07 2006-01-26 Inax Corp カバー付きクランプ装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991944A (en) * 1988-12-27 1991-02-12 Matsushita Electric Industrial Co., Ltd. Zoom lens driving apparatus
KR940007163B1 (ko) * 1991-07-09 1994-08-06 삼성전자 주식회사 캠코더의 피사체 자동추적장치
KR0147572B1 (ko) * 1992-10-09 1998-09-15 김광호 자동 줌잉을 위한 피사체 추적방법 및 그 장치
JP2846854B2 (ja) * 1996-07-17 1999-01-13 株式会社芙蓉ビデオエイジェンシー カメラ自動追従方法およびその装置
JP3429194B2 (ja) * 1998-05-12 2003-07-22 シャープ株式会社 自動追尾装置
KR100470931B1 (ko) * 2001-12-05 2005-02-22 가부시키가이샤 히다치 고쿠사이 덴키 템플레이트 매칭을 이용한 물체추적방법 및 장치
CN1186923C (zh) * 2003-04-03 2005-01-26 上海交通大学 异常目标自动发现及跟踪摄像机系统
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
JP4444746B2 (ja) * 2003-07-22 2010-03-31 株式会社日立国際電気 物体追尾方法及び物体追尾装置
JP4764033B2 (ja) * 2005-03-11 2011-08-31 キヤノン株式会社 レンズ駆動装置及び光学機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322581A (ja) 1999-05-14 2000-11-24 Fujitsu Ltd 移動物体検知方法
JP2001243476A (ja) 2000-03-02 2001-09-07 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2001285850A (ja) * 2000-03-30 2001-10-12 Nec Corp 自動追尾装置、自動追尾方法及び自動追尾プログラムを記録した記録媒体
JP2002374521A (ja) * 2001-06-13 2002-12-26 Mitsubishi Heavy Ind Ltd 移動体の監視方法および装置
JP2005045383A (ja) * 2003-07-24 2005-02-17 Hitachi Kokusai Electric Inc 物体追跡装置
JP2006022887A (ja) 2004-07-07 2006-01-26 Inax Corp カバー付きクランプ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1981278A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069223A1 (en) * 2009-05-28 2012-03-22 Panasonic Corporation Camera device with rotary base
US9091904B2 (en) * 2009-05-28 2015-07-28 Panasonic Intellectual Property Management Co., Ltd. Camera device with rotary base
US10965876B2 (en) 2017-11-08 2021-03-30 Panasonic Intellectual Property Management Co., Ltd. Imaging system, imaging method, and not-transitory recording medium

Also Published As

Publication number Publication date
EP1981278A1 (en) 2008-10-15
JP4241742B2 (ja) 2009-03-18
US20090028386A1 (en) 2009-01-29
CN101379825A (zh) 2009-03-04
EP1981278A4 (en) 2010-12-01
JP2007208453A (ja) 2007-08-16
US8170277B2 (en) 2012-05-01
EP1981278B1 (en) 2017-04-12
CN101379825B (zh) 2010-12-22

Similar Documents

Publication Publication Date Title
JP4241742B2 (ja) 自動追尾装置及び自動追尾方法
JP4699040B2 (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP4586709B2 (ja) 撮像装置
CN109922250B (zh) 一种目标对象抓拍方法、装置及视频监控设备
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
US8831282B2 (en) Imaging device including a face detector
JP3644668B2 (ja) 画像監視装置
US9565348B2 (en) Automatic tracking apparatus
US20130235086A1 (en) Electronic zoom device, electronic zoom method, and program
JP6574645B2 (ja) 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2004180321A (ja) ビデオ追跡システム及び方法
JP2012227737A (ja) カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
KR20170041636A (ko) 표시 제어장치, 표시 제어방법 및 프로그램
CN110944101A (zh) 摄像装置及图像记录方法
JP6257308B2 (ja) 自動追尾撮影システム
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JP4699056B2 (ja) 自動追尾装置及び自動追尾方法
JP2017204795A (ja) 追尾装置
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
JP3615868B2 (ja) 自動撮影カメラシステム
CN117014716A (zh) 一种目标追踪方法及电子设备
JP2010154287A (ja) 撮像装置及びその追尾方法
JP2009188905A (ja) 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム
JP3828096B2 (ja) 物体追跡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2007707730

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007707730

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780004158.4

Country of ref document: CN

Ref document number: 12162823

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE