JPH07162730A - 移動体撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 広範囲で、且つ、高速で移動する移動体であ
っても確実に追尾しつつ撮影することができる移動体撮
像装置を提供する。 【構成】 第１ビデオカメラ１にて移動体を含む画像を
広角で撮影するとともに、移動体検出部５を介して画像
中の移動体を検出し、また、動きベクトル検出部６及び
予測座標値演算部７を介して、移動体の動きベクトルを
検出した後その動きベクトルについての各種データに基
づき移動体の予測座標値を演算して、その予測座標値と
サイズ補正演算部８により演算されたズーム率に基づき
駆動制御部９を介してＰＡＮ・ＴＩＬＴ駆動部１３、ズ
ーム駆動部１２を駆動制御することにより第２ビデオカ
メラ２を駆動するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動している移動体を
追尾しながら撮影可能な移動体撮像装置に関し、特に、
広範囲で、且つ、高速で移動する移動体であっても確実
に追尾しつつ撮影することが可能な移動体撮像装置に関
するものである。

【０００２】

【従来の技術】従来より、人等の移動体を追尾しながら
撮影を行なう各種の移動体撮影装置が提案されている。
かかる移動体撮影装置では、一般に、ビデオカメラを三
脚等により固定的に設置した状態で移動体を追尾する構
成を有しており、移動体の追尾に際しては、移動体の出
現を検出した時点でズーム機能を作動させることにより
ビデオカメラの撮影範囲を拡大して移動体を追尾するよ
うにしている。

【０００３】例えば、特開平５−１４５８２３号公報に
は、固定的に配設された１つのビデオカメラ（画像入力
手段）により得られた複数の画像から背景修正手段を介
して画像間の背景を修正するとともに、動体認識手段に
より修正された画像から動体を認識し、かかる動体認識
手段からの出力に基づき制御手段を介して、支持台に支
持され画像入力手段を動かす駆動部を制御することによ
り、動体を追尾するようにした動体追尾装置が記載され
ている。かかる動体追尾装置によれば、ビデオカメラに
より人体等の動体を自動的に追尾可能となるものであ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、前記従
来の動体追尾装置では、画像入力手段として１台のビデ
オカメラが三脚等の支持台に固定的に配設されており、
かかる場合にはビデオカメラの撮影可能な範囲について
は自ずと限界が存在するものである。従って、移動して
いる動体を広範囲に渡って追尾することができないとい
う問題がある。一方、ビデオカメラの撮影範囲を拡大す
べく広角で動体を撮影しようとすると、動体を大きく撮
影することができず、これより撮影される動体が小さく
なって分解能が極端に低下してしまう。

【０００５】また、ビデオカメラを上下左右方向に駆動
する駆動装置においても、ビデオカメラを駆動する駆動
速度には自ずと限界が存し、従って、１台のビデオカメ
ラにより動体の追尾を行なう前記従来の動体追尾装置を
介して、高速で移動している動体を追尾する場合には、
動体の移動速度に追従してビデオカメラを駆動すること
は困難なものとなるという問題がある。特に、動体が、
一度ビデオカメラの撮影可能範囲から外れてしまうと、
その後における動体の追尾は殆ど不可能になってしまう
ものである。

【０００６】本発明は、前記従来の問題点を解消するた
めになされたものであり、第１画像入力手段と第２画像
入力手段の２つの画像入力手段を使用し、第１画像入力
手段を介して移動体を広角で広範囲に撮影するととも
に、第１画像入力手段からの画像データに基づいて第２
画像入力手段により移動体を追尾することにより、広範
囲で、且つ、高速で移動する移動体であっても確実に追
尾しつつ撮影することができる移動体撮像装置を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】前記目的を達成するため
本発明は、移動体を含む画像を広角で撮影して画像デー
タを入力する第１画像入力手段と第１画像入力手段から
入力された画像データに基づいて移動体を追尾しつつ撮
影する第２画像入力手段とを有する移動体撮像装置であ
って、前記第１画像入力手段から入力された画像データ
中に移動体が存在するかどうかを検出する移動体検出手
段と、前記移動体検出手段を介して移動体が検出された
場合その移動体の動きベクトルを演算する動きベクトル
演算手段と、前記動きベクトルに基づいて移動体の座標
値を予測する座標値予測手段と、前記座標予測手段によ
り予測された移動体の座標値に基づいて前記第２画像入
力手段を上下左右方向に駆動する駆動手段と、前記第２
画像入力手段により撮影された画像データを記憶する画
像データ記憶手段とを備えた構成とされる。

【０００８】

【作用】前記構成を有する本発明では、先ず、第１画像
入力手段を介して移動体を含む画像が広角にて撮影され
て画像データが作成される。また、移動体検出手段によ
り、かかる第１画像入力手段から入力された画像データ
中に移動体が存在するかどうかが検出される。そして、
移動体検出手段により画像データ中に移動体が検出され
た場合には、動きベクトル演算手段を介して移動体の動
きベクトルが演算されるとともに、その演算された動き
ベクトルに基づき座標値予測手段により移動体の座標値
が予測される。この後、このように予測された移動体の
座標値に基づいて、駆動手段が第２画像入力手段を上下
左右方向に駆動する。これにより、第２画像入力手段を
介して移動体が追尾され、また、第２画像入力手段によ
り撮影された画像データは画像データ記憶手段に記憶さ
れる。

【０００９】前記のように、本発明では、第１画像入力
手段を介して移動体を広角にて広範囲で撮影し、また、
移動体が検出された場合には第２画像入力手段を介して
移動体を追尾するようにしたので、移動体が広範囲で、
且つ、高速で移動している場合であっても、確実に移動
体を追尾しつつ撮影することが可能となるものである。

【００１０】

【実施例】以下、本発明を具体化した一実施例に基づい
て図面を参照しつつ詳細に説明する。先ず、本実施例に
係る移動体撮像装置の構成について図１に基づき説明す
る。ここに、図１は移動体撮像装置の電気的構成を示す
ブロック図である。図１において、移動体撮像装置は、
基本的に、第１ビデオカメラ１と第２ビデオカメラ２の
２つのビデオカメラ、制御部３、及び、駆動部４から構
成されている。

【００１１】ここに、第１ビデオカメラ１は、旋回台等
により回転されつつ時系列的に人体等の移動体を広角に
て広範囲で撮影するものであり、これより第１ビデオカ
メラ１には広角レンズ、魚眼レンズ等のレンズが装着さ
れている。また、第２ビデオカメラ２は、後述するよう
に、第１ビデオカメラ１により撮影された画像中に移動
体が検出された場合に、移動体を追尾するためのもので
ある。かかる第２ビデオカメラ２にはズーム機能（後述
する）が設けられており、第１ビデオカメラ１により撮
影された移動体に対し駆動部４を介して迅速に焦点を合
わせて移動体を拡大して撮影するものである。

【００１２】また、制御部３には、第１ビデオカメラ１
により撮影された画像中における移動体を検出する移動
体検出部５、移動体検出部５を介して移動体が検出され
た場合に移動体の動きベクトルを検出する動きベクトル
検出部６、動きベクトル検出部６により検出された移動
体の動きベクトルから得られる各種の情報（後述する）
に基づいて移動体の予測座標値を演算する予測座標値演
算部７、及び、移動体検出部５により検出された移動体
について、前記第２ビデオカメラ２により撮影される移
動体を所定のサイズに拡大するため、第２ビデオカメラ
２に装着されたレンズのズーム率を演算するサイズ補正
演算部８が設けられている。

【００１３】ここに、移動体検出部５は、第１ビデオカ
メラ１を介して撮影される画像の２つのフレームにおけ
る各画素を比較することにより各フレーム間の差分を求
め、その求めたフレーム差分に基づいて画像中から移動
体を検出する。また、動きベクトル検出部６は、前回撮
影したフレームと今回撮影したフレームとにおける画像
のエッジ線を空間微分等を行なうことにより求め、両フ
レームにおける各エッジ線の対応点を求めて各対応点を
結ぶベクトル（動きベクトル）の検出を行なうものであ
る。

【００１４】更に、予測座標値演算部７は、次のように
移動体の予測座標値を演算する。ここで、予測座標値演
算部７において行なわれる処理について図３、図４に基
づいて説明する。図３は第１ビデオカメラ１により撮影
され、移動体検出部５を介して検出された移動体につい
て動きベクトル検出部６により動きベクトルを検出して
いる状態を示す説明図、図４は動きベクトル等に基づい
て移動体の予測座標値を演算する状態を示す説明図であ
る。

【００１５】図３において、移動体としての人体Ａがポ
イントＰ１からポイントＰ２まで移動しており（各ポイ
ントＰ１、Ｐ２は人体Ａの中心座標で表わされる）、ま
た、動きベクトル検出部６を介して動きベクトルＶ１が
検出されている。ここに、人体ＡがポイントＰ１からポ
イントＰ２まで移動するに要した時間をｔ、動きベクト
ル検出部６が動きベクトルＶ１を演算、出力するに要し
た処理時間をｓ、第１ビデオカメラ１を介して人体Ａを
撮影するに際して第１ビデオカメラ１の旋回台を回転移
動させた時間をｕ、人体Ａが時間ｔ内に移動した距離を
ｌ（図３参照）、ポイントＰ２の座標値をｍとする。こ
れらのデータに基づいて、人体Ａの予測座標値は、下記
数式１により演算される。

【００１６】

【数１】

【００１７】かかる数式１により演算された人体Ａの予
測座標値が、図４において、ポイントＰ３（人体Ａの中
心座標で表わされている）に示されており、また、この
ときにおける動きベクトルはＶ２となる。更に、制御部
３について説明を続けると、制御部３には、前記予測座
標値演算部７により演算された移動体の予測座標値デー
タ、及び、サイズ補正演算部８により演算されたズーム
率のデータが入力され、駆動部４を制御する駆動制御部
９が設けられており、また、第２ビデオカメラ２により
撮影される画像データを画像メモリ１１に記憶させる記
憶制御等各種の画像制御を行なう第２カメラ制御部１０
が設けられている。

【００１８】また、駆動部４には、前記サイズ補正演算
部８により演算されたズーム率のデータが駆動制御部９
を介して入力され、かかるズーム率に基づいて第２ビデ
オカメラ２のズーム機構を駆動するズーム駆動部１２が
設けられており、また、駆動制御部９を介して制御され
て第２ビデオカメラ２を上下左右方向に駆動するＰＡＮ
・ＴＩＬＴ駆動部１３が設けられている。

【００１９】次に、前記のように構成された移動体撮像
装置の動作について図２に基づき説明する。図２は移動
体撮像装置の動作を説明するためのフローチャートであ
る。図２において、先ず、ステップ（以下、Ｓと略記す
る）１にて、第１ビデオカメラ１を介して所定の画像が
撮影されるとともに、撮影された画像データが移動体検
出部５に送られるとともに、移動体検出部５を介して、
前記したように、第１ビデオカメラ１により撮影された
画像における各フレーム間の差分に基づいて画像中から
移動体が検出される。そして、Ｓ２では、移動体検出部
５により画像中に移動体が検出されたかどうか判断され
る。移動体検出部５により移動体が検出されていない場
合（Ｓ２：ＮＯ）には移動体を検出すべくＳ１に戻る一
方、移動体検出部５により移動体が検出された場合（Ｓ
２：ＹＥＳ）には、Ｓ３において動きベクトル検出部６
により移動体の動きベクトル（図３中の動きベクトルＶ
１参照）が検出される。このとき、動きベクトルは、前
記したように、前回撮影したフレームと今回撮影したフ
レームとにおける画像のエッジ線を空間微分等を行なっ
て求め、両フレームにおける各エッジ線の対応点を求め
て各対応点を結ぶことにより検出されるものである。

【００２０】次に、Ｓ４においては、予測座標値演算部
７を介して、前記Ｓ３で検出した動きベクトルから得ら
れる各種のデータを前記数式１に代入することにより移
動体の予測座標値（図３のポイントＰ３参照）が演算さ
れる。また、Ｓ５では、第２ビデオカメラ２で移動体を
撮影するに際して、移動体を所定のサイズに拡大して撮
影するために、サイズ補正演算部８により第２ビデオカ
メラ２のズーム率が演算される。

【００２１】更に、Ｓ６においては、前記Ｓ４にて演算
された移動体の予測座標値のデータ、及び、Ｓ５にて演
算された第２ビデオカメラ２のズーム率のデータに基づ
いて、駆動制御部９が、各ＰＡＮ・ＴＩＬＴ駆動部１
３、ズーム駆動部１２の駆動制御を行なう。これによ
り、第２ビデオカメラ２は、確実、且つ、迅速に高速で
移動している移動体を所定のズーム率をもって撮影可能
となるものである。このように、第２ビデオカメラ２を
介して撮影された移動体が図５に示されている。図５
は、移動体としての人体Ａを所定のズーム率をもって拡
大して撮影した状態を示す説明図である。図５における
人体Ａは、前記のように予測された予測座標値（図４の
ポイントＰ３参照）に基づいて、ＰＡＮ・ＴＩＬＴ駆動
部１３、ズーム駆動部の駆動制御を行なうことにより第
２ビデオカメラ２を介して撮影されたものであり、かか
る人体Ａの撮影は、先ず、第１ビデオカメラ１にて移動
する人体Ａの存在を確認した後、迅速に人体Ａの動きベ
クトル、予測座標値を演算して第２ビデオカメラ２にて
人体Ａを撮影することにより可能となるものである。こ
のようにすれば、人体Ａ（移動体）が広範囲で、且つ、
高速で移動している場合においても、人体Ａの撮影を確
実に行なうことが可能となる。

【００２２】前記Ｓ６の処理が終了した後、Ｓ７では駆
動制御部９から第２カメラ制御部１０に駆動制御終了信
号（第２ビデオカメラ２の駆動制御が終了したことを示
す信号）が送出され、かかる駆動制御終了信号に基づい
て第２カメラ制御部１０は、第２ビデオカメラ２の記憶
制御を行なう。そして、Ｓ８において、第２ビデオカメ
ラ２は、第２カメラ制御部１０からの記憶制御信号に基
づいて、撮影した移動体の画像データを画像メモリ１１
に記憶する。この後、Ｓ１に戻って前記した一連の処理
が繰り返して行なわれるものである。

【００２３】以上詳細に説明した通り本実施例に係る移
動体撮像装置では、第１ビデオカメラ１にて移動体を含
む画像を広角で撮影するとともに、移動体検出部５を介
して画像中の移動体を検出し、また、動きベクトル検出
部６及び予測座標値演算部７を介して、移動体の動きベ
クトルを検出した後その動きベクトルについての各種デ
ータに基づき移動体の予測座標値を演算して、その予測
座標値とサイズ補正演算部８により演算されたズーム率
に基づき駆動制御部９を介してＰＡＮ・ＴＩＬＴ駆動部
１３、ズーム駆動部１２を駆動制御することにより第２
ビデオカメラ２を駆動するようにしたので、移動体が広
範囲で、且つ、高速で移動している場合においても、第
２ビデオカメラ２により移動体を確実、且つ、迅速に追
尾しつつ撮影することができる。

【００２４】特に、第１ビデオカメラ１は、移動体の撮
影を開始する初期時において、旋回台にて旋回されつつ
移動体を含む画像を広角にて撮影して移動体を補足する
ためのカメラとして作用するものであり、このように第
１ビデオカメラ１は極めて広い撮影範囲を有するもので
あるから、第１ビデオカメラ１は常に移動体を補足して
撮影することができる。

【００２５】また、前記従来における動体追尾装置が１
台のビデオカメラのみを使用して動体を撮影しながら動
体の追尾を行なうように構成されているのとは異なり、
第１ビデオカメラ１により撮影された画像データに基づ
き、予測座標値演算部７及びサイズ補正演算部８を介し
て演算された移動体の予測座標値と第２ビデオカメラ２
のズーム率に従って駆動制御部９によりＰＡＮ・ＴＩＬ
Ｔ駆動部１３、ズーム駆動部１２を迅速に駆動制御する
ように構成されているので、第２ビデオカメラ２の駆動
部４における駆動速度は全く問題になることはなく、こ
れより第２ビデオカメラ２を介して確実に移動体を追尾
することができるものである。

【００２６】更に、本実施例に係る移動体撮像装置にお
いては、第１ビデオカメラ１により撮影された画像中に
複数個の移動体が存在する場合においても、移動体検出
部５は画像データの全体について移動体の検出を行なっ
ていることから、複数個の移動体を同時に検出すること
ができるものである。尚、本発明は前記実施例に限定さ
れるものではなく、本発明の要旨を逸脱しない範囲内で
種々の改良、変形が可能であることは勿論である。

【００２７】

【発明の効果】以上説明した通り本発明は、第１画像入
力手段と第２画像入力手段の２つの画像入力手段を使用
し、第１画像入力手段を介して移動体を広角で広範囲に
撮影するとともに、第１画像入力手段からの画像データ
に基づいて第２画像入力手段により移動体を追尾するこ
とにより、広範囲で、且つ、高速で移動する移動体であ
っても確実に追尾しつつ撮影することができる移動体撮
像装置を提供することができ、その産業上奏する効果は
大である。

【図面の簡単な説明】

【図１】移動体撮像装置の電気的構成を示すブロック図
である。

【図２】移動体撮像装置の動作を説明するためのフロー
チャートである。

【図３】第１ビデオカメラにより撮影され、移動体検出
部を介して検出された移動体について動きベクトル検出
部により動きベクトルを検出している状態を示す説明図
である。

【図４】動きベクトル等に基づいて移動体の予測座標値
を演算する状態を示す説明図である。

【図５】移動体としての人体を所定のズーム率をもって
拡大して撮影した状態を示す説明図である。

【符号の説明】

１ 第１ビデオカメラ ２ 第２ビデオカメラ ３ 制御部 ４ 駆動部 ５ 移動体検出部 ６ 動きベクトル検出部 ７ 予測座標値演算部 ８ サイズ補正演算部 ９ 駆動制御部 １０ 第２カメラ制御部 １１ 画像メモリ １２ ズーム駆動部 １３ ＰＡＮ・ＴＩＬＴ駆動部 Ａ 人体

Claims (1)

【特許請求の範囲】
1. 【請求項１】 移動体を含む画像を広角で撮影して画
   像データを入力する第１画像入力手段と第１画像入力手
   段から入力された画像データに基づいて移動体を追尾し
   つつ撮影する第２画像入力手段とを有する移動体撮像装
   置であって、 前記第１画像入力手段から入力された
   画像データ中に移動体が存在するかどうかを検出する移
   動体検出手段と、 前記移動体検出手段を介して移動体が検出された場合そ
   の移動体の動きベクトルを演算する動きベクトル演算手
   段と、 前記動きベクトルに基づいて移動体の座標値を予測する
   座標値予測手段と、 前記座標予測手段により予測された移動体の座標値に基
   づいて前記第２画像入力手段を上下左右方向に駆動する
   駆動手段と、 前記第２画像入力手段により撮影された画像データを記
   憶する画像データ記憶手段とを備えたことを特徴とする
   移動体撮像装置。