JP4451122B2

JP4451122B2 - ビデオ追跡システム及び方法

Info

Publication number: JP4451122B2
Application number: JP2003397008A
Authority: JP
Inventors: セザイ・サブラク; デヴィッド・エヌ・カッツ; ミロスラヴ・トライコヴィッチ; マイケル・ディー・ボロティン; ダミアン・リオンズ
Original assignee: ボッシュ・セキュリティ・システムズ・インコーポレーテッド
Priority date: 2002-11-27
Filing date: 2003-11-27
Publication date: 2010-04-14
Anticipated expiration: 2023-11-27
Also published as: US20040100563A1; EP1427212A1; JP2004180321A; JP2007274703A; EP1427212B1; EP1427212B9; US9876993B2; JP5242938B2; US20120081552A1

Description

本発明は、動く物体を追跡するためのビデオカメラ・システムに関する。

人間や車両のような動く物体を追跡するために利用され得る、多数の既知のビデオ監視システムがある。そのようなシステムのいくつかは、静止した視野（ＦＯＶ）を有する固定されたカメラを利用する。しかし、固定されたカメラ・システムで所与の監視現場を完全にカバーするためには、しばしば、かなりの数の固定カメラを利用することが必要となる。

パン、ティルト（tilt）及びズームが可能な可動式のカメラも、物体を追跡するために用いられ得る。ＰＴＺ（パン、ティルト、ズーム）カメラ・システムの利用は、典型的には、所与の監視現場のために必要とされるカメラの数を減少させ、また、それにより、ビデオ・フィード、及びそれに関連付けられたマルチプレクサやスイッチャーのようなシステム統合ハードウェアの数及びコストをも減少させる。

視覚的監視システムはしばしば、操作者にも依存する。しかし、操作者を用いると、比較的高い時間コスト、単調でうんざりするような作業を実行する場合の疲れ易さ、複数の画像に同時に集中できないこと、及び偶然の又は意図的な人為的ミスといったいくつかの限定要素を受けやすい。そのような人間の限界による影響を軽減するため、操作者を支援又は代行する自動ビデオ追跡システムが利用されてきた。

自動ビデオ追跡システムにおいて典型的に利用される３つの主な手順は、背景減算、目標検出及び目標追跡を含む。固定されたカメラを利用すると、背景減算及び目標検出の処理が非常に単純化且つ高速化される。ＰＴＺシステムが利用される場合、典型的には、目標物の動きを分析し目標物の将来の位置を予測することにより、カメラが位置決めされる。次いで、カメラは、目標物の予測された将来の位置をＦＯＶの中心に位置決めするように調整される。目標物がＦＯＶの中心から離れ、新しい予測された将来の位置が計算される際、カメラは静止したままであり得る。その後、カメラは、再び目的物体を中心に置くように位置決めされる。目標物を追跡するために、そのような不連続なカメラの動きが連続的に繰り返される。従来、個々の不連続なカメラの動きは、利用できる限りで最も速いカメラの動作速度でなされ、個々のパンの動きは共通のパン速度で行われ、個々のティルトの動きは共通のティルト速度で行われ、個々のズームの動き即ちカメラの焦点距離の調整は共通のズーム速度で行われる。結果として、一連の不連続なカメラの動きは、典型的には、技能を有する人間がジョイスティック又は他のカメラ制御装置を操作して目標物を手動で追跡することにより作製したビデオ画像と比較して「がたがた揺れる」ビデオ画像をもたらす。

本発明は、可動式カメラを有する自動ビデオ追跡システムを提供し、該システムにおいては、目標物の追跡中に比較的滑らかに遷移する動きを持つビデオ画像を提供するために、目標物を追跡する際のカメラの自動調整が、連続的に様々な速度で行われ得る。

本発明は、一つの形態において、視野を有するビデオカメラを含むビデオ追跡システムを備え、当該カメラは選択的に調整可能であり、カメラの調整がカメラの視野を変化させる。本システムは、また、カメラに動作可能に結合される少なくとも一つのプロセッサを含む。プロセッサはカメラにより取得されたビデオ画像を受け取り、カメラを選択的に調整する。プロセッサは、ビデオ画像内の動く目標物を検出し、目標物を追跡するようカメラを調整するようにプログラムされており、複数の様々な調整速度でカメラを調整する。

本発明は、他の形態において、視野を有するビデオカメラを含むビデオ追跡システムを備え、当該カメラは選択的に調整可能であり、カメラの調整がカメラの視野を変化させる。本システムは、また、カメラに動作可能に結合される少なくとも一つのプロセッサを含む。プロセッサはカメラにより取得されたビデオ画像を受け取り、カメラを選択的に調整する。プロセッサは、ビデオ画像内の動く目標物を検出し、目標物の属性の関数である目標値を予測するようにプログラムされる。属性は目標物の速度であり得る。プロセッサは、目標値の関数である選択された調整速度でカメラを調整する。

代わりの実施の形態において、そのようなシステムは、目標物の少なくとも一つの属性の関数としてのカメラ調整速度を選択するプロセッサを含み得る。目標物の少なくとも一つの属性には、目標物の速度が含まれ得る。カメラのパン方向及びティルト方向のうちの少なくとも一つを調整する際、カメラは可変の速度で選択的に調整可能であり得る。

プロセッサは、第一の画像及び第二の画像の分析に基づいてカメラの調整速度を選択するようにプログラムされ得、第一の画像は第一の視野を区画するように調整されたカメラにより取得され、第二の画像は第二の視野を区画するように調整されたカメラにより取得される。第一及び第二の視野は部分的に重なり得、プロセッサによる選択された調整速度の決定は、第一及び第二の画像それぞれに現れた少なくとも一つの共通の特徴を識別し位置調整する工程を含む。カメラは選択された調整速度において調整される際に第三の視野を区画し得、カメラが第三の視野を区画する際に第三の画像がカメラにより取得される。第一、第二及び第三の画像は、プロセッサにより連続的に分析される。カメラは、選択的に調整可能な焦点距離を有し、プロセッサは、カメラから目標物までの距離の関数としてカメラの焦点距離を選択し得る。

カメラの調整は、Ｘ軸を決定するカメラの選択的なパン動作、Ｙ軸を決定するカメラの選択的なティルト動作、及びＺ軸を決定するカメラの選択的な焦点距離調整を含み得、Ｘ、Ｙ及びＺ軸は互いに垂直に向けられる。プロセッサは、当該目標物のＸ軸上の速度の関数である選択されたパン速度、及び目標物のＹ軸上の速度の関数である選択されたティルト速度でカメラを調整し得る。カメラは、また、プロセッサが第二の調整速度を選択し、カメラに第二の調整速度を伝達するまで、第一の選択された調整速度で調整され得る。

追跡システムは、また、システムに動作可能に結合される表示装置及び入力装置を備え得、操作者は表示装置上のビデオ画像を見、入力装置を介して命令又はデータをシステムに入力し得る。表示装置及び入力装置は、カメラから離れて設置されてもよい。

本発明は、更に他の形態において、視野を有するビデオカメラを含むビデオ追跡システムを備え、該カメラは選択的に調整可能であり、カメラの調整がカメラの視野を変化させる。本システムは、また、カメラに動作可能に結合される少なくとも一つのプロセッサを含む。プロセッサはカメラにより取得されたビデオ画像を受け取り、カメラを選択的に調整する。プロセッサは、ビデオ画像内の動く目標物を検出し、カメラを調整して目標物を追跡するようにプログラムされる。目標物の追跡中、プロセッサは複数の命令をカメラに伝達し、カメラは命令に従って、固定した間隔をはさまず連続的且つ可変に調整可能である。

そのようなシステムのカメラは、カメラのパン方向及びカメラのティルト方向のうちの少なくとも一つ又はそれぞれを調整する際、可変の速度において選択的に調整可能であり得る。カメラは、調整される期間に、プロセッサによる分析のための画像を取得し得、カメラの連続的且つ可変な調整は、調整方向又は調整速度を変えることを含む。命令は、第二の命令がカメラにより受信されるまでカメラを選択された速度及び方向で調整する第一の命令を含み得る。

本発明は、更に他の形態において、視野を有するビデオカメラを含むビデオ追跡システムを備え、該カメラは選択的に調整可能であり、カメラの調整がカメラの視野を変化させる。本システムは、また、カメラに動作可能に結合される少なくとも一つのプロセッサを含み、プロセッサはカメラにより取得されたビデオ画像を受け取り、カメラを選択的に調整する。プロセッサは、ビデオ画像内の動く目標物を検出し、カメラを調整して目標物を追跡するようにプログラムされる。プロセッサは、カメラにより取得された、それぞれが異なる視野を記録する第一、第二及び第三の画像を連続的に分析し得る。プロセッサは、カメラを選択的に調整する第一の命令、及びカメラを選択的に調整する第二の命令をカメラに伝達する。カメラは、第一の画像の取得と第二の画像の取得との間の第一の時間間隔の少なくとも一部の期間に、第一の命令に従って調整される。カメラは、第二の画像の取得と第三の画像の取得との間の第二の時間間隔の少なくとも一部の期間に、第二の命令に従って調整される。カメラは、第一の画像の取得から第三の画像の取得まで連続的に調整される。

本発明は、更に他の形態において、ビデオカメラで目標物を追跡する方法を含む。該方法は、視野を有する選択的に調整可能なビデオカメラを設ける工程であって、カメラの調整がカメラの視野を変化させる工程を含む。該方法は、また、目標物を追跡するために選択的に可変な調整速度でカメラを調整する工程を含む。調整速度は、目標物の少なくとも一つの属性の関数として選択され得る。

本発明は、更に他の形態において、ビデオカメラで目標物を追跡する方法を含む。該方法は、視野を有する選択的に調整可能なビデオカメラを設ける工程であって、カメラの調整がカメラの視野を変化させる工程を含む。該方法は、また、カメラにより取得された画像内の目標物を検出する工程と、目標物の少なくとも一つの属性の関数である目標値を予測する工程と、選択的に可変な速度でカメラを調整する工程であって、カメラ速度の調整速度が目標値の関数として選択される工程とを含む。

上記の方法の代わりの実施の形態において、目標物の少なくとも一つの属性は、目標物の速度を含み得る。調整速度は、第一の画像が第一の視野を区画するように調整されているときのカメラにより取得され、第二の画像が第二の視野を区画するように調整されているときのカメラにより取得される場合の、第一の画像及び第二の画像の分析に基づいて選択され得る。第一及び第二の視野は部分的に重なり得、調整速度の決定は、第一及び第二の画像のそれぞれに現れた少なくとも一つの共通の特徴を識別し位置調整する工程を含み得る。選択的に可変な調整速度におけるカメラの調整は、カメラのパン方向及びカメラのティルト方向のうちの少なくとも一つ又はそれぞれを調整する工程を含み得、選択された可変な調整速度は、目標物の速度の関数として選択され得る。調整速度の決定は、また、カメラから目標物までの実世界の距離の関数である比例係数の利用を含み得る。カメラの調整は、また、第二の選択された調整速度がカメラに伝達されるまで、第一の選択された調整速度でカメラを調整する工程を含み得る。

本発明は、他の形態において、ビデオカメラで目標物を追跡する方法を含む。該方法は、視野を有する選択的に調整可能なビデオカメラを設ける工程であって、カメラの調整がカメラの視野を変化させる工程を含む。該方法は、また、目標物を追跡するためにカメラを調整する工程を含み、カメラの調整は、少なくとも一つの調整パラメータを選択的且つ可変に調整する工程を含み、カメラは、少なくとも一つの調整パラメータの選択的且つ可変な調整の期間に、連続的に調整可能である。

カメラの少なくとも一つの調整パラメータの選択的且つ可変な調整は、カメラのパン方向及びカメラのティルト方向のうちの少なくとも一つ又はそれぞれの調整を含み得る。そのようなパラメータの調整は、選択的且つ可変であり得る。そのようなパラメータの選択的且つ可変な調整は、調整方向又は調整速度を変化させる工程を含み得、調整速度は目標物の速度の関数として選択され得る。

本発明は、他の形態において、ビデオカメラで目標物を追跡する方法を含む。該方法は、視野を有する選択的に調整可能なビデオカメラを設ける工程であって、カメラの調整がカメラの視野を変化させる工程を含む。該方法は、また、カメラにより取得された画像内の目標物を検出する工程と、それぞれ異なる視野を記録する第一、第二、及び第三の画像を取得する工程とを含む。該方法は、また、カメラを選択的に調整する第一の命令をカメラに伝達する工程と、カメラを選択的に調整する第二の命令をカメラに伝達する工程とを含む。該方法は、更に、第一の画像の取得と第三の画像の取得との間にカメラを連続的に調整する工程を含み、カメラは、第一の画像の取得と第二の画像の取得との間の第一の時間間隔の少なくとも一部の期間に第一の命令に従って調整され、第二の画像の取得と第三の画像の取得との間の第二の時間間隔の少なくとも一部の期間に第二の命令に従って調整される。

第一及び第二の命令は、カメラのパン方向及びカメラのティルト方向のうちの少なくとも一つ又はそれぞれを選択的に調整する。そのようなパラメータの調整は、選択的に可変な調整速度でなされ得、速度は目標物の速度の関数として選択され得る。

本発明は、更に他の形態において、選択的に調整可能な焦点距離を持つビデオカメラを有するビデオ追跡システムを備える。本システムは、また、カメラに動作可能に結合される少なくとも一つのプロセッサを備え、該プロセッサは、カメラにより取得されたビデオ画像を受け取り、カメラの焦点距離を選択的に調整する。プロセッサは、ビデオ画像内の動く目標物を検出し、カメラから目標物までの距離の関数としてカメラの焦点距離を調整するようにプログラムされる。システムのカメラは、また、選択的に調整可能なパン方向及び選択的に調整可能なティルト方向を有し得、プロセッサは、目標物がビデオ画像の中央になり続けるようにパン方向及びティルト方向を調整し、カメラの焦点距離をティルト角の関数として選択的に調整する。

本発明は、更に他の形態において、目標物をビデオカメラで自動追跡する方法を含む。該方法は、選択的に調整可能な焦点距離を有するビデオカメラを設ける工程と、カメラの焦点距離をカメラから目標物までの距離の関数として調整する工程とを含む。そのような方法で用いられるカメラは、また、選択的に調整可能なパン方向及び選択的に調整可能なティルト方向を有し得、物体を追跡する工程は、カメラのパン方向及びティルト方向を調整する工程と、カメラのティルト角の関数としてカメラの焦点距離を選択的に調整する工程とを含む。

本発明の利点は、目標物の追跡期間に比較的なめらかに遷移するカメラ動作を反映するビデオ画像を提供することであり、該ビデオ画像は、目標物の追跡時にある点から他の点へと「飛ぶ」ことがない。結果としてのビデオは、典型的に、より見やすく、目標物の行動を監視するためにビデオを見ている操作者にとって気が散ることが少ないと考えられる。

本発明の他の利点は、自動追跡を目的に取得される画像が、カメラが動いている期間に得られることを可能にすることにより、目標物の追跡中にカメラが画像取得のために固定した位置に止まっていることを必要としないことである。

本発明の更に他の利点は、操作者が手動でカメラを位置決めする間に、システムが目標物を追跡し続けることを可能にすることである。なぜなら、追跡システムは、目標物を追跡するために、共通の視野を持たない一連の画像を利用し得るからである。

本発明の更に他の利点は、従来のパン、ティルト、ズーム（ＰＴＺ）カメラとともに利用され得ることであり、それにより、そのような従来のＰＴＺカメラを有する既存の設備の改装及び更新を促進することである。

添付の図面と組み合わせて以下の本発明の実施の形態の説明を参照することにより、本発明の上記の及び他の特徴及び目的、及びそれらを達成する方法がより明らかになり、本発明そのものがより良く理解される。

対応する参照符号は、いくつかの図面を通して対応する部分を示す。本明細書に述べられる例示は、本発明の実施の形態の一つを示すが、以下に開示される実施の形態は網羅的であること、又は、開示された形態のみに本発明の範囲を限定することを意図しない。

図１において、本発明に係るビデオ監視システム２０が示される。システム２０は、部分的に球状のカバー２４の中に置かれたカメラ２２を含む。カバー２４は、カメラがカバー２４の外の環境の画像を取得することを可能にし、同時にカメラ２２により監視される環境内の個人がカメラ２２の方向を決定することができないよう、薄く色がつけられる。カメラ２２は、カメラ２２のパン、ティルト及び焦点距離の調整を提供するコントローラー及びモーターを含む。カメラ２２のパン動作は矢印２６により表わされ、カメラ２２のティルト動作は矢印２８により表わされ、カメラ２２のレンズ２３の焦点距離の変更、即ちズームは、矢印３０により表わされる。座標系２１に示されるように、パン動作はＸ軸に沿った動きを追跡し、ティルト動作はＹ軸に沿った動きを追跡し、焦点距離調整はＺ軸に沿った動きを追跡するために用いられ得る。図示された実施の形態において、カメラ２２及びカバー２４は、ペンシルヴァニア州ランカスターに拠点を有するボッシュ・セキュリティ・システムズ社（旧フィリップス・コミュニケーション，セキュリティ・アンド・イメージング社）から入手可能な、例えばＧ３ＢａｓｉｃＡｕｔｏＤｏｍｅ（登録商標）カメラ及びカバーのようなＰｈｉｌｌｉｐｓＡｕｔｏＤｏｍｅ（登録商標）カメラ・システム・ブランドのカメラ・システムである。本発明による利用に適したカメラは、Ｓｅｒｇｅａｎｔらにより、監視カメラシステムと題された米国特許第５，６２７，６１６号に記載されており、該特許は、参照により全文が本明細書に援用される。

システム２０は、また、ヘッド・エンド・ユニット３２を含む。ヘッド・エンド・ユニット３２は、ビデオ・スイッチャー又はビデオ・マルチプレクサ（図示せず）を含み得る。例えば、ヘッド・エンド・ユニットは、ペンシルヴァニア州ランカスターにあるボッシュ・セキュリティ・システムズ社（旧フィリップス・コミュニケーション，セキュリティ・アンド・イメージング社）から入手可能な、例えば、６４個までのカメラによる入力を提供し８つの独立したキーボードと８つのモニターを設置できるＬＴＣ８５００シリーズＡｌｌｅｇｉａｎｔビデオ・スイッチャーのような、Ａｌｌｅｇｉａｎｔブランドのビデオ・スイッチャーを含み得る。ヘッド・エンド・ユニット３２は、操作者による入力のためのキーボード３４及びジョイスティック３６と、操作者が見るための表示装置３８とを含む。カメラ２２及び自動追跡ユニット５０に電力を供給するために、２４ボルトのＡＣ電源が提供される。

図示されたシステム２０は単一のカメラの適用であるが、本発明は、より大きな又はより複雑な監視領域に適用範囲を提供するために、固定式又は可動式であってもよく又はそれらの組合せであってもよい追加のカメラを有するより大きな監視システム内においても利用され得る。カメラ２２及びシステム内の他のカメラにより取得されたビデオ画像の記録に備えて、ヘッド・エンド・ユニット３２に、一つ又はそれ以上のＶＣＲが接続され得る。

追跡ユニット５０のハードウェア構成が図２に概略的に示される。追跡ユニット５０に電力を供給するため、電力線４２は、電源４０をコンバーター５２に接続する。追跡ユニット５０は、カメラ２２からビデオ線４４を介してビデオ・フィード（video feed）を受け取り、ビデオ線４５は、ビデオ画像をヘッド・エンド・ユニット３２に伝達するために利用される。図示された実施の形態において、ビデオ線４４、４５は同軸７５オームの１Ｖｐ−ｐであり、追跡ユニット５０に係合するためのＢＮＣコネクタを含む。カメラ２２により提供されるビデオ画像はアナログであり、ＮＴＳＣ又はＰＡＬ標準に従い得る。追跡ユニット５０が不活性であるとき、即ちオフにされているとき、カメラ２２からのビデオ画像は、アナログ・ビデオ線５４により示されるように、追跡ユニット５０を通過してヘッド・エンド・ユニット３２に進む。ＭＯＳＦＥＴベースの回路はビデオ入力バッファ５６を提供し、ビデオ・デコーダ５８は画像の復号化を実行してデジタル化されたビデオ画像をプロセッサ６０に送る。図示された実施の形態において、ビデオ入力は１Ｖｐ−ｐより大きくはなく、ビデオ信号が１Ｖｐ−ｐを超える場合には１Ｖｐ−ｐに落とされる。ビデオ処理は、以下により詳細に記載されるソフトウェアを動かすプロセッサ６０により実行される。プロセッサ６０は、フィリップス・エレクトロニクス・ノース・アメリカ社から入手可能な、プログラム可能なメディア・プロセッサであるＴｒｉＭｅｄｉａＴＭ−１３００であってもよい。始動時にプロセッサ６０は、シリアルのＥＥＰＲＯＭ６２からブートローダー・プログラムをロードする。ブート・プログラムは、次いで、実行のためにアプリケーション・コードをフラッシュ・メモリ６４からＳＤＲＡＭ６６にコピーする。図示された実施の形態において、フラッシュ・メモリ６４は１メガ・バイトのメモリを提供し、ＳＤＲＡＭ６６は８メガ・バイトのメモリを提供する。フラッシュ・メモリ６４からのアプリケーション・コードが始動時にＳＤＲＡＭ６６にロードされるため、ＳＤＲＡＭにはビデオ・フレームを記憶するために約７メガ・バイトのメモリが残される。

図２に示すように、ビデオ・データ・バス及び１２Ｃバスがプロセッサ６０をビデオ・デコーダ５８に接続し、１２Ｃバスがプロセッサ６０をＥＥＰＲＯＭ６２に接続し、ＸＩＯバスがプロセッサ６０をフラッシュ・メモリ６４に接続し、ＳＤＲＡＭバスがプロセッサ６０をＳＤＲＡＭ６６に接続し、ＸＩＯバスがプロセッサ６０をＵＡＲＴ６８に接続する。ＵＡＲＴ６８は、シリアル通信及び汎用的な入出力に利用される。ＵＡＲＴ６８は１６キャラクタのＦＩＦＯバッファ、６ビットの入力ポート及び８ビットの出力ポートを有し、出力ポートは、小信号トランジスタの利用を介してステータスＬＥＤ７０、エラーＬＥＤ７２及び出力中継器７４を駆動するために利用される。中継線４９は、両端である単連中継器７４とヘッド・エンド・ユニット３２との状態を伝達する。ＲＳ−２３２レベル変換器７６は、ＵＡＲＴ６８とＲＳ−２３２シリアル線４８との通信を提供する。図示された実施の形態において、ＲＳ２３２線４８及びそれにより伝達される通信の特徴は、３ワイヤ接続、１９２００ボー、８データ・ビット、パリティなし、１ストップ・ビット及びハンドシェイクなしである。

図示された実施の形態において、操作者により入力されて追跡ユニット５０に伝達される唯一の命令は、オン／オフ命令である。ヘッド・ユニット３４と追跡ユニット５０との間におけるそのようなオン／オフ命令及び他のシリアル通信は、二相線４６によりヘッド・ユニット３４からカメラ２２へ伝達され、ＲＳ−２３２線４８によりカメラ２２からヘッド・ユニット３４に伝達される。図示された実施の形態において、追跡ユニット５０は、シートメタル外被及び据付けられた近接カメラ２２により提供される。代わりのハードウェア構成が、追跡ユニット５０に利用され得る。そのようなハードウェアは、以下に記載されるソフトウェアが実行でき、最良の結果を得るために少なくとも毎秒約５フレームの処理が可能でなければならない。

追跡ユニット５０は、いくつかの機能を実行する。追跡ユニット５０は、ビデオ・デコーダー５８を制御し、カメラ２２により取得されたビデオ・フレームを記録し、カメラ動作による効果を取り除くために異なる時刻に撮られたビデオ・フレームを登録し、カメラ２２のＦＯＶ内で動く目標物を検出するためにビデオ内容の分析を実行し、検出された目標物の相対的な方向、速度及び大きさを計算し、方向及び速度命令をカメラ２２に送り、上記の機能に関連付けられた全てのシリアル通信を実行し、状態インジケータ７０、７２及び中継器７４の動作を制御する。

システム２０の動作は、以下により詳細に説明される。追跡ユニット５０が最初に始動されるとき、第一のステップは、カメラ２２を初期化する工程と、繰り返される画像をＮＴＳＣ又はＰＡＬのＣＩＦ解像度の画像である２４ビットＹＵＶカラー画像で撮ることにより、人又は動く物体がカメラ２２のＦＯＶに入るのを待つようにカメラ２２の位置を決める工程とを含む。代わりに、カメラ２２は、初期化の後で監視領域の予め決められた「ツアー」を行い、カメラ２２が監視領域を調査する際に人又は他の動く物体がカメラ２２のＦＯＶに入るのを見張り得る。参照のため、カメラ２２により分析のために取得された二つの画像即ちフレームは、
Ｉ₁、Ｉ₂
と符号付けられる。

例としての実施の形態において、カメラ２２は、連続的に新しい画像を取得し、現在の画像と参照画像とを比較するためにプロセッサ６０により実行される計算分析には、カメラ２２による個々の画像の取得の間隔よりも長い時間がかかる。プロセッサ６０は分析を終えると、分析のための新しい画像を取り込む。プロセッサ６０により連続的に取り込まれる二つの画像の時間間隔は、図示された追跡ユニット５０により一定と想定される。連続的に取り込まれる二つの画像の時間間隔はわずかに異なり得るが、変化は十分に小さいと考えられ、また、この想定により達成される処理効率はこの想定を正当化するのに十分なほど大きい。他に示されない限り、本明細書で利用されたように、連続する画像という用語は、カメラ２２により連続的に取得される画像ではなく、分析のためにプロセッサ６０により連続的に取り込まれる画像を指す。現在のＩ₁及びＩ₂画像のＱＣＩＦ解像度のサブ・サンプル（即ち、ＮＴＳＣ又はＰＡＬのＣＩＦ解像度画像の４分の１の解像度を有する画像）が生成される。サブ・サンプルは隣接するピクセルをまとめ、まとめられたピクセルに対する平均値を決定する。サブ・サンプリング処理の目的は、動きの検出に費やされる時間を減らすことである。動きの検出処理の速度を更に上げるために、一次サブ・サンプルの二次サブ・サンプル（オリジナルのＣＩＦ解像度画像の１６分の１の解像度を有することになる）もまた取得され得る。しかし、そのようなサブ・サンプリングは、画像の解像度を落とし、注目の対象である特徴及び目標を検出するシステムの能力を後退させる可能性がある。参照のため、サブ・サンプリングされたこれらの画像は、
Ｉ¹ ₁、Ｉ² ₁、Ｉ¹ ₂、Ｉ² ₂
と符号付けられる。個々の画像について単一のサブ・サンプルのみが取得される場合、サブ・サンプルは、
Ｉ¹ ₁、Ｉ¹ ₂
と符号付けられる。これらのサンプルは、代わりに、¹Ｉ₁、¹Ｉ₂とも符号付けられる。

目標物の検出
当初、カメラは静止して、特定の位置の動く目標物を監視し得る。システム２０は、プロセッサ６０が新しいフレームを取り込む度に、最新の二つの画像間の画像の差異を計算することにより、動く目標物を探す。画像の差異は、個々の画像の関連付けられたピクセル間の差異の絶対値をとることにより計算される。画像Ｉ₁及びＩ₂が位置調整される場合、カメラ２２は個々の画像を同じＦＯＶで撮影するために、又は、画像のうちの一つが第二の画像にマップされるために、画像の差異Δは、
Δ=|I₂-I₁|
に従って計算される。

次いで、これらの差異のヒストグラムが計算される。二つの画像内に動く物体がある場合、ヒストグラムは通常、それに関連付けられた二つの頂点を有する。最も大きな頂点は、典型的にはゼロ周辺が中央になり、画像の変化のない領域に対応する。二番目に大きな頂点は、画像の明暗度の変化が大きくいピクセルを表わし、画像内の動きのある領域、即ち動く目標物に対応する。第二の頂点に関連付けられたピクセルは、オリジナルのガウス分布の外れ値と考えられ得る。図示された実施の形態において、それらは典型的に全体のピクセル数の５０％以下を構成するため、二乗の最小メジアン法の予測技術を用いて検出される。

本発明において利用され得る、追跡のために目標物の手動による識別を提供する代わりの方法が、Ｔｒａｊｋｏｖｉｃらにより、自動ビデオ追跡システムにおける目標の選択方法と題された米国特許出願公開第２００２／０１４０８１３Ａ１号により論じられ、該出願は参照により全文が本明細書に援用される。本発明において利用され得る、目標物の動きを検出する方法は、Ｔｒａｊｋｏｖｉｃにより、画像位置整合による動き検出と題された米国特許出願公開第２００２／０１６８０９１Ａ１号において論じられており、該出願は参照により全文が本明細書に援用される。

注目点の識別
動きを検出した後、動く目標物の図心（centroid）に対応する注目点（ＰＯＩ）が識別される。任意の次数のソーベル演算子により畳み込みを計算することにより、ソーベル・エッジ検出マスクは水平及び垂直方向のエッジを探し、該情報を本技術分野において知られる単一の距離関数に結合する。より具体的には、個々のピクセルにおいてソーベルＸ演算子及びソーベルＹ演算子は、当該ピクセルのグラジエント値を生成するために利用される。それらはそれぞれｇｘ及びｇｙと符号付けられる。次いで、エッジの強さが、

により計算される。
動く目標物のエッジは大きなエッジの強さの値を持ち、これらの値は目標物のエッジを決定するために利用される。目標物又は動きの領域の図心は、動きが検出された領域のメジアン及びシグマ値を利用することにより発見される。注目点即ちＰＯＩである図心は、フレーム及び（ｘ（０），ｙ（０））及び（ｘ（１）ｙ（１））として記憶される画像位置座標において発見される。

３つの関連する座標系は、ＰＯＩの位置、図１に示される座標系２１に対応する実世界におけるＰＯＩの座標（Ｘ、Ｙ、Ｚ）、ＰＯＩの画像投射座標（ｘ、ｙ）、及びカメラのパン角、カメラのティルト角及びＰＯＩへの直線距離に対応するＰＯＩのカメラ座標（α、β、ｋ）を記述するために利用され得る。二つの画像により取得されたＰＯＩの二つの位置は、二つのフレームの間の期間におけるＰＯＩの相対速度だけではなく、両フレームにおけるＰＯＩの３次元での位置の決定を可能とする。画像内の二次元位置の形による動く人物又は目標物の単純化された表示が、この決定処理において利用される。

追跡ユニット５０は、個々の画像に対して同一のパン、ティルト及び焦点距離設定を持つカメラにより撮影されるべきＰＯＩの移動を決定するために利用される二つの画像を必要としない。代わりに、追跡ユニット５０は、画像のうちの一つを他の画像とマッピング又は位置調整し、ＰＯＩの移動の相対的な速度及び方向を決定する。ＰＯＩの移動速度及び方向を決定する二つの代わりの方法が以下に記載される。以下に記載される第一の方法は、回転マトリックスＲの利用を含み、第二の方法は、分析される二つの画像のそれぞれにおいて見られる共通の静的な特徴を突き合わせ又は位置調整することにより決定されるホモグラフィ・マトリックスを用いる。

回転マトリックス法
カメラ２２がパン角α及びティルト角βによりそれぞれ決定された方向を指している場合、これらの角度により決定される回転マトリックスＲは、以下の数式により与えられる。即ち、

である。画像投射座標（ｘ、ｙ）を有する任意の位置について、任意の点Ｐのワールド座標Ｐ_Wとカメラ座標Ｐ_cとの関係は、
P_w=RP_c
により与えられ、ワールド座標と画像投射座標（ｘ、ｙ）との関係は、

により与えられる。
ただし、ｆはカメラの焦点距離であり、（ｘ、ｙ）はＰＯＩの現在の画像投射座標であり、（ｘ₀、ｙ₀）はＰＯＩの以前の画像投射座標である。上記の数式を利用すると、

となる。
目標物が平均的な身長の人であると想定すると、身長は一定であると考えられ（即ち、Ｚ（０）＝Ｚは一定である）、数式（３ａ）及び（３ｂ）は、容易に解くことができる二つの未知数（Ｘ（０）、Ｙ（０））を有する線形系を表わす。第二の画像におけるＰＯＩの位置（Ｘ（１）、Ｙ（１））は、同様の方法で計算され得、目標物のｘ及びｙ方向への実世界の速度であるＸ’及びＹ’は、それぞれ、
X'=X(1)-X(0) （3c）
Y'=Y(1)-Y(0) （3d）
により求められ得る。

数式（３ｃ）及び（３ｄ）により得られるＸ’及びＹ’の値は、文字どおり距離であるが、プロセッサ６０により取り込まれる連続する画像の時間間隔は、上記に論じられたように実質的に一定であり、従って、そのような一定の時間間隔の間に目標物により移動される距離は、目標物の速度に直接的に比例し、二つの画像の取得の間の期間における目標物の平均速度の代わりに利用され得る。速度値の符号は、ＰＯＩの動きの方向を示す。代わりの実施の形態においては、実際の速度が計算されてもよく、及び／又は、より変化のある時間間隔において取得される画像が利用されてもよい。ＰＯＩの移動速度及び方向の知識を用いて、目標物をカメラ２２のＦＯＶの中心に置きつづけるために、カメラ２２のパン速度及びティルト速度が制御され得る。

一つの実施の形態において、カメラ制御は、また、カメラ２２と目標物の図心即ちＰＯＩとの計算された距離に基づいて焦点距離を調節する工程を含む。目的の焦点距離は、ＰＯＩとカメラとの距離に比例すると考えられ、この距離即ちＤ（ｋ）は、

により求められる。ただし、Ｐ_w（ｋ）はワールド座標系における当該点の三次元での位置を表わし、Ｘ（ｋ）は、実世界におけるカメラの焦点からＰＯＩまでのＸ方向の距離であり、Ｙ（ｋ）は、実世界におけるカメラの焦点からＰＯＩまでのＹ方向の距離であり、Ｚはカメラの現在の焦点距離、即ち現在のズーム設定により決定されたカメラと焦点面との間の距離である。この距離を、以下の数式、即ち、
D(k)=cf(k)
を利用することにより焦点距離ユニットとして表わされるように保つことが望ましい。ただし、ｆ（ｋ）は時刻ステップｋにおけるカメラの焦点距離であり、ｃは定数である。個々の時刻ステップにおける焦点距離は、以下の数式、即ち、

を利用することにより計算される。ＰＯＩの現在の画像投射は、（ｘ_c、ｙ_c）により与えられ、以下の数式、即ち、

に適用される。ただし、Ｘ_c、Ｙ_c及びＺ_cはＰＯＩの現在の実際のワールド座標であり、ｘ_cn及びｙ_cnは、それぞれ、画像の中心とＰＯＩの現在の画像座標との間の水平又は垂直の距離である。

カメラ２２の所望の又は目的の位置に到達するため、カメラをパン軸又はティルト軸について回転させることも必要である。数式２により与えられる回転マトリックスは、以下の数式、即ち、

により所望の位置を計算するために用いられ得る。ただし、ｘ_d及びｙ_dはＰＯＩの目的の画像座標である。又は、同様に以下の数式、即ち、

が利用される。ただし、ｘ_dn及びｙ_dnはそれぞれ、二地点（ｘ₀、ｙ₀）及び（ｘ_d、ｙ_d）を分離する水平及び垂直の距離である。数式（４）と数式（５）を結合すると、以下の数式、即ち、

が得られる。展開すると、この数式は以下のように表わされる。即ち、

である。ただし、ｘ_cn及びｙ_cnは、ｘ_dn及びｙ_dnに相当するカメラ座標である。回転角は、この数式を反復して解くことにより得ることができる。この処理により決定された角度は、先に分析された二つの連続する画像Ｉ₁及びＩ₂の間の目標物の動きを表わす。上記に論じられたように、そのような二つの連続する画像の時間間隔は実質的に一定の値であり、従って、この処理により決定された角度は、二つの画像の取得の時間間隔における目標物の速度の関数である目標値である。決定された角度は、また、目標物のカメラに対するオリジナルの位置、物体の加速度及びカメラの以前の方向の関数でもある。

ホモグラフィ・マトリックス法
目標物を追跡するためのカメラ２２の制御に利用され得る値であって目標物の属性を表わす目標値を決定する代わりの方法は、画像Ｉ₁及びＩ₂のコーナーを検出する工程を含む。コーナーは、近接する地点と大きく異なる強さを有する画像上の地点である。二つの画像からそのようなコーナーを識別し突き合わせる様々な方法が、本技術分野において知られている。

そのような既知のコーナー検出方法の一つは、ＭＩＣ（最小強度変化）コーナー検出法である。ＭＩＣコーナー検出法は、所与のピクセル位置におけるコーナー強度に対する数値を与えるコーナー応答関数（ＣＲＦ）を利用する。ＣＲＦは画像全体について計算され、コーナーはＣＲＦがローカルの最大に達する地点として検出される。ＣＲＦは以下の数式、即ち、
R=min(r_A,r_B)
を用いて計算される。ただし、ＲはＣＲＦ値であり、ｒ_Aは水平方向の強度の変数であり、ｒ_Bは垂直方向の強度の変数である。ＭＩＣ法は、三つのステップの処理を用いる。第一のステップは、低解像度画像の個々のピクセルに対するＣＲＦを計算する工程を含む。第一のしきい値Ｔ₁以上のＣＲＦを有するピクセルは、コーナーの可能性があるものとして識別される。この最初のステップは、画像の大幅な領域を、コーナーが無いものとして効率的に除外する。低解像度の画像では、ＣＲＦの計算を必要とするピクセル数が限定されるからである。第二のステップは、完全な解像度の画像を用いてコーナーの可能性のあるピクセルについてＣＲＦを計算する工程を含む。結果としてのＣＲＦが第二のしきい値Ｔ₂より小さい場合、当該ピクセルはコーナーではない。第二のしきい値Ｔ₂を満たすＣＲＦを有するピクセルについて、当該ピクセルの強度の変数を決定するために、もう一つのピクセル間の近似値が計算され、例えばＴ₂であるしきい値と比較され得る。結果がしきい値以下である場合、当該ピクセルはコーナーではない。第三のステップは、ローカルで最大のＣＲＦ値を有するピクセルの位置を特定し、コーナーとして標識付ける工程を含む。比較的高いがローカルの最大値ではないＣＲＦ値を有する近隣のピクセルは、コーナーとして標識付けられない。画像Ｉ₁及びＩ₂それぞれの検出されたコーナーのリストであるＰＣＬ１及びＰＣＬ２は、まとめられ、比較される。二つの画像におけるコーナーは、本技術分野において知られる標本相互相関（ＮＣＣ）係数のような相似測定を用いて比較／突合せされる。

カメラ２２が二つの画像Ｉ₁及びＩ₂の取得の間で調整される場合、最近に取得された画像内の目標物を検出するために、背景が変わらず、背景に比べて動きを示す唯一の物体が検出されるよう画像を位置調整することが必要である。カメラ２２の調整は、パン動作、ティルト動作又はカメラ２２の焦点距離の調整の形をとり得る。画像内の個々のピクセルの位置を修正するために、幾何学変換が用いられ得る。別の考え方としては、ある位置から新しい位置への全てのピクセルの移動が、カメラの動作に基づく。そのような、カメラが二つの画像の取得の間で調整される場合に第一の画像を第二の画像と位置調整させるように変換する方法の一つは、Ｔｒａｊｋｏｖｉｃにより、パン・ティルト・ズーム・カメラによる移動に基づく追跡と題された米国特許出願公開第２００２／０１６７５３７Ａ１号により論じられており、該出願は参照により全文が本明細書に援用される。

連続する画像の位置調整は、前の画像と位置調整するために、一つの画像の移動、拡大縮小及び回転を必要とする。これらの三つの操作のうち、移動が最も単純である。更なる処理が実行される前に、ある画像を標準的な大きさに縮小、拡大又は修正するために、個々のピクセルが一般的なユーザー固有の変換をさせられる処理であるワープが必要であり得る。そのような幾何学的操作により生成された画像は、オリジナルの画像の近似である。現在の画像Ｉ₁及び参照画像Ｉ₂という二つの画像のマッピングは、以下の数式、即ち、
p'=sQRQ^-1p=Mp （6）
により決定される。ただし、ｐ及びｐ’は第一及び第二の画像の同じワールド点のホモグラフィ画像座標を示し、ｓは拡大縮小画像（カメラの焦点距離に対応する）を示し、Ｑは内部のカメラ校正マトリックスであり、Ｒは二つのカメラ位置間の回転マトリックスである。

代わりに、二つの連続する画像における固定されたワールド点の画像投射座標ｐ及びｐ’、即ちピクセル位置（ｘ、ｙ）及び（ｘ’、ｙ’）の関係は、

と表わされ得る。ただし、[ｍ_ij]_3×3は、第一の画像を第二の画像にマッピング（位置調整）するホモグラフィ・マトリックスＭである。
従って、画像の位置調整の主な問題は、マトリックスＭを決定することである。ｓ、Ｑ及びＲが与えられれば、数式（６）からマトリックスＭを決定することは、理論的に容易である。しかし、実際には、一般に、ｓ、Ｑ及びＲの正確な値は知られない。数式（６）は、カメラの中心と回転の中心が同じであると想定しており、それは、典型的には、近似的にのみ正しい。加えて、カメラ設定の正確な値、即ち、Ｒを決定するためのパン値及びティルト値及びｓを決定するためのズーム値を取り出すため、カメラは止まらなければならないが、それにより不自然な動きが生まれ、カメラ設定を取り出すシステムによっては、かなりの長さの時間がかかり得る。

本発明の例としての実施の形態は、カメラの位置及び校正に関する情報を得る必要性を回避するために、数式（７ａ）及び（７ｂ）を用いて位置調整マトリックスＭを画像から直接計算する。二つの画像間での点の突合せは、まず二つの画像Ｉ₁及びＩ₂のＱＣＩＦによるサブ・サンプルＩ¹ ₁及びＩ¹ ₂を得ることにより実行される。

より解像度の低い一組の画像であるＩ¹ ₁、Ｉ² ₁、Ｉ¹ ₂、Ｉ² ₂を提供するために、サブ・サンプル画像の更なるＱＣＩＦのサブ・サンプルをとることも可能である。次いで、上記のＭＩＣコーナー検出器を利用して、低解像度の画像においてコーナーが見出だされる。次に、低解像度の画像における複数の対応する座標（ｘ、ｙ）及び（ｘ’、ｙ’）に基づいて、ホモグラフィ・マトリックスが計算される。コーナーの突合せは、より高い解像度の画像において、低解像度の画像を用いて計算されたホモグラフィ・マトリックスにより予測された位置の周辺の最良のコーナーを発見することにより実行される。本技術分野において知られるＲＡＮＳＡＣアルゴリズムのような強固な方法が、より高い解像度の画像において、画像内の動く物体に対応しそうな「外れ値」のコーナー点を識別するために利用され得る。ホモグラフィ・マトリックスの計算において動く点を用いることにより持ち込まれ得るバイアスを避けるために、ＲＡＮＳＡＣアルゴリズムにより識別された「外れ値」のコーナー点は、高解像度の画像を用いたホモグラフィ・マトリックスの計算においては利用されない。ＲＡＮＳＡＣアルゴリズムを用いて「外れ値」のコーナーを取り除いた後、より高い解像度の画像がホモグラフィ・マトリックスＭを計算するために利用される。

次いで、一つの画像を第二の画像と位置調整させるための画像の移転、回転及び拡大縮小が実行され得る。移転とは、ｘ又はｙ方向へピクセルを数ピクセル動かすことである。正の移転は、行又は列の指数を増やす方向へのものであり、負の移転はその逆である。正方向への移転は、要求された増加が達成されるまで、画像の上又は左に行又は列を追加する。画像の回転は、動きの中心として定義された基点について実行され、角度として特定される。画像の拡大縮小は、特定の係数により画像を大きく又は小さくすることを意味する。以下の数式（７ａ）及び（７ｂ）の概算は、上記のような移転、回転及び拡大縮小を表わすために利用される。即ち、

である。ただし、ｓは拡大縮小（ズーム）係数である。αは基点に対する回転角度であり、ｔ_xはｘ方向への移転であり、ｔ_yはｙ方向への移転である。ａ₁＝ｓｃｏｓ α及びａ₂＝ｓｓｉｎ αである別の新しい変数を持ち込むことにより、数式（８）は、

となる。ａ₁、ａ₂、ｔ_x及びｔ_yを決定した後、二つの画像Ｉ₁及びＩ₂は位置調整され、目標物の動きの速度及び方向の決定が完了され得る。
滑らかなカメラの動きを作り出すため、カメラ２２は、カメラ２２が常に動き続けることを可能とするような方法で制御される。ＰＯＩが視野の中心より左側にある場合、プロセッサ６０は、カメラ２２を特定のパン速度即ち調整速度で左にパンさせる命令を、カメラ２２に伝達する。パン速度は、画像の中心からＰＯＩまでの距離により決定される。選択されたパン速度と最近取得された画像の中心からＰＯＩまでの水平即ちｘ方向の距離との間には、線形の関係がある。同様に、カメラ２２のティルトの速度及び方向は、ＰＯＩと最近取得された画像の中心との垂直方向の距離、即ちｙ方向の距離により決定される。カメラから目標物までの距離を補償するために、比例係数も適用される。

カメラから目標物までの距離も、所望のパン速度に影響する。所与の速度でｘ方向に移動する目標物について、物体がカメラから遠ければ遠いほど、物体を追跡するために、パン角はより遅い速度で調整されなければならない。カメラから目標物までの距離は、また、カメラのティルト及び焦点距離の所望の値に影響する。全ての目標物が共通の高さであり、目標物がパン平面と平行な平面上を移動すると想定すると、目標物を画像の中止に置くティルト角は、カメラからの当該物体への距離により決定される。同様に、目標物を所望の画像の高さに保つために、全ての目標物が同じ高さであると想定すると、カメラの所望の焦点距離は、カメラからの目標物への距離により決定される。

例としての実施の形態において、カメラ２２のパン速度及びティルト速度は、以下の数式により決定される。即ち、
X_vel=(x_delta/x_high)*sin(ティルト角)
Y_vel=(y_delta/y_high)*sin(ティルト角)
である。ただし、Ｘ_velはパン角が調整される速度又は速さであり、Ｙ_velはティルト角が調整される速度又は速さであり、ｘ_deltaはＰＯＩと画像の中心とのｘ方向の距離であり、ｙ_deltaはＰＯＩと画像の中心とのｙ方向の距離であり、ｘ_high及びｙ_highは正規化係数であり、ｓｉｎ（ティルト角）は、カメラの（水平面について測定された）ティルト角のサイン値であって、カメラから目標物までの距離を補償するために利用される比例係数を提供する。結果としての値Ｘ_vel及びＹ_velは、上記のように、画像の中心からＰＯＩへの距離及びカメラから対象物までの距離を用いて計算され、画像の中心からＰＯＩへの距離は、一定の時刻値における目標物の動きに関連する。従って、値Ｘ_vel及びＹ_velは目標物のいくつかの属性、即ち、実世界におけるカメラに対する位置、及び、目標物の速度及び加速度の関数であるＦＯＶ内の目標物の図心の位置の関数であり、従って、値Ｘ_vel及びＹ_velもまた、目標物の速度及び加速度の関数である。

カメラから目標物までの距離の関数である比例係数は、選択されたパン及びティルト調整速度を調整するために利用される。この距離は、カメラのパン及びティルトの調整の労力に影響を与えるからである。カメラのパン動作について、例えば目標物がカメラから離れている場合、目標物のｘ方向への動きを追跡し、対象を画像の中心に置いておくために、ごくわずかなパン動作のみが求められる。目標物がカメラにより近い場合、目標物が同じ速度でｘ方向に移動するとすると、目標物を追跡するために、カメラはより早くパンする必要がある。同様に、対象が同じ速度で移動するより場合、カメラにより近い対象を追跡するためには、より遠くの対象を追跡するよりも速いティルト速度が要求される。

加えて、焦点距離の調整の速度及び方向、即ち、カメラ２２をいかに速くズームするか及びズームするべきか否かが、カメラから目標物までの距離を用いて決定される。異なる縮尺を有する、即ち異なる焦点距離で取得された二つの画像を位置調整するための上記の処理は、追跡中又は比較される画像を取得するためにカメラが一定のズーム又は焦点距離値を保つことを要求する代わりに、システム２０が動的なズームを利用すること、即ち、目標物の追跡中にカメラ２２の焦点距離を調整することを可能とする。例としての実施の形態において、目標物のサイズが予め決められたしきい値、例えば視野の１０％より大きい場合に、最も大きな検出された物体が目標物として選択される。目標物の追跡が始まると、カメラ２２の焦点距離は、目標物を視野の１０〜７０％に保つように試みる方法で調整される。対象の追跡は、物体のサイズがこの範囲から外れる場合に停止され得る。カメラ２２の焦点距離は、目標物のサイズを比較的一定に、例えば視野の２０％に保つことをを目的に、カメラから目標物までの距離を補償するように調整され、それにより目標物の監視が促進される。

より詳細には、まず以下のように目標物とカメラとの間の目標距離を予測することにより、所望の焦点距離が決定される。即ち、
目標距離＝カメラの高さ／Sin（ティルト角）
である。ただし、ティルト角は水平面に関して決定される。カメラ２２は既知の高さで据付けられ、この高さはシステム２０の設置期間に追跡ユニット５０に入力される。次に、解像度が限定されたＦＯＶ幅（Ｒ−ＬＦＯＶ幅）が計算される。即ち、
Ｒ−ＬＦＯＶ幅＝有効ピクセル数／侵入者を識別するために要求される解像度線数
である。ただし、有効ピクセル数は、ＮＴＳＣビデオ画像では７６８（Ｈ）、ＰＡＬビデオ画像では７５２（Ｈ）であり、侵入者を識別するための解像度線数は、１フィート当りの解像度線数で表わすと、例としての実施の形態においては、例えば１フィート当り１６本である。次いで、目標物の追跡を続けるために十分な解像度線数を提供する所望の焦点距離が計算される。即ち、
所望の焦点距離＝フォーマット＊目標距離（ｆｔ）／Ｒ−ＬＦＯＶ幅
である。ただし、フォーマットは、カメラにより用いられるＣＣＤ（電荷結合素子）のｍｍ単位での水平方向の幅であり、例えばカメラ２２では３．６ｍｍである。図示された実施の形態において、カメラ２２は、所望の焦点距離値に焦点距離を変えることにより焦点距離設定を調整するように指示される。カメラ２２の焦点距離調節は、焦点距離の二地点間調整である。しかし、代わりの実施の形態においては、カメラ２２は、単に所与のズーム設定に移るよう命令されるだけではなく、パン及びティルトの調整が為されたのと同様の方法で、現在の焦点距離と所望の焦点距離との差異に基づいて選択された調整速度で動くように命令され得る。カメラ２２は、次いで、プロセッサ６０が焦点距離調整の速度又は方向を変化させる第二の命令を伝達するまで、特定の速度（及び選択された方向、即ち、カメラの焦点距離を伸ばす又は縮める方向で）で焦点距離を調整し続ける。そのような第二の命令は、変化の速度を、一定の焦点距離値に対応する０へ変え得る。

要約すると、ビデオ内容分析アルゴリズムは、以下の機能を実行する。即ち、
・追跡器の初期化：カメラの位置を決め、動く目標物がカメラのＦＯＶに入るのを待つように追跡器を初期化する。
・背景減算：背景を減算し動く目標物を検出するように画像を比較する。
・コーナー検出及び突き合わせ：画像取得の間のカメラ位置の変更を予測するために、背景のコーナー特徴を識別し突き合わせる。
・ワープ：異なる視野により撮られた画像を位置調整し、画像内の動く目標物を検出するために、画像を幾何学的にゆがませる。
・部分の位置特定及び抽出：目標物に対応する画像部分の位置特定及び抽出を含めて、個々の新しいフレームにおける目標物の位置を特定する。
・注目点（ＰＯＩ）計算：目標物及びその図心の単純化された表示を、画像の二次元のフレームワーク内に位置付ける。
・ＰＴＺカメラの調整速度の計算：カメラのパン、ティルト及び焦点距離調整速度を決定し、カメラに命令を伝達する。

図３は、上記のシステム２０により用いられるビデオ内容分析アルゴリズムの一般的なロジックを描画的に図示するフローチャートを提供し、該システムは、目標物を識別し追跡するために、回転マトリックス手法の代わりにホモグラフィ・マトリックス手法を利用する。図３に示されるように、追跡ユニット５０をオンにした後、ＥＥＰＲＯＭ６２からブートローダー・プログラムをロードし、フラッシュ・メモリ６４からＳＤＲＡＭ６６へ実行のためにアプリケーション・コードをコピーすることにより、追跡ユニットはステップ８０において初期化される。ブロック８２はＳＤＲＡＭ６６の残りのメモリを表わし、該メモリは、プロセッサ６０により処理されるビデオ画像フレームの記憶のためのリング・バッファとして利用可能である。決定ブロック８４において、プロセッサ６０は、第一のフラグが真であるか否かを決定する。第一のフラグは、カメラ２２からの画像がプロセッサ６０による分析のためにＳＤＲＡＭ６６にロードされていない場合にのみ、真である。従って、追跡ユニット６０はオンにされると、最初に時刻決定ブロック８４に出会い、第一のフラグが真にされ、プロセッサ６０はブロック８６に進む。ブロック８６は、プロセッサ６０が二つの画像を取り込むことを表わす。プロセッサ６０は、次に、二つの画像それぞれに対するカメラ２２の現在のティルト値が、目的焦点距離を計算する後の利用のためにカメラ２２の内部のコントローラーから得られるブロック８８に進む。

次に、ブロック９０は、最近取り込まれた二つの画像のサブ・サンプルをとる工程を表わす。ブロック９２において、画像内に動く物体が有るか否かを決定するために、二つのサブ・サンプル化された画像の差異が計算される（動く物体が発見される場合、ユニット５０の侵入者追跡機能が利用される、即ちＩＴＥトリガーである）。画像内に動く物体がある場合、ブロック９４において、動く目標物の図心の位置が決定される。次いで、ブロック９６において、サブサンプル化された画像内のコーナー特徴を検出し、そのようなコーナーのリストを作成するために、コーナー検出方法が利用される。次に、ブロック９８において、画像Ｉ₁及びＩ₂に対するデータが入れ替えられる。画像データの入れ替えは、ステップ１００〜１０４において要求される計算が完了した後、新しい画像が取り込まれてバッファの中に置かれる際に、新しい画像及びそれに関連付けられたデータが、バッファ内に既に存在する二つの画像のうち古いほうの画像に関連付けられた画像及びデータを上書きするように実行される。ブロック９４においてサブ・サンプル画像を用いてＰＯＩが決定されている場合、ブロック１００において、最も高い解像度の画像を用いてＰＯＩが計算される。次いで、ブロック１０２において、目的又は所望の焦点距離が計算される。パン速度Ｘ_vel及びティルト速度Ｙ_velは、ブロック１０４において計算される。次に、ブロック１０６において、プロセッサ６０はカメラ２２に、焦点距離を所望の焦点距離に調整し、Ｘ_velの大きさ及び符号に対応する調整速度及び方向でパンし、Ｙ_velの大きさ及び符号に対応する調整速度及び方向でティルトする命令を伝達する。

次に、処理は、第一のフラグがもはや真ではないブロック８４に戻り、単一の新しい画像が取り込まれてバッファ内の画像Ｉ₂を上書きするブロック１０８に進む。ブロック１１０において、所望の焦点距離を後で計算するために、新しい画像Ｉ₂に対するカメラ２２のティルト値が、カメラ２２の内部コントローラーから得られる。その後、ブロック１１２において新しい画像がサブ・サンプル化され、ブロック１１４において、サブ・サンプル化された画像のコーナーが検出され、そのようなコーナーのリストが作られる。上記のワープ及び位置調整の処理はブロック１１６で実行され、画像Ｉ₁及びＩ₂が位置調整される。ブロック１１８において、二つの位置調整させられた画像の差異が計算され、画像に動く物体が含まれるか否かが決定される。画像内に動く目標物がある場合、ブロック１２０において目標物の図心が決定される。ブロック１２２において、画像Ｉ₁及びＩ₂及びそれらに関連付けられたデータが、ブロック９８に関して上に記されたように入れ替えられる。ブロック１２４において、検出された目標物のサイズ即ちＢｌｏｂ＿Ｓｉｚｅがしきい値と比較され、目標物が十分に大きくない場合、又は、目標物が画像内に見つからない場合、処理はブロック８４に戻る。目標物がしきい値サイズより大きい場合、処理は、上記に説明されたようにカメラ２２の調整パラメータが決定され、カメラ２２に伝達されるブロック１００からブロック１０６へと続く。

図示された実施の形態において、カメラ２２は、異なる特定の速度、即ち選択的に可変な調整速度でパン及びティルトし得、プロセッサ６０がカメラ２２に命令を伝達する際、プロセッサ６０はカメラ２２が選択された方向に選択された速度でパンし、選択された方向に選択された速度でティルトし、焦点距離を所望の焦点距離に変更するように指令する。この第一の命令を受け取った後、カメラ２２は、第二の命令、即ち、新しく選択された方向に新しく選択された速度でパンし、新しく選択された方向に新しく選択された速度でティルトし、焦点距離を新しい所望の焦点距離に変更するよう指示する命令を受け取るまで、特定の焦点距離に移り、特定の方向に特定の速度でパン及びティルトすることにより調整する。カメラ２２が限定されたパン範囲又はティルト範囲を有しており、パンとティルトの限界に到達する場合、カメラ２２のパン及びティルトは、第二の命令を受け取る前に終わり得る。カメラ２２に新しいパン方向及びティルト方向へ動いて止まるよう指令する代わりに、選択された方向へ選択された速度でパン及びティルトするように指令することにより、カメラ２２は、目標物の追跡期間に、調整命令の受信と実行とを分離する固定した間隔なしに連続的に調整され得、それにより、比較的滑らかに遷移する動きを有するビデオ画像のストリームを提供し得る。

従って、システム２０の運転中に、プロセッサ６０は、全て異なるＦＯＶを記録し得る一連の画像を連続的に分析し得る。プロセッサ６０が画像を分析し、目標物を追跡するためにカメラ２２を繰り返し調整するため、一連の画像は、プロセッサ６０により連続的に分析される３つの画像、即ち、個々の画像が異なるＦＯＶを記録する第一、第二及び第三の画像を含み得る。プロセッサ６０は、より早い画像に基づいてカメラ２２に以前の命令を伝達し、カメラ２２はこの第一の命令に従って調整される。カメラ２２は、第一及び第二の画像を分析し、第一及び第二の画像の分析がカメラ２２への第二の命令を生じ、カメラ２２は、この第二の命令に従って調整される。カメラ２２は、第二及び第三の画像を分析して、カメラ２２への次の調整命令を計画する。上記のように、カメラ２２は、第二の命令を受け取るまで、第一の命令に従ってパン及びティルトし続ける。こうしてカメラ２２は、共通のＦＯＶを有する画像の取得のために固定した間隔を必要としたり、調整命令の実行を分離しなりすることなく、異なる視野を有する一連の画像を取得しながら連続的に調整され得る。

上記のビデオ内容分析アルゴリズムは、カメラ２２が既知の高さに据付けられ、監視領域及び目標物がいくつかの特徴に従う場合に最もよく機能することを想定する。最良の結果を得るためには、目標は画像の高さの３０％から７０％であり、高さ対幅の割合が５：１以下であり、一定の速度で取得されたフレーム間を画像の幅の２５％以下ずつ移動しなければならない。システム２０は、同時に一つだけの動く目標を追跡する。ＦＯＶ内に複数の目標がある場合、システム２０は、最も大きい目標が次に大きな目標より２０％大きければ、最も大きい目標を選択する。最も大きな目標が次に大きな目標より少なくとも２０％大きくない場合、システム２０は目標を無作為に変え得る。動く物体を区別するために、目標物のカラー・ヒストグラム分析のような代わりの目標物識別方法も利用され得る。注目の領域が周りの環境の平均的な強さの１標準偏差以内であることが最も望ましい。最良の結果は、また、目標動作の平面がパン平面と平行である場合に得られる。システム２０は、「コーナー」を検出し続いて起こる画像を登録するために背景の特徴を利用するため、過度に特徴のない環境や、目標がＦＯＶの大部分を占めてそのようなコーナー特徴を覆い隠してしまう場合には、失敗し得る。これらの想定及び特徴からの逸脱は、システム２０の動作にとって必ずしも致命的ではなく、システム２０の性能を落とすだけでもあり得る。図示された実施の形態に関するこれらの想定は、人間がいるとは考えられない限定された領域に関するビデオ監視アプリケーションの大きなサブセットをカバーする。本技術分野における通常の技能を有する者にとっては、図示されたシステム２０を、これらの想定及び特徴に必ずしも限定されない更なる状況をカバーするように適応することも可能である。

図４に示されるように、追跡ユニット５０は、１）追跡器オフ、２）目標探索中、３）目標追跡中という三つの主な状態を有する。追跡ユニット５０は、キーボード３４やジョイスティック３６のような入力装置から命令を入力する操作者によりオン又はオフにされる。オン／オフ命令は、二軸ケーブル４６を介してカメラ２２に送られ、ＲＳ−２３２線を介して追跡ユニット５０に送られる。追跡ユニット５０は、現在の状態をＬＥＤインジケータ７０、７２及び中継器７４に伝達する。例えば、ＬＥＤ７０はユニット５０がオンである場合に点灯し、ユニット５０が目標物を追跡している場合に点滅する。ユニット５０が目標物を追跡している場合、中継器７４はこの情報を中継線４９を介してヘッド・エンド・ユニット３４に伝達する。ＬＥＤ７２は、ユニット５０がオンであるが、ビデオ信号の損失などのエラーがあった場合に点灯する。

例としての実施の形態において、追跡ユニット５０がオン即ち目標の探索中又は目標の追跡中であって、より重要度が高い活動が始動された場合、追跡ユニット５０はオフ又は不活性になる。より重要度が高い活動が終わって休止時間が経過した後、即ちより重要度が高い活動がタイム・アウトした後に、追跡ユニット５０は再びオンになり目標を探し始める。

代わりの実施の形態において、追跡ユニットは、操作者及び／又はカメラが始動したカメラの運動期間にカメラ２２の制御を放棄し、目標物を検出するためにカメラ２２により取得された画像の分析を続ける。カメラが操作者又は分離したコントローラーに制御されている間に、目標物の検出の検出を続けることが可能である。なぜなら、追跡ユニット５０は、目標物を検出するために利用される画像がカメラが静止している間に取得されることや、個々の画像が同じ視野を有することを必要としないからである。

追跡ユニット５０は、目標物を検出すると、目標物の位置が特定できなくなるまで、例えば、目標物がカメラ２２から見える領域を離れたり、ＦＯＶ内の他の物体により一時的に隠されたりするまで、目標物を連続的に追跡する。ユニット５０は、最初に目標物を失うと、再捕捉サブルーチンに入る。目標物が再度捕捉されると、追跡ユニットは目標物の追跡を続ける。再捕捉サブルーチンの完了までに目標物が発見されない場合、追跡ユニット５０は状態を目標探索中に変え、カメラ位置の制御はカメラ・コントローラー又は操作者に戻る。再捕捉サブルーチンは、図５のフローチャートにより描画的に示される。再捕捉モードにおいて、追跡ユニット５０はまずカメラを約１０秒間、目標が追跡された最後の位置に保つ。対象が再捕捉されない場合、カメラは、カメラの最大ズームイン能力が１００％に相当し、ズームなし（即ち、拡大効果なし）が０％に相当する場合に、離散した
増分でズーム・アウトする。より詳細には、カメラは２０％ズームアウトして、新しいＦＯＶにおいて約１０秒間、目標を探索する。カメラは、目標が再捕捉されるか、又は、カメラが最小ズーム（０％）設定に到達するまで、１０秒間隔で２０％ずつズームアウトし続ける。最小ズーム設定で１０秒間過ぎた後に目標物が再捕捉されていない場合、追跡ユニット５０の状態は「目標探索中」に変わり、カメラ２２の位置は予め決められた位置又は「ツアー」に戻り、カメラの位置制御は操作者又はカメラ２２内に埋め込まれたコントローラーに戻る。

上記のように、システム２０は、標準的なＰＴＺカメラからビデオ及びカメラ制御情報を得る汎用ビデオ処理プラットフォームを利用する。この構成及び標準的なＰＴＺカメラの使用は、追跡ユニット５０を設置し、追跡ユニット５０を既存のＰＴＺカメラに結合することにより、ＰＴＺカメラが組み込まれた既存設備の改装及び更新を可能とする。一つ又はそれ以上の追跡ユニット５０を加えることにより更新され得るシステムは、Ｓｅｒｇｅａｎｔらにより、米国特許第５，５１７，２３６号において論じられ、該特許は参照により全文が本明細書に援用される。シートメタル外被を有する追跡ユニット５０を提供することにより、ソースであるビデオの画像処理を用いてＰＴＺ制御を提供するための、ＰＴＺカメラの上又は付近への追跡ユニット５０の据付けが容易になる。それにより、システム２０は、パーソナル・コンピュータ・ベースの追跡システムを要求しないスタンド・アロンの組み込み型プラットフォームを提供する。

本発明は、ビデオ監視能力を有することが望ましい多くの環境において利用され得る。例えば、システム２０は、製造及び工場設備を監視し、立ち入り禁止区域に入る人間を追跡するために利用され得る。表示装置３８及び入力装置３４、３６を備えるヘッド・エンド・ユニット３２は、例えば同じビル内の他の場所にある警備室などの、カメラ２２により監視される領域から離れた地点に設置され得る。システム２０は目標物を自動検出する方法を含むが、例えばジョイスティック３５の操作のような操作者による目標物の手動選択も、本発明において利用され得る。目標物の手動選択の後、システム２０は目標物を、自動識別された目標物について上に記載されたように追跡する。

本発明は、例としての設計を有するものとして記載されたが、本発明は、本明細書の趣旨及び範囲内で更に修正され得る。従って、この適用は、本発明の一般的な原理を用いる本発明の任意の変更、利用又は適用を包含することを意図する。

図１は、本発明に係るビデオ監視システムの概略図である。図２は、自動追跡ユニットの概略図である。図３は、ビデオ監視システムの動作を表わすフローチャートである。図４は、追跡ユニットの様々な状態レベルを表わすフローチャートである。図５は、目標物が見失われた際に用いられる再捕捉サブルーチンを表わすフローチャートである。

符号の説明

２０ビデオ監視システム、２２カメラ、２３レンズ、２４カバー、３２ヘッド・エンド・ユニット、３４キーボード、３６ジョイスティック、３８表示装置、５０自動追跡ユニット。

Claims

ビデオ追跡システムであって、
視野を有するビデオカメラであって、連続的且つ選択的に調整可能なカメラ速度を有し、前記視野がカメラの調整によって変化されるビデオカメラと、
前記カメラに動作可能に結合される少なくとも一つのプロセッサであって、
初期追跡分析サイクル後に順次のビデオ画像を前記カメラから受け取って、それぞれの順次の前記ビデオ画像を受け取る間に選択的に前記カメラの調整速度を計算し、前記それぞれの順次のビデオ画像のうちの第一画像の取得と、前記第一の画像の取得に続く第二の画像の取得との間の時間間隔の少なくとも一部の期間に、前記計算された調整速度に従って前記カメラの速度を調整し、
前記ビデオ画像内の動く目標物を検出し、それぞれの順次の前記ビデオ画像を受け取る間に前記目標物を追跡するよう前記カメラの速度を調整するようにプログラムされ、
複数の異なる調整速度で前記カメラを調整するプロセッサと、
を具備するシステム。
請求項１記載のビデオ追跡システムであって、前記プロセッサが、前記目標物の少なくとも一つの属性の関数である前記カメラの調整速度を選択するシステム。
請求項２記載のビデオ追跡システムであって、前記目標物の前記の少なくとも一つの属性が前記目標物の速度を含むシステム。
請求項２記載の追跡システムであって、前記プロセッサが、第一の画像及び第二の画像の分析に基づいて前記カメラの調整速度を選択するようにプログラムされ、前記第一の画像が第一の視野を区画するように調整された前記カメラにより取得され、前記第二の画像が第二の視野を区画するように調整された前記カメラにより取得されるシステム。
請求項４記載の追跡システムであって、前記第一の視野及び前記第二の視野が部分的に重なり、前記プロセッサにより選択された前記調整速度の決定が、前記第一の画像及び前記第二の画像のそれぞれに現れた少なくとも一つの共通の特徴を識別して位置調整する工程を含むシステム。
請求項１記載の追跡システムであって、前記カメラが、選択的に調整可能な焦点距離を有し、前記プロセッサが、前記カメラから前記目標物への距離の関数として、前記カメラの焦点距離を選択するシステム。
請求項１記載の追跡システムであって、前記プロセッサが第二の調整速度を選択し、前記第二の調整速度を前記カメラに伝達するまで、前記カメラが、第一の選択された調整速度で調整されるシステム。
請求項４記載の追跡システムであって、前記カメラが前記の選択された調整速度で調整される際に第三の視野を区画し、前記第三の視野を区画する際に第三の画像が前記カメラにより取得され、前記第一の画像、前記第二の画像及び前記第三の画像が前記プロセッサにより連続的に分析されるシステム。
請求項１記載の追跡システムであって、前記カメラが、前記カメラのパン方向と前記カメラのティルト方向とのうちの少なくとも一つを調整する際に、可変の速度において選択的に調整可能であるシステム。
請求項１記載の追跡システムであって、前記カメラの選択的調整が、ｘ軸を決定する前記カメラの選択的なパン動作と、ｙ軸を決定する前記カメラの選択的なティルト動作と、ｚ軸を決定する前記カメラの選択的な焦点距離調整とを含み、前記ｘ軸、前記ｙ軸及び前記ｚ軸が互いに垂直であるシステム。
請求項１０記載の追跡システムであって、前記プロセッサが前記カメラを選択されたパン速度で調整し、前記選択されたパン速度が、前記ｘ軸に沿った前記目標物の速度の関数であり、前記プロセッサが前記カメラを選択されたティルト速度で調整し、前記選択されたティルト速度が、前記ｙ軸に沿った前記目標物の速度の関数であるシステム。
請求項１記載の追跡システムであって、更に、前記システムに動作可能に結合された表示装置及び入力装置を備え、操作者が前記表示装置上で前記ビデオ画像を見、前記入力装置を介して前記システムに命令又はデータを入力することができ、前記表示装置及び入力装置が前記カメラから離れた場所に置かれ得るシステム。