JP5596801B2 - 監視システム - Google Patents

Description

侵入者の出現、遺棄された不審物、特定の顔など、特殊な着目すべき出来事を自動的に検出するために、監視システムが一般的に使用されている。監視システムはまた、銀行、公的機関、渋滞道路などの限られた区域を監視するためにも使用されている。このような監視システムの需要の増加に伴い、監視システムにおけるハードウェアコストや重い計算負荷の複雑さを増加させることなく、データネットワークを介して遠隔制御のための送信を効率的に行うために、キャプチャーしたさまざまな状況のビデオ画像を符号化し、また移動対象物を追跡することへ関心が向けられている。

監視システムおよび監視技術のさまざまな実施形態が提供される。一実施形態では、非限定的な例によれば、監視システムは、第１のカメラの使用により取得される複数のビデオフレームを受信するよう構成された入力ユニットと、複数のビデオフレームについて予測プロセスおよび符号化プロセスを実施するよう構成されたビデオ処理ユニットと、予測プロセスおよび符号化プロセスからの結果の少なくとも一部に基づいて複数のビデオフレーム間の移動物体を追跡して、追跡されている該移動物体の位置情報を生成するよう構成された移動物体追跡ユニットと、を含む。監視システムはさらに、位置情報に基づいて制御信号を生成し、該制御信号を第２のカメラに送信して該第２のカメラの動きを制御するよう構成された制御ユニットを含む。

前述の概要は例示にすぎず、決して限定することを意図するものではない。上記に例示した態様、実施形態、特徴に加えて、さらなる態様、実施形態、特徴が、図面および以下の詳細な説明を参照することにより明らかになるであろう。

監視システムの例示的実施形態の概略ブロック図である。 図１に示すような監視システムにおけるビデオ処理ユニットの概略ブロック図である。 図１の監視システムによって実施されるイントラ予測プロセスを説明する概略図である。 図１の監視システムによって実施されるイントラ予測プロセスを説明する概略図である。 図１の監視システムによって実施されるイントラ予測プロセスを説明する概略図である。 図１の監視システムによって実施されるインタ予測プロセスを説明する概略図である。 サンプルビデオ画像、および図１の監視システムによって算出される、サンプルビデオ画像に関する予測／符号化情報を説明する図である。 サンプルビデオ画像、および図１の監視システムによって算出される、サンプルビデオ画像に関する予測／符号化情報を説明する図である。 サンプルビデオ画像、および図１の監視システムによって算出される、サンプルビデオ画像に関する予測／符号化情報を説明する図である。 サンプルビデオ画像、および図１の監視システムによって算出される、サンプルビデオ画像に関する予測／符号化情報を説明する図である。 サンプルビデオ画像、および図１の監視システムによって算出される、サンプルビデオ画像に関する予測／符号化情報を説明する図である。 図５ａに示すようなサンプルビデオ画像上で実施される、動き分類の結果を説明する図である。 図５ａに示すようなサンプルビデオ画像上で実施される、動き分類の結果を説明する図である。 図５ａに示すようなサンプルビデオ画像上で実施される、動き分類の結果を説明する図である。 図５ａに示すようなサンプルビデオ画像上で実施される、動き分類の結果を説明する図である。 監視方法の例示的実施形態のフローチャートである。 移動物体追跡プロセスの例示的実施形態のフローチャートである。 動き分類プロセスの例示的実施形態のフローチャートである。

以下の詳細な説明では、本文書の一部をなす添付の図面を参照していく。図面においては、別途記載がない限り、同様の符号は概して同様のコンポーネントを識別するものとする。詳細な説明、図面、特許請求の範囲に記載の例示的実施形態は、限定することを意味するものではない。本文書に提示するサブジェクトマターの精神または範囲を逸脱することなく、その他の実施形態を利用することができ、またその他の変更を施すことができる。本文書で一般に述べられ、図において例示されている本開示のコンポーネントが、多種多様な異なる構成において配置、代用、結合、設計することが可能であること、そしてそれらの多種多様な異なる構成がすべて明白に考慮され、本開示の一部をなすものであることを容易に理解されよう。

本開示の例示的実施形態によるシステムおよび方法が、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせを含むさまざまな形態で実装できることを理解されたい。例えば、本開示の１つまたは複数の例示的実施形態を、プログラム記憶デバイス（例えば、ハードディスク、磁気フロッピー（登録商標）ディスク、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭなど）などの少なくとも１つのコンピュータ可読媒体上で容易に実施することができ、また、適切な構成を有する、コンピュータおよびコンピュータシステムを含むいずれかのデバイスまたはマシンによって実行可能な、プログラムまたはその他の適切なコンピュータ実行可能命令を有するアプリケーションとして実装することができる。一般に、プログラムモジュールの形態をとり得るコンピュータ実行可能命令は、特定のタスクを実施し、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。プログラムモジュールの機能性は、さまざまな実施形態において所望するように結合または分散することができる。添付の図に記載されているシステム構成コンポーネントおよびプロセス構成動作の中にはソフトウェアとして実装できるものもあるため、システムユニットやシステムモジュールの間の接続（または方法動作の論理的流れ）は、本開示のさまざまな実施形態をプログラム化する方法によって異なることがあることもさらに理解されたい。

図１は、監視システム１００の例示的実施形態の概略ブロック図を示す。図に示すように、監視システム１００は、入力ユニット１２０、ビデオ処理ユニット１３０、移動物体追跡ユニット１４０、カメラ制御ユニット１５０を含む。

入力ユニット１２０は、カメラ、カムコーダーなどの画像キャプチャーデバイス（図示せず）から複数のビデオフレームを受信することができる。例えば、入力ユニット１２０は、第１のカメラ１１２に連結され、第１のカメラ１１２によってキャプチャーまたは取得されたビデオフレームを有するビデオを受信することができる。特定の実装要件によっては、第１のカメラ１１２は広角カメラのことがある。実施形態によっては、入力ユニット１２０が、シリアルポート、パラレルポート、ＰＳ／２ポート、ユニバーサルシリアルバス（ＵＳＢ）リンク、ファイアワイヤまたはＩＥＥＥ１３９４リンクなどのデジタルインタフェースプロトコル、あるいは赤外線インタフェース、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、高品位マルチメディアインタフェース（ＨＤＭＩ）、高帯域デジタルコンテンツ保護（ＨＤＣＰ）、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）などの無線インタフェース接続を使用することによって通信プロトコルを実装する（有線でも無線でも）インタフェースユニットのことがある。入力ユニット１２０は、ビデオフレームをデジタル画像データに変換することができる。入力ユニット１２０は、アナログ−デジタル変換、量子化などのさまざまな周知のデータ処理技術のいずれかを使って、ビデオフレームからデジタル画像データを得ることができる。デジタル画像データは、画像フレームのさまざまなピクセル位置における、強度や色などの画像フレームの特徴を表すことができる。一実施形態では、入力ユニット１２０は、ビデオフレームをデジタル画像データに変換するデジタル変換機（図示せず）を含むことができる。

ビデオ処理ユニット１３０は、入力ユニット１２０が生成または作成したデジタル画像データ、例えば、画像キャプチャーデバイス（例えば第１のカメラ１１２）がキャプチャーしたビデオフレームから生成されたデジタル画像データを処理することができる。例えば、ビデオ処理ユニット１３０は、デジタル画像データの処理の一環として予測プロセスおよび符号化プロセスを実行して符号化ビットストリームをつくり出すことができ、この符号化ビットストリームを、データネットワークを介して遠隔制御ユニット（図示せず）に送信することができる。一実施形態では、ビデオ処理ユニット１３０は予測情報、符号化情報を生成し、それらを移動物体追跡ユニット１４０に送信することができる。移動物体追跡ユニット１４０は、予測情報および符号化情報を使って、複数のビデオフレーム間の物体の捕捉、識別、検出、および／または追跡を行うことができる。予測プロセス、符号化プロセス、物体の追跡については後で詳細に説明する。

カメラ制御ユニット１５０は、第２のカメラ１１４の動作を制御するよう構成される。特定の実装要件によっては、第２のカメラ１１４は広角カメラのことがある。カメラ制御ユニット１５０は、移動物体追跡ユニット１４０が生成した情報（例えば、ビデオフレーム中の移動物体の位置情報）に基づいて制御信号を生成するように、また、生成した制御信号を送信して第２のカメラ１１４の動作または動きを制御するように構成される。カメラ制御ユニット１５０によって制御される第２のカメラ１１４の動作、および制御信号の生成については、後で詳細に説明する。

実施形態によっては、監視システム１００（または、ビデオ符号化ユニット１３０、移動物体追跡ユニット１４０、カメラ制御ユニット１５０などの監視システム１００の個々のユニット）が、プロセッサ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラなどを含むことができる。監視システム１００は、オペレーティングシステムをはじめとするソフトウェアアプリケーションを格納し操作するための少なくとも１つの埋込みシステムメモリ、少なくとも１つのアプリケーションプログラム、その他のプログラムモジュールを含むことができる。監視システム１００は、監視システム１００の動作を管理し制御するよう構成された適切なオペレーティングシステムの走行を容易にする。それらの動作には、関連ソフトウェアアプリケーションプログラム／モジュールへのデータの入力、およびそれらからのデータの出力が含まれ得る。オペレーティングシステムは、ソフトウェアアプリケーションプログラム／モジュールと、例えば、監視システム１００のハードウェアコンポーネントとの間のインタフェースを提供することができる。

実施形態によっては、監視システム１００が、監視システム１００のコンポーネントまたはユニット／モジュールの間で伝達されるデータを格納するよう構成されたメモリ（図示せず）を含むことができる。監視システム１００のさまざまなコンポーネントまたはユニット／モジュールは、そのメモリ（揮発性および不揮発性が含まれる）をデータ処理に利用することができる。例えば、入力ユニット１２０は、１つまたは複数の画像キャプチャーデバイスを介して取得された１つまたは複数のデジタル画像データ（例えば、第１のカメラ１１２を介したデジタル画像データ）を、ビデオ処理ユニット１３０による処理のためにメモリに格納することができる。ビデオ処理ユニット１３０は、メモリからデジタル画像データを検索し、処理する。

図２は、図１に示すビデオ処理ユニットの例示的実施形態を示す概略ブロック図を説明するものである。ビデオ処理ユニット１３０は、予測モジュール１３２および変換／符号化モジュール１３４を含むことができる。予測モジュール１３２は、入力ユニット１２０（またはメモリ）から画像データを受信し、その画像データのビデオフレームをマクロブロック（例えば、１６×１６の表示ピクセル）単位で処理して、以前に符号化されたビデオデータ（以下「予測情報」という）に基づいて現在のマクロブロック（例えば動きベクトル）の動き推定に関する情報を生成することができる。現在のマクロブロックの予測情報は、現在のビデオフレームからの、以前に符号化されたビデオデータに基づいて求めることができ（以下、「イントラ予測」または「イントラ符号化」という）、あるいはすでに符号化されて送信されているその他のビデオフレームからの、以前に符号化されたビデオデータに基づいて求めることができる（以下、「インタ予測」または「インタ符号化」という）。予測モジュール１３２は、現在のマクロブロックから、予測されたマクロブロック（予測情報によって表すことができる）を差し引いて残差情報を形成することができる。予測情報および残差情報の生成については、後で図３〜５を参照しながら詳細に説明する。変換／符号化モジュール１３４は、予測モジュール１３２から残差情報を受信し、その残差情報を変換して、例えば離散コサイン変換（ＤＣＴ）を使って１組の係数を出力する。その後、１組の係数は量子化される。量子化された変換係数は、データネットワークを介して送信するために、例えば可変長符号化方法および／または算術符号化方法を使ってビットストリームに変換することができる。

実施形態によっては、ビデオ処理ユニット１３０の予測モジュール１３２は、動き推定方法、例えば、モーションピクチャエキスパートグループ（ＭＰＥＧ）またはＨ．２６４などの圧縮規格にサポートされた可変サイズブロック動き推定を使って、予測情報を生成することができる。Ｈ．２６４によれば、図３ａ〜３ｃに示すように、４×４、８×８、または１６×１６のブロックサイズを使ってビデオフレームにおけるイントラ予測を行って、同じビデオフレーム内の以前に符号化された周囲のピクセルから、現在のマクロブロックを予測することができる。Ｈ．２６４規格は、イントラ予測のために、隣接するマクロブロックやブロックの間の空間的相関を利用する。特に、現在のマクロブロックを、先に復号化されている上側および左側のマクロブロック中の隣接ピクセルによって予測することができる。輝度予測サンプルについては、４×４のサブブロックのそれぞれ、８×８のブロックそれぞれ、または１６×１６のマクロブロックについて予測ブロックを形成することができる。４×４および８×８の輝度ブロックのそれぞれについて全部で９予測モード、１６×１６の輝度ブロックについて４モード、彩度ブロックそれぞれについて４モードの中から１タイプを選択する。

４×４イントラ予測モードでは、４×４ブロックの輝度サンプルそれぞれの値を、４×４ブロックの上側または左側の近傍ピクセルから予測することができる。一実施形態では、図３ａに例示するように、予測モジュール１３２が選択できる異なる９方向がある。各予測方向は、各入力サンプルの予測として使用するための、以前に復号化されたサンプルの空間的に依存する線形結合の特定の１組に対応する。図３ｂは、例示の目的で、符号化されるマクロブロックに所属するピクセルａ〜ｐの４×４ブロックを示す。ピクセルＡ〜Ｍは、現在の４×４ブロックのピクセルを予測する際に使用した、すでに復号化済みの近傍ピクセルである。図３ｃは、９種類の４×４イントラ予測モードを示す。例えば、モード２（ＤＣ）については、すべてのピクセル（ａ〜ｐと表示）が（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ）／８で予測される。モード０は、垂直予測モードを指定する。垂直予測モードでは、ピクセル（ａ、ｅ、ｉ、ｍと表示）がＡから予測され、ピクセル（ｂ、ｆ、ｊ、ｎと表示）がＢから予測され…というように予測される。水平予測を取り入れると（モード１）、ピクセルａ〜ｄがピクセルＥによって予測され、ピクセルｅ、ｆ、ｇ、ｈがピクセルＦによって予測される。モード３（斜め左下）、モード４（斜め右下）、モード５（垂直右寄り）、モード６（水平下寄り）、モード７（垂直左寄り）、モード８（水平上寄り）については、予測サンプルＡ〜Ｍの加重平均から予測サンプルが形成される。例えば、サンプルａおよびｄは、それぞれ、モード４では丸め（Ｉ＊４＋Ｍ＊２＋Ａ＊４）および丸め（Ｂ＊４＋Ｃ＊２＋Ｄ＊４）によって予測され、また、モード８では丸め（Ｉ＊２＋Ｊ＊２）および丸め（Ｊ＊４＋Ｋ＊２＋Ｌ＊４）によって予測される。符号化されたブロックとそのブロックの予測との残差を最小限にすることにより、各ブロックに対する最善の予測モードが選択される。

図４に示すように、インタ予測は、ブロックサイズの範囲（例えば、１６×１６ピクセルから４×４ピクセルまでの可変サイズブロック）を使って、現在のビデオフレーム中のピクセルまたはマクロブロックを、以前に符号化されたビデオフレーム中の同様の領域から予測することができる。特に、連続するビデオフレーム間の動き補償ブロックのベストマッチを見つけるために、インタ予測を行うことができる。次いで、動きベクトルを求めて、現在のビデオフレームおよび以前に符号化されたビデオフレームにおける２つのマクロブロック（すなわち、２つのベストマッチマクロブロック）の間の相対変位を表すことができる。例えば、Ｈ．２６４は、１６×１６輝度サンプルから４×４輝度サンプルまでの範囲の動き補償ブロックサイズをサポートし、多くのオプションがある。各マクロブロック（１６×１６サンプル）の輝度コンポーネントは、１６×１６、１６×８、８×１６、８×８の４通りで分割することができる。８×８モードを選択した場合、マクロブロック内の４つの８×８マクロブロックパーティションのそれぞれを、さらに８×８、８×４、４×８、４×４の４通りで分割することができる。パーティションまたはサブパーティションのそれぞれについて、別個の動きベクトルが必要である。各動きベクトルを、送信するために符号化することができる。

上記に詳細に説明したように、ビデオ処理ユニット１３０の予測モジュール１３２によって生成される予測情報は、現在のビデオフレームおよび以前に符号化されたビデオフレーム中の２つのマクロブロックの間の相対変位を表す動きベクトルを含むことができる。一実施形態では、現在のビデオフレーム中の座標から以前に符号化されたビデオフレームの座標までのオフセットを提供する二次元ベクトルが表す動きベクトルから、動きの変位を引き出すことができる。可変サイズブロック動き推定方法においては、動きベクトルを算出する際に、４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６など、異なるマクロブロックサイズを使用することができる。

図５ａは、歩いている人間など、移動物体を含むサンプルビデオ画像を例示するものであり、図５ｂは、さまざまなサイズのマクロブロックによる画像のパーティショニングを例示するものである。例えば、図５ｂに示すように、大きめのブロック（全般に斜め線で示している）を、背景エリア５１０など、ビデオフレーム中の比較的静止している均一な画像エリアに割り振ることができる。これに対して、小さめのブロック（全般に空白ブロックとして示してある）を、前景エリア５２０など、ビデオフレーム中の複雑な動き物体（例えば、図５ｂに示すような、移動している、または歩いている人間）を含む画像エリアに割り振ることができる。図５ｃは、図５ｂに示すような画像のパーティショニングに基づいて得ることができる動きベクトルを例示したものである。図５ｃに示すように、小さい物体（例えば画像エリア５２０中）が、静止している背景（例えば画像エリア５１０中）上を移動している場合、動き推定によって可変サイズの動きベクトルを得ることができる。このような場合、その静止している背景から、小さい値（値のないことさえある）の動きベクトルを得ることができる。動きベクトルは、さまざまなブロックマッチング方法を実施することにより算出することができる。Ｈ．２６４規格によれば、当該規格に定義されているすべてのブロックサイズについて、現在のビデオフレームと以前に符号化されたビデオフレームとのベストブロックマッチを排他的検索することにより、動きベクトルを求める。あるいは、適応ブロックマッチング方法をはじめとするその他の種類のブロックマッチング方法を使って、ブロックマッチングのパフォーマンスを向上させることができる。

実施形態によっては、予測情報は、現在のビデオフレーム中のマクロブロックから、予測されたマクロブロック（予測情報によって表すことができる）を差し引くことによって求められる残差データを含むことができる。大量の残差データを含む画像エリアまたはマクロブロックは、高確率の複雑な動き物体を表すことができる。図５ｄに示すように、大きい値の残差情報を含むマクロブロックは、移動している人間（例えば、画像エリア５２０中）などの移動物体を表すことができる。

実施形態によっては、予測情報が、ビデオフレームに割り振られるマクロブロックのタイプに関する情報（「マクロブロックタイプ情報」）を含むことができる。上述のように、可変サイズブロック動き推定方法においては、サイズが小さめのブロックを、ビデオフレーム中の複雑な動き物体を含む画像エリアに割り振ることができる。例えば、図５ｂに示すように、移動物体を有する画像エリア５２０は、その画像エリアに割り振られたサイズが小さめのブロックを含む確率が高い。一実施形態では、所定の寸法、例えば４×４よりも大きくないブロックサイズのマクロブロックを、「精緻」タイプのマクロブロックとして定義することができる。例えば、精緻タイプのマクロブロックが割り振られる、ビデオフレーム中の画像エリアを、移動物体を含むものと判断することができる。一実施形態では、画像エリアが移動物体を含むかどうかを判断する際に、「スキップされたマクロブロック」を使用することができる。一般に、スキップされたマクロブロックとは、当該マクロブロックに関する情報が送信されず、また、現在のビデオフレームと参照ビデオフレームとの間の相関が高いために、当該マクロブロックのための画像エリアが該参照ビデオフレームから（または以前に符号化されたビデオフレームから）直接取り込まれるものとして定義されるものである。例えば、スキップされたマクロブロックを、移動物体を含まないマクロブロック（例えば、図５ｂの斜め線のブロックで示したマクロブロック）として定義することができる。さらに、スキップされたマクロブロックに囲まれた精緻タイプのマクロブロックを、移動物体を含まないマクロブロックとして定義することができる。マクロブロックタイプ情報は、マクロブロックをイントラ符号化モードで処理すべきかどうかに関する情報を含むことができる。イントラ符号化モードで処理すべきマクロブロックは、移動物体を含む画像エリアに対応すると判断することができる。

図２に戻ると、変換／符号化モジュール１３４は、予測モジュール１３２が生成した予測情報に基づいて符号化情報を作成することができる。特に、変換／符号化モジュール１３４は、予測情報の変換および量子化を行うことができる。Ｈ．２６４によれば、変換プロセスでは、予測情報を含む残差情報を、離散コサイン変換（ＤＣＴ）の近似形である４×４または８×８の整数変換を使って変換することができる。変換／符号化モジュール１３４が実施する変換プロセスは、１組の係数を出力することができ、各係数は、標準基準パターンのための重み値である。変換プロセスの出力である変換係数のブロックは量子化される。すなわち、各係数を整数値で割る。変換／符号化モジュール１３４は符号化プロセスを実施して、量子化された変換係数をその他の情報（復号器が予測情報を再現できるようにする情報、圧縮データの構造に関する情報など）とともに符号化して、圧縮ビットストリームを形成する。符号化プロセスでは、可変長符号化および／または算術符号化を使って、予測情報をバイナリコードに変換することができる。

実施形態によっては、移動物体追跡ユニット１４０が移動物体追跡プロセスを実施して、連続ビデオフレームにおいて移動物体を検出し追跡し続けることができる。移動物体追跡プロセスは、予測モジュール１３２が生成した予測情報、および／または変換／符号化モジュール１３４が生成した符号化情報に基づいて実施することができる。符号化情報は、イントラ符号化モードにおける１マクロブロック当たりの符号化ビット数を含むことができる。例えば、図５ｅは、サンプルビデオ画像（図５ａに示すような）の１マクロブロック当たりの符号化ビット数を例示するものである。図中、明るい色の領域またはマクロブロックは、１マクロブロック当たりの符号化ビットをより多く含むものである。このような符号化情報は、残差データに関連する情報を含むことができる。特に、マクロブロックからの大量の残差データは、そのマクロブロックを符号化するために割り振るビットをより多く必要とする。例えば、マクロブロックを符号化するために割り振るビット数が所定値よりも大きい場合、そのマクロブロックを移動物体を含むものとして定義することができる。移動物体追跡プロセスは、移動物体追跡ユニット１４０が、予測モジュール１３２および変換／符号化モジュール１３４が実施するいずれかのプロセスと同時に実行することができる。移動物体追跡ユニット１４０は、予測モジュール１３２および変換／符号化モジュール１３４によって生成された予測情報および符号化情報、または予測情報および符号化情報を結合したものの少なくとも一部に基づいて、移動物体追跡プロセスを実施することができる。

実施形態によっては、移動物体追跡ユニット１４０が、移動物体を含む画像エリア（またはマクロブロック）の候補のリストを生成するために、予測情報および符号化情報の少なくとも一部に基づいて第１の動き分類を実施することができる。移動物体追跡ユニット１４０は、次いで、最終的な移動物体を含む画像エリアのリストを決定するために、予測情報の少なくとも一部に基づいて第２の動き分類を実施する。第２の動き分類は、予測情報に基づいた特定の分類基準を満たさない画像エリアを、上記候補画像エリアリストから除去することによって実施することができる。以下、第１および第２の動き分類の例を説明する。

一実施形態では、第１の動き分類を実施するために、移動物体追跡ユニット１４０が、予測モジュール１３２が生成した可変サイズ動きベクトルに基づいて、現在のビデオフレームにおける移動物体を含む画像エリアまたはマクロブロックを決定することができる。動きベクトルの大きさは、現在のビデオフレームにおける物体を含むマクロブロック（例えば、１６×１６のサイズのマクロブロック、または、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４などの小さめのサイズのブロック）の、以前に符号化されたビデオフレームからの変位を表す。したがって、動きベクトルの大きさが大きいほど、マクロブロックが移動物体を有する確率が高い。図６ａは、図５ａに示すようなサンプルビデオ画像の動きベクトルを例示するものであり、動きベクトルの大きさが大きめの画像エリア６１０〜６５０を示している。例えば、現在のビデオフレームにおけるマクロブロック（例えば、図６ａの画像エリア６１１〜６１５）の動きベクトルの大きさが所定値よりも大きい場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。

別の実施形態では、移動物体追跡ユニット１４０は、予測モジュール１３２が生成した残差情報に基づいて、候補画像エリアまたはマクロブロックを決定することができる。大量の残差データを含むマクロブロックは、高確率で複雑な動き物体を表すことができる。図６ｂは、図５ａに示すようなサンプルビデオ画像の残差情報を例示するものであり、残差情報の大きさが大きめの画像エリア６２１〜６２８を示している。例えば、現在のビデオフレームにおけるマクロブロック（例えば、図６ｂの画像エリア６２１〜６２８）の残差情報の大きさが所定値よりも大きい場合、そのマクロブロックを、移動物体を含む画像エリアの候補と判断することができる。さらに別の実施形態では、移動物体追跡ユニット１４０は、予測モジュール１３２が生成したマクロブロックタイプ情報に基づいて、候補画像エリアまたはマクロブロックを決定することができる。マクロブロックにイントラ符号化モードが割り当てられた場合、そのマクロブロックは移動物体の一部となり得る。例えば、マクロブロックタイプ情報が、現在のビデオフレーム中のマクロブロックをイントラ符号化モードで処理すべきであることを示す場合、移動物体追跡ユニット１４０は、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。

別の例として、マクロブロックタイプ情報が、現在のビデオフレーム中のマクロブロックが精緻タイプ（例えば、４×４よりも大きくないブロックサイズのマクロブロック）であると判断されることを示す場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。上述のように、移動物体を有する画像エリア（またはマクロブロック）は、その画像エリアに割り振られた小さめのサイズのブロックを含む確率が高い。図６ｃは、さまざまなサイズのマクロブロックを有するサンプルビデオ画像（図５ａに示すような）のパーティショニングを例示するものである。図に示すように、ビデオ画像のいくつかのエリア（図６ｃの画像エリア６３１〜６３４など）において画像のパーティショニングが非常に複雑な場合、それらの画像エリアは、移動物体を含む領域の一部であり得る。

実施形態によっては、移動物体追跡ユニット１４０は、変換／符号化モジュール１３４が生成した符号化情報に基づいて第１の動き分類を実施することができる。例えば、大きめの残差情報を有するマクロブロックを含む画像エリア（例えば、図６ｂの画像エリア６２１〜６２８）は、そのマクロブロックに割り振られた多めのビット数を有することができる。多めのビット数を割り振られたマクロブロックを含む画像エリアは、移動物体を含む領域の一部であり得る。例えば、符号化情報が、マクロブロックを符号化するために割り振られたビット数が所定数よりも大きいことを表す場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。マクロブロックを符号化するために割り振られるビット数は、そのマクロブロックによって表される画像の複雑さに依存し得るが、候補画像エリアを決定する際に使用される所定数は、マクロブロックを符号化するために割り振られるビット数の平均数に基づいて設定することができる。このような平均ビット数は、変換／符号化モジュール１３４が以前に入力された画像データに基づいて算出することができる。特に、平均ビット数は、ビデオフレームに含まれるすべてのマクロブロックを符号化するために割り振られたビット数を合計し、その合計ビット数をマクロブロック数で割ることによって算出することができる。一実施形態では、変換／符号化モジュール１３４は、第１の動き分類を実施するために最新の更新済み平均ビット数を維持することができる。

第２の動き分類においては、移動物体追跡ユニット１４０は、予測情報に基づいて、追加分類基準を移動物体追跡プロセスに適用することができ、それによって、最終的な移動物体を含む画像エリアのリストを決定する。第２の動き分類は、その分類基準を満たさない画像エリアを候補画像エリアリストから除去することによって実施することができる。第２の動き分類のための追加分類基準の例を以下に説明する。一実施形態では、マクロブロックのサイズを、第２の動き分類の分類基準として使用することができる。例えば、移動物体追跡プロセスにおいて可変サイズブロック動き推定方法を使用した場合（図６ａおよび６ｂに関して上記に説明したように）、所定値（例えば４×４）よりも大きくないサイズのマクロブロックを候補画像エリアリストから除去することができる。例えば、小さめのサイズの画像エリア６１４および６１５を、図６ａの候補画像エリア６１１〜６１５から除去することができ、一方、小さめのサイズの画像エリア６２３〜６２８を、図６ｂの画像エリア６２１〜６２８から除去することができる。別の実施形態では、マクロブロックを囲むマクロブロックのタイプを、分類基準として使用することができる。例えば、移動物体追跡プロセスにおいてマクロブロックタイプ情報を使用する場合（図６ｃに関して上記に説明したように）、また、候補画像エリアリストに含まれるマクロブロックが、スキップされたマクロブロックに囲まれた精緻タイプのマクロブロックである場合、そのマクロブロックを候補画像エリアリストから除去することができる。例えば、スキップされたマクロブロック（斜め線のブロックで示す）に囲まれた精緻タイプのマクロブロックを有する画像エリア６３３、６３４を、図６ｃの候補画像エリア６３１〜６３４から除去することができる。

実施形態によっては、移動物体追跡ユニット１４０は、上記の個々の動き分類結果の少なくとも一部の重み付き結合に基づいて、追加移動物体追跡プロセスを実施することができる。このような追加移動物体追跡プロセスを、第１および第２の動き分類が完了した後のオプションのステップとして実施することができる。実施形態によっては、重み付きＡＮＤ演算を使って、移動物体を含む画像エリアまたはマクロブロックを判断するための、第１および第２の動き分類結果の重み付き結合を決定することができる。例えば、図６Ｄに示すように、移動物体追跡ユニット１４０は、図６ａ〜６ｃに関して上記に説明した、個々の動き分類結果のＡＮＤ結合に基づいて、動き物体追跡プロセスを実施することができる。例えば、対応する動き分類基準に基づいて決定された候補画像エリア（またはマクロブロック）リストそれぞれに対して、０．０〜１．０の範囲の所定の重みを与える。一実施形態では、予測情報に基づいて決定された候補画像エリアリストに対しては多めの重み（例えば０．７）を与え、一方、符号化情報に基づいて決定された候補画像エリアリストに対しては少なめの重み（例えば０．３）を与えることができる。最終画像エリアのリストは、候補画像エリアリストそれぞれを所定の重み付きで結合し、所定値（例えば０．５）よりも大きい重みの画像エリアを選択することによって決定することができる。さらに、移動物体追跡ユニット１４０は、第１の動き分類および第２の動き分類のうち少なくとも１つを実施して、最終的な移動物体を含む画像エリアのリストを決定することができる。いったん最終的な移動物体を含む画像エリアのリストが決定されると、移動物体追跡ユニット１４０は、その最終的な移動物体を含む画像エリアのリストに基づいて、追跡した移動物体の位置情報を生成することができる。一実施形態では、追跡した移動物体の位置情報は、現在のビデオフレーム中のその移動物体の二次元座標を含むことができる。

図１に示すように、カメラ制御ユニット１５０は、移動物体追跡ユニット１４０からの位置情報に基づいて制御信号を生成し、その制御信号を第２のカメラ１１４（ＰＺＴカメラなど）に送信することができる。カメラ制御ユニット１５０は、その制御信号を第２のカメラ１１４に送信して、例えば通信モジュールを使って第２のカメラ１１４の動きを制御することができる。制御信号は、第２のカメラ１１４を操作または制御して、移動物体追跡ユニット１４０が追跡している物体（例えば人間）の特徴部分（例えば顔）を第２のカメラ１１４がキャプチャーできるようにパンし、かつ／またはズームイン／アウトすることができる。カメラ制御ユニット１５０は、第１のカメラ１１２と第２のカメラ１１４の間の位置関係を定義することができる。実施形態によっては、第１のカメラ１１２および第２のカメラ１１４は、第１のビデオフレーム中の１点を第２の画像フレーム中の別の点にマップできるよう、同じ領域の別の部分を見ることができる。第１の画像フレーム、第２の画像フレームは、それぞれ第１のカメラ１１２、第２のカメラ１１４によってキャプチャーまたは取得されていることが可能である。カメラ制御ユニット１５０は、第１の画像フレーム中の追跡されている移動物体の位置情報、および第１のカメラ１１２と第２のカメラ１１４の間の位置関係を使って、それによって第２のカメラ１１４の動きを制御するための制御信号を生成することができる。例えば、カメラ制御ユニット１５０は、第１のカメラ１１２と第２のカメラ１１４の間の位置関係を用いて第１の画像フレーム中の追跡されている物体の位置情報を処理し、それによって、パン、ズームイン／アウトにより第２のカメラ１１４がカバーし強調すべき位置範囲を推定することができる。このようにして、カメラ制御ユニット１５０は、追跡されている物体の特徴部分を第２のカメラ１１４がキャプチャーできるようにすることができる。実施形態によっては、追跡されている物体の特徴部分をビデオ画像（例えば、ＭＰＥＧまたはＨ．２６４フォーマット）や静止画像（例えばＪＰＥＧフォーマット）に符号化するなど、さらなる処理を行うために、第２のカメラ１１４を別のビデオ処理ユニット（図示せず）と連結することができる。

監視システム１００は、例えばオペレータが見ることができるように、ビデオ（例えば、第１のカメラ１１２がキャプチャーしたビデオ、および／または第２のカメラ１１４がキャプチャーしたビデオ）および／またはデジタル画像データなどの処理の結果などの視覚的出力を提供するためのディスプレイ（図示せず）を含むことができる。ディスプレイにはＣＲＴディスプレイをはじめとするフラットパネルディスプレイ、その他の適切な出力デバイスが含まれるが、それらのみに限られるわけではない。監視システム１００はまた、スピーカやプリンタなど、その他の周辺出力デバイス(図示せず)も含むことができる。

実施形態によっては、監視システム１００は、有線または無線通信プロトコルによって少なくとも１つの外部デバイスとの論理接続性を提供する通信モジュールをさらに含むことができる。シリアルポート、パラレルポート、ＰＳ／２ポート、ユニバーサルシリアルバス（ＵＳＢ）リンク、ファイアワイヤまたはＩＥＥＥ１３９４リンクなどのデジタルインタフェースプロトコル、あるいは、赤外線インタフェース、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、高品位マルチメディアインタフェース（ＨＤＭＩ）、高帯域デジタルコンテンツ保護（ＨＤＣＰ）、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）などの無線インタフェース接続を使用することによって、通信プロトコル（有線、無線どちらでも）を実装することができる。実施形態によっては、通信モジュールは、汎欧州デジタル移動電話方式（ＧＳＭ（登録商標））、全地球測位システム（ＧＰＳ）、デジタルモバイルマルチメディア（ＤＭＢ）、符号分割多重アクセス方式（ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、Ｗｉ−Ｂｒｏ無線ブロードバンドなどの移動通信システムを介して通信するためのモデムを含むことができる。本開示において説明している接続方法は例にすぎず、デバイスやコンピュータの間の通信リンクを確立するその他の方法も使用できることを理解されたい。

ネットワーク環境において、所望の実装によっては、監視システム１００のコンポーネントの一部またはすべてを、２台以上のデバイスによる分散システムとして実装することができる。例えば、ビデオ処理ユニット１３０および移動物体追跡ユニット１４０をサーバ上に実装し、監視システム１００のその他のモジュール／コンポーネントをモバイルデバイスまたはモバイル端末に実装することができる。本例では、モバイル端末が、ビデオフレーム（例えば、該モバイル端末中に設置された第１のカメラ１１２によってキャプチャーされたビデオフレーム）のデジタル画像データを通信モジュールを介してサーバに送信することができる。それにより、サーバは、ビデオ符号化プロセスおよび移動物体追跡プロセスを実施して、モバイル端末がさらなる処理のために中に設置されたカメラ（例えば第２のカメラ１１４）を操作するよう制御信号を送信することができる。監視システム１００は、遠隔コンピュータなどの１つまたは複数の遠隔デバイスとの論理接続を使用するネットワーク化された環境において動作することができる。遠隔コンピュータは、パーソナルコンピュータ、サーバ、ハンドヘルドまたはラップトップデバイス、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の一般的なネットワークノードであってよく、典型的には、監視システム１００に関連して本開示において説明したコンポーネントのいくつかまたはすべてを含むことができる。

図１の監視システム１００は適切な操作環境の一例にすぎず、限定することを意図したものではない。本開示において説明した画像処理に適し得るその他の周知のコンピューティングシステム、環境、および／または構成には、パーソナルコンピュータ、携帯電話などのポータブルデバイス、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な家電、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ、図１に例示するユニットまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれるが、これらに限定されるものではない。

図７は、監視方法の例示的実施形態のフローチャートである。ブロック７１０で、ビデオ処理ユニット１３０が現在のビデオフレームに関する予測情報を生成する。第１のビデオフレームを、第１のカメラ１１２（例えば広角カメラ）によってキャプチャーまたは取得することができる。ビデオ処理ユニット１３０は、アナログ−デジタル変換、量子化など、さまざまな周知のデータ処理技術のいずれかを使って、現在のビデオフレームをデジタル画像データに変換することができる。デジタル画像データの処理の一環として、ビデオ処理ユニット１３０は、予測プロセス、変換プロセス、符号化プロセスを実行して、データネットワークを介して遠隔ユニットに送信するビットストリームをつくり出すことができる。一実施形態では、ビデオ処理ユニット１３０は、ビデオフレームをマクロブロックの単位で（例えば、４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６の表示ピクセルのサイズで）処理して、そのビデオフレームの予測情報および符号化情報を生成する。上記に詳細に説明したように、予測情報は、動きベクトル、残差データ、マクロブロックタイプ情報の少なくとも１つを含む。符号化情報は、イントラ符号化モードにおける１マクロブロック当たりの符号化ビット数を含むことができる。ビデオ処理ユニット１３０は、動き推定方法、例えば、モーションピクチャエキスパートグループ（ＭＰＥＧ）またはＨ．２６４などの周知の圧縮規格にサポートされた可変サイズブロック動き推定を使用して、予測情報および符号化情報を生成することができる。

ブロック７２０で、移動物体追跡ユニット１４０は、予測情報および符号化情報、または予測情報および符号化情報を結合したものの少なくとも一部に基づいて、現在のビデオフレーム中の移動物体を追跡する。図８は、移動物体追跡ユニット１４０によって実施される移動物体追跡プロセスの例示的実施形態のフローチャートであり、これには、予測情報および符号化情報に基づく動き分類のステップ８１０、８２０が含まれる。移動物体追跡ユニット１４０は、ステップ８１０、８２０からの個々の動き分類結果の重み付き結合を算出する、追加ステップ８３０を実施することができる。

ブロック８１０では、移動物体を含む画像エリアまたはマクロブロックの候補のリストを決定するために、移動物体追跡ユニット１４０が第１の動き分類を実施する。第１の動き分類では、ブロック７１０で生成した動きベクトル、残差データ、マクロブロックタイプ情報の少なくとも１つに基づいて候補画像エリアリストを決定することができる。上記に詳細に説明したように、また、図９のブロック９１０で例示したように、可変サイズ動きベクトルに基づいて第１の動き分類を実施することができる。例えば、現在のビデオフレームにおけるマクロブロックの可変サイズ動きベクトルの大きさが所定値よりも大きい場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。ブロック９２０で、第１の動き分類を残差データに基づいて実施することができる。例えば、現在のビデオフレームにおけるマクロブロックの残差データの大きさが所定値よりも大きい場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。さらにブロック９３０で、第１の動き分類をイントラ符号化モードに関する情報に基づいて実施することができる。例えば、マクロブロックタイプ情報が、現在のビデオフレーム中のマクロブロックをイントラ符号化モードで処理すべきであることを示す場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。ブロック９４０で、マクロブロックタイプ情報に基づいて第１の動き分類を実施することができる。例えば、マクロブロックタイプ情報が、現在のビデオフレーム中のマクロブロックが精緻タイプ（例えば、４×４よりも大きくないブロックサイズのマクロブロック）であることを示す場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。さらに、ブロック９５０で、１マクロブロック当たりの符号化ビットに基づいて第１の動き分類を実施することができる。例えば、符号化情報が、マクロブロックを符号化するために割り振られたビット数が所定数よりも大きいことを表す場合、そのマクロブロックを移動物体を含む画像エリアの候補と判断することができる。上記に詳細に説明したように、候補画像エリアを決定する際に使用する所定数を、マクロブロックを符号化するために割り振る平均ビット数に基づいて設定することができる。この平均ビット数は、変換／符号化モジュール１３４が、以前に入力された画像データに基づいて算出することができる。

ブロック８２０で、最終的な移動物体を含む画像エリアまたはマクロブロックのリストを決定するために、移動物体追跡ユニット１４０は第２の動き分類を実施する。第２の動き分類では、マクロブロックまたは画像エリアを、それらマクロブロックが以下に詳細に説明するように所定の基準を満たさない場合、ブロック８１０で決定した候補画像エリアリストから除去することができる。上記に詳細に説明したように、移動物体追跡プロセスにおいて可変サイズブロック動き推定方法を使用した場合、所定値（例えば４×４）よりも大きくないサイズのマクロブロックを候補画像エリアリストから除去することができる。さらに、精緻タイプのマクロブロックがスキップされたマクロブロックに囲まれている場合、そのマクロブロックを候補画像エリアリストから除去することができる。

ブロック８３０で、移動物体追跡ユニット１４０は、ブロック８１０、８２０で決定した個々の動き分類結果の少なくとも一部の重み付き結合に基づいて、追加移動物体追跡プロセスを実施することができる。実施形態によっては、重み付きＡＮＤ演算を使って、移動物体を含む画像エリアまたはマクロブロックを判断するための、第１および第２の動き分類結果の重み付き結合を決定することができる。上記に詳細に説明したように、対応する動き分類基準に基づいて決定された候補画像エリア（またはマクロブロック）のリストそれぞれに対して、０．０〜１．０の範囲の所定の重みを与えることができる。最終画像エリアのリストは、候補画像エリアリストそれぞれを所定の重みで結合し、所定値（例えば０．５）よりも大きい重みの画像エリアを選択することによって決定することができる。

図７に戻ると、ブロック７３０で、いったんブロック７２０で最終的な移動物体を含む画像エリアのリストが決定されると、移動物体追跡ユニット１４０は、最終的な移動物体を含む画像エリアのリストに基づいて、追跡した移動物体の位置情報を生成することができる。移動物体追跡ユニット１４０は、位置情報をカメラ制御ユニット１５０に送信することができる。カメラ制御ユニット１５０は、追跡されている移動物体の位置情報に基づいて制御信号を生成して、第２のカメラ１１４（例えば狭角レンズ）の操作を制御する。例えば、カメラ制御ユニット１５０は、制御信号を送信して、第２のカメラ１１４を操作し、第２のカメラ１１４をパンし、かつ／またはズームイン／アウトすることができる。カメラ制御ユニット１５０は、制御信号を使って、追跡されている物体（例えば人間）の特徴部分（例えば顔）をキャプチャーするよう第２のカメラ１１４を操作する。カメラ制御ユニット１５０は、第１のカメラ１１２と第２のカメラ１１４の間の位置関係、および現在のビデオフレーム中の追跡されている物体の位置情報を使って、第２のカメラ１１４の動きを制御するための制御信号を生成することができる。実施形態によっては、第２のカメラ１１４は、追跡されている物体の特定の部分の情報を、その追跡されている物体の部分をビデオ画像（例えば、ＭＰＥＧやＨ．２６４フォーマット）や静止画像（例えば、ＪＰＥＧフォーマット）に符号化するなどのさらなる処理のために、他のビデオ処理ユニットに送信することができる。

当業者は、本文書に開示されている、本プロセスおよび方法、およびその他のプロセスおよび方法について、それらのプロセスおよび方法で実施される機能が異なる順序で実施できることを理解されよう。さらに、概説したステップおよび操作が例として提供されているにすぎず、それらステップおよび操作のいくつかを、開示の実施形態の本質を損なうことなく、任意選択することが可能であり、より少数のステップおよび操作に結合することが可能であり、さらなるステップおよび操作に拡大することが可能である。

当業者は、本開示に照らして、本文書に記載のシステム、装置、方法を、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、またはそれらの組み合わせで実装することができ、また、システム、サブシステム、コンポーネント、またはそれらのサブコンポーネントにおいて利用できることを理解されよう。例えば、ソフトウェアで実装した方法は、その方法の動作を実施するためのコンピュータコードを含むことができる。このコンピュータコードは、コンピュータ可読媒体、プロセッサ可読媒体またはコンピュータプログラム製品などのマシン可読媒体に格納することができ、あるいは、搬送波で具現化されたコンピュータデータ信号、または搬送波によって変調された信号として、送信媒体または通信リンクを介して送信することができる。マシン可読媒体には、マシン（例えば、プロセッサやコンピュータなど）が読み取り可能かつ実行可能な形態で情報を格納または転送することができるどのような媒体も含まれる。

本開示は、本出願に記載の特定の実施形態に限定されるものではない。それら特定の実施形態は、さまざまな態様の例示を意図するものである。当業者には明らかであるように、本開示の精神および範囲を逸脱することなく多くの変更および変形が可能である。当業者には、これまでの記載から、本文書に列挙の方法および装置に加えて、本開示の範囲に含まれる機能的に同等の方法および装置が明らかであろう。そのような変更および変形も、添付の特許請求の範囲の範囲内に含まれることを意図されるものである。本開示は、添付の特許請求の範囲、およびそのような特許請求の範囲が権利を有する同等物の全範囲によってのみ限定されるべきものである。本開示が、当然変更の可能性がある、特定の方法、試薬、合成物、構成物、または生体系に限定されるものではないことを理解されたい。本文書で使用されている用語は特定の実施形態を説明する目的でのみ使用されているものであり、限定することを意図したものではないことも理解されたい。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

当業者には理解されるように、明細書を提供するなど、あらゆる目的のために、本文書で開示されているすべての範囲は、その範囲のあらゆる可能な部分範囲、および部分範囲の組み合わせも包含するものである。列挙の範囲はいずれも、その同じ範囲を少なくとも二等分、三等分、四等分、五等分、十等分などに分解したものを十分に記載すること、またその分解を可能にするものとして、容易に認識することができよう。非限定的な例として、本文書で述べている各範囲を、最初の３分の１、真ん中の３分の１、最後の３分の１などに容易に分解することができる。同じく当業者が理解されるように、「〜まで（ｕｐ ｔｏ）」、「少なくとも（ａｔ ｌｅａｓｔ）」などの用語はすべて、列挙した数を含み、また、上述のように、その後に部分範囲に分解することが可能な範囲を指す。

前述の記載から、本開示のさまざまな実施形態は例示の目的で本文書に記載されたものであること、また、本開示の範囲および精神を逸脱することなくさまざまな変更が可能であることを理解されよう。したがって、本文書で開示したさまざまな実施形態は限定することを意図したものではなく、その真実の範囲および精神は、以下の特許請求の範囲によって示されるものである。

Claims (24)

1. 第１のカメラを介して取得される複数のビデオフレームを受信するよう構成された入力ユニットと、
   前記複数のビデオフレームに関する予測情報および符号化情報を生成するよう構成されたビデオ処理ユニットと、
   前記予測情報および符号化情報の少なくとも一部に基づいて、前記複数のビデオフレーム間の移動物体を追跡して、該移動物体の位置情報を生成するよう構成された移動物体追跡ユニットであって
   前記移動物体と関連する候補マクロブロックのリストを決定するための第１の動き分類を実施し、
   前記移動物体と関連する最終マクロブロックのリストを決定するための第２の動き分類を実施し、
   前記第１及び第２の動き分類の結果の重み付き結合に基づき、前記移動物体の追跡を行う、
   ように構成された移動物体追跡ユニットと、
   前記位置情報に基づいて制御信号を生成し、該制御信号を第２のカメラに送信して、該第２のカメラの動きを制御するよう構成されたカメラ制御ユニットと、を含む監視システム。
2. 前記ビデオ処理ユニットは、
   前記複数のビデオフレームに関する動きベクトル、残差データ、マクロブロックタイプ情報の少なくとも１つを含む前記予測情報を生成するよう構成された予測モジュールと、
   前記複数のビデオフレーム中のマクロブロックを符号化するために割り振られたビットの数を示す前記符号化情報を生成するよう構成された変換／符号化モジュールと、を含む、請求項１に記載のシステム。
3. 前記移動物体追跡ユニットは、前記予測情報および前記符号化情報の少なくとも一部に基づいて前記第１の動き分類を実施するように構成された、請求項２に記載のシステム。
4. 前記移動物体追跡ユニットはマクロブロックの動きベクトルに基づいて前記第１の動き分類を実施するように構成され、該動きベクトルの大きさが所定値よりも大きければ、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項３に記載のシステム。
5. 前記移動物体追跡ユニットはマクロブロックの残差データに基づいて前記第１の動き分類を実施するように構成され、該残差データの大きさが所定値よりも大きければ、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項３に記載のシステム。
6. 前記移動物体追跡ユニットは、前記マクロブロックタイプ情報に基づいて前記第１の動き分類を実施するように構成され、マクロブロックをイントラ符号化モードで処理すべきであることを該マクロブロックタイプ情報が示しているならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項３に記載のシステム。
7. 前記移動物体追跡ユニットは、前記マクロブロックタイプ情報に基づいて前記第１の動き分類を実施するように構成され、マクロブロックがＭ×Ｍの画像ピクセルを含むことを該マクロブロックタイプ情報が示しており、Ｍが所定数よりも大きくないならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項３に記載のシステム。
8. 前記移動物体追跡ユニットは、前記符号化情報に基づいて前記第１の動き分類を実施するように構成され、ブロックの符号化ビット数が所定数よりも大きいことを該符号化情報が示しているならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項３に記載のシステム。
9. 前記移動物体追跡ユニットは、前記予測情報の少なくとも一部に基づいて前記候補マクロブロックリストからマクロブロックを除去するために前記第２の動き分類を実施するように構成され、マクロブロックがＭ×Ｍの画像ピクセルを含むことを前記予測情報が示しており、Ｍが所定数よりも大きくないならば、該マクロブロックが前記候補マクロブロックリストから除去されると判断する、請求項３に記載のシステム。
10. 前記移動物体追跡ユニットは、前記予測情報の少なくとも一部に基づいて前記候補マクロブロックリストからマクロブロックを除去するために前記第２の動き分類を実施するように構成され、マクロブロックが、スキップされたマクロブロックに囲まれていることを前記予測情報が示しているならば、該マクロブロックが前記候補マクロブロックリストから除去されると判断する、請求項３に記載のシステム。
11. 前記第２のカメラはＰＴＺカメラであり、該ＰＴＺカメラは、前記制御信号に基づいて、ビデオをとるためにパンされ、またはティルトされるように構成された、請求項１に記載のシステム。
12. 第１のカメラから取得される複数のビデオフレームに関する予測情報および符号化情報を生成することと、
    前記予測情報および前記符号化情報の少なくとも一部に基づいて、前記複数のビデオフレーム間の移動物体を追跡することであって、前記予測情報は、前記複数のビデオフレームに関する動きベクトル、残差データ、マクロブロックタイプ情報のうちの少なくとも１つを含み、前記移動物体を追跡することは、前記移動物体を含む候補マクロブロックのリストを決定するための第１の動き分類を実施することと、前記移動物体を含む最終マクロブロックのリストを決定するための第２の動き分類を実施することと、前記第１及び第２の動き分類の結果の重み付き結合に基づき、前記移動物体の追跡を行うことと、を含む、ことと、
    前記移動物体の位置情報に基づいて制御信号を生成することと、および
    第２のカメラに前記制御信号を送信して該第２のカメラの動きを制御することと、を含む監視方法。
13. 前記第１の動き分類において、前記動きベクトルの大きさが所定値よりも大きければ、前記マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項１２に記載の方法。
14. 前記第１の動き分類において、前記残差データの大きさが所定値よりも大きければ、前記マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項１２に記載の方法。
15. 前記第１の動き分類において、マクロブロックをイントラ符号化モードで処理すべきであることを前記マクロブロックタイプ情報が示しているならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項１２に記載の方法。
16. 前記第１の動き分類において、マクロブロックがＭ×Ｍの画像ピクセルを含むことを前記マクロブロックタイプ情報が示しており、Ｍが所定数よりも大きくないならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項１２に記載の方法。
17. 前記第１の動き分類において、ブロックの符号化ビット数が所定数よりも大きいことを前記符号化情報が示しているならば、該マクロブロックが前記候補マクロブロックリストに含まれると判断する、請求項１２に記載の方法。
18. 前記第２の動き分類において、マクロブロックがＭ×Ｍの画像ピクセルを含むことを前記予測情報が示しており、Ｍが所定数よりも大きくないならば、該マクロブロックが前記候補マクロブロックリストから除去されると判断する、請求項１２に記載の方法。
19. 前記第２の動き分類において、マクロブロックが、スキップされたマクロブロックに囲まれていることを前記予測情報が示しているならば、該マクロブロックが前記候補マクロブロックリストから除去されると判断する、請求項１２に記載の方法。
20. 第１のカメラを介して取得される複数のビデオフレームを受信するよう構成された入力ユニットと、
    前記複数のビデオフレームに関する予測情報および符号化情報を生成するよう構成されたビデオ処理ユニットと、
    前記予測情報および符号化情報の少なくとも一部に基づいて、前記複数のビデオフレーム間の移動物体を追跡して、該移動物体の位置情報を生成するよう構成された移動物体追跡ユニットであって、
    前記位置情報は前記候補マクロブロックの少なくともいくつかに基づいており、
    前記移動物体追跡ユニットは、
    前記予測情報または前記符号化情報の少なくとも一部に基づいて、移動物体を含む前記複数のビデオフレーム中の候補マクロブロックのリストを決定するための第１の動き分類を実施し、
    前記候補マクロブロックのリストからマクロブロックを除去するための第２の動き分類を実施し、
    前記第１及び第２の動き分類の結果の重み付き結合に基づき、前記移動物体の追跡を行う、
    ように構成された、移動物体追跡ユニットと、
    前記位置情報に基づいて制御信号を生成し、該制御信号を第２のカメラに送信して該第２のカメラの動きを制御するよう構成されたカメラ制御ユニットと、を含む監視システム。
21. 前記移動物体追跡ユニットは、マクロブロックの動きベクトル、該マクロブロックの残差データ、または該マクロブロックのタイプ情報の１つまたは複数に基づいて前記第１の動き分類を実施するように構成され、ここで、前記動きベクトルの大きさが所定値よりも大きい場合、前記残差データの大きさが所定値よりも大きい場合、または、前記マクロブロックをイントラ符号化モードで処理すべきであることを前記マクロブロックタイプ情報が示す場合のうち、少なくとも１つの場合に、前記マクロブロックは前記候補マクロブロックリストに含まれる、請求項２０に記載の監視システム。
22. 前記移動物体追跡ユニットは、前記符号化情報または前記マクロブロックタイプ情報の少なくとも１つに基づいて前記第１の動き分類を実施するように構成され、ここで、ブロックの符号化ビット数が所定数よりも大きいことを前記符号化情報が示している場合、または、マクロブロックがＭ×Ｍの画像ピクセルを含むことを前記マクロブロックタイプ情報が示しており、Ｍが所定数よりも大きくない場合、前記マクロブロックは前記候補マクロブロックリストに含まれる、請求項２０に記載のシステム。
23. 前記移動物体追跡ユニットは、前記予測情報の少なくとも一部に基づいて前記候補マクロブロックリストからマクロブロックを除去するために前記第２の動き分類を実施するように構成され、マクロブロックがＭ×Ｍの画像ピクセルを含むことを前記予測情報が示しており、Ｍが所定の数よりも大きくないならば、あるいは、マクロブロックがスキップされたマクロブロックに囲まれていることを前記予測情報が示しているならば、該マクロブロックが前記候補マクロブロックリストから除去されると判断する、請求項２１に記載のシステム。
24. 前記制御信号は、前記移動物体の特徴部分をキャプチャーするよう前記第２のカメラの動きを制御するのに有効である、請求項２０に記載の監視システム。

Images