JP6915219B2 - コンピュータ実施方法、撮像システム、及び画像処理システム - Google Patents

Description

自動車両検出、計数および分類は、交通計画者によって幅広く使用される重要なツールである。これらは、地方政府が重大な時間帯別交通流、メンテナンススケジュールおよび最適な道路交通法施行期間のみならず、自動車交通法規の施行を判定するのに役立つ。これらのツールは、事故の検出、検証、対応も支援する。

従来の車両分類システムは、通常は自動料金収受（ＥＴＣ）のための料金所で使用されるレーザスキャナおよび地中センサに基づく（ｈｔｔｐ：／／ｗｗｗ．ｏｓｉｌａｓｅｒｓｃａｎ．ｃｏｍ／Ｐｒｏｄｕｃｔｓ／Ｖｅｈｉｃｌｅ−Ｄｅｔｅｃｔｉｏｎ−ａｎｄ−Ｃｌａｓｓｉｆｉｃａｔｉｏｎ．ａｓｐｘ参照）。これらのシステムは、車軸の数、車高、車幅、車両重量、車体長、車両プロファイル、車両の体積などの車両に関する詳細な情報を集め、取得した情報に基づいて車両に課せられる金額を決定する。これらのシステムは高い精度と正確さを有しているが、インストールおよび／または維持費用が高く、都市の車道や橋を監視するなどの他のアプリケーションへの拡張が容易ではないという問題があった。州や地方自治体が、特定の道路上ではある一定の大きさのトラックやバスを制限する数多くの条例を有していることを想定されたい。映像撮像による自動施行の場合、トラックやバスを他のタイプの車両から区別するために大雑把な車両分類しか必要としない。

本発明は一部の管轄区域での交通法実施要件を満たすことができる車両分類に対して相対的に低コストの演算効率の良い映像ベースの解決手段を提供する。

本発明の一実施形態によれば、車両検出対象領域をスパンする視野を含むように配向された撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、ａ）標的領域内で検出された車両を表す動きベクトルのクラスタを生成するステップと、ｂ）１つ以上の属性を動きベクトルのクラスタに関連付けるステップと、ｃ）動きベクトルのクラスタに関連付けられた１つ以上の属性に基づいて検出された車両を分類するステップと、を含む方法が記載されている。

本発明の別の実施形態によれば、撮像システムによってキャプチャされる車両を分類するための撮像システムであって、車両検出標的領域をスパンする視野を含むように配向された撮像機器と、撮像機器に操作可能に関連付けられた画像プロセッサであって、撮像機器によってキャプチャされた車両を分類する方法を実行する画像プロセッサと、を含み、方法が、ａ）標的領域内で検出された車両を表す動きベクトルのクラスタを生成するステップと、ｂ）１つ以上の属性を動きベクトルのクラスタに関連付けるステップと、ｃ）動きベクトルのクラスタに関連付けられた１つ以上の属性に基づいて検出された車両を分類するステップと、を含む撮像システムが記載されている。

本発明のまた別の実施形態によれば、車両検出標的領域を含む視野に関連付けられる撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、ａ）標的領域内で検出された車両の動きベクトルのクラスタを抽出するステップと、ｂ）１つ以上の属性を動きベクトルのクラスタに関連付けるステップと、ｃ）動きベクトルのクラスタに関連付けられた１つ以上の属性に基づいて検出された車両を分類するステップと、を含むコンピュータ実施方法が記載されている。

本発明の更に別の実施形態によれば、撮像機器によってキャプチャされた車両を分類するための画像処理システムであって、ａ）撮像機器に関連付けられた標的領域内で検出された車両の動きベクトルのクラスタを抽出するステップと、ｂ）１つ以上の属性を動きベクトルのクラスタに関連付けるステップと、ｃ）動きベクトルのクラスタに関連付けられた１つ以上の属性に基づいて検出された車両を分類するステップと、を含む方法を実行する画像プロセッサを含む画像処理システムが記載されている。

図１は、映像カメラネットワークシステムを示す図である。 図２は、本発明の例示的な一実施形態による映像圧縮技術における基準（Ｉ）と非基準（ＰおよびＢ）フレームを概略的に示す図である。 図３は、本発明の例示的な一実施形態による動きベクトルを使用したオフラインの車両分類処理を含む撮像システムを示す模式図である。 図４は、本発明の例示的な一実施形態による動きベクトルを使用したインライン車両分類処理を含む撮像システムを示す模式図である。 本発明の例示的な一実施形態によるブロックマッチングアルゴリズムを示す図であって、図５は基準ブロックと検索窓を含む基準フレームを示す図である。 本発明の例示的な一実施形態によるブロックマッチングアルゴリズムを示す図であって、図６は標的ブロック即ち動きブロックを含む標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図７は基準フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図８は標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図９は、得られた動きベクトル場を示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図１０は推定フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図１１は基準フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図１２は標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図１３は得られた動きベクトル場を示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図１４は得られたアクティブな動きブロックを示す２値画像である。 図１５は、キャプチャされたトラックや乗用車の各々を含む映像フレームを示す図である。 図１６は、キャプチャされたトラックや乗用車の各々を含む映像フレームを示す図である。 図１７は、図１５および１６の各々に関連付けられるアクティブな動きブロックを示す図である。 図１８は、図１５および１６の各々に関連付けられるアクティブな動きブロックを示す図である。 図１９は、例示的な一実施形態による、アクティブな動きブロックのクラスタを使用して対象となる領域において検出された車両の長さを推定することによる車両分類法を示す図である。 図２０は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび／またはバスを示す実施例である。 図２１は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび／またはバスを示す実施例である。 図２２は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび／またはバスを示す実施例である。 図２３は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび／またはバスを示す実施例である。

本発明を開示するために、用語「車両」は、車、トラック、単車などの人や物を搬送するために使用されるものとして定義付けられる。

本発明は、圧縮映像ストリーム内で動作できる自動化された映像ベース車両分類のための方法およびシステムを提供し、以下のステップ（ａ）初期化ステップの間、一般的に、システムのインストールまたはセットアップ時に実行される対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定し、この標的エリアが車両の検出および分類が実行されるキャプチャされた画像内の場所を画定するステップと、（ｂ）カメラを用いて映像をキャプチャし、或いは、カメラによって予めキャプチャされた圧縮映像に読み込むステップと、（ｃ）ベクトルは映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリームから動きベクトルを判定するか、或いは、既に圧縮された映像を処理する場合、圧縮されたデータストリームから動きベクトルを抽出するステップと、（ｄ）ステップ（ｃ）からの動きベクトルのクラスタの時間的な持続性を解析することにより仮想標的エリアを移動する車両の存在を検出するステップと、（ｅ）検出された車両に関連付けられた動きベクトルのクラスタの解析により、検出された車両をトラック／バスまたは他の乗用車カテゴリのいずれか１つに分類し、車両クラスについての関連情報はメタデータの形式で圧縮された映像ストリームに埋め込まれてよいステップと、（ｆ）車両がカメラの視野に含まれる（任意の）コマ（以下、フレーム）は以降の検索を容易にするために基準（Ｉ‐）フレームとして符号化することができるステップと、を含む。注目すべきは、車両分類を直接圧縮部に組み込むことは分類処理をカメラ内部に直接埋め込むことを可能にする。

本発明の現在教示されている方法およびシステムは車両の分類に関連付けられた自動車法および／または規制の違反者の割り出しを中心目的としていることに留意されたい。実際の法の執行はいくつかの更なる考えを必要とする。例えば、チケットの自動発行は車両の識別を必要とし、これは、赤信号、速度、駐車などについての法の執行に関連する多数の輸送交通に関する撮像アプリケーションにおいて共通に使用されるＬＰＲ（ナンバープレート認識）によって達成される。本発明による検出方法およびシステムの別の使用は、地元警察に警告して識別された車両を停止させることを含む。もう一つの使用は、特定の違反傾向を検出し、適切なサイネージまたは法の執行機能が実施されるように交通状況を監視することである。もう一つの使用は、経路指定、交通信号最適化、交通流の機能として必要とされる道路修復の理解などのアプリケーションのために高速道路部門によって使用される交通統計の取得である。本発明の方法の利点は既存の交通カメラの更なる特徴として簡単に統合することができることである。

以下の説明は、撮像素子によってキャプチャされた車両を分類する方法および／またはシステムを主な目的として行う。上述したように、トラック、バス、乗用車などとして検出された車両の分類は更なる処理によって車両の種類に関係する法や規制の執行だけでなく交通流の統計の収集の提供を可能にする。

以下に記載される例示的な実施形態は、車両を分類するために映像圧縮処理に関連付けられた動きベクトルおよび／またはブロックを使用するが、映像圧縮とは関係のない他の動きベクトルの種類も使用することができ、これらが本発明の範囲を逸脱するものではないことが理解されよう。更に、例示的な実施形態は、特定の道路などの標的領域内で車両をキャプチャするための映像ベースのシステムに向けられているが、様々な複数の画像フレームキャプチャシステムを使用することができ、これらが本発明の範囲を逸脱するものではない。映像または複数の画像フレームキャプチャシステムのいくつかの例として、ＲＧＢカメラ、赤外線カメラシステム、サーマルカメラシステム、および衛星撮像カメラシステムが挙げられる。

映像圧縮は高品質の映像送信および／またはアーカイブが必要とされるアプリケーションにおいて不可欠である。図１に示した、映像データを中央処理とアーカイブ設備１３０へ中継する１セットのドームカメラ１０５、１１０、１１５、１２０および１２５から成る監視システムを想定されたい。カメラと中心設備の間で映像ストリームを搬送するために使用される通信ネットワーク１４０は特許技術の頂点に据えられるが、交通管理センターは最近、インターネットプロトコルまたはＩＰ準拠ネットワークへの転換を開始した。

いずれにせよ、一般的に、基礎となる通信ネットワークは、送信する前に、カメラ側での映像圧縮技術の使用を指令する帯域幅の制約を有している。従来のアナログのカメラの場合、圧縮は、カメラに取り付けられた外部エンコーダとして実行される一方、一般的に、ディジタルカメラはカメラ自体の内部にエンコーダを統合する。ＩＰ（アイピー）ネットワーク上の一般的な伝送速度は、マルチメガピクセルの映像ストリームのフレーム速さが毎秒５フレーム（ｆｐｓ）未満に限定しなければならない。最新の映像圧縮規格は、同じネットワークの帯域幅で高解像度映像を伝送するために最大フレーム速度のカメラ能力の利用を可能にする（Ｃｌａｕｄｉｏ Ｒ． Ｌｉｍａ ｅｔ ａｌ．，Ｓｐｒｉｎｔ−Ｎｅｘｔｅｌ，１ Ａｄｒｉａｎ Ｃｏｕｒｔ，Ｂｕｒｌｉｎｇａｍｅ，ＣＡ９４０１０，ＵＳＡ）、「Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔ Ｏｖｅｒ Ｃｏｒｅ ＩＰ Ｎｅｔｗｏｒｋｓ」、１１頁参照）。例えば、１０８０ピクセルのＨＤ（高解像度）非圧縮映像を伝送する場合、毎秒１．５ギガバイト（Ｇｂｐｓ）の帯域幅を必要とするが、その圧縮映像では毎秒２５０メガビット（Ｍｂｐｓ）を必要とするにすぎない。よって、同じネットワークインフラストラクチャを介していても、非圧縮映像のバージョンのフレーム速さの６倍の圧縮映像の伝送が可能となる。

映像圧縮は映像ストリーム内の２種類の冗長性，フレーム内の互いに隣り合って配設されるピクセル同士の間の空間的冗長性と、互いに隣り合って配設されるフレーム同士の間の時間的冗長性と、を利用することによって達成される。このやり方は、二つの異なるタイプの予測、即ち、イントラフレーム予測とインターフレーム予測に分離することで、図２に示されるように、二つの異なるタイプの符号化されたフレーム、即ち、基準フレームと非基準フレームを得る。基準フレーム、即ち、Ｉ‐フレーム２０５は、ディジタル画像を圧縮するために使用される方法と同様の圧縮方法を用いたスタンドアローン方式（イントラ‐フレーム）で符号化される。非基準フレーム、即ち、Ｐフレーム２１５およびＢフレーム２１０の圧縮には、一般的に以下の３つのステップを含む処理に於いて、標的となるフレームが予め符号化されたフレームから推定または予測されるインターフレームまたは動き補償予測方法の使用を必然的に伴う。

（ｉ）動きベクトルが予め符号化されたフレームを用いて推定される動き推定。標的フレームは標的ブロックと呼ばれるピクセルブロック内へセグメント分割され、推定または予測されたフレームは標的ブロックに最良に整合する予め符号化されたフレームからブロックを縫合することにより組み立てられる。動きベクトルは、基準フレーム内の元のブロックの場所と予測フレーム内の場所との間の相対的な変位を記述する。Ｐ‐フレームの動き補償はすぐ前のフレームのみに依存するが、すぐ前のフレームとこれ以降のフレームは通常、Ｂ‐フレームを予測するために使用される。

（ｉｉ）予測フレームと標的フレームの誤差が計算される残差計算、および

（ｉｉｉ） エラー残差と抽出された動きベクトルが圧縮され格納される圧縮。Ｉａｉｎ Ｅ． Ｒｉｃｈａｒｄｓｏｎ著、「Ｔｈｅ Ｈ．２６４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ」を参照されたい。

固定カメラ（現在展開されている大部分の交通カメラの構成を有する）によってキャプチャされた映像の場合、互いに隣り合って配設されたフレーム間の変化の主な要因はオブジェクトの動きに対応している。この設定において、動き補償ステージからの出力は、互いに隣り合って配設されたフレーム間でのピクセルブロックの移動を記述する光ブロックの流れである。従って、動きベクトルの符号化されたセットは、固定カメラに関連付けられた視野内のオブジェクトの見掛けの動きの良好な記述子である。

前述したように、本発明に開示されている車両分類方法は圧縮タイプの動きベクトルを使用するものとして説明されているが、一般にこの方法は他のタイプの動きベクトルにも適用される。圧縮タイプのベクトルの詳細な説明は、映像圧縮に関連付けられた重要な帯域幅に付与される利点を主目的としている。

本発明は、圧縮映像ストリーム内で動作することができる自動化された映像ベースの車両分類のための方法およびシステムを提供する。例示的な実施形態は、映像圧縮に関連付けられる動きベクトルを使用し、これらの動きベクトルは、アーカイブや送信の前の圧縮ステップの１つとして計算されるかまたは圧縮されたデータストリームから容易に入手可能である。車両分類を圧縮パイプライン上で直接組み立てることはリアルタイムの性能に伝導性のある少量の計算を追加する。分類処理のこの埋め込みの実施形態は、圧縮解除（解凍）、車両分類、および再圧縮などのサーバ上の更なる処理の必要性を省く。別の実施形態において、分類処理は圧縮された映像データへのアクセスを有する中央処理装置において実施される。この実施形態によれば、車両分類は、完全な映像の解凍よりも動きベクトルのみの解凍によってイネーブルとされる。

本発明に係る分類処理の１つの利点は帯域幅の削減であり、車両分類が中央サーバよりむしろ映像カメラにおいてまたはその近傍で実行される際に達成される。この構成の場合、アーカイブおよび証拠目的に使用するために、対象となる画像を中央の場所へ送信するだけで、例えば、トラック、バスまたは他の乗用車の画像を送信するだけで、帯域幅を削減することができる。或いは、対象となる車両を含む映像フレームは、完全な映像フィードが送信され格納された場合、これを基準フレームとして符号化して、それ以降の映像検索を容易にすることができる。或いはまた、対応映像があるまたは対応映像がない分類結果の送信だけでも交通解析アプリケーションには十分である。

本発明の２つの例示的な実施形態の高レベルの概要を図３および４に示した。まず、交通監視カメラ３０５は対象となる領域、一般的に、高速道路や車両の入口や出口の映像をキャプチャする。

図４を参照するに、車両分類は、以下により詳細に説明されるように、映像圧縮手順に若干の手を加えて実行される。１つの例示的な実施形態によれば、車両が道路を通過し分類される際、車両クラスに関する情報は圧縮された映像ストリームにメタデータの形式で埋め込まれる。必要に応じて、車両がカメラの視野内にあるフレームは基準フレームとして符号化され、それ以降の検索を容易にすることができる。

アルゴリズムの実施に伴う手順は以下の通りである。

ａ）初期化ステップの間、対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定し、この標的エリアは車両検出および分類が実行されるキャプチャされた画像内の場所を画定する。このステップは一般的にシステムのインストールやセットアップ時に行われる。

ｂ）カメラ３０５を使用して映像をキャプチャする。或いは、カメラによって撮られた圧縮映像を取得する。

ｃ）ベクトルが映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリーム４０５から動きベクトルを判定する。或いは、圧縮された映像が予め読み込まれていた場合、圧縮されたデータストリームから動きベクトルを抽出する（図３参照）。

ｄ）ステップｃ）からの動きベクトルを使用することにより仮想標的エリアを移動する車両の存在を検出する。

ｅ）仮想標的エリアを移動中の車両が検出された場合、検出された車両をトラック／バスまたは他の乗用車カテゴリのいずれか１つに分類する。車両クラスは圧縮された映像ストリームにメタデータの形式で埋め込まれる。

ｆ）特定のアプリケーションに相対して、車両が最適な場所におけるカメラの視野内にある（任意の）フレームが基準フレームとして符号化され、証拠となる画像のそれ以降の探索や迅速な検索を容易にすることができる。

検出された車両の分類は以下を含むいくつかの可能なやり方の１つ以上において実施することができる。

（１）画像平面上で検出された車両に関連付けられた検出された動きブロックのクラスタの幾何学的な属性（例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせなど）に基づいて行う。例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせは検出された動きブロックのクラスタに関連付けられる。

（２）ピクセル座標を実世界の長さの単位にマッピングするカメラ座標技術を使用することによって検出された車両の物理的な長さおよび／または幅を推定する。

手順は、動きベクトルによって送られた情報の処理に依存するので、或いは、この方法は、図３に示したように、映像を解凍することを必要とせずに、既に圧縮された映像ストリーム上でも実行可能であることから、完全に解凍されたビデオストリーム上で、背景推定、動き検出、トラッキング、特徴抽出などの複雑な動作を実行するナイーブな手法に比べて、分類処理を演算的により効率的なものにすることができる。更に、本発明の車両分類方法はまた、履歴データ解析において使用するために予め圧縮された格納された映像の処理においても有用となり得る。

以下の詳細な説明は、本発明の例示的な実施形態による車両を分類するための上記に概説した方法ステップの更なる詳細を提供する。

本発明の車両分類方法の実施は、実行する時点の映像圧縮アルゴリズムに対してわずかな更なる処理が必要とされるだけであり、アナログカメラの場合はアナログ−ディジタル変換器として使用され、ディジタルまたはＩＰカメラの場合はカメラそれ自体として使用される

ａ）初期化ステップの間、対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定する。

典型的な仮想標的エリアは、単一または複数の仮想ポリゴンに限定されないが、通常、監視された交通レーン当たり一つの仮想ポリゴンを含む。仮想標的エリアの場所は、特定のカメラ設定の幾何学的形状に依存するので、手動的に入力される。仮想ポリゴンは咬合と車両検出の両方のために使用される。

ｂ）カメラを使用して映像をキャプチャする。或いは、カメラによって予め取得されていた圧縮映像を読み込む。

従来の交通カメラまたは他の映像カメラはライブ映像をキャプチャするために使用することができる。本発明の実施は埋め込まれた映像圧縮を実行するＩＰカメラ上の変更をあまり必要としない。或いは、圧縮映像は映像データベースから入手可能である。

ｃ）ベクトルが映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリームから動きベクトルを判定する。或いは、予め取得した圧縮されたデータストリームから動きベクトルを抽出する。

映像圧縮アルゴリズムの標準的な実施は通常、３０〜５０フレームおきに約１つのＩ‐フレームの基準またはＩ‐フレームを含むための固定速度を使用する。Ｉ‐フレームは関連付けられた動きベクトルを持たないので、これらは監視および検出するためには使用されない。Ｉ‐フレームはきわめてわずかなフレームを表すにすぎないので、Ｉ‐フレームの処理を省いても車両検出にあまり影響しない。

動きベクトルは圧縮処理における動き推定段階の一部として抽出される。完全映像フレームを把握する動きベクトルは圧縮時に演算されるが、以降のステップの記述から、仮想標的エリアのコンファイン内に配置された動きベクトルの処理が停止事象のロバスト（堅牢）な監視をするために十分であることは明確であろう。以下では、動きベクトルがどのように抽出されるかを簡単に説明する（Ｉａｉｎ Ｅ． Ｒｉｃｈａｒｄｓｏｎ著「Ｔｈｅ Ｈ．２６４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ」を参照されたい）。

映像シーケンスにおける２つの互いに隣り合って配設されているフレームの間の動きベクトルは、ピクセルレベル光流れ方法Ｂ． Ｋ． Ｐ． Ｈｏｒｎ）とＢ． Ｇ． Ｓｃｈｕｎｃｋ著の「Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１７、１８５〜２０３頁（１９８１年発行）」参照）を用いて抽出することができるが、各非基準フレーム内のピクセルごとに動きベクトルの計算を必要とし、演算処理において高い費用が掛かる。しかしながら、Ｈ２６４およびＭＰＥＧ４などの圧縮アルゴリズムは一般的にブロックベースの手法を用いる。Ｉａｉｎ Ｅ． Ｒｉｃｈａｒｄｓｏｎ著の「Ｔｈｅ Ｈ．２６４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ」を参照されたい。ブロックベースの手法における動きベクトルは互いに隣り合って配設されているフレームを介してブロックをマッチング（整合）する動きを記述しており、ピクセルレベルの方法に比較した場合、これらの演算が演算リソースへの要求度はあまり高くない。図５および６は、ブロックマッチングアルゴリズムの図形的な記述を示している。

ブロックマッチングアルゴリズムは、圧縮すべきフレーム、即ち、標的フレームを、所定の大きさのピクセルブロックに分割し、例えば、その表記は、通常、ｍ＝ｎ＝１６ピクセルのとき、ｍ×ｎピクセルで動きブロックの大きさを表記する。検索は、現在のｍ×ｎ個の標的ピクセルブロックに最も類似しているブロックに対する基準フレームにおいて行われる。検索および類似度のメトリックは演算的に費用の掛かる処理であるため、図５に示すように、検索窓は一般的に標的動きブロックの場所の周辺で画定される。例えば、ブロック間の類似度の基準は平均二乗誤差（ＭＳＥ）と平均絶対差（ＭＡＤ）であり、以下のように計算される。

式中、Ｂ（ｋ，ｌ，ｊ）は、ｊ番目のフレーム内のピクセルのｍ×ｎ個のブロックのｋ番目の列とｌ番目の行に配置されたピクセルを表し、（ｄ_１，ｄ_２）は、標的ブロックと候補ブロックの間の変位を記述するベクトルである。この場合、ｊ‐１番目のフレームは基準フレームとして使用されている既に符号化されたフレームであり、ｊ番目のフレームは標的フレームである。ＭＳＥとＭＡＤは共に２つのブロックがどの程、非類似であるかを測定し、その後、ブロックの類似度測定は、逆数または負のＭＳＥまたはＭＡＤとして定義することができる。標的ピクセルブロックに対する動きベクトルは、標的ブロックと基準ブロックの間のブロック類似度測定を最大化するベクトル（ｄ_１，ｄ_２）である。検索窓の最良のマッチングブロックの検索は完全拡張検索、２値検索、３段階検索、スパイラル検索アルゴリズムなどを用いて行うことができる。これについては、Ｙ．Ｗ．Ｈｕａｎｇ ｅｔ．ａｌ著の「Ｓｕｒｖｅｙ ｏｎ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｗｉｔｈ Ｎｅｗ Ｒｅｓｕｌｔｓ」と題されたＶＬＳＩ（超大規模集積回路）信号処理システムの議事録４２巻（２００６年発行）を参照されたい。図９は、図７に示した基準フレームと図８に示した標的フレームへの１６×１６ピクセル検索による８×８ピクセルのブロックベースの動き推定アルゴリズムのアプリケーションから得られる動き視野を示している。図１０は最良のマッチング基準ブロックを縫合することによって得られる予測画像を示す。この場面に於いて、カメラは固定され、車が右から左に走行している。結果として、すべての見掛けの動きは車が画像平面に配置された領域内にある。

ｄ）ｃ）からの動きベクトルを使用することによって仮想標的エリアを移動する車両の存在を検出する。

手ブレ、動く葉、雲、水波などの動きのスプリアス源に起因する偽陽性を回避するために、所定の閾値Ｔより大なる大きさを有する動きベクトルのみを想定する。このような動きベクトルに関連付けられる動きブロックはアクティブな動きブロックとして参照されるとともにこれらのブロックによってキャプチャされるエリアを移動するオブジェクトの存在を示す。図１１〜１４は、車両検出事象をトリガするために、所与の標的フレームに対する動きベクトルの知識が標的仮想領域の場所に関してどのように使用されうるかを示している。図１１〜１４は、２つの連続した映像フレームとこれらの対応する動きベクトルとアクティブな動きブロックとを示す。動きベクトルは４×４ピクセルブロックごとに計算される。両図には、サンプルとしての標的仮想領域と、監視されている道路車線を含む矩形のボックスとして描画された仮想ポリゴンと、が重畳されている。

車両が仮想ポリゴンを横切って移動すると、数多くのアクティブな動きベクトルがポリゴンの内部に配置される。車両とは異なるオブジェクトの見掛けの動きによって生成されるアクティブな動きベクトルによる偽陽性を回避するために２つの閾値が設定される。これらの閾値は、車両検出がトリガされる前の仮想ポリゴン内部のアクティブな動きベクトルの最小接続クラスタを定義付ける閾値Ｎ_１と、少なくともＮ_１のアクティブな動きベクトルを有する接続クラスタが、車両検出がトリガされる前の仮想ポリゴン内にある最小数の連続フレームを定義付ける閾値Ｎ_２と、から成る。

Ｎ_１の値は、一般的には、カメラ設定の幾何学的形状、仮想ポリゴンの大きさ、映像シーケンスの解像度だけでなく、動き推定アルゴリズムにおいて使用されるブロックの大きさに依存する。Ｎ_２の値は、Ｎ_１の値、カメラ設定の幾何学的形状、仮想ポリゴンの大きさ、フレーム速さ、および監視されている道路の平均速度に依存する。車両検出事象は、少なくともＮ_１個の連結された動きベクトルのクラスタが仮想ポリゴン内部に配置されたＮ_２番目の連続フレーム上でトリガされる。

車両が検出されると、閉成、開口、嵌め込みなどの形態学的動作をアクティブな動きブロックの場所を記述する２値画像に対して行うことができる。

ｅ）走行中の車両が仮想標的エリア内で検出されるかどうかを判断し、検出された車両をトラックおよび／またはバス或いは単車を含む可能性のある他の乗用車カテゴリのいずれか１つに分類する。車両クラスはメタデータの形式で圧縮された映像ストリームに埋め込むことができる。

対象となる領域内で車両が検出されると、検出された車両はバスおよび／またはトラックまたは他の乗用車カテゴリのいずれか１つに分類される。前述したように、車両分類は数多くの方法で実施することができる。これらのアルゴリズムのいくつかの例を以下に挙げる。

（１）画像平面上の検出された車両に関連付けられる検出された動きブロックのクラスタの幾何学的属性（例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせなど）に基づいて、これらの幾何学的属性は、クラスタ自体の形状からまたはクラスタの輪郭にぴったり合うプリミティブな幾何学的特徴（例えば、楕円）の形状から、直接、判定することができる。および／または、

（２）検出された車両の物理的な長さの推定は、ピクセル座標を実世界の長さの単位にマッピングするカメラ較正技術を用いて達成することができる。

車両分類のための相対的に簡単な方法は、アクティブな動きブロックのクラスタの測定された面積に基づいて成される。所与のカメラ設定幾何学的形状の場合、図１５〜１８に示したように、バス／トラックの面積は通常、画像平面上の他の乗用車の面積よりはるかに大きい。これらの図において、トラックに対して検出されたブロブ１７０５はＳＵＶに対するブロブ１８０５よりはるかに大きい。アクティブな動きブロックを示す２値画像に基づいて、検出されたブロブの面積Ｓは、

として計算することができる。

式中、Ｉは前のモジュールから出力されたフレームサイズの２値のマスクであり、ｘおよびｙはピクセル座標である。その後、計算されたブロブ面積は、バス／トラックを他の乗用車から区別するために所定の閾値Ｔ_１と比較される。所定の閾値Ｔ_１は、特定のカメラ構成、幾何学的形状、およびカメラの解像度などのパラメータに依存し、アルゴリズムを初期化する前のカメラのインストールおよび／またはセットアップ時に設定することができる。

車両分類を行うための別の方法は、検出された車両の物理的な長さｄを推定することによって行う。これは、アクティブな動きブロックのクラスタの開始点と終了点を最初に決定することによって達成することができる。画像平面上の通り方向に垂直な開始点と終了点の各々を通る線を引く。その後、開始点と終了点を結ぶ線は開始点と終了点を通る線に垂直な線上に投影される。その後、車両の長さは投影された線の長さとして推定される。この手法を図１９に示した。投影された線の物理的長さはピクセル座標を現実の座標にマッピングする較正処理により推定することができる（ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅから、Ｚ．Ｚｈａｎｇ著、「Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ」（２０００年発行、２２巻、１１章、１３３０〜１３３４頁参照）。その後、推定された長さｄは予め定義付けられた閾値Ｔ_２と比較される。推定された長さが閾値より大なる場合、車両はバスおよび／またはトラックとして分類される。注目すべきは、検出された車両の長さを推定するために使用される上記の技術が、映像が車両後方または前方に直接または斜めに配向されたカメラからキャプチャされる車両の幅を推定するためにも使用され得ることを理解されたい。その後、車両の推定される車幅は、例えば、単車〈対〉乗用車などの様々なクラスの車両の相対的な幅に基づく車両分類を提供するように使用することができる。

必要に応じて、車両クラスの情報はキャプチャされた映像に直接埋め込むことができる。これは、圧縮基準が映像および／またはオーディオコンテンツを実際に復号化せずに圧縮された映像ストリームを構文解析することを可能にするので、更なるコンピュータ処理の節約をもたらす。様々なタイプのメタデータを含む能力はＭＰＥＧ４やＨ２６４における重要な要素である。

ｆ）特定のアプリケーションに対して、車両が最適な場所におけるカメラの視野内にある（任意の）フレームが基準フレームとして符号化され、証拠となる画像の今後の検索または迅速な検索を容易にすることができる。

映像シーケンスまたはシーケンス内の静止フレームは車両クラスの検証のために人によって視認され、この画像を法的証拠として使用することができる。高速な検索はあるフレームをＩ‐フレームとして選択することによって可能となる。例えば、仮想標的エリアを通る運転車両の映像を視認するための迅速な解凍（圧縮解除）は、車両が標的エリアの中央に来た時にまたはそのナンバープレートが可読となった場所においてＩ‐フレームを符号化することによってイネーブルとなる。

本明細書中に提供されている方法をニューヨークのウェブスター村の地元の道路上でキャプチャされた映像シーケンスで実験した。映像は、市販されているＶｉｖｏｔｅｋＩＰ８３５２の監視カメラで撮られた。映像は約１５分間通りを監視し２５Ｋフレームを有していた。キャプチャされた映像はフレーム速さが毎秒３０フレーム（ｆｐｓ）であり解像度は１０２４×１２８０ピクセルであった。より高速な処理をイネーブルするために、フレームを縦横４倍でサブサンプリングした。これによって、この空的間間引き後の映像シーケンスはフレーム速度が３０ｆｐｓ、解像度は３２０×２５６ピクセルであった。

対象となる領域がキャプチャされた映像において定義付けられ、対象となる領域に対応する仮想ポリゴンを通過した車両が監視された。図１１〜１４は、カメラの視野と画像平面上の仮想ポリゴンを示す。

本明細書中に提供した分類方法の性能を評価するために、圧縮動きベクトルは、ＭＰＥＧ４とＨ２６４の典型的な実施におけるものとして計算された。動き推定ブロックサイズを８×８ピクセルに設定し検索窓サイズを１６×１６に設定した。ブロックサイズ選択は、他の性能パラメータのうち、アルゴリズムが解くことができる最小の車間距離を求める。即ち、ｍ×ｎ個のピクセルのブロックサイズは、車が仮想標的エリアを移動する際、ｍ＋１個のピクセル未満で離れる車間距離を区別することが不可能なアルゴリズムをレンダリングする。アルゴリズムパラメータは以下、Ｎ_１＝１０、Ｎ_２＝１、Ｔ_１＝１００に設定した。ステップｅ）に記載したように、車両分類はアクティブな動きブロックの検出されたクラスタの面積に基づいて実行された。

映像は、監視された車線経由のトランジットにおいて合計で３１台の乗用車と４台のトラックおよび／またはバスを含んでいた。アルゴリズムの分類能力に関するパフォーマンスを表１に示す。

アルゴリズムは４台のトラック／バスを全て正確に分類し、標的エリアを横切った乗用車３０台を正確に分類した。良好に分類されたトラック／バスを図２０〜２３に示した。標的エリアが異なる方向に移動する車両をキャプチャし得ることに注目すべきであるが、動きベクトルの配向に含まれる情報を用いてこれらの車両の検出および監視が自動的に回避されたことにも留意されたい。

本明細書の詳細な説明のいくつかの部分は、中央処理装置（ＣＰＵ）、ＣＰＵ用のメモリ記憶デバイス、および接続されたディスプレイデバイスを含む、従来のコンピュータコンポーネントによって実行されるデータビット上の演算（オペレーション）のアルゴリズムおよび記号表現について提示されている。これらのアルゴリズム的記述や表現はデータ処理技術分野の当業者により使用される手段であり、これによって、彼らの仕事内容を他の当業者に最も効果的に伝達することができる。アルゴリズムは一般に所望の結果を出すことができる首尾一貫した一連のステップとして認識される。これらのステップは物理的な量の物理的な操作を要求するステップである。通常、必ずしも必要ではないが、これらの量を、記憶し、転送し、結合し、比較し、そうでなければ、操作することが可能な電気的または磁気的な信号の形態をとる。主に共通使用の理由から、時には、これらの信号を、ビット、値、エレメント、記号、文字、用語、数字で称することが便利であることが証明されている。

しかしながら、以上および同様の用語は、全て適切な物理的な量に関連付けられ、これらの量に適用される単なる便宜上のラベルであることが理解されよう。特に断り書きがない限り、本明細書中の説明から明らかなように、この説明を通して、「処理（プロセッシング）」または「演算」または「計算」または「判断（決定）」または「ディスプレイ」などの用語を用いた説明は、コンピュータシステムまたは同様の演算デバイスのアクションや処理を指し、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量として表されるデータを操作し、且つ、コンピュータシステムメモリやレジスタまたはこのような情報の記憶、送信、またはディスプレイデバイス内の物理量として同様に表される他のデータへ、変換する。

例示的な実施形態はまた、本明細書中で説明されたオペレーションを実行する装置に関する。この装置は必要とされる目的のために特別に構築されてよいし、或いは、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定されないが、任意のタイプのフロッピーディスク、光ディスク、ＣＤ‐ＲＯＭ、光磁気ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ）、ＥＥＰＲＯＭ）、磁気または光カードを含む任意のタイプのディスク、または電子命令を格納するのに適しておりかつ各々がコンピュータシステムバスに連結される任意のタイプの媒体などのコンピュータ可読記憶媒体に格納することができる。

本明細書で提示されているアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本来的に関連していない。様々な汎用システムが本明細書の教示に従ってプログラムと共に使用されてよいし、または、本明細書中に記載されている方法を実行するためにより専用化された装置を構築することは好都合であることが分かっている。様々なこれらのシステムのための構造は以上の説明から明らかである。更に、例示的な実施形態は、特定のプログラミング言語を参照して記載されてはいない。様々なプログラミング言語が本明細書に記載される例示的な実施形態の教示を実施するために使用され得ることが理解されよう。

マシン可読媒体は、マシン（例えば、コンピュータ）によって読み出し可能な形態で情報を格納または送信する任意のメカニズムを含む。例えば、マシン可読媒体は、一部の例を挙げれば、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および電気的、光学的、音響的または他の形態の伝搬信号（例えば、搬送波、赤外線信号、ディジタル信号など）を含む。

明細書全体を通して例示されている方法は、コンピュータ上で実施され得るコンピュータプログラムプロダクトに於いて実施（インプリメント）することができる。コンピュータプログラムプロダクトは、ディスク、ハードドライブ等の制御プログラムが記録される非一時的コンピュータ可読記録媒体を含むことができる。非一時的コンピュータ可読記録媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気記憶媒体、ＣＤ‐ＲＯＭ、ＤＶＤ、または任意の他の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ‐ＥＰＲＯＭまたは他のメモリチップやカートリッジ、またはコンピュータを読み出しかつ使用することができる任意の他の有形の媒体を含む。

或いは、この方法は、制御プログラムが、無線波および赤外線データ通信中に生成されるような音響波や光波などの送信媒体を用いてデータ信号として具現化される送信可能な搬送波などの一時的な媒体において実施され得る。

Claims (5)

1. 道路車線に関連付けられた車両検出対象領域をスパンする視野を含むように配向された撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、
   ａ）道路車線に関連付けられた前記車両検出対象領域内で検出された車両を表す接続された動きベクトルのクラスタを生成するステップであって、前記クラスタは、所定の閾値Ｔより大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値Ｎ _１ 個の接続された動きベクトルと、接続されたクラスタが少なくともＮ _１ 個の接続された動きベクトルを有する少なくとも閾値Ｎ _２ 個の連続フレームとを有する、前記クラスタを生成するステップと、
   ｂ）１つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
   ｃ）前記接続された動きベクトルのクラスタに関連付けられた前記１つ以上の幾何学的属性に従って検出された車両を分類するステップと、
   を含み、
   前記動きベクトルが圧縮タイプの動きベクトルであり、
   ステップａ）が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを生成し、
   ステップｃ）が前記検出された車両本体を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの１つとして分類し、前記１つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの１つ以上を含み、
   前記車両の分類が前記撮像機器によってキャプチャされた１つ以上の画像フレームを表す圧縮データ内に埋め込まれる
   コンピュータ実施方法。
2. 撮像システムによってキャプチャされた車両を分類するための撮像システムであって、前記撮像システムが、
   道路車線に関連付けられた車両検出標的領域をスパンする視野を含むように配向された撮像機器と、
   前記撮像機器に動作可能に関連付けられ、前記撮像機器によってキャプチャされた車両を分類する方法を実行する画像プロセッサと、
   を含み、
   前記方法が、
   ａ）道路車線に関連付けられた前記車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを生成するステップであって、前記クラスタは、所定の閾値Ｔより大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値Ｎ _１ 個の接続された動きベクトルと、接続されたクラスタが少なくともＮ _１ 個の接続された動きベクトルを有する少なくとも閾値Ｎ _２ 個の連続フレームとを有する、前記クラスタを生成するステップと、
   ｂ）１つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
   ｃ）前記接続された動きベクトルのクラスタに関連付けられた前記１つ以上の幾何学的属性に従って検出された車両を分類するステップと、
   を含み、
   前記動きベクトルが圧縮タイプの動きベクトルであり、
   ステップａ）が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを生成し、
   ステップｃ）が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの１つとして分類し、前記１つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの１つ以上を含み、
   前記車両の分類が前記撮像機器によってキャプチャされた１つ以上の画像フレームを表す圧縮データ内に埋め込まれる
   撮像システム。
3. 道路車線に関連付けられた車両検出標的領域を含む視野に関連付けられた撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、
   ａ）道路車線に関連付けられた前記車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを抽出するステップであって、前記クラスタは、所定の閾値より大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値Ｎ _１ 個の接続された動きベクトルと、接続されたクラスタが少なくともＮ _１ 個の接続された動きベクトルを有する少なくとも閾値Ｎ _２ 個の連続フレームを有する、前記クラスタを抽出するステップと、
   ｂ）１つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
   ｃ）前記接続された動きベクトルのクラスタに関連付けられた前記１つ以上の幾何学的属性に基づいて検出された車両を分類するステップと、
   を含み、
   前記動きベクトルが圧縮タイプの動きベクトルであり、
   ステップａ）が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを抽出し、
   ステップｃ）が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの１つとして分類し、前記１つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの１つ以上を含み、
   前記車両の分類が前記撮像機器によってキャプチャされた１つ以上の画像フレームを表す圧縮データ内に埋め込まれる
   コンピュータ実施方法。
4. 撮像機器によってキャプチャされた車両を分類するための画像処理システムであって、
   ａ）道路車線に関連付けられた車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを抽出するステップであって、前記クラスタは、所定の閾値より大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値Ｎ _１ 個の接続された動きベクトルと、接続されたクラスタが少なくともＮ _１ 個の接続された動きベクトルを有する少なくとも閾値Ｎ _２ 個の連続フレームとを有する、前記クラスタを抽出するステップと、
   ｂ）１つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
   ｃ）前記接続された動きベクトルのクラスタに関連付けられた前記１つ以上の幾何学的属性に従って検出された車両を分類するステップと、
   を含み、
   前記動きベクトルが圧縮タイプの動きベクトルであり、
   ステップａ）が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを抽出し、
   ステップｃ）が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの１つとして分類し、前記１つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの１つ以上を含み、
   前記車両の分類が前記撮像機器によってキャプチャされた１つ以上の画像フレームを表す圧縮データ内に埋め込まれる
   方法を実行するように構成された画像プロセッサを含む、
   画像処理システム。
5. 前記撮像機器が、可視光映像カメラ、赤外線映像カメラ、熱型映像カメラ、および衛星撮像映像カメラのうちの１つである請求項４に記載の画像処理システム。

Images