JP6915219B2 - コンピュータ実施方法、撮像システム、及び画像処理システム - Google Patents

コンピュータ実施方法、撮像システム、及び画像処理システム Download PDF

Info

Publication number
JP6915219B2
JP6915219B2 JP2019136818A JP2019136818A JP6915219B2 JP 6915219 B2 JP6915219 B2 JP 6915219B2 JP 2019136818 A JP2019136818 A JP 2019136818A JP 2019136818 A JP2019136818 A JP 2019136818A JP 6915219 B2 JP6915219 B2 JP 6915219B2
Authority
JP
Japan
Prior art keywords
vehicle
cluster
motion vector
motion vectors
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019136818A
Other languages
English (en)
Other versions
JP2019215889A (ja
Inventor
オルハン・ブラン
エドガー・エイ・バナール
ロバート・ピー・ローズ
Original Assignee
コンデュエント ビジネス サービシーズ エルエルシー
コンデュエント ビジネス サービシーズ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/914,752 external-priority patent/US9286516B2/en
Application filed by コンデュエント ビジネス サービシーズ エルエルシー, コンデュエント ビジネス サービシーズ エルエルシー filed Critical コンデュエント ビジネス サービシーズ エルエルシー
Publication of JP2019215889A publication Critical patent/JP2019215889A/ja
Application granted granted Critical
Publication of JP6915219B2 publication Critical patent/JP6915219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

自動車両検出、計数および分類は、交通計画者によって幅広く使用される重要なツールである。これらは、地方政府が重大な時間帯別交通流、メンテナンススケジュールおよび最適な道路交通法施行期間のみならず、自動車交通法規の施行を判定するのに役立つ。これらのツールは、事故の検出、検証、対応も支援する。
従来の車両分類システムは、通常は自動料金収受(ETC)のための料金所で使用されるレーザスキャナおよび地中センサに基づく(http://www.osilaserscan.com/Products/Vehicle−Detection−and−Classification.aspx参照)。これらのシステムは、車軸の数、車高、車幅、車両重量、車体長、車両プロファイル、車両の体積などの車両に関する詳細な情報を集め、取得した情報に基づいて車両に課せられる金額を決定する。これらのシステムは高い精度と正確さを有しているが、インストールおよび/または維持費用が高く、都市の車道や橋を監視するなどの他のアプリケーションへの拡張が容易ではないという問題があった。州や地方自治体が、特定の道路上ではある一定の大きさのトラックやバスを制限する数多くの条例を有していることを想定されたい。映像撮像による自動施行の場合、トラックやバスを他のタイプの車両から区別するために大雑把な車両分類しか必要としない。
本発明は一部の管轄区域での交通法実施要件を満たすことができる車両分類に対して相対的に低コストの演算効率の良い映像ベースの解決手段を提供する。
本発明の一実施形態によれば、車両検出対象領域をスパンする視野を含むように配向された撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、a)標的領域内で検出された車両を表す動きベクトルのクラスタを生成するステップと、b)1つ以上の属性を動きベクトルのクラスタに関連付けるステップと、c)動きベクトルのクラスタに関連付けられた1つ以上の属性に基づいて検出された車両を分類するステップと、を含む方法が記載されている。
本発明の別の実施形態によれば、撮像システムによってキャプチャされる車両を分類するための撮像システムであって、車両検出標的領域をスパンする視野を含むように配向された撮像機器と、撮像機器に操作可能に関連付けられた画像プロセッサであって、撮像機器によってキャプチャされた車両を分類する方法を実行する画像プロセッサと、を含み、方法が、a)標的領域内で検出された車両を表す動きベクトルのクラスタを生成するステップと、b)1つ以上の属性を動きベクトルのクラスタに関連付けるステップと、c)動きベクトルのクラスタに関連付けられた1つ以上の属性に基づいて検出された車両を分類するステップと、を含む撮像システムが記載されている。
本発明のまた別の実施形態によれば、車両検出標的領域を含む視野に関連付けられる撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、a)標的領域内で検出された車両の動きベクトルのクラスタを抽出するステップと、b)1つ以上の属性を動きベクトルのクラスタに関連付けるステップと、c)動きベクトルのクラスタに関連付けられた1つ以上の属性に基づいて検出された車両を分類するステップと、を含むコンピュータ実施方法が記載されている。
本発明の更に別の実施形態によれば、撮像機器によってキャプチャされた車両を分類するための画像処理システムであって、a)撮像機器に関連付けられた標的領域内で検出された車両の動きベクトルのクラスタを抽出するステップと、b)1つ以上の属性を動きベクトルのクラスタに関連付けるステップと、c)動きベクトルのクラスタに関連付けられた1つ以上の属性に基づいて検出された車両を分類するステップと、を含む方法を実行する画像プロセッサを含む画像処理システムが記載されている。
図1は、映像カメラネットワークシステムを示す図である。 図2は、本発明の例示的な一実施形態による映像圧縮技術における基準(I)と非基準(PおよびB)フレームを概略的に示す図である。 図3は、本発明の例示的な一実施形態による動きベクトルを使用したオフラインの車両分類処理を含む撮像システムを示す模式図である。 図4は、本発明の例示的な一実施形態による動きベクトルを使用したインライン車両分類処理を含む撮像システムを示す模式図である。 本発明の例示的な一実施形態によるブロックマッチングアルゴリズムを示す図であって、図5は基準ブロックと検索窓を含む基準フレームを示す図である。 本発明の例示的な一実施形態によるブロックマッチングアルゴリズムを示す図であって、図6は標的ブロック即ち動きブロックを含む標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図7は基準フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図8は標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図9は、得られた動きベクトル場を示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定の結果を示す図であり、図10は推定フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図11は基準フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図12は標的フレームを示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図13は得られた動きベクトル場を示す図である。 本発明の例示的な実施形態により実行されるブロックベースの動き推定アルゴリズムの別の結果を示す図であり、図14は得られたアクティブな動きブロックを示す2値画像である。 図15は、キャプチャされたトラックや乗用車の各々を含む映像フレームを示す図である。 図16は、キャプチャされたトラックや乗用車の各々を含む映像フレームを示す図である。 図17は、図15および16の各々に関連付けられるアクティブな動きブロックを示す図である。 図18は、図15および16の各々に関連付けられるアクティブな動きブロックを示す図である。 図19は、例示的な一実施形態による、アクティブな動きブロックのクラスタを使用して対象となる領域において検出された車両の長さを推定することによる車両分類法を示す図である。 図20は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび/またはバスを示す実施例である。 図21は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび/またはバスを示す実施例である。 図22は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび/またはバスを示す実施例である。 図23は、本発明の例示的な一実施形態による圧縮動きベクトルを使用して正確に分類されたトラックおよび/またはバスを示す実施例である。
本発明を開示するために、用語「車両」は、車、トラック、単車などの人や物を搬送するために使用されるものとして定義付けられる。
本発明は、圧縮映像ストリーム内で動作できる自動化された映像ベース車両分類のための方法およびシステムを提供し、以下のステップ(a)初期化ステップの間、一般的に、システムのインストールまたはセットアップ時に実行される対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定し、この標的エリアが車両の検出および分類が実行されるキャプチャされた画像内の場所を画定するステップと、(b)カメラを用いて映像をキャプチャし、或いは、カメラによって予めキャプチャされた圧縮映像に読み込むステップと、(c)ベクトルは映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリームから動きベクトルを判定するか、或いは、既に圧縮された映像を処理する場合、圧縮されたデータストリームから動きベクトルを抽出するステップと、(d)ステップ(c)からの動きベクトルのクラスタの時間的な持続性を解析することにより仮想標的エリアを移動する車両の存在を検出するステップと、(e)検出された車両に関連付けられた動きベクトルのクラスタの解析により、検出された車両をトラック/バスまたは他の乗用車カテゴリのいずれか1つに分類し、車両クラスについての関連情報はメタデータの形式で圧縮された映像ストリームに埋め込まれてよいステップと、(f)車両がカメラの視野に含まれる(任意の)コマ(以下、フレーム)は以降の検索を容易にするために基準(I‐)フレームとして符号化することができるステップと、を含む。注目すべきは、車両分類を直接圧縮部に組み込むことは分類処理をカメラ内部に直接埋め込むことを可能にする。
本発明の現在教示されている方法およびシステムは車両の分類に関連付けられた自動車法および/または規制の違反者の割り出しを中心目的としていることに留意されたい。実際の法の執行はいくつかの更なる考えを必要とする。例えば、チケットの自動発行は車両の識別を必要とし、これは、赤信号、速度、駐車などについての法の執行に関連する多数の輸送交通に関する撮像アプリケーションにおいて共通に使用されるLPR(ナンバープレート認識)によって達成される。本発明による検出方法およびシステムの別の使用は、地元警察に警告して識別された車両を停止させることを含む。もう一つの使用は、特定の違反傾向を検出し、適切なサイネージまたは法の執行機能が実施されるように交通状況を監視することである。もう一つの使用は、経路指定、交通信号最適化、交通流の機能として必要とされる道路修復の理解などのアプリケーションのために高速道路部門によって使用される交通統計の取得である。本発明の方法の利点は既存の交通カメラの更なる特徴として簡単に統合することができることである。
以下の説明は、撮像素子によってキャプチャされた車両を分類する方法および/またはシステムを主な目的として行う。上述したように、トラック、バス、乗用車などとして検出された車両の分類は更なる処理によって車両の種類に関係する法や規制の執行だけでなく交通流の統計の収集の提供を可能にする。
以下に記載される例示的な実施形態は、車両を分類するために映像圧縮処理に関連付けられた動きベクトルおよび/またはブロックを使用するが、映像圧縮とは関係のない他の動きベクトルの種類も使用することができ、これらが本発明の範囲を逸脱するものではないことが理解されよう。更に、例示的な実施形態は、特定の道路などの標的領域内で車両をキャプチャするための映像ベースのシステムに向けられているが、様々な複数の画像フレームキャプチャシステムを使用することができ、これらが本発明の範囲を逸脱するものではない。映像または複数の画像フレームキャプチャシステムのいくつかの例として、RGBカメラ、赤外線カメラシステム、サーマルカメラシステム、および衛星撮像カメラシステムが挙げられる。
映像圧縮は高品質の映像送信および/またはアーカイブが必要とされるアプリケーションにおいて不可欠である。図1に示した、映像データを中央処理とアーカイブ設備130へ中継する1セットのドームカメラ105、110、115、120および125から成る監視システムを想定されたい。カメラと中心設備の間で映像ストリームを搬送するために使用される通信ネットワーク140は特許技術の頂点に据えられるが、交通管理センターは最近、インターネットプロトコルまたはIP準拠ネットワークへの転換を開始した。
いずれにせよ、一般的に、基礎となる通信ネットワークは、送信する前に、カメラ側での映像圧縮技術の使用を指令する帯域幅の制約を有している。従来のアナログのカメラの場合、圧縮は、カメラに取り付けられた外部エンコーダとして実行される一方、一般的に、ディジタルカメラはカメラ自体の内部にエンコーダを統合する。IP(アイピー)ネットワーク上の一般的な伝送速度は、マルチメガピクセルの映像ストリームのフレーム速さが毎秒5フレーム(fps)未満に限定しなければならない。最新の映像圧縮規格は、同じネットワークの帯域幅で高解像度映像を伝送するために最大フレーム速度のカメラ能力の利用を可能にする(Claudio R. Lima et al.,Sprint−Nextel,1 Adrian Court,Burlingame,CA94010,USA)、「High Definition Video Broadcast Over Core IP Networks」、11頁参照)。例えば、1080ピクセルのHD(高解像度)非圧縮映像を伝送する場合、毎秒1.5ギガバイト(Gbps)の帯域幅を必要とするが、その圧縮映像では毎秒250メガビット(Mbps)を必要とするにすぎない。よって、同じネットワークインフラストラクチャを介していても、非圧縮映像のバージョンのフレーム速さの6倍の圧縮映像の伝送が可能となる。
映像圧縮は映像ストリーム内の2種類の冗長性,フレーム内の互いに隣り合って配設されるピクセル同士の間の空間的冗長性と、互いに隣り合って配設されるフレーム同士の間の時間的冗長性と、を利用することによって達成される。このやり方は、二つの異なるタイプの予測、即ち、イントラフレーム予測とインターフレーム予測に分離することで、図2に示されるように、二つの異なるタイプの符号化されたフレーム、即ち、基準フレームと非基準フレームを得る。基準フレーム、即ち、I‐フレーム205は、ディジタル画像を圧縮するために使用される方法と同様の圧縮方法を用いたスタンドアローン方式(イントラ‐フレーム)で符号化される。非基準フレーム、即ち、Pフレーム215およびBフレーム210の圧縮には、一般的に以下の3つのステップを含む処理に於いて、標的となるフレームが予め符号化されたフレームから推定または予測されるインターフレームまたは動き補償予測方法の使用を必然的に伴う。
(i)動きベクトルが予め符号化されたフレームを用いて推定される動き推定。標的フレームは標的ブロックと呼ばれるピクセルブロック内へセグメント分割され、推定または予測されたフレームは標的ブロックに最良に整合する予め符号化されたフレームからブロックを縫合することにより組み立てられる。動きベクトルは、基準フレーム内の元のブロックの場所と予測フレーム内の場所との間の相対的な変位を記述する。P‐フレームの動き補償はすぐ前のフレームのみに依存するが、すぐ前のフレームとこれ以降のフレームは通常、B‐フレームを予測するために使用される。
(ii)予測フレームと標的フレームの誤差が計算される残差計算、および
(iii) エラー残差と抽出された動きベクトルが圧縮され格納される圧縮。Iain E. Richardson著、「The H.264 Advanced Video Compression Standard」を参照されたい。
固定カメラ(現在展開されている大部分の交通カメラの構成を有する)によってキャプチャされた映像の場合、互いに隣り合って配設されたフレーム間の変化の主な要因はオブジェクトの動きに対応している。この設定において、動き補償ステージからの出力は、互いに隣り合って配設されたフレーム間でのピクセルブロックの移動を記述する光ブロックの流れである。従って、動きベクトルの符号化されたセットは、固定カメラに関連付けられた視野内のオブジェクトの見掛けの動きの良好な記述子である。
前述したように、本発明に開示されている車両分類方法は圧縮タイプの動きベクトルを使用するものとして説明されているが、一般にこの方法は他のタイプの動きベクトルにも適用される。圧縮タイプのベクトルの詳細な説明は、映像圧縮に関連付けられた重要な帯域幅に付与される利点を主目的としている。
本発明は、圧縮映像ストリーム内で動作することができる自動化された映像ベースの車両分類のための方法およびシステムを提供する。例示的な実施形態は、映像圧縮に関連付けられる動きベクトルを使用し、これらの動きベクトルは、アーカイブや送信の前の圧縮ステップの1つとして計算されるかまたは圧縮されたデータストリームから容易に入手可能である。車両分類を圧縮パイプライン上で直接組み立てることはリアルタイムの性能に伝導性のある少量の計算を追加する。分類処理のこの埋め込みの実施形態は、圧縮解除(解凍)、車両分類、および再圧縮などのサーバ上の更なる処理の必要性を省く。別の実施形態において、分類処理は圧縮された映像データへのアクセスを有する中央処理装置において実施される。この実施形態によれば、車両分類は、完全な映像の解凍よりも動きベクトルのみの解凍によってイネーブルとされる。
本発明に係る分類処理の1つの利点は帯域幅の削減であり、車両分類が中央サーバよりむしろ映像カメラにおいてまたはその近傍で実行される際に達成される。この構成の場合、アーカイブおよび証拠目的に使用するために、対象となる画像を中央の場所へ送信するだけで、例えば、トラック、バスまたは他の乗用車の画像を送信するだけで、帯域幅を削減することができる。或いは、対象となる車両を含む映像フレームは、完全な映像フィードが送信され格納された場合、これを基準フレームとして符号化して、それ以降の映像検索を容易にすることができる。或いはまた、対応映像があるまたは対応映像がない分類結果の送信だけでも交通解析アプリケーションには十分である。
本発明の2つの例示的な実施形態の高レベルの概要を図3および4に示した。まず、交通監視カメラ305は対象となる領域、一般的に、高速道路や車両の入口や出口の映像をキャプチャする。
図4を参照するに、車両分類は、以下により詳細に説明されるように、映像圧縮手順に若干の手を加えて実行される。1つの例示的な実施形態によれば、車両が道路を通過し分類される際、車両クラスに関する情報は圧縮された映像ストリームにメタデータの形式で埋め込まれる。必要に応じて、車両がカメラの視野内にあるフレームは基準フレームとして符号化され、それ以降の検索を容易にすることができる。
アルゴリズムの実施に伴う手順は以下の通りである。
a)初期化ステップの間、対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定し、この標的エリアは車両検出および分類が実行されるキャプチャされた画像内の場所を画定する。このステップは一般的にシステムのインストールやセットアップ時に行われる。
b)カメラ305を使用して映像をキャプチャする。或いは、カメラによって撮られた圧縮映像を取得する。
c)ベクトルが映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリーム405から動きベクトルを判定する。或いは、圧縮された映像が予め読み込まれていた場合、圧縮されたデータストリームから動きベクトルを抽出する(図3参照)。
d)ステップc)からの動きベクトルを使用することにより仮想標的エリアを移動する車両の存在を検出する。
e)仮想標的エリアを移動中の車両が検出された場合、検出された車両をトラック/バスまたは他の乗用車カテゴリのいずれか1つに分類する。車両クラスは圧縮された映像ストリームにメタデータの形式で埋め込まれる。
f)特定のアプリケーションに相対して、車両が最適な場所におけるカメラの視野内にある(任意の)フレームが基準フレームとして符号化され、証拠となる画像のそれ以降の探索や迅速な検索を容易にすることができる。
検出された車両の分類は以下を含むいくつかの可能なやり方の1つ以上において実施することができる。
(1)画像平面上で検出された車両に関連付けられた検出された動きブロックのクラスタの幾何学的な属性(例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせなど)に基づいて行う。例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせは検出された動きブロックのクラスタに関連付けられる。
(2)ピクセル座標を実世界の長さの単位にマッピングするカメラ座標技術を使用することによって検出された車両の物理的な長さおよび/または幅を推定する。
手順は、動きベクトルによって送られた情報の処理に依存するので、或いは、この方法は、図3に示したように、映像を解凍することを必要とせずに、既に圧縮された映像ストリーム上でも実行可能であることから、完全に解凍されたビデオストリーム上で、背景推定、動き検出、トラッキング、特徴抽出などの複雑な動作を実行するナイーブな手法に比べて、分類処理を演算的により効率的なものにすることができる。更に、本発明の車両分類方法はまた、履歴データ解析において使用するために予め圧縮された格納された映像の処理においても有用となり得る。
以下の詳細な説明は、本発明の例示的な実施形態による車両を分類するための上記に概説した方法ステップの更なる詳細を提供する。
本発明の車両分類方法の実施は、実行する時点の映像圧縮アルゴリズムに対してわずかな更なる処理が必要とされるだけであり、アナログカメラの場合はアナログ−ディジタル変換器として使用され、ディジタルまたはIPカメラの場合はカメラそれ自体として使用される
a)初期化ステップの間、対象となる領域をスパンするカメラの視野内の仮想標的エリアの場所を判定する。
典型的な仮想標的エリアは、単一または複数の仮想ポリゴンに限定されないが、通常、監視された交通レーン当たり一つの仮想ポリゴンを含む。仮想標的エリアの場所は、特定のカメラ設定の幾何学的形状に依存するので、手動的に入力される。仮想ポリゴンは咬合と車両検出の両方のために使用される。
b)カメラを使用して映像をキャプチャする。或いは、カメラによって予め取得されていた圧縮映像を読み込む。
従来の交通カメラまたは他の映像カメラはライブ映像をキャプチャするために使用することができる。本発明の実施は埋め込まれた映像圧縮を実行するIPカメラ上の変更をあまり必要としない。或いは、圧縮映像は映像データベースから入手可能である。
c)ベクトルが映像圧縮に使用されるタイプであるとき、入ってくるライブの非圧縮映像ストリームから動きベクトルを判定する。或いは、予め取得した圧縮されたデータストリームから動きベクトルを抽出する。
映像圧縮アルゴリズムの標準的な実施は通常、30〜50フレームおきに約1つのI‐フレームの基準またはI‐フレームを含むための固定速度を使用する。I‐フレームは関連付けられた動きベクトルを持たないので、これらは監視および検出するためには使用されない。I‐フレームはきわめてわずかなフレームを表すにすぎないので、I‐フレームの処理を省いても車両検出にあまり影響しない。
動きベクトルは圧縮処理における動き推定段階の一部として抽出される。完全映像フレームを把握する動きベクトルは圧縮時に演算されるが、以降のステップの記述から、仮想標的エリアのコンファイン内に配置された動きベクトルの処理が停止事象のロバスト(堅牢)な監視をするために十分であることは明確であろう。以下では、動きベクトルがどのように抽出されるかを簡単に説明する(Iain E. Richardson著「The H.264 Advanced Video Compression Standard」を参照されたい)。
映像シーケンスにおける2つの互いに隣り合って配設されているフレームの間の動きベクトルは、ピクセルレベル光流れ方法B. K. P. Horn)とB. G. Schunck著の「Artificial Intelligence、17、185〜203頁(1981年発行)」参照)を用いて抽出することができるが、各非基準フレーム内のピクセルごとに動きベクトルの計算を必要とし、演算処理において高い費用が掛かる。しかしながら、H264およびMPEG4などの圧縮アルゴリズムは一般的にブロックベースの手法を用いる。Iain E. Richardson著の「The H.264 Advanced Video Compression Standard」を参照されたい。ブロックベースの手法における動きベクトルは互いに隣り合って配設されているフレームを介してブロックをマッチング(整合)する動きを記述しており、ピクセルレベルの方法に比較した場合、これらの演算が演算リソースへの要求度はあまり高くない。図5および6は、ブロックマッチングアルゴリズムの図形的な記述を示している。
ブロックマッチングアルゴリズムは、圧縮すべきフレーム、即ち、標的フレームを、所定の大きさのピクセルブロックに分割し、例えば、その表記は、通常、m=n=16ピクセルのとき、m×nピクセルで動きブロックの大きさを表記する。検索は、現在のm×n個の標的ピクセルブロックに最も類似しているブロックに対する基準フレームにおいて行われる。検索および類似度のメトリックは演算的に費用の掛かる処理であるため、図5に示すように、検索窓は一般的に標的動きブロックの場所の周辺で画定される。例えば、ブロック間の類似度の基準は平均二乗誤差(MSE)と平均絶対差(MAD)であり、以下のように計算される。
Figure 0006915219
式中、B(k,l,j)は、j番目のフレーム内のピクセルのm×n個のブロックのk番目の列とl番目の行に配置されたピクセルを表し、(d,d)は、標的ブロックと候補ブロックの間の変位を記述するベクトルである。この場合、j‐1番目のフレームは基準フレームとして使用されている既に符号化されたフレームであり、j番目のフレームは標的フレームである。MSEとMADは共に2つのブロックがどの程、非類似であるかを測定し、その後、ブロックの類似度測定は、逆数または負のMSEまたはMADとして定義することができる。標的ピクセルブロックに対する動きベクトルは、標的ブロックと基準ブロックの間のブロック類似度測定を最大化するベクトル(d,d)である。検索窓の最良のマッチングブロックの検索は完全拡張検索、2値検索、3段階検索、スパイラル検索アルゴリズムなどを用いて行うことができる。これについては、Y.W.Huang et.al著の「Survey on Block Matching Motion Estimation Algorithms and Architectures with New Results」と題されたVLSI(超大規模集積回路)信号処理システムの議事録42巻(2006年発行)を参照されたい。図9は、図7に示した基準フレームと図8に示した標的フレームへの16×16ピクセル検索による8×8ピクセルのブロックベースの動き推定アルゴリズムのアプリケーションから得られる動き視野を示している。図10は最良のマッチング基準ブロックを縫合することによって得られる予測画像を示す。この場面に於いて、カメラは固定され、車が右から左に走行している。結果として、すべての見掛けの動きは車が画像平面に配置された領域内にある。
d)c)からの動きベクトルを使用することによって仮想標的エリアを移動する車両の存在を検出する。
手ブレ、動く葉、雲、水波などの動きのスプリアス源に起因する偽陽性を回避するために、所定の閾値Tより大なる大きさを有する動きベクトルのみを想定する。このような動きベクトルに関連付けられる動きブロックはアクティブな動きブロックとして参照されるとともにこれらのブロックによってキャプチャされるエリアを移動するオブジェクトの存在を示す。図11〜14は、車両検出事象をトリガするために、所与の標的フレームに対する動きベクトルの知識が標的仮想領域の場所に関してどのように使用されうるかを示している。図11〜14は、2つの連続した映像フレームとこれらの対応する動きベクトルとアクティブな動きブロックとを示す。動きベクトルは4×4ピクセルブロックごとに計算される。両図には、サンプルとしての標的仮想領域と、監視されている道路車線を含む矩形のボックスとして描画された仮想ポリゴンと、が重畳されている。
車両が仮想ポリゴンを横切って移動すると、数多くのアクティブな動きベクトルがポリゴンの内部に配置される。車両とは異なるオブジェクトの見掛けの動きによって生成されるアクティブな動きベクトルによる偽陽性を回避するために2つの閾値が設定される。これらの閾値は、車両検出がトリガされる前の仮想ポリゴン内部のアクティブな動きベクトルの最小接続クラスタを定義付ける閾値Nと、少なくともNのアクティブな動きベクトルを有する接続クラスタが、車両検出がトリガされる前の仮想ポリゴン内にある最小数の連続フレームを定義付ける閾値Nと、から成る。
の値は、一般的には、カメラ設定の幾何学的形状、仮想ポリゴンの大きさ、映像シーケンスの解像度だけでなく、動き推定アルゴリズムにおいて使用されるブロックの大きさに依存する。Nの値は、Nの値、カメラ設定の幾何学的形状、仮想ポリゴンの大きさ、フレーム速さ、および監視されている道路の平均速度に依存する。車両検出事象は、少なくともN個の連結された動きベクトルのクラスタが仮想ポリゴン内部に配置されたN番目の連続フレーム上でトリガされる。
車両が検出されると、閉成、開口、嵌め込みなどの形態学的動作をアクティブな動きブロックの場所を記述する2値画像に対して行うことができる。
e)走行中の車両が仮想標的エリア内で検出されるかどうかを判断し、検出された車両をトラックおよび/またはバス或いは単車を含む可能性のある他の乗用車カテゴリのいずれか1つに分類する。車両クラスはメタデータの形式で圧縮された映像ストリームに埋め込むことができる。
対象となる領域内で車両が検出されると、検出された車両はバスおよび/またはトラックまたは他の乗用車カテゴリのいずれか1つに分類される。前述したように、車両分類は数多くの方法で実施することができる。これらのアルゴリズムのいくつかの例を以下に挙げる。
(1)画像平面上の検出された車両に関連付けられる検出された動きブロックのクラスタの幾何学的属性(例えば、面積、長さ、高さ、幅、偏り、これらの組み合わせなど)に基づいて、これらの幾何学的属性は、クラスタ自体の形状からまたはクラスタの輪郭にぴったり合うプリミティブな幾何学的特徴(例えば、楕円)の形状から、直接、判定することができる。および/または、
(2)検出された車両の物理的な長さの推定は、ピクセル座標を実世界の長さの単位にマッピングするカメラ較正技術を用いて達成することができる。
車両分類のための相対的に簡単な方法は、アクティブな動きブロックのクラスタの測定された面積に基づいて成される。所与のカメラ設定幾何学的形状の場合、図15〜18に示したように、バス/トラックの面積は通常、画像平面上の他の乗用車の面積よりはるかに大きい。これらの図において、トラックに対して検出されたブロブ1705はSUVに対するブロブ1805よりはるかに大きい。アクティブな動きブロックを示す2値画像に基づいて、検出されたブロブの面積Sは、
Figure 0006915219

として計算することができる。
式中、Iは前のモジュールから出力されたフレームサイズの2値のマスクであり、xおよびyはピクセル座標である。その後、計算されたブロブ面積は、バス/トラックを他の乗用車から区別するために所定の閾値Tと比較される。所定の閾値Tは、特定のカメラ構成、幾何学的形状、およびカメラの解像度などのパラメータに依存し、アルゴリズムを初期化する前のカメラのインストールおよび/またはセットアップ時に設定することができる。
車両分類を行うための別の方法は、検出された車両の物理的な長さdを推定することによって行う。これは、アクティブな動きブロックのクラスタの開始点と終了点を最初に決定することによって達成することができる。画像平面上の通り方向に垂直な開始点と終了点の各々を通る線を引く。その後、開始点と終了点を結ぶ線は開始点と終了点を通る線に垂直な線上に投影される。その後、車両の長さは投影された線の長さとして推定される。この手法を図19に示した。投影された線の物理的長さはピクセル座標を現実の座標にマッピングする較正処理により推定することができる(IEEE Trans. On Pattern Analysis and Machine Intelligenceから、Z.Zhang著、「A flexible new technique for camera calibration」(2000年発行、22巻、11章、1330〜1334頁参照)。その後、推定された長さdは予め定義付けられた閾値Tと比較される。推定された長さが閾値より大なる場合、車両はバスおよび/またはトラックとして分類される。注目すべきは、検出された車両の長さを推定するために使用される上記の技術が、映像が車両後方または前方に直接または斜めに配向されたカメラからキャプチャされる車両の幅を推定するためにも使用され得ることを理解されたい。その後、車両の推定される車幅は、例えば、単車〈対〉乗用車などの様々なクラスの車両の相対的な幅に基づく車両分類を提供するように使用することができる。
必要に応じて、車両クラスの情報はキャプチャされた映像に直接埋め込むことができる。これは、圧縮基準が映像および/またはオーディオコンテンツを実際に復号化せずに圧縮された映像ストリームを構文解析することを可能にするので、更なるコンピュータ処理の節約をもたらす。様々なタイプのメタデータを含む能力はMPEG4やH264における重要な要素である。
f)特定のアプリケーションに対して、車両が最適な場所におけるカメラの視野内にある(任意の)フレームが基準フレームとして符号化され、証拠となる画像の今後の検索または迅速な検索を容易にすることができる。
映像シーケンスまたはシーケンス内の静止フレームは車両クラスの検証のために人によって視認され、この画像を法的証拠として使用することができる。高速な検索はあるフレームをI‐フレームとして選択することによって可能となる。例えば、仮想標的エリアを通る運転車両の映像を視認するための迅速な解凍(圧縮解除)は、車両が標的エリアの中央に来た時にまたはそのナンバープレートが可読となった場所においてI‐フレームを符号化することによってイネーブルとなる。
本明細書中に提供されている方法をニューヨークのウェブスター村の地元の道路上でキャプチャされた映像シーケンスで実験した。映像は、市販されているVivotekIP8352の監視カメラで撮られた。映像は約15分間通りを監視し25Kフレームを有していた。キャプチャされた映像はフレーム速さが毎秒30フレーム(fps)であり解像度は1024×1280ピクセルであった。より高速な処理をイネーブルするために、フレームを縦横4倍でサブサンプリングした。これによって、この空的間間引き後の映像シーケンスはフレーム速度が30fps、解像度は320×256ピクセルであった。
対象となる領域がキャプチャされた映像において定義付けられ、対象となる領域に対応する仮想ポリゴンを通過した車両が監視された。図11〜14は、カメラの視野と画像平面上の仮想ポリゴンを示す。
本明細書中に提供した分類方法の性能を評価するために、圧縮動きベクトルは、MPEG4とH264の典型的な実施におけるものとして計算された。動き推定ブロックサイズを8×8ピクセルに設定し検索窓サイズを16×16に設定した。ブロックサイズ選択は、他の性能パラメータのうち、アルゴリズムが解くことができる最小の車間距離を求める。即ち、m×n個のピクセルのブロックサイズは、車が仮想標的エリアを移動する際、m+1個のピクセル未満で離れる車間距離を区別することが不可能なアルゴリズムをレンダリングする。アルゴリズムパラメータは以下、N=10、N=1、T=100に設定した。ステップe)に記載したように、車両分類はアクティブな動きブロックの検出されたクラスタの面積に基づいて実行された。
映像は、監視された車線経由のトランジットにおいて合計で31台の乗用車と4台のトラックおよび/またはバスを含んでいた。アルゴリズムの分類能力に関するパフォーマンスを表1に示す。
Figure 0006915219
アルゴリズムは4台のトラック/バスを全て正確に分類し、標的エリアを横切った乗用車30台を正確に分類した。良好に分類されたトラック/バスを図20〜23に示した。標的エリアが異なる方向に移動する車両をキャプチャし得ることに注目すべきであるが、動きベクトルの配向に含まれる情報を用いてこれらの車両の検出および監視が自動的に回避されたことにも留意されたい。
本明細書の詳細な説明のいくつかの部分は、中央処理装置(CPU)、CPU用のメモリ記憶デバイス、および接続されたディスプレイデバイスを含む、従来のコンピュータコンポーネントによって実行されるデータビット上の演算(オペレーション)のアルゴリズムおよび記号表現について提示されている。これらのアルゴリズム的記述や表現はデータ処理技術分野の当業者により使用される手段であり、これによって、彼らの仕事内容を他の当業者に最も効果的に伝達することができる。アルゴリズムは一般に所望の結果を出すことができる首尾一貫した一連のステップとして認識される。これらのステップは物理的な量の物理的な操作を要求するステップである。通常、必ずしも必要ではないが、これらの量を、記憶し、転送し、結合し、比較し、そうでなければ、操作することが可能な電気的または磁気的な信号の形態をとる。主に共通使用の理由から、時には、これらの信号を、ビット、値、エレメント、記号、文字、用語、数字で称することが便利であることが証明されている。
しかしながら、以上および同様の用語は、全て適切な物理的な量に関連付けられ、これらの量に適用される単なる便宜上のラベルであることが理解されよう。特に断り書きがない限り、本明細書中の説明から明らかなように、この説明を通して、「処理(プロセッシング)」または「演算」または「計算」または「判断(決定)」または「ディスプレイ」などの用語を用いた説明は、コンピュータシステムまたは同様の演算デバイスのアクションや処理を指し、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量として表されるデータを操作し、且つ、コンピュータシステムメモリやレジスタまたはこのような情報の記憶、送信、またはディスプレイデバイス内の物理量として同様に表される他のデータへ、変換する。
例示的な実施形態はまた、本明細書中で説明されたオペレーションを実行する装置に関する。この装置は必要とされる目的のために特別に構築されてよいし、或いは、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定されないが、任意のタイプのフロッピーディスク、光ディスク、CD‐ROM、光磁気ディスク、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM)、EEPROM)、磁気または光カードを含む任意のタイプのディスク、または電子命令を格納するのに適しておりかつ各々がコンピュータシステムバスに連結される任意のタイプの媒体などのコンピュータ可読記憶媒体に格納することができる。
本明細書で提示されているアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本来的に関連していない。様々な汎用システムが本明細書の教示に従ってプログラムと共に使用されてよいし、または、本明細書中に記載されている方法を実行するためにより専用化された装置を構築することは好都合であることが分かっている。様々なこれらのシステムのための構造は以上の説明から明らかである。更に、例示的な実施形態は、特定のプログラミング言語を参照して記載されてはいない。様々なプログラミング言語が本明細書に記載される例示的な実施形態の教示を実施するために使用され得ることが理解されよう。
マシン可読媒体は、マシン(例えば、コンピュータ)によって読み出し可能な形態で情報を格納または送信する任意のメカニズムを含む。例えば、マシン可読媒体は、一部の例を挙げれば、リードオンリーメモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および電気的、光学的、音響的または他の形態の伝搬信号(例えば、搬送波、赤外線信号、ディジタル信号など)を含む。
明細書全体を通して例示されている方法は、コンピュータ上で実施され得るコンピュータプログラムプロダクトに於いて実施(インプリメント)することができる。コンピュータプログラムプロダクトは、ディスク、ハードドライブ等の制御プログラムが記録される非一時的コンピュータ可読記録媒体を含むことができる。非一時的コンピュータ可読記録媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気記憶媒体、CD‐ROM、DVD、または任意の他の光媒体、RAM、PROM、EPROM、FLASH‐EPROMまたは他のメモリチップやカートリッジ、またはコンピュータを読み出しかつ使用することができる任意の他の有形の媒体を含む。
或いは、この方法は、制御プログラムが、無線波および赤外線データ通信中に生成されるような音響波や光波などの送信媒体を用いてデータ信号として具現化される送信可能な搬送波などの一時的な媒体において実施され得る。

Claims (5)

  1. 道路車線に関連付けられた車両検出対象領域をスパンする視野を含むように配向された撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、
    a)道路車線に関連付けられた前記車両検出対象領域内で検出された車両を表す接続された動きベクトルのクラスタを生成するステップであって、前記クラスタは、所定の閾値Tより大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値N 個の接続された動きベクトルと、接続されたクラスタが少なくともN 個の接続された動きベクトルを有する少なくとも閾値N 個の連続フレームとを有する、前記クラスタを生成するステップと、
    b)1つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
    c)前記接続された動きベクトルのクラスタに関連付けられた前記1つ以上の幾何学的属性に従って検出された車両を分類するステップと、
    を含み、
    前記動きベクトルが圧縮タイプの動きベクトルであり、
    ステップa)が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを生成し、
    ステップc)が前記検出された車両本体を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの1つとして分類し、前記1つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの1つ以上を含み、
    前記車両の分類が前記撮像機器によってキャプチャされた1つ以上の画像フレームを表す圧縮データ内に埋め込まれる
    コンピュータ実施方法。
  2. 撮像システムによってキャプチャされた車両を分類するための撮像システムであって、前記撮像システムが、
    道路車線に関連付けられた車両検出標的領域をスパンする視野を含むように配向された撮像機器と、
    前記撮像機器に動作可能に関連付けられ、前記撮像機器によってキャプチャされた車両を分類する方法を実行する画像プロセッサと、
    を含み、
    前記方法が、
    a)道路車線に関連付けられた前記車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを生成するステップであって、前記クラスタは、所定の閾値Tより大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値N 個の接続された動きベクトルと、接続されたクラスタが少なくともN 個の接続された動きベクトルを有する少なくとも閾値N 個の連続フレームとを有する、前記クラスタを生成するステップと、
    b)1つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
    c)前記接続された動きベクトルのクラスタに関連付けられた前記1つ以上の幾何学的属性に従って検出された車両を分類するステップと、
    を含み、
    前記動きベクトルが圧縮タイプの動きベクトルであり、
    ステップa)が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを生成し、
    ステップc)が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの1つとして分類し、前記1つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの1つ以上を含み、
    前記車両の分類が前記撮像機器によってキャプチャされた1つ以上の画像フレームを表す圧縮データ内に埋め込まれる
    撮像システム。
  3. 道路車線に関連付けられた車両検出標的領域を含む視野に関連付けられた撮像機器によってキャプチャされた車両を分類するコンピュータ実施方法であって、
    a)道路車線に関連付けられた前記車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを抽出するステップであって、前記クラスタは、所定の閾値より大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値N 個の接続された動きベクトルと、接続されたクラスタが少なくともN 個の接続された動きベクトルを有する少なくとも閾値N 個の連続フレームを有する、前記クラスタを抽出するステップと、
    b)1つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
    c)前記接続された動きベクトルのクラスタに関連付けられた前記1つ以上の幾何学的属性に基づいて検出された車両を分類するステップと、
    を含み、
    前記動きベクトルが圧縮タイプの動きベクトルであり、
    ステップa)が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを抽出し、
    ステップc)が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの1つとして分類し、前記1つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの1つ以上を含み、
    前記車両の分類が前記撮像機器によってキャプチャされた1つ以上の画像フレームを表す圧縮データ内に埋め込まれる
    コンピュータ実施方法。
  4. 撮像機器によってキャプチャされた車両を分類するための画像処理システムであって、
    a)道路車線に関連付けられた車両検出標的領域内で検出された車両を表す接続された動きベクトルのクラスタを抽出するステップであって、前記クラスタは、所定の閾値より大きな大きさを有する動きベクトルのみを有し、前記クラスタは、少なくとも閾値N 個の接続された動きベクトルと、接続されたクラスタが少なくともN 個の接続された動きベクトルを有する少なくとも閾値N 個の連続フレームとを有する、前記クラスタを抽出するステップと、
    b)1つ以上の幾何学的属性を前記動きベクトルのクラスタに関連付けるステップと、
    c)前記接続された動きベクトルのクラスタに関連付けられた前記1つ以上の幾何学的属性に従って検出された車両を分類するステップと、
    を含み、
    前記動きベクトルが圧縮タイプの動きベクトルであり、
    ステップa)が前記撮像機器の視野内で判定された仮想ポリゴン標的エリア内で検出された車両本体を表す圧縮タイプの動きベクトルのクラスタを抽出し、
    ステップc)が前記検出された車両を相対的に大型車両、相対的に小型車両、トラック、バス、乗用車、および単車のうちの1つとして分類し、前記1つ以上の幾何学的属性が、前記仮想ポリゴン標的エリア内の接続された前記動きベクトルのクラスタの形状の面積、長さ、高さ、幅、および偏りの1つ以上を含み、
    前記車両の分類が前記撮像機器によってキャプチャされた1つ以上の画像フレームを表す圧縮データ内に埋め込まれる
    方法を実行するように構成された画像プロセッサを含む、
    画像処理システム。
  5. 前記撮像機器が、可視光映像カメラ、赤外線映像カメラ、熱型映像カメラ、および衛星撮像映像カメラのうちの1つである請求項4に記載の画像処理システム。
JP2019136818A 2013-06-11 2019-07-25 コンピュータ実施方法、撮像システム、及び画像処理システム Active JP6915219B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/914,752 2013-06-11
US13/914,752 US9286516B2 (en) 2011-10-20 2013-06-11 Method and systems of classifying a vehicle using motion vectors
JP2014104196A JP2014241134A (ja) 2013-06-11 2014-05-20 動きベクトルを使用して車両を分類する方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014104196A Division JP2014241134A (ja) 2013-06-11 2014-05-20 動きベクトルを使用して車両を分類する方法およびシステム

Publications (2)

Publication Number Publication Date
JP2019215889A JP2019215889A (ja) 2019-12-19
JP6915219B2 true JP6915219B2 (ja) 2021-08-04

Family

ID=52011487

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014104196A Pending JP2014241134A (ja) 2013-06-11 2014-05-20 動きベクトルを使用して車両を分類する方法およびシステム
JP2019136818A Active JP6915219B2 (ja) 2013-06-11 2019-07-25 コンピュータ実施方法、撮像システム、及び画像処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014104196A Pending JP2014241134A (ja) 2013-06-11 2014-05-20 動きベクトルを使用して車両を分類する方法およびシステム

Country Status (2)

Country Link
JP (2) JP2014241134A (ja)
DE (1) DE102014210140A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3078810B1 (fr) 2018-03-08 2020-04-03 Idemia Identity And Security Dispositif et procede pour differencier un poids lourd de transport de marchandises d’un autocar
CN109829478B (zh) * 2018-12-29 2024-05-07 平安科技(深圳)有限公司 一种基于变分自编码器的问题分类方法和装置
CN114332681A (zh) * 2021-12-08 2022-04-12 上海高德威智能交通系统有限公司 一种车辆识别方法和装置
CN117876182B (zh) * 2023-12-25 2024-06-21 山东高速股份有限公司 一种基于多源数据分析的高速公路养护决策管理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3034101B2 (ja) * 1991-11-22 2000-04-17 大倉電気株式会社 動きベクトルによる識別方法及び装置
JPH0869597A (ja) * 1994-08-30 1996-03-12 Matsushita Electric Ind Co Ltd 動きベクトル検出手段を用いた監視装置
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video
JP3886784B2 (ja) * 2001-11-21 2007-02-28 株式会社東芝 動画像内の物体識別装置及び方法

Also Published As

Publication number Publication date
DE102014210140A1 (de) 2014-12-11
JP2019215889A (ja) 2019-12-19
JP2014241134A (ja) 2014-12-25

Similar Documents

Publication Publication Date Title
US9286516B2 (en) Method and systems of classifying a vehicle using motion vectors
US9442176B2 (en) Bus lane infraction detection method and system
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
US9424747B2 (en) Vehicle counting methods and systems utilizing compressed video streams
GB2507395B (en) Video-based vehicle speed estimation from motion vectors in video streams
US8953044B2 (en) Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
JP4451330B2 (ja) 圧縮ビデオにおいて交通事象を検出する方法
US9253503B2 (en) Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
US8942913B2 (en) System and method for on-road traffic density analytics using video stream mining and statistical techniques
Zabłocki et al. Intelligent video surveillance systems for public spaces–a survey
JP2009510827A (ja) 動き検出装置
Kulkarni et al. Real time vehicle detection, tracking and counting using Raspberry-Pi
US9736493B2 (en) System and method for achieving computationally efficient motion estimation in video compression based on motion direction and magnitude prediction
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN108235017A (zh) 用于检测事件的方法和装置
Li et al. A rapid abnormal event detection method for surveillance video based on a novel feature in compressed domain of HEVC
Hashmi et al. Analysis and monitoring of a high density traffic flow at T-intersection using statistical computer vision based approach
Gandhi et al. Video and seismic sensor-based structural health monitoring: Framework, algorithms, and implementation
CN112686136B (zh) 一种对象检测方法、装置及系统
Raghtate et al. Moving object counting in video signals
KR20190074902A (ko) 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법
Sahu Automated vehicle detection and tracking using Raspberry-Pi
CN113850111A (zh) 基于语义分割和神经网络技术的路况识别方法和系统
Xing-xin et al. Adaptive Foreground Object Detection in Railway Scene

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210623

R150 Certificate of patent or registration of utility model

Ref document number: 6915219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150