JPH09506454A - マシンビジョン分類及び追跡用の方法及び装置 - Google Patents

Abstract

(57)【要約】 ３次元空間内の物体を分類し且つ追跡する方法及び分類が記載される。マシンビジョンシステムはビデオカメラ（２）で画像を道路景色（６）から得て、画像内のエッジ要素の強度を分析することにより画像を処理する。ピクセル強度がベクトルにより特徴付けされた後にシステムはファジィ集合理論を各ピクセルの位置及び角度に適用する。ニューロネットワークはファジィ集合オペレータにより形成されるデータを解読し且つ道路景色（６）内の物体を分類する。システムは道路景色内の物体、例えば自動車を追跡する追跡モジュール（２２）を具備するために潜在的な追跡領域を予測し且つ目標追跡領域からのエッジ要素が源領域からのエッジ要素にうまくマッチするかに基づいて、エッジ要素が移動した程度により重み付けられるように、各潜在的な追跡領域に対してマッチスコアを計算する。

Description

【発明の詳細な説明】 マシンビジョン分類及び追跡用の方法及び装置 発明の分野 本発明は、一般的には、交通量検出、モニタリング、管理、及び自動車分類及 び追跡に使用されるシステムに関する。特に、本発明はマシンビジョンからのリ アル−タイムビデオにより与えられる画像の物体を分類し且つ追跡する方法及び 装置に向けられる。 発明の背景 今日道路を使用する大量の自動車について、交通量検出及び管理はさらに重要 になった。例えば、交差点の制御、事件、例えば交通事故、且つ交通景色に関す るデータの収集は交通管理及び安全の状態を維持し且つ改良することにすべて必 要不可欠である。1950s以来、点検出装置、例えば地中の電気誘導ループが主と して交差点制御及び交通データ収集に使用された。地中電気誘導ループは基本的 に歩道に設置される線ループからなり、磁気誘導を介して自動車の存在を検出す る。 多くの限界が点検出装置、例えば電気誘導ループについて存在する。つまり、 電気誘導ループは各電気誘導ループに対して領域範囲に制限され、設置に費用が 高価であり、設置のために道路を掘ることが求められ、維持すること困難である 。さらに、このような点検出器は実質的な能力の限界を有し交通景色を正確に評 価できずまた景色に関する有益な情報を抽出することができない。点検出装置は 特定の、固定位置で自動車の存在又は不存在を検出し、他方、多くの他の有益な 交通パラメータを直接決定できない。むしろ、装置は 多重検出及び推量を介してこのパラメータを決定しなければならない。例えば、 自動車の速度を計算するために、点検出装置を最小する交通管理システムが少な くとも２つの検出装置を要求することにより２点での検出間の時間を決定し、こ れにより速度管理に至る。検出の他の方法、例えば超音波及びレーダ検出も類似 の限界を有する。 交通景色は点検出装置が収集できるよりもより多くの情報を含む。点検出装置 は１ビットのデータを提供することができ、他方、ビデオ画像は景色の300.000 バイト描写を提供することができる。ビデオ画像により提供される広領域範囲に 加えて、画像の連続は交通景色の動的な一側面、例えば１秒に３０画像の割合を 捕捉する。そのため、新型交通制御技術がマシンビジョンを採用し、自動車の検 出及び交通景色の情報抽出を改良した。これらのマシンビジョンシステムは代表 的には道路の部分を見渡すビデオカメラとビデオカメラから受信した画像を処理 するプロセッサからなる。プロセッサは自動車の存在を検出し且つビデオ画像か らの他の交通関連情報を抽出することを目的とする。 このマシンビジョンシステムの例は米国特許番号4,847,772、Michalopoulos等 に記載されており、且つさらに、Panos G.Michalopoulos，Vehicle Detection V ideo Through Image Processing：The Autoscope System，IEEE Transactions o n Vehicular Technology，Vol.40，No.1，２月 1991に記載されている。Michalo poulos等の特許はビデオ検出システムを開示し、これは交通景色のビデオ画像を 提供するためのビデオカメラと、処理用の画像の一部を選択する手段と、画像の 選択部分を処理するプロセッサ手段とを具備する。 Michalopoulos等のシステムは、ユーザにより特定される多重位 置の交通を検出できるように相互作用するグラフを使用する。ユーザは、自動車 がピクセル列からなる検出ラインを横切るので、自動車を検出するべき画像内で 検出ラインを手動で選択する。画像内の検出ラインの手動設置は歩道の電気誘導 ループ設置の犠牲を取り除き、さらに検出配置の柔軟性を提供し、他方、Michal opoulos等のシステムは点検出システムの機能をなお大雑把に競っている。その システムは大雑把に固定した位置で自動車をなお検出し、かつ誘導により交通パ ラメータを導出しするように数学的且つ統計的式を使用する。例えば、そのシス テムは自動車をその長さに基づいて分類し、且つ平均進行時間により割られる検 出位置間の既知距離に基づいて自動車の速度を計算する。さらに、もしユーザが 検出ラインを設置しない画像内の領域を介して自動車が交差するならば、そのシ ステムは自動車を検出しない。かくして、そのシステムは画像内で全自動車を自 動的に検出しない。 マシンビジョンシステムが任意の交通管理能力を実行できる以前に、そのシス テムはビデオ画像内の自動車を検出することができなければならない。Michalop oulos等のシステムは自動車を検出するように予め規定される検出ラインでのピ クセル毎のエネルギー、強度、反射性を分析し、かつ任意の自動車の存在がなけ れば背景景色の分析から導出される閾とピクセル毎の瞬時の画像を比較する。 他のシステムは自動車を検出するためにエッジ検出を利用した。これらのシス テムは、要素のグループを構成する、生の画像について「かたまり分析」をしば しば行う。このような分析の目的は、ピクセル位置、強度及び以前のグループ決 定に基づいて、どのピクセルが共に帰属するかを決定することである。基本的処 理は領域の成長として記載される。まず、そのシステムは、グループに帰属する と決定するセンタピクセルを選択する。次に、そのシステムは隣接 するピクセルに向かい、且つグループにピクセルを含めるべきかどうかを決定す る。この処理は各含有ピクセルに対して継続する。この型のかたまり検出器は、 全ての決定が相互依存であるため、困難にぶっつかる。一旦そのシステムが初期 の決定をしてピクセルを含め又は除外すると、連続決定はすでになされた決定に 依存する。かくして、一旦そのシステムが正しくない決定をすると、将来の決定 はしばしば正しくなくなる。この一連の正しくない決定をすることは適正な収束 の失敗に至る。同一のことが連続決定処理を信頼するエッジ検出に基づくシステ ムについても真実である。 マシンビジョンシステムのさらに好ましい能力は検出された自動車を追跡する 能力である。自動車を追跡するシステムはいくつかの共通な特性を共有する。ま ず、そのシステムは追跡の出発点を特定しなければならない。そのシステムはこ れをして自動車を検出するように入力画像を背景画像と比較しかつ所定範囲内の 領域を有する物体を自動車として判断する。他のシステムは追跡順序を初期化す るために移動検出を行う。追跡を初期化するため移動だけを使用するそれらのシ ステムは、追跡を初期化するために移動のあるベースライン量を設定しなければ ならないため、誤りの傾向がある。かくして、システムがゆっくり移動し又はエ ンストした自動車を追跡することができないということが常に有りうる。 出発点を特定した後に、そのシステムは連続調査を行う。そのシステムは現在 の自動車位置、初期には、出発点を有する。次に潜在的な移動位置を捜す。その システムは潜在的移動位置を比較し且つ最大に適する位置を選択する。適合を決 定するように現在の追跡位置を囲むサブ画像領域を抽出する。そのシステムは連 続画像フレームの潜在的新位置に全サブ画像領域を移動させる。かくして、その システムは位置と時間の移動を行う。そのシステムは１ピクセル１ ピクセル相関を行ってどの位置の画像が以前の位置の画像を最良に調和させるか を決定する。この型の相関は限界に陥る。そのシステムは移動中の自動車のピク セルと同一に背景ピクセルを処理し、これにより調整に関する問題を生じさせる ためである。さらに、全ピクセル強度が重要性の点で等しく重み付けされるので 、均一な大きい領域、例えば自動車のボンネットは重複する。この均一な領域に おいて、そのシステムは大多数のピクセルを調和することができるが、なお自動 車の境界を整列させることができない。自動車のエッジは少数のピクセルを構成 し、他方、整列するのに最も重要であるピクセルである。 交通量検出、モニタリング並びに自動車分類及び追跡は全て交通管理に使用さ れる。交通管理は代表的に州輸送部（ＤＯＴ）により行われる。ＤＯＴ制御セン タは代表的に中央位置に位置し、道路位置に設置される多数のビデオカメラから のビデオを受信する。そのセンタは交通情報及び統計を、センサ例えば電気誘導 ループ又はマシンビジョンシステムから受ける。交通管理エンジニアは代表的に ビデオ及び交通情報を代わりに見る端末を有する。エンジニアは多数の画像供給 を走査し、「興味を持たせる景色」、例えば交通事故及び交通渋滞を見つけよう とする。交通管理エンジニアが最も興味を持たせる景色を有する特定ビデオ供給 の位置を示すことは困難である。なぜならエンジニアは興味を持たせる景色につ いてビデオ供給を含むビデオ線の位置を示すサーチを行わなければならない。現 在の交通管理システムは推論される傾向に基づいてアラームを発生し、このアラ ームは交通管理エンジニアに潜在的に興味を持たせる景色を知らせる。なぜなら システムはある位置で傾向を推論し、システムは進行すべき傾向時間を要求する 。かくして、遅延が傾向を推論するシステムに存在する。この遅延後に、交通管 理エンジニア は正しいビデオ供給に切り換えることができる。 発明の要約 前述の従来技術の限界を克服するために、且つ本明細書を読み、理解する最に 明らかになる他の限界を克服するために、本発明は画像における物体を分類し且 つ追跡する方法及び装置を提供する。開示される方法及び装置は複数の道路サイ トからの自動車を分類し且つ追跡するために使用され、サイトからの画像はビデ オカメラによりリアルタイムで供給される。リアルタイムビデオからの画像はリ アルタイムで分類及び追跡データを形成し且つあるインタフェース手段にデータ を送る画像プロセッサにより処理される。 本発明の装置は複数の道路にわたり位置する複数のビデオカメラを具備し、ビ デオカメラはリアルタイムでサイトを撮影する。ビデオカメラはスイッチに電気 的に接続され、スイッチは複数のビデオカメラ間で手動又は自動で切換えを可能 にする。ビデオはビデオからの画像を分析し且つ分類及び追跡データを形成する 複数の画像プロセッサに送られる。分類及び追跡データはワークステーションに 送られ、このワークステーションではグラフィカルユーザインタフェースは交通 統計、データ及びマップと共に複数のビデオカメラの１つからの生ビデオを統合 する。グラフィカルユーザインタフェースはさらに事件が検出されたときアラー ム情報を自動的にディスプレイする。分類及び追跡データはさらに交通分析又は 交通制御装置による後の使用のためにデータバスに格納される。 本発明はリアルタイムビデオにより与えられる画像の自動車を分類する方法を 提供する。方法はまず画像の各ピクセルに対して垂直及び水平エッジ要素強度の 大きさを決定するステップを具備する。次に大きさと角度を持つベクトルは各ピ クセルに対して水平及び垂 直エッジ要素強度データから計算される。ファジィ集合理論は興味のある領域の ベクトルに適用され、角度及び位置データをファジィ化し、強度の大きさにより 重み付けられる。ファジィ集合理論を適用するデータは興味のある全領域の特徴 を現す単一ベクトルを形成するために使用される。最後に、ニューロネットワー クは単一ベクトルを分析し且つ自動車を分類する。 分類後、自動車はさらに追跡される。分類された自動車の初期位置を決定した 後に、潜在的な招来の追跡点が決定される。慣性ヒストリは潜在的な招来の追跡 点を予測することに支援できる。マッチスコアは各潜在的な招来の追跡点に対し て計算される。マッチスコアは初期位置領域を潜在的な招来の追跡点の領域に変 換することにより計算される。初期位置領域のエッジ要素は招来の追跡点領域の エッジ要素と比較される。エッジ要素より良くマッチすれば、マッチスコアはま すます高くなる。エッジ要素はさらに自動車の上にあるか、又は背景にあるかに より重み付けられる。最後に、最高のマッチスコアを有する潜在的な招来の追跡 点領域は次の追跡点として指定される。 図面の簡単な説明 図面において、ここでは同一の数は幾つかの図を通して同一の要素に言及する ； 図１は本発明の取り付けられたビデオカメラを含む代表的な道路景色の透視図 である； 図２は本発明の分類及び追跡システムの実施例に対するモジュールのブロック 図である； 図３は自動車を分類するためのステップのフロー図である； 図４は分類処理に使用されるカーネル要素の平面図である； 図５は景色画像のグラフ表示であり、興味のある潜在的領域の配置を説明する ； 図６Ａ及び６Ｂは角度ファジィ集合オペレータを記述するのに使用されるグラ フである； 図７Ａは好ましい実施例において使用される位置ファジィ集合オペレータの平 面図である； 図７Ｂは興味のある領域に関する位置集合オペレータの配置を説明する； 図８はマトリックス形状の位置及び角度ファジィ集合理論からの情報を組織化 する処理を説明する； 図９は分類される自動車の像配置を説明する； 図１０は自動車を追跡するステップのフロー図である； 図１１は景色の画像のグラフ表示であり、潜在的な将来の追跡領域の配置を説 明する； 図１２は本発明のシステムの好ましい実施例の図である； 図１３はグラフユーザインタフェースのモニターにより表示される画像のグラ フ表示である； 図１４はグラフユーザインタフェースのモニターにより表示される画像のグラ フ表示であり、アラームメッセージを説明する。 好ましい実施例の詳細な説明 好ましい実施例の下記詳細な説明において、部分を形成し、また本発明が実施 される特定の実施例の説明により示される添付図に言及する。他の実施例が使用 されまた構成変化が本発明の範囲から離れずになされる。 マシンビジョンシステム用の情報の基本的部分はビデオにより与えられる道路 の特定部分の景色からの画像アレーである。図１はビ デオカメラ２が景色６をみる道路４の上に位置する。景色６は静的項目、例えば 木７、さく８、照明柱９及び位置マーカ１０を含む。景色６はまた移動物、例え ば自動車１２を含む。ビデオカメラ２は、例えば電気的又はファイバー光学ケー ブルにより、特定の場所に位置する電子処理装置１４に電気的に結合され、また センタ位置１６に情報を送信する。ビデオカメラ２はこれによりリアルタイムビ デオ画像をセンタ位置１６に、例えば見ること、処理、分析又は格納のために送 信することができる。 景色６の電子ビデオ画像の各ピクセルに対するデジタルデータの形態の画像情 報は図２に説明されるフロー図により処理される。例えば、画像アレーは512×5 12ピクセル３色画像であり、この画像は0-255の各色に対する規定範囲を持つ整 数を規定する強度を有する。もし画像情報がデジタル形態になければ、ビデオ画 像プリプロセッサモジュール１２は画像情報をデジタル化する。カメラ画像入力 は道路振動、風、温度変化及び他の不安定要因を含む環境の影響を受ける。カメ ラ移動の好ましくない影響を反対にするために、ビデオ画像プリプロセッサモジ ュール１２は画像安定化を電子的に行う。基準マーカ１０はビデオカメラ２の視 野内に取り付けられる。基準マーカ１０に関するフレーム−フレーム相関を使用 して、並進運動及び回転を補償することが計算される。画像の適当な曲げがリア ルタイムで、機械、例えばDatacube Corporation's（Danvers，Massachusetts） "Miniwarper"により行われる。ビデオ画像プリプロセッサ１２は安定化されたビ デオ画像情報を校正するために画像のピクセル空間に対して画像のリアル界の測 定のマッピングを行う。ビデオ画像プリプロセッサ１２はさらに背景減算を行っ て、自動車に関係しない任意の画像情報を削除する。かくして、両像は自動車に 関連するピクセル及び非自動車／背景ピクセルにセグメント化 される。本発明で使用する背景減算用の方法及び装置の好ましい実施例は共通に 委託された米国特許出願名称「一眼ビジョンシステム用の背景決定及び減算の方 法及び装置」及び代理人ドケット番号49805USA1Aにより特定され、これと同一日 に出願され且つ米国特許出願番号08/163,422に記載されている。 自動車特定及び分類モジュール２４及び自動車追跡モジュール２２は安定化さ れたビデオ画像情報を処理する。自動車特定及び分類は自動車の追跡のために使 用され又はさらなる分析又は格納のためにデータを直接出力する。自動車分類モ ジュール２４及び自動車追跡モジュール２２は交通解読部２６の統合され、これ はユーザインタフェース、システムセンタ処理装置を具備する。画像処理結果は 他のモジュール、例えば交通データモジュール２７、制御モジュール２８、又は 景色の異常の信号を送るアラーム情報モジュール２９に対して利用できる。 図３は自動車分類のデータフローの画像処理フロー図である。モジュール４０ では、ビデオ画像はデジタル化され、安定化され、時間ｔ_aに対する離散画像ア レーａに対する振動及び他の環境の影響に起因するノイズを削除する。その離散 画像アレーａは数のマトリックス、例えば、0-255の各色の規定範囲について、 各ピクセルの強度を規定する整数を有する512×512ピクセル画像からなる。連続 画像アレーは時間ｔ_(a+1)等でａ＋１である。 ｅｄｇｅ１規定モジュール４１で、安定化画像から出力される画像アレーの各 ピクセルはそのエッジ要素（ｅｄｇｅ１）強度の大きさに対して評価される。ｅ ｄｇｅ１強度は一定のピクセルが特定の方向及びコントラストを有する有るエッ ジに位置する見込みを示す。特定のピクセルとこれを特定方向に囲むピクセルピ クセル間のコントラストが大きいほどｅｄｇｅ１強度はますます大きくなる。エ ッジは多くのｅｄｇｅ１を伴うより球状の現象である点でｅｄｇｅ１と相違する 。ｅｄｇｅ１規定モジュール４１は画像アレーデータを取りさらに各ピクセルに 対して２つのｅｄｇｅ１画像を生成する。第１のｅｄｇｅ１画像は各ピクセルが 水平エッジにある見込み、又は各ピクセルで水平エッジの程度、式１により計算 されるｘ ｅｄｇｅ１を表す。 式１内で、sign(v)はvが正のとき＋１であり、且つvが負のとき−１であり、Ｉ_{( i+u)(j+v)} はピクセル（ｉ，ｊ）の周りのピクセル強度であり、またカーネルは2 k+1により2k+1の大きさである。ここにkはそのシステムの１つの実施例では２に 等しい。第２の画像はピクセルが垂直エッジにある見込み、又は各ピクセルで垂 直エッジの程度、式２により計算されるｙ ｅｄｇｅ１を表す。 式２内で、sign(u)はuが正のとき＋１であり、且つuが負のとき−１である。し たがって、ｅｄｇｅ１検出モジュール４１は画像アレー内の各ピクセルが水平又 は垂直エッジにある見込みを決定する。 図４はｅｄｇｅ１強度を計算するのに使用されるサンプル８×８カーネルのプ ロットを示す。ｅｄｇｅ１検出モジュール４１は画像アレー内の各ピクセルにカ ーネル５９を印加してコンボリューション（畳み込み）を行う。コンボリューシ ョンは問題のピクセルを囲むピクセルを考慮し、これにより問題のアクセルがエ ッジにある見込みを決定する。ｅｄｇｅ１検出モジュール４１は元のピクセル値 を２つの方向に２度カーネル５９を印加する出力と取り替え、ピクセルの水平及 び垂直エッジの双方を表す２つの新しい整数に至る。 ｅｄｇｅ１規定モジュール４１はアレーａの水平エッジデータ（ｘ ｅｄｇｅ １）及び垂直エッジデータ（ｙ ｅｄｇｅ１）を幾何学変換モジュール４５に先 送りする。幾何学変換モジュール４５は離散ピクセルデータ対（ｘ ｅｄｇｅ１ ，ｙ ｅｄｇｅ１）を水平エッジ及び垂直エッジ値の程度から各ピクセル（ｉ， ｊ）に対する方向及び大きさを有するベクトルに変換する。その方向は角度フォ ーマットで表現されるが、大きさは整数で表現される。好ましい実施例において は、角度は０−１８０度の間にあるが、強度は０−２５５の間にある。データの 変換は直交座標をユークリッド空間の極 座標に変換することに類似する。幾何学変換は、式３及び４に従って、好ましい 実施例では、行われる。大きさの値は各ピクセルの全ｅｄｇｅ１強度（ｓｕｍ ｅｄｇｅ１）の計算であり、式３に従って計算される。 ｓｕｍ ｅｄｇｅ１ ≡｜ｘ ｅｄｇｅ１_ij｜＋｜ｙ ｅｄｇｅ１_ij｜ 式３ ピクセルｉ，ｊに対する幾何学変換モジュール４５に展開される角度値αは式４ に従って計算される。 α_ij≡０ もし ｙ ｅｄｇｅ１_ij＝０ α_ij≡９０／｛１＋（ｘ ｅｄｇｅ１_ij／ｙ ｅｄｇｅ１_ij）｝ もし ｘ ｅｄｇｅ１_ij／ｙ ｅｄｇｅ１_ij≧０ α_ij≡１８０ −９０／｛１＋（ｘ ｅｄｇｅ１_ij／ｙ ｅｄｇｅ１_ij）｝ もし ｘ ｅｄｇｅ１_ij／ｙ ｅｄｇｅ１_ij＜０ 式４ 角度及び大きさデータは領域選択モジュール４６に送られる。幾何学変換モジ ュール４５はピクセル強度を表す大きさデータを自動車追跡モジュールに先送り する。 領域選択モジュール４６は興味ある潜在的な領域、又は候補領域を、分類のた めに、規定しなければならない。図５を説明する。画像３０は道路４及び道路境 界３１を含む。各自動車分類は適当な大きさ及び形状を持つ領域の集合を割り当 てられる。好ましい実施例においては、候補領域は、他の形状が使用されてもよ いけれど、実質的に形状が台形になる。候補領域は景色の従来の校正によって動 的に生成される。興味のある領域は画像空間内で重複される。好ましい実施例に おいては、重複する領域は画像空間の下半分に制限される。説明される例におい ては、興味ある候補領域はトラックの大きさを有する台形であり、あるものは交 通レーンのセンタにあり、また他のものは交通レーンと重複するレーンマーカの センタにある。台形と重複する数は変化し、好ましい範囲に依存する。台形３６ と重複する別の集合は、例えば、カーの大きさである。分類領域は予め規定され る。 領域選択モジュール４６は興味のある予め規定される領域を走査して自動車の 存在を決定し、候補領域内の平均ｅｄｇｅ１値の変化の最小閾に基づいて分析用 の領域を選択する。最小閾値は平均ｅｄｇｅ１強度の変化が領域内のノイズに起 因して閾値以上に上昇しない程度に十分高くする必要があるにすぎない。領域選 択モジュールは各ピクセル候補用の全ピクセルに対して個々のｓｕｍ ｅｄｇｅ １を合計し且つ平均ｓｕｍ ｅｄｇｅ１を計算する。領域選択モジュール４６は アレーａの候補領域を、前とその後のフレームであるフレーム領域ａ−１とａ＋ １と比較する。平均ｓｕｍ ｅｄｇｅ１ 値は前とその後のフレームに対する同一の平均ｓｕｍ ｅｄｇｅ１値に比較され る。比較がｓｕｍ ｅｄｇｅ１値に対する局部最大が達成されたことを示すとき 、又はもし異なる基準が使用されるならば、局部最小に対して、候補領域は興味 ある領域になる。一旦興味ある領域が特定されたとなると、領域優先モジュール ４７は興味ある領域を選択し、それを自動車の分類の特定に対して先送りする。 利用できるデータは分類目的に対して十分であるが、他方、データ量はリアル タイム処理に対して多すぎる。さらに、データに多くの重複がある。最後に、デ ータは並進運動及び回転の双方に不変なものが少なすぎる。そのため、本発明の システムは重複を減少させ、ファジィ集合理論を応用してデータの不変なものを 増大させる。ベクトル化モジュール５１は幾何学的に変換されたデータを、ファ ジィ集合理論を変換されたデータに応用することによりベクトルデータに変換す る。ベクトル化モジュール５１は各幾何学的に変換されたｅｄｇｅ１の位置及び 角度特性の双方に分離ファジィ集合オペレータを適用する。ベクトル化モジュー ル５１は興味ある全領域の特徴を表すベクトルを決定し、そのベクトルはこの領 域内の任意の自動車の分類に対する十分な情報を含む。 その分類処理の好ましい実施例においては、ベクトル化モジュール５１は１０ の重複くさび形状のオペレータ６６を、図６に示されるように、角度ファジィ化 用の幾何学的変換ｅｄｇｅ１の角度成分に適用する。各くさび形状オペレータ６ ６は３６度の幅と単位高さを有する。重複クサビ形状オペレータ６６が各ｅｄｇ ｅ１の角度成分に適用されるとき、オペレータ６６は角度が各角度集合に向けて どの程度まで「計算」すべきかを決定する。各くさび形状オペレータは特定の角 度でセンタになる。くさびの頂点直下に落ちない各角 度成分に対して、すなわち、くさびがセンタになる角度で、その角度は落ちる双 方のくさびに向けて計算され、各くさびがセンタになるどの角度が角度成分、さ らにｅｄｇｅ１の強度の大きさと同様であるかを考慮する。例えば、１８度で正 確にセンタになる角度は１８度でセンタとなる角度集合で完全な集合メンバーシ ップを有する。他方、図６Ｂに示される２０度の角度に対して、角度は１８度で センタとなる角度集合に向けて多く計算し、且つ３６度でセンタとなる角度集合 に向け少なく計算する。このファジィ論理オペレータを興味ある領域のｅｄｇｅ １の全角度成分に適用した後に、結果としての出力は幾何学的に変換されるｅｄ ｇｅ１の全角度成分を表す１０の角度集合である。 くさび形状オペレータ６６はｅｄｇｅ１の角度特性をファジィ化し、他方、各 ｅｄｇｅ１の角度位置は考慮されなければならない。かくして、位置ファジィ集 合オペレータは興味ある領域に適用されなければならず、ｅｄｇｅ１の角度成分 の一般的な位置を決定する。好ましい実施例においては、テント関数６０は、図 ７Ａに示されるように、位置に対するファジィ集合オペレータとして使用される 。テント関数６０は単位高さを有する。テント関数６０はｅｄｇｅ１の位置の２ 次元ファジィ化を行う。入力変数（ｉ，ｊ）は興味のある領域内のピクセル位置 を表す。図７Ｂはテント関数６０の配置を説明する。興味のある各領域２００に 対して、９つのテント関数６０は興味ある領域にわたって配置される。センタテ ント関数２０２は興味ある領域２００にわたってセンタとなり、興味ある領域を 完全におおう。上−右テント２０４はセンタテント２０２の上−右コーナでセン タとなる。上−センタテント２０６はセンタテント２０２の上−センタエッジで センタとなる。右−センタテント２０８はセンタテント２０２の右−センタエッ ジでセンタとなる。上−左 テント、左−センタテント、下−左テント、下−センタテント及び下−右テント は同様に配置される。（図７Ｂには図示されない）。興味のある領域２００内の 任意の点で、全重複テントの高さの合計は単一高さになる。 テント関数は興味ある領域内で各ｅｄｇｅ１に適用される。各テント関数に対 してある範囲の角度が生じる周波数を記録するヒストグラムが生成され、特定テ ント関数内で、ｅｄｇｅ１の強度で重み付けられる。ｅｄｇｅ１２１０にわたっ て各テントの高さにより決定されるように、ｅｄｇｅ１２１０に対して、センタ テント２００、上−センタテント２０６、上−右テント２０４及び右−センタテ ント２０８用のヒストグラムはｅｄｇｅ１２１０のある部分を全て計算し、ｅｄ ｇｅ１のうちどの割合が各テント下い位置するかを決定した後、ｅｄｇｅ１２１ ０に関連する角度集合は、くさび形状ファジィ集合オペレータにより決定される ように、ｅｄｇｅ１値がヒストグラム内のどの角度範囲で計算されねばならない かを決定する。そのｅｄｇｅ１値は、幾何学変換モジュール５０で計算されるよ うに、ｅｄｇｅ１強度の大きさにより重み付けされ、ｅｄｇｅ１が落ちるテント 関数と関連する各ヒストグラムで計算される。この処理は興味ある領域内の全ｅ ｄｇｅ１に対して繰り返される。位置のファジィ化の結果は９つのヒストグラム であり、各々は、大きさで重み付けられるように、角度の範囲が一般的な位置に 対して、存在する周波数の特徴を表す。各ヒストグラムはディメンジョン１０の ベクトルである。９つの位置ヒストグラムは共に配列され、ベクトル化モジュー ル５１から出力されるディメンジョン９０のベクトルを形成する。本発明の別の 実施例において、１０×９マトリックスがファジィ化処理に対してヒストグラム に代わり使用される。この実施例においては、各ピクセルは評価され且つマトリ ックス内の位 置に比例して割り当てられる。図８において、マトリックス２５０が示される。 マトリックス２５０は１０の行を有し、各々１８度の角度集合を表し、且つ９列 を有し、９つのテント位置、例えばセンタテント、上−右テント等を表す。位置 （ｉ，ｊ）でのピクセルはその角度２６０及びその大きさ２７０に対して評価さ れる。ピクセル（ｉ，ｊ）の位置が位置ファジィ化用のテント関数２６２を受け た後、位置はマトリックス２５０の４つの列にまでのものに割り当てられ、ピク セル（ｉ，ｊ）が落ちるテント関数の数に依存する。角度２６０度はピクセル（ ｉ，ｊ）の大きさ２７０によって重み付けられ、角度ファジィ化に対するくさび 形状オペレータ２７２に受ける。角度は、大きさにより重み付けられように、マ トリックス２５０の２つの隣接列までのものに配列され、角度２６０が落ちるく さび型のオペレータの数に依存する。この処理は全ピクセルに対して繰り返され 、且つ９つの列が１端１端配置されてベクトル化モジュール５１から出力される ディメンジョン９０のベクトルを形成する。 自動車分類モジュール５２はニューロネットワークを有する。ニューロネット ワークは自動車学習モジュール５３により自動車の所定の分類を認識するように 訓練される。ディメンジョン９０のベクトルは、ベクトル化モジュール５１に現 れるように、ニューロネットワークにより評価される。ニューロネットワークは ベクトルに基づいて自動車を分類し、自動車の分類を示す信号を発生する。本発 明について使用のためのニューロネットワークの好ましい実施例は共通に委託さ れた米国特許出願、名称"Facet Classification Neural Network"に記載され、 代理人ドケット番号49597USA4Aにより特定され、これと同日に出願され、現在米 国特許出願番号08/163,825に記載される。 自動車分類を特定する独特の像が像割り当てモジュール５４で分類される自動 車に割り当てられる。像割り当てはさらに視覚的追跡を容易にするための追跡モ ジュールに出力される。規定分類像の個々に分類された自動車への割り当てはシ ステム動作の監視及び追跡の特別の特定のための独特の視覚的出力を提供する。 図９は視覚的な像景色７０、カー７４の上に位置する十字形状像７２、トラック 像７８の上の星形状像７６の１つのフレームである。任意の像は特定、例えばト ラック用のキャラクタ「Ｔ」及びカー用の「Ｃ」として選択される。これらの像 は、トラックが多数フレームを介して所定時間にわたり進行するにつれて、自動 車が景色内で最早や特定できなくなるまで、自動車の進行と共に移動する。 自動車の検出及び関連分類後、特定された自動車を含むビデオ画像の部分は時 間ｔ_aに対するアレーａ内で独特の特定を呈する。独特の特定は興味のある領域 の動的境界、それらの境界内のピクセルデータ計算、適当な像の割り当てを含む 。もしユーザが望ならば、ビデオ画像のディスプレーはユーザインタフェースの ビデオスクリーンの像を含み、割り当てられる境界内のセンタに位置する。連続 画像において、時間ｔ_(a+1)、ｔ_(a+2)…ｔ_(a+n)に対するアレー（ａ＋１）、（ ａ＋２）…（ａ＋ｎ）が自動車の追跡を現す。連続追跡は自動車がアレーの所定 行に達成するまで継続する。 図１０を説明する。自動車の追跡のフロー図が示される。追跡順序の選択モジ ュールはモジュールから分類処理からの情報を、図４に示されるように、受け、 幾何学変換モジュール４５並びに強度及び自動車特定及び分類データ５５からｅ ｄｇｅ１強度を含む。 追跡処理は景色内で自動車の分類で出発する。かくして、処理の初期で又は交 通の一時休止後に、既存自動車モジュール８１はメモリにいかなる特定された自 動車も持たない。もし分類処理は自動車 を時間ｔ_aでのフレームａで特定したならば、決定ノード８２に対して新自動車 ５５として先に供給される。決定ノード８２は新自動車に関連する情報を受ける と、新自動車に対する新追跡順序を発生する。一旦追跡順序が自動車に対して確 立されたとすると、決定ノード８２は既存自動車モジュール８１からの情報によ れば特定自動車の追跡を処理する。決定ノード８２が新自動車情報を受けるとき 、既存自動車モジュール８１からの既存自動車情報の反対になるように、新自動 車初期フォーマットは自動車マッチスコアモジュール８４に先に供給される。代 替えとして、決定ノード８２が既存自動車の情報を先に供給するところで、既存 自動車フォーマットは交通監視モジュール１００からの情報とマッチする。 交通監視モジュール１００は景色の監視を維持し、景色内に現在、全自動車の 自動車ログを保持することを含み、自動車の関連追跡ヒストリ、景色の慣性ヒス トリ１０４、時間にわたり蓄積され且つ規格され、候補発生部１０６からの潜在 的な将来の追跡位置を含む。一旦前の追跡点、又は源追跡点が新自動車又は既存 自動車のいずれかに対して特定されたとすると、候補発生部１０６は潜在的な将 来の追跡点、又は目標追跡点の範囲を発生する。目標追跡点は景色の任意の領域 を含めることができ、源追跡点の前、側面、後に領域を含め、他方、候補発生部 １０６は自動車の慣性ヒストリを考慮して、慣性ヒストリモジュール１０４から 受けられるように、自動車の次の位置を予測するのを助ける。目標領域は重複し 、密接に接近する領域のセンタはあるピクセルだけ離れている。 予測される将来の位置、又は目標領域の例は、図１１の画像１２０にグラフで 示される。画像１２０の下位部分においては、源領域１３０が時間フレームｔ_a １２６で示され、これは適当な像１２４でマークされる特定自動車１２２を含む 。画像１２０の上位部分に おいては、予測将来追跡点１４０ａ、１４０ｂ及び１４０ｎが時間フレームｔ_{(a +1)} １２８に対して示され、追跡領域１４２ａ、１４２ｂ及び１４２ｎが比例し て縮んでいる。 データ減縮は追跡の情報を処理する速度を増大することが望ましい。興味ある 領域の分解能を減少させることはデータ減縮を容易にする。サブサンプリングが 後に続くピクセル平均は分解能を減縮するために使用される。例えば、もし２× ２カーネルが使用され、カーネルの４つのピクセルにわたる画像のピクセル強度 を平均するならば、目標領域の分解能は１／４だけ減少する。大きさ及び分解能 を減少させる画像層に関する多重分解能ピラミッドは、カーネル野多重適用で形 成される。かくして、目標領域は低い方の分解能でサーチが行われ、高分解画像 の同一領域のサーチ前に目標領域が多分位置する領域を特定する。 目標領域が特定された後に、マッチスコアが各目標領域で計算される。源領域 は各目標領域にわたりかぶされる。そのマッチスコアは並進運動される源領域か らエッジ要素を考慮し、この源領域は目標領域のエッジ要素のマッチを行う。エ ッジ要素のマッチが良ければ、マッチスコアはますます高くなる。エッジ要素は 移動の証拠により重み付けられ、その量により決定され、コントラストは一定の ピクセルで時間について変化するので、自動車のエッジ要素は最大にされ、背景 エッジ要素は最小にされる。最大のマッチスコアを有する目標領域は次の追跡点 であり、且つ新源領域になる。自動車マッチスコア発生部８４は入力として連続 フレームからｅｄｇｅ１値の大きさを減算するフレーム減算データ８３を取り、 これにより差画像を形成する。自動車マッチスコア発生部１０６は決定ノード８ ２からの源領域を加えて候補発生部１０６から目標領域を受ける。自動車マッチ スコア発生部８４は式５を用いて各目標領域に対する マッチスコアを計算する。 Ｍ≡Σ〔（Ｓ_k（Ｒδ）＊Ｒδ_(u,v) ）^1/2 ＊（255-｜Ｒ_S(u,v) −Ｓ_k（Ｒ_c ）｜）〕 式５ 式６において、Ｒ_c はエッジ要素強度の現在領域の大きさのマトリックスであ る。Ｒ_S(u,v) は領域センタの並進運動（ｕ，ｖ）についてエッジ要素強度の連続 領域の大きさのマトリックスである。Ｓ_k（Ｒ）は領域Ｒのいくつかの収縮の１ つである。Ｒδは差画像の現在の追跡−領域である。ｋ及び移動（ｕ，ｖ）を見 つけることによりアルゴリズムは処理するので、解Ｍが最大になる。標示法は減 算、乗算、平方根、絶対値は作用されるマトリックスにわたりすべて成分法であ るというほどに理解されることに注目せよ。Σは一定のマトリックスについて全 要素を単に合計する。 最大スコア決定ノード８７はマッチスコア発生部８４から得られた結果を比較 する。この比較からの最大スコアは特定され且つ目標領域は新追跡点モジュール ８９により自動車の新位置として指定される。新追跡９１は交通監視１００とユ ーザインタフェース／交通解読部９２に供給される。本発明の１つの実施例にお いて、もし追跡される対象物が有効に移動するならば新追跡点モジュール８９が 新追跡点を形成するように間欠追跡が採用される。新追跡点モジュール８９は現 在目標領域を前の時間フレームからの同一領域の基準と比較し、且つそれらの差 が閾値を越えるかを判断する。もし越えるならば、新追跡点モジュール８９は自 動車の新位置で新追跡点を与え且つ基準バァファは興味のある現在の領域の内容 を保持するよ うに更新される。間欠追跡は追跡に使用されるデータの信号対雑音比が増大し、 ゆっくりし又は渋滞した交通状態で追跡を容易にする。ユーザインタフェース／ 交通解読部９２は景色の位置にあり又は交通制御センサで遠隔的に位置する多く のシステムのうちどれであってもよい。交通解読部９２は出力データ、交通制御 情報、又は格納のアラーム、交通制御、又は手動ユーザの交通制御システムによ る使用を提供することが可能である。 図１２を説明する。自動車分類及び追跡システムが記載される。自動車分類及 び追跡システムはデータ、交通制御情報、又は使用中のアラームを与えるために 独立道路景色で使用され、他方、多くの道路サイトから交通をモニターし、又は 多数の自動車が多数のサイトを通過するので多数の自動車の分析を統合するのに 特に有益である。ビデオカメラ２１０Ａ、２１０Ｂ、…、２１０Ｎはいくつかの 道路サイトから交通状態のモニターを同時に行う。ビデオカメラからのビデオは 多種の方法で、例えばコマーシャルネットワーク２１２、マイクロウエイブネッ トワーク２１６又は光ファイバネットワーク２１８で多重送信される専用ケーブ ル２１４で送信されることが可能になる。ビデオは処理される。好ましい実施例 においては、各ビデオカメラ２１０は、単一画像処理手段が全カメラからのビデ オを受け且つ処理できるけれど、分離画像プロセッサ２４０にビデオを送る。画 像プロセッサ２４０Ａ、２４０Ｂ、２４０Ｃ、…、２４０Ｎはリアルタイムでビ デオを処理し、分類及び追跡データを形成する。交通解読部は、さらにアラーム データ、交通統計及び優先データをリアルタイムで発生するための画像プロセッ サ２４０に、又はワークステーション２５０に存在する。交通統計、例えば、量 、速度、占有、加速度、時間間隔、距離間隔、密度、レーン変更総数又は他の特 徴が計算される。さらに、交通統計はレーン、自動車 分類又は双方により、さらに間隔あたり又はある時間周期にわたり計算される。 画像プロセッサ２４０はワークステーション２５０にデータを送る。ビデオカメ ラ２１０からのビデオはワークステーション２５０により受けられ、かつ生ビデ オがディスプレイ２２０でディスプレイされる。生ビデオは単一スクリーンディ スプレイの高速道路サイトの交通情報に関し統合される。生ビデオは景色から景 色へビデオスイッチ２２０によりユーザウオッチ用ディスプレイ２２０の制御下 で切り換えられ又はワークステーション２５０の指令でアラームデータに応答し て自動的に切り換えられ、又は優先データは画像プロセッサ２４０により発生さ せられる。ビデオ、交通統計及び他の交通関連データはデータバスでワークステ ーション２５０に全て格納され又は格納及び後の使用、例えば交通パターンの研 究のために制御中央２６０に送られる。 自動車の分類及び追跡用のビデオ画像処理システムのグラフィカルユーザイン タフェースは図１３に示される。グラフィカルユーザインタフェースは交通エン ジニア及び分析家を支援するように交通サイトの生ビデオ及びそのサイト用の全 関連交通情報を単一統合ディスプレイにおいて与える。交通エンジニアは見るべ き複数のビデオ供給の中の任意の１つを、他の関連交通情報と共に選択する。さ らに、画像プロセッサが事件を検出すると、ユーザはグラフィカルユーザインタ フェースを介して自動的に告知される。ビデオスクリーン画像３００は高速道路 システムにおいて１つの景色の生ビデオウィンドウ３１０を具備する。グラフィ カルユーザインタフェースはウィンドウがベースにされ、メニューで駆動される 。ユーザはメニューからオプションを選択することにより又は押しボタンを選択 することにより要求を行う。その上ビデオウィンドウ３１０、交通統計、マップ 、又は他の情報はウィンドウ型フォーマットで示され 、且つ交通エンジニアの思慮分別で選択的に選択され、大きさにされ、配置され る。システムマップ３２０は道路のレイオウトに関しビデオカメラの位置を示す 、且つ再調査される現在の景色用の要約交通情報３３０はグラフ的にリアルタイ ムでディスプレイされる。全ディスプレイはさらに特別の操作スイッチ３４０又 は同一スクリーンディスプレイ内に操作メニューを具備する。リアルタイムアラ ームメッセージは、画像プロセッサ又は交通解読部により発生されるアラーム情 報に基づいて、図１４に閉めされるように自動的に発生され且つディスプレイさ れる。アラーム状態は、例えば、オフ道路自動車、過度の横自動車加速度、間違 った道の自動車又は過度の縫うような進行を含む。グラフィカルユーザインタフ ェースのビデオスクリーン３５０は適当なスイッチ３６２を用いてアラームウィ ンドウで上書される。 好ましい実施例が本発明に対して説明されまた記載されたけれど、この同一の 目的に達成するために計算される任意の方法及び装置が示された特定の構成及び ステップに代わりに用いられることは当業者により理解される。この適用は本発 明の適合又は変形を保護するように意図される。したがって、本発明が添付のク レーム及び等価によりのみ制限されることは明確に意図される。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ Ｈ０４Ｎ 7/18 8625−5Ｈ Ｇ０６Ｆ 15/62 ３８０ (72)発明者 サーニイ，ダリン ジー. アメリカ合衆国，ミネソタ 55133−3427, セントポール，ポスト オフィス ボック ス 33427 （番地なし) (72)発明者 グランホルム，マイケル シー. アメリカ合衆国，ミネソタ 55133−3427, セントポール，ポスト オフィス ボック ス 33427 （番地なし) (72)発明者 ミリオン，ベライナー ダブリュ. アメリカ合衆国，ミネソタ 55133−3427, セントポール，ポスト オフィス ボック ス 33427 （番地なし)

Claims (1)

1. 【特許請求の範囲】 １．ａ）３次元空間から画像を取得する画像取得手段； ｂ）前記画像を受信し且つ処理するために、前記画像取得手段に電気的に接続 される処理手段であり、前記画像処理手段は： ｉ）前記画像の各ピクセルの垂直及び水平エッジ要素強度成分の大きさを決定 し； ii）前記画像内お各前記ピクセルに対して全エッジ要素強度及び角度の大きさ を用いて第１のベクトルを計算し； iii）興味ある領域の前記第１のベクトルにファジィ集合理論を適用して興味 ある各前記領域の特徴を表す第２のベクトルを形成し； iv）ニューロネットワークで興味ある各前記領域の前記第２のベクトルを解読 し、これにより前記ニューロネットワークは前記第２のベクトルに基づいて物体 の分類を決定し； ｖ）前記物体の前記分類を示す信号を発生するステップを実行するようにプロ グラーム化され： ｃ）前記画像処理手段に電気的に接続されるインタフェース手段を具備するマ シンビジョンシステム。 ２．前記画像処理手段はさらに前記画像処理手段により発生される分類を示す 信号を分析し且つ前記信号をアラーム及び統計情報に変換する交通解読手段を具 備する、請求項１に記載のマシンビジョンシステム。 ３．前記画像処理手段はさらに実世界測定に対するピクセル空間のマッピング を行う手段を具備する、請求項１に記載のマシンビジ ョンシステム。 ４．ａ）３次元空間から画像を取得する画像取得手段； ｂ）前記画像を受け且つ処理するために前記画像取得手段に電気的に接続され 、前記処理手段は第１の画像に第１の追跡点を有する物体を追跡するプログラム を実行するようにプログラム化され、前記プログラムは： ｉ）前記第１の画像及び第２の画像の各ピクセルの垂直及び水平エッジ要素強 度成分を決定し； ii）前記第１の画像及び前記第２の画像内の各前記ピクセルに対する前記エッ ジ要素強度の大きさを計算し； iii）前記第１の画像及び第２の画像内の各前記ピクセルに対する全エッジ要 素強度の大きさ間の差を決定することにより差画像を形成し； iv）前記第２の画像からの複数の潜在的な連続の追跡点を予想し； ｖ）各前記潜在的な連続追跡点に対してある値を割り当て、前記値はエッジ要 素と前記第１の追跡点を囲む第１の領域からのエッジ要素を、各前記潜在的な連 続追跡点を囲む領域において、比較することにより決定され； vi）前記潜在的な連続追跡点の１つを、割り当てられた前記値に基づいて前記 連続追跡点として選択し； VII）前記連続追跡点を示す信号を発生するステップを備え； ｃ）前記処理手段に電気的に接続されるインタフェース手段を具備するマシン ビジョンシステム。 ５．前記処理手段は前記第１の追跡点をプログラムを実行するこ とにより形成し、このプログラムは： ａ）全エッジ要素強度及び角度について前記第１の画像内の各前記ピクセルに 対して計算し； ｂ）ファジィ集合理論を興味のある領域の前記第１のベクトルに適用し、興味 のある各前記領域の特徴を表す第２のベクトルを形成し； ｃ）興味ある各前記領域の前記第２のベクトルをニューロネットワークを用い て解読し、これにより前記ニューロネットワークは前記第２のベクトルに基づく 前記物体の分類及び位置を決定し； ｄ）前記物体の前記位置を示す第２の信号を発生し、前記位置は前記第１の追 跡点を構成するステップを備える、請求項４に記載のマシンビジョンシステム。 ６．画像における物体を分類する方法であって： ａ）前記画像の各ピクセルの垂直及び水平エッジ要素強度成分の大きさを決定 し； ｂ）前記画像内の各前記ピクセルに対して前記エッジ要素の強度及び角度の大 きさについて第１のベクトルを計算し； ｃ）ファジィ集合理論を興味ある領域の前記第１のベクトルに適用し、興味あ る各前記領域の特徴を表す第２のベクトルを形成し； ｄ）興味ある各前記領域の前記第２のベクトルをニューロネットワークで解読 しこれにより前記ニューロネットワークは前記第２のベクトルに基づいて前記物 体の分類を決定し； ｅ）前記物体の前記分類を示す信号を発生するステップを具備する方法。 ７．さらに、ａ）重複用領域に前記画像を分割し； ｂ）興味ある前記領域から前記重複用領域を選択するように所定基準を満足さ せる領域を選択するステップを具備する、請求項６に記載の画像における物体を 分類する方法。 ８．所定基準を満足させる興味ある前記領域の選択は： ａ）候補領域を示す平均全エッジ要素強度を、前記候補領域内の全ピクセルの 全エッジ要素強度の全大きさの平均に基づいて計算し； ｂ）前記候補領域の前記平均全エッジ要素強度を、ベースライン平均エッジ要 素強度値と比較し； ｃ）もし前記候補領域の全エッジ要素強度が前記ベースラインエッジ要素強度 値を越えるならば前記強度領域を興味ある領域であると選択するステップを具備 する、請求項７に記載の物体を分類する方法。 ９．所定基準を満足させる興味ある領域の選択は： ａ）候補領域の平均全エッジ要素強度を、前記候補領域内の全ピクセルの全エ ッジ要素強度の大きさに基づいて計算し； ｂ）もし前記候補領域の前記平均全エッジ要素強度が局部的な最大であるなら ば前記候補領域を興味ある領域であると選択するステップを具備する、請求項７ に記載の物体を分類する方法。 １０．前記画像の各ピクセルの垂直及び水平エッジ要素強度成分の大きさの決 定は： ａ）コンボリューションの第１のカーネルを規定し； ｂ）コンボリューションの第２のカーネルを規定し； ｃ）前記第１のカーネルを前記興味ある領域内の各ピクセルに適用し、これに より前記水平エッジ要素強度値を計算し； ｄ）前記第２のカーネルを前記興味ある領域内の各ピクセルに適用し、これに より前記垂直エッジ要素強度値を計算し； ｅ）水平及び垂直エッジ要素強度値の前記領域内で各ピクセルを割り当てるス テップを具備する、請求項６に記載の画像における物体を分類する方法。 １１．興味ある各前記領域の前記第１のベクトルへのファジィ集合理論の適用 は： ａ）ファジィ集合理論を前記画像の各前記ピクセルの位置に従って適用し； ｂ）ファジィ集合理論を各前記ピクセルの角度に従って適用し； ｃ）前記強度の大きさに従って各前記ピクセルに関連する角度に重み付けるス テップを具備する、請求項６に記載の画像における物体を分類する方法。 １２．前記画像の各前記ピクセルの位置に従ってファジィ集合理論の適用は： ａ）興味ある各前記領域にわたる重複用テント関数を設置し、前記テント関数 は実質的にピラミッド形状であり、且つ各前記テント関数は前記ピクセルの位置 での前記テント関数の高さに従って前記テント関数の下に各前記ピクセルを重み 付けし； ｂ）前記テント関数の位置に対応して発生位置に各前記ピクセルの前記強度を 割り当て、前記の割り当ては前記ピクセルの前記重みに従うステップを具備する 、請求項１１に記載の画像における物体 を分類する方法。 １３．第１の画像に第１の追跡点を有する物体の第２の画像に連続追跡点を決 定する方法であって： ａ）前記第１の画像及び第２の画像の各ピクセルの垂直及び水平エッジ要素強 度成分の大きさを決定し； ｂ）前記第１の画像及び前記第２の画像内の各前記ピクセルに対して全エッジ 要素強度の大きさを計算し； ｃ）差画像を形成するように前記第１の画像及び前記第２の画像内の各全ピク セルに対して全エッジ要素強度の前記大きさ間の差を決定し； ｄ）前記第２の画像から複数の潜在的な連続追跡点を予測し； ｅ）各前記潜在的な連続追跡点に対してマッチ値を割り当て、前記値は前記第 １の画像及び前記第２の画像内の各前記ピクセルに対して全エッジ要素強度の前 記大きさ及び前記差画像を分析して決定され； ｆ）前記連続追跡点の１つを、割り当てられた前記マッチ値に基づいて前記連 続追跡点として選択するステップを具備する方法。 １４．各前記潜在的な連続追跡点に対して前記マッチ値の割り当ては： ａ）前記第１の追跡点を囲む第１の領域に対応する第１の差領域に位置する前 記差画像からのピクセル強度を、各前記潜在的な連続追跡点を囲む前記第２の領 域に対応する第２の差領域に位置する前記差画像からのピクセル強度と比較して 重み値を生成し； ｂ）前記第１の追跡点を囲む前記第１の領域からエッジ要素を、前記潜在的な 連続追跡点を囲む前記第２の領域のエッジ要素と比較 して前記第１の領域及び前記第２の領域内のピクセルの全エッジ要素強度のマッ チを決定し； ｃ）各前記潜在的な連続追跡点に対して前記マッチ値を割り当て、前記マッチ 値は前記重み値で前記第１の領域及び前記第２の領域内のピクセルの全エッジ要 素強度の前記マッチを重み付けすることにより決定されるステップを具備する、 請求項１３に記載の第１の画像に第１の追跡点を有する物体の連続追跡点を決定 する方法。