JP5868936B2 - 二次導関数エッジ検出方法のためのエッジオリエンテーション - Google Patents

Description

（関連出願の相互参照）
本願は、同時係属の米国特許出願第１２／６６１，３３５号（２０１０年３月１５日出願）の優先権、および利益を主張し、この出願の開示は、その全体が本明細書に参照によって援用される。

（発明の分野）
本発明の実施形態は、概して、画像処理に関し、より具体的には、画像の強度勾配の変化に基づく２次元画像内のエッジの検出に関する。

画像は、一般的に、３次元オブジェクトの２次元表現と考えられる。画像は、２次元グリッドによって画定され得、グリッドの各要素は、ピクセルと呼ばれる。各ピクセルと関連付けられるのは、強度である。ピクセル強度の大きさは、多くの場合、輝度によって表わされる。デジタル画像において、各ピクセルは、輝度値が割り当てられ得る。８ビット画像では、その値は、０から２５５となるであろう。暗ピクセルは、低強度を有する一方、明ピクセルは、高強度を有する。図１ａは、画像の強度が、水平軸（左から右に）沿って増加する画像を例示する。図１ｂはｘ軸に沿った画像の強度分布のグラフである。このグラフは、ピクセル２４（すなわち、列２４）を中心とした、低（黒色）から高（白色）強度への変化を例示する。図示されないが、ｙ軸に沿った強度分布は、定数となるであろう。

エッジ検出は、画像処理の重要な部分である。エッジ検出は、画像内のオブジェクトの線または境界を同定するステップを有する。したがって、図１ａに戻って参照すると、画像処理デバイスは、エッジ検出を使用して、低強度暗領域が終了し、高強度白色領域が開始する水平線に沿った区画を同定する。

現在、エッジを同定するための方法の１つは、画像の強度分布関数の一次導関数（すなわち、勾配）を利用するものである。したがって、図２を参照すると、エッジは、低から高への強度の有意な変化が存在する（すなわち、閾値を超える）ピクセルにある。これらのエッジは、局所的な方向極大値を求めて一次導関数式を検索することによって同定される。強度分布関数の一次導関数から得られたエッジ情報は、場所およびオリエンテーション（エッジの角度とも称される）の両方を含む。

エッジを同定するために一次導関数に依存することには、いくつかの問題がある。特に、一次導関数の利用は、シックエッジ（ｔｈｉｃｋ ｅｄｇｅ）をもたらす傾向にある。多くの理由から、そのうちのいくつかは本開示の範囲を超えるシックエッジは、輪郭（すなわち、直線または曲線を画定するように組み立てられるエッジピクセル）を構築する下流のソフトウェアにおける複雑性を増加させ、画像内のオブジェクトの同定を試みるときに望ましくない。例えば、シックエッジの中心を見つけることは、非常に困難であって、不可能である場合もある。

解決策の１つは、エッジシニング（ｅｄｇｅ ｔｈｉｎｎｉｎｇ）事後処理を前述の一次導関数法に適用することである。しかしながら、事後処理は、追加のハードウェアを必要とし、画像は、「リアルタイム」で処理することができず、例えば、画像のピクセルは、例えば、カメラによって画像が捕捉されながら処理されることができない。エッジシニングを利用するためには、エッジマップ全体を記憶し、次いで、エッジシニング技術を使用して処理しなければならない。

別の選択肢は、画像の強度分布関数の二次導関数を使用してエッジを同定することである。エッジは、ゼロ交差値を求めて二次導関数式を解くことによって、同定される。図３を参照すると、ゼロ交差は、強度分布関数の二次導関数を使用して、図１に例示される画像内のエッジを画定する。この方法の１つの利点は、二次導関数の使用が、一次導関数の使用とは対照的に、シンエッジをもたらすことである。例えば、図２は、水平方向におよそピクセル２１から２９まで広がるエッジを例示する。

二次導関数に関する問題の１つは、ゼロ交差が方向性がないことである。言い換えると、一次導関数と異なり、ゼロ交差値に特有のエッジオリエンテーションまたは角度情報が存在しない。解決策の１つは、二次導関数によって同定されたシンエッジを一次導関数によって同定された方向情報と組み合わせることである。これは、大幅な追加の処理を必要とするので、当然ながら、望ましい解決策ではない。また、エッジ検出は、多くの場合、画像を処理するときの事前処理ステップであるので、付加的処理は、システムリソース上の障害となる。別の選択肢は、複雑な偏導関数（例えば、三次導関数）を使用して、二次導関数をさらに処理することである。再び、これは、そのようなエッジ検出法の現実的応用を低減させる不経済な事後処理ステップである。さらに、最後に、偏導関数の取得の結果として求められる強度変化の方向に基づいてエッジオリエンテーションを決定するための第２の事後処理ステップを必要とする。

したがって、不経済な事後処理を伴うことなく、強度分布関数の二次導関数から、角度およびオリエンテーション情報を決定するエッジ検出システムの必要性が存在する。

本発明およびその例示的実施形態は、画像を処理するための改良された方法を対象とし、その方法は、画像または画像のピクセルの強度分布関数の二次導関数を利用して、エッジおよびそれらの同定されたエッジのオリエンテーションを同定する。利点としては、画像が再構成されたときのよりシンなエッジ、画像内のオブジェクトをセグメント化し、同定するためのより優れた能力、および画像を２回処理することなく、エッジオリエンテーションを決定することが挙げられる。当業者は、本発明の他の利点および使用を認識するであろう。

本発明の一側面によると、画像の強度勾配の変化から、画像内のエッジおよびエッジオリエンテーションを検出するエッジ検出および分類モジュールを含む画像処理デバイスが提供される。

本発明の別の側面によると、ピクセルの強度勾配の変化を決定するステップと、複数の周囲ピクセルの強度勾配の変化を決定するステップと、ピクセルおよび複数の周囲ピクセルの強度勾配の変化を水平および垂直成分に分離するステップと、ピクセルおよび複数の周囲ピクセルの水平および垂直成分に基づいて、ピクセル内のエッジのオリエンテーションを決定するステップとを含む、画像のピクセル内のエッジのオリエンテーションを検出する方法が提供される。

本発明の別の側面によると、交通画像の強度勾配の変化に基づいて、交通画像内のエッジおよびエッジオリエンテーションを検出するエッジ検出および分類モジュールと、検出されたエッジオリエンテーション情報に基づいて、交通情報を同定する交通情報同定モジュールとを含む交通情報認識デバイスが提供される。

本発明の前述および他の特徴ならびに利点は、以下の説明、図面、および請求項からより明白となるであろう。当業者は、本開示に基づいて、本発明の他の側面および利点が存在することを理解するであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
エッジ検出および分類モジュールを含む画像処理デバイスであって、該モジュールは、画像の強度勾配の変化から該画像の中のエッジおよびエッジオリエンテーションを検出する、デバイス。
（項目２）
前記エッジ検出および分類モジュールは、ピクセル毎の方式で前記検出されたエッジの前記オリエンテーションを同定する、項目１に記載の画像処理デバイス。
（項目３）
前記エッジ検出および分類モジュールは、各ピクセルにおいて前記検出されたエッジの前記オリエンテーションを、各ピクセルにおける水平方向および垂直方向の勾配に沿って別個に同定された強度の変化に基づいて同定する、項目２に記載の画像処理デバイス。
（項目４）
前記エッジ検出および分類モジュールは、第１のピクセルにおいて形成されるエッジの前記オリエンテーションを、第２のピクセルの水平方向および垂直方向の勾配に沿って別個に同定された強度の変化に基づいて同定し、該オリエンテーションは、該第２のピクセルの前記強度勾配の変化に由来する、項目２に記載の画像処理デバイス。
（項目５）
前記エッジ検出および分類モジュールは、前記検出されたエッジの前記オリエンテーションを、所定の角度マスクに基づいて同定する、項目１に記載の画像処理デバイス。
（項目６）
前記エッジ検出および分類モジュールは、前記画像の中のすべてのピクセルに対するエッジ情報を検出し、オリエンテーション分類モジュールは、該画像の中のすべてのピクセルに対する該検出されたエッジ情報の前記オリエンテーションを検出する、項目１に記載の画像処理デバイス。
（項目７）
オブジェクト分解モジュールをさらに含み、該モジュールは、前記画像の中の特定のオブジェクトに従って、前記検出されたエッジ情報およびエッジオリエンテーション情報を分解する、項目１に記載の画像処理デバイス。
（項目８）
オブジェクト同定モジュールをさらに含み、該モジュールは、前記画像の中のオブジェクトを、前記分解された被検出のエッジ情報およびエッジオリエンテーション情報に基づいて同定する、項目７に記載の画像処理デバイス。
（項目９）
画像のピクセルにおけるエッジのオリエンテーションを検出する方法であって、該方法は、
１つのピクセルの強度勾配の変化を決定することと、
複数の周囲のピクセルの強度勾配の変化を決定することと、
該１つのピクセルおよび該複数の周囲のピクセルの強度勾配の変化を水平方向および垂直方向の成分に分離することと、
該１つのピクセルにおける該エッジの該オリエンテーションを、該１つのピクセルおよび該複数の周囲のピクセルの該水平方向および垂直方向の成分に基づいて決定することと
を含む、方法。
（項目１０）
前記１つのピクセルおよび前記複数の周囲のピクセルの前記水平方向および垂直方向の成分を角度マスクと比較することをさらに含む、項目９に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
（項目１１）
閾値を下回る前記強度勾配の変化を有するピクセルを無視することをさらに含む、項目９に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
（項目１２）
前記強度勾配の変化を有するが、ゼロ交差ではないピクセルを無視することをさらに含む、項目９に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
（項目１３）
交通情報認識デバイスであって、該デバイスは、
エッジ検出および分類モジュールであって、該モジュールは、交通画像の中のエッジおよびエッジオリエンテーションを、該交通画像の強度勾配の変化に基づいて検出する、モジュールと、
交通情報同定モジュールであって、該モジュールは、該検出されたエッジおよびエッジオリエンテーション情報によって形成されるオブジェクトからの交通情報を同定する、モジュールと
を含む、デバイス。
（項目１４）
前記交通画像は、交通標識のピクチャを含む、項目１３に記載の交通情報認識デバイス。
（項目１５）
前記同定される交通情報は、交通標識の種類、速度制限情報、緊急情報、優先順位情報、
特殊規制情報、方位情報、路線標識、道路および路線識別情報、アトラクション情報、商業情報、および地理情報を含む、項目１３に記載の交通情報認識デバイス。
（項目１６）
オブジェクト分解モジュールをさらに含み、該モジュールは、前記交通画像の中の特定のオブジェクトに従って、前記検出されたエッジ情報およびエッジオリエンテーション情報を分解する、項目１３に記載の交通情報認識デバイス。
（項目１７）
交通情報報告生成モジュールをさらに含み、該モジュールは、前記同定された交通情報を含む報告を生成する、項目１３に記載の交通情報認識デバイス。

図面中、類似の参照文字は、概して、異なる図を通して同一部品を指す。以下の説明において、本発明の種々の実施形態が以下の図面を参照して説明される。

図１ａは、画像のエッジの例示である。図１ｂは、図１ａに例示される画像の強度分布のグラフである。 図２は、図１に例示される、強度分布のためのｘ方向における一次導関数出力のグフラである。 図３は、図１および２に例示される、ｘ方向における二次導関数出力のグラフである。 図４は、本発明の例示的実施形態による、エッジのオリエンテーションを決定するためのアルゴリズムを例示する流れ図である。 図５は、本発明の例示的実施形態による、エッジのオリエンテーションを決定するためのアルゴリズムをさらに例示する流れ図である。 図６は、本発明の例示的実施形態による、水平勾配に適用されるオリエンテーションを例示する。 図７は、本発明の例示的実施形態による、垂直勾配に適用されるオリエンテーションを例示する。 図８は、本発明の例示的実施形態による、エッジオリエンテーションを同定するための角度マスクを利用するアルゴリズムを例示する、流れ図である。 図９は、図８に例示される、アルゴリズムの例示的動作の例示である。 図１０ａは、本発明の例示的実施形態による、画像処理モジュールを例示する。 図１０ｂは、本発明の例示的実施形態による、形状を同定するために使用される輪郭マップの例示である。 図１０ｃは、輪郭マップ内のエッジオリエンテーションの「状態」に従って分類される、図１０ｂの輪郭マップの例示である。 図１１は、図１０に例示される、画像処理モジュールの例示的動作を例示する流れ図である。 図１２は、図１０および１１に例示される、画像処理モジュールによって同定可能なオブジェクトの画像である。 図１３は、図１２の画像内のオブジェクトのうちの１つのための勾配および輪郭マップの例示である。 図１４は、本発明の例示的実施形態による、エッジオリエンテーションアルゴリズムを利用する、交通情報認識モジュールを描写する。 図１５は、図１４に例示される、交通情報認識モジュールの例示的動作を例示する流れ図である。 図１６は、図１４および１５に例示される、交通情報認識モジュールによって処理可能な交通画像である。 図１７は、図１４および１５に例示される、交通情報認識モジュールによって認識される、図１６に例示される、交通標識の画像上の種々のオブジェクトの例示である。 図１８は、図１６に例示される、交通標識画像から同定されたエッジオリエンテーションを例示する輪郭マップの例示である。 図１９は、本発明の例示的実施形態による、テキスト認識モジュールを描写する。 図２０は、図１９に例示される、テキスト認識モジュールの例示的動作を例示する流れ図である。 図２１は、図１９および２０に例示される、テキスト認識モジュールによって処理可能なテキスト画像の例示である。 図２２は、図２１に例示されるテキスト画像内のテキストから、図１９および２０に例示されるテキスト画像認識モジュールによって同定されたエッジオリエンテーションを示す輪郭マップの例示である。

本明細書に説明されるのは、本発明に準拠する方法およびシステムの種々の例示的実施形態である。これらの実施形態は、例示であって、当業者が本発明に与えるであろう範囲を限定するように解釈されるべきではない。

（アルゴリズム）
画像の強度分布関数の二次導関数から、エッジオリエンテーション情報を決定するためのアルゴリズムの例示的実施形態が、図４に例示される。最初に、各同定されたエッジに対して、強度分布内の水平方向における遷移（ゼロ交差）を同定する、すなわちｘ軸の方向における低から高への遷移および高から低への遷移を同定する（Ｓ．ｌ）。次に、各同定されたエッジに対して、強度分布内の垂直方向における遷移（ゼロ交差）を同定する、すなわちｙ軸の方向における低から高への遷移および高から低への遷移を同定する（Ｓ．２）。各同定されたエッジに対して、エッジおよび隣接するエッジの水平および垂直方向における同定された遷移に基づいて、エッジのオリエンテーションを同定する（Ｓ．３）。

図５は、垂直および水平遷移を同定するためのアルゴリズムの例示的実施形態を例示する。図５は、処理デバイスまたは一連の処理デバイスに実装され得る一連の処理ステップを示す。この例示的実施形態は、ピクセル毎の方式で動作する。すなわち、エッジを求めて各ピクセルが検索され、同定されたエッジは、前述のアルゴリズムに従ってオリエンテーション情報が割り当てられる。このおよび他の例示的実施形態において、「行列（単数または複数）」とは、行および列に構成された論理フォーマットで記憶されたデータを意味する。行列内のデータは、コンピュータ可読メモリに、文字通りに２次元形式で記憶される必要はなく、そのような論理フォーマットでコンピュータ可読メモリに記憶される。画像は２次元であり、画像内の各ピクセルは、ｍ×ｎ行列内の特定の行および列に配置されると考えられ得るので、行列は画像処理に役立つ。

強度関数の二次導関数の出力は、図５に例示されるアルゴリズムへの入力である。本実施例では、２つの方法のうちのいずれか一方が、選択的に、二次導関数を決定するために使用される。一方は、ガウシアン差分（ＤｏＧ）であり、他方は、ラプラシアンガウシアン（ＬｏＧ）である。

水平勾配から開始し、各ピクセルに対して、アルゴリズムは、水平方向にゼロ交差が存在するか否かを決定する（Ｓ．１２）。ゼロ交差が存在する場合、アルゴリズムは、選択的に、雑音を除去するために、強度変化が閾値を満たすか否かを決定する（Ｓ．１３）。ピクセルがゼロ交差を含まないか、または雑音閾値が満たされない場合、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎのためのＨ行列エントリに、例えば、コード「００」が投入される（Ｓ．１７）。しかしながら、ピクセルがゼロ交差を含み、雑音閾値が満たされる場合、次いで、勾配遷移が正から負、すなわち、「＋」から「−」である場合（Ｓ．１４）、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎのためのＨ行列エントリに、例えば、コード「０１」が投入され（Ｓ．１５）、勾配遷移が負から正、すなわち、「−」から「＋」である場合（Ｓ．１４）、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎのためのＨ行列に、例えば、「０１」が投入される（Ｓ．１６）。

図５に例示される、アルゴリズム内の垂直勾配の処理に戻ると、アルゴリズムは、各ピクセルに対して、垂直方向にゼロ交差が存在するか否かを決定する（Ｓ．１９）。アルゴリズムは、選択的に、ゼロ交差における強度変化を閾値と比較し、ゼロ交差が、雑音によって生じたか否かを決定する（Ｓ．２０）。ピクセルがゼロ交差を含まない場合、または雑音閾値が満たされない場合、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎに対応するＶ行列エントリに、例えば、コード「００」が投入される（Ｓ．２４）。しかしながら、ピクセルがゼロ交差を含み、閾値が満たされる場合、次いで、勾配遷移が正から負、すなわち、「＋」から「−」である場合（Ｓ．２１）、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎのためのＶ行列エントリに、例えば、「０１」が投入され（Ｓ．２２）、勾配遷移が負から正、すなわち、「−」から「＋」である場合（Ｓ．２１）、行Ｒ_ｎおよび列Ｃ_ｎにおけるＰｉｘｅｌ_ｎのためのＶ行列エントリに、例えば、「０１」が投入される（Ｓ．２３）。

図５に例示されるアルゴリズムのそれぞれの水平および垂直セグメントの入力は、同一である必要はない。すなわち、水平セグメントは、画像のピクセルの行に沿って、強度分布の二次導関数を利用し、水平方向における各ゼロ交差に対して、行毎に、ピクセル毎に検索してもよい。垂直セグメントは、画像のピクセルの列に沿って、強度分布の二次導関数を利用して、垂直方向における各ゼロ効果に対して、列毎に、ピクセル毎に検索してもよい。したがって、ＬＯＧが、二次導関数を決定するために使用される場合、個別の入力は、ＬＯＧ_Ｈ（水平におけるラプラシアンガウシアン）およびＬＯＧ_Ｖ（垂直におけるラプラシアンガウシアン）となり得る。

図６は、水平方向における強度遷移を同定する方法を例示する。ゼロ交差は、高から低への強度遷移（すなわち、白色から黒色、「−」）、または低から高への強度遷移（すなわち、黒色から白色、「＋」）のいずれかとして同定される。水平における各タイプのゼロ交差は、それぞれ、角度９０°または−９０°（２７０°）である上方または下方方向と関連付けられる。水平勾配を横断するエッジの方向が同定されると、ｍ×ｎのＨ行列内のピクセルに対するエントリに、表１に従って、２ビットのコードが投入される

したがって、図６において、それぞれ１、２、３、および４の４つの勾配が、例示されている。勾配１および２は、それぞれ、「＋」から「−」への遷移であって、ｍ×ｎのＨ行列内のピクセルに対するエントリに、角度９０°および関連付けられたコード「０１」が投入される。勾配３および４は、それぞれ、「−」から「＋」への遷移であって、Ｈ行列に角度−９０°（または、２７０°）および関連付けられたコード「１０」が投入される。

図７は、垂直方向における強度遷移を同定する方法を例示する。ゼロ交差は、再び、垂直における高から低への強度遷移（すなわち、白色から黒色、「−」）、または低から高への強度遷移（すなわち、黒色から白色「＋」）のいずれかとして同定される。垂直における各タイプのゼロ交差は、それぞれ、角度１８０°または−１８０°（３６０°）である左または右方向と関連付けられる。垂直勾配を横断するエッジの方向が同定されると、表２に従って、２ビットのコードが投入される。

したがって、図７において、それぞれ、５、６、７および８の４つの勾配が、例示される。勾配６および７はそれぞれ、「＋」から「−」への遷移であって、ｍ×ｎのＶ行列内のピクセルエントリに、角度０°および関連付けられたコード「０１」が投入される。勾配５および８は、それぞれ、「−」から「＋」への遷移であって、ｍ×ｎのＶ行列内のピクセルエントリに、角度１８０°および関連付けられたコード「１０」が投入される。

特定の遷移と関連付けられた方向およびコードは単なる例示であって、当業者が異なる角度およびコードを選択し得ることに留意されたい。唯一の要件は、遷移のタイプに基づいて選択されたオリエンテーションが、一貫して適用されることである。

図８を参照すると、Ｈ行列およびＶ行列が、水平および垂直角度情報を投入された後に、Ｈ行列およびＶ行列の３×３ウィンドウが所定の角度マスク情報と比較されることにより、同定されたエッジの方向を分類する（Ｓ．３０）。アルゴリズムのこの特定の実施形態は、３×３ウィンドウを使用するが、その理由は、所定の角度マスクが、注目エッジおよび隣接するエッジの水平および垂直角度情報を使用して、注目エッジのオリエンテーションを同定するからであり、他の実施形態は、より良好または粗雑なエッジオリエンテーション推定のために、異なるサイズのウィンドウを使用し得る（例えば、より大きいウィンドウは、より良好な推定を提供する）。

表１および２に規定されたオリエンテーションに基づいて、表３に規定されるＨ行列およびＶ行列ならびに所定の角度マスクから、角度指数が、３×３ウィンドウに対して生成される。

各角度指数は、表３の第１の列に規定されたエッジ方向と関連付けられる。表３の説明として、推定されたエッジが「定義」欄に規定される条件を満たす場合、特定のエッジは、「角度」欄に規定される角度においてオリエンテーションされ、「角度指数」欄内の角度指数が割り当てられる。表３に定義されるオリエンテーションの利点の１つは、それらが、エッジによって形成される形状の輪郭を辿り、例えば、正方形、長方形等の隅にアーチファクトが存在しないことである。

図９は、２つの３×３行列、Ｈ行列およびＶ行列を例示している。これらの図面において、実施例に関連する行列エントリのみが例示されている。各３×３ウィンドウの中心エントリ「ｒ，ｃ」は、オリエンテーションが決定されるエッジを有するピクセル「ｒ，ｃ」に対応する。本実施例では、Ｈ（ｒ，ｃ）におけるコードは「０１」であり、Ｖ（ｒ＋１，ｃ＋１）におけるコードは「０１」である。これは、角度３１５°および角度指数「１１１１」に対応する。したがって、この特定のエッジがピクセル行Ｒ＝ｌおよび列Ｃ＝２にあり、角度３１５°にオリエンテーションされる場合（表３の２列目を参照）、行Ｒ＝２および列Ｃ＝３（すなわち、方向３１５°）におけるピクセルにおいて見出されるエッジに対応するはずである。このプロセスは、Ｈ行列およびＶ行列内の各エントリに対して反復される。

画像に対する角度指数である最終ｍ×ｎ行列（すなわち、「ｍ」ピクセル×「ｎ」ピクセル）に、エッジオリエンテーション情報が投入される。このアルゴリズムの利点の１つは、最終ｍ×ｎ角度指数行列が、エッジ同定およびオリエンテーション情報の両方から成ることである。エッジを有するエントリのみが、エッジオリエンテーション情報を有し、各エッジは、オリエンテーションを有するであろう。したがって、アルゴリズムは、処理される画像の強度分布関数の二次導関数に基づいて、エッジおよびエッジオリエンテーション情報の両方を同定する。

Ｈ行列、Ｖ行列、角度指数行列、および表１−３の情報は、それぞれ、前述の処理における使用のためにアクセス可能なコンピュータ可読メモリ（図示せず）上に記憶されてもよい。

（オブジェクトのセグメント化および同定）
図ｌ０ａ−１２は、本発明の別の例示的実施形態を例示する。本例示的実施形態では、方向情報を含むエッジ検出のための前述のアルゴリズムが、画像内のオブジェクトをセグメント化および同定するためのシステムの一部として利用される。図１０ａは、本発明の本例示的実施形態による画像処理モジュール１０を例示する。画像処理モジュール１０は、エッジ検出および分類モジュール１１と、オブジェクト分解モジュール１２と、オブジェクト同定モジュール１３と、リスト生成モジュール１４とを含む。

図１１は、図１０を参照して、画像処理モジュール１０の例示的動作を例示する。最初に、画像処理モジュール１０は、画像を入力する（Ｓ．４０）。画像は、限定されないが、．ｔｉｆ、．ｊｐｅｇ、．ｐｄｆ、．ｂｍｐ、．ｇｉｆ、．ｒａｗ、．ｐｐｍ、．ｓｖｇ、または別のフォーマットであってもよい。エッジ検出および分類モジュール１１は、画像を処理し、図４−９に関して説明されたアルゴリズムを利用して、強度関数の二次導関数からエッジを同定し（Ｓ．４１）、エッジオリエンテーションを分類する（Ｓ．４２）。オブジェクト分解モジュール１２は、入力として角度指数行列をとり、画像内のオブジェクトに従って、エッジオリエンテーション情報をグループ化または分離する（Ｓ．４３）。オブジェクト同定モジュール１３は、入力として、分解されたエッジオリエンテーション情報をとり、エッジオリエンテーションの分布に基づいて、画像内の異なるオブジェクトを同定する（Ｓ．４４）。

一例示的実施形態によると、オブジェクト同定モジュール１３は、勾配オリエンテーションヒストグラム（ＨＯＧ）、エッジオリエンテーションヒストグラム、スケール不変特徴量変換記述子、および形状コンテキスト等の方法を使用して、オブジェクトを同定してもよい。ＨＯＧは、特に、エッジがシンであり、エッジオリエンテーションが正確である場合に、優れた結果を達成する。したがって、ＨＯＧは、特に、二次導関数を利用する、本明細書において説明されるエッジオリエンテーションを決定する方法に従って優れた結果を達成するであろう。実際、エッジおよびオリエンテーションが、同時に決定され、それらのエッジがよりシンであるので、ＨＯＧは、リアルタイムで使用可能である。このことは、エッジ検出およびエッジオリエンテーションの一次導関数法に従う場合には該当しない。

代替として、明確に定義された特色を有する既知のオブジェクト（例えば、円形、長方形、正方形、三角形、六角形等）に対して、オブジェクト同定モジュール１３は、オリエンテーション変化パターンを使用して、分解されるオブジェクトを同定してもよい。例えば、図１０ｂに例示される、分解された円形は、表４における以下の変化を有する。

これらの８つのオリエンテーション変化は、それぞれ、図１０ｃに例示される８つの離散状態の開始および終了として考えられ得る。各状態は、同一長さであって、各状態は、反対方向に対称性を有し、したがって、オブジェクト同定モジュール１３は、これが、円形となり得ることを推定する。次いで、全３６０°において、同一（または、同一に近い）半径を有する円形等、円形の他の幾何学特性を使用して、オブジェクト同定モジュール１３は、円形としてオブジェクトを同定する。この状態方法を使用する利点の１つは、断続したエッジを接続し、形状における小さい偏差を排除することである。

代替として、オブジェクト同定モジュール１３は、その上に、既知のオブジェクトの画像を記憶するメモリ（図示せず）を含んでもよい。本代替例示的実施形態では、既知のオブジェクトの輪郭マップが、画像内のオブジェクトのサイズにスケーリングされ（例えば、円形の場合、直径に従って、または別の形状の場合、周縁に従って等）、決定されたエッジオリエンテーションの比較相関が、既知のオブジェクトの輪郭マップに対して行われる。画像内のオブジェクトの輪郭マップが、既知のオブジェクトのスケーリングされた輪郭マップに一致する場合、画像内のオブジェクトが既知のオブジェクトとして同定され得る。

形状の幾何学特性への完全な一致が常に生じるとは限らず、いくつかの形状同定技術は、不必要に計算集約的となり得ることに留意されたい。したがって、本発明の例示的実施形態は、信頼係数を利用することにより、同定された特色が、画像内のオブジェクトを積極的に同定する程にオブジェクトの既知の特色に十分に近似しているか否かを決定してもよい。一例示的実施形態によると、信頼性が閾値を満たさない場合、オブジェクト同定モジュール１３は、ＨＯＧ等のオブジェクトを同定するより精密な方法を使用するであろう。さらに、オブジェクト同定モジュール１３は、オブジェクトを同定する異なる方法に優先度を割り当て、結果が、信頼性レベルを充足するまで、各方法に従って、同定を試みてもよい。そのような信頼性レベルは、自動的に提供されるか、またはユーザによって提供されてもよい。

リスト生成モジュール１４は、画像処理モジュール１０から出力するためのオブジェクトリストを生成する（Ｓ．４５）。オブジェクトリストは、限定されないが、オブジェクトのリストまたは画像の輪郭マップを含んでもよい。一例示的実施形態では、オブジェクトリストは、事後処理活動のために有用である、列挙されたオブジェクトの付加的な位置情報を含んでもよい。

図１２は、オブジェクトである八角形２１、正方形２２、円形２３、および三角形２４を有する画像２０を例示する。八角形２１は、八角形２１内に含有される領域が黒色であり、そのエッジが低強度黒色から高強度白色への強度変換によって画定されるので、その背景からの輝度にコントラストを有する。画像２０全体が、画像処理モジュール１０に入力され、各画像のピクセルに対して、エッジ検出および分類モジュール１１は、ｍ×ｎ行列または一連のｍ×ｎ行列内に編成される角度指数行列を生成する。

オブジェクト分解モジュール１２は、角度指数情報のｍ×ｎ行列を受け取り、同定のための離散オブジェクト、すなわち、４つの形状と関連するグループに種々の検出されたエッジおよび関連付けられた角度を分解する。したがって、図１３を参照すると、八角形２１に対して、４つのエッジ、２５、２６、２７、および２８が例示される。エッジ２５に対して、エッジ検出および分類モジュール１１は、エッジ２５−２８に沿ってピクセルの強度関数の二次導関数を使用して、エッジを同定し、およびより長いエッジ２５を形成するピクセル内の各エッジに対して角度指数情報を生成する。エッジ２５を形成するピクセル内のエッジのそれぞれに対して、水平勾配にわたってゼロ交差は存在せず、したがって、Ｐｉｘｅｌ（ｒ，ｃ）に対するＨ行列エントリにコード「００」が投入される。垂直勾配に対して、白色「＋」から黒色「−」への遷移は、０°方向と関連付けられ、したがって、Ｐｉｘｅｌ（ｒ，ｃ）に対するＶ行列エントリにコード「０１」が投入される。したがって、Ｖ（ｒ，ｃ）＝「０１」およびＶ（ｒ，ｃ＋１）＝「０１」であるので、Ｐｉｘｅｌ（ｒ，ｃ）に対する角度指数行列エントリに、０°に対応する「１０００」が投入される。これは、Ｐｉｘｅｌ（ｒ，ｃ）におけるエッジが、Ｐｉｘｅｌ（ｒ，ｃ＋１）内のエッジ、言い換えると、０°方向におけるピクセル内のエッジに接続されるべきであることを示す。

エッジ２６に対して、二次導関数の出力が、エッジ検出および分類モジュール１１に入力され、図５−９に関して前述されたアルゴリズムを使用して、エッジ２６を形成する各ピクセルのための角度指数情報を生成する。エッジ２６を形成するピクセルのそれぞれに対して、垂直勾配にわたってゼロ交差は存在せず、したがって、Ｐｉｘｅｌ（ｒ，ｃ）に対するＶ行列エントリにコード「００」が投入される。水平勾配に対して、白色「−」から黒色「＋」への遷移は、−９０°と関連付けられ、したがって、Ｐｉｘｅｌ（ｒ，ｃ）に対するＨ行列エントリに、コード「１０」が投入される。したがって、Ｈ（ｒ，ｃ）＝「１０」およびＨ（ｒ＋ｌ、ｃ）＝「１０」であるので、Ｐｉｘｅｌ（ｒ，ｃ）に対する角度指数行列エントリに、−９０°に対応するコード「１１１０」が投入される。これは、Ｐｉｘｅｌ（ｒ，ｃ）が、Ｐｉｘｅｌ（ｒ＋１，ｃ）内のエッジ、言い換えると、−９０°方向におけるピクセル内のエッジに接続されるべきであることを示す。

エッジ２７および２８に対して、遷移は、それぞれ、エッジ２５および２６の反対であって、したがって、方向情報もまた、反対であり、すなわち、それぞれ、１８０°および９０°である。したがって、エッジ２７および２８に関して投入される角度指数は、それぞれ、「１１００」および「１０１０」である。八角形２１は、８つの辺を有するので、他の４つのエッジと関連付けられる付加的角度が存在するが、そのエッジオリエンテーション情報の決定は、本実施例の簡潔性のために省略される。

エッジおよびエッジオリエンテーションが、画像２０内のエッジすべてに対して分類された後に、オブジェクト分解モジュール１２は、角度指数情報に従って、情報を異なるグループに分解する。したがって、角度指数情報は、八角形２１、正方形２２、円形２３、および三角形２４に対応するグループに分解される。

角度指数情報の各分解されたグループに対して、オブジェクト同定モジュール１３は、特定のオブジェクトを同定する。したがって、オブジェクト同定モジュール１３は、図１３に図示される検出されたエッジと関連付けられた角度の分布から、「八角形」として八角形２１を同定する。最後に、リスト生成モジュール１５は、画像２０内において同定されたオブジェクトのリストを出力する。特に、リストは、八角形２１、正方形２２、円形２３、および三角形２４から成る。

この例示は、八角形、正方形、円形、および三角形を含んだが、それらは、画像処理デバイス１０が、同定可能な唯一の形状ではない。各画像内のオブジェクトの角度の分布を使用して、画像処理デバイス１０はまた、他の形状、文字、数字、記号、およびそれ以外をも同定可能である。

（交通標識の同定）
図１４から１７は、本発明の別の例示的実施形態を例示する。図１４は、本発明の例示的実施形態による交通情報認識モジュール４０である。交通情報認識モジュール４０は、エッジ検出および分類モジュール４１と、オブジェクト分解モジュール４２と、交通情報同定モジュール４３と、交通情報報告生成モジュール４４とを含む。

交通情報認識モジュール４０は、乗用車等の車両またはバス等の公共交通車両内に全体的に組み込まれ得る。代替として、交通情報認識モジュール４０は、無線、衛星、あるいは電話回線、光ファイバケーブル、または他の長距離データ搬送波等の通信網によって伝送される交通画像を受信する、例えば、交通監視局に、遠隔に位置してもよい。

図１５は、交通情報認識モジュール４０の例示的動作を例示する。最初に、交通画像が、交通情報認識モジュール４０に入力される（Ｓ．５０）。交通画像は、限定されないが、デジタルピクチャであってもよい。交通画像は、限定されないが、．ｔｉｆ、．ｊｐｅｇ、．ｐｄｆ、．ｂｍｐ、．ｇｉｆ、．ｒａｗ、．ｐｐｍ、．ｓｖｇ、または別のフォーマットであってもよい。交通画像内の各ピクセルに対して、エッジ検出および分類モジュール４１は、強度関数の二次導関数を利用して、画像内のエッジ（Ｓ．５１）および各エッジに対するエッジオリエンテーション情報（角度指数情報の形態において）を同定する（Ｓ．５２）。次に、エッジ検出および分類モジュール４１からの角度指数情報が、オブジェクト分解モジュール４２に入力され、交通画像内の別個のオブジェクトに対応するグループに情報を分解する（Ｓ．５３）。次に、交通情報同定モジュール４３は、分解されたエッジおよび角度指数情報を利用して、画像内のオブジェクトを同定する（Ｓ．５４）。最後に、交通情報報告生成モジュール４４は、交通情報報告を生成する（Ｓ．５５）。交通情報報告は、限定されないが、ユーザのニーズに応じて、テキストファイル、ワードプロセッシング文書、画像、メタデータ内に埋め込まれたテキスト情報を有する画像、データベースファイル、それらの組み合わせ、またはよりロバストなデータファイルであってもよい。

同定された交通情報は、限定されないが、交通標識の種類、速度制限情報、緊急情報、優先順位情報、特殊規制情報、方位情報、路線標識、道路および路線識別情報、アトラクション情報、商業情報（例えば、近隣商業および小売センターの名称）、および地理情報を含んでもよい。

図１６は、交通情報認識モジュール４０によって処理可能である交通標識６１を含む、交通画像６０を例示する。交通標識６１は、実質的に、円形の形状である。交通標識６１に印刷されているのは、別の円形であって、円形内に数字「６」および「０」（例えば、６０ｋｍ／ｈ）がある。これらの形状はそれぞれ、交通情報認識モジュール４０によって分解可能かつ認識可能であって、図１７に例示される。ここで、交通情報認識モジュール４０は、図１５に例示される方法に従って、４つのオブジェクト、６２、６３、６４、および６５を同定する。

図１８は、交通標識６１内において同定されたオブジェクトに対して導出されたエッジオリエンテーションを例示する輪郭マップ７０である。図から分かるように、輪郭マップ７０は、同定された４つのオブジェクト、６２、６３、６４、および６５のための角度指数情報を含む。

オブジェクト６１は、交通標識６１の形状、円形である。前述の種々の形状同定方法（ＨＯＧ、状態法等）を使用して、交通情報同定モジュール４３は、オブジェクト６１の円形形状を同定し、これを制限速度標識として認識する。オブジェクト２１を速度標識として同定した後に、交通情報同定モジュール４３は、速度標識のためのプロトコルを実装し、オブジェクト６３−６５に対応する数字を含む、速度標識上のそれらのオブジェクトを同定する。速度標識上のオブジェクトは、前述の方法（ＨＯＧ、状態法等）を使用して同定されてもよい。それらの方法は、単純オブジェクトに限定されず、同様に、数字、文字、および図を同定するために使用されてもよい。また、他の方法と併用して、同定の信頼性を向上させてもよい。

世界の異なる領域では、道路標識に対して異なる標準的形状を使用する。例えば、インドおよびヨーロッパでは、制限速度は、円形形状の標識上に表示されるが、米国では、長方形形状の標識上に表示される。本発明の例示的実施形態は、世界の特定の領域に従う道路標識と一致するためのエッジオリエンテーションの分布または既知の標識情報を記憶するデータベースを使用してもよい。一実施形態では、交通情報認識モジュール４０は、交通情報認識モジュール４０が搭載された車両の場所を決定するために、全地球測位装置または他の場所同定デバイスと通信する。全地球測位装置または他の場所同定デバイスは、交通情報認識モジュール４０に、交通情報認識モジュール４０が地理的に適切なエッジオリエンテーション分布情報をロードし得るように、車両が進行している地理領域を提供する。別の実施形態では、交通情報認識モジュール４０は、領域専用であって、エッジオリエンテーションの分布または特定の領域に対する既知の標識情報のみ含む。別の実施形態では、交通情報認識モジュール４０は、車両から遠隔の、例えば、交通管理センターにある。本例示的実施形態では、交通情報認識モジュール４０は、画像または画像を伝送する信号内に埋め込まれた場所情報を受信してもよい。当業者は、場所情報を収集および記憶するための代替例を認識するであろう。

本例示的実施形態は、交通画像を処理して、交通標識を同定するステップを説明するが、本発明は、そのように限定されない。また、限定されないが、道路上のマーカ（例えば、車線境界線または横断歩道）、歩行者、または他の車両を同定するために使用され得る。

（テキスト認識）
図１９から２１は、本発明の別の例示的実施形態を例示する。本例示的実施形態では、図４から９に説明された画像処理は、テキスト認識モジュール８０内に組み込まれる。前述のエッジ検出／エッジオリエンテーション分類アルゴリズムは、特にテキスト認識に好適であり、その理由は、オブジェクトをセグメント化し、文字および数字と関連付けられたエッジオリエンテーションの独特の分布を同定するためのアルゴリズムの能力があるからである。

テキスト認識モジュール８０は、エッジ検出および分類モジュール８１と、テキスト分解モジュール８２と、テキスト同定モジュール８３と、デジタル化テキスト生成モジュール８４とを含む。エッジ同定モジュール８１は、エッジ検出モジュール８２と、方向分類モジュール８２とを含む。

図２０は、テキスト認識モジュール８０の例示的動作を例示する。最初に、テキストの画像が、テキスト認識モジュール８０に入力される（Ｓ．６０）。テキスト画像は、限定されないが、デジタルピクチャまたは書籍からスキャンされた画像であってもよい。テキスト画像は、限定されないが、．ｔｉｆ、．ｊｐｅｇ、．ｐｄｆ、．ｂｍｐ、．ｇｉｆ、．ｒａｗ、．ｐｐｍ、．ｓｖｇ、または別のフォーマットであってもよい。テキスト画像内の各ピクセルに対して、エッジ検出および分類モジュール８１は、強度関数の二次導関数を利用してエッジを同定し（Ｓ．６１）、テキスト画像のピクセル内で同定された各エッジに対してエッジオリエンテーション情報を同定する（Ｓ．６２）。次に、テキスト分解モジュール８２は、エッジ角度指数情報を使用して、テキストの単位（例えば、個々の文字、数字、および記号）に対応するグループに角度指数情報を分解する（Ｓ．６３）。次に、テキスト同定モジュール８３は、分解されたエッジ検出情報および角度指数情報を利用して、個々のテキストの単位を同定する（Ｓ．６４）。最後に、デジタル化テキスト生成モジュール８４は、同定されたテキストから成るデジタル化されたテキストを生成する（Ｓ．６５）。デジタル化テキストは、限定されないが、ユーザのニーズに応じて、テキストファイル、ワードプロセッシング文書、メタデータ内に埋め込まれたテキスト情報を有する画像、またはよりロバストなデータファイルであってもよい。

図２１は、本発明の例示的実施形態によるテキスト画像９０を例示する。テキスト画像９０は、文字Ａ９１、Ｂ９２、Ｃ９３、Ｄ９４、およびＥ９５から成る。テキスト画像９０は、テキスト認識モジュール８０に入力される。テキスト画像９０の各ピクセルに対して、エッジ検出および分類モジュール８１は、強度関数の二次導関数を利用して文字によって形成されるエッジならびにエッジオリエンテーションを同定する。各エッジに対して、エッジ検出および分類モジュール８１は、図４から９に関連して説明されたアルゴリズムを利用して角度指数情報を生成する。図２２は、文字Ａ９１だけと関連付けられた角度指数情報を例示する輪郭マップである。角度指数情報は、画像９０内のエッジすべてに対して決定され、テキスト分解モジュール８２は、テキスト画像９０内の４つの文字に対応するグループに角度指数情報を分解する。テキスト同定モジュール８３は、角度指数情報を利用して、文字のそれぞれに対するエッジオリエンテーションの独特の分布に基づいて、テキスト画像９０内の文字を同定する。図２２に例示される文字Ａの実施例では、文字「Ａ」の角度指数情報の独特の分布は、テキスト画像９０の文字Ａ９１における角度指数情報の分布に適合される。最後に、デジタル化テキスト生成モジュール８６は、同定された文字「Α」、「Β」、「Ｃ、「Ｄ」、および「Ε」から成るデジタル化テキストを生成する。前述のように、文字、数字、および記号を同定する方法は、ＨＯＧ、状態法等を含む。

前述のオブジェクト／形状同定、交通情報、およびテキスト認識の実施形態は、本発明の用途のすべてを包含するわけではない。実践的使用として、画像処理を伴うあらゆるものを含む。例えば、本発明はまた、ビデオまたは画像編集、特に、画像またはビデオのフレームからオブジェクトを除去する際に有用である。ユーザは、画像内のオブジェクトまたはフレームを大ざっぱに選択し、除去してもよい。ツールは、次いで、前述のエッジ検出およびオリエンテーションアルゴリズムに従って、ユーザによって画定される領域内のオブジェクトの境界を精密に同定してもよい。画像編集ツールは、次いで、既知の方法に従って、輪郭マップ内に同定されたピクセルからエッジを排除するか、またはさらに、検出されたエッジによって画定される近接領域内のすべてを排除（または、変更）することができる。明らかに、本発明に対して多くの用途が存在する。

例示的実施形態は、画像を処理するステップとして説明されるが、前述の用途は、それを処理する前に、画像またはビデオフレーム全体をロードすることに限定されない。代わりに、画像の一部が、本発明に従う方式において処理されてもよい。画像が捕捉され、デジタルファイルに処理されることに伴って、すなわち、デジタル画像ファイルが作成されることに伴って、本発明に従う方法を使用して処理されてもよい。行毎、列毎、またはさらにピクセル毎に、エッジおよびエッジオリエンテーションが、検出および分類されてもよい。これは、画像が最初に作成されることに伴ってリアルタイムで画像を処理する能力を大幅に向上させる。デジタルカメラは、例えば、カメラ内の画像処理ユニットに対する別個のモジュールまたはコプロセッサとして、本発明に従うオブジェクト同定モジュールを含んでもよい。画像が捕捉および処理されることに伴って、オブジェクト同定モジュールは、画像ファイルと関連付けられた別個のファイルとして記憶するか、またはメタデータとして画像ファイルに追加することができ、および、例えば、画像編集によって使用され得る輪郭マップまたはオブジェクトリストを生成してもよい。

例示的実施形態は、ピクセル毎に動作するように説明されている。本発明は、そのように限定されない。例えば、当業者は、前述のアルゴリズムが、下位ピクセルまたはピクセルのマクロブロックにも等しく適用可能であることを理解するであろう。粒度のレベルは、ユーザのニーズに従ってスケーラブルである。

用語「モジュール」、「関数」、および「アルゴリズム」は、本明細書で使用されるように、あるタスクを行うソフトウェアまたはハードウェア構成要素を意味するが、それらに限定されない。モジュールは、有利には、アドレス可能ストレージ媒体上に常駐するように構成され、１つ以上のプロセッサ上で実行するように構成されてもよい。モジュールは、全体的または部分的に汎用集積回路（ＩＣ）、コプロセッサ、ＦＰＧＡ、またはＡＳＩＣによって実装されてもよい。したがって、モジュールは、一例として、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラスライブラリ、クラス構成要素およびタスク構成要素、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数等の構成要素を含んでもよい。構成要素およびモジュール内に提供される機能性は、より少ない構成要素およびモジュールに組み合わせられて、またはさらに付加的構成要素およびモジュールに分離されてもよい。

加えて、構成要素およびモジュールは、有利には、コンピュータ、コンピュータサーバ、アプリケーション対応スイッチまたはルータ等のデータ通信インフラストラクチャ機器、もしくは公衆または私設電話交換機あるいは構内電話交換機（ＰＢＸ）等の電気通信インフラストラクチャ機器を含む多くの異なるプラットフォームに実装されてもよい。これらの場合のいずれにおいても、実装は、選択されたプラットフォームにネイティブなアプリケーションを書き込むことによって、またはプラットフォームを１つ以上の外部アプリケーションエンジンとインターフェースすることによって達成されてもよい。

本発明のある例示的実施形態が前述された。しかしながら、本発明が、それらの実施形態に限定されず、本明細書に明示的に説明されたものへの追加および修正もまた、発明の範囲内に含まれることが意図されることに、明示的に留意されたい。さらに、本明細書に説明される種々の実施形態の特徴は、相互に排他的ではなく、本明細書に明示されない場合でも、発明の精神および範囲から逸脱することなく、種々の組み合わせおよび順列で存在することができることを理解されたい。実際、本明細書に説明されたものの変形例、修正、および他の実装は、発明の精神および範囲から逸脱することなく、当業者に想起されるであろう。したがって、本発明は、先行する例示的説明によってのみ定義さるわけではない。

図４、５、８、９、１１、１５、および２０によって例示される各例示的動作、ならびに付随の文章は、特定の順序で行われるステップを列挙するが、本発明の実施形態は、必ずしも、その列挙された順序で動作する必要はない。当業者は、異なる順序でステップを行うことを含め、多くの変形例を認識するであろう。

前述のように、図４、５、８−１１、１４、１５、１９、２０に示されるモジュール、アルゴリズム、およびシステムは、コンピュータシステムを組み込む、またはその中に組み込まれてもよい。また、前述のように、画像処理モジュール１０、交通標識同定システム３０、およびテキスト認識モジュール８０は、コンピュータによって実行されるプログラムモジュール等、コンピュータ実行可能命令の一般的コンテキスト内に記述されてもよい。概して、プログラムモジュールは、特定のタスクを行うか、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。

当業者は、本発明が、携帯電話またはＰＤＡ等の携帯無線デバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル消費者電子機器、ミニコンピュータ、メインフレームコンピュータ等を含む、種々のコンピュータシステム構成で実践されてもよいことを理解するであろう。本発明はまた、タスクが、通信ネットワークを介してリンクされる遠隔処理デバイスによって実行される分散型コンピューティング環境内において実践されてもよい。分散型コンピューティング環境において、プログラムモジュールは、メモリストレージデバイスを含むローカルおよび遠隔コンピュータストレージ媒体の両方の中に位置してもよい。

コンピュータシステムは、処理ユニット、システムメモリ、ならびにシステムメモリを含む種々のシステム構成要素を処理ユニットに連結するシステムバスを含む、コンピュータの形態の汎用コンピューティングデバイスを含んでもよい。

コンピュータは、一般的には、システムメモリの一部を形成し、処理ユニットによって読み取ることができる種々のコンピュータ可読媒体を含む。一例として、限定されないが、コンピュータ可読媒体は、コンピュータストレージ媒体および通信媒体を備えてもよい。システムメモリは、読取専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）等、揮発性および／または不揮発性メモリの形態におけるコンピュータストレージ媒体を含んでもよい。起動の際等に要素間の情報の転送を支援する基本的ルーチンを含有する基本的入力／出力システム（ＢＩＯＳ）は、一般的には、ＲＯＭ内に記憶される。ＲＡＭは、一般的には、処理ユニットに直接にアクセス可能であって、および／またはそれによって、現在動作されているデータおよび／またはプログラムモジュールを含有する。データまたはプログラムモジュールは、オペレーティングシステム、アプリケーションプログラム、他のプログラムモジュール、およびプログラムデータを含んでもよい。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ｕｎｉｘ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｘｅｎｉｘオペレーティングシステム、ＩＢＭ ＡＩＸ^ＴＭオペレーティングシステム、Ｈｅｗｌｅｔｔ Ｐａｃｋａｒｄ ＵＸ^ＴＭオペレーティングシステム、Ｎｏｖｅｌｌ Ｎｅｔｗａｒｅ^ＴＭオペレーティングシステム、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ Ｓｏｌａｒｉｓ^ＴＭオペレーティングシステム、ＯＳ／２^ＴＭオペレーティングシステム、ＢｅＯＳ^ＴＭオペレーティングシステム、Ｍａｃｉｎｔｏｓｈ^ＴＭ（登録商標）オペレーティングシステム、Ａｐａｃｈｅ^ＴＭオペレーティングシステム、ＡＳ／４００系オペレーティングシステム、ＯｐｅｎＳｔｅｐ^ＴＭオペレーティングシステム、またはプラットフォームの別のオペレーティングシステム等の種々のオペレーティングシステムであってもよく、またはそれを含んでもよい。

最低でも、メモリは、恒久的または一時的に記憶される少なくとも一式の命令を含む。プロセッサは、データを処理するために記憶された命令を実行する。一式の命令は、添付の流れ図に示されるもの等、特定のタスクまたは複数のタスクを行う種々の命令を含んでもよい。特定のタスクを行うためのそのような一式の命令は、プログラム、ソフトウェアプログラム、ソフトウェア、エンジン、モジュール、構成要素、機構、またはツールとして特徴付けられてもよい。本発明が埋め込まれるコンピュータシステムは、前述のように、メモリ内に記憶され、本明細書に説明される様式において、プロセッサ上で実行される複数のソフトウェア処理モジュールを含んでもよい。プログラムモジュールは、機械語またはオブジェクトコードに変換され、プロセッサまたは複数のプロセッサに、命令を読み取らせる任意の好適なプログラミング言語の形態であってもよい。すなわち、特定のプログラミング言語における、プログラミングコードまたはソースコードの書かれたラインは、コンパイラ、アセンブラ、またはインタプリタを使用して、機械語に変換されてもよい。機械語は、特定のコンピュータに専用のバイナリコード化された機械命令であってもよい。

任意の好適なプログラミング言語が、本発明の種々の実施形態に従って、使用されてもよい。例示として、使用されるプログラミング言語は、例えば、アセンブリ言語、Ａｄａ、ＡＰＬ、Ｂａｓｉｃ、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ｄＢａｓｅ、Ｆｏｒｔｈ、ＦＯＲＴＲＡＮ、Ｊａｖａ（登録商標）、Ｍｏｄｕｌａ−２、Ｐａｓｃａｌ、Ｐｒｏｌｏｇ、ＲＥＸＸ、および／またはＪａｖａ（登録商標）Ｓｃｒｉｐｔを含んでもよい。さらに、単一タイプの命令またはプログラミング言語が、本発明のシステムおよび方法の動作と併用される必要はない。むしろ、任意の数の異なるプログラミング言語が、必要または所望に応じて利用されてもよい。

また、本発明の実践において使用される命令および／またはデータは、所望に応じて、任意の圧縮または暗号化技術またはアルゴリズムを利用してもよい。暗号化モジュールは、データを暗号化するために使用される場合がある。さらに、ファイルまたは他のデータは、好適な解読モジュールを使用して解読されてもよい。圧縮アルゴリズムは、汎用プロセッサによって実行されるソフトウェア内の一連の命令であってもよく、またはハードウェア内、例えば、圧縮専用コプロセッサ内で実行されてもよい。圧縮アルゴリズムは、当技術分野において周知であるが、可逆および不可逆圧縮を含む。可逆圧縮アルゴリズムは、Ｌｅｍｐｅｌ−Ｚｉｖ Ｗｅｌｃｈ（ＬＺＷ）、Ｌｅｍｐｅｌ−Ｚｉｖ１から７、算術符号化、Ｈｕｆｆｍａｎ符号化、それらの組み合わせ（例えば、Ｄｅｆｌａｔｅ）、または任意の他の可逆符号化アルゴリズムを含んでもよい。不可逆圧縮アルゴリズムは、ＭＰＥＧ１から４、ＭＰ３、ＭＰ４を含んでもよい。Ｇｚｉｐ^ＴＭ、ＷｉｎＺｉｐ^ＴＭ、ＦＺｉｐ、ＤｉｖＸ、ＦＡＣＣ、または任意の他の市販の圧縮ソフトウェアを含む市販の圧縮ソフトウェアが利用されてもよい。

コンピューティング環境はまた、他の着脱可能／着脱不可能、揮発性／不揮発性コンピュータストレージ媒体を含んでもよい。例えば、ハードディスクドライブは、着脱不可能不揮発性磁気媒体を読み取るか、またはそれに書き込んでもよい。磁気ディスクドライブは、着脱可能不揮発性磁気ディスクから読み取るか、またはそれに書き込んでもよく、光学ディスクドライブは、ＣＤ ＲＯＭまたは他の光学媒体等の着脱可能不揮発性光学ディスクから読み取るか、またはそれに書き込んでもよい。例示的オペレーティング環境内において使用することができる他の着脱可能／着脱不可能、揮発性／不揮発性コンピュータストレージ媒体として、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭ等が挙げられるが、それらに限定されない。ストレージ媒体は、一般的には、着脱可能または着脱不可能メモリインターフェースを介してシステムバスに接続される。

コマンドおよび命令を実行する処理ユニットは、汎用コンピュータであってもよいが、特殊コンピュータ、マイクロコンピュータ、ミニコンピュータ、メインフレームコンピュータ、プログラムされたマイクロプロセッサ、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（顧客専用集積回路）、ＡＳＩＣ（特定用途向け集積回路）、論理回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）等のプログラマブル論理デバイス、ＲＦＩＤ集積回路、スマートチップ、あるいは本発明のプロセスのステップを実装可能な任意の他のデバイスまたはデバイスの配設を含む、種々の他の技術のうちのいずれかを利用してもよい。

コンピュータシステムのプロセッサおよび／またはメモリは、同一の場所に物理的に存在する必要がないことを理解されたい。コンピュータシステムによって使用されるプロセッサのそれぞれおよびメモリのそれぞれは、地理的に異なる場所にあって、任意の好適な様式において相互に通信するように接続されてもよい。加えて、プロセッサおよび／またはメモリのそれぞれは、異なる物理的機器部分から構成されてもよいことを理解されたい。

ユーザは、一般的にマウス、トラックボール、またはタッチパッドと称されるキーボードおよびポインティングデバイス等の入力デバイスを含むユーザインターフェースを介して、コンピュータにコマンドおよび情報を入力してもよい。他の入力デバイスとして、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、音声認識デバイス、キーボード、タッチスクリーン、トグルスイッチ、プッシュボタン等を含んでもよい。これらおよび他の入力デバイスは、多くの場合、システムバスに連結されるユーザ入力インターフェースを介して処理ユニットに接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェースおよびバス構造によって接続されてもよい。

さらに、メモリは、コンピュータの内外に配設されてもよい。例えば、ネットワークにおいて、システムメモリは、ネットワーク接続ストレージ（ＮＡＳ）等のストレージおよびファイルシステムの両方を提供する分散型ストレージシステム、またはストレージエリアネットワーク（ＳＡＮ）等のストレージのみ提供する分散型ストレージシステムを含んでもよい（または、その一部であってもよい）。ＮＡＳの場合、限定されないが、ＦｒｅｅＮＡＳ^ＴＭ、ＮＡＳｉｔｅ^ＴＭ、およびＮｅｘｅｎｔａＳｔｏｒ^ＴＭを含むファイル管理サービス対応ソフトウェアを含んでもよい。ＮＡＳは、論理冗長ストレージコンテナまたはＲＡＩＤアレイ内に配設される１つ以上のハードディスクを含有してもよい。ＮＡＳは、限定されないが、Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＮＦＳ）、Ｗｉｎｄｏｗｓ（登録商標）ＮＴ^ＴＭ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＮＴＦＳ）、Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ（ＦＡＴ）、Ｓｅｒｖｅｒ Ｍｅｓｓａｇｅ Ｂｌｏｃｋ／Ｃｏｍｍｏｎ Ｉｎｔｅｒｎｅｔ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＳＭＢ／ＣＩＦＳ）、または Ａｐｐｌｅ Ｆｉｌｌｉｎｇ Ｐｒｏｔｏｃｏｌ（ＡＦＰ）を含む１つ以上のファイルベースプロトコルを利用してもよい。

ＳＡＮの場合、限定されないが、ＳＣＳＩプロトコル、ＨｙｐｅｒＳＣＳＣＩプロトコル、ｉＳＣＳＩプロトコル、ＡＴＡ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標）、Ｆｉｂｒｅ ｃｈａｎｎｅｌ Ｐｒｏｔｏｃｏｌ、およびＦｉｂｒｅ Ｃｈａｎｎｅｌ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標）を含む、サーバとストレージとの間で通信するための任意の数のプロトコルを使用してもよい。

システムメモリ上に記憶される情報は、データベース内に記憶されてもよい。限定されないが、行指向データ記憶アーキテクチャ、列ベースのデータベース管理システム、拡張マークアップ言語、知識ベース、フレームデータベース、またはそれらの組み合わせを含むデータベースの特定のアーキテクチャは、独特のタイプのデータ、データのアクセスモード、またはデータベース内に記憶されるデータの意図された使用に従って、可変であってもよい。データベース管理システム（ＤＢＭＳ）は、本システムの具体的要件のために調整されるデータベース内のデータのストレージを編成してもよい。ＤＢＭＳは、限定されないが、構造化クエリ言語（ＳＱＬ）を含む任意の数のクエリ言語を使用して、データベースにアクセスしてもよい。

データベースは、単一コンピュータ内の単一ストレージデバイス、単一コンピュータ内の複数のストレージデバイス、または複数のコンピュータにわたる複数のストレージデバイス内に常駐してもよい。

１つ以上のモニタまたはディスプレイデバイスはまた、インターフェースを介してシステムバスに接続されてもよい。ディスプレイデバイスに加え、コンピュータはまた、出力周辺インターフェースを介して接続され得る他の周辺出力デバイスを含んでもよい。本発明を実装するコンピュータは、１つ以上の遠隔コンピュータ（遠隔コンピュータは、一般的には、前述の要素の多くまたは全部を含む）への論理接続を使用して、ネットワーク環境内において動作してもよい。

有線または無線ローカルエリアネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）、無線パーソナルエリアネットワーク（ＰＡＮ）ならびに他のタイプのネットワークを含む種々のネットワークが、本発明の実施形態に従って実装されてもよい。ＬＡＮネットワーク環境内で使用されるとき、コンピュータは、ネットワークインターフェースまたはアダプタを介してＬＡＮに接続されてもよい。ＷＡＮネットワーク環境内で使用されるとき、コンピュータは、一般的には、モデムまたは他の通信機構を含む。モデムは、内部または外部にあってもよく、ユーザ入力インターフェースまたは他の適切な機構を介してシステムバスに接続されてもよい。コンピュータは、通信を提供するインターネット、イントラネット、エクストラネット、イーサネット（登録商標）、または任意の他のシステムを介して接続されてもよい。このシステムは、限定されないが、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ（ＵＤＰ）、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ（ＴＣＰ）、Ｖｅｎｔｕｒｉ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＶＴＰ）、Ｄａｔａｇｒａｍ Ｃｏｎｇｅｓｔｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ（ＤＣＣＰ）、Ｆｉｂｒｅ Ｃｈａｎｎｅｌ Ｐｒｏｔｏｃｏｌ（ＦＣＰ）、Ｓｔｒｅａｍ Ｃｏｎｔｒｏｌ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｐｒｏｔｏｃｏｌ（ＳＣＴＰ）、Ｒｅｌｉａｂｌｅ Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ（ＲＵＤＰ）、およびＲｅｓｏｕｒｃｅ ＲｅＳｅｒＶａｔｉｏｎ Ｐｒｏｔｏｃｏｌ（ＲＳＶＰ）を含む、任意の数のトランスポートプロトコルを利用してもよい。無線通信のために、通信プロトコルは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＩｒＤａ、または他の好適なプロトコルを含んでもよい。さらに、システムの構成要素は、有線または無線パスの組み合わせを通して、通信してもよい。

コンピュータの多くの他の内部構成要素は図示されないが、当業者は、そのような構成要素および相互接続が、周知であることを理解するであろう。故に、コンピュータの内部構造に関する付加的な詳細は、本発明に関連して開示される必要はない。

Claims (14)

1. エッジ検出および分類モジュールを含む画像処理デバイスであって、該エッジ検出および分類モジュールは、画像の強度勾配の変化から該画像の中のエッジおよびエッジオリエンテーションを検出し、該検出されたエッジのオリエンテーションは、ピクセル毎に同定され、
   該エッジ検出および分類モジュールは、複数のピクセルにおける複数のエッジを同定することと、該複数のピクセルにおける各エッジに対して角度指数情報を生成することとを行うように構成されており、
   該エッジ検出および分類モジュールは、１つのピクセルのエッジオリエンテーションを、該１つのピクセルの水平方向の勾配および垂直方向の勾配に沿って別個に同定された強度の変化と、隣接するエッジピクセルの強度勾配の変化に由来する、該隣接するエッジピクセルの水平方向の勾配および垂直方向の勾配に沿って別個に同定された強度の変化とに基づいて同定し、
   該角度指数情報は、１つのピクセルのエッジオリエンテーションと隣接するエッジピクセルのエッジオリエンテーションとに基づいて生成され、
   該エッジ検出および分類モジュールは、該画像の中のオブジェクトの輪郭の少なくとも一部を形成するために、該角度指数情報に基づいて接続されるべき、該複数のピクセルのうちの１つのピクセルのエッジと該複数のピクセルのうちの別の１つのピクセルにおけるエッジとを決定するように構成されている、画像処理デバイス。
2. 前記エッジ検出および分類モジュールは、前記検出されたエッジのオリエンテーションを、所定の角度マスクに基づいて同定する、請求項１に記載の画像処理デバイス。
3. 前記エッジ検出および分類モジュールは、前記画像の中のすべてのピクセルに対するエッジ情報を検出し、オリエンテーション分類モジュールは、該画像の中のすべてのピクセルに対する該検出されたエッジ情報のオリエンテーションを検出する、請求項１に記載の画像処理デバイス。
4. オブジェクト分解モジュールをさらに含み、該オブジェクト分解モジュールは、前記画像の中の特定のオブジェクトに従って、前記検出されたエッジ情報およびエッジオリエンテーション情報を分解する、請求項１に記載の画像処理デバイス。
5. オブジェクト同定モジュールをさらに含み、該オブジェクト同定モジュールは、前記画像の中の前記特定のオブジェクトを、前記分解された検出されたエッジ情報およびエッジオリエンテーション情報に基づいて同定する、請求項４に記載の画像処理デバイス。
6. ピクセル毎に画像のピクセルにおけるエッジのオリエンテーションを検出する方法であって、該方法は、
   １つのピクセルの強度勾配の変化を決定することと、
   複数の周囲のピクセルの強度勾配の変化を決定することと、
   該１つのピクセルの強度勾配の変化および該複数の周囲のピクセルの強度勾配の変化を水平方向の成分および垂直方向の成分に分離することと、
   該１つのピクセルにおけるエッジのオリエンテーションを、該１つのピクセルおよび該複数の周囲のピクセルの該水平方向の成分および該垂直方向の成分に基づいて決定することであって、該決定することは、
   該エッジと該複数の周囲のピクセルにおける複数のエッジとを同定することと、
   該エッジと該複数の周囲のピクセルにおける各エッジとに対して角度指数情報を生成することであって、該角度指数情報は、各ピクセルおよび隣接するエッジピクセルの水平方向の成分および垂直方向の成分に基づいて生成される、ことと、
   該画像の中のオブジェクトの輪郭の少なくとも一部を形成するために、該角度指数情報に基づいて該１つのピクセルにおける該エッジに接続されるべき、該複数の周囲のピクセルのエッジを決定することと
   を含む、ことと
   を含む、方法。
7. 前記１つのピクセルおよび前記複数の周囲のピクセルの前記水平方向の成分および前記垂直方向の成分を角度マスクと比較することをさらに含む、請求項６に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
8. 閾値を下回る前記強度勾配の変化を有するピクセルを無視することをさらに含む、請求項６に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
9. 前記強度勾配の変化を有するが、ゼロ交差ではないピクセルを無視することをさらに含む、請求項６に記載の画像のピクセルにおけるエッジのオリエンテーションを検出する方法。
10. 交通情報認識デバイスであって、該交通情報認識デバイスは、
    エッジ検出および分類モジュールであって、該エッジ検出および分類モジュールは、交通画像の中のエッジおよびエッジオリエンテーションを、該交通画像の強度勾配の変化に基づいて検出し、該検出されたエッジのオリエンテーションは、ピクセル毎に同定され、該エッジ検出および分類モジュールは、複数のピクセルにおける複数のエッジを同定することと、該複数のピクセルにおける各エッジに対して角度指数情報を生成することとを行うように構成されており、
    該エッジ検出および分類モジュールは、１つのピクセルのエッジオリエンテーションを、該１つのピクセルの水平方向の勾配および垂直方向の勾配に沿って別個に同定された強度の変化と、隣接するエッジピクセルの強度勾配の変化に由来する、該隣接するエッジピクセルの水平方向の勾配および垂直方向の勾配に沿って別個に同定された強度の変化とに基づいて同定し、
    該角度指数情報は、１つのピクセルのエッジオリエンテーションと隣接するエッジピクセルのエッジオリエンテーションとに基づいて生成され、
    該エッジ検出および分類モジュールは、該画像の中のオブジェクトの輪郭の少なくとも一部を形成するために、該角度指数情報に基づいて接続されるべき、該複数のピクセルのうちの１つのピクセルのエッジと該複数のピクセルのうちの別の１つのピクセルのエッジとを決定するように構成されている、エッジ検出および分類モジュールと、
    交通情報同定モジュールであって、該交通情報同定モジュールは、該検出されたエッジおよびエッジオリエンテーション情報によって形成されるオブジェクトからの交通情報を同定する、交通情報同定モジュールと
    を含む、交通情報認識デバイス。
11. 前記交通画像は、交通標識のピクチャを含む、請求項１０に記載の交通情報認識デバイス。
12. 前記同定される交通情報は、交通標識の種類、速度制限情報、緊急情報、優先順位情報、特殊規制情報、方位情報、路線標識、道路および路線識別情報、アトラクション情報、商業情報、地理情報を含む、請求項１０に記載の交通情報認識デバイス。
13. オブジェクト分解モジュールをさらに含み、該オブジェクト分解モジュールは、前記交通画像の中の特定のオブジェクトに従って、前記検出されたエッジ情報およびエッジオリエンテーション情報を分解する、請求項１０に記載の交通情報認識デバイス。
14. 交通情報報告生成モジュールをさらに含み、該交通情報報告生成モジュールは、前記同定された交通情報を含む報告を生成する、請求項１０に記載の交通情報認識デバイス。