JP4746137B2 - カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム - Google Patents

カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム Download PDF

Info

Publication number
JP4746137B2
JP4746137B2 JP2009543394A JP2009543394A JP4746137B2 JP 4746137 B2 JP4746137 B2 JP 4746137B2 JP 2009543394 A JP2009543394 A JP 2009543394A JP 2009543394 A JP2009543394 A JP 2009543394A JP 4746137 B2 JP4746137 B2 JP 4746137B2
Authority
JP
Japan
Prior art keywords
image
arc
camera
identified
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009543394A
Other languages
English (en)
Other versions
JP2010515135A (ja
Inventor
フランク クレフェンツ
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2010515135A publication Critical patent/JP2010515135A/ja
Application granted granted Critical
Publication of JP4746137B2 publication Critical patent/JP4746137B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Description

本発明は、基本的に、カメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラムに関し、特に、ビデオで支援されるナビゲーションに関する。
技術面では、空間内の物体の位置を判定するための多数のコンセプトが知られている。
すなわち、例えば、１つまたは複数の無線信号に基づいて位置判定を可能にするナビゲーションシステムがある。例えば、ＧＰＳ位置判定システムは、複数の衛星からの信号を受信して処理することによって位置を判定することを可能にする。
更に、カメラによって記録された画像に基づいて位置が判定されるシステムが既に存在する。例えば、特許文献１は、モバイル情報端末の位置判定方法について記述している。位置判定のために、加入者のモバイル情報端末は、光学的記録装置によって、加入者が位置している環境の画像または画像シーケンスを記録する。記録手段によって記録された画像または画像シーケンスは、位置データと、モバイル情報端末および付随されたカメラのデバイス設定のためのデータと共に、位置およびナビゲーションのサーバに発信される。そこで受信されたデータおよび画像または画像シーケンスは、画像または画像シーケンスによって表される領域の正確な測定データから構成され、位置データが関連づけられている画像データベースの画像または画像シーケンスと比較される。画像比較のために、ビデオ監視から公知のアルゴリズムが用いられる。
記録画像と、画像データベースの画像および／または画像シーケンスとの比較は、画像パターン比較に基づいて実行される。ここで、好ましくは、ビデオおよび画像の監視から公知のアルゴリズムが用いられる。例えば、テキスト認識の方法が用いられ、通りの名称、家屋番号、または建物の名称が、画像情報から抽出される。画像パターン比較を用いて、画像データベースに格納された画像とのマッチが検出された場合に、オブザーバの位置が算出される。
独国特許出願公開第１０２４８５３４号
本発明の目的は、公知の先行技術に関して、特に効果的なおよび／または信頼性の高い位置判定が可能な、カメラ画像に基づいて位置を判定するコンセプトを提供することである。
この目的は、請求項１にかかるカメラ画像に基づいて位置を判定する装置、請求項２０にかかるカメラ画像に基づいて位置を判定する方法、および請求項２１にかかるコンピュータ・プログラムによって達成される。
本発明は、請求項１にかかるカメラ画像に基づいて位置を判定する装置を提供する。
弧およびまっすぐなストレッチ（訳注：一続きの直線）は、特に位置に関する特有の情報を含むので、カメラ画像において弧（円または楕円の弧）およびまっすぐなストレッチを、ハフ変換器によって識別することにより、特に効率的なおよび／または信頼性の高い方法で位置を判定できることは、本発明の中心思想である。
位置を判定する装置は、このように、識別された弧および識別されたまっすぐなストレッチに基づいて、識別された弧および識別されたまっすぐなストレッチをパラメータによって記述する位置記述を得るために実装される位置記述生成器を含む。カメラ画像のなかの検出された画像要素（弧およびまっすぐなストレッチ）に関する情報によって環境を記述する対応記述は、データベース比較器に供給することができ、データベース比較器は、位置記述を複数の比較用位置記述と比較し、比較の結果として位置に関する情報を得るように実装される。
発明の方法のスコープ内で、ハフ変換器の使用から特別な利点が結果として生じる。例えば、ハフ変換器は、画像要素が中断を備える場合であっても、特有の画像要素、すなわち、例えば円弧または楕円弧および画像を異なる方向に通過しているまっすぐなストレッチを検出することが、通常は可能である。しかるに、環境を表示しているカメラからのカメラ画像のなかで、例えば別の物体によって部分的に隠されていることによって、例えば道路のコースのような特有の線が連続的に見えないことは、まれではない。このように、例えば画像のなかで特に特有な線を表す路面標識は、部分的に汚れまたはほとんど見えないかも知れない。しかしながら、ハフ変換器に知られた比較用の線のコースに対応する線が少なくとも局所的にコースを表している場合は、ハフ変換器は、線が部分的に中断されている場合であっても、対応する線を識別することができる。従って、ハフ変換器は、不完全な画像要素を識別することも、全体として可能である。
それとは別に、発明の装置において、画像および／またはカメラ画像の内容は、基本要素、すなわちハフ変換器によって識別することができる画像要素に減縮されることに注意すべきである。ハフ変換器によって識別することができる特別な画像要素は、特に高い情報内容を有し、これにより、カメラによって提供されるカメラ画像の内容は、ハフ変換器によって識別される画像要素を記述する少ない数のパラメータによって特徴づけできることがわかった。従って、ハフ変換器によって識別された画像要素に基づいて位置記述生成器によって生成される位置記述は、情報量に関してうまく取り扱うことができる信頼性の高い画像の記述を表す。そのため、発明の方法により生成される位置記述は、データベース比較に非常によく適している。このように、好ましくは、わずか数種類の画像要素（例えば、円弧または楕円弧および異なる方向へ通過しているまっすぐなストレッチ）が存在し、各々は少ないパラメータ（例えば、位置、曲率半径、長さ、方向）によって記述することができる。従って、複雑度が従来用いられていた全画像（フレーム）比較よりも実質的に低い、効率的なデータベース比較を実行することができる。
言い換えれば、ハフ変換器によって識別される画像要素は、カメラ画像に基づいて位置を判定することに特に適している画像であって、特に表現が豊かで干渉に鈍感な画像の指紋を表していることに注目すべきである。
本発明の好ましい更なる実施形態は、従属する特許クレームによって定義される。
それとは別に、本発明は、更に、カメラからのカメラ画像および対応するコンピュータ・プログラムに基づいて位置を判定する方法を提供する。
以下において、本発明の好ましい実施形態が、添付図面を参照して、より詳細に説明される。
位置を判定する発明の装置のブロック図を示す。 本発明の一実施形態による、画像から端点画像を判定する方法のフローチャートを示す。 本発明の一実施形態による、複数の端点画像に基づいて端点画像上の組合せ平面図を判定する発明の方法のフローチャートを示す。 本発明の一実施形態による、端点画像上の組合せ平面図に基づいて直線および弧のリストを判定する発明の方法のフローチャートを示す。 本発明の一実施形態による、直線および弧のリストに基づいて位置に関する情報を取得する発明の方法のフローチャートを示す。 端点画像に対する組合せ平面図の図解説明図を示す。 道路の斜視マッピングの図解説明図を示す。 道路に対する平面図の図解説明図を示す。 まっすぐなストレッチおよび弧のリストとしての道路のコースの記述の例示的な説明図を示す。 道路のコースに対する組合せ平面図の判定における手続の概略説明図を示す。 道路のコースおよびそこで識別された端点の図解説明図を示す。 道路のコースおよびそこで識別された端点の図解説明図を示す。 道路のコースおよびそこで識別された端点の図解説明図を示す。 道路のコースおよびそこで識別された端点の図解説明図を示す。 道路のコースおよびそこで識別された端点の図解説明図を示す。 オリジナルビデオ画像の図解説明図を示す。 閾値形成によって処理された閾値画像の図解説明図を示す。 輪郭検出によって処理された輪郭画像の図解説明図を示す。 ハフ変換によって処理された端点画像の図解説明図を示す。 更なる端点画像の図解説明図を示す。 図１０ｅの端点画像の生成において使用されたパラメータ・セットの図解説明図を示す。 更なる端点画像の図解説明図を示す。 図１０ｇの端点画像の生成において使用されたパラメータ・セットの図解説明図を示す。 ハフ変換の助けによる軌道検出の実施例の図解説明図を示す。 ハフ変換の助けによる軌道検出の実施例の更なる図解説明図を示す。 本発明の一実施形態による、カメラのカメラ画像に基づいて位置を判定する発明の装置のブロック図を示す。 本発明の一実施形態による、カメラからのカメラ画像に基づいて位置を判定する発明の装置のブロック図を示す。 マークされた屈曲点および端点を有するエッジ画像の図解説明図を示す。 屈曲点および端点の探索のための比較用パターンの図解説明図を示す。 エッジ画像から抽出された屈曲点および端点の図解説明図を示す。 本発明の一実施形態による、発明のモデル画像判定手段の概略説明図を示す。 本発明の一実施形態による、発明の画像比較手段のブロック図を示す。 本発明の一実施形態による、発明の方法のフローチャートを示す。 カメラからのカメラ画像に基づいて位置を判定する発明の方法のブロック図を示す。
図１は、カメラからのカメラ画像に基づいて位置を判定する発明の装置のブロック図を示す。図１による装置は、全体として１００によって示される。
装置１００は、ハフ変換器１１０を含む。ハフ変換器１１０は、カメラ画像１１２またはカメラ画像の前処理されたバージョンを受け取るように実装される。ハフ変換器は、カメラ画像１１２のなかで識別された円弧または楕円弧に関する情報１１４を提供するように実装される。加えて、ハフ変換器は、カメラ画像１１２を異なる方向に通過しているまっすぐなストレッチに関する情報１１６を提供するように実装される。
装置１００は、カメラ画像のなかの円弧または楕円弧に関する情報１１４およびカメラ画像を異なる方向に通過しているまっすぐなストレッチに関する情報１１６を受け取るように実装される位置記述生成器１２０を更に含む。位置記述生成器は、識別された円弧または楕円弧に基づき、更には、識別されたまっすぐなストレッチに基づき、識別された円弧または楕円弧および識別されたまっすぐなストレッチをパラメータによって記述する位置記述１２２を得るように更に実装される。
装置１００は、位置記述生成器１２０から位置記述１２２を受け取り、それを複数の比較用位置記述１３２と比較するように実装されるデータベース比較器１３０を更に含む。更に、データベース比較器は、位置記述１２２と比較用位置記述１３２との間の比較に基づく結果として、位置に関する情報１３４を得るように実装される。
上記構造上の記載に基づき、以下において、装置１００の機能が簡単に説明される。ハフ変換器１１０は、カメラ画像１１２を受け取り、ハフ変換を実行することによってカメラ画像１１２のなかの異なる画像要素を識別する。このように、ハフ変換器１１０は、好ましくは、カメラ画像１１２に含まれる、例えば円線のセクションまたは楕円線のセクションを識別するように実装される。好ましくは、ハフ変換器１１０は、ここで、識別された円弧または楕円弧を特徴づけている情報を更に詳細に提供する。例えば、ハフ変換器１１０は、円弧または楕円弧の位置に関する情報を提供することができる。ハフ変換器１１０が、情報１１４によって、例えば、円弧（および／または円弧のセクション）または楕円弧（および／または楕円弧のセクション）の端点を記述することは好ましい。端点は、ここで、予め定められた方向において最も遠い円弧または楕円弧の点である。カメラ画像が、例えばラスタ行およびラスタ列からなるラスタに配置される画像点の形で存在する場合は、弧の端点は、例えば弧の最左点、弧の最右点、弧の最上点または弧の最下点である。
更に、ハフ変換器１１０は、（オプションとして）加えて、カメラ画像１１２のなかで識別された弧の曲率半径に関する情報を判定し、情報１１４のスコープ内で、対応する情報を位置記述生成器１２０に渡すように実装することができる。
カメラ画像１１２のなかで識別されたまっすぐなストレッチに関して、ハフ変換器１１０は、例えば、識別されたまっすぐなストレッチを、長さ、方向、始点および／または終点に関する情報によって記述するように実装することができる。対応する情報は、ハフ変換器１１０によって、好ましくは情報１１６のスコープ内で、位置記述生成器１２０に提供される。
ハフ変換器１１０は、好ましくは情報１１４、１１６を得るように実装されることに、このように注目すべきである。ハフ変換器１１０は、ここで、例えば１つのシングルパスにおいて、弧およびまっすぐなストレッチを識別するように構成することができる。あるいは、ハフ変換器１１０は、弧（すなわち円弧または楕円弧のセクション）を識別するように実装される第１の部分ハフ変換器と、画像を異なる方向に通過するまっすぐなストレッチを識別するように実装される第２の部分ハフ変換器との２つの分離した部分ハフ変換器を含むようにすることができる。代替の一実施形態において、ハフ変換器１１０は、最初のパスでカメラ画像１１２のなかの弧を識別し、第２のパスでカメラ画像のなかのまっすぐなストレッチを識別するように再構成することができる不可変なハフ・フィールドを含むようにしてもよい。好ましい実施形態において、カメラ画像１１２は、ハフ変換器に対して、異なる方向（例えば、あるときは画像列の昇順で、例えば最初の画像列から始め、あるときは画像列の降順で、例えば最後の画像列から始める）で供給されるようにしてもよいことに、更に注目すべきである。加えてまたは代わりに、カメラ画像１１２は、例えば、ハフ変換器に対して、画像行の昇順および／または画像行の降順で、順次供給されるようにしてもよい。
このように、例えば、異なる方向に（下方に、上方に、左方に、および／または右方に）曲率を有する弧を効率的な方法で識別することができる。また、カメラ画像１１２が異なる方向に（すなわち、例えばあるときは行順におよびあるときは列順に、および／または、あるときは行の昇順におよびあるときは行の降順に、および／または、あるときは列の昇順におよびあるときは列の降順に）処理されたときは、画像を異なる方向に通過しているまっすぐなストレッチの識別は特に効率的な方法で可能である。
異なる処理ステップを、あるいは他方の後で、または互いに並列に実行することができることに注目すべきである。
位置記述生成器１２０は、好ましくは、画像および／またはカメラ画像１１２のなかの円弧または楕円弧に関する情報１１４、および、画像および／またはカメラ画像１１２を異なる方向に通過しているまっすぐなストレッチに関する情報１１６を、位置記述１２２にまとめるように実装される。この点において、位置記述生成器１２０は、例えば、特徴ベクトルを、異なる識別画像要素（円弧および／または円弧のセクション、楕円弧および／または楕円弧のセクション、および／または、まっすぐなストレッチ）に関する情報を含む位置記述１２２として、特定の順序で生成するように実装することができる。更に、位置記述生成器１２０は、例えば、識別された弧およびまっすぐなストレッチの全体から選択された画像要素を選ぶように実装することができる。このように、位置記述生成器１２０は、例えば、道路の連続コースおよび／または少なくともほぼ連続した線を記述する位置記述の生成のために、識別された弧およびまっすぐなストレッチの全部からこの種の弧およびまっすぐなストレッチを選択するように実装することができる。あるいは、位置記述生成器１２０は、ハフ変換器１１０によって識別されたいかなる画像要素に関する情報をも位置記述１２２に含むことができる。
更に、位置記述生成器１２０は、ハフ変換器１１０によって識別された画像要素から画像要素を選択し、選択された画像要素（弧およびまっすぐなストレッチ）に基づいて位置記述１２２を形成するために、予め定義済みのフィルタルールを適用することができる。
更に、位置記述生成器１２０は、例えば、ハフ変換器１１０によって識別された画像要素を、特定の方法で、例えば予め定めた配置ルールに従って配置するように実装することができる。このように、位置記述生成器１２０は、例えば配置された画像要素が連続線コースを形成するように、順序に関する位置記述１２２を生成するために画像要素を配置するように実装することができる。あるいは、位置記述生成器１２０は、例えば位置記述１２２における画像要素の記述が他の配置ルールに対応するように位置記述１２２を形成することができる。例えば、位置記述生成器１２０は、位置記述１２２が画像要素のパラメータによって類別されたハフ変換器によって識別された画像要素を含むように、位置記述１２２を生成することができる。このように、例えば、弧は、カメラ画像１２２のなかのどこに位置するかに関して（例えば左から右のおよび／または上から下の）類別することができる。あるいは、弧は、例えばその曲率半径によって類別することもできる。同様に、例えば識別されたまっすぐなストレッチは、位置記述１２２のなかで、それらの位置および／または長さおよび／または方向によって類別することができる。
このように、位置記述１２２は、位置記述生成器１２０によって、好ましくはカメラ画像にとって可能な限り特徴的であるように生成されることに全体として注目すべきである。
データベース比較器１３０は、位置記述１２２を受け取り、位置記述を、例えばデータベースに格納されている複数の比較用位置記述１３２と比較する。データベース比較器１３０が、位置記述１２２を、例えば特徴ベクトルの形で受け取る場合に、データベース比較器は、例えば、位置記述１２２の特徴ベクトルと比較用位置記述１３２の特徴ベクトルとの間の差分を形成するように実装することができる。２つの特徴ベクトルの間の距離および／または差分が十分に小さい場合、例えば予め定められた最大許容偏差より小さいかまたは最小の場合は、データベース比較器１３０は、例えば、位置記述１２２と比較用位置記述１３２との間の充分なマッチが存在することを検出することができる。このようにして、データベース比較器１３０は、例えば対応する比較用位置記述１３２に帰属している位置情報を、結果１３４として出力することができる。
カメラ画像に基づいて位置を判定するための発明のコンセプトに関する詳細は、図２ａ〜２ｄを参照して、以下において説明される。
図２ａは、本発明の実施形態による画像から端点画像を算出する発明の方法のフローチャートを示す。
図２ａによる方法は、全体として２００によって示される。第１ステップ２１０において、方法２００は、画像の前処理を実行することを含む。画像の前処理は、例えば、画像のなかのエッジ検出のために画像を２値化することを含む。画像の前処理２１０によって、このようにして、画像２０８から前処理画像２１２が生ずる。方法２００は、前処理画像２１２を用いてハフ変換２２０を実行することを更に含む。ハフ変換の実行２２０は、これにより、前処理画像のなかの円弧または楕円弧の端点に関する情報２２２を提供する。ハフ変換２２０は、代わりにまたは加えて、画像２０８または前処理画像２１２をそれぞれ角度を持って通過しているまっすぐなストレッチに関する情報を更に提供することができる。この場合における情報２２２が、それぞれ前処理画像２１２または画像２０８のなかのまっすぐなストレッチに関する情報を含む場合は、例えばまっすぐなストレッチの中心点に関する情報は、端点に関する位置情報をとる。
ハフ変換２２０は、このようにして、例えば、画像２０８または前処理画像２１２のなかの円弧または楕円弧の端点に関する情報を、またオプションとして加えて、まっすぐなストレッチの中心点に関する情報を、情報２２２として提供する。情報２２２は、このように、画像２０８または前処理画像２１２のなかの特徴点（円弧または楕円弧の端点、加えてオプションとして、まっすぐなストレッチの中心点）に関する情報をそれぞれ含む。好ましくは、曲率半径は、ハフ変換２２０によって生成されたおよび／または判定された円弧または楕円弧の端点に関連している。例えば、無限である曲率半径は、ハフ変換２２０に基づいて提供された情報２２２によってオプションとして記述されるまっすぐなストレッチの中心点に関連している。
第３ステップ２３０において、方法２００は、関連づけられた曲率半径が少なくとも１つの隣接する端点の曲率半径から予め定められた最大許容偏差以上異なる端点、および加えてオプションとして、まっすぐなストレッチの中心点、を除去することを更に含む。第３ステップ２３０によって、このように、画像２０８および／または前処理画像２１２のなかの円弧または楕円弧の端点に関する情報に基づいて、（および加えてオプションとして、まっすぐなストレッチの中心点に関する情報に基づいて）、端点画像２３２が生成される。端点を除去するステップ２３０において、このようにして、例えば、端点画像２３２が、曲率半径が隣接する端点および／または中心点の曲率半径と少なくともほぼ整合している弧（円弧または楕円弧）の端点および／または中心点（まっすぐなストレッチの）のみを含むことが成し遂げられる。言い換えれば、端点画像２３２のなかで、曲率半径が隣接する端点および／またはまっすぐなストレッチの中心点の曲率半径から最大許容偏差以上異なるような端点および／またはまっすぐなストレッチの中心点が除去される。これにより、端点画像２３２に含まれる端点および／またはまっすぐなストレッチの中心点が、曲率半径に関して少なくともほぼ連続コースを形成することが保証される。
位置判定のスコープ内で、画像および／またはカメラ画像２０８のなかのこの種の線を基本的に識別することが要求されるので、ハフ変換２２０によって形成される情報２２２のこの種のプレフィルタリング２３０は賢明であり、カメラ画像に対して特徴的である。これらは、通常は比較的長くて規則的な線である。長くて規則的な線は、それらが曲ったものである場合は、それらは異なる曲率間の比較的「滑らかな」移行を含むという事実によって、多くの場合に目立つ。
１つの単一の連続したベンドを含まない線は、例えば、それぞれ近似円および／または近似楕円によって、隣接する線のポイントに近似することができる。対応する曲った線は、図２ａの２４０によって示される。３つの指定された線のポイントは、２４２ａ、２４２ｂおよび２４２ｃによって示される。対応する曲率円および／または曲率楕円は、２４４ａ、２４４ｂおよび２４４ｃによって示される。隣接線ポイント２４２ａ、２４２ｂ、２４２ｃの曲率円２４４ａ、２４４ｂ、２４４ｃは、線２４０にベンドを含まない場合は、少なくともほぼ同じ半径を含むことは明らかである。他の不必要な画像内容、例えば草木または他の不規則なまたはギザギザの形は、異なる曲率の複数の円弧または楕円弧を含むことに、更に注目すべきである。従って、この種の不規則な構造がある場合には、隣接する端点は、通常は非常に異なる曲率半径を含み、ステップ２３０によって除去される。このように、端点画像２３２は、例えば不規則な草木物体のような不規則に形成された物体に関する情報が、情報２２２に関して除去されおよび／または少なくとも削減されるように結果としてなる。このように、端点画像２３２は、位置判定に無関係な情報に関して調整されたフィルタのかかった説明図を表す。
ステップ２３０は、しかしながら、オプションであると見なされることに注目すべきである。言い換えれば、ハフ変換２２０によって提供された前処理画像２１２のなかの円弧または楕円弧の端点に関する情報２２２は、端点画像２３２の位置を直接とることができる。
それとは別に、オプションとして画像の前処理２１０も、ハフ変換２２０が例えば画像および／またはカメラ画像２０８に直接作用するように実装されたときに、省略できることに注目すべきである。
以下において、図２ｂを参照して、端点画像、すなわち例えば端点画像２３２から、どのようにして端点画像上の組合せ平面図を生成することができるかについて説明される。図２ｂは、この点において、端点画像から端点画像に対する組合せ平面図を判定するための発明の方法のフローチャートを示す。
図２ｂによる方法は、全体として２５０によって示される。方法２５０は、消滅点判定の第１ステップ２５２を含む。消滅点判定２５２によって、例えば、端点画像２３２から １つまたはいくつかの消滅点、すなわち直線の交差が判定される。したがって、消滅点判定２５２は、１つまたはいくつかの消滅点に関する情報２５４を提供する。消滅点判定２５２において、好ましくは、端点画像２３２のなかで、および／または代わりに前処理画像２１２の画像のなかで、またはカメラ画像２０８のなかで、予め定められた最小長の直線が判定される。ここで、好ましくはハフ変換２２０によって提供される情報を考慮することができる。
画像２０８のなかで少なくとも２つのまっすぐなストレッチが判定された場合に、前処理画像２１２のなかでおよび／または端点画像２３２のなかで、直線の交差点を判定することができる。直線の交差は、通常はカメラ画像が記録されたカメラから逃げる平行するストレッチが投影マッピングによって交差するポイントである。明確のために、図２ｂは、２つの非常に長い直線道路の斜視図画像２５６を表示する。左側の境界２５６ａおよび右側の境界２５６ｂは、投影マッピングにより、第１の消滅点２５６ｃにおいて交差するように見える。第１の道路に通じる第２の長い直線道路の２つの境界２５７ａ、２５７ｂは、投影マッピングによって第２の消滅点２５７ｃにおいて交差するように見える。例えば、ストレッチおよび／または直線がハフ変換の助けにより判定され、少なくとも特定のセクションに沿ってまっすぐである道路を境界づける場合は、例えば２つの直線の交差の演算の助けにより、消滅点２５６ｃの位置をほとんど演算の労力なしに算出することができる。従って、消滅点判定２５２のスコープ内で、１つまたはいくつかの消滅点２５６ｃ、２５７ｃを判定することができる。
更なるステップ２６０において、例えば、消滅点より上のポイントまたは地平線より下のポイントは、空のない端点画像２６２を得るために除去される。例えば、１つの消滅点２５６ｃだけがわかっている場合は、地平線は、１つの消滅点２５６ｃを通過し、更には一般的に、カメラ画像２０８が少なくともほぼ水平に配置されたカメラによって記録されると見なされる場合は、水平に画像を通過すると見なすことができる。
そのため、例えば、ステップ２６０のスコープ内で、消滅点より上のカメラ画像２０８に位置するすべてのポイントは、例えば対応する画像部分が空であると見なすことができるので、除去することができる。更に２つの消滅点、例えば消滅点２５６ｃおよび２５７ｃがわかっている場合は、例えば、地平線は、２つの消滅点２５６ｃ、２５７ｃの間の連結線によって定義されると見なすことができる。従って、例えば、地平線は、消滅点２５６ｃ、２５７ｃを結合することによって定義することができる。更に、画像２０８のなかで、前処理画像２１２のなかで、または端点画像２３２のなかで、地平線より上に位置する画像部分を除去することができる。このようにして、空のない端点画像が結果として得られる。
消滅点判定２５２、および、消滅点または地平線より上の点の除去２６０を用いた対応する前処理は、オプションであると見なすべきことに注目すべきである。道路が、例えば山および／または山脈に向かう場合は、例えば、判定された地平線より上に位置する山は、位置判定にとって重要な情報をよく表すことができる。
しかしながら、例えば地平線より上において、例えば雲のストラクチャーに帰属している端点はフィルタルールの適切な選択によって除去され、その一方で山に帰属している端点は維持される更なる端点のフィルタリングが実行されるように、選択画像のフィルタリングを実行することもできる。言い換えれば、地平線より上において、付加的な端点画像２３２のフィルタリングを行うことができ、そこにおいて関連する曲率半径または関連する直線の方向に関する特定の基準を満たすかまたは満たさない特定の端点は除去される。
更に、端点画像２３２に基づいて、または、空のない端点画像２６２に基づいて、投影マッピング２６４が実行される。投影マッピング２６４によって、好ましくは空のない端点画像２６２から（あるいは、しかしながら端点画像２３２から）、端点画像上の平面図２６６が生成される。この点において、光学分野から、投影マッピングは、これを用いて、斜視図を少なくともおおよそ平面図に変換できることがわかっていることに注目すべきである。この点における１つの実施例は、図解説明２６８において図示される。図解説明２６８は、図解説明２５６の斜視図において図示される道路のコース上の平面図を示す。
それとは別に、図解説明２５６、２６８は、通常は発明の方法のスコープ内で処理されるので、端点画像を示していないことに、ここで注目すべきである。むしろ、図解説明２５６、２６８は、明確のため、概略画像を示す。例えば、まっすぐなストレッチは、セクションの中心点によって記載されていることに、しかしながら注目すべきである。端点画像２３２、空のない端点画像２６２、および端点画像上の平面図２６６における曲線は、しかしながら弧の端点によって具体的に説明される。
このように、図解説明２５６、２６８と、弧の端点および／またはまっすぐなストレッチの中心点の形での実際の説明図との間の遷移は、容易に理解できる。
それとは別に、好ましい実施形態において、複数のカメラ画像２０８は連続的に記録され、そこにおいてカメラ画像２０８を記録しているカメラが、例えば、車両とともに移動すると仮定されていることに、注目すべきである。言い換えれば、利用可能な複数のカメラ画像２０８は、（カメラが搭載された車両が移動すると仮定した場合は）、引き続いて従ってまた異なる位置から記録される。従って、本発明の好ましい実施形態において、端点画像に対する１つの単一の平面図２６６だけが利用できるだけでなく、むしろ前述の端点画像上の平面図２６６とは別に、更なる端点画像上の平面図２７０ａ、２７０ｂ、２７０ｃが利用できる。このように、方法２５０は、好ましくはいくつかの端点画像上の平面図を組み合わせる２７２を含み、それにより端点画像上の組合せ平面図２７４が結果として得られる。いくつかの端点画像上の平面図を組み合わせることに関する詳細は、以下において更に詳細に説明される。
いくつかの端点画像上の平面図を組み合わせて１つの端点画像上の組合せ平面図２７４とするステップ２７２は、オプションであると考えられることに、しかしながら、注目すべきである。言い換えれば、組合せ平面図２７４に関して以下に記載される処理は、代わりに、単一の端点画像上の平面図２６６を使用して実行することができる。
以下において、図２ｃを参照して、端点画像上の組合せ平面図から、どのようにして直線および弧のリストを生成することができるかについて記載される。この目的のために、図２ｃは、端点画像上の組合せ平面図から直線および弧のリストを生成する発明の方法のフローチャートを示す。図２ｃによる方法は、全体として２８０により示される。
方法２８０は、端点画像および／または集約された端点画像上の組合せ平面図２７４から、非道路要素を除去するステップ２８２を含む。非道路要素を除去するステップ２８２は、好ましくは、曲率半径が予め定められた偏差以下だけ異なる隣接する端点を備えない端点を除去することを含む。言い換えれば、例えば、道路境界マークのような道路要素は、通常はベンドを含まない線であり、その結果、近似円および／または近似楕円の曲率半径は、連続的に（および／または小さいステップで）変化するという事実が用いられる。言い換えれば、曲率半径の連続性が道路要素のなかで用いられる。例えばまっすぐなストレッチは、無限の曲率半径を備えることに、ここで注目すべきである。あまり鋭くない曲率またはターンは、ちなみに比較的大きい曲率半径を備える。例えば、道路のまっすぐなコースがわずかなカーブに変わる場合は、曲率半径は無限（まっすぐなストレッチ）からカーブの曲率半径および／または例えば５００メートルのベンドに変化する。ここで、ちなみに「無限の」曲率半径は、選択される十分に大きい曲率半径（例えば５００メートルの曲率半径）とほとんど異ならないと仮定されている。このようにして、ステップ２８２において、非道路要素（例えば草木または他の干渉物体を記述しているギザギザの線）は、端点画像上の組合せ平面図２７４から除去される。従って、もはやいかなる不規則なまたはギザギザのコースを含まない端点画像上の組合せ平面図２８４が結果として得られる。言い換えれば、ステップ２８２により、端点画像上の組合せ平面図２７４から、調整された組合せ平面図２８４が結果として得られる。
この点において、非道路要素を除去するステップ２８２は、オプションであると考えることができることに、注目すべきである。
ステップ２８６において、方法２８０は、調整された組合せ平面図２８４からの更なる沿道でない点の除去を更に含む。沿道を記述しない端点は、例えば、対応する点によって形成される線コースが、第１のカメラ画像が記録される始点から次のカメラ画像が記録される終点まで、連続的な線コースを形成しないという事実によって識別することができる。
カメラが取り付けられた車両は道路コースに沿って移動し、従って道路コースの境界は車両の移動に沿った線によって与えられると仮定することができる。第１の時刻の車両の始点および第２の時刻の車両の終点が、例えば、端点画像上の組合せ平面図２７４に関連してわかっている場合は、このように少なくともおおよそ、線コースの始点および終点は道路境界を形成していることがわかっている。従って、始点から終点まで通過していない線コースは、その道路の進んだコースを記述していないと判定することができる。
このように、ステップ２８６において、沿道を記述していない端点（および／または沿道に関連しない線）の除去によって、更なる調整された端点画像上の組合せ平面図２８８が結果として得られる。更なる調整された組合せ平面図２８８は、好ましくは、しかし必然的にではなく、道路コースだけを記述する。言い換えれば、組合せ平面図２８８は、好ましくは道路コースに関連した弧の端点および／またはまっすぐなストレッチの端点を含む。
ステップ２９０において、方法２８０は、第２のハフ変換の実行を更に含む。第２のハフ変換２９０は、好ましくは調整された組合せ平面図２８８に適用される。この点に関して、ステップ２１０、２２０、２３０、２５２、２６０、２６２、２７２、２８２、２８６を用いた上記した処理によって、沿道が、好ましくは隣接する円弧または楕円弧の端点、および／または、まっすぐなストレッチの中央点のコースによって図示される端点画像上の組合せ平面図が生成されたことに、注目すべきである。言い換えれば、道路コースの境界は、説明図２８８において、好ましくは複数の識別された端点によって記述される。
説明の便宜上、図２ｅは、端点画像２８８上の平面図を示す。第１の図解説明２８８ａは、そこにおいてプロットされた円弧および／または楕円弧とともに組合せ平面図２８８を示す。図解説明２８８ａは、複数の端点２８８ｂ〜２８８ｊを示す。端点２８８ｂ、２８８ｆおよび２８８ｊのために、関連する円弧および／または楕円弧２８８ｋ、２８８ｌ、２８８ｍが説明される。更なる説明図２８８ｎは、組合せ平面図２８８を基本的に形成する端点２８８ｂ〜２８８ｊを示すだけである。
組合せ平面図２８８は、しかしながら、代わりにカメラ画像２０８または前処理カメラ画像２１２とすることもできることに注目すべきである。言い換えれば、画像２０８または前処理画像２１２も、第２のハフ変換２９０の入力データとして役立つことができる。また、投影マッピング２６４は、しかしながら、画像２０８および／または前処理画像２１２に適用することができ、更にいくつかの部分画像は、第２のハフ変換２９０に用いられる入力データを得るために組み合わせることができる。
要約すれば、一実施形態では、第２のハフ変換２９０だけを適用することもでき、第１のハフ変換２２０が省略されることに、このように注目することができる。この場合において、第２のハフ変換２９０は、従って例えば、画像２０８、前処理画像１１２、または、画像２０８または前処理画像２１２の更に処理されたバージョンを入力画像として受け取る。画像２０８および／または前処理画像２１２の更に処理されたバージョンは、例えば、ステップ２５２、２６０、２６４、２７２のいくつかまたはすべてを適用することによって、画像２０８または前処理画像２１２から得ることができる。
第２のハフ変換２９０のスコープ内で、ちなみに、第２のハフ変換２９０の入力画像から、直線および弧のリスト２９２が、第２のハフ変換２９０の入力画像のなかで生成される。言い換えれば、第２のハフ変換２９０は、上述したように、第２のハフ変換の入力画像に基づく画像のなかの弧（例えば、円弧または円弧のセグメントおよび／または楕円弧および／または楕円弧のセグメントそれぞれの）およびまっすぐなストレッチの情報を生成する。
弧およびまっすぐなストレッチのリスト２９２に基づき、引続いてステップ２９４において、位置記述２９６が生成される。位置記述の生成２９４において、例えば、予め定められたシーケンスおよび／または順序評価基準に従って直線および弧のリスト２９２が類別される。更に、代わりにまたは加えて、位置記述の生成２９４において、まっすぐなストレッチおよび弧のリスト２９２は、直線または弧のリスト２９２から単一のまっすぐなストレッチまたは弧を除去するために、フィルタ評価基準に従ってフィルタされ、その結果、位置記述２９６は、全体としてまっすぐなストレッチおよび弧のリスト２９２よりも少ないまっすぐなストレッチまたは弧を含む。
更に、位置記述の生成２９４は、位置記述２９６として、まっすぐなストレッチおよび弧の記述のいくつかの入れ換えられたセットを得るために、まっすぐなストレッチおよび弧のリスト２９２のいくつかの入換（順序に関する）を提供することを含むことができる。
更に、位置記述の生成２９４は、代わりにまたは加えて、まっすぐなストレッチおよび弧のリスト２９２から、まっすぐなストレッチおよび弧のいくつかのリアル・サブセットを選択することを含むことができ、その結果、例えば位置記述２９６は、まっすぐなストレッチおよび弧のリスト２９２の個々のサブセットがお互いに異なるいくつかの選択されたリアル・サブセットを含む。
図２ａから２ｄによる方法は、データベース比較の実行２９８を更に含む。データベース比較２９８において、位置記述２９６はデータベースに格納された複数の比較用位置記述と比較され、位置記述２９６と複数の比較用位置記述との間の類似性の尺度が判定される。更に、例えば位置記述２９６と確定された比較用位置記述との間の差分が最小であるような比較用位置記述のうちの１つが判定される。あるいは、位置記述２９６と比較用位置記述との間の差分が十分に小さく、すなわち、例えば予め定められた最大許容偏差より小さい場合は、充分であると考えることもできる。比較用位置記述がこのように判定され、それが位置記述２９６と十分によくマッチした（その結果、例えば差分が最小限に抑えられた、または、差分が予め定められた最大許容差分よりも小さい）場合は、比較用位置記述に属する位置情報は、結果２９９として提供される。結果２９９は、このようにして画像２０８が記録された位置に関する情報をもたらす。
以下において、図２ｃおよび２ｄに図示される概略画像が簡単に説明される。このように、図２ｃは、図解説明２７４ａを示し、例えば端点画像上の組合せ平面図２７４を記述する。図解説明２７４ａは、例えば道路のコースの左側境界２７４ｂおよび道路のコースの右側境界２７４ｃを示す。更に、図解説明２７４ａは、例えば草木（例えばブッシユ）または人を記述する２つの小さい干渉物体２７４ｄ、２７４ｅを示す。更に、図解説明２７４ａは、例えば建物または草原の境界を表す、付加的な長く伸張されたまたはわずかに曲がったコース２７４ｆ、２７４ｇを示す。ステップ２８２において、曲率半径の連続性に関する要求事項によって不規則な有界要素は除去され、より小さい干渉物体２７４ｄ、２７４ｅは、これらは通常は不規則に形成され、更に（道路コースの展開と比較して）比較的小さいので、例えば図解説明２７４ａによる画像から除去される。
このようにして、もはや不規則なまたはギザギザのコースを含まない端点画像上の組合せ平面図２８４が結果として得られる。組合せ平面図２８４は、図解説明２８４ａにおいて説明される。
ステップ２８６のスコープ内で、既に言及されたように、沿道でない点および／または線は除去される。このように、道路コースだけ（または少なくとも基本的に）を含む端点画像上の組合せ平面図２８８が結果として得られる。組合せ平面図２８８の概略説明は、図解説明２８８ａにおいて説明される。図解説明２８８ａは、例えば左側軌道境界２７４ｂおよび右側軌道境界２７４ｃを示すだけである。左側軌道境界２７４ｄは、例えば第２のハフ変換２９０の入力画像のなかで、例えば、左の弧（丸で囲まれた２で示される）、まっすぐなストレッチ（丸で囲まれた４で示される）および右の弧（丸で囲まれた６で示される）を含む線で記述される。右側の沿道および／または道路境界２７４ｃは、最初の右の弧（丸で囲まれた１で示される）、最初のまっすぐなストレッチ（丸で囲まれた３で示される）および最初の左の弧（丸で囲まれた５で示される）を含む。しかしながら、第２のハフ変換２９０の入力画像２８８が１つの単一軌道境界、すなわち左側軌道境界２７４ｂまたは右側軌道境界２７４ｃのいずれかを記述する場合は、それはちなみに十分である。
第２のハフ変換２９０のスコープ内で、次に、第２のハフ変換の入力画像２８８に基づいて、ハフ変換の入力画像のなかの弧およびまっすぐなストレッチは、関連するパラメータによって記述される。言い換えれば、直線および弧のパラメータ化されたリスト２９２が、例えば図２ｄによる図解説明２９２ａにおいて説明されるように、結果として得られる。直線および弧のリスト２９２は、このように例えば、弧「１」「２」「５」および「６」を、例えば、弧の中心点または弧の端点の位置および／または曲率半径のような関連するパラメータによって記述する。リスト２９２は、更に例えば、図解説明２８８ａによるまっすぐなストレッチ「３」および「４」を、例えば、絶対または相対の方向および／または長さおよび／または位置のようなパラメータによって記述する。例えば、方向は、（例えば、コンパスからの方向情報を考慮して）絶対的に、またはカメラの視野方向に対して相対的に記述することができる。
更に、方向は、例えば画像のなかの更なるまっすぐなストレッチに対して相対的に記述することができる。まっすぐなストレッチの位置は、例えば、始点、中心点または終点の座標によって記述することができる。要求される限り、まっすぐなストレッチの長さに関する更なる付加情報をリスト２９２に含むことができる。弧またはまっすぐなストレッチのパラメータに関する前述の情報は、好ましくは第２のハフ変換２９０によって提供されることに注目すべきである。この点において、ハフ変換は、異なるパラメータ（例えば、異なる曲率半径または異なる方向のストレッチ）によって線コースを区別し、更に画像に含まれる異なる線コースのパラメータに関する情報を提供することに、通常は適していることに注目すべきである。
位置記述２９６は、好ましくは直線および弧のリスト２９２と同じパラメータを含み、そこにおいて、位置記述２９６における要素（弧およびまっすぐなストレッチ）の選択および／または配置は、リスト２９２と比べて、通常はしかし必然的にではなく変更される。
データベース比較２９８のために用いられる比較用位置記述は、比較が可能であるように、好ましくは位置記述２９６と同じ種類のパラメータを含むことに更に注目すべきである。
以下において、図３ａ、３ｂおよび３ｃを参照して、発明の位置判定の更なる実施形態が記載される。
図３ａは、ここで道路コースの斜視図画像を示す。図３ａによる図解説明は、全体として３２０によって示される。斜視図３２０は、道路の左側道路境界３２２、道路の中央分離帯３２４および道路の右側道路境界３２６を示す。
図３ｂは、図３ａの図解説明３２０において説明された道路コースに対する平面図を示す。図３ｂの図解説明は、全体として３４０によって示される。図３ｂによる平面図３４０は、例えば図２ｂのステップ２６４を参照して前述したように、例えば図３ａによる斜視図３２０からの投影マッピングにより結果として生ずることに、ここで注目すべきである。
図解説明３４０は、道路コースに対する平面図を示し、そこにおいて、左側軌道境界は３４２によって示され、右側軌道境界は３４６によって示される。右側軌道境界３４６は、例えば、ここで３４８ａ、３４８ｂ、３４８ｃ、３４８ｄおよび３４８ｅによって示された、複数のまっすぐなストレッチおよび弧により構成されることに注目すべきである。個々の要素は、図３ｃを参照するために、丸で囲まれた「１」から「５」によっても示されている。
更に、それとは別に、例えば、車両の開始位置３５０および車両の終了位置３５２は、カメラによって記録された道路コースの位置からわかっている。既知の開始位置３５０に基づき、例えば、まっすぐなストレッチ３４８ａの第１の点が軌道境界の始点３５４であると結論づけることができる。更に、終了位置３５２から、まっすぐなストレッチ３４８ｅの第２の点が軌道境界および／または道路および／または軌道コースの終点３５６であると結論づけることができる。このようにして、例えば、まっすぐなストレッチおよび弧３４８ａ〜３４８ｅが、始点３５４と終点３５６との間に連続した線コースを形成することを、全体として判定することができる。
ハフ変換を実行するときに、例えば右側道路境界３４６のまっすぐなストレッチおよび弧３４８ａ〜３４８ｅが識別される。ハフ変換によって、しかしながら、例えば左側道路境界３４２のまっすぐなストレッチまたは弧、および、適用可能な場合は、他のまっすぐなストレッチまたは弧も、識別することができる。このようにして、ハフ変換（例えばハフ変換２９０）によって提供される直線および弧のリスト２９２は、例えばまっすぐなストレッチおよび弧３４８ａ〜３４８ｅに関する情報、および、適用可能な場合は、付加的なまっすぐなストレッチおよび／または弧に関する情報を含む。
まっすぐなストレッチおよび弧３４８ａ〜３４８ｅの対応する記述３７０は、例えば、図３ｃにおいて説明される。すべての識別要素（すべてのまっすぐなストレッチおよび弧）は、ここで例えば、識別要素がまっすぐなストレッチであるか、右にカーブした弧（右弧）であるか、または、左にカーブした弧（左弧）であるかを表すストレッチタイプ識別子によって示される。まっすぐなストレッチのためには、図３ｃによるリストは、例えばメートルによる長さを更に含む。弧のためには、図３によるリストは、しかしながら、例えば曲率半径および角度を含む。角度は、例えば弧の始めの方向（および／または接線方向）と弧の終りの方向（および／または接線方向）との間の差分を記述する。図３ｃによるリストは、それとは別に、更なるエントリ（例えば左側道路境界３４２のまっすぐなストレッチまたは弧に関する情報）を含むことができる。それとは別に、ハフ変換器２９０によって提供されるリストは、異なるように配置することもできる。言い換えれば、ハフ変換２９０は、識別された要素（まっすぐなストレッチおよび弧）の幾何学配置に従って並べられたリストを、必ずしも提供しなくてよい。
対応する配置および／または順序づけられた位置記述２９６は、例えば、位置記述を生成する２９４のスコープ内で生成することができる。言い換えれば、位置記述２９６は、好ましくは連続した道路コースを始点３５４から終点３５６まで順序づけられた方法で記述する。
以下において、図４を参照して、カメラが搭載された車両のカメラによって異なる位置において記録された２つの個々の画像が、どのようにして組み合わされるかが記載される。第１の図解説明４１０は、第１の部分画像を示す。右側軌道境界４１２の要素（まっすぐなストレッチおよび弧）は、４２０ａ、４２０ｂおよび４２０ｃによって示される。第２の図解説明４３０は、第２のカメラ位置から記録された第２の部分画像を示す。例えば、カメラが搭載された車両は、第１の部分画像４１０が記録された時刻のポイントと比較されるように、第２の部分画像４３０が記録された時刻のポイントで道路コースに沿って移動した。図解説明４３０は、右側の道路／軌道境界４３２の要素（まっすぐなストレッチおよび円弧）を示す。まっすぐなストレッチおよび円弧は、ここで、４４０ｂ、４４０ｃおよび４４０ｄによって示される。この点において、弧４４０ｂは、弧４２０ｂに対応し、そして更に、まっすぐなストレッチ４４０ｃは、まっすぐなストレッチ４２０ｃに対応することに注目すべきである。
第１の部分画像４１０および第２の部分画像４３０から、例えばステップ２７２において組合せ画像が生成される。図解説明４１０、４３０による部分画像は、例えば端点画像上の平面図２６６であることができ、その結果、組み合わせることによって、端点画像に対する組合せ平面図２７４が結果として得られることに注目すべきである。図解説明４１０、４３０による部分画像は、しかしながら、他のタイプの画像であることもできる。例えば、部分画像４１０、４２０は、弧の端点およびストレッチの中心点を形成する部分画像における線コースを有さない、道路コースの平面図であることができる。
２つの部分画像４１０、４３０を組み合わせることは、例えば、部分画像を、お互いについてローテートおよび／またはシフトし、次にオーバーラップしているエリアについてそれらを比較することによって実行される。互いに関してシフトおよび／またはローテートされた２つの部分画像の間の差分が、オーバーラップ領域において十分に小さい場合は、例えば２つの部分画像のお互いに関するシフトおよび／またはローテーションが正しくおよび／または適切に選択されたと見なすことができる。
好ましい実施形態において、２つの部分画像４１０、４３０の段階的なシフトおよび／またはローテーションが、オーバーラップ領域における部分画像の偏差が十分に小さくなるまで、お互いに関して行われることに注目すべきである。シフトおよび／またはローテートするための開始値として、ここで例えば、あらかじめ判定されたシフトおよび／またはローテーションの平均値を用いることができる。例えば、画像のシーケンスが車両から記録される場合、車両がおおよそ一定の速度で移動するという事実の蓋然性は比較的高い。そのため、２つの引き続く部分画像がお互いに関してシフトされることによるシフトは、通常はおおよそ時間において一定である。それとは別に、車両が例えば長く伸長されたカーブに沿って移動すると見なされる場合は、２つの部分画像の記録の間に車両が回転する角度は、おおよそ時間において一定である。そのため、先行する部分画像間の空間的なシフトおよび／またはローテーション全体の平均値は、現在注目されている部分画像と引き続く部分画像との間でシフトするための推定値および／または開始値として用いることができる意味のある変数である。
図解説明４５０は、このように図解説明４１０、４３０に関して図示された部分画像のオーバーラップおよび／またはオーバーレイを示す。図解説明４１０による第１の部分画像と図解説明４３０による第２の部分画像との間の良好なマッチは、図示されたように、２つの部分画像がお互いに対してシフトされたときに結果として得られることを理解することができる。このようにして、図解説明４７０から明らかなように、組合せ画像を形成することができる。完了画像４７０は、例えば図解説明４１０、４３０による２つの部分画像を組み合わせ、および／または、オーバーレイすることによって結果として得られる。完了画像４７０が、例えば部分画像４１０、４３０より長い道路コースのセクションを示し、その結果、組合せ映像４７０の情報が個々の画像の情報および／または部分画像４１０、４３０よりも意味があることを、ここで理解することができる。
以下において、道路コースの画像の実施例が記載される。
このように、図５は、ビデオナビゲーションに関する屋外ショットを示す。図５の図解説明は、全体として５００によって示される。図５による図解説明５００の画像のなかで、シーンのシルエットは空から分離される。すべての赤い点は、（関連する）曲率半径を有する特定の端点に対応する。曲率半径として例えば、１０個の画像点および／または画素が選択されている。アルゴリズムは、例えば１０個の画像点の最小の曲率半径と無限の曲率半径の間の曲率半径を有する弧および／または弧のセグメントをこのように検出する。この図解説明５００による画像は、ここで発明コンセプトの３つの機能原理を示す。
− 「地面に関するフィードバックを得る」−地面／空の分離
− 多くの葉を有することで点の大群となるような木
− 分離された沿道による消滅点判定。
図６および図７は、バスの移動を記述する２つの画像を示す。図６は、第１の画像フレームのなかで、例えば画像フレーム６１のなかで、記録されたバスの移動を示す。図７は、第２の画像フレームのなかで、例えば画像フレーム７０のなかで、記録されたバスの移動を示す。
図８は、道路コース記録の図解説明を示す。図８による画像は、全体として８００により示される。道路コースの記録は、右側の沿道マークで赤くマークされた点を用いてここで説明される。
ビデオ支援ナビゲーションの更なる特徴および／または付加的な特徴は、例えばビデオＥＳＰシステムであってもよいことに更に注目される。
ビデオＥＳＰは、本発明の一実施形態によるビデオ支援ナビゲーションとともに最適に用いることができるので、ここで補助システムおよび／またはドライバ補助システムとして役立つ。ビデオＥＳＰは、ここで、例えば、高速道に入る狭い自動車道または地方道を経たドライブに有益である。カメラは、（例えばカーブの）曲率半径を算出し、あなたがカーブにおいてドライブすることができる推奨された最高速度を表示する。
要約すれば、本発明は、ビデオ支援ナビゲーションに関して、以下の側面を更に含むことに注目することができる。
・ 道路のコース：沿道、中央分離帯および／またはセンターライン、およびガードレールのビデオ画像から、ロードマップが生成され、地図資料と比較される。
・消滅点判定：センターライン、ガードレール、左側の沿道および／または右側の沿道の交差から、消滅点が判定される。
・ 地平線：ハフ・メソッドは、地面と空を分離することに特に適している。
・ ビデオＥＳＰ：道路の曲率から、カーブが、いかなる最高速度をとることができ、および／または、ドライブすることができるかについて、算出される。
・ 標識検出：ハフ・メソッドは、従来方法よりも優れており、例えば交通標識の検出にも役に立つ。
・ 字体検出：本発明の一実施形態による方法は、交通標識のなかのシンボルおよび／またはサイン（例えば地名、速度制限「１２０」「８０」、矢印、その他）を検出するために役に立つ。
・ ＯｎＭｏｖｅ：赤い点（例えば端点および／または集約された端点）は、光学的シフト・ベクトルを判定するための、および、これによりシフト・ベクトル・フィールドを判定するためのドッキング点である。
・ ＯｎＥｄｇｅ：赤い点（例えば端点および／または集約された端点）は、広範な係留点とみなすことができる輪郭線である。一つの実施形態における方法は、長さ６４のエッジに作用し、従ってサイズ９×９から３２×３２のすべての局所的なＯｎＭｏｖｅ、ＯｎＥｄｇｅに対して優れている。
以下において、３Ｄモデルがどのようにして設計できるかについて簡単に説明される。赤い点の大群（例えば端点および／または集約された端点）は、同様の曲率半径の２つのマッチしている赤い点のシフトからの不一致を判定するために、お互いに関して照合される。
交通標識検出は、画像点および／または画素が３Ｄオブジェクトと関係しているかどうかの不一致から判定することによって改良される。そこにおいて、すべての画像点および／または画素は、同じものに帰属していない不一致マトリクスから除去される。交通標識について、異なる画角を有する２台のカメラを使用するときは、カメラ軸に関して交通標識の角度位置を結論づけることができる異なる軸の値ａ、ｂが結果として得られる。これから、例えば３次元モデルを設計することができる。
それとは別に、発明のビデオ支援ナビゲーションは、楕円の識別の連続と考えることができることに注目すべきである。ハフ変換を実行するためのソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」は、例えばマニホルド・アプリケーションを達成するために、結果的に実用的に適用される。ドライバ補助システムのための、例えば視線トラッキング、線認識および交通標識の検出は、同一のソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」を用いて解決されるこれらの課題の全てと同じことである。
画像検出は、色および形状であることに注目すべきである。形状は、ロスカ教授による網膜前処理を有する「Ｈｕｂｅｌ−Ｗｉｅｓｅｌ ネットワーク」（実際的な実現は、すべての実施例が生成されたソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」である）のマージングから結果として生ずる。形状は、ゼキ教授による色情報を用いて正規化される。
ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」は、それがカーブ理論の主要法則の必然的なデジタルソリューションであるため、機能する。
本発明の一側面によれば、ビデオ支援位置判定のための発明の装置は、共に属しているカメラ画像の領域が、関連する１つの色の広い領域によって図示されるカメラ画像に基づいて前処理カメラ画像を生成する前処理手段を含む。
本発明の一側面によれば、装置は、前処理カメラ画像と、環境の視界を複数の単一色の領域の形で記述し、かつ関連する位置情報を備える外界モデルに基づくモデル画像との比較によって、カメラ画像が記録された位置を判定するように実装される画像比較手段を更に含む。発明概念は、形状を構成し、組織化するハフ端点の使用を更に含む。例として、交通標識に対して言及する。交通標識の形状は丸く、交通標識の色は赤いことがわかっている場合は、交通標識は、従って既にほとんど判定され、および／または、囲まれる。
本発明の一側面によれば、沿道、センターラインおよびガードレールのビデオ画像から、ロードマップが生成される。ロードマップは地図資料と比較される。加えて、道路のコースの判定は、例えば車両が道路から逸脱することを防止するために用いることができる。言い換えれば、本発明の一側面によれば、本発明は、レーン認識のドライバ補助システムを提供する。
ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」を用いるとき、オブザーバによると沿道の端点はすばやく通過するので、その結果、Ｆ１レース中のような感覚が結果として生ずる。ロードマップは、すべての画像のなかのパズルのピースをプロットし、次にそれをロードマップと比較することによって、湾曲のコースから生成される。
本発明の一側面によれば、色を見ることは重要な側面を表す。本発明の別の側面によれば、しかしながら、ストレッチは連続的な端点の連続からプロットされる。
本発明の一実施形態による道路コース判定のアルゴリズムは、ハフ変換の助けによる楕円検出と同様に実行することができることに更に注目すべきである。ビデオカメラは入力画像を生成し、次に曲率が判定され、端点からの衛星画像の生成のように、端点がロードマップのなかに再び組み立てられる。
消滅点判定に関して、平行線は、カメラモデルのなかではなく、ユークリッドマトリクスのなかで無限位置において交差することに注目すべきである。カメラモデルのなかでは、ロードレール、沿道およびセンターラインは１つの点で交差する。消滅点および右側のカーブの右側の沿道の最大内側曲率半径は、ドライバおよび／または車両がどのようにカーブのなかで運転するかの内部評定のために例えば役立つ。
本発明の一側面によれば、例えば地平線のような消滅点についても、色領域を切り離すことができることに更に注目される。
この点で、例えば、Ｊ．ロボ（Ｍ．Ｓｃ．学位論文、コインブラ大学、２００２年２月）による「コンピュータ視覚システムにおける慣性センサ・データ統合」の文献が参照される。
本発明の一側面によれば、地平線判定が実行されることに更に注目すべきである。例えば、水平の点群は地面を空から切り離す。すなわち、大群はここで完全にランダムであってもよいので、例えば画像の全部分は切り離することができる。
本発明の一側面によれば、位置判定のために、色とともに形状も重要である。地平線判定によって、しかしながら、例えば空は除去される。このように、本発明の一側面による発明のコンセプトは、Ｙａｈｏｏによるデータベースとコンパチブルである。
ビデオＥＳＰに関して、物理パラメータとしての（例えばカーブの）曲率は、例えば車両がカーブに接近するかまたはカーブを通過する速度が、カーブを切るおよび／またはカーブをドライブするために、および／または、そのカーブから出るために適当であるかどうかの評価基準を表すことに注目される。このように、道路は、多くの場合、数学的計算式に従って建設されることに注目すべきである。従って、例えば、多くの場合にカーブは予め定められたコースを有する。
ビデオＥＳＰに関して、発明のビデオ支援位置判定と組み合わせることができる対応システムは、自由裁量によって介入しないドライバ補助システムであることに注目すべきである。むしろ、本発明の一実施形態によるビデオＥＳＰは、音響警報信号を出力する。音響警報信号は、ドライバに対して、例えば、高速道路の出口ランプに向かって、より遅い速度（例えば１２０ｋｍ／ｈの代わりに６０ｋｍ／ｈ）でドライブするように提案する。曲率半径（最大曲率半径（速度機能）としても示される）に依存する最高速度を示す機能は、例えば経験に基づいて判定し、および／または、ＥＳＰシステムの特有のカーブから導き出すことができる。更に、解は、質量、速度、または遠心力から、単にタイヤの付着力に対抗する向心力として物理的に算出することもできる。
本発明の一側面によれば、発明概念は、それとは別に、標識検出と組み合わすことができる。ここで、例えば、全ての種類の交通標識を検出することができる。斜視から楕円形に見える丸い交通標識は、１００％検出され、および／または、照合される。三角の交通標識、平行四辺形の交通標識および矩形の交通標識も検出され、および／または、照合され、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」を用いて、フォント検出のように小さな丸みを微細に調整することもできる。この点において、優先交通標識および矩形の標識が参照される。
本発明の一側面によれば、ビデオナビゲーションおよび／またはビデオに基づく位置判定は、文字検出からも可能であることに更に注目される。このように、例えば、地名または情報標識は、位置を判定するために読み込むことができる。
文字認識および／または検出に関して、それとは別に、字体が、例えば弧、丸み、垂直線、対角線および水平線を含むことに注目すべきである。言い換えれば、字体は、１年生のような、弧、丸み、および、垂直の、斜めのおよび／または水平の字体である。例えば、４つの端点を有する「Ｏ」は、信頼できそうである。「Ｓ」も、互いに異なる位置において４つの端点を有する。このように、文字認識において、例えば予め定められた端点の支持位置を有する最小偏差アルゴリズムは、発見された入力を当りに転換するために適用される。
以下において、ＯｎＭｏｖｅオペレータに関する詳細が記載される。本発明の一側面によれば、発明のＯｎＭｏｖｅオペレータは３×３画素を越えるので、発明コンセプトをすべてのスコープにおいて適用する。端点は最高６４ピクセル点からの特定の曲率および位置の代表であるので、各端点は最高６４ピクセル点によって係留される。このように、端点は、ロバストであり、例えば引き続く画像のなかでも発見される。従って、シフトする軌跡（オプティカルフロー）は、係留点として端点に固定することができる。オプティカルフローにより、例えば交通標識のような静止物体は、車両のような移動物体から切り離される。このように、例えば、移動物体は差し引かれる。
以下において、ＯｎＥｄｇｅオペレーションに関する詳細が記載される。本発明の一側面によれば、エッジ検出アルゴリズムは、普遍的に適用することができる。エッジは、例えば水平構造に追従する端点（赤いおよび／または赤でマークされた）から結果として生じる。軸に沿って求めたヒストグラムは、これが特定長の広範なエッジであることを確実に示す。
言い換えれば、本発明は、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」によって実行されるアルゴリズムと特に良好に組み合わせることができる。それとは別に、楕円検出に用いられるアルゴリズムも、発明コンセプトと結合して用いられることに適している。
本発明の一実施形態によれば、ビデオ支援ナビゲーションは、以下の通り実行される。
本発明の一側面によれば、フレームおよび／またはフレームワークの一側面およびコアは、輪郭セグメンテーション・ネットワークにおける物体検出を含む。この点に関して、例えばＶ．フェラーリ他による刊行物「輪郭セグメントネットワークによる物体検出」が参照される。
本発明の一実施形態によるビデオ支援ナビゲーションの発明コンセプトは、色領域の判定、曲率ベースのハフ点群の判定、ＯｎＭｏｖｅオペレータおよびＯｎＥｄｇｅオペレータの使用、および道路コース経路選択の判定を含む。
本発明の一側面によれば、発明のコンセプトは、神経生物学に基づく。一実施形態によれば、本発明は、色恒常性の変化および曲率に基づくハフパートを含む。すなわち、例えばロスカ教授によって記述されたオペレータ「ＯｎＭｏｖｅ」および「ＯｎＥｄｇｅ」がカバーされ、および／または、含まれ、ハフオペレータおよび／または並列ハフ変換の実行がオペレータＯｎＭｏｖｅおよびＯｎＥｄｇｅを形成する。本発明の一側面によれば、輪郭は、ＯｎＳｌｕｇｇｉｓｈオペレータに対応する色によって塗りつぶされる。発明コンセプトにより、それとは別に、輪郭の発見は、ハフオペレータによって、および／または、ハフ変換の実行によって実行される。更に、それとは別に、交通標識の検出および文字認識は、ハフオペレータを用いて行うことができる。
以下において、発明コンセプトが、方法および／またはコンセプトの本質を濾別するために、再び簡単に要約される。本発明の一実施形態において、画像は、車両の中または車両に搭載されたカメラによって記録される。図９は、例えばハイウェイＡ７１上で、パナソニック社のＧＦ２７ビデオカメラおよび／またはビデオカムを用いて、ドライブしている車から、搭乗者によって記録された一般的な画像を示す。図９において図示される画像は、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」を用いて得られた。対応するソフトウェアにおいて、閾値、検索される曲率半径範囲および更なるパラメータ（例えば並列ハフ変換のパラメータ）は、スライドコントロールによって設定することができる。ハフ変換は、例えば楕円検出と同様に実行することができる。
ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅは、入力画としてエッジコントロール画像を受け取る。楕円検出の比較のケースにおいて、エッジ輪郭画像は、楕円境界である。可視のマークされた点および／または赤い点は、発見された端点である。それらは、それぞれ曲率半径に関する情報を含む。実際に、カーブ・スケッチングの第１基本法則のデジタル解法を用いて、すべての機能は支持位置および２次派生（曲率半径）から表すことができる。複数の個々の画像（および／またはすべての個々の画像）の赤い点から、すべての引き続く画像のなかのサイドラインおよび／またはセンターラインに沿って常に追従することによって、ロードマップが生成される。また、まっすぐなストレッチを発見するために、ハフのコアにおいて、線形ハフ方程式がプログラムされ、その結果、異なる傾斜の直線が発見される。
ビデオ・デモンストレーションおよび／または自動車道のドライブのビデオ・デモが既に存在することに、更に注目される。ビデオのなかで、本発明の一実施形態によれば、赤いおよび／またはマークされた端点および／または集約された端点だけが図示される。場面は、車のなかに座って道路上を見る感覚を引き起こす。
以下において、図１０ａ‐１０ｈを参照して、本発明の更なる実施形態が記載される。ここで、図１０ａ‐１０ｈは、ビデオ支援ナビゲーションのための発明コンセプトのブロック図を示す。
図１０ａは、オリジナルビデオ画像、例えば画像のおよび／またはカメラ画像２０８の図解説明を示す。図１０ｂは、閾値処理された画像および／または閾値画像（閾画像）の図解説明を示す。図１０ｂの図解説明は、例えば、前処理画像２１２をここで図示することができる。
図１０ｃは、輪郭画像の図解説明を示す。図１０ｃによる輪郭画像は、例えば図１０ｂによる閾値画像からのエッジ検出によって、画像前処理のスコープ内で得ることができる。言い換えれば、図１０ｃによる輪郭画像は、例えば、前処理画像２１２に対応することができる。
図１０ｄは、端点画像の図解説明を示す。図１０ｄによる端点画像は、例えば図１０ｃによる輪郭画像から、（例えば並列の）ハフ変換の実行によって生成することができる。言い換えれば、図１０ｄによる端点画像は、例えば、前処理画像、または、代わりに、端点画像２３２のなかの円弧または楕円弧の端点に関する情報２２２に対応することができる。更に、図１０ｄによる端点画像は、加えて、図１０ｃによる輪郭画像のなかのまっすぐなストレッチに関する情報を含むことができる。
図１０ｅは、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」によって生成された端点画像を示す。図１０ｆは、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」の図解表現および図１０ｅによる端点画像を生成するための選択パラメータを示す。
図１０ｇは、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」を用いて、すなわちハフ変換の実行により生成された端点画像の更なる図解説明を示す。図１０ｈは、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅの図解表現および図１０ｇによる端点画像の生成のために選択されたパラメータを再び示す。
この点で、パラメータ「Ｃｏｒｅ Ｓｉｚｅ」は、画像点および／または画素における半径を決定することに注目すべきである。パラメータ「Ｔｏｐ Ｌｉｎｅ」および「Ｂｏｔｔｏｍ Ｌｉｎｅ」は、検索される曲率半径の範囲を決定する。パラメータ「Ｄｅｌａｙ ｎｏｔ ＳＵＭ」（ＤＬ ｎｏｔ ＳＵＭ）は、非常に多くの水平線が発見されないように割愛される端点（曲線）の周辺の範囲を決定する。組合せ部分画像から、ロードマップは、適切な部分ピースをオーバーレイし、投影の中心射影、スケール再生およびロードマップとの比較によって、画像をひずみ補正することによって組み立てられる。
以下において、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」によって実行されるハフ変換のパラメータが、再び簡単に記載される。ここで、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」の説明が参照される。パラメータ「Ｒａｗ」は、現在の画像フレームを表示するかどうかについて記述する。パラメータ「Ｔｈｒｅｓｈｏｌｄ」は、例えばスライドコントロールの助けにより設定することができる予め定められたグレイ閾値より暗い画像領域が表示されることを決定する。グレイ閾値は、しかしながら、例えば第１画像フレームのために自動的に算出することができる。それとは別に、手動設定は可能である。パラメータ「Ｅｄｇｅ」は、グレイ閾値より暗い画像領域の輪郭線を表示することを可能とする。パラメータ「Ｖｏｔｅｓ」は、楕円の頂点、および／または、円弧セグメントまたは楕円弧セグメントの端点が、マークされた点および／または赤い点として表示されるかどうかを決定する。パラメータ「Ｄｅｌａｙｌｉｎｅｓ」は、遅延レジスタの内容の指示または表示を行うかどうかを決定する。パラメータ「Ｅｌｌｉｐｓｅ」は、判定された楕円がプレビュー画面に表示されるかどうかを決定する。パラメータ「Ｆｒａｍｅ」は、所望の画像フレームおよび／またはビデオシーケンスの中のフレームを選択することを可能にする。パラメータ「Ｅｌｌｉｐｓｅ Ｒａｗ」は、代替方法も「フィッツギボン」の楕円が表示されるかどうかを決定することを可能にする。
パラメータ「Ｃｏｒｅ Ｓｉｚｅ」は、１つのハフ遅延レジスタおよび／またはいくつかのハフ遅延レジスタのサイズを変更する。
パラメータ「Ｔｏｐ Ｌｉｎｅ」は、ハフ遅延レジスタの上端部を変化させる。上端部がより低いほど、演算および／または計算の労力はより低い。探索される楕円半径の範囲は、しかしながら、これによって制限される。
パラメータ「Ｂｏｔｔｏｍ Ｌｉｎｅ」は、遅延レジスタの下端部に影響する。
パラメータ「Ｄｅｌａｙ ｎｏｔ ＳＵＭ」および／または「ＤＬ ｎｏｔ ＳＵＭ」は、局所化される楕円または円形の物体の半径の制限を生じさせる。
パラメータ「Ｈｏｕｇｈ Ｔｈｒ」（ハフ閾値）は、ハフ・ヒストグラム閾値の設定を可能にする。ハフ・ヒストグラム閾値がより低いほど、中断または切欠きまたはへこみのような楕円の干渉がより容易に許容される。
以下において、図１１ａおよび１１ｂを参照して、ハフ変換を用いてどのようにして軌道検出を実行することができるかについて再び簡単に示される。
この点において、車両のなかの光学システムによる交通標識検出とは別に、ハフ変換を用いて、視覚による軌道検出も実行できることに注目すべきである。この点において、車両のなかの光学システムによる交通標識検出とは別に、ハフ変換を用いて、視覚による軌道検出も行うことができることに注目すべきである。言い換えれば、車両が道路を離れて揺動し、および／または、道路を離れて揺動する恐れがあるときに、結果として警告することができる。システムは、このように、集中していないまたは取り乱したドライバのサポートとして役立つことができる。図１１ａおよび１１ｂは、ハフ変換の助けによる軌道検出の実施例を示す。図１１ａおよび１１ｂによる図解説明は、例えば自動車道の交通状況を示す。図１１ａおよび１１ｂの図解説明に関して、赤い点は、図示していない局所的曲率半径に関する情報を付加的に備える発見された端点を表すことに注目すべきである。図１１ａおよび１１ｂによる実施例は、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅを用いて生成された。前述のソフトウェアにおいて、例えば最大曲率半径、最小曲率半径、および／または、ハフ変換のために用いられない多くの画像行および／または画像列（「Ｄｅｌａｙ ｎｏｔ ＳＵＭ」）をセットすることができる。更に、例えば、曲率半径および／またはハフ・コアサイズをセットすることができる。ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅのために（および／または、そこで用いられるハフ変換を実行するアルゴリズムのために）、ＶＨＤＬファイルが、フレームグラバーシステム（訳注：画像入力システム）において用いるために既に存在することに注目すべきである。
言い換えれば、ハフ変換は、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）においてハフ変換を実行することによって、例えばフレームグラバーシステムにおいて直接用いることができる。
以下において、本発明の一実施形態において、端点画像に基づいて位置判定がどのようにして実行されるかについて、再び簡単に記載される。端点の形での中間表現（例えば赤くマークされた点によって表される）が生成された後、次のステップは中心射影であり、そこにおいて、例えばカメラの焦点幅および視線から、点の中心射影が座標変換によって実行される。単純に言えば、これは上から道路を見ることを意味する。言い換えれば、端点および／または集約された端点の平面図の形への画像化が実行される。
その後、マップは、パッチワークおよび／または個々のパーツから組み立てられ、毎画像について適切な接続点にオーバーレイされる。前に向けた移動が与えられると、例えば、すべての点の次の隣接値のみがお互いに関して最適にオーバーレイされる。これは、例えば、調整演算を用いて、最小偏差（SUM（Ｘ#i, Ｙ#i -Ｘ#i, Ｙ#i））2により画像の先行要素に関する平均シフト・ベクトルを判定することによって実行される。
次に、この情報は要約され、マップ情報は、位置計画の形で、および／または、マップの形で提供される。Ｘ，Ｙ座標は、線図形の形で、道のストレッチおよび弧のセクションのなかに組み合わされる。例えば、「絶対零位Ｘ０、Ｙ０でスタートし、５０メートル長の道のストレッチを角度３０°で進み、次にカーブの弧の部分を左に、等」の形の記述を生成することができる。ロードマップとの比較のためのコンピュータ演算のために、値は、テーブルに格納され、および／または、マッチング・シーケンスを見出す数値として格納される。
説明図がどのようにして生成できるかの手順に関して、端点画像の２次元説明図を用いて、あたかも上から見下ろしているかのように、以下において、投影幾何学形状について簡単に説明される。この点において、本発明によれば、従来のカメラモデルが用いられることに注目すべきである（Ｊ．ロボ、コインブラ大学、p. 37 以下による文献「コンピュータ視覚システムにおける慣性センサ・データ統合」を参照）。更に、Ｋ．シュライバーとＴ．ハスルヴァンターによる刊行物「３Ｄ−ビデオ眼球運動記録システムのキャリブレーションの改善」（生体医用工学に関するＩＥＥＥ研究論文、第５１巻、第４号、２００４年４月）が参照される。それとは別に、イェーネ教授、シュプリンガー出版による標準的教示「デジタル画像処理」から、対応する詳細を更に得ることができる。
ロードマップのために、平面図は有益である。建物の視界のために、しかしながら、垂直図は有益である。一番良いのは、例えば３Ｄグリッドモデルである。トップアングルからサイドまでの斜視図による道路のカメラ視界から平面図を再構成できることに、更に注目すべきである。
別の実施形態において、更に画像セクションのなかで、湾曲およびまっすぐなコースおよび／またはまっすぐなストレッチが判定される。更に、対応する実施形態において、ロードマップは、このスペースにおいて逆変換される。
それとは別に、本発明の一実施形態における投影マッピングの方法は、衛星画像からマップ素材を得ることと類似していることに注目される。
本発明の一実施形態において、更に道路の消滅点が判定される場合は、次に例えば消滅点より上のすべての点は地平線であるとして除去することができる。地平線は、構造化されていないコースであり、本発明の一実施形態において、曲率半径ヒストグラムから除去することができる。
本発明の一実施形態によれば、大きなマップは、いくつかの（例えば、投影によってマップされた）個々の画像から組み立てられる。このように、例えば、２つの引き続く個々の画像は、２つの画像および／または個々の画像の間の差分がオーバーラップ領域において最小化されるまで、お互いに関してシフトされ、ローテートされる。これによって、本発明の一実施形態において、複数の個々のオリジナルビデオ画像から、基本的に風景の平面図を表し、与えられた不必要な画像部分（例えば地平線のような）が除去された大きなマップが結果として得られる。
対応する説明図は、基本的に複数の端点画像（各々が多数の赤い点を含む）が座標変換され、組み合わされているので、例えば多数のマークされた端点および／または「赤い点」含む。
大きなマップに基づき、次に情報が集約され、その結果マップ情報が位置プランの形で存在する。Ｘ，Ｙ座標は、本発明の一実施形態において、線図形の形（および／または形状を表す線図形）を得るために、道のストレッチおよび弧のセクションに組み合わされる。複数の端点および／または赤い点からの集約された情報の生成に関して、これが地図作成の質問を提起することに注目すべきである。この点において、スケールは、例えば重要である。
本発明の一実施形態において、１秒当たり２５画像は、はるかに高い情報密度と見なされ、その結果、道路は、例えば半キロメートルまっすぐに進み、次に２０％（または２０°）右に進む、等の空間表示のみがなされる。この点において、本発明の一実施形態の手順は、しかしながら、衛星記録からのマップの生成と類似している。
以下において、多数の端点および／または集約された端点および／またはマークされた「赤い」点を含む平面図の要約によって、道路のコースを道のストレッチまたは弧のセクションのシーケンスとして記述するだけの説明を、どのようにして生成することができるかについて簡単に説明される。更に、以下において、ハフ変換によって提供される曲率情報をどのようにして評価することができるについて説明される。
隣接点の曲率半径の連続性から、道路のコースが存在するかまたは構造化されていない地平線のコースであるかについて結論付けることができる。端点および／または赤いマークされた端点を組み合わせるために、本発明の一実施形態において、第２のハフ変換が、車道の曲率を包括的に判定するために、端点および／または赤いマークされた端点に適用される。この点において、道路は、一般に予め定められた標準規格（例えばＤＩＮ標準規格）に従って架設されることに注目される。
以下において、本発明の実施形態によれば、道路のコースがどのようにして識別され、そこにおいて、座標変換された画像のなかで、すなわち例えば平面図のなかで、すべてが道路に帰属しない複数の線が存在すると仮定されるかについて説明される。このように、平面図のなかで、例えば線が、住宅、標識、通過者、木および他の物体に帰属して存在する。本発明の一実施形態によれば、これらの線は、道路の境界と区別される。道路のコースの対応する識別は、例えば連続性の評価基準および画像の複数のオーバーラップから行い、その結果、ビデオが監視されたときに、道路のオプティカルフローが結果として得られる。地平線は、よりジャンプする。言い換えれば、道路コースは、例えば道路コースがいくつかの画像のなかで連続的であり、一方で他の物体はより移動するという事実によって、画像のなかの他の物体と異なる。
マップ情報の判定（例えば、引き続く道のストレッチおよび弧のセクションを記述する情報の形での）は、「Ｇｏｏｇｌｅ−Ｅａｒｔｈ」（すなわち、例えば建物などの３次元モデルを用いている）を用いて判定される位置の前後関係において有効であることに更に注目すべきである。このように、本発明の一実施形態による２つのコンセプトは、普通の３Ｄモデルによって組み合わされ、そこにおいて、好ましくは水平視および／または垂直視が用いられる。
建物、車両または他の物体も、赤い点および／または識別された端点を残すことに注目すべきである。すなわち、例えば、建物の記録から生じている端点画像は、発明の方法による位置の識別のために、処理され、および／または、用いることができる。識別は、ここで、輪郭ラベリングを用いて実行される。詳しくは、上記説明とＶ．フェラーリ他による刊行物「輪郭セグメントネットワークによる物体検出」が特に参照される。
以下において、ビデオ支援ナビゲーションのコンセプトは、本発明の一実施形態によって再び段階的に要約される。この点において、ビデオ支援ナビゲーションの方法は、その第１ステップにおいて、例えば楕円識別と類似していることに注目すべきである。例えば閾値のようなパラメータは、すでに上述したプログラムＷｉｎＤｅｌａｙＬｉｎｅにおいてセットすることができる。ビデオ支援ナビゲーションは、以下のように段階的に実行される。

１．カメラを用いて画像を記録する。

２．閾値をセットする。
２値化（グレイ値のヒストグラム分布に従って適合可能であるべきである）；
より多くの場合は、ビデオに対しておよび／またはＸフレーム後の反復された再調整に対して；代替として各画像に最適閾値を設定する；
例えば、イェーネによる教科書に記載されているような標準画像処理；

３．輪郭を見つける。
輪郭発見アルゴリズムは、エッジ検出アルゴリズムの原則を除いた形態上のオペレータから組み立てられたアルゴリズムである。

４．ハフ変換の実行
ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅを用いて、画像のなかの端点が発見され、マークされる（例えば赤く）。すべての端点はＸ，Ｙ位置で表示され、付加的に曲率値を有する。生成された端点の群（「赤い群」）は、パラメータ「Ｃｏｒｅ Ｓｉｚｅ」、「最大曲率半径」、「最小曲率半径」、「Ｄｅｌａｙ ｎｏｔ ＳＵＭ」に依存して、多少は濃くてもよい。
この点において詳しくは、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅの記述が参照される。

５．輪郭記述言語（例えば、Ｖ．フェラーリによる記事「輪郭セグメントネットワークによるオブジェクト検出」において記載されたような輪郭記述言語）における総量および／またはテンプレートのセットを形成する。
例：まっすぐなストレッチ、次に左への鋭利なターン、右へのターン（ラリードライバのような）
常に更新され、現在のコースに適合する各ストレッチのためのコンポーネントベクトルを生成する。
一般的な方法（Ｖ．フェラーリの刊行物による）： 物体が線および円弧から組み立てられている場合に、物体がどのようにして組み立てられているかについて記述する。
例：角、上向きの線、Ｙセンチ、下向きの線、Ｘセンチ、曲率半径を有する湾曲の弧。

６．道路のコースは、線と弧から成る。
Ｎの引き続くおよび／または連続的なセクションの１つの探索ストリング、すなわち、例えば道路のコースの形のコンポーネント（湾曲、セクション１、セクション２、直線、湾曲、…）を持つ長さＮのベクトルは、記憶された探索ライブラリのなかの道路のコースと比較される。ここで、ＭＩＮアルゴリズム類別スキームが用いられる。

更に、ここで、好ましくはカーブ・スケッチングの主要原則が歓迎される。
すべての機能は、支持位置および２次派生体によって近似することができる。
これは、デジタルケースにおける限られた方法においてのみ正しい。
垂直線および水平線は発見され、円も問題ではないが、異なる勾配の直線については、この方法は一実施形態においてよく機能しない。
従って、好ましくはＷｉｎＤｅｌａｙＬｉｎｅにおいて、Ａ．ブリュックマン、Ｆ．クレフェンツおよびＡ．ヴュンシェによる刊行物「２Ｄ傾斜および正弦形状検出のためのニューラルネット」（インターナショナル・サイエンティフィック・ジャーナル・オブ・コンピューティング、第３巻、第１号、ウクライナ、２００４、ページ２１−２６）に記載されているような、ハフ・ライン・ファインダが用いられる。
言い換えれば、例えば、完全なコンピュータ・神経科学的な方位選択性のＨｕｂｅｌ−Ｗｉｅｓｅｌ解法が用いられる。
本発明の一実施形態による上述した方法において、好ましくはビデオ支援ナビゲーションのための中間ステップが導入されることは更に注目される。道路のコースは、好ましくは一致に関してマップにおいて自由にあちこちにシフトされることはなく、平均シフト・ベクトルによって誘導的に狙いをつけられる。識別された端点（赤い端点）にまたがる測定点グリッドは、Ｘ方向およびＹ方向におけるグリッドの平均シフトの自由度を算出することによって、フレーム毎の調整演算によりできる限り正確にフィットするように判定される。
同様に、例えば、グリッドのローテーションが算出され、その結果、画像フレームは、道路の完全なコースを処理するために、ピース毎にお互いに接続される。
詳しくは、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅに関して、それとは別に、Ｊ．カッツマンによる学位論文が参照される。
本発明の一側面によれば、支援ナビゲーションのための発明コンセプトも、ビデオＥＳＰと組み合わせることができる。ＥＳＰは、測定に関して部分的により正確であるが、ビデオＥＳＰは、このように車両がカーブおよび／またはかなり大きなベンドのなかへまたは必要以上に高速でドライブする長時間前にカーブの曲率が判定されるように、危険を予想する。
以下において、本発明の一側面によれば、どのようにして情報の減縮を行うことができるかについて記述される。本発明の一側面によれば、ロードマップの情報減縮は、発明コンセプトの実現における重要なステップである。カメラは、例えば秒当たり２５画像を記録し、画像セクションはオーバーラップする。これらの事情は、本発明の一実施形態によれば、例えば各画像のための調整演算を実行することによって、また引き続く画像を正確にフィットされたお互いの上にスタックすることによって、受け入れることができる。調整演算は、平均シフト・ベクトルを見つけ出し、一致する２つの画像の共通点をもたらすように試みる。スキームにフィットしないすべての異常値は、除去されおよび／または廃棄される。第２のハフ変換は、高次のパラメータ（高水準パラメータ）を得るために、残された端点（「赤い点」）をハフ変換することによって、更なる情報減縮のために役立つ。このように、第２のハフ変換によって、例えば絶対値を取り出し、および／または、抽出することができる。例えば、第２のハフ変換によって、例えば特定の曲率半径を有するカーブ（例えば、１００メートルの曲率半径の）が存在するという情報を得ることができる。
投影マッピングに関して、以下のことが注目される。投影幾何学形状によって、カメラの焦点、画角および他の幾何学パラメータから、変形されたカメラ画像が結果として得られる。３Ｄモデルにおける実世界の座標を算出するために、例えばイェーネまたはハセルヴァンターによる上述のモデルを用いることができる。他の実施形態において、変形されていないカメラ画像について十分に作動する（すなわち、投影マッピングのアプリケーションなしで）。実世界の座標の処理を実行することおよび／または実世界の座標のなかで移動することは、しかしながら、好ましい。
道路コースおよび／またはストレッチコースが用いられず、位置判定に関して、しかし、例えば建物の３次元ビュー（例えば、Ｇｏｏｇｌｅ‐３Ｄビュー）が用いられる位置判定に関して、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅは、地平線、交通信号、住宅正面、窓および／または水平および／または垂直の構造物を検出することが注目される。このように、識別された端点および／または赤い点が何を示しているかは、解説の問題である。ここで、Ｖ．フェラーリによる上記引用された刊行物によるテンプレートのデフォルトは、既知のパターン（例えば建物の文字または形状）を示す１つの考えられる意味のある方法である。このプールに対して、色はＯｎＳｌｕｇｇｉｓｈオペレータによって神経生物学的に流れる。
この世界はコーナー、エッジおよび湾曲から構成され、これからこの世界は組み立てられることに更に注目される。前述のコーナー、エッジおよび湾曲は、例えばハフ変換を用いて位置判定のために用いることができる。要約すれば、位置判定は、例えば沿道を用いるか、または、加えて住宅、形状および色をも用いて実行できることを、このように注目することができる。この点において、霧深いときは、沿道は、例えば（車両の）ヘッドライトの円錐における直接的な環境であることに注目すべきである。沿道は、このように絶対に必要なことに減縮される。更なる構造は、住宅、形状および色から生じるだけである。
ハフ変換の実行は、本発明の実質的な中心的思想であることに更に注目される。ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅは、端点を検出しおよび／または参照する。検出された端点は、世界および／または環境のフレームワークを形成する。本発明の一実施形態によれば、この基本思想は、神経生物学の最新の発見によって補充される。
本発明の一側面によれば、中心的思想は、物体が色および形状であることである。
本発明の一側面によれば、本発明の核心のパフォーマンスは、例えば以下の側面に存する。
− ハフ変換、例えばソフトウェアＷｉｎＤｅｌａｙＬｉｎｅによる
− フェラーリによる輪郭ラベリング
− カール・Ｒ．ゲーゲンファートナーによる色視覚（例えば、Ｋ．ゲーゲンファートナーによる記事「再訪される皮層における色」；ネイチャー・ニューロサイエンス、第４巻、第４号、２００１年４月発行を参照）
発明コンセプトと関連して、・アルゴリズムは、局所的配列のために用いることができることに更に注目される。
例えば、アビ・エプスタイン（デルフト工科大学）による学位論文「ライフサイエンスのための並列ハードウェア・アーキテクチャ」の第８章は、局所的配列のためのＳｍｉｔｈ−Ｗａｔｅｒｍａｎアルゴリズムの回路技術における完全な実現を記載する。前述のアルゴリズムのアプリケーションに関して、例えば、ＤＥ１０１１７８７０が参照される。
ビデオ支援ナビゲーションにおいて、利用可能なチップの完全な演算パワーを持つことは有益である。この場合において、そのままのチップが上述の学位論文の第７章に記載されているようなハフ・チップおよびＤＮＡシーケンサ・チップにより、フルパワーでシンボリックに道路シーンを参照するリアルタイムシステムが可能である。
前述の学位論文の第７章に記載されているようなハフ・チップは、ＥＰ１０３２８９１（タイトル：「単調な連続した軌道のなかの断片的で不安定な標識形態の検出と符号化のための方法および設備」、発明者：Ｆ．クレフェンツ）によって、回路技術におけるコンセプトの完全な実現を記載していることに注目すべきである。
端点メソッドと、交通標識検出および／または文字認識との組合せは、特に有益であることに注目すべきである。端点メソッドは、ビデオ支援ナビゲーションを交通標識検出および／または文字認識と組み合わせることが有益である限り、画像処理の扉を開ける。端点メソッドの助けを借りて、これは特に容易に実現される。
それとは別に、本発明は、以下においてまだ記載されていない複数の側面を含むことに注目すべきである。発明コンセプトは、一実施形態によれば、モデリング（メルクリン鉄道世界モデル）、太陽の高度の変換、最大近似による両世界の微細な分解と消滅、および類似物の生成の側面を含む。
更に、一側面によれば、本発明は、網膜オペレータ、色オペレータ、モーションオペレータ、エッジオペレータおよび塗りつぶしオペレータのアプリケーションを含む。好ましい実施形態において、サーチ空間は常に即効である。言い換えれば、好ましい実施形態において、常に１対１画像比較が実行される。探索が中断された場合に、探索空間は、車両が移動することができる画像スタックのなかでのみ探索が実行されるという事実により、制限される。１つの好ましい実施形態において、標準ビデオ識別技術が特徴探索のために用いられる。
端点メソッドは、端点が例えばそれらの曲率半径に従ってヒストグラム化することができるという事実によって、画像処理の新しい扉を開ける。これは、例えば、水平および／または垂直のストラクチャーを計数するだけよりも緻密に行うことができる。
本発明の更に別の側面によれば、標識（例えば場所標識、地名および／または速度制限）の読み込みは、発明コンセプトに導入される。文字に関して、例えば「Ｏ」のように、他の全ての文字および数字は、垂直、水平、凹状および／または凸状から組み立てられる。「Ｓ」は、ちょうど「Ｏ」のように４つの端点を有するが、端点の曲率および相対距離に関してお互いに異なる。このように、発明コンセプトは、識別された端点に基づく文字認識の実行を更に含む。
本発明の更に別の側面によれば、局所曲率によるセンターライン（中央分離帯）および沿道の検出から、ロードマップを作成することができる。この検出されたロードマップは、例えばロードマップ「バイア・ミシュラン」にオーバーラップすることができる。更に、一実施形態、例えば網膜チップによれば、ハフ・チップおよび／またはＳｍｉｔｈ−Ｗａｔｅｒｍａｎチップを用いることができる。このようにして、リアルタイムアプリケーションに関する、そして、端点メソッドに関する、従来システムよりも優れたシステムが結果として得られる。
３Ｄモデリングに関して、それとは別に、それが、ステレオビジョンカメラによる砂漠レースの方法と類似のことを行うことができることに注目される。このように、３Ｄモデルは再構成することができる。この点において詳しくは、刊行物「自動車のオリエンテーション、目的地まで安全に自律的に車両を運ぶ自動の新しいステレオビジョンセンサー」（ビジョン１／２００６、フラウンホッファー情報と通信技術、２２頁）が参照される。
以下において、それ自体によってまたは上述の側面と組み合わせて用いることができる本発明の更なる実施形態が、より詳細に説明される。対応する実施形態は、図１２〜１６を参照して、更に詳細に説明される。
図１２は、カメラからのカメラ画像に基づいて位置を判定する発明の装置のブロック図を示す。図１２による装置は、全体として２１００で示される。
装置２１００は、カメラ画像２１１２を受け取る前処理手段２１１０を含む。前処理手段２１１０は、カメラ画像２１１２から、前処理カメラ画像２１１４を生成するように実装される。装置２１００は、比較手段２１２０を更に含む。比較手段２１２０は、前処理カメラ画像２１１４およびモデル画像２１２４を受け取るように実装される。比較手段２１２０は、前処理カメラ画像２１１４およびモデル画像２１２４に基づいて、カメラ画像２１１２が記録された位置２１２６を判定するように実装される。
モデル画像２１２４に関して、モデル画像２１２４は、複数の単一色のおよび／またはモノクロ領域の形での環境の説明図を好ましくは含むことに注目すべきである。モデル画像２１２４は、関連する位置情報を更に含む。
モデル画像２１２４は、それとは別に、例えば、複数の幾何学物体の記述の形で、ネットワークの形で、または、立体物の記述に適している他の計算機読み取り可能な説明図の形で、環境を記述する３次元環境および／または外界モデルに通常は基づいている。
装置２１００は、３次元外界モデル２１３４に基づいて、モデル画像２１２４を生成するように実装されるモデル画像生成手段２１３０をオプションとして含む。
上述の構造記述に基づいて、以下において、発明の装置の機能がより詳細に説明される。前処理手段２１１０は、カメラ画像２１１２に基づいて、前処理カメラ画像２１１４を生成するように実装され、その結果、前処理カメラ画像２１１４のなかで、一緒に帰属しているカメラ画像２１１２の領域は、関連する広いモノクロ領域によって図示される。一緒に帰属している領域は、ここで、例えば、輪郭の形で、有意な色の変化の形で、または、有意な輝度の変化の形で、１つの周囲の領域または複数の周囲の領域から境界によって分離された領域である。言い換えれば、密接した領域は、境界線によってまたは輪郭によって、周囲の領域から分離される面および／または領域である。
言い換えれば、一緒に帰属している領域は、例えば領域の輪郭および／または境界がカメラ画像のなかで検出され、検出された輪郭および／または境界によって、囲まれた領域が一緒に帰属している領域として示されるという事実によって識別される。したがって、前処理カメラ画像のなかで、一緒に帰属している識別されたおよび／または検出された領域は、モノクロ領域によって表される。
説明において、カメラ画像の領域の色と前処理カメラ画像のなかの関連するモノクロ領域の色との間の関連が存在する。言い換えれば、少なくとも３つの複数の使用された色からの色が、前処理カメラ画像のなかの広いモノクロ領域と関係していることについての判定は、カメラ画像の対応するコヒーレントな領域のなかで発生している色を考慮してなされる。言い換えれば、広いモノクロ領域の色は、例えばカメラ画像の関連する領域が平均してどんな色を備えるかという事実に依存して選択される。このようにして、 カメラ画像２１１２のなかで色が異なる（および／または色に関して有意に異なる）領域は、前処理カメラ画像２１１４のなかの異なる色の領域によって図示されることが保障される。
前処理カメラ画像２１１４は、カメラ画像２１１２よりも少ない色を通常は含むことに、ここで注目すべきである。このように、カメラ画像２１１２の色空間における１つの領域は、通常は前処理カメラ画像２１１４のなかで１つの単一色にイメージされる。言い換えれば、カメラ画像２１１２のなかでわずかに変化する色を備える囲まれた領域および／または一緒に帰属している領域は、前処理カメラ画像２１１４のなかで広いモノクロ領域として図示される。前処理カメラ画像２１１４のなかで、このように、通常はカメラ画像のこの種の領域だけは、区別することができ、カメラ画像のなかのそれらの色に関する有意な（すなわち、予め定められた最小差分より大きい）差分を備える。色に関する差分は、例えば、色空間の（例えば、赤／緑／青の色空間における、または、他の色空間における）距離として定義することができる。
有意な色の差分は、ちなみに（どんな色空間に関しても）予め定められた最小色差よりも大きな色差である。有意な輝度差は、ちなみに予め定められた最小輝度差よりも大きな輝度差である。
図１３は、カメラ画像に基づいて位置を判定する発明の装置のブロック図を示す。図１３による装置は、全体として２２００により示される。装置２２００は、カメラ画像２２１２を受け取る前処理手段２２１０を含む。前処理手段２２１０は、前処理カメラ画像２２１４を提供し、前処理カメラ画像２２１４は、検出された線によって囲まれた複数の色領域を含む。装置２２００は、比較手段２１２０に基本的に対応するモデル画像／カメラ画像比較器２２２０を更に含む。モデル画像／カメラ画像比較器２２２０は、前処理カメラ画像２２１４およびモデル画像２２２４を受け取るように実装され、そこにおいて、モデル画像２２２４は、図１２によるモデル画像２１２４に基本的に対応し、前処理カメラ画像２２１４は、前処理カメラ画像２１１４に基本的に対応する。モデル画像／カメラ画像比較器２２２０は、ちなみにカメラ画像２２１２が記録された位置に関する情報２２２６を提供するように実装される。
以下において、前処理手段２２１０に関する詳細が参照される。前処理手段２２１０は、本発明の実施形態を記述するものであるが、図１２を参照して記載された機能性が満たされている限りにおいて異なって実装されてもよいことに、ここで注目すべきである。
前処理手段２２１０は、カメラ画像２２１２に基づいて前処理カメラ画像２２１４を生成するのに基本的に役立ち、その結果、前処理カメラ画像２２１４のなかで、カメラ画像２２１２において一緒に帰属している領域は、モノクローム領域によって図示される。
さらにまた、前処理手段２２１０は、加えて、オプションとして、カメラ画像２２１２から、更なる偽の影響、例えば移動または色純度エラーを除去するように形成することができ、前述の外乱（例えば移動および色純度エラー）が除去された前処理画像２２１４を生成することができる。
前処理手段２２００は、例えば、エッジ検出手段２２４０を、また領域検出手段２２４４を含む。エッジ検出手段２２４０は、カメラ画像２２１２を受け取り、カメラ画像２２１２のなかの検出エッジに関する情報２２４８を提供する。領域検出手段２２４４は、カメラ画像２２１２を受け取り、カメラ画像２２１２のなかの検出エッジに関する情報２２５２を提供するように、好ましくは形成される。
前処理手段２２１０は、オプションの整合性チェッカ２２６０を更に含み、それが存在する場合は、検出側面に関する情報２２４８と検出領域に関する情報２２５２との間の整合性をチェックするように、好ましくは形成される。例えば、整合性チェッカ２２６０は、情報２２４８によって記述されている検出エッジが情報２２５２によって記述されている検出領域を限定するかどうかをチェックように形成することができる。整合性がある、すなわち検出エッジが検出領域を限定する場合は、整合性チェッカは、パッチ生成器２２７０に対して検出エッジおよび／または検出領域に関する対応情報を好ましくは転送する。整合性がない、すなわち検出エッジ（情報２２４８によって記述された）が、検出領域（情報２２５２によって記述された）のエッジから極端に遠く離れている（すなわち、デフォルトの最大距離よりも大きい）場合は、整合性チェッカ２２６０は、例えば、整合性を再び獲得するために、エッジ検出部２２４０および／または領域検出器２２４４のパラメータを変更することができる。
また、整合性チェッカ２２６０が省略される場合は、カメラ画像２２１２のなかの検出エッジに関する情報２２４８および／またはカメラ画像のなかの検出領域に関する情報２２５２は、直接パッチ生成器２２７０に対して供給される。
このようにして、パッチ生成器２２７０は、検出エッジおよび／または検出領域に基づいて、複数の関連するモノクロの広い領域を生成し、全体として前処理カメラ画像２２１４を形成する。
エッジ検出部２２４０は、エッジの位置を特に高い精度で検出するように通常は形成されることをここで指摘すべきである。
言い換えれば、エッジ検出部２２４０は、線状輪郭または色移行を検出し、その位置を記述するように形成される。
例えば、エッジ検出手段２２４０は、カメラ画像をエッジオペレータによる処理に向ける処理手段とすることができ、その結果、エッジおよび／または色移行または輝度移行がハイライトされまたは強調される。
領域検出器２２４４は、しかしながら、色度および／または輝度がゆっくり変化する（例えば、長さの単位に対して許容されるデフォルトの最大偏差バリエーションより小さい）だけの領域を検出するように好ましくは形成される。このように、領域検出器２２４４は、例えば、カメラ画像のなかで、おおよそ同一色および／またはおおよそ同一輝度の領域を検出し、および／または、マークするように形成することができる。例えば、領域検出器２２４４は、コヒーレントな領域（例えば、異なる色の単一画素、または、例えば最高でもデフォルトの最大画素数を有する、異なる色のより小さい画素のグループ）における局所的外乱を抑制することができる。それでも、領域検出器２２４４は、通常は領域の輪郭および／または外側境界をマークすることができない。
このため、パッチ生成器２２７０は、１つの好ましい実施形態において、エッジ検出部２２４０からの情報２２４８を領域検出器２２４４からの情報２２５２と組み合わせるように形成される。パッチ生成器２２７０は、このように、例えば、エッジ検出部２２４０によって検出されたそのエッジが領域検出器２２４４によって検出された領域の縁辺の近くに位置する前述の情報２２４８、２２５２に基づいて判定されるように形成される。言い換えれば、パッチ生成器２２７０は、例えば、エッジ検出器２２４０によって検出されたさまざまなエッジが、領域検出器２２４４によって検出された領域からどれくらい離れているかについてチェックし、それに基づいて（またはそれに従属して）、検出エッジを検出領域の縁辺として検出するように形成される。
例えば、領域検出器２２４４によって検出された領域からの検出エッジの距離が、デフォルトの最大距離よりも小さい場合は、パッチ生成器２２７０は、例えば、検出エッジを領域検出器２２４４によって検出された領域の縁辺を形成するエッジとして類別することができる。
パッチ生成器２２７０が、領域検出器２２４４によって考慮され、検出された領域の縁辺を形成するすべてのエッジを一旦検出したら、パッチ生成器は、検出エッジによって囲まれた領域を、領域検出器２２４４によって考慮され、検出された領域と関係しているモノクロの広い領域として表すことができる。パッチ生成器２２７０は、これにより、カメラ画像のなかのコヒーレントな領域の色と前処理カメラ画像２２１４のなかの関連するモノクロの広い色領域との間に関連があるように、検出されたコヒーレントな広い領域を色で塗りつぶすことができる。
エッジ検出に関する詳細は、以下において記載される。エッジ検出のために、例えば、網膜の前処理または網膜部位の画像前処理を使用することができる。このように、例えば、実質的にエッジが強調される「ＯｎＥｄｇｅ」画像空間を判定することができる。この種の網膜部位の前処理は、例えば、Ｊ．ハーモリおよびＴ．ロスカによる刊行物「網膜部位の視覚経路の受容的なフィールド図解および動的な細胞ニューラルネットワークモデルを用いたその他の感覚器官」（「Ａｎａｌｏｇｉｃａｌ ａｎｄ Ｎｅｕｒａｌ Ｃｏｍｐｕｔｉｎｇ研究所、コンピュータと自動化学会、ハンガリーの科学アカデミー」により公表）に基づいて容易に理解することができる。網膜部位の処理に関する、および特に網膜部位のエッジ検出（「局所的エッジ検出器」）に関する更なる詳細は、Ａ．Ｋ．ラツァール、Ｒ．ワグナー、Ｄ．バルヤとＴ．ロスカによる記事「リファインＣ 網膜シミュレータによる網膜チャネルの機能的表示」に記載されている。網膜部位の処理に関する詳細は、引用された刊行物の参考文献においても見つけることができる。
さらにまた、エッジ検出は、例えば、２つの隣接する画像点の色度および／または明度値の差分（または勾配）の形成を通して得ることができることを指摘すべきである。言い換えれば、例えば、エッジを検出するために、１つは、２個以上の隣接する画像点の色度および／または明度値の局所的勾配を形成する。勾配が予め定められた閾値より大きな値（例えば、絶対値において）を有する場合は、これは、例えば、エッジの存在の局所的表示とみなすことができる。
好ましい実施形態において、エッジは、エッジ検出手段２２４０によって、色度および／または明度値の対応する高い勾配が検出された複数の（または少なくともデフォルトの最小数の）位置が、（まっすぐのまたは曲がった）線上において検出された場合にだけ、検出される。例えば、この種の検出は、パターン認識によって可能である。
以下において、エッジ検出において特に有益な、例示的な手順が記載される。
対応する手順において、例えば、最初に、カメラ画像のなかで、凸状または凹状にカーブした領域の端点または領域が判定される。この目的に対して、例えば、最初に、エッジ画像は、カメラ画像に基づいて生成され、そこにおいて、エッジ画像は、カメラ画像のなかの領域のエッジおよび／または境界を記述する。エッジ画像は、例えば、ラスタ行およびラスタ列の形で、すなわちビットマップとして、存在する。そこにおいて、例えば、楕円検出アルゴリズムがエッジ画像に対して適用される。
楕円検出の１つの方法は、例えば、Ｃ．Ｔ．ホーとＬ．Ｈ．チェンによる記事「楕円オブジェクト検出のための高速アルゴリズム」（イメージ処理に関するＩＥＥＥ研究論文、第５巻、第３号、１９９６年３月、５７４−５５０頁において公表）に記載されている。ハフ変換を用いて画像のなかの楕円を検出する他の特に有益な方法は、更に、事前公開されていないドイツ特許出願（出願番号１０２００５０４７１６０）に記載されている。
言い換えれば、曲線の端点または集約された端点は、楕円検出の公知の方法のうちの１つにより、しかしながら好ましくはハフ変換を用いておよび／またはＨｕｂｅｌ−Ｗｉｅｓｅｌ ネットワークを用いて、エッジ画像から抽出される。言い換えれば、検出されるのは、線コースのデフォルトの方向における最も先に位置する線コースの点である。検出位置は、このように曲線の端点を形成する。さらにまた、線コースの折点は、エッジ画像のなかで、適切なパターン認識アルゴリズムを通して（好ましくはハフ変換および／または Ｈｕｂｅｌ−Ｗｉｅｓｅｌ ネットワークを用いて）検出されてもよい。この目的に対して、例えば、エッジ画像のなかで、デフォルトの曲ったカーブコースと最大マッチを有する線コースが探索され、および／または、識別される。
図１３ａは、より良好な説明のためのマークされた端点および折点を有するエッジ画像の例を示し、図１３ｂは、イメージ処理のフレームワークの範囲のなかで、折点および端点を検出するための比較パターンの例示的な選択を示す。
図１３ａの図解説明は、全体として１２５０によって示され、他方では図１３ｂの図解説明は、全体として１２６０によって示される。図解説明１２５０は、例示的なエッジ画像を示す。検出された端点または折点は、ここで、黒く塗った円によって表される。図１３ａの図解説明から、特にエッジ画像のなかでまっすぐまたは斜めに置かれた正方形または矩形のコーナー点が折点としてマークされていることが判る。この点において、例えば、正方形および／または矩形１２５２、１２５４、１２５６が参照される。同様に、楕円の端点、すなわち楕円の第１の方向における最も遠く、または、第１の方向と反対方向における最も遠くに位置する楕円の点が、端点としてマークされる。さらにまた、楕円の第２の方向における最も遠くに位置する楕円の点は、並びに第２の方向と反対方向における最も遠くに位置する楕円の点が、端点としてマークされる。第１の方向は、ここで好ましくは第２の方向と異なる（そして、第１の方向は好ましくは第２の方向に対して垂直である）。説明のために、楕円１２５８が参照される。
前述した端点および／または折点の検出は、例えば、図１３ａによるエッジ画像のなかで特定のデフォルトパターンおよび／または比較パターンを捜すことによってなすことができ、そこにおいて折点または端点は、好ましくは各比較パターンと関連している。
比較パターンと端点との間の関連は、例えば、図１３ｂの図解説明１２６０において示され、そこにおいて比較パターン１２６２ａ〜１２６２ｄ、１２６４ａ〜１２６４ｄ、１２６６ａ〜１２６６ｄは、それぞれ関連する端点（黒丸によって特徴づけられた）を有する。言い換えれば、例えば、それ自身が曲った線のセグメントだけから成るパターン１２６２ａがエッジ画像１２５０のなかで検出される場合は、付随する折点は、エッジ画像のなかのパターン１２６２ａの存在から高精度で判定することができる。例えば、折点１２５２ａおよび１２５４ａは、エッジ画像１２５０のなかの比較パターン１２６２ａの検出を通して判定された。
それ故、端点および／または折点の検出に続いて、端点および／または折点の量に関する情報がある。さらにまた、好ましい実施形態において、どんな種類の端点および／または折点がそこにあるかの情報がある。
端点および／または折点の対応画像は、例えば、図１３ｃにおいて示される。例えば、図１３ｃの図解説明において、端点および／または折点は、図１３ｃの図解説明において特徴づけられている端点および折点のタイプとともに、黒い点で特徴づけられる。
本発明の好ましい実施形態において、端点および／または折点が帰属する幾何学形状は、検出された端点および／または折点に基づいて再構成される。このように、例えば、付随する幾何学形状は、端点および／または折点を通して、フィッティングメソッドの助けにより識別することができる。例えば、４つの折点１２７２ａ、１２７２ｂ、１２７２ｃ、１２７２ｄが矩形を定義することを検出することができる。同様に、対応する矩形の位置座標は、折点１２７２ａ、１２７２ｂ、１２７２ｃ、１２７２ｄの位置から判定することができ、その結果、例えば、２次エラーが最小化される。言い換えれば、識別できるのは、４つの折点１２７２ａ、１２７２ｂ、１２７２ｃ、１２７２ｄに最もフィットする矩形である。同様にして、上述の端点が帰属する楕円の位置パラメータおよび／または形状パラメータおよび／または大きさパラメータも判定することができる。
要約すれば、本発明の一実施形態によれば、カメラ画像のなかでマッチング領域を囲んでいる幾何学物体（例えば円、楕円、正方形、矩形、三角形、台形または平行四辺形）が、カメラ画像のなかで識別されることを、このように明確にすることができる。
識別された幾何学物体は、次に、前処理カメラ画像のなかのモノクロ領域の縁辺として用いられる。
言い換えれば、検出された端点または折点を通して、例えば、垂直線、水平線、凸状の円弧セクションまたは凹状の円弧セクションのような線状に形成された部分が判定され、それは前処理カメラ画像のなかのモノクロ領域の縁辺の一部として使用することができる。
また、折点および／または端点を用いて判定された幾何学物体（例えば円、楕円、正方形、矩形、三角形、台形または平行四辺形）は、中実領域と見なすことができ、その結果、検出物体は、前処理カメラ画像に対してモノクロに塗りつぶされた領域として加えられることを指摘すべきである。前処理は、ここで、独立に（すなわち、検出された幾何学物体による前述の領域の直接の生成を通して）、および、領域検出に関連して（例えば、図１３による領域検出器２２４４によって）の両方により、なすことができる。
モノクロに塗りつぶされた領域の直接判定は、既に上述されたように、折点または端点の識別を通して、そして、幾何学物体（または、それらの位置パラメータ、形状パラメータおよび／または大きさパラメータ）を識別された折点または端点に対してフィッティングすることによって、なすことができる。それに対する変形例として、幾何学物体の検出は、エッジ検出のためだけ（例えばエッジ検出器２２４０によるエッジ検出）に用いることができる。言い換えれば、検出された幾何学物体は、前述のケースにおいて輪郭および／またはエッジとして解釈できるだけである。パッチ生成器２２７０による実際の色領域の判定は、次に、エッジ検出器２２４０の情報２２４８（すなわち識別された幾何学物体のエッジ）の、領域検出器２２４４の情報２２５２（すなわち検出領域に関する情報）との組み合わせを通して、なすことができる。ここで、オプションの整合性チェッカ２２６０は、既に上述されたように、使用することができる。
さらにまた、前処理カメラ画像２２１４のなかの色領域の生成のための色修正器によって提供される情報を使用することが好ましい。オプションの色修正器は、図１３による図解説明２２００において２２８０によって示される。
色修正器２２８０は、カメラ画像のなかの色を修正するように好ましくは形成され、その結果、例えば、カメラ画像のキャプチャーの間に存在するような、前処理カメラ画像のなかの色は、実質的に照明状況から独立している。それは、（色修正器によって）処理されるカメラ画像の色度のために好ましく、その結果、例えば、前処理カメラ画像のなかの色度は、人間によって知覚されるような色度に対応する。
人の色覚に関する詳細は、例えば、ヴィンセント・ウォルシュによる記事「どのように皮層は色を構成するか？」（米国科学アカデミーの議事録、第９６巻、第２４号、１３５９−１３５９頁、１９９９年１１月２３日に公表）において記述されている。
言い換えれば、カメラ画像のなかの色度は、マッピングルールに従って、前処理カメラ画像のなかの色度にマップされる。例えば、人間によるものと同等として知覚されるカメラ画像のなかのさまざまな色は、前処理カメラ画像のなかで同一色にマップされる。
代わりにまたは加えて、プランクの放射法則を用いる色修正が色修正器２２８０において行われる。この目的で、例えば、照明がどんな色温度を有するかが判定される。言い換えれば、これが照明のどの色温度でキャプチャーされたかは、カメラ画像から抽出することができる。例えば、カメラ画像のなかで表される特定の領域が特定の色（例えば白）を有することがわかっている場合は、これにより現在の照明がどの色温度を有するかについて判定することができる。照明の色温度に基づいて、カメラ画像は、次に、変換および／または調整し、またはデフォルトの色温度に変換することができる。結局、照明の色温度がわかっている場合は、投射光の分光分布はわかっている。さらにまた、分光分布はデフォルトの色目標温度でわかっている。カメラ画像のなかのさまざまな色の割合がどれくらい強く更正されなければならないかについては、比率形式を通して判定することができ、その結果、カメラ画像は、あたかも予め定められた目標色温度および／または単位色温度でキャプチャーされたかのように見える。
言い換えれば、カメラ画像がキャプチャーされた実際の色温度および目標色温度がわかっているときは、カメラ画像は、あたかも目標色温度でキャプチャーされたかのように変換される。
このように、パッチ生成器２２７０に渡されるカメラ画像２２１２に関する修正色情報は、利用可能である。パッチ生成器２２７０は、それ故、修正色情報を色修正器２２８０から受け取り、前処理カメラ画像のなかの色領域に、修正色情報に基づいて、もちろん個々の色領域にのみ割り当てられている単一色で色をつけるように形成される。
以下において、前処理手段２２１０において、オプションとして、どのようにして移動要素が抑制できるかについて記載される。この目的で、前処理手段２２１０は、オプションの動き検出器２２９０を含む。動き検出器２２９０は、カメラ画像２２１２を受け取り、カメラ画像のなかの移動物体を検出するように形成される。動き検出器２２９０は、それ故、パッチ生成器２２７０にカメラ画像のなかの移動物体に関するオプションの情報２２９２を提供するように形成される。
代替実施形態において、動き検出器２２９０は、エッジ検出器２２４０および／または領域検出器２２４４に関して、上流に結合することもできる。これは、前述の代替ケースにおいて、動き検出器２２９０が、例えば、カメラ画像２２１２を受け取り、それに基づいてモーションを調整したカメラ画像を創出し、それをエッジ検出器２２４０および領域検出器２２４４に提供することを意味する。この場合において、エッジ検出器２２４０および領域検出器２２４４は、このように、もはやオリジナルカメラ画像ではなく、モーション補償されたまたはモーション調整されたカメラ画像を受け取る。
以下において、オプションの動き検出器の機能が記載される。動き検出器は、カメラ画像２２１２のなかの実質的に２種類のモーションを、代わりにまたは一緒に、検出できることが指摘される。
より良好な理解のために、カメラ画像２２１２をキャプチャーすることができるさまざまなシナリオが、ここで簡単に説明される。第１のシナリオでは、カメラ画像２２１２をキャプチャーするカメラが（少なくともおおよそ）静止しているとみなされる。説明のために、ここで、カメラ画像は、例えば、市街地または地方の風景、例えば車と歩行者の他に道路、住宅、木を表すと仮定される。ここで、第１のシナリオにおいては、通りおよび住宅は、カメラに関して移動しないので、静止している不変な画像に通ずると仮定することができる。一方では、例えば、歩行者および車は、カメラ画像２２１２を通して移動する。さらにまた、例えば、木の葉は、風によってかき回されることがあり、その結果、動画像のインプレッションもここで展開する。
また、第２のシナリオは、カメラ画像は、例えばカメラによって車両からキャプチャーされると見なすことができる。この場合において、車両と（大きさおよび方向に従って）同じ速度で移動していないすべての物体は、カメラに対して相対的に移動している。物体がカメラからより遠いと、カメラ画像のなかで知覚できるモーションはより少ない。言い換えれば、走行中の車両からのキャプチャーの場合でさえ、相対的に遠くの物体は、（少なくともおおよそ）静止しているように見えるが、車両により近い物体は、カメラ画像のなかでより速く移動する。一方、車両と同じ速度で移動している物体（例えば前方にドライブしている車両）は、カメラ画像のなかで、全くまたはほとんど移動しない。
この点において、位置判定のために実質的に重要なことは、空間的に静止した特徴（すなわち、例えば木または山のような自然の固定物体の他、ビルディングおよび通り）であることを指摘すべきである。移動可能な物体は、しかしながら、位置判定のため、または、妨げること（例えば他車両または人）のためさえ、付随的に重要である。
それ故、カメラ画像のなかの固定基準点に関して相対移動を有するような物体を、カメラ画像から除去することは、動き検出器２２９０の目的である。
この目的で、本発明の一実施形態による動き検出器は、カメラ画像のなかの空間的な固定基準点を識別し、更にカメラ画像２２１２のなかで固定基準点に対して相対的に移動している移動物体を識別するように形成される。さらにまた、動き検出器２２９０は、移動物体をマークし、移動物体が前処理カメラ画像２２１４から除去されるべきことを示す情報をパッチ生成器２２７０に提供するか、または、（固定基準点に対して相対的に）移動する物体がカメラ画像２２１２に基づいて除去されるモーション調整されたカメラ画像を直接生成するように形成される。
この目的で、動き検出器２２９０は、例えば、カメラ画像のなかの移動物体が、カメラ画像のなかで固定基準点に対して相対的に移動するかどうかについて、移動物体のサイズに基づいて、および／または、カメラ画像のなかの移動物体の画像の速度に基づいて、判定するように形成することができる。移動物体の固定基準点に対する相対移動が判定された場合は、移動物体は、前処理カメラ画像からの除去のためにマークされ、または、直接除去される。
また、移動物体の移動が、例えば、移動物体のセンターの移動だけでなく、移動物体のサイズの時間的変化によっても検出できることは、指摘すべきである。例えば、他の車両が車両に正面から接近する場合に、カメラ画像２２１２のなかの接近する車両の画像は、時間とともに増大するが、接近する車両の（例えば、画像の中央に定義されたような）画像位置は、わずかに変化するだけである。しかるに、移動は、例えば、移動物体を限定するエッジの移動によって明らかである。
また、例えば、物体（例えば前方を走行している車両）がカメラと同一速度で移動するという事実は、その物体がカメラ画像のなかで変化しないおよび／または時間的に不変な方法で（例えば、おおよそ）表されるという事実に反映できることは、指摘すべきである。例えば、動き検出器２２９０が、カメラ画像をキャプチャーしているカメラがどれくらい速く移動しているかに関する情報を受け取る場合に、動き検出器２２９０は、例えば、カメラ画像のなかのその表示が時間とともに全く変化しない、または、わずかに（デフォルト上側閾値以下で）変化する物体は、カメラとともに移動していると判定することができる。この場合において、動き検出器２２９０は、その画像（またはそのエッジ）が、カメラ画像２２１２のなかで時間的に不変である物体をカメラ画像から除去するように、または、前処理カメラ画像からの除去のためにそれにマークするように、形成することができる。
動き検出器２２９０は、カメラ画像２２１２をキャプチャーしているカメラがどれくらい速く移動しているかに関する情報をさまざまな方法で受け取ることができることは、指摘すべきである。例えば、動き検出器２２９０は、例えば、カメラが車両の中または上に搭載されたとき、車両の（道路に対して相対的な）相対移動に関する情報を得ることができる。
一般的に言って、動き検出器２２９０は、カメラ画像２２１２をキャプチャーしているカメラが、静止座標系（すなわち地球と固定的に結合される座標系）に対して相対的にどれくらい速く移動しているかに関する情報を、何らかの位置判定システム（例えばＧＰＳ位置判定システム）から得ることができることに注目すべきである。
それに対する変形例として、動き検出器２２９０は、カメラ画像２２１２のなかで、固定参照物体を表すものとしてわかっている参照物体を識別することもできる。カメラ画像２２１２のなかの参照物体の画像の移動から、動き検出器２２９０は、次にカメラ画像２２１２をキャプチャーしているカメラの移動を判定することができる。
代わりにまたは加えて、動き検出器２２９０は、例えば、カメラ画像２２１２をキャプチャーしているカメラが、どれくらい速く、および／または、どの方向に移動しているかについても、道路の画像から判定することができる。
要約すれば、本発明の一実施形態による動き検出器２２９０は、前処理カメラ画像２２１４から、固定の（通常は静止の）参照点に関して移動しているような物体を除去するように（または除去をもたらす対応信号をパッチ生成器２２７０に提供するように）形成されることを、一般に明確にすることができる。
本発明の更なる実施形態において、動き検出器２２９０は、加えてまたは代わりに、カメラ画像２２１２のなかで特に速く（すなわち与えられた最高速度より速く）移動している物体を、前処理カメラ画像２２１４から除去するように形成される。この種の物体は、例えば、カメラに特に密接に位置する物体とすることができる。対応する物体は、（例えば、カメラ画像に関して）特に速い移動（与えられた最高速度より速い）を有し、例えば、多くの場合において、シャープにキャプチャーできないために、通常は信頼性の高い位置判定のためには使用できない。１つの例として、道路の直接的な近くに位置する物体（例えば、建物または木）が、ここで言及される。物体が移動するカメラのより近くに来るほど、物体の画像はカメラ画像のなかでより速く移動する。物体は、一旦カメラに対してあまりに近くに来ると、もはやシャープに検出することができない。
それ故、本発明の一実施形態によれば、動き検出器２２９０は、カメラ画像２２１２のなかで、（カメラ画像を通して）与えられた最高速度よりも速く移動している物体を検出するように形成される。動き検出器２２９０は、これらの物体をカメラ画像からの除去のためにマークするように更に形成され、その結果、全体として、前処理カメラ画像２２１４は展開し、カメラ画像２２１２のなかで、与えられた最高速度よりも速く移動している物体は除去される。
ここで、カメラ画像のなかの移動速度によって意味されることは、例えば、物体がカメラ画像のなかで移動するカメラ画像あたりの画像点の速度であることは、指摘すべきである。例えば、カメラ画像あたり１画像点よりも速く移動している物体は、その位置情報は厳密でないので、前処理カメラ画像２２１４から除去されると定義することができる。しかしながら、別の閾値および／または走行レートの制限値を選択することもできる。
さらにまた、前処理カメラ画像２２１４からの物体の除去は、除去された物体をモノクロ領域によって置換することを含むことができることを指摘すべきである。モノクロ領域の色は、例えば、デフォルトの（その結果、カメラ画像２２１２のデフォルトの最高速度よりも速く移動しているすべての物体は、領域によってまたはデフォルトの色を有するいくつかの領域によって置換される）、または速く移動する物体が置換された領域の色の、いずれをも動的に選択することができる。例えば、カメラ画像２２１２のなかで物体が速く（デフォルトの最高速度よりも速く）移動している領域である場合に、例えば、前述の領域の平均色を判定することができ、そして、前述の領域は平均色のモノクロ領域によって置換することができる。
以下において、モデル画像がどのように生成されるかについて、さらに記載される。この点において、モデル画像は、発明の装置の範囲内において、または発明の装置に対して外部的にも、生成できることに、あらかじめ注目すべきである。発明の装置は、このようにモデル画像２１２４、２２２４を生成するように形成されるモデル画像生成デバイス２１３０をオプションとして含むことができることを、ここで指摘すべきである。
本発明は、しかしながら、位置判定システムにおいて使用されるように形成される分離したモデル画像生成デバイスも含むことを、ここで指摘すべきである。
モデル画像生成器が発明の装置の一部であるかどうかの事実とは独立に、モデル画像生成器は、好ましくは環境の３次元モデルを含むように形成される。言い換えれば、モデル画像生成器は、例えば、データベースまたは環境の他の記述を含む。その記述は、例えばさまざまな幾何学物体の位置を記述する、３次元モデルの記述言語の形で存在してもよい。３次元モデルは、しかしながら、環境をグリッドの形で記述することもでき、そこにおいてグリッドは表面を特徴づける。３次元モデルは、例えば、道路、建物、および、おそらく（オプションとして）草木も、を記述する環境および／または景観を記述することができる。さらにまた、３次元記述は、丘陵または山のような自然表面形状を記述することもできる。加えて、３次元モデルの３次元記述は、例えばＮ通りの標識、家屋番号、燈柱、電話ボックス、その他の、環境のいかなる人工の改造も、オプションとして記述することができる。
それは、選択可能な視点から見られるような環境の２次元ビューの生成に適するように選択される３次元モデルのために好ましい。言い換えれば、３次元モデルは、環境を電子形式で記述するように設計され、その結果３次元環境のさまざまな視点からのさまざまなビューを生成することができる。
３次元モデルは、幾何学物体（例えば領域、直方形、直方体、矩形、円、楕円、円筒）の表面がモノクロ領域によって記載されるように、好ましくは選択される。言い換えれば、モデルは、複数のモノクロ表面を通して環境を記述するように設計される。このことにより、モデルの複雑度は、モデルに基づいてビュー（モデル画像とも呼ばれる）を計算する労力と同様に、低い。
それ故、３次元モデルは、人間のオブザーバが特定の環境を識別するために充分な（中程度の）解像度で、環境を記述することを、明確にすべきである。しかしながら、３次元モデルの選定により、モデルによって記述される表面の色または表面のテクスチャは、必ずしも本当の色またはテクスチャとマッチする必要がない。それでも、モデルはコンパクトであり、このように自動処理に非常に適している。
図１４は、本発明によるモデル画像判定器の入力量および出力量の概略説明図を示す。図１４の図解説明は、全体として２３００によって示される。モデル画像判定器は、２３１０によって示される。モデル画像判定器２３１０は、前に述べたように、３次元モデル２３２０を受け取るように通常は形成される。さらにまた、モデル画像判定器２３１０は、オプションとして日付および／または時刻に関する情報２３２２を受け取るように形成される。さらにまた、モデル画像判定器２３１０は、オプションとして照明状況に関する情報２３２４を受け取るように形成される。モデル画像判定器２３１０は、オプションとして現在の可視性に関する情報２３２６を受け取るように、更に形成される。さらにまた、モデル画像判定器２３１０は、オプションとして、カメラ画像をキャプチャーするカメラの位置を（少なくとも粗くまたはおおよそ）記述するカメラ位置情報２３２８を受け取るように形成される。さらにまた、モデル画像判定器２３１０は、オプションとしてカメラ方位情報２３３０を受け取るように形成される。
モデル画像判定器２３１０は、３次元モデル２３２０によって記述される環境を複数のモノクロの色領域の形で記述するモデル画像２３４０を生成するようにも形成される。
通常は、モデル画像は、３次元モデル２３２０に基づく環境の２次元平面表示である。
モデル画像判定器２３１０は、通常は３次元モデル２３２０を受け取り、それに基づいて２次元モデル画像２３４０を生成するように形成される、３次元モデルから２次元モデルへの画像変換器を含む。好ましい実施形態による３次元モデルから２次元モデルへの画像変換器は、モデル画像２３４０を生成するときに、オプションの情報２３２２、２３２４、２３２６、２３２８、２３３０を考慮に入れるように、ここで形成される。この目的で、モデル画像判定器２３１０は、３次元モデル２３２０からモデル画像２３４０を生成するときに、現在の照明条件に関する情報２３２４によって記述されているように照明を調整する照明モデラーをオプションとして含む。照明モデラーは、例えば、太陽の位置を判定するために、および、モデル画像２３４０を計算するときに太陽の位置に関する情報を考慮に入れるために、オプションとして利用可能な日付および／または時刻に関する情報２３２２を更に考慮に入れることができる。言い換えれば、モデル画像判定器２３１０における照明モデラーは、太陽の位置および現在の照明状況の両方を考慮に入れる（例えば、照明の輝度に関する情報、拡散照明または点源による照明が存在するかまたは支配的かについての情報、その他更なる照明特定情報を備える）ように形成することができる。それ故、要約すれば、照明モデラーは、例えば、直接の日射状態（例えば晴天の場合）と拡散照明状態（例えば曇天の場合）との間を区別するように形成できることを、明確にすべきである。区別は、ここで、例えば、光の強さを判定する照明センサの情報に基づいて、またはカメラからのカメラ画像に基づいてなされる。さらにまた、照明モデラーは、太陽の位置を１日の時刻および／または季節の関数として判定することができるか、または、モデル画像２３４０の照明を計算するときにそれを考慮に入れることができる。これは、例えば、環境のパーツが大きな建物（例えば都市周囲）の日陰にある場合に、特に重要でありおよび／または有益である。この場合において、部分的に陰がついている建物の表面は、もはや同一の領域として見えず、陰の中にあって比較的暗く見えている第１の領域と、陰の外にあって比較的明るく見えている第２領域に分けられる。この場合において、モデル画像生成器は、例えば、モノクロの比較的暗い色領域による陰の中にある領域、および、比較的明るいモノクロ領域による陰の外にある領域を記述する。このようにして、全体として、モデル画像が実際の環境の認識に適合することが保証される。言い換えれば、モデル画像２３４０が、カメラによってキャプチャーされたカメラ画像と光と陰の環境に関して実質的にマッチするように、生成される。このことにより、位置判定のための画像比較が、カメラ画像およびモデル画像２３４０を用いて、特に信頼性の高い方法でなされることが保証される。
好ましい実施形態において、モデル画像判定器２３１０は、視認性モデラーを更に含む。視認性モデラーは、例えば、現在の視認性が霧または雨によって影響されるかどうかを示すオプションの視認性情報２３２６を受け取るように通常は形成される。この場合には、視認性モデラーは、例えばモデル画像のなかで視認性によってもはや可視でないような要素を抑制することによって、モデル画像２３４０を対応して適合させる。視認性情報２３２６は、例えば約１００メートルの視程を有する霧があることを示し、モデル画像判定器は、視程（すなわち、例えば約１００メートル以内）の中に存在する環境のような特徴だけを含んでいるモデル画像を生成する。他の特徴、すなわち視程よりも更に遠い特徴は、しかしながら、抑制される。それ故、モデル画像２３４０は、再び、カメラによってキャプチャーされたカメラ画像に適合する。
視認性がそのときどうであるかについての検出は、例えば光伝達距離に基づいて実際の視認性を判定する対応センサによってなすことができる。それに対する変形例として、カメラから提供されるカメラ画像も、どの物体が見えるかについて検出するために使用することができる。例えば、粗位置がわかっている場合は、理想的な視認性で環境を記述している暫定的なモデル画像を生成することができる。次に、モデル画像に含まれる物体のうち、どれがカメラ画像のなかでもはや見えないかを検出することができる。もはや見えない物体の位置は、３次元モデル２３２０からわかっているので、実際の視認性に関する情報は、３次元モデルに含まれる物体のうち、どれが実際のカメラ画像のなかでもはや見えないかについての情報から得ることができる。
また、それに対する変形例として、視認性に関する情報は、外部的に受け取ることもできる。視認性センサは、例えば変化する交通標識を有する自動車道またはハイウェイに沿っているケースのように、環境のなかに配置することができる。これらの視認性センサの情報は、発明の装置２１００および／またはモデル画像判定器２３１０に対して、例えばワイヤレスで伝送することができる。また、モデル画像判定器２３１０に対して視認性情報２３２６を提供するために、国中の気象観測所からの情報も、発明の装置２３００および／またはモデル画像判定器２３１０によって受け取ることができる。
更なる好ましい実施形態において、モデル画像判定器２３１０は、オプションとして季節モデラーを更に含む。季節モデラーは、そのときどの季節であるかについて、例えば時刻および／または日付に関する情報２３２２に基づいて（しかし、好ましくは日付に関する情報だけによって）、判定するように形成される。モデル画像判定器２３１０は、例えば、季節情報に基づいて、モデル画像２３４０のなかの草木の表示を調整することができる。例えば、装置２１００のユーザが、都市公園にいて、その上、正確な位置を判定することを望むときに、これは特に重要である。ユーザが、サマータイムの間に公園にいる場合は、公園の落葉樹は強力な葉状であると見なすことができ、それ故、視界が木の葉によって制限される。この場合において、木は重要なナビゲーションの特徴を表す。正確な葉の外観は、通常は予測できないが、例えば、木の葉はモノクロ領域を通して近似することができる。言い換えれば、夏の間におそらく葉によって覆われるモデル画像の領域は、モデル画像のなかでモノクロの緑がかった色相が割り当てられ、そこにおいて、正確な色相は、例えば存在する木の種類に依存させることができる。このようにして、モデル画像２３４０は、実質的にカメラによってキャプチャーされるカメラ画像にマッチし、それ故、信頼性の高いナビゲーションを可能にする。
しかしながら、装置２１００のユーザが、冬の間に同じ都市公園または同じ都市の草地にいる場合は、そこに存在する落葉樹はその葉を失っている。それ故、例えば、ユーザの視界は、公園を包囲している建物に開かれ、公園を包囲している建物は、位置判定のための実質的な特徴を表す。言い換えれば、モデル画像判定器２３１０は、この場合において、そのとき冬であると判定したとき、それらの幹（そして、おそらく若干の枝）のみによって木を表すが、加えて、モデル画像２３４０のなかで木の後に存在する建物または更なる特徴をも表す。それ故、モデル画像２３４０と、カメラによってキャプチャーされたカメラ画像との間の最適マッチは、冬の間においても保証され、それは再び最適位置判定に導く。
また、同じモデル画像を季節と独立に使用するときに、位置判定の信頼性の実質的な障害は、通常は夏または冬のいずれにおいても発生することを、指摘すべきである。それ故、発明の位置判定に用いられるモデル画像２３４０の季節依存の適合は、位置判定の信頼性における意味のある改善を可能にする。
また、モデル画像判定器２３１０は、オプションとして、加えて雪情報を受け取ることができることを、指摘すべきである。この場合において、季節モデラーは、例えば、モデル画像を生成するときに雪の存在を考慮に入れることができる。このように、景観または環境は、それが雪に覆われるときに、その外観において大きく変化するということを、容易に認知することができる。雪に関する情報は、例えば、カメラ画像から引き出すことができる。カメラ画像の大部分が白くまたはおおよそ白く見えることが判定された場合は、例えば、そこから雪があると推測することができる。例えば、カメラ画像のなかで白いまたはおおよそ白い領域がデフォルトの閾値よりも大きい割合に達することを検出することができる。この場合において、そこから雪があると推測されることができ、対応情報は、モデル画像判定器２３１０に渡すことができる。モデル画像判定器２３１０は、このように、雪が考慮されたモデル画像２３４０を生成することができる。この目的で、モデル画像判定器２３１０は、例えば、３次元モデル２３２０において、どの領域が地平またはおおよそ地平の領域であるかについて、判定することができる。この場合のモデル画像判定器は、雪の白い色相におおよそ対応する色を対応する地平領域に割り当てることができる。それに対する代替として、３次元モデル２３２０は、雪の場合において、３次元モデル２３２０のどの領域が雪に覆われているように表されるかを示す情報を含むことができる。例えば、対応情報を通して、雪があるときに、雪が取り除かれた通りは、モデル２３４０において雪に覆われているように表されないが、その一方で、雪が取り除かれない領域（例えば草原）は、雪に覆われているように表され、それ故おおよそ白い領域として表されることが保障される。
要約すれば、モデル画像判定器２３１０は、照明条件、視認性j条件、季節条件および／または気象条件に適合する方法でモデル画像２３４０を表すように好ましくは形成されることを、このように明確にことができる。この目的で、モデル画像判定器２３１０は、対応する照明条件、視認性条件、季節条件または気象条件に関する情報を受け取り、３次元モデル２３２０に基づいてモデル画像２３４０を対応して生成する。３次元モデル２３２０は、オプションとして季節変化（例えば、草木の）または気象学的に誘発される変化（例えば、雪）を表す季節条件または気象条件に依存するモデル画像２３４０のなかの変化を記述する付加情報をここで含むことができる。言い換えれば、３次元モデル２３２０は、例えば、季節変化または天気によって誘発される変化に対する適合を可能にするいくつかのパラメータを含む。
さらにまた、モデル画像判定器２３１０は、好ましい実施形態において、カメラ位置情報２３２８および／またはカメラ方位情報２３３０を得て、モデル画像を生成するときにそれを考慮に入れるように形成されるという事実が指摘される。カメラ位置情報２３２８は、例えば、カメラ画像をキャプチャーしているカメラの位置に関する情報を含む粗情報を表すことができる。カメラ位置情報は、例えば、発明のナビゲーションシステム以外のシステムによって得ることができる。例えば、カメラ位置情報は、衛星支援位置判定システム（例えば、ＧＰＳ）によって判定することができる。あるいは、カメラ位置情報２３２８は、わかっている始点に基づいて、カメラの移動を考慮に入れることによって得ることもできる。言い換えれば、カメラが一度居た位置がわかっていた場合は、カメラの現在位置は、カメラの移動を検出することによって少なくともおおよそ判定することができ、カメラの位置に関するこのおおよその情報すなわち粗情報は、カメラ位置情報２３２８として役立つことができる。
カメラ方位情報２３３０は、例えば、カメラの視野方向を記述することができ、更にカメラがどの画像部分をキャプチャーすることができるかについての（例えば、カメラの対物レンズのセッティングによる）情報を、代わりにまたは加えて持つことができる。言い換えれば、カメラ方位情報２３３０は、例えば、カメラの光軸の方向を記述し、また、カメラが環境の中の角度的に（例えば立体角に関して）大きい部分をキャプチャーする、例えば広角レンズを用いているか、または、環境の中の角度的に（例えば立体角に関して）小さい部分をキャプチャーする、例えば望遠レンズを用いているかについての情報を更に持つことができる。
この場合のモデル画像判定器２３１０は、３次元モデル２３２０に基づいて、カメラがある（カメラ位置情報２３２８によって記述された）位置から見たように見えるモデル画像２３４０を生成するように好ましくは形成される。ここで、モデル画像判定器２３１０は、好ましくは（しかし必然でなく）、カメラの視線方向を（カメラ方位情報２３３０を通して）、カメラによってキャプチャーされる立体角（これもカメラ方位情報２３３０によって記述された）に関する情報と同様に、考慮に入れるように形成され、それ故、カメラによって実際にキャプチャーされる領域を記述するようにモデル画像２３４０を生成する。それ故、また、カメラによってキャプチャーされたカメラ画像に対するモデル画像２３４０の最適な適合が、再び得られる。
以下において、カメラによってキャプチャーされたカメラ画像に基づいて、並びに、更にモデル画像に基づいて、位置が、カメラ画像をキャプチャーしているカメラを介してどのように判定されるかについて記載される。この点において、最初は、粗い位置判定のための方法が、特徴抽出と同様に、記載される。例えば、１つの特徴は、好ましくは特徴ベクトルも、生成されたモデル画像から（例えば、モデル画像２３４０から）抽出される。特徴ベクトルは、モデル画像の複数の特徴を記述する。例えば、特徴ベクトルは、以下において記載するように、水平ヒストグラムまたは垂直ヒストグラムを含むことができる。代わりにまたは加えて、特徴ベクトルは、モデル画像のなかの特有の領域に関する情報を含むことができる。特徴ベクトルは、例えば、モデル画像のなかでどれだけの特定色の領域が含まれているかについて示すことができる。それに対する変形例として、特徴ベクトルは、例えば、特定の色の領域の割合がモデル画像のなかでどれくらい大きいかについて示すことができる。例えば、特徴ベクトルは、特有の領域を、例えばそれらの形状、サイズまたは位置に関して、更に記述することができる。例えば、特徴ベクトルは、モデル画像のなかに含まれる領域のサイズを、その領域の広がりに関しておよび／またはその位置に関して、記述することができる。特徴ベクトルは、モデル画像の色特徴を記述することができ、例えば、どの色がモデル画像のなかで支配的であるかについて、更に示すことができる。言い換えれば、特徴ベクトルは、さまざまな色の割合に関する情報を含むことができ、それは、例えば、領域の割合に従ってソートされる。特徴ベクトルは、モデル画像のなかの消滅点に関する情報を、更に含むことができる。消滅点は、例えば、モデル画像のなかの矩形または直方形の物体のエッジの広がりを表している２個以上の線の交差点として定義することができる。この点において、遠近法によって見られたときに、平行のエッジの広がりが、消滅点とも呼ばれる位置で交差することが、指摘される。例えば、２つの消滅点の位置がわかっている場合は、例えば矩形のボディの位置は、オブザーバとの関係において、推測することができる。モデル画像のなかの特徴ベクトルは、距離特徴を更に含むことができ、例えば、それは特定の物体がお互いからまたはビューアの位置からどれくらい離れているかを示す。さらにまた、特徴ベクトルは、１つ以上の物体の角度位置（例えばお互いに関する、または、ビューアの位置に関する）を記述する情報を、オプションとして含むことができる。
本発明によれば、特徴または特徴ベクトルも、前処理カメラ画像から得られる。このように、前処理カメラ画像の少なくとも１つの特徴が、しかし好ましくは特徴ベクトルが、得られる。本発明の一実施形態において、前処理カメラ画像のために創生される特徴ベクトルが、モデル画像のために創生される特徴ベクトルと同じ特徴を記述することが、好ましい。しかしながら、また、モデル画像の特徴ベクトルが、前処理カメラ画像のための特徴ベクトルの特徴の（例えば本当の）サブセットを含むこと、またはその逆も、申し分なく充分に可能である。一般的に言って、モデル画像のための特徴ベクトルが、少なくとも１つの特徴、好ましくは複数の特徴を有すれば、前処理カメラ画像のための特徴ベクトルと共通して、充分である。
モデル画像のための特徴ベクトルおよび前処理カメラ画像のための特徴ベクトルにおいて共通して含まれる特徴は、次に特徴比較器において比較される。特徴比較器は、例えば、特徴の定性的または定量的マッチングを判定するように形成することができる。例えば、特徴比較器は、モデル画像および前処理カメラ画像のなかの同じ特有の領域の発生を検出するように形成することができる。特有の領域は、ここで、例えば特定の周囲の物体（例えば空、森林、草原、野原、通り、サイドレールまたは標識）を表しているその特性によって、特徴づけることができる。例えば、特徴比較器は、モデル画像と前処理カメラ画像の両方のなかで、それぞれの通り、および、それぞれの標識の一部が表示されることを判定することができる。代わりにまたは加えて、特徴比較器は、定量的特徴を比較することができる。特徴比較器が、例えばモデル画像および前処理カメラ画像のなかで定性的にマッチしている特徴を検出した場合に、特徴比較器は、特徴の性質の定量的な比較を実行することができる。例えば、特徴比較器が、モデル画像と前処理カメラ画像の両方のなかで標識が描写されていることを検出した場合に、特徴比較器は、例えば、モデル画像および前処理カメラ画像のなかの２つの標識の位置を比較することができる。本発明の更なる実施形態において、特徴比較器は、しかしながら、特徴比較器が対応するテキストの特徴を含む限り、標識に含まれるテキストを比較することもできる。
また、特徴比較器は、例えば、モデル画像の特徴ベクトルのなかの、および、前処理カメラ画像の特徴ベクトルのなかの更なる特徴（例えば、特定の色の割合）を、お互いと比較することもできる。
特徴ベクトルが（例えば、デフォルトの許容範囲を考慮に入れて）、モデル画像に帰属している特徴ベクトルと前処理カメラ画像に帰属している特徴ベクトルとのマッチが、デフォルトの最小マッチより大きいことを検出した場合に、特徴比較器は、カメラ画像がキャプチャーされた位置が、モデル画像によって記述された位置とマッチすることを判定することができる。言い換えれば、特徴比較器は、モデル画像がキャプチャーされた位置を位置情報として出力することができる。
更なる好ましい実施形態において、さまざまなモデル画像に帰属している複数の特徴ベクトルから構成されるデータベースがある。さまざまなモデル画像は、複数のさまざまな位置から見た環境をここで記述する。言い換えれば、ビューアの位置は複数のモデル画像からのモデル画像の各々と関係し、そこにおいて位置はお互いから異なる。それ故、特徴比較器は、前処理カメラ画像の特徴ベクトルに基づいて、モデル画像の特徴ベクトルに対して、前処理カメラ画像の特徴ベクトルが最大の類似性を有することを判定するように形成される。この目的で、例えば、２つの特徴ベクトルの間の距離尺度を（例えば、数学的基準の観点から）定義することができる。前処理カメラ画像の特徴ベクトルが、複数の特徴ベクトルからの特定の特徴ベクトルに対して最大の類似性（または数学的距離尺度に関して最小距離）を有すると判定された場合に、特定の特徴ベクトルに帰属している位置情報が、特徴比較器による結果として出力される。
全体として、位置は、前処理カメラ画像の特徴ベクトルと１つ以上のモデル画像の１つ以上の特徴ベクトルとの間の比較に基づいて判定できることを、明確にすべきである。
図１５は、本発明の実施形態による発明の位置判定手段のブロック回路図を示す。図１５のブロック回路図は、全体として２４００によって示される。ブロック回路図２４００は、位置判定手段２４１０を示す。位置判定手段２４１０は、１つ以上のモデル画像の１つ以上の特徴ベクトル２４１２を受け取る。位置判定手段２４１０は、例えば図１２による前処理カメラ画像２１１４または図１３による前処理カメラ画像２２１４に対応する前処理カメラ画像２４１４を更に受け取る。
位置判定手段２４１０は、前処理カメラ画像２４１４から１つの特徴、いくつかの機能または特徴ベクトルを生成するように形成される特徴抽出部２４２０を含む。特徴または特徴ベクトルは、例えば、次の機能の１つ以上を含むことができる：水平ヒストグラム、垂直ヒストグラム、特有の領域に関する情報、色特徴に関する情報、物体カテゴリまたは物体クラスに関する情報、消滅点に関する情報、距離特徴に関する情報。特徴または特徴ベクトル２４１２は、好ましくは、特徴抽出器２４２０によって提供された特徴または特徴ベクトル２４２２と同じ特徴を含む。位置判定器２４１０は、モデル画像すなわち特徴または特徴ベクトル２４１２の基礎となるモデル画像と関連している位置情報２４３０を受け取るように、更に形成される。特徴判定器２４１０は、特徴またはモデル画像に帰属している特徴ベクトル２４１２を、特徴または前処理カメラ画像２４１４に帰属している特徴ベクトル２４２２とともに受け取る特徴比較器２４４０を更に含む。
特徴比較器２４４０は、特徴または特徴ベクトル２４２２を、特徴または特徴ベクトル２４１２と比較し、特徴ベクトル２４１２から、特徴ベクトル２４２２との最大マッチの特定の特徴ベクトルを判定するように、このように形成される。特徴比較器２４４０は、特定の特徴ベクトル２４１２に帰属している位置情報２４３０を、位置判定結果２４５０として提供するように、更に形成される。
このようにして、特徴比較器２４４０は、前処理カメラ画像２４１４との最大マッチの特定のモデル画像を、それと関連する特徴ベクトルによって全体として識別することを、明確にすべきである。位置情報は、好ましくは各モデル画像と関連しているので、特徴比較器２４４０は、次に特定のモデルと関連している位置情報を結果２４５０として出力する。それ故、結果２４５０は、前処理カメラ画像２４１４が基礎とするカメラ画像がキャプチャーされた位置を記述する。
代替の実施形態において、位置判定器２４１０は、モデル画像２４６２を受け取り、既に上記定義されたように、モデル画像２４６２に基づいて付随する特徴ベクトル２４１２を生成するように形成される特徴抽出部２４６０を含むことを指摘すべきである。
また、位置判定の他の方法も用いることができることを指摘すべきである。このように、例えば、水平ヒストグラムおよび／または垂直ヒストグラムは、前処理カメラ画像２４１４とモデル画像２４６２の両方のために創出することができる。ヒストグラムは（水平ヒストグラムと垂直なヒストグラムのいずれでも）、例えば、前処理カメラ画像の個々の画像行または画像列のなかの色分布または輝度分布を記述することができる。例えば、前処理カメラ画像のなかで、（例えば）暗視野にある（例えば）特有の水平または垂直の明るい線が発生する場合に、輝度ヒストグラムのなかの対応する水平または垂直の線の位置において最大が発生する。しかしながら、いくつかの水平線が発生する場合に、対応するヒストグラムにおいていくつかの特有の極大点がある。
正確な位置判定のために、例えば、前処理カメラ画像２４１４に帰属しているヒストグラムは、モデル画像２４６２に帰属しているヒストグラムと比較することができる。ここで、例えば、記述された２つのヒストグラムがマッチするか、または記述された２つのヒストグラムがシフトを通してマッチすることができるかについてチェックすることができる。これは、例えば、ヒストグラム間の相互相関を通して判定することができる。例えば、それぞれ前処理カメラ画像２４１４およびモデル画像２４６２に帰属する２つのヒストグラムが、実質的にマッチしているが、お互いに関して特定量によってシフトされた場合は、例えば、カメラ画像がキャプチャーされた位置がモデル画像が生成された位置から特定量によって偏移すると判定することができる。このようにして、位置判定手段２４３０は、例えば、モデル画像に帰属している位置情報２４３０を（ヒストグラム間の検出されたシフトに基づいて）修正することによって、修正位置を、結果２４５０として出力することができる。
以下において記載されていることは、位置を判定する発明の方法である。この目的で、図１６は、位置判定の発明の方法のフローチャートを示す。図１６による方法は、全体として２５００によって示される。方法２５００は、第１ステップ２５１０において、カメラからのカメラ画像に基づいて前処理カメラ画像を生成することを含み、その結果、カメラ画像のマッチング領域は、前処理カメラ画像のなかのマッチしているモノクロの広い領域によって表される。ここで、カメラ画像の領域の色と前処理カメラ画像のなかでモノクロ領域に付随する色との間には関連があり、その結果、カメラ画像のなかで色が異なる領域は、前処理カメラ画像のなかで異なる色の領域によって表される。
方法２５００は、第２ステップ２５２０において、前処理カメラ画像を、環境モデルに基づくモデル画像と比較することを更に含む。環境モデルは、環境のビューを複数の領域の形で記述し、関連する位置情報を備える。比較に基づいて、カメラ画像がキャプチャーされた位置が判定される。
図１６による方法２５００は、発明の装置に関して記載されていたすべてのステップによって補充することができることを指摘すべきである。
さらにまた、個々の側面は、上述されたように、どんな形であれ組み合わせることができることを指摘すべきである。例えば、カメラ画像に基づいて前処理カメラ画像を生成することは絶対的に必須ではない。結局、モデル画像がカメラによってキャプチャーされたカメラ画像に適合される（例えば、照明、視認性、季節条件または気象条件のような環境条件を考慮に入れて）ことが提供された位置判定のために、更に前処理することなしに（または従来の前処理だけによって）モデル画像を用いることも可能である。この場合において、（対応して処理されるか適合される）モデル画像は、行われるべきカメラ画像の前処理をすることなく、カメラからのカメラ画像と（例えば、特徴、特徴ベクトルまたは他の画像検出法を用いて）直接比較することができる。
以下において、本発明は再び簡単に要約される。
本発明は、実施形態によるビデオ支援ナビゲーションのための方法および手段を含むことを指摘すべきである。好ましくは、しかし必然的にではなく、本発明はビデオ道路ナビゲーションを取扱う。本発明の好ましい実施形態によれば、車両はビデオカメラを搭載している。ビデオキャプチャーは、ビデオ解析を通して、記憶されたキャプチャーと比較され、そこから現在位置が判定される。例えば、道路の交差、標識、住宅、通りのコースまたは分枝点の風景画像は、優れた基準画像として役立つ。データ格納は、例えばＧｏｏｇｌｅ３Ｄビューを含むことができる。代替の実施形態において、例えば、ドライバは自動的に新しいシーンを供給する。言い換えれば、データ格納は、新しい画像がビデオカメラによってキャプチャーされたときに自動的に補充される。識別アルゴリズム（ビデオキャプチャーに基づく位置判定を可能にする）は、例えば、特徴撮影シーンにおけるビデオシーケンス識別において、または、画像類似性解析において使用されるような識別アルゴリズムである。記載された方法の利益は、ＧＰＳ信号（および／または付加的な位置情報）が必要ないということである。
本発明の一実施形態によれば、適切な比較法を用いたときに、ビデオ参照キーが圧縮形式で存在することが考えられる。これにより、全ての領域（例えばバーデン―ヴュルテンベルク）は、格納において、フォトライブラリとして差し出すことができる。
以下において、本発明の一実施形態によるビデオ支援に関する詳細は、より詳細に説明される。この点において、システムのさまざまな特徴は、単独で使用することもできることを指摘すべきである。言い換えれば、本発明は、以下に記載されるように、完全なシステムを実現することに限定されず、単独でとられるような個々の側面も含む。
本発明の一実施形態によれば、周囲は、走行している車両からからビデオカメラによってキャプチャーされる。特徴ベクトルとしてファイルされる時空特徴は、（ビデオカメラによって生成される）画像スタックから引き出される。特徴ベクトルは、コンテンツ検索方法を通して、記憶された特徴ベクトルシーケンスと比較される。最大のマッチは、車両の瞬時位置を示し、および／または、車両の位置に関する結論を描くことを可能にする。
一定の不変な特徴ベクトルを生成するために、網膜部位の画像前処理が使用され、および／または、上流で実行される。入力画像（例えばビデオカメラから提供される）は、網膜前処理を通して、３つの画像空間「ＯｎＭｏｖｅ」「ＯｎＳｌｕｇｇｉｓｈ」および「ＯｎＥｄｇｅ」に分解される。「ＯｎＭｏｖｅ」は、移動を判定することができる網膜オペレータである。「ＯｎＳｌｕｇｇｉｓｈ」は、エッジの中のセグメントを塗りつぶす網膜オペレータである。「ＯｎＥｄｇｅ」は、エッジを検出する網膜オペレータである。
３つの空間（すなわち画像空間）は、（オプションとして）整合性のために点検され、および／または、クロスチェック（共通の境界、連続領域の）され、パッチおよび／または領域がそこから生成される。展開画像（例えば前処理カメラ画像）は、このようにセグメント化されたパッチおよび／または領域から構成される。
この後、構造化要素を解くために、神経生理学的に発見された更なる処理が続く。
色恒常性マップにおいて（オプション）、色度は、ゼキおよびロスカによる方法によって、人間によって知覚されるように処理され、その結果、自然の照明条件下で、空は青、草原は緑、および菜種畑は黄色である。色が近接するフィールドはマークされる（例えば空、森林、草原、野原、通り、サイドレール、住宅の色、標識）。
前述の手順に関して、例えば、ビンセント・ヴァルシュによる記事「皮層はどのようにして色を形成するか？」が、Ｊ．ハーモリおよびＴ．ロスカによる刊行物「網膜部位の視覚経路の受容野図とダイナミック・セルラー・ニューラルネットワーク・モデルを用いたその他のセンサ器官」とともに、参照される。この点についての更なる情報は、例えば、Ａ．Ｊ．カールマンによる学位論文「色恒常性および色コントラスト― 色のついた陰影の助けによる探索」（ヨハネス―グーテンベルグ・マインツ大学の生物学部においてファイルされた）において見出すことができる。
さらにまた、色処理に関するいくつかの詳細は、Ｓ．テクトメーヤーによる刊行物「ロボット・サッカーのための実際的問題‐視覚の知覚力」（ミュンスター大学のコンピュータ・サイエンス学会のセミナー「エージェントとロボット・サッカー」のフレームワークでの公表）においても記載されている。
Ｈｕｂｅｌ−Ｗｉｅｓｅｌ計算マップにおいて、凸状または凹状に曲がった領域の端点はエッジ画像から判定される。これにより、直線部分が記載される（例えば垂直線、水平線、凸または凹の円弧セクション）。
端点（または集約された端点）は、例えば、正方形、矩形、円および／または楕円を、これらの支持位置（すなわち、例えば、端点によって定義される支持位置）にフィットさせるまたは適合させることを試みることによって、お互いに参照される。
パッチ画像において、例えば、垂直線セグメントの空間周波数を判定するために、２次元高速フーリエ変換（ＦＦＴ）が実行される。
デジタル値は、色領域に割り当てられる。色温度は、単位色温度に調整するために、プランクの放射法則に従って判定される。
パッチまたは領域は、固定の線状境界を有する、色恒常的な、セクション別のモノクロ領域から構成される。
領域は、ＯｎＳｌｕｇｇｉｓｈオペレータによって塗りつぶされ、色恒常性マップを通して領域が（少なくともおおよそ）モノクロになる。
領域は、ＯｎＥｄｇｅオペレータおよびＨｕｂｅｌ−Ｗｉｅｓｅｌ線分割によって固定の境界が与えられる。
円、楕円、正方形または矩形のような幾何学物体は、特別な物体クラスとして取り扱われ、例えば、交通標識、タイヤ、住宅正面またはウィンドウとして解釈される。
パッチまたは領域は、水平パッチおよび垂直パッチに類別される。水平パッチは、消滅点判定を通して類別される。居住領域の外側のカテゴリは、例えば、道路、森林、野原、草原、空、海、その他である。空、地面および海を分離するために、例えば、地平線が判定される。
以下において、２次元（２Ｄ）および／または３次元（３Ｄ）モデリングまたは２Ｄ―３Ｄモデリングがどのようにして実行されるかが記載される。本発明の一実施形態において、既に存在するニューヨークのモデルのような Ｇｏｏｇｌｅ−Ｅａｒｔｈ３Ｄモデルは、基準データとして役立つ。写真測定、投影マッピング、共直線性方程式および／または均等化を通して、３Ｄモデルは、例えば、基準点としてカメラの視野方向にローテートされる。Ｇｏｏｇｌｅ３Ｄハウスモデルのグレイ領域は、例えば、オリジナルの彩色によって提供される。例えば、ジャイロおよび／またはカメラの旋回デバイスの助けにより、瞬時位置が判定され、例えば、この画像部分が示される。ここで、アフィン変形は、消滅点の探索によって、および、３Ｄ立方体モデルへの逆演算によって、算出される。
以下において、陰影付け（「シェーディング」とも呼ばれる）は、どのようにして行うことができるかが記載される。陰影は、非常に強く特にストリートキャニオンに訪れる。方位および／または１日の時刻および／または日付の判定によって、太陽の位置を判定することができる。光線追跡の方法（レイ・トレーシング法）を通して、本発明の好ましい実施形態において、陰影のコースが計算される。例えば、現在時刻の陰影は、例えば、Ｇｏｏｇｌｅ ３Ｄモデルにおいて、モデルの中に計算することができる。例えば、陰影付けは、レティネックス理論によって計算される。
以下において、オプションの動き検出は、どのようにして行うことができるかについて記載される。この点において、固有の動きは、どのようにして評価することができるかについての事実が最初に取り扱われる。車両（その中またはその上にカメラが搭載された）は、例えば、直線的に走行し、加速するかまたは回転運動を実行する。速度および半径方向の距離に依存して、個々の画像はもはや分解されない（例えば高速度電車の隣接する軌道上の枕木を参照）が、更に離れた物体は明瞭に見える。検出されたぼやけたエッジは、このように常に見える部分から切り離される。速度に依存するフローパターンは、しかしながら、解析のために（例えばカメラ画像をモデル画像と比較するために、および／または、位置判定のために）利用されない。
直線的なまたは加速された固有の動きによって、物体はより近くに近寄る。これは、参照モデルに関して、ズームインすることによって補償される。固有の動きによって、物体は視界から離れる。これは、同時に参照モデルを前進することによって考慮される。ローテーションを通して、物体は視界から離れる。これは、参照モデルの同時ローテーションによって考慮される。
以下において、震動は、どのようにして打ち消されるかが記載される。画像安定化のために、カメラは、好ましくは震動のない方法で支持され、および／または、電子的震動補償ユニットをオプションとして組み込むことができる。
以下において、相対運動は、どのようにして評価することができ、および／または、考慮することができるかが記載される。他の車両は、その車両（すなわち、例えばカメラが搭載された車両）に対して相対的に移動する。例えば、他の車両は、追い越すか、接近するか、立ち去るか、または、レーンを横切る。これら（すなわち、移動可能な車両）は、信頼性の高い特徴ではないので、それらは好ましくは画像から（すなわち、カメラ画像からおよび／または前処理カメラ画像から）計算される。この目的で、他の車両は、ＯｎＭｏｖｅ検知器によって検出され、特徴づけられる。
さらにまた、風は雲を移送し、木を鳴らすことを指摘すべきである。これらの構造は、特定の表現力を有しないので、「モジャモジャとした、および、フサフサとした」ようにマークされる。
以下において、例えば水平／垂直ヒストグラミングを用いる単調検知器が記載される。水平ヒストグラミングまたは垂直ヒストグラミングは、固有の特徴に高い表現力を与える単調検知器である。特徴ベクトルは、速度および距離に依存して拡張または収縮する一連の時空３Ｄ色立方体である。パターン探索における一時的に拡張可能な滞在時間は、スケール不変探索アルゴリズムによってサポートされる。
以下において、位置判定は、絞りを通して、どのようにして強化できるかについても、記載される。カメラは、好ましくは、自動的に調節可能な絞りが提供されるか、または太陽の直接放射による幻惑効果を緩和するために自動的に調節する。
以下において、探索は、どのようにして実行できるかについて記載される。好ましい実施形態において、パターンベクトルは各画像シーケンスと関連している。探索アルゴリズムの補助により、および／または、いくつかの探索アルゴリズムにより、パターンベクトルのシリーズは、記憶されたシリーズと比較され、パターンベクトル・シーケンスとマスター・シーケンス（すなわち、例えば記憶されたシリーズ）との間の距離が出力される。例えば、位置は、次に距離から判定される。
また、本発明を理解することに役立つことができる更なる情報は、例えば、以下の刊行物からとることができることを、指摘すべきである。
ジョルジュ・ヌノ・デ・アルメイダ・エ・サウサ・ロボ：「コンピュータ・ビジョン・システムにおける慣性センサのデータ統合」（Ｍ．Ｓｃ．コインブラ大学、理工学部および電気・コンピュータ工学部門の学位論文）
Ａ．バルテルスおよびＳ．ゼキ：「人間の視覚脳における色中心のアーキテクチャ」（ユール・Ｊ．ノイロッシ、１２（１）、１７２−１９２、２０００）
Ｊ．ロマヤ：「陸地のモンドリアン視覚実験のコンピュータ・モデル」（Ｅｕｒ．Ｊ．ノイロッシ、１２（１）、１９１−１９３、２０００）
Ａ．バルテルスおよびＳ．ゼキ：「大脳皮質のクロノアーキテクチャ」（王立協会Ｂ議事録、２００５、３６０、７３５−７５０）
Ｋ．ゲーゲンファートナー：「再訪された皮層における色」（ネイチャー・ニューロサイエンス、第４巻、第４号、２００１年４月、ネイチャー出版グループ）
Ｌ．リュッティガー他：「局限された一側性の脳障害後の選択的な色恒常性の欠損」（ニューロサイエンス・ジャーナル、４月１５日、１９９９、１９（８）、３０９８−２３１０６）
要約すれば、網膜前処理が現在の特許の実質的な側面を表すことを、このように明確にすることができる。本発明によれば、色恒常性はここで得られる（ゼキによる刊行物も参照）。さらにまた、さまざまな網膜オペレータが使用される（ロスカによる刊行物も参照）。さらにまた、例えばクレフェンツによって記載されたＨｕｂｅｌ−Ｗｉｅｓｅｌ ネットワークが使用される。本発明の他の重要な側面は、視線の瞬時方向に対するモデルのローテーションによる Ｇｏｏｇｌｅ３Ｄハウス参照である。
本発明の更なる側面は、例えば（少なくとも着色化に関して）建物または住宅のオリジナルの塗装が３Ｄモデルのなかで用いられるということである。
また、発明の位置判定のためのモデル画像の生成は、例えば、網膜画像によって供給される運転シミュレータに対応することを指摘すべきである。言い換えれば、ユーザが車両とともに移動しながら、ユーザの近似のまたは推定された位置に適合されたモデル画像が生成される。正確なおよび／または微細な位置の判定は、例えば、モデル画像をカメラ画像および／または前処理カメラ画像と比較することによって行われる。本発明の一実施形態によれば、得られることは、網膜画像によって供給される世界的な運転シミュレータである。
以下において、本発明の更に別の側面が記載される。本発明の一側面によれば、それは以下に従う。
形状 ＝ 色領域 ＋ 輪郭
このように、例えば、色比率が一定な色領域は、網膜および色空間の変換および逆変換によって生成することができる。輪郭は、色領域を取り囲む。そこにおいて、例えば、「グラフィック画像中の楕円の形状および／または位置に関する情報を判定する装置、方法およびコンピュータ・プログラム」というタイトルの未公開ドイツ特許出願ＤＥ１０２００５０４７１６０．９−５３（発明者：フランク・クレフェンツ）に記載されているにように、局所的端点が判定される。各局所的端点は、局所的曲率半径に関する情報（例えば画素において）をも持つ。これにより、物体または任意の形状は、端点の支持位置を通した着実な連続的方法、および、端点を通る曲率半径を通したそれらの仮想復元および近似において、組み立てることができる。これにより、物体検出は、効率的かつ容易に可能である。例えば、この方法は書体の検出に適している。例えば、文字「Ｏ」は４つの端点を有する。４つの端点に対応する曲率半径を載せるとき、「Ｏ」は着実に連続的な方法で構成することができる。この方法は、例えば、実際の物体シーン、例えば車に対して拡張することができる。
加えて、異なる傾斜の線状の要素が探索され、それは、例えば、対応するパターン・プログラミングによる並列ハフ変換メソッドによっても可能である。ハフ変換メソッドは、例えば、ＥＰ１０３２８９１に記載されている。
キャラクタのパターン認識の記載された方法は、どのようにして皆が文字を描画するかの一種に対応することを、指摘すべきである。例えば、Ｂは、２本のアーチ（「くねった線」）を有する垂直ストロークである。コンテンツ検索方法から知られるように、多くの水平および垂直の線は、ブロック環境のヒストグラムにおいて判定され、記録される。本発明による方法は、例えば、本発明の一側面によれば、ヒストグラムまたは曲率半径がプロットされ、さまざまな曲率半径（例えば３、４、５、６、７、または曲率半径として無限のピクセル数を有する）が画像のなかでどの程度計数されたかが計数されるので、ずっと正確である。格納されたヒストグラムは、探索パターンの現在のヒストグラムと比較される。
言い換えれば、ハフ変換を実行するときに、本発明によれば、検出された線コースがどの曲率を有するかが判定される。次に、さまざまな曲率半径の頻度がプロットされるヒストグラムが創生される。モデル画像のために創生された対応するヒストグラムは、次に現在のカメラ画像および／または前処理カメラ画像のためのヒストグラムと比較される。充分なマッチングがある場合に、現在のカメラ画像および／または前処理カメラ画像は、充分な精度でモデル画像とマッチすると判定される。言い換えれば、さまざまな曲率半径の曲線の出現頻度に関する情報を提供する前述のヒストグラムは、例えば、上述した特徴ベクトルの一部であることができる。
また、Ａ．エプスタインによる博士論文「ライフサイエンスのための並列ハードウェア・アーキテクチャ」は、局所的配列のためのＳｍｉｔｈ−Ｗａｔｅｒｍａｎnアルゴリズム（「スミス―ウォーターマンの局所的配列アルゴリズム」）の完全な回路実現を記載していることを指摘すべきである。前述のアルゴリズムは、例えば、「ハミングによるデータベース・クエリー」アプリケーション（ハミング・アプリケーションによるクエリー）においても使用することができる。前述のアルゴリズムは、「楽譜を基礎とした記述における楽音標識の認証のための方法および装置、並びに、データベースのなかの音楽標識の参照のための方法および装置」というタイトルのＤＥ１０１１７８７０（発明者：フランク・クレフェンツ、カールハインツ・ブランデンブルグ、および聖マッテヤ・カウフマン）においても記載されている。
ＤＮＡ塩基配列判定法は、「ハミングによるデータベース・クエリー」アプリケーション（ハミング・アプリケーションによるクエリー）における制限時間係数ではない。ビデオ支援ナビゲーションにおいて、しかしながら、利用可能なチップの最大計算パワーを利用することが好ましい。エプスタインによる博士論文の第７章に記載されているように、ハフ変換チップを使用することによって（線セグメントのパターン認識および／または識別を実行するために）、および、エプスタインによる博士命題の第８章に記載されているように、ＤＮＡ塩基配列判定チップを使用することによって、例えば、シンボリックに通りのシーンをフルパワーで参照する実時間システムを創生することができる。エプスタインによるハフ変換チップは、ＥＰ１０３２８９１（「単調な連続した軌道における断片的で不安定な標識形態の検出と符号化のための方法および設備」発明者：フランク・クレフェンツ）による装置および／または方法の完全な回路実現を表すことを指摘すべきである。
図１７は、本発明によるカメラからのカメラ画像に基づいて位置を判定する方法のフローチャートを示す。図１７による方法は、全体として１７００によって示される。方法１７００は、第１ステップ１７１０において、カメラ画像またはカメラ画像の前処理されたバージョンのなかで円弧または楕円弧を識別するために、および、カメラ画像またはそこから引き出された前処理されたバージョンをさまざまな方向に通過する複数のまっすぐなストレッチを識別するために、カメラ画像を、または、カメラ画像の前処理されたバージョンをハフ変換することを含む。方法１７００は、第２ステップ１７２０において、識別された円弧または楕円弧および識別されたまっすぐなストレッチに基づいて、識別された円弧または楕円弧および識別されたまっすぐなストレッチをパラメータによって記述する位置記述を設定することを含む。方法１７００は、第３ステップ１７３０において、位置記述をデータベースのなかの複数の比較用位置記述と比較し、比較の結果として位置に関する情報を取得することを更に含む。
さらにまた、方法１７００は、本記載において説明されるすべてのステップによって補充することができる。
本発明は、対応するコンピュータ・プログラムも含む。言い換えれば、本発明による装置および本発明による方法は、ハードウェアまたはソフトウェアにおいて実装することができる。実装は、プログラム可能なコンピュータ・システムと協動することができる電子的に読み取り可能な制御信号を有するデジタル記憶媒体、例えばディスク、ＣＤ、ＤＶＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリの上に行うことができ、その結果対応する方法が実行される。一般に、本発明は、このように、コンピュータ・プログラム製品がコンピュータ上で実行されたときに発明の方法が実行されるように、機械読み取り可能な媒体に記録されたプログラムコードを有するコンピュータ・プログラム製品でもよい。言い換えれば、本発明は、コンピュータ・プログラムがコンピュータ上で実行されるときに、発明の方法を実行するためのプログラムコードを有するコンピュータ・プログラムとして実現することもできる。
要約すれば、本発明は、このように、カメラ画像に基づいて、位置の判定において実質的に精度および信頼性を増大させることができるコンセプトを提供することを、明確にすることができる。

Claims (21)

  1. カメラからのカメラ画像（１１２）に基づいて位置を判定する装置（１００）であって、
    前記カメラ画像のなかでまたはそこから引き出される前処理されたカメラ画像のバージョンのなかで円弧または楕円弧を識別し、前記カメラ画像または前記前処理されたバージョンをさまざまな方向に通過する複数のまっすぐなストレッチを識別するように形成され、そこにおいて、識別された円弧または楕円弧の位置に関する情報を提供し、識別された円弧または楕円弧の曲率半径に関する情報を提供するように形成される、ハフ変換器（１１０）と、
    前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチに基づいて、前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチをパラメータによって記述する位置記述（１２２）を得るように形成され、そこにおいて、前記識別された円弧または楕円弧の位置記述は、前記識別された円弧または楕円弧の位置に関する情報および前記識別された円弧または楕円弧の曲率半径に関する情報を含む、位置記述設定器（１２０）と、
    前記位置記述を、複数の比較用位置記述（１３２）と比較し、比較の結果として、位置に関する情報（１３４）を得るように形成され、そこにおいて、前記位置記述（１２２）の特徴ベクトルと前記比較用位置記述（１３２）の特徴ベクトルとの間の差分を形成し、前記比較用位置記述のうちの１つに対する差分が十分に小さいことに応答して、前記対応する比較用位置記述（１３２）に帰属している位置情報を結果として出力する、データベース比較器（１３０）と、
    を備えた位置判定装置。
  2. 前記位置記述設定器（１２０）は、前記位置記述として、識別された円弧または楕円弧の順序付けられた記述（３７０）として前記ストレッチコースを再現する前記道路のコースの記述を得るように形成される、請求項１に記載の位置判定装置。
  3. 前記位置記述設定器（１２０）は、車道のエッジ（２５６ａ、２５６ｂ；２７４ｂ、２７４ｃ）、レーン境界または車道のセンターを含む前記位置記述（１２２）を得るように形成される、請求項１または２に記載の位置判定装置。
  4. 前記ハフ変換器（１１０）は、前記識別された円弧または楕円弧の位置、弧の長さまたは曲率半径に関する情報を提供し、前記識別されたまっすぐなストレッチの位置、長さまたは方向に関する情報を提供するように形成される、請求項１ないし３のいずれかに記載の位置判定装置。
  5. 前記位置記述設定器（１２０）は、前記ハフ変換器（１１０）によって提供された、弧のコースのパラメータおよびまっすぐなストレッチのパラメータから、前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチを記述する前記位置記述（１２２）を得るように形成される、請求項１ないし４のいずれかに記載の位置判定装置。
  6. 前記位置記述設定器（１２０）は、選択された隣接する識別された円弧または楕円弧またはまっすぐなストレッチをパッチングすることによって、前記道路のコースの記述を設定するように形成され、
    前記位置記述設定器（１２０）は、識別された円弧または楕円弧および識別されたまっすぐなストレッチの全部から、前記道路のコースの記述に用いられる前記選択された円弧または楕円弧またはまっすぐなストレッチを選択するように形成され、前記選択された円弧または楕円弧およびまっすぐなストレッチがデフォルトの始点（３５４）からデフォルトの終点（３５６）への道路の連続コースを記述する、請求項１ないし５のいずれかに記載の位置判定装置。
  7. 前記カメラからの画像（２０８）または前処理されたカメラ画像を投影マッピングによってマップし、前処理された画像の展開が、前記カメラからの画像（２０８）が景観の全景を表示するときに、前記カメラによってキャプチャーされた景観の平面図（２６６）を表示するように形成される、画像マッパー（２６４）を含む、請求項１ないし６のいずれかに記載の位置判定装置。
  8. さまざまな瞬間にキャプチャーされたカメラ画像（２０８）または前処理されたカメラ画像を、複数（２６６、２７０ａ、２７０ｂ、２７０ｃ）組み合わせて組合せ画像（２７４）とするように形成される、画像組合せ器（２７２）を含む、請求項１ないし７のいずれかに記載の位置判定装置。
  9. 前記画像組合せ器（２７２）は、組み合わされる第１の画像（２６６および組み合わされる第２の画像（２７０ａ）を、オーバーラップ領域において、お互いに対してローテートされたまたはお互いに対してシフトされた前記組合せ画像の偏差が、定義済みの偏差ルールに従って十分に小さくなるまで、お互いに対してシフトするかまたはローテートするように形成される、請求項８に記載の位置判定装置。
  10. 前記画像組合せ器（２７２）は、組み合わされる前記画像のシフトのための開始値を、予め判定された平均シフト・ベクトルに基づいて選択するように形成される、請求項８または９に記載の位置判定装置。
  11. 前記位置記述設定器（１２０）は、前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチに基づいて、前記道路のコースの連続するセクションを記述する特徴ベクトルを生成するように形成される、請求項１ないし１０のいずれかに記載の位置判定装置。
  12. 前記データベース比較器（１３０）は、前記特徴ベクトル（１２２）を位置に関係した複数の比較用特徴ベクトル（１３２）と比較し、前記特徴ベクトルと前記比較用特徴ベクトルとの間の差分の尺度を得て、前記特徴ベクトルに帰属している前記位置（１３４）を、前記差分の尺度に基づいて判定するように形成される、請求項１１に記載の位置判定装置。
  13. 前記カメラ画像（１０８）のなかでエッジを検出し、前記カメラ画像に基づいて、前記カメラ画像の前処理されたバージョンとして前記エッジ画像を生成するように形成されるエッジ検出器（２１０）を含む、請求項１ないし１２のいずれかに記載の位置判定装置。
  14. 前記エッジ検出器（２１０）は、カメラ画像（１０８）を閾値を用いてモノクロ画像に変換し、前記モノクロ画像のなかでエッジを検出するように形成される、請求項１３に記載の位置判定装置。
  15. 前記画像のなかでエッジを検出し、前記画像に基づいてエッジ画像を生成するように形成されるエッジ検出器（２１０）を含み、
    前記ハフ変換器（１１０）は、前記識別された円弧または楕円弧に関する位置情報（１１４）を提供し、前記識別されたまっすぐなストレッチに関する位置情報（１１６）を提供するように形成され、
    前記位置記述設定器（１２０）は、前記道路のコースの記述（１２２）を、円弧または楕円弧およびまっすぐなストレッチの順序づけられた組合せ（３７０）の形で生成し、それらが一緒に前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチを基準として前記道路のコースを記述するように形成され、
    前記データベース比較器（１３０）は、前記順序づけられた記述（３７０）の形での前記道路のコースの記述を、円弧または楕円弧のおよび／またはまっすぐなストレッチの順序づけられた組合せの形での道路の比較用コースを記述する複数の比較用記述（１３２）と比較し、前記道路のコースの記述と前記比較用記述との間の偏差の尺度を判定し、そして前記道路のコースの記述と前記道路の特定の比較用コースの前記比較用記述との間の偏差がデフォルトの閾値よりも小さいか、または、道路の残された比較用コースのために判定された偏差よりも小さい場合に、道路の特定の比較用コースに関連づけられた前記位置情報を前記特定位置（１３４）として提供するように形成される、
    請求項１に記載の位置判定装置。
  16. 前記カメラ画像（１１２）に基づいて、または前記複数のカメラ画像に基づいて、車両の位置を判定するように形成される、請求項１ないし１５のいずれかに記載の位置判定装置。
  17. 前記カメラは、前記車両の前方にある景観または前記車両の後方にある景観をキャプチャーするように車両に取り付けられる、請求項１ないし１６のいずれかに記載の位置判定装置。
  18. 前記位置記述設定器（１２０）は、識別された円弧または楕円弧またはまっすぐなストレッチの表示として環境を記述している環境記述を、前記位置記述（１２２）として得るように形成される、請求項１ないし１７のいずれかに記載の位置判定装置。
  19. 前記データベース比較器（１３０）は、前記位置記述（１２２）を複数の比較用位置記述（１３２）と比較し、前記比較の結果として前記位置に関する情報（１３４）を得るように形成され、
    前記比較用位置記述は、前記環境の３次元モデルに含まれる円弧または楕円弧およびまっすぐなストレッチを記述する、
    請求項１８に記載の位置判定装置。
  20. カメラからのカメラ画像に基づいて、位置を判定する方法（１７００）であって、
    前記カメラ画像または前記カメラ画像の前処理されたバージョンのなかで円弧または楕円弧を識別し、前記カメラ画像またはそれから引き出された前記前処理されたバージョンをさまざまな方向に通過するまっすぐなストレッチを識別するために、前記カメラ画像または前記カメラ画像の前処理されたバージョンをハフ変換し（１７１０）、そこにおいて、ハフ変換によって、識別された円弧または楕円弧の位置に関する情報および識別された円弧または楕円弧の曲率半径に関する情報が提供され、
    前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチに基づいて、前記識別された円弧または楕円弧および前記識別されたまっすぐなストレッチをパラメータによって記述する位置記述を設定し（１７２０）、そこにおいて、前記識別された円弧または楕円弧のための位置記述は、前記識別された円弧または楕円弧の位置に関する情報および前記識別された円弧または楕円弧の曲率半径に関する情報を含み、
    比較の結果として前記位置に関する情報を得るために、前記位置記述をデータベース内の複数の比較用位置記述と比較し（１７３０）、そこにおいて、前記位置記述（１２２）の特徴ベクトルと前記比較用位置記述（１３２）の特徴ベクトルとの間の差分が形成され、前記比較用位置記述のうちの１つの差分が十分に小さいことに応答して、前記対応する比較用位置記述（１３２）に帰属している位置情報が結果として出力される、
    位置を判定する方法。
  21. コンピュータ・プログラムがコンピュータ上で実行されるときに、請求項２０に記載の位置判定方法を遂行するための、コンピュータ・プログラム。
JP2009543394A 2006-12-29 2007-12-27 カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム Expired - Fee Related JP4746137B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006062061.5 2006-12-29
DE102006062061A DE102006062061B4 (de) 2006-12-29 2006-12-29 Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
PCT/EP2007/011437 WO2008080606A1 (de) 2006-12-29 2007-12-27 Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild

Publications (2)

Publication Number Publication Date
JP2010515135A JP2010515135A (ja) 2010-05-06
JP4746137B2 true JP4746137B2 (ja) 2011-08-10

Family

ID=39311526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543394A Expired - Fee Related JP4746137B2 (ja) 2006-12-29 2007-12-27 カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム

Country Status (5)

Country Link
US (1) US8121350B2 (ja)
EP (1) EP2087459B1 (ja)
JP (1) JP4746137B2 (ja)
DE (1) DE102006062061B4 (ja)
WO (1) WO2008080606A1 (ja)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123242B2 (en) * 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
JP2009259215A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP4656456B2 (ja) * 2008-10-22 2011-03-23 日本電気株式会社 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
EP2214122B1 (en) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
GB0911981D0 (en) * 2009-07-09 2009-08-19 Movix Uk Ltd Data processing system using geographical locations
US20110039573A1 (en) * 2009-08-13 2011-02-17 Qualcomm Incorporated Accessing positional information for a mobile station using a data code label
DE102009043705A1 (de) * 2009-10-01 2011-04-07 Silicon Micro Sensors Gmbh Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8941726B2 (en) 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
DE102009060600A1 (de) * 2009-12-23 2011-06-30 Volkswagen AG, 38440 Verfahren zur Zuordnung von Fahrstreifen zu einem Fahrzeug
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP5536491B2 (ja) * 2010-03-01 2014-07-02 ダンロップスポーツ株式会社 ゴルフスイングの診断方法
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
FR2959052B1 (fr) * 2010-04-16 2012-12-28 Thales Sa Dispositif d'assistance embarque au suivi d'une route aeroportuaire par un aeronef
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
US9229089B2 (en) 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
JP5489885B2 (ja) * 2010-06-30 2014-05-14 三菱重工業株式会社 車両位置算出システム及び車両位置算出方法並びにそのプログラム
DE102010045511A1 (de) * 2010-09-15 2012-03-15 Daimler Ag Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild
US20130002854A1 (en) * 2010-09-17 2013-01-03 Certusview Technologies, Llc Marking methods, apparatus and systems including optical flow-based dead reckoning features
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
TWI439947B (zh) * 2010-11-11 2014-06-01 Ind Tech Res Inst 辨識人體移動行為之方法及系統
US8619074B2 (en) * 2010-12-10 2013-12-31 Xerox Corporation Rendering personalized text on curved image surfaces
JP5505729B2 (ja) * 2011-01-27 2014-05-28 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
FR2972061B1 (fr) * 2011-02-24 2013-11-15 Mobiclip Procede de calibrage d'un dispositif de prise de vue stereoscopique
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
FR2976354B1 (fr) 2011-06-10 2013-06-14 Thales Sa Procede de creation d'un chemin de roulage sur une zone aeroportuaire et dispositif associe.
DE102011081428A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
DE102011084993A1 (de) 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
DE102011118147A1 (de) * 2011-11-10 2013-05-16 Gm Global Technology Operations, Llc Verfahren zum Ermitteln einer Geschwindigkeit eines Fahrzeugs und Fahrzeug
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN103177236B (zh) 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
WO2013101045A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Navigation systems and associated methods
JP5804185B2 (ja) * 2012-03-06 2015-11-04 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
DE102012103669A1 (de) 2012-04-26 2013-10-31 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung
JP6062041B2 (ja) 2012-05-07 2017-01-18 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
KR101372023B1 (ko) * 2012-05-31 2014-03-07 현대자동차주식회사 차량 주변의 이동체 감지 장치 및 방법
US9147122B2 (en) * 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
CN104509091B (zh) * 2012-07-27 2019-03-26 日产自动车株式会社 水滴检测装置以及使用水滴检测装置的三维物体检测装置
DE102012106932A1 (de) 2012-07-30 2014-05-15 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung mit Positionspunkten
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
DE102012016868A1 (de) * 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102012107885A1 (de) * 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US10002433B2 (en) * 2012-12-26 2018-06-19 Nippon Soken, Inc. Boundary line recognition apparatus and branch road determination apparatus
US10083613B2 (en) * 2013-01-06 2018-09-25 Ionroad Technologies Ltd. Driving support
GB201301281D0 (en) 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
US9041714B2 (en) * 2013-01-31 2015-05-26 Samsung Electronics Co., Ltd. Apparatus and method for compass intelligent lighting for user interfaces
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9762865B2 (en) * 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
US11039108B2 (en) * 2013-03-15 2021-06-15 James Carey Video identification and analytical recognition system
US11743431B2 (en) 2013-03-15 2023-08-29 James Carey Video identification and analytical recognition system
JP2016521411A (ja) * 2013-04-10 2016-07-21 オークランド ユニサービシズ リミテッド 頭部及び眼球追跡
US9170581B2 (en) 2013-09-30 2015-10-27 Crown Equipment Limited Industrial vehicles with overhead light based localization
CN104881860B (zh) 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
CN104007760B (zh) * 2014-04-22 2016-05-18 济南大学 一种自主机器人视觉导航中的自定位方法
GB201409625D0 (en) * 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
US9174830B1 (en) 2014-09-29 2015-11-03 Crown Equipment Limited Industrial vehicles with point fix based localization
KR101610036B1 (ko) * 2014-12-05 2016-04-07 현대모비스 주식회사 터널 판단 장치 및 터널 판단 방법
AT516553B1 (de) * 2014-12-05 2018-02-15 Ait Austrian Inst Tech Gmbh Verfahren zur Bestimmung der Position eines Fahrzeugs
US9791264B2 (en) 2015-02-04 2017-10-17 Sony Corporation Method of fast and robust camera location ordering
US9576204B2 (en) * 2015-03-24 2017-02-21 Qognify Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
JP6306532B2 (ja) * 2015-03-25 2018-04-04 富士フイルム株式会社 ３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置
DE102015205505A1 (de) * 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Detektieren elliptischer Strukturen in einem Bild
DE102015205502A1 (de) * 2015-03-26 2016-09-29 Mando Corporation Bildverarbeitungsverfahren und Bildverarbeitungssystem zum Extrahieren verzerrter kreisförmiger Bildelemente
DE102015209186A1 (de) 2015-05-20 2016-12-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung einer Beschreibung eines Fahrstreifens
US9885562B2 (en) * 2015-07-06 2018-02-06 Recognition Robotics, Inc. Measuring system and method using light source and cylindrical mirror
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
CN105160309B (zh) * 2015-08-24 2018-12-07 北京工业大学 基于图像形态学分割及区域生长的三车道检测方法
JP6409720B2 (ja) * 2015-09-10 2018-10-24 トヨタ自動車株式会社 車両走行制御装置
US10354364B2 (en) * 2015-09-14 2019-07-16 Intel Corporation Automatic perspective control using vanishing points
TWI588444B (zh) * 2015-10-08 2017-06-21 國立勤益科技大學 路面檢測方法、路面檢測裝置與路面檢測系統
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
US20170262996A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
EP3438925A4 (en) * 2016-03-30 2019-04-17 Sony Corporation INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
DE102016205867A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels verschiedener Landmarkentypen
US10665004B2 (en) * 2016-04-14 2020-05-26 C. J. Wereski System and method for editing and monetizing personalized images at a venue
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
CN106092086B (zh) * 2016-06-12 2018-08-31 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
JP6293213B2 (ja) * 2016-08-01 2018-03-14 三菱電機株式会社 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム
GB2553005B (en) * 2016-08-19 2022-04-13 Apical Ltd Method of line detection
US10739142B2 (en) * 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
US10713792B1 (en) * 2017-01-13 2020-07-14 Amazon Technologies, Inc. System and apparatus for image processing
EP3360746A1 (en) * 2017-02-13 2018-08-15 Autoliv Development AB Apparatus operable to determine a position of a portion of a lane
US10319108B2 (en) 2017-02-14 2019-06-11 Jx Imaging Arts, Llc System and method for machine vision object orientation measurement
US10430968B2 (en) * 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
DE102017211331A1 (de) * 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung
US11244174B2 (en) 2017-10-06 2022-02-08 NetraDyne, Inc. System and method of determining a curve
DE102017218726B4 (de) 2017-10-19 2020-11-05 Continental Automotive Gmbh Verfahren zum Erzeugen einer Sichtweitensammlung und Sichtweitensammeleinrichtung
WO2019109262A1 (en) * 2017-12-06 2019-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for determining new roads on a map
US10719937B2 (en) * 2017-12-22 2020-07-21 ABYY Production LLC Automated detection and trimming of an ambiguous contour of a document in an image
US11373356B2 (en) 2018-03-28 2022-06-28 Robert Bosch Gmbh Method and system for efficient rendering of 3D particle systems for weather effects
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
RU2698157C1 (ru) * 2019-02-12 2019-08-22 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система поиска нарушений в порядке расположения объектов
CN109978758B (zh) * 2019-03-25 2022-06-21 深圳职业技术学院 一种基于计算机图形图像的三维建模方法
US11009881B2 (en) * 2019-04-05 2021-05-18 Caterpillar Paving Products Inc. Roadway center detection for autonomous vehicle control
US10922543B2 (en) 2019-05-23 2021-02-16 The Boeing Company System and method for co-registering terrain data and image data
US11192558B2 (en) * 2019-06-24 2021-12-07 Here Global B.V. Method, apparatus, and system for providing road curvature data
US10930011B2 (en) 2019-07-02 2021-02-23 Billups, Inc. Digital image processing system for object location and facing
US11781875B2 (en) * 2019-08-21 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for forming and analyzing connected roads
CN113994390A (zh) * 2019-12-03 2022-01-28 辉达公司 针对自主驾驶应用的使用曲线拟合的地标检测
CN111401248B (zh) * 2020-03-17 2023-08-15 阿波罗智联(北京)科技有限公司 一种天空区域的识别方法、装置、电子设备及存储介质
CN111811501B (zh) * 2020-06-28 2022-03-08 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN113065467A (zh) * 2021-04-01 2021-07-02 中科星图空间技术有限公司 一种基于深度学习的卫星图像低相干区域识别方法及装置
DE102021116223A1 (de) 2021-06-23 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Einrichtung zur vegetationsbasierten Positionsbestimmung eines Kraftfahrzeugs und Kraftfahrzeug
US11885636B2 (en) * 2021-08-23 2024-01-30 Here Global B.V. Method, apparatus, and system for automatically coding and verifying human settlement cartographic features
CN115597569A (zh) * 2022-10-31 2023-01-13 上海勃发空间信息技术有限公司（Cn） 利用断面扫描仪测定桩与船相对位置关系的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727541A (ja) * 1993-07-14 1995-01-27 Nissan Motor Co Ltd 道路形状及び自車両位置の計測装置
JP2002221899A (ja) * 2001-01-29 2002-08-09 Matsushita Electric Ind Co Ltd デジタル地図の位置情報伝達方法とそれに使用する装置
US6732046B1 (en) * 2001-10-03 2004-05-04 Navigation Technologies Corp. Application of the hough transform to modeling the horizontal component of road geometry and computing heading and curvature

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01173825A (ja) * 1987-12-28 1989-07-10 Aisin Aw Co Ltd 車両用ナビゲーション装置
DE3830496C1 (de) * 1988-09-08 1996-09-19 Daimler Benz Aerospace Ag Vorrichtung zum Erkennen und Verfolgen von Objekten
GB8925196D0 (en) * 1989-11-08 1990-05-30 Smiths Industries Plc Navigation systems
JPH04272710A (ja) 1991-02-28 1992-09-29 Matsushita Electric Ind Co Ltd 就寝装置
EP0567660B2 (de) * 1992-04-21 2000-09-06 IBP Pietzsch GmbH Einrichtung zum Führen von Fahrzeugen
JP3160434B2 (ja) 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
DE19505487C2 (de) 1994-03-09 1997-08-28 Mannesmann Ag Einrichtung in einem Fahrzeug zur Bestimmung der aktuellen Fahrzeugposition
JPH08167100A (ja) * 1994-12-12 1996-06-25 Hisaji Nakamura 操縦装置
EP0740163B1 (en) * 1995-04-25 2005-12-14 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus for detecting a local position of an automobile on a road
JPH08297030A (ja) * 1995-04-25 1996-11-12 Sony Corp 表示装置及びａｖナビゲーションシステム
JPH0933271A (ja) 1995-07-21 1997-02-07 Canon Inc ナビゲーション装置及び撮像装置
KR970002795A (ko) * 1995-10-30 1997-01-28 모리 하루오 네비게이션(navigation)장치
DE19546506A1 (de) * 1995-12-13 1997-06-19 Daimler Benz Ag Fahrzeug-Navigationssystem und Signalverarbeitungsverfahren für ein solches Navigationssystem
KR100224326B1 (ko) * 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
DE19630194B4 (de) 1996-07-26 2006-06-01 Robert Bosch Gmbh Verfahren zur Detektion von Objekten
US6091833A (en) * 1996-08-28 2000-07-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and a method therefor
GB9714720D0 (en) 1997-07-14 2001-03-14 British Aerospace Inertial navigation accuracy enhancement
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
DE19743705C1 (de) * 1997-10-02 1998-12-17 Ibs Integrierte Business Syste Verfahren zum Sammeln und Verknüpfen von Positionsdaten aus Satellitenortung und weiteren Daten sowie Verwendungen dafür
US6358492B1 (en) 1997-10-07 2002-03-19 Research Triangle Institute Dopamine transporter imaging ligand
DE19750835C2 (de) * 1997-11-17 2002-06-27 Frank Klefenz Verfahren und Einrichtung zur Laufzeitdifferenzenbestimmung von akustischen Signalen
DE19841262C2 (de) 1998-09-09 2000-12-28 Ibs Integrierte Business Syste Elektronische Schaltung zur Aufzeichnung von geografischen Positionsdaten auf dem Tonkanal eines Camcorders
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
DE10012471A1 (de) * 2000-03-15 2001-09-20 Bosch Gmbh Robert Navigationssystem
JP2001289654A (ja) * 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP3513084B2 (ja) * 2000-06-14 2004-03-31 株式会社東芝 情報処理システム、情報機器及び情報処理方法
JP2002148052A (ja) 2000-09-04 2002-05-22 Matsushita Electric Ind Co Ltd カーナビゲーション装置
US6810323B1 (en) * 2000-09-25 2004-10-26 Motorola, Inc. System and method for storing and using information associated with geographic locations of interest to a mobile user
US7076452B2 (en) * 2000-10-23 2006-07-11 Costar Group, Inc. System and method for collection, distribution, and use of information in connection with commercial real estate
DE10065593A1 (de) * 2000-12-28 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Erzeugen von Straßenabschnittdaten für eine digitale Landkarte
US6826311B2 (en) * 2001-01-04 2004-11-30 Microsoft Corporation Hough transform supporting methods and arrangements
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
DE10117870B4 (de) 2001-04-10 2005-06-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank
JP4672190B2 (ja) * 2001-04-26 2011-04-20 三菱電機株式会社 映像ナビゲーション装置
DE10127156A1 (de) 2001-06-02 2002-12-05 Peter Daublebsky Lokales Positionsierungssystem für bewegliche Objekte
JP4826030B2 (ja) 2001-06-07 2011-11-30 株式会社デンソー 映像信号生成装置及びナビゲーション装置
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
US7007011B1 (en) * 2001-10-03 2006-02-28 Navteq North America, Llc Method for representing the vertical component of road geometry and computing grade or slope
JP2003225266A (ja) 2002-01-31 2003-08-12 Yuuzo Tsunetomo 機器型盲導犬
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US6842692B2 (en) * 2002-07-02 2005-01-11 The United States Of America As Represented By The Department Of Veterans Affairs Computer-controlled power wheelchair navigation system
DE10244148A1 (de) 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE10248534B4 (de) 2002-10-14 2013-04-11 T-Mobile Deutschland Gmbh Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes
JPWO2004048895A1 (ja) 2002-11-22 2006-03-23 財団法人くまもとテクノ産業財団 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
EP1493994B1 (en) * 2003-06-30 2007-08-22 Harman/Becker Automotive Systems GmbH Car navigation system
DE10334620B4 (de) 2003-07-30 2023-07-06 Robert Bosch Gmbh Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
DE10338455A1 (de) 2003-08-21 2005-04-14 Robert Bosch Gmbh Fahrerinformationsvorrichtung
DE10344120A1 (de) * 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
JP4026071B2 (ja) * 2003-09-25 2007-12-26 ソニー株式会社 車載装置及びコンテンツ提供方法
AU2004233453B2 (en) * 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
KR20050081492A (ko) * 2004-02-13 2005-08-19 디브이에스 코리아 주식회사 전방 실제 영상을 사용한 자동차 항법 장치 및 그 제어 방법
DE102004013440A1 (de) 2004-03-18 2005-10-06 Siemens Ag Verfahren und Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
WO2005120071A2 (en) 2004-06-01 2005-12-15 L-3 Communications Corporation Method and system for performing video flashlight
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US7272498B2 (en) 2004-09-30 2007-09-18 Scenera Technologies, Llc Method for incorporating images with a user perspective in navigation
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP4637618B2 (ja) * 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
DE102005047160B4 (de) 2005-09-30 2007-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild
US7739221B2 (en) 2006-06-28 2010-06-15 Microsoft Corporation Visual and multi-dimensional search
WO2008003095A2 (en) 2006-06-29 2008-01-03 Google Inc. Recognizing text in images
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727541A (ja) * 1993-07-14 1995-01-27 Nissan Motor Co Ltd 道路形状及び自車両位置の計測装置
JP2002221899A (ja) * 2001-01-29 2002-08-09 Matsushita Electric Ind Co Ltd デジタル地図の位置情報伝達方法とそれに使用する装置
US6732046B1 (en) * 2001-10-03 2004-05-04 Navigation Technologies Corp. Application of the hough transform to modeling the horizontal component of road geometry and computing heading and curvature

Also Published As

Publication number Publication date
DE102006062061A1 (de) 2008-07-03
EP2087459B1 (de) 2018-03-21
EP2087459A1 (de) 2009-08-12
WO2008080606A1 (de) 2008-07-10
US8121350B2 (en) 2012-02-21
JP2010515135A (ja) 2010-05-06
DE102006062061B4 (de) 2010-06-10
US20100329513A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
JP4746137B2 (ja) カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム
US10262216B2 (en) Hazard detection from a camera in a scene with moving shadows
CN105260699B (zh) 一种车道线数据的处理方法及装置
Alvarez et al. Combining priors, appearance, and context for road detection
JP2023022193A (ja) ビデオベースの位置決め及びマッピングの方法及びシステム
JP5505723B2 (ja) 画像処理システム及び位置測位システム
CN105718872A (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
JPWO2007083494A1 (ja) 図形認識装置、図形認識方法および図形認識プログラム
JP2012173879A (ja) 信号機検出装置及びプログラム
JP5500388B2 (ja) 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
JP2010224930A (ja) 道路認識装置
Cheng et al. Modeling weather and illuminations in driving views based on big-video mining
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
Fangfang et al. Real-time lane detection for intelligent vehicles based on monocular vision
KR102195535B1 (ko) 모바일 매핑 시스템을 통해 획득한 차선 정보를 이용하여 자동으로 생성하는 수치지도제작시스템
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
Nedevschi A method for automatic pole detection from urban video scenes using stereo vision
CN112308904A (zh) 一种基于视觉的建图方法、装置及车载终端
Senlet Visual localization, semantic video segmentation and labeling using satellite maps
Cheng Sequential Semantic Segmentation of Streaming Scenes for Autonomous Driving
CN117789144A (zh) 一种基于权重融合的交叉网络车道线检测方法及装置
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4746137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees