JP4741704B2 - 画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム - Google Patents

画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム Download PDF

Info

Publication number
JP4741704B2
JP4741704B2 JP2009541865A JP2009541865A JP4741704B2 JP 4741704 B2 JP4741704 B2 JP 4741704B2 JP 2009541865 A JP2009541865 A JP 2009541865A JP 2009541865 A JP2009541865 A JP 2009541865A JP 4741704 B2 JP4741704 B2 JP 4741704B2
Authority
JP
Japan
Prior art keywords
image
ellipse
shape
extreme points
confirmed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009541865A
Other languages
English (en)
Other versions
JP2010514025A (ja
Inventor
フランク クレフェンツ
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2010514025A publication Critical patent/JP2010514025A/ja
Application granted granted Critical
Publication of JP4741704B2 publication Critical patent/JP4741704B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラムに関し、特に、ハフ変換を用いた道路標識検出に関する。
道路上の交通量の安定した増加および自動車のドライバによる車両の安全に関する要求により、自動的に道路標識を検出する要求が増加している。電子装置による道路標識の検出により、それぞれの交通状況の要求にドライバの注意をひくことが可能になり、したがって、道路交通の危険性を遅れることなく認識して、それを防止することを可能にする。
例えば、道路標識検出のシステムによって、道路標識によって表示される速度制限、またはその解除を検出することができる。例えば、自動車は現在の速度制限を表示し続けることができ、その結果、彼／彼女が速度制限を示す道路標識を見落した場合であっても、ドライバは速度制限を知ることができる。さらに、彼／彼女が（例えば、最大許容偏差値を逸脱することにより）最大許容速度を上回る場合であっても、ドライバは、例えば、光学的にあるいは音響信号によって警告されることができる。
あるいは、他の交通規則、例えば通行権を規定する規則を検出することも可能である。従って、ドライバが、例えば道路標識を検出することに基づいておよび自動車の速度に基づいて決められる通行権を規定する道路標識を見落とした場合、ドライバはこれから生じる危険性について警告されることができる。同様に、例えば、特定の危険性（例えば滑りやすい道、急勾配、急カーブなど）を示す道路標識は、自動的に検出されることができる。また、彼／彼女が道路標識によって示される状況に彼／彼女の運転を合わせない場合（例えば、彼／彼女が高速で急カーブに接近する場合）、ユーザは通知または警告されることができる。
すでに道路標識を検出するいくつかの方法が存在する。しかしながら、この状況において、一般的に、複合する環境状況における道路標識の検出を要求される高度の安全性をもって行うことができないという問題がある。さらに、例えば、道路標識が、影部分にあったり、汚れていたり、壊れていたり（例えば、曲がっているなど）した場合のように、部分的にふさがれるときに、従来のシステムは大きな課題を示す。
上述の課題の背景に対して、本願発明の目的は、道路標識の信頼性の高い検出と必要な計算費用との間に有望な妥協点を提供することができる道路標識を検出するためのコンセプトを提供することである。
この目的は、請求項１に記載の道路標識を確認するためのデバイス、請求項４０に記載の道路標識を確認する方法、および請求項４１に記載のコンピュータ・プログラムによって達成される。
本発明は、画像の道路標識を確認するためのデバイスを提供する。デバイスは、画像、またはそこから得られる異なる方向における画像を通るエッジ画像における複数の線部分または線分を確認するためのハフ変換器を含む。さらに、デバイスは、確認された線部分に基づいて、画像またはそこから得られるエッジ画像の所定の形状を検出するための形状検出器を含む。さらに、デバイスは、検出された所定の形状に基づいて、検出された所定の形状に対応する画像部分を選択し、選択された画像部分に基づいて道路標識を確認するためのパターン識別器を含む。
異なる方向において画像を通る線部分がハフ変換器によって確認される場合、ハフ変換器は特にさまざまな線部分に関する信頼性の高い情報を提供するので、形状の検出が特に信頼性の高い方法で行われることができるというのが本発明についての中心的な考えである。特に、線部分の十分な量の断片が画像にまだ存在することが確実である限り、ハフ変換器は１つの単線部分のように中断された線部分さえ検出することが可能である。このように、ハフ変換の利用は、全体的に、形状検出器ができるだけコンパクトで、多くの小さい個々の線部分に分けられない形の画像で動作している線部分に関する情報を得ることを確実にする。
関連した道路標識の外形は基本的に複数の直線によって定義されるため、この方法は特に道路標識検出と関連して特に有利である。道路標識が丸くない場合、それらは主に三角形であるか四角形の形状を有し、道路標識の縁部が直線または直線部分によって規定される。従って、連続的な直線部分が画像の中に存在する場合、前記線部分がおそらく、妨害によって（例えば、影によって、または、汚れによって）中断される道路標識の直線境界であると仮定されることができる。
従って、本発明についての中心的な考えによれば、ハフ変換器は形状検出器が道路標識を検出するために必要とする画像の直線部分に関するその情報を形状検出器に正確に提供すると言うことができる。
さらに、本発明についての中心的な考えによれば、複数のさまざまな道路標識が同一の形状（円形、三角形または四角形）を有するため、単に外部の概略の形状だけに基づく道路標識の検出が可能でないことが発見された。むしろ、選択された画像部分に基づいて道路標識を確認するために、検出された所定の形状に基づいて、検出された所定の形状に対応する画像部分を選択するパターン識別器を使用することが有利である。このように、本発明のデバイスは、パターン識別が全ての画像全体に実行される必要がないことを確実にする。むしろ、個々の画像部分が選択され、その縁部は、縁部によって規定される形状が道路標識の形状（例えば、円形、三角形または四角形）に対応するように選択される。
換言すれば、形状検出器は、画像を通る線部分におけるハフ変換器によって与えられる情報に基づいて、道路標識の存在を示すいかなる形状も確認し、パターン識別器は形状検出器によって表現される画像部分に含まれるパターンを確認する。
このように、画像の道路標識は、全般的に見て、二段階の過程で確認される。概して、ハフ変換器は、道路標識の外形を典型的に定める直線についての特に信頼性の高い記述を提供する。また、最初の線および／または形状の検出と、その後のパターンの識別を含む二段階の過程は、発明概念の効率の特に高いレベルを可能にする。
このように、ハフ変換器によって与えられる全体の画像からの線部分を使用する一方で、形状検出に基づいて道路標識は前確認され、道路標識識別の第２段階は画像部分に作用するだけであり、その結果、比較的低い計算力で済ませることができる。
パターン検出の従来法と比較すると、周知のように、ハフ変換器は線の影付けや中断に非常に無関心であるため、本発明概念はこのように信頼性の特に高いレベルを伴う。さらに、ハフ変換は、ハードウェアにおいて、または、ソフトウェアで能率的に実行することができる。
二段階概念は効率に関して付加的な効果を生み、パターン識別が道路標識のための候補部分として検出された全体の画像の個々の部分に対して行われればよいだけであるという結果が得られる。
本発明の好ましい実施形態において、形状検出器は、確認された線部分の相対位置に基づいて、画像のまたはそこから得られるエッジ画像の所定の形状の検出を実行する。具体的には、道路標識を示すことが互いに関して個々の線部分の相対位置であり、画像の道路標識の絶対位置は意味がないことがわかった。具体的には、道路標識は、画像が撮られている車両から、さまざまな距離に位置することができる。さらに、道路標識は、道路の左側または右側に配置されることができる。特に、例えばハイウェイのような多車線道路については、画像が撮られている車両との関係で、道路標識の位置はあまり意味がない。また、道路標識が必ずしもまっすぐであるというわけではなくて、車両に関して傾いている場合もある点に注意される。その結果、画像の道路標識の幾何学的配置は、最初から明白ではない。むしろ、基本的に意味があるのは、本質的に道路標識の形状だけである。しかしながら、道路標識の形状は、確認された線部分の相対位置によって特徴付けられ、それは道路標識の外形であると考えられる。
本発明の更なる実施例によれば、選択された確認された線部分のために、互いに関連する選択された確認された線部分の相対位置または選択された確認された線部分の交点の相対位置を記述する相対位置パラメータを決定し、相対位置パラメータに基づいて、選択された確認された線部分が所定の相対的な形状を記述するかどうかを決めるために、形状検出器は、確認された線部分の総数から選択された確認された線部分のサブセットの選択を実行する。この状況において、選択された確認された線部分に対する相対位置パラメータと確認された比較形状の相対位置パラメータとの間の偏差の定量的定義を得るために、選択された確認された線部分に対する相対位置パラメータと確認された比較形状の相対位置パラメータとを確認することが好ましい。好ましくは、選択された確認された線部分に対する相対位置パラメータが比較形状の相対位置パラメータと最高でも所定の最大許容偏差分だけ逸脱するときに、比較形状に対応する形状が、画像において、またはそこから得られるエッジ画像において検出される。
従って、対応する概念は、全体的に確認された比較的多数の直線部分から、個々の組合せ（好ましくは所定の数の直線部分）が選択されるという点で、道路標識の外形を定めるこの種の直線部分を確認することを可能にする。選択された直線部分が道路標識の外形を記述するかどうかに関する決定が、例えば、線部分の長さの比率を用いて、および／または線部分の間の角度を用いて（すなわち相対位置パラメータによって）なされる。
好ましい実施例において、パターン識別器は、エッジ形状に基づいて、検出された形状を満たす画像パターンを確認するか、または、少なくとも１つの比較画像パターンと比較することによって、検出された形状により確認される縁部を確認する。換言すれば、パターン識別器は、形状検出器によって特定された画像部分の画像パターンを、比較画像パターン、例えば周知の道路標識の画像と比較する。画像部分の画像パターンと比較画像パターンとの間の類似点に関するいかなる情報も、比較画像パターンによって定義される道路標識が画像部分において表現されるか否かを示す信頼性の高い基準として使われることができる。
別の好ましい実施例では、パターン識別器は、検出された形状に対応する画像の部分を選択して、マッピングによって、サイズおよび／または形状および／または位置に関して画像および比較画像パターンの部分を各々に適応させる。このように、道路標識の検出が、画像が撮られている自動車に関して確認される道路標識の相対位置、距離、回転または傾斜から独立したものとなるように実現される。具体的には、画像部分の形状が公知である場合、どのようにして画像部分がその外形に関して少なくとも比較画像パターンに適合するために画像部分に対して（例えば歪み、回転、拡大などの方法で）マッピングしなければならないかは容易に決定されることができる。あるいは、比較パターンは、それがその外縁部に関して確認された画像部分に対応するように、自然にマッピングされることもできる。
別の好ましい実施例では、ハフ変換器は、画像またはそれから得られるエッジ画像の曲がった円形部分または楕円形部分、すなわちアーク部分（すなわち、円形線の部分、以下、円形部分または円のアークとも呼ばれる）、または楕円のアーク部分（すなわち、楕円線の部分、以下、楕円形部分または楕円のアーク部分とも呼ばれる）を更に確認する。この場合、デバイスは、好ましくは、確認されたカーブする円形部分または楕円形部分に基づいて、画像、またはそれから得られるエッジ画像の楕円の位置を検出するために行う楕円検出器を含む。
複数の道路標識は丸い形状を有するため、楕円を検出する機能は特に有利である。遠近歪みのため、前記丸い形状は概して道路標識の卵形または楕円形状につながるが、それらは、カメラ画像では、実質的に円形である。従って、それらが傾けられるかまたは画像が撮られている自動車と関連して他の遠近歪みを呈する場合であっても、楕円検出器の機能は道路標識の特に信頼性が高い検出につながる。ハフ変換器によって与えられる情報に基づく楕円の検出は、上ですでに記載されていた効果を伴う、すなわち、道路標識の外形が部分的にふさがれるかまたは影になる場合であっても、その検出はまだ確実にされる。特に、ハフ変換器は、特に画像のこの種の障害に対して鈍感である。さらに、ハフ変換の機能のため、明確な識別が円形または楕円形の間でなされる必要はないので、円形および楕円形を検出するためのハフ変換の機能のため、特に効率的なアルゴリズムが存在する点に注意される。これは、ハフ変換によって、楕円がアーク部分によって近似されるところで確認されるのは楕円の極値点であるという事実によるものである。
さらに、本発明は、画像の道路標識を確認する方法を提供する。対応する方法は、上記のデバイスの機能を実現し、したがって従来法に勝る同じ効果がある。
さらに、本発明は、上述の方法を実行するためのコンピュータ・プログラムを提供する。
本発明の好ましい実施例は、添付の図面を参照して更に詳細に以下で説明される。
本発明の第１実施例にかかるグラフィックイメージの楕円の形状および／または位置に関する情報を決定するための発明のデバイスのブロック図である。 楕円、および楕円の第１の楕円位置、第２の楕円位置、第３の楕円位置、第４の楕円位置および中心点の座標を示す図解図である。 原点にシフトされた楕円、および２つの楕円位置の変換された座標を示す図解図である。 典型的なラスタ画像、および連続して処理される画像部分を示す図解図である。 本発明の第２実施例にかかる楕円位置の座標を決定するための発明のデバイスのブロック図である。 発明のパターン検出手段の利用のための３つの典型的な参照曲線を示す図解図である。 マークされた曲線を検出した典型的なラスタ画像の第１の図解図である。 マークされた曲線を検出した典型的なラスタ画像の第２の図解図である。 グラフィックイメージの楕円の形状および／または位置に関する情報を決定するための発明のデバイスの利用のためのパターン検出手段のブロック図である。 図６に示すパターン検出手段を通してグラフィックイメージを移動するための手順を示す図解図である。 並列タイムシグナルへのラスタ画像の変換の間に生じるタイムシグナルの図解図である。 本発明の第３実施例にかかるグラフィックイメージの楕円の形状および／または位置に関する情報を決定するための発明のデバイスのブロック図である。 本発明の第４実施例にかかるグラフィックイメージの楕円の形状および／または位置に関する情報を決定するための発明のデバイスのブロック図である。 本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図である。 画像の道路標識を確認するための発明のデバイスの利用のためのエッジ検出器のブロック図である。 図１１ｂは、部分的に閉塞された道路標識の画像の概略図であり、図１１ｃは、図１１ｂに従ってハフ変換によって処理される画像の図解図である。 本発明の実施例にかかる道路標識を確認するための発明のデバイスの利用のための発明の形状検出器のブロック図である。 図１３ａは、道路標識を含む交差点の概略図であり、図１３ｂは、３つの選択された直線部分の第１のセットの概略図であり、図１３ｃは、選択された線部分の第２のセットの概略図であり、図１３ｄは、選択された線部分の第３のセットの概略図である。 ３つの線部分のセットの説明の形の概略図である。 正三角形の説明の形の概略図である。 画像部分の選択、および所定の形状に対する画像部分のマッピングの概略図である。 本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図である。 画像の道路標識を確認するための発明のデバイスの利用のための発明の楕円検出器のブロック図である。 楕円に属する４つのポイントを確認するための手順の概略図である。 本発明の実施例にかかる画像の道路標識を確認する発明の方法のフロー図である。 道路標識を含む画像の図解図である。 図２０ａにかかる画像に帰属するエッジ画像の図解図である。 図２１ａは、確認された楕円のためのマークとともに示される道路標識を含む画像に属するエッジ画像の図解図であり、図２１ｂは、楕円のマークとともに示される図２１ａにかかるエッジ画像に属する画像の図解図であり、図２１ｃは、図２１ｂの画像の楕円部分の図解図である。 道路標識データベースのさまざまな道路標識の図解図である。 パターン検出の利用のためのファジー・カラー・ヒストグラムの概略図である。 楕円のマークとともに示される道路標識の閾値評価画像の図解図である。 楕円のマークとともに示される道路標識のエッジ画像の図解図である。 部分的に影になる道路標識の図解図である。 検出された楕円のマークとともに示される道路標識のエッジ画像の図解図である。 検出された楕円のマークとともに示される道路標識のエッジ画像の図解図である。 道路標識のエッジ画像である。 本発明の実施例にかかる画像の道路標識を確認する発明の方法のフロー図である。 本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図である。 本発明の実施例にかかる画像の文字を検出するための発明のデバイスのブロック図である。 本発明の実施例にかかる画像の文字を検出するための発明のデバイスのブロック図である。 ３つの文字「ａ」「ｃ」「ｄ」を示す図解図である。 文字「ａ」の文字説明を示す表示である。 一連の隣接する文字、およびタイプフェースの中で発生する下のライン、ベースライン、センターラインおよび上のラインの図解図である。 下のライン、ベースライン、センターライン、および上のラインを含むラインシステム内の文字「ａ」の図解図である。 文字の典型的な説明の表示である。 図３２ａに示す文字「ａ」の典型的な説明の表示である。 本発明の実施例にかかる発明の文字記述発生器のブロック図である。 本発明の実施例にかかる発明の文字記述発生器のブロック図である。 文字「ｇ」の図解図である。 画像の文字を検出する発明の方法のフロー図である。 画像において検出される極値点の図解図である。 本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図である。
図１０は、本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図を示す。図１０のデバイスは、全体が１０００で示される。デバイス１０００は、画像１０１０を受信する。さらに、デバイス１０００は、オプションとして、エッジ検出器１０２０を含む。エッジ検出器１０２０は、画像１０１０を受信して、エッジ画像１０２２を画像１０１０からつくり出す。さらに、デバイス１０００は、ハフ変換器１０３０を含む。ハフ変換器１０３０は、エッジ画像１０２２を受信する。エッジ検出器１０２０が省略される場合、ハフ変換器１０３０が直接画像１０１０を受信する。さらに、ハフ変換器１０３０が、画像またはそこから得られるエッジ画像において、異なる方向において画像を通る複数の線部分を確認することが示される。従って、ハフ変換器は、形状検出器１０４０に画像を通る直線部分に関する情報１０３２を提供する。形状検出器１０４０は、確認された線部分に関する情報に基づいて、画像１０１０、またはそこから得られるエッジ画像１０２２の所定の形状を確認する。形状検出器１０４０は、画像において検出される形状に関する情報１０４２を提供する。
さらに、デバイス１０００は、画像１０１０とともに、画像における形状に関する情報１０４２を受信するパターン識別器１０５０を含む。パターン識別器１０５０は、所定の形状に基づいて、検出された所定の形状に対応する画像部分を選択して、選択された画像部分に基づいて道路標識を確認する。このように、パターン識別器１０５０は、画像または画像部分において確認される道路標識に関する情報１０５２を提供する。
上記の構造記述に基づいて、デバイス１０００の動作モードについて以下に述べる。
デバイス１０００は、画像の道路標識の多段識別を実行する。これは、初めに道路標識の外縁の形状を評価することを含む。ハフ変換器１０３０は、画像１０１０から、またはエッジ画像１０２２から、例えば道路標識の縁部を定める直線部分または線に関する情報を抽出する。画像１０１０またはハフ変換器１０３０によるエッジ画像１０２２において確認される複数または多数の直線部分のために、道路標識の所定の形状（例えば三角形、長方形または正方形）に対応する形状を共に定めるこの種の線または直線部分は、形状検出器１０４０によって確認される。このように、全体的に見て、道路標識に対応する形状は、画像において確認される。画像またはエッジ画像において検出された形状に関する情報は、パターン識別器に供給される。画像において検出された形状に関する情報は、縁部が道路標識に対応する形状を有する画像の部分を検出する。このように、潜在的に道路標識を含む画像部分は、確認されて、画像内容が道路標識の描写に対応するものと定められる。このように、パターン識別器は、その縁部が道路標識の形状（すなわち、例えば、その縁部が、三角形、長方形あるいは正方形の形状を有するもの）を有する画像部分のみを処理する。このように、本発明の中心的な考えによれば、道路標識は形状検出器１０４０によって確認されるかまたは検出される形状の範囲内で与えられるだけであるため、パターン識別器１０５０は、道路標識に対して全ての画像を検索する作業から開放される。全ての画像との画像比較を実行するときには、比較画像は、例えば全ての画像全体にわたってシフトされなければならないため、形状検出器１０４０によって検出される形状に対する画像比較の応用は、全ての画像との画像比較より実質的に容易に行うことができる。さらに、後述するように、形状検出器１０４０の利用も、例えばマッピングの方法によって、画像において検出される形状と道路標識の周知の形状との間にできるだけ完全な一致の生成を可能にする。
要約すると、例えば道路標識の部分的な隠蔽のような画像のいかなる障害もハフ変換器１０３０の利用で効果的に相殺されることができ、他方で、いかなる必要な計算費用も、形状検出器１０４０およびパターン識別器１０５０を用いた二段階方法によって大幅に最小化されることができるため、従来のデバイスと比較すると、デバイス１０００がかなり信頼性の高い道路標識の検出を可能にすることと言うことができる。
図１１ａは、画像の道路標識を確認するためのデバイス１０００と連動して利用するための発明のエッジ検出器のブロック図を示す。図１１ａのエッジ検出器は、全体が１１００で示される。エッジ検出器１１００は、画像１０１０を受信する。エッジ検出器１１００は、画像に閾値を適用するための閾値発生器１１２０を含む。この目的のために、カラー画像として与えられる画像１０１０は、例えば、明暗画像に変換される。換言すれば、画像１０１０がすでに諧調レベル画像として与えられていない限り、カラー画像から諧調レベル画像がつくり出される。閾値発生器１１２０は、例えば、画像１０１０に基づく諧調レベル画像（あるいは、画像１０１０に基づくカラー画像）の二値化を実行する。この目的で、閾値発生器１１２０は、好ましくは閾値１１２２を受信して、それを画像１０１０から得られる諧調レベル画像またはカラー画像に適用する。このように、閾値発生器１１２０は、画像１１１０に基づく二値画像１１２４を提供する。本発明の実施例によれば、閾値発生器１１２０によって実行される二値化は、適応可能であってもよい。例えば、二値化は、画像１０１０から得られる諧調レベル画像の諧調レベルのヒストグラム分布に従って適応されることができる。このように、閾値は、最適に、そして諧調レベルのヒストグラム分布に対応して使用されることができる。
エッジ検出器１１００または閾値発生器１１２０がビデオ、すなわち一連の画像１１１０を受ける場合、繰り返し（例えば、定期的に）閾値１１２２を再調整することが好ましい。このように、ビデオの所定の数のｘ画像フレームの後に、閾値を再調整することが可能である。あるいは、画像ごとに最適閾値または閾値１１２０を決定することも可能である。例えば、この種の画像処理は、ジェーン（Ｊａｅｈｎｅ）によって記載されている。
さらに、好ましくは、図１１のエッジ検出器１１００は、輪郭検出器１１３０を含む。エッジ検出アルゴリズムを用いて、輪郭検出器１１３０は二値画像１１２４を受信して、二値画像１１２４からエッジ画像１１３２を作成する。このように、輪郭検出器１１３０は、二値画像１１２４において、輪郭またはエッジを見つける。例えば、このような状況において用いられるエッジ探知アルゴリズムまたは輪郭探知アルゴリズムは、形態学的オペレータから成る。換言すれば、二値画像１１２４は、１つ以上の形態学的オペレータによって処理され、その結果、エッジ画像１１３２が得られる。要約すると、エッジ検出アルゴリズムを用いて、輪郭検出器１１３０が二値画像１１４２からエッジ画像１１３２をつくり出すということができる。
デバイス１０００におけるハフ変換器１０３０を利用することから生じている効果は、図１１ｂおよび１１ｃの図解図によって以下に説明される。例えば、図１１ｂは、画像またはエッジ画像の図解図を示し、例えば木によって、道路標識の一部が部分的にふさがれたものである。図１１ｂの図解図は、全体が１１５０で示される。さらに、図１１ｃは、ハフ変換器１０３０によって図１１ｂのエッジ画像１１５０からつくり出される情報の図解図を示す。図１１ｃの図解図は、全体が１１７０で示される。
図１１のエッジ画像１１５０は、木１１６４の枝１１６２によって部分的にふさがれた道路標識１１６０を有する交差点または分岐点の表現を示す。このように、道路標識１１６０の三角形形状は遮られる。これは、特に、道路標識１１６０の右下端１０６６において、明らかに見ることができる。
図１１ｃの図解図１１７０は、ハフ変換器１０３０によって図１１ｂのエッジ画像１１５０からつくり出される情報を示す。ハフ変換器１０３０は、さまざまな角度でエッジ画像１１５０を通る直線部分を検出して、記述することが可能である。これは、道路標識１１６０の右下端１１６６の例のように、直線部分が中断される場合も当てはまることである。ハフ変換器１０３０のこの能力は、例えば、少なくとも１つの所定の最小数の極値点が直線に沿って位置するときに、ハフ変換器１０３０が直線部分を検出するという事実に起因する。この状況において、ハフ変換器が正確にエッジ（例えば、エッジ１１６６）の長さを検出するかどうかは、最初は重要ではない。
しかしながら、直線部分は、概して、ハフ変換器１０３０によって検出されるために少なくとも所定の最小限の長さを有していなければならない点に注意される。
さらに、直線部分を検出するハフ変換器１０３０が、例えば、所定の直線または直線部分にある点の数を決定し、直線または直線部分にある点の決定された数に基づいて、エッジが直線または線部分に沿って存在しているのかどうかを決める点に注意される。
例えば、ハフ変換器１０３０は、異なる方向および／または長さの直線部分または直線のための上述の工程を実行し、従って、異なる長さおよび／または異なる方向の直線部分または直線を決定することが可能である。好ましくは、ハフ変換器１０３０は、例えば、確認した線部分の長さおよび／または方向および／または始点および／または終点を示すパラメータによって、それぞれの確認された直線部分を記述する。
このように、ハフ変換器１０３０は、例えば、連続エッジとして、図解図１１５０に示される道路標識１１６０の右下端１１６６を検出する。ハフ変換器１０３０の実施態様に応じて、この状況におけるハフ変換器１０３０は、エッジ１１６６の正確な長さを決定することができるか、またはおよその長さを示すことができる。しかしながら、いずれの場合においても、ハフ変換器１０３０は、エッジ１１６６の方向を確認して、更にエッジ１１６６が位置する直線を記述することが可能である。このように、ハフ変換器１０３０によって与えられる情報１０３２は、例えば、図１１ｃの図解図１１７０において実線として道路標識１１８０を示す右下端１１８６を記述する。線１１８６の正確な始点および終点がわかるか否かは、すでに説明されたように、ハフ変換器１０３０の実施態様の詳細に依存する。しかしながら、図解図１０７０において破線で示される直線に沿ってエッジが通ることをハフ変換器が検出することが確実にされる。
要約すると、エッジ１１６６の部分的な閉塞がハフ変換器１０３０によって取り消され、道路標識１１６０のエッジが３つの実線１１８６、１１９０、１１９２によって好ましくは記述されているということができる。
図１２に関して、画像を通る直線部分に関してハフ変換器１０３０によって与えられる情報に基づいて（すなわち、直線部分１１８６，１１９０，１１９２に関する情報に基づいて）、どのようにして形状が検出されるかについて、以下に説明される。
この目的を達成するために、図１２は、例えば図１０のデバイス１０００で使用される発明の形状検出器のブロック図を示す。図１２の形状検出器は、全体が１２００で示される。
形状検出器１２００は、例えば、画像を通る直線部分に関する情報１２１０を受信し、前記情報はハフ変換器１０３０によって与えられる。情報１２１０は、例えば、ハフ変換器１０３０により画像１０１０またはエッジ画像１０２２において検出された直線部分の始点、終点、長さおよび／または方向に関する情報を含む。
オプションとして、形状検出器１２００は、画像１０１０またはエッジ画像１０２２の円のアーク部分、または楕円のアーク部分に関する情報を受信する。それぞれの情報は、１２１２で示される。
形状検出器１２００は、情報１２１０、およびオプションとして情報１２１２を受信するための成分選択器１２２０を含む。成分選択器１２２０は、情報１２１０および／または情報１２１２によって示される直線部分から、更に、場合により、付加的な円のアークおよび楕円のアークから、複数の成分を選択する。換言すれば、好ましい実施例において、成分選択器１２２０は、選択された直線部分を得るために情報１２１０によって記載されている直線部分から所定の数の直線部分を選択する。成分選択器１２２０は、好ましくは、相互に隣接する線部分（そして、おそらく円のアークまたは楕円のアークも）を選択することができる。このように、成分選択器１２２０は、好ましくは、共に線の連続した経路（それは、連続する直線部分（そして、おそらく円のアークまたは楕円のアークも）の間の小さな中断を無視することができる）を形成する直線部分（そして、おそらく円のアークまたは楕円のアークも）を選択する。
このように、成分選択器１２２０は、選択された成分のセット、すなわち選択された直線部分のセット、およびおそらく円のアークまたは楕円のアークのセットを提供する。選択された成分のセットの記載は、１２２２で示される。相対記述発生器１２３０は、情報１２２２を受信して、情報１２２２に基づいて選択された成分の相対位置記述１２３２を生成する。相対位置記述１２３２は、選択された成分、または選択された成分の交点の相互の相対位置を記述する。例えば、相対位置記述１２３２は、選択された成分のセットからの成分の長さおよび方向の記述を含むことができる。さらに、相対位置記述１２３２は、選択された直線部分のセット１２２２の直線部分の間の角度を記述することができる。あるいは、相対位置記述は、選択された直線部分の相対的な長さを記述することができる。さらに、選択された成分が円のアークまたは楕円のアークを含む場合、相対位置記述は、例えば、円のアークまたは楕円のアークの曲率半径または角度に関する情報を含むこともできる。
さらに、形状検出器１２００は、相対位置記述１２３２を受信するためのデータベース比較器１２４０を含む。さらに、データベース比較器１２４０は、（例えば、相対位置記述における）直線部分、円のアークおよび／または楕円のアークのセットの記述としての形状の記述を形状データベース１２４２から受けるために、形状データベース１２４２に接続される。データベース比較器１２４０は、相対位置記述１２３２によって記述される成分および形状データベース１２４２から読み出される比較成分のセットの間の偏差を示す比較情報１２４４を提供する。
さらに、形状検出器１２００は、データベース比較器１２４０の結果１２４４を受信して、相対位置記述１２３２によって記述されるエレメントのセットおよび形状データベース１２４２から得られたエレメントのセットの間の適合が十分であるかどうかを判断するための適合検知器１２５０を含む。
さらに、好ましくは、形状検出器１２００は、成分選択器１２２０と適合検知器１２５０とを連携させるためのコントローラ１２６０を含む。例えば、コントローラ１２６０は、成分選択器１２２０を選択された成分の異なるセットを選択するために制御する。さらに、好ましくは、コントローラ１２６０は、適合検知器１２５０に成分選択器１２２０によってどの成分が選択されたかについての情報を提供する。適合検知器１２５０は、好ましくは、コントローラ１２６０に、相対位置記述１２３２と、形状データベース１２４２に含まれる形状または比較形状の記述との間の適合の程度に関する情報を提供する。
さらに、適合検知器１２５０は、検出された形状に関する情報１２６２を提供する。検出された形状に関する情報１２６２は、例えば、検出された形状の位置および検出された形状のタイプ（例えば、三角形、長方形、正方形）を記述する。
上述の構造的記述に基づいて、形状検出器１２００の動作モードは後述するが、その動作モードは、いかなるトポロジーによっても付随的に行うことができ、従って、例えば、図１２によって示される形状検出器１２００のトポロジーと関係なく行うことができる。従って、個々の手段または形状検出器１２００のブロックの参照は、実施例と考えられている。
更なる具体例のために、図１３ａ、１３ｂ、１３ｃ、１３ｄ、１４ａおよび１４ｂも参照される。図１３ａは、道路標識を含む交差点の図解図を示す。図１３ｂは３つの直線部分の第１のセットの図解図を示し、図１３ｃは３つの直線部分の第２のセットの図解図を示し、図１３ｄは３つの直線部分の第３のセットの図解図を示す。図１３ｂ、１３ｃおよび１３ｄの直線部分の３つのセットの直線部分は、図１３ａの図解図から付随的にとられた。
さらに、図１４ａは、３つの直線部分の相対位置記述の２つの可能性の概略図を示す。図１４ｂは、正三角形の可能な相対位置記述の概略図を示す。
図１３ａに関して、例えば、ハフ変換器１０３０は複数の直線部分の表現として画像の記述を提供すると仮定される。図１３ａのそれぞれの記述は、全体が１３００で示される。図解図１３００は道路標識１３１０を示し、その輪郭は複数の直線部分によって規定されている。例えば、道路標識を支えるパイプは、第１の直線部分１３１２によって記述されている。基本的に三角形の道路標識の輪郭は、３つの直線部分１３１４ａ、１３１４ｂ、１３１４ｃによって記述されている。例えば、沿道は、直線部分１３１６によって記載されている。直線部分１３１２、１３１４ａ、１３１４ｂ、１３１４ｃ、１３１６の記述は、画像を通る直線部分に関する情報１２１０を形成する。３つの直線部分（一般的に：直線部分の所定の数、または成分の所定の数）が図１３ａの画像を通る直線部分から（一般的に：直線、円のアークまたは楕円のアークのように、ハフ変換器によって画像で検出される成分から）選択されることは、例えば、成分選択器１２２０を用いることによるものである。好ましくは、線部分の連続経路を形成する３つの相互に隣接する直線部分（一般的に：成分）が選択される。例えば、線部分１３１２、１３１４ａ、１３１４ｂが選択されると、図１３ｂにおいて表される３つの直線部分のセットが得られる。しかしながら、直線部分１３１４ａ、１３１４ｂ、１３１６が選択されると、図１３ｃにおいて表される３つの直線部分のセットが得られる。しかしながら、直線部分１３１４ａ、１３１４ｂ、１３１４ｃが選択されると、図１３ｄにおいて表される３つの選択された線部分のセットが得られる。
選択された直線部分（一般的に：選択された成分）のセットは、第１の選択された線部分の長さ、第１の選択された線部分と第２の選択された線部分の間の角度、第２の選択された線部分の長さ、第２の選択された線部分と第３の選択された線部分の間の角度および第３の選択された線部分の長さによって記述されることができる。対応する記述は、図１４ａの第１の図解図１４１０において模式的に示される。あるいは、長さは、互いに関して、または例えば第１の選択された線部分の長さに関して示されることができ、その結果、表現は、図１４ａの第２の図解図１４２０に示される結果となる。
例えば、データベース１２４２に比較記述として格納される同時に存在する三角形の対応する記述は、図１４ｂに模式的に示される。
選択された直線部分の第１のセットに対応する選択された直線部分に関して、例えば、それらが以下の形で表されることができることが確認される。
「長さ１；右に角度３０°；長さ２；左に角度１２０°；長さ３」
選択された線部分の第３のセットに関する選択された線部分は、例えば、以下の形の記載によって記述されることができる。
「長さ１；左に角度１２０°；長さ２；左に角度１２０°；長さ３」
選択された線部分の第３のセットの選択された線部分の正規化された記述は（長さの正規化）、以下の通りである。
「１;左に角度１２０°；１;左に角度１２０°；１」
もちろん、例えば、道路標識１３１０は、わずかに回転することができ、従って、例えば、歪められた方法でマッピングされることができ、その結果、相対的な長さおよび角度が変化するため、角度および相対的な長さはわずかに変化することができる。
例えば、図１４ｂに示す二等辺三角形の記述が形状データベース１２４２に比較パターンとして格納される場合、選択された成分の第１のセットの３つの直線部分の記述（図１３ｂ参照）との間を比較すると、例えば、偏差は大きく、適合は小さい。同様に、直線部分の第２のセットの直線部分の記述（図１３ｃ参照）と正三角形の記述との間を比較すると、適合は小さく、偏差は大きい。しかしながら、直線部分の第３の３つの直線部分の記述（図１３ｄ参照）と正三角形の記述との間を比較すると、適合は大きく、偏差は小さい。このように、例えば、最初に３つの直線部分の第１のセット（図１３ｂ参照）が選択され、次に、形状データベース１２４２からの正三角形の記述との比較で偏差が容認できないほど大きい（例えば、所定のあるいは動的に調整された最大許容偏差より大きい）ことが明らかになった場合、別の成分のセットまたは直線部分のセット、例えば直線部分の第２のセット（図１３ｃ参照）が選択される。直線部分の第２のセットと形状データベース１２４２に格納される比較形状との間の偏差がまだ許容できないほど大きい場合、成分の第３のセット、例えば（図１３ｄ参照）が選択される。従って、選択された成分のセットのうちの１つについて、選択された成分のセットと形状データベース１２４２に格納された形状との間の偏差が十分に小さい（すなわち、相対位置の違いが十分に小量である）ことがわかった場合、例えば、選択された成分が検出された形状としてマークされ、関連する情報は（例えば、検出された形状に関する情報１２６２として）提供される。
選択された成分のセットと、形状データベース１２４２において規定される成分のセットとの偏差が十分に少量であるとすぐに、例えば、選択された成分のセットの選択は終了することができる。しかしながら、終了基準が満たされるまで、検出された形状の識別の後に、さらに別の検出された形状が調査されてもよい。このように、形状検出器は、例えば、正確に１つの検出された形状に関する情報またはいくつかの検出された形状に関する情報を提供することができる。
従って、情報１２６２は、検出された形状を要求される記述のいかなる形にも記述する。例えば、三角形が確認される場合、情報１２６２は画像１０１０、またはエッジ画像１０２２の三角形の前の位置の座標を示すことができる。しかしながら、それぞれの記述により検出された形状の輪郭を決定することが可能である限り、記述の他の形を選択することも可能である。
図１５によって、画像１０１０の画像部分が形状検出器１０５０によって検出される形状を使用して選択され、さらにマッピングされるという点で、パターン識別器１０５０におけるパターン識別がどのようにおこなわれるかについての説明が続けられる。
従って、図１５は、道路標識を確認するための手順の概略図を示す。図１５の概略図は、全体が１５００で示される。画像（例えば画像１０１０）は、例えば観察者との関連で回転し、したがって歪められた道路標識１５１０を含む。理想的におよそ二等辺三角形の形状を有する道路標識が歪められた状態で示されるという点において、歪曲が示される。説明の目的で、ここでの歪曲は、誇張された方法で表される。
本発明によれば、例えばエッジ検出器１０２０におけるエッジ検出は、道路標識の画像に、任意に適用される。次に、画像の直線部分を検出するために、ハフ変換器１３３０においてハフ変換が実行される。画像を通る直線部分に関する情報１０３２は、形状検出を実行するために、形状検出器１０４０に提供される。ここに示した例では、形状検出器は、画像において検出される三角形に関する情報を提供する。画像において検出される三角形は、実際、パターン・データベースに格納される理想的形状（例えば、正三角形）から逸脱するが、偏差は少なく、形状検出器によって使用される許容範囲のために、道路標識１５１０の歪曲にもかかわらず形状検出器は三角形を検出する。このように、形状検出器１０４０は、例えば端点の座標を示すことによって、画像において検出された形状に関する情報１０４２として、画像における三角形の位置を示す情報を提供する。
次に、パターン識別器１０５０は画像１０１０の画像部分を選択するが、選択された画像部分は画像において検出された形状に関する情報１０４２によって定義されている。例えば、パターン識別器１０５０は、形状検出器１０４０によって確認される形状の外側に位置する残りの画像をマスキングすることができる。理想的には、パターン識別器１０５０は、形状が形状検出器１０４０によって確認される形状に対応する画像部分を得る。ここに示した例では、パターン識別器１０５０は、三角形画像部分１５３０を得る。
この点で、三角形画像部分が（例えば、アフィン・マッピングによって）画像データベースに格納される画像に関して歪められる点に留意する必要がある。例えば、画像データベースに格納される画像が、１５４０で示される。画像データベースに格納された画像１５４０と画像部分１５３０との形状の比較で、形状が異なることが分かり、その結果、直接比較は可能でないかまたは信頼できない結果につながる。しかしながら、それを用いて画像データベースに格納された参照画像または比較画像１５４０と画像部分１５３０とが同一の形状を有することになるかもしれないマッピング仕様は、画像データベースに格納された比較画像１５４０および画像部分１５３０の形状から決定されることができる。例えば、画像部分１５３０のアフィン歪曲がある場合、それは逆のアフィン・マッピングによって元通りにすることができる。例えば、パターン識別器１０５０は、画像部分１５３０をアフィン様式（すなわち、それを回して、それを回転させて、または伸ばしておよび／または歪ませて）でマッピングすることができ、その結果、画像部分１５３０はおよそ少なくとも参照画像または比較画像１５４０の形状を有するようにつくられる。アフィン様式にしたがって形成されるかまたは歪められる画像部分１５３０のバージョンは、図１５の１５５０で示される。このように、アフィン様式でマッピングされた画像部分１５５０および参照画像１５４０は同じ形状または輪郭を有し、その結果、特に信頼性が高いパターン検出またはパターン比較が実行されることができる。従って、確認された道路標識に関する情報１０５２は、パターン検出に基づいて得ることができる。
要約すると、画像部分の形状および比較画像または参照画像１５７４の形状を互いに適応させることができるように、パターン識別器１０５０は、例えば、画像において検出される形状に関する情報１０５０に基づいて、画像部分の選択１５７０、画像部分のマッピング１５７２を実行するということができ、確認された道路標識に関する情報１０５２を得るために、マッピングされた画像部分１５５０は比較画像または参照画像１５４０と比較される。
しかしながら、互いにマッピングされた選択された画像部分１５３０の形状および比較画像または参照画像１５４０の形状に近づくかまたは適応させるために、選択された画像部分１５３０のマッピング１５７２に代わるものとして、パターン識別器は、比較画像または参照画像１５４０をマッピングすることもできる。
円または楕円の極値点の検出が上述のステップに加えて起こるという点で、どのようにして図１０〜１５に関して記載されるコンセプトが更に改善されることができるかに関する説明が、以下に示される。
この目的で、図１６は、本発明の実施例にかかる画像の道路標識を確認するための発明のデバイスのブロック図を示す。
図１６のデバイスは、全体が１６００で示される。
デバイス１６００は、画像１６１０を受信する。さらに、オプションとして、デバイス１６００は、その機能に関して、デバイス１０００のエッジ検出器１０２０と同等であるエッジ検出器１６２０を含む。さらに、デバイス１６００は、画像１６１０または任意のエッジ検出器１６２０によって与えられるエッジ画像１６２２を受信するためのアップグレードされたハフ変換器１６３０を含む。アップグレードされたハフ変換器は、画像１６１０の直線部分、またはエッジ画像１６２２の直線部分を検出し、それはハフ変換器１０３０の機能と同等である。さらに、アップグレードされたハフ変換器１６３０は、画像１６１０の円または楕円の極値点を検出する能力があり、画像の円のアークまたは楕円のアークの極値点に関する情報を提供する。それぞれの情報は、１６３４で示される。もちろん、アップグレードされたハフ変換器１６３０は、画像１６１０またはエッジ画像１６２２を通る直線部分に関する情報１６３２を提供し、前記情報１６３２がハフ変換器１０３０の情報１０３２と基本的に同等である。
さらに、デバイス１６００は、ハフ変換器１６３０から画像を通る線部分に関する情報１６３２を受信する形状検出器１６４０を含む。形状検出器１６４０は、デバイス１０００の形状検出器１０４０と同一であってもよい。あるいは、形状検出器１６２０は、画像を通る直線部分に関する情報１６３２に加えて、画像にあるいかなる円のアークまたは楕円のアークに関する情報１６３４を受信することができる。
従って、形状が情報１６３２（および、おそらく情報１６３４）に基づいて画像において検出されるとすると、形状検出器１６４０は、いずれにせよ、画像において検出される形状に関する情報１６４２をパターン識別器１６５０に提供する。パターン識別器１６５０の基本的な機能はパターン識別器１０５０の機能を含むが、後述するように、それと比較して、任意にアップグレードされる。
さらに、デバイス１６００は、楕円検出器１６６０を含む。楕円検出器１６６０は、好ましくは極値点の座標の記述の形で、さらに、関連する曲率半径および湾曲方向の記述の形で、画像の円のアークまたは楕円のアークに関する情報１６３４を受信する。
楕円検出器１６６０の機能は、以下で更に詳細に述べる。楕円検出器１６６０は、通常、画像において検出される楕円形状に関する情報をパターン識別器１６５０に提供する。
さらに、パターン識別器１６５０は、画像において検出された（一般的な）形状に関する情報１６４２に基づいて、または、楕円検出器１６６０によって与えられる画像において検出された楕円に関する情報に基づいて、確認された道路標識に関する情報１６５２を提供する。
画像の円のアークまたは楕円のアークに関する情報１６３４が形状検出器１６４０により用いられることになっている場合、オプションとして使用されるアップグレードされた形状検出器１６４０に関して、アップグレードされた形状検出器１６４０が、選択された成分のセット１２２２として、一方では、両方の直線部分を含む成分のセットを選択し、他方では、円のアークまたは楕円のアークを選択するものといわれている。
例えば、丸コーナーを有するおよそ三角形の道路標識を確認するための形状検出器１６４０は、好ましくは、３つの直線と、ハフ変換器によって与えられた情報から３つの円のアークまたは楕円のアークとを選択し、その結果、直線部分および円のアークが交互に並んで、閉線路を形成する。例えば、望ましい丸い端を有する二等辺の三角形道路標識の説明は、以下のようにすることができる。
「直線部分、長さ１；円のアーク１２０°、左にカーブ、曲率半径０．０５；「直線部分、長さ１；円のアーク１２０°、左にカーブ、曲率半径０．０５；「直線部分、長さ１；円のアーク１２０°、左にカーブ、曲率半径０．０５」
したがって、この場合、形状データベース１２４２は、好ましくは、直線部分と円のアークまたは楕円のアークとの結合による比較形状を記述する。次に、所定のシーケンスにおいて言及される成分（直線部分、円のアーク、楕円のアーク）の特性を結合するベクトルが作成されるという点で、比較は、好ましくはなされることができる。
楕円検出器１６６０のセットアップは、例証として後述する。この目的で、図１７は、本発明の実施例による画像の道路標識を確認するための発明のデバイスの利用のための発明の楕円検出器のブロック図を示す。
図１７の楕円検出器は、全体が１７００で示される。楕円検出器１７００は、画像の円のアークまたは楕円のアークの極値点に関する情報１７１０を受信する。情報１７１０は、例えば、ハフ変換器１６３０によって与えられる情報１６３４と同等であってもよい。
さらに、楕円検出器１７００は、画像の円のアークまたは楕円のアークの極値点に関する情報を受信する極値点選択器１７２０を含む。極値点選択器１７２０は、全体として、ハフ変換器１６３０によって与えられる極値点から選択された極値点のセット１７２２を選択し、選択された極値点のセット１７２２（または、選択された極値点のセットを記述する情報）を楕円適合器１７３０に提供する。
楕円適合器１７３０は、（選択された極値点のセット１７２２の）選択された極値点に適合する楕円に関する情報を提供する。それぞれの情報は、１７３２で示される。偏差決定器１７４０は、情報１７３２および別の情報１７２２を受信する。偏差決定器１７４０は、選択された極値点のセットの中の選択された極値点と、選択された極値点に適合する楕円との間の偏差を決定し、したがって、選択された極値点のセットの中の極値点から適合した極値点の偏差に関する情報１７４２を提供する。
さらに、楕円検出器１７００は、極値点からの適合した楕円の偏差に関する情報に基づいて極値点と楕円との間の関連付けを実行する極値点楕円関連付け器１７５０を含む。換言すれば、情報１７１０がいくつかの楕円に属する極値点の記述を含む場合、極値点楕円関連付け器１７５０は、どの極値点が同じ楕円に属するかに関する情報１７５２を提供する。このように、極値点楕円関連付け器１７５０は、好ましくは、単一の楕円に属する４つの極値点を記述するか、または示す情報を提供する。
さらに、楕円検出器１７００は、情報１７５２に基づいて、画像の円または楕円に関する情報１７６２を提供し、情報１７６２は、画像に存在する少なくとも１つの位置パラメータ、好ましくは、楕円の完全な位置の記述を含む。このように、画像の円のアークまたは楕円のアークの極値点に関する情報に基づいて、楕円検出器は、全体的に、画像の円のための、または画像の楕円のための利用できる位置情報１７６２をつくる。
図１８に関して、極値点を楕円と関連付けることに関する方法の詳細に関しては後述する。この状況において、図１８は、楕円に属している極値点を確認する方法の図解図を示す。図１８の図解図は、全体が１８００で示される。
第１の図解図１８１０は、全体で２つの楕円に属する８つの極値点１８１２ａ〜１８１２ｈを示す。図解図１８２０は、４つの楕円点１８１２ａ、１８１２ｂ、１８１２ｃ、１８１２ｄの第１の選択、または第１のセットを示す。別の図解図１８３０は、４つの楕円点１８１２ａ、１８１２ｆ、１８１２ｃ、１８１２ｄの選択を示す。極値点のセットの中の点の３つが極値点であることが知られている。このように、楕円は、３つの極値点（例えば、極値点１８１２ａ、１８１２ｃ、１８１２ｄ）に適合させることができる。この状況において、極値点は、明らかに、第１の方向、第１の方向と逆の方向において最も遠くに位置する、または、第２の方向において最も遠くに位置するか、または第２の方向と逆の方向において最も遠くに位置する楕円点であることに留意すべきである。３つの極値点１８１２ａ、１８１２ｃ、１８１２ｄを通る楕円は、１８４０で示される。点１８１２ｂが適合する楕円１８４０に非常に近いことは明らかである。適合する楕円１８４０および極値点１８１２ｄの間の偏差ｄ（距離）は、偶然に、基本的に、適合する楕円１８４０を計算する際の数値計算の誤差から、または極値点の座標を決定する際の許容誤差から生じる。対照的に、極値点１８１２ｆおよび適合する楕円１８４０の間の距離Ｄは、距離ｄよりかなり大きい。概して、距離Ｄは所定の最大許容距離より大きく、その一方で、距離ｄは所定の許容距離より小さい。
この状況において、好ましい実施例で、適合する楕円の間の距離が３つの極値点と第４の極値点とで測定され、所定の制限値と比較されると述べられている。距離が所定の制限値より小さい場合、第４の楕円点が楕円に属するとそこから判断される。さもなければ、第４の楕円点が３つの別の楕円点を通る楕円に属しないと仮定される。
このように、示される実施例において、極値点１８１２ａ、１８１２ｂ、１８１２ｃ、１８１２ｄは同じ楕円に属するが、極値点１８１２ａ、１８１２ｆ、１８１２ｃ、１８１２ｄは、同じ楕円に属しないことをはっきりさせることができる。
さらに、パターン識別器１６５０が、一般の形状が情報１６４２によって記述されている画像において検出されたか否か、または、楕円形状が情報１６６２によって記述されている画像において検出されたか否かに基づいて、画像１６１０の部分を選択することができる点に注意される。換言すれば、パターン識別器１６５０は、それぞれのアルゴリズムを画像部分を選択するために、そして画像において検出された形状（一般の形状または楕円形状）に基づいて画像部分をマッピングするために（例えば、アフィン歪曲のために）、適応させられる。
図１９は、本発明の実施例による画像の道路標識を確認する発明の方法のフロー図を示す。図１９の方法は、全体が１９００で示される。方法１９００は、カメラから画像を受けるステップ１９００を含む。しかしながら、好ましくは、カメラから受けるものは、単独画像ではなく、画像のストリーム（また、ビデオストリームとも呼ばれる）である。
方法１９００は、画像に適用される閾値形成を有し、望まれていない領域を切り取ることを有する第２ステップ１９２０を含む。例えば、空は画像から取り除かれ、その結果、全体で処理される情報量は減らされる。更に上ですでに説明された方法で、閾値形成は実行されることもできる。第３ステップにおいて、方法１９００は、輪郭抽出を含む。輪郭抽出１９３０は、カメラ画像１９１２に基づいてステップ１９２０で測定される閾値処理画像のエッジまたは輪郭の生成またはマーキングを含む。このように、エッジ画像または輪郭画像１９３２は、輪郭抽出のステップ１９３０において形成される。次のステップ１９４０において、道路標識は、ハフ変換手段によってマスキングされる。換言すれば、ステップ１９４０は、例えば三角形の形状、長方形の形状、正方形の形状、丸い形状および／または楕円形状を検出するステップを含み、それぞれの形状を示す情報を提供するステップを備えている。その後、記述された形状が検出された領域はマスキングされ、その結果、確認された形状の周囲の画像内容がマスキングされ、隠されるのに対して、例えば１つの確認された形状の中の画像内容のみが存在する画像が形成される。好ましい実施例において、例えば大きさが減らされた画像を得るために、マスキングされる領域は、例えば、検出された形状の範囲内の画像領域を含み、オリジナルのカメラ画像１９１２におけるより検出された形状の周囲の小さい一部だけが含まれる画像から切り取られる。このように、マスキングされた領域１９４２は、マスキングのステップ１９４０から生じる。
それから、更なるステップ１９５０は、マスキングされた領域１９４２の中で道路標識を得るために、マスキングされた領域をデータベースまたは道路標識データベースの入力と比較するステップを含む。データベースの入力との比較１９５０は、マスキングされた領域１９５２とデータベースに格納されたさまざまな道路標識との間の類似点を示す情報１９５２という結果になる。例えば、（マスキングされた領域の画像内容に対するそれらの類似性の順で）さまざまな道路標識の配置および関連する類似性に関する情報１９５２は、１９７０で示される。データベースとの比較１９５０は、このように、結果１９５２として、マスキングされた領域１９４２の画像内容および画像データベースの道路標識（または道路標識の画像）の間の類似性の確率を提供する。その結果、最もあり得る道路標識に関する情報が形成される。それぞれの情報は、１９６０で示される。
図１９の方法１９００の詳細は、以下で取扱われる。この目的で、図２０ａは、道路標識を含むカメラ画像の図解図を示す。図２０ａにおいて表されるカメラ画像は、全体が２０００で示され、例えば、方法１９００の画像１９１２と同等であることができる。
図２０ｂは、図１９の方法１９００を適用するときに発生するようなエッジ画像または輪郭画像の図解図を示す。図２０のエッジ画像または輪郭画像は、全体が２０５０で示され、基本的に輪郭画像１９３２に対応する。
エッジ画像２０５０に関して、本発明が安定したエッジ画像１９３２を記録されたビデオストリーム１９１２からつくり出すことが可能な点に留意する必要がある。さらに、道路上に描かれるマーク（例えば、道路上へ描かれる速度制限または警告標識）および道路規制も、エッジ画像を作成する際に考慮される。エッジ画像を作成する際の特定の課題は、エッジ画像が光条件とは無関係であるということである。このような課題は、例えば、自動的に閾値形成１９２０で閾値を設定することによって解決されることができる。さらに、速いカメラ動作も、考慮されなければならない。
図２１ａは、そこにおいてマークされる円形のまたは楕円形状を有するエッジ画像の図解図を示す。図２１ａのマークされたエッジ画像は、全体が２１００で示される。円形または楕円形状は、例えば、ハフ変換を用いてマークされることができる。特に、ハフ変換を用いて、曲線は、エッジ画像において見出すことができる。さらに、円形の対象を有する形状検出は可能である。
図２１ｂは、（例えば、カメラ画像１９１２の）マークされる円形または楕円形状を有する画像の図解図を示す。図２１のマークされたカメラ画像は、全体が２１４０で示される。マークされたカメラ画像２１４０に関して、検出された形状が興味を引くか関連する画像のそれらの領域を表す点に注意される。
図２１ｃは、マスキングされたカメラ画像の図解図を示す。図２１ｃのマスキングされたカメラ画像は、全体が２１８０で示される。マスキングされたカメラ画像において、検出された円形または楕円形状の外側の領域は、抑制されるかまたは、例えば、黒または他の所定の明度に設定される。このように、円形または楕円形の検出領域または検出範囲は、例えば、マスキングされる。検出範囲は、このようにマスキングすることができ、さらに分離することができる。このように、図解図２１８０が、例えば、マスキング１９４０から生じているマスキングされた画像１９４２を記述するものということができる。
続いて、どのようにして道路標識データベースの比較が実行されることができるかについて説明する。この目的で、図２２ａは、例えば、画像が道路標識データベースに格納されることができるさまざまな道路標識の図解図を示す。道路標識データベースは、さまざまな形状を有する標識を含むことができる。道路標識の典型的形状は、三角形、長方形、正方形、円形、および八角形（例えば、停止標識）である。
特徴がマスキングされた範囲から抽出されるという点で、そして抽出された特徴がデータベースに格納される特徴と比較されるという点で、例えば、方法１９００のステップ１９５０において実行される道路標識データベースとの比較は実行されることができる。
好ましい実施例において、道路標識データベースは、例えば、格納される道路標識のカラー・ヒストグラムを含む。この状況において、カラー・ヒストグラムは、個々の色が道路標識において取り上げられる相互の関係を示す。この状況において、例えば、カラー分布の方向依存性は考慮されることができ、例えば、カラー分布は位置に依存して重み付けされてもよい。
カラー・ヒストグラムの例は図２２ｂに示され、図２２ｂのファジー・カラー・ヒストグラムが、全体として２２５０で示される。横軸２２６０は、例えば、色を説明している色基準インデックスを示す。例えば、縦軸２２６２は、標準化ピクセル数を示す。このように、ファジー・カラー・ヒストグラム２２５０は、全体の画像の相対的比率が特定色のカラー・ピクセルによって取り上げられることを示す。
例えば、格納されたカラー・ヒストグラム２２５０は、データベースの入力または特徴との複数の比較を実行することを可能にし、データベースは格納された道路標識のカラー・ヒストグラムを含む。
特徴抽出および特徴比較のさまざまな方法が、一致を決定するために使用されることができる点に注意される。
−桁検出のためのハフ変換；
−カラー・ヒストグラム：色定数の指標付け（参照〔１〕、〔２〕）またはファジー・カラー・ヒストグラム（参照〔３〕）；
−空間カラー・ヒストグラム：空間色彩のヒストグラム（参照〔１〕）、空間的なファジー・カラー・ヒストグラム（参照〔３〕）。
道路標識の典型的な画像は、以下で簡単に説明される。例えば、図２３ａは、影になる道路標識の図解図を表す。図２３ａの図解図は、閾値形成を考慮する。しかしながら、ハフ変換によって、道路標識の形状または輪郭が影になっているにもかかわらず検出されることができて、マークされることができることは明らかである。道路標識の検出は、円形のまたは楕円形マーク（白色線）から明らかである。
図２３ｂは、輪郭画像と同じ道路標識の図解図を示す。輪郭画像は、再び、そこにおいて、道路標識のマークされる円形または楕円形状（白色線参照）を有する。
図２４ａは、半分影になる道路標識の図解図を示す。図２４ａの図解図は、全体が２４００で示される。
図２４ｂは、可動カメラによって撮られたカメラ画像に基づく輪郭画像またはエッジ画像の図解図を示す。図２４ｂの図解図は、全体が２４５０で示される。
道路標識の丸い形状が、いかなる場合においても、すなわち道路標識が部分的に影になっている場合、および、道路標識の画像が可動カメラで撮られている場合のいずれにおいても、ハフ変換によって検出されることができることは、図解図２４００および２４５０から明らかである。
図２５ａは、少なくともおよそ楕円の一部がハフ変換によってマークされる、直角であるか正方形の道路標識の図解図を示す。なお、図２５ａの図解図は、全体が２５００で示される。
図２５ｂは、長方形または正方形の道路標識の輪郭またはエッジの図解図を示す。図２５ｂの図解図は、全体が２５５０で示される。
図解図２５００、２５５０は、明らかに、長方形または正方形の道路標識に関して得られ、例えば、発明の形状検出器によって解決される課題を示す。
図２６は、本発明の実施例による道路標識を検出する発明の方法のフロー図を示す。
図２６の方法は、全体が２６００で示される。方法２６００は、画像またはエッジ画像２６１２をハフ変換するステップを有する第１ステップ２６１０を含む。抽出された画像またはエッジ画像をハフ変換するステップ２６１０は、画像を通る直線部分に関する情報２６１４を提供する。さらに、方法２６００は、確認された直線部分に基づいて、または情報２６１４に基づいて、抽出された画像またはエッジ画像の所定の形状を検出するステップを含む。所定の形状を検出するステップ２６２０は、検出された形状に関する情報２６２２を提供する。さらに、方法２６００は、第３のステップ２６３０において、検出された所定の形状に対応する画像部分の道路標識を確認するステップを含む。確認は、このように、検出された道路標識に関する情報２６３２という結果になる。方法２６００がこの開示の状況において記載されている発明のデバイスによって実行されるこれらのステップの全てによって補完されることができる点に留意すべきである。同様に、方法２６００は、方法１９００に関して説明されたステップによって補完されることができる。
画像の楕円形を検出するために使用できるアルゴリズムと同様に、パラレル・ハフ変換の方法が、図１〜９を参照して更に詳細に下で説明される。この状況において、ＦＰＧＡの中で行うことができるパラレル・ハフ変換のハードウェア実行も、例えば、記載されている。
図１は、本発明の第１実施例にかかる図解図の楕円の形状および／または位置に関する情報を決定するための発明のデバイスのブロック図を示す。図１のブロック図は、全体が１００で示される。基本的に、発明のデバイス１００は、画像データ１１２を受信するための座標判定手段１１０を含む。座標決定手段１１０は、画像データ１１２に含まれる楕円の特定の楕円点の座標１１４を抽出して、次に楕円計算手段１２０に前記座標１１４を利用可能にする。楕円計算手段１２０は、座標決定手段１１０によって与えられる座標１１４から楕円パラメータ１２２を計算して、更なる処理のために楕円パラメータ１２２を出力する。
上記の構造的な記述に基づいて、発明のデバイスの動作モードが、以下において更に詳細に説明される。この状況において、グラフィック画像を示す画像データ１１２が楕円を含むと仮定される。さらに、第１の方向１３０および第２の方向１３２が、画像データ１１２において定められると仮定される。画像データ１１２に含まれる楕円１３４は、関連した座標（ｘ1´、ｙ1´）を有する第１の楕円点１３６を含み、第１の楕円点１３６が第１の方向の最も遠くに位置するその楕円点を表す。ここの位置は、例えば、優先方向として、または座標軸として第１の方向１３０および第２の方向１３２を含む直角または斜交座標系によって定義される。さらに、楕円１３４は、第１の方向１３０の反対の方向において最も遠くに位置する楕円の位置を表す関連した座標（ｘ3´、ｙ3´）を有する第２の楕円点１３８を含む。さらに、楕円は、第２の方向１３２の最も遠くに位置する楕円の位置を表す座標（ｘ4´、ｙ4´）を有する第３の楕円点１４０を含む。最後に、楕円１３４は、第２の方向１３２の反対の方向において最も遠くに位置する楕円の位置を表す座標（ｘ2´、ｙ2´）を有する第４の楕円点１４２を含む。
さらに、それぞれ曲がった線分１４６、１４８、１５０、１５２によって、前に記載された４つの特定の楕円点１３６、１３８、１４０、１４２において、楕円１３４が近似されることができる点に注意すべきである。曲がった線分１４６、１４８、１５０、１５２は、いずれの場合においても複数のパラメータによって記載されることができる。例えば、第１の線分１４６は、例えばｘ座標およびｙ座標のような２つのスカラー位置パラメータ、および例えば曲率半径のような曲率パラメータによって記述されることができる。さらに、例えば、第１の線分１４６は、第１の楕円点１３６で楕円を接触させることができる。しかしながら、第１の線分１３６が第１の楕円点１３６で楕円１３４と交差することも可能であり、その場合、楕円１３４および第１の曲がった線分１４６が第１の楕円点１３６で好ましくは共通の接線を含む。共通の接線は、その位置が第１の方向において一定の座標を含むというような方法でつくられる線によって特定されることができる。これは、第１の方向の最も遠くに位置する楕円のその位置としての第１の楕円点の定義に対応する。さらに、第１の線分１４６が好ましくはパラメータ化された曲がった線分の群に属し、パラメータは、例えば、群の個々の線分の位置および／または曲率を記述している点に注意すべきである。
第１の線分１４６のパラメータ、すなわち第１の線分１４６の位置および／または曲率は、従って、楕円１３４の位置および／または形状に密接に関連がある。
要約すると、それが第１の楕円点の周囲の範囲内で距離測度に関して楕円と十分に類似している場合、線分は、第１の楕円点１３６で楕円１３４に近い第１の線分１４６と考えられる点に注意すべきである。さらに、更なる基準が満たされる、すなわちそれが第１の楕円点１３６で楕円１３４の線と共通の接線を有する場合だけ、線分が、例えば、第１の線分１４６と確認されることが必要であるかもしれない。
第２の曲がった線分１４８、第３の曲がった線分１５０および第４の曲がった線分１４２も同様に定められ、第２の曲がった線分１４８は第２の楕円点１３８で楕円に近い曲がった線分であり、第３の曲がった線分１４０は第３の楕円点１５０で楕円に近い曲がった線分であり、第４の曲がった線分第４の楕円点１４２で楕円１３４に近い曲がった線分である。
さらに、座標決定手段１１０は、第１の曲がった線分１４６の少なくとも１つの決定されたパラメータに基づいて、第１の楕円点１３６の座標（ｘ1´、ｙ1´）を決定するように、第１の曲がった線分１４６の少なくとも１つのパラメータを決定する。さらに、座標決定手段１１０は、第２の曲がった線分１４８の少なくとも１つのパラメータを決定して、第２の曲がった線分１４８の少なくとも１つのパラメータに基づいて、第２の楕円点１３８の座標（ｘ3´、ｙ3´）を決定する。
例えば、第１の曲がった線分１４６が曲がった線分のパラメータ化された群に属する場合、第１の曲がった線分のパラメータを決定することは、曲がった線分の群から、十分におよび／またはできるだけ第１の楕円点１３６で楕円１３４に近い曲がった線分を確認することに対応する。例えば、近似の品質は数学的距離尺度で決定されることができ、閾値は距離尺度に対して設定されることができ、閾値を上回るか下回った場合、曲がった線分のパラメータ化された群の中の曲がった線分が十分によく第１の楕円点１３６で楕円１３４に近いとみなされる。
同様にして、座標決定手段１１０は、第２の楕円点１３８の周囲の楕円１３４に近い第２の曲がった線分１４８のパラメータを決定することができる。例えば第２の曲がった線分１４８のパラメータを決定するのに用いられる曲がった線分のパラメータ化された群は、第１の曲がった線分１４６のパラメータを決定するために用いられる線分のパラメータ化された群と同一でもよく、または、例えば湾曲方向に関して、それはそれとは異なっていてもよい。
いったん、座標決定手段１１０が第１の曲がった線分１４６の少なくとも１つのパラメータ、および第２の曲がった線分１４８の少なくとも１つのパラメータが線分１４８を決定すると、座標決定手段１１０はこれから第１の楕円点１３６の座標（ｘ1´、ｙ1´）とともに、第２の楕円点１３８の座標（ｘ3´、ｙ3´）を導き出すことができる。座標判定手段１１０は、第１の楕円点１３６の座標（ｘ1´、ｙ1´）とともに第２の楕円点１３８の座標（ｘ3´、ｙ3´）を楕円計算手段１２０に伝達する。
第１の楕円点１３６の座標（ｘ1´、ｙ1´）および第２の楕円点１３８の座標（ｘ3´、ｙ3´）に基づいて、楕円計算手段１２０は、少なくとも、楕円１３４の中心の座標（ｘm´、ｙm´）を計算することができる。このように、楕円１３４の中心点１６０は公知である。
さらに、座標決定手段１１０は、好ましくは、第３の楕円点１４０から楕円を近づける第３の曲がった線分１５０の少なくとも１つのパラメータを決定する。この状況において、再び、曲がった線分の群からどの曲がった線分が第３の楕円点１４０における楕円１３４に最も近いのかを決定することができる。関連する群パラメータは、例えば、確認された第３の線分１５０のパラメータを示し、第３の楕円点１４０の少なくとも１つの座標ｘ4´またはｙ4´を決定するために、座標決定手段により用いられてもよい。座標決定手段１１０は、楕円計算手段１２０にこの座標ｘ4´またはｙ4´を送ることができ、それは楕円計算手段１２０に、第１の楕円点１３６および第２の楕円点１３８の座標（ｘ1´、ｙ1´）および（ｘ3´、ｙ3´）と関連して、全ての楕円のパラメータ、すなわち、楕円中心点１６０の両方の座標（ｘm´、ｙm´）、楕円１３４の２つの半軸の長さａ´，ｂ´、回転角α´を決定させることができ、および／または解析公式を用いてそれらを算出させることができる。
第１の線分１４６のパラメータを決定するために、第１の線分１４６の形状についての先験的な知識が使われることができる点にこの点でもう一度明示的に注意される。実は、第１の線分１４６が第１の楕円点１３６で楕円１３４に近くなければならない、すなわち第１の線分１４６が、第１の楕円点１３６で楕円１３４によって示される同じ曲率特性または少なくとも同じ湾曲方向を有しなければならないことは、すでに知られていた。さらに、好ましくは、それが第１の楕円点１３６における楕円の接線であるという点で、または第１の楕円点１３６で少なくとも接線を楕円１３４と共有するという点で、第１の線分１４６は定められる。このように、通常、座標決定手段は、好ましくは、グラフィック画像において、第１の曲がった線分として上述の条件（曲率特性、接線方向）を満たす曲線の経路を確認する。パラメータ化された曲線群の使用は、例えば、ここで一例として見られるだけであるが、むしろ、使用は所定の湾曲方向および所定の接線方向を有する曲がった線分のパラメータを確認して、少なくとも１つの位置パラメータによってそれらを記述することが可能であるいかなるパターン検出アルゴリズムでできていてもよい。
類似した定義は、さらに任意に使われる第２の曲がった線分１４８、第３の曲がった線分１５０、および第４の曲がった線分１５２にも適用される。第１の曲がった線分を確認することに関しては対応するアルゴリズムを用いることができ、前記アルゴリズムが湾曲方向および接線方向に関してのみ適応することを必要とする。
楕円の形状および／または位置に関する情報を決定するための発明のデバイスの本質的効果は、確認される楕円の「極値点」、すなわち、いくつかの所定の方向の最も遠くに位置する楕円の点が決定される。第１の楕円点１３６、第２の楕円点１３８、第３の楕円点１４０および第４の楕円点１４３は、実は、上述の定義に従う極値点と考えることができる。この状況において、極値点は、それぞれの極値点で楕円に近い曲がった線分を確認することによって決定される。ここで、使用は、それぞれの極値点の楕円上の接線の方向についての先験的な知識と同様にそれぞれの極値点の楕円の曲率についての先験的な知識でできていてもよい。このように、極値点を決定するためにグラフィック画像の、または、画像データ１１２のいかなる画像点も使用しないことが好ましいが、むしろ、それぞれの回転中心で楕円に近くなることができる曲がった線（または曲がった線分）を示すような画像点だけを使用することが好ましい。
この状況において、極値点の１つで楕円１３４に近い適切な曲がった線分は、先験的な知識、すなわち楕円１３４に接触する（または、少なくとも楕円と接線を共有する）点における曲がった線分の曲率および曲がった線分の接線方向の知識が、非常に効率的な方法で見つかることができる。いったん、楕円の逆の極値点、すなわち、例えば第１の楕円点１３６および第２の楕円点１３８がわかると、楕円計算手段１２０は、第２ステップにおいて、少なくともコンピュータ的に非常に効率的な方法で楕円の中心点１６０を確定することができる。
さらに、第１の楕円点１３６の２つの座標（ｘ1´、ｙ1´）、第２の楕円点１３８の２つの座標（ｘ3´、ｙ3´）および第３の楕円点１４０のたった１つの座標（ｘ4´、ｙ4´）を決定することは、全ての楕円パラメータ（ｘm´、ｙm´）、ａ´、ｂ´、α´を計算するのに充分である。
続く具体例の理解を容易にするために、楕円パラメータのために使用する定義は、以下で示される。従って、図２ａは、楕円の図解図、および第１の楕円点の、第２の楕円点の、第３の楕円点の、第４の楕円点の、および楕円の中心点の座標の図解図を示す。図２ａの図解図は、全体が２００で示される。図解図２００はｘ軸２１０およびｙ軸２１２を有する直交座標系を示し、ｘ軸２１０およびｙ軸２１２は互いに直交する。ｘ軸２１０およびｙ軸２１２によって形成される座標系は、そこに配置される楕円２２０を有する。楕円２２０は、関連する座標（ｘ3、ｙ3）を有する第１の楕円点２２６を含む。第１の楕円点２２６は、ｘ軸２１０によって定義されるｘ方向の最も遠くに位置する楕円２２０の点を示す。関連する座標（ｘ1、ｙ1）を有する第２の楕円点２２８は、逆のｘ方向の最も遠くに位置する楕円２２０の点を形成する。さらに、関連する座標（ｘ2、ｙ2）を有する第３の楕円点２３０は、ｙ軸２１２によって定義されるｙ方向の最も遠くに位置する楕円２２０の点を示し、関連する座標（ｘ0、ｙ0）を有する第４の楕円点２３２は負のｙ方向の最も遠くに位置する楕円２２０の点を形成する。さらに、楕円の中心点２４０は、中心の座標（ｘm、ｙm）を含む。さらに、図解図２００は、楕円の第１の半軸２４２を示し、示されている場合、楕円の大きい半軸を示し、その長さはパラメータａで示される。楕円２２０の第２の半軸２４４は、示される場合には、楕円２２０の小さい半軸を形成する。楕円の第２の半軸２４４の長さは、パラメータｂによって示される。
さらに、図２ｂは楕円の図解図を示し、特性楕円点の変換された座標とともに、原点に移されている。図２ｂの図解図は、全体が２５０で示される。図解図２５０は、原点２６４において直交するｘ軸２６０およびｙ軸２６２を表す。さらに、図解図２５０は原点に移された楕円２７０を示し、その中心点２７２が原点２６４と一致する。示されているのは、関連する座標（ｘx、ｙx）を有する変換された第１の楕円点２７６である。変換された第１の楕円点２７６は、ｘ軸２６０によって定義されるｘ方向の最も遠くに位置する楕円２７０の点を形成する。なお、変換された第１の楕円点２７６が、シフトによって第１の楕円点２２６から生じる点に注意されるべきである。そこにおいて：
ｘx＝ｘ3−ｘm； ｙx＝ｙ3−ｙm
さらに、図解図２５０は、関連する座標（ｘy、ｙy）を有する変換された第３の楕円点２８０を含む。変換された第３の楕円点２８０は、ｙ軸２６２によって定義されるｙ方向の最も遠くに位置する楕円２７０の点を形成する。さらに、変換された第３の楕円点２８０は、シフトによって第３の楕円点２３０から生じる。そこにおいて：
ｘy＝ｘ2−ｘm； ｙy＝ｙ2−ｙm
さらに、図解図２５０は、示された実施例においては、その長さがａで示される大きい半軸を表している楕円２７０の第１の半軸２９２、および示された実施例においては、その長さがｂで示される小さい半軸を表している楕円２７０の第２の半軸２９４を示す。さらに、示されているのは、回転角αである。このように、ここの回転角αは、ｘ軸２６０および楕円２７０の第２の半軸２９４間の鋭角として示される。
このように、図解図２５０は、関連する楕円パラメータａ，ｂ，αと同様に、原点にシフトされた（すなわち、変換された）楕円２７０の変換された極値点２７６，２８０を示す。
図３は、楕円の典型的なラスタ画像の図解図を示す。図３の図解図は、全体が３００で示される。この状況において、示されることは、複数のラスタ位置３１２を有するラスタ画像３１０である。ラスタポイント３１２について示されているように、ラスタポイントは不活性であるか白であってもよい。さらに、例えば、ハッチングによってラスタポイント３１４について示されているように、ラスタポイントは活性であるか黒であってもよい。ラスタ画像３１０は、複数のラスタ行および複数のラスタ列を含む点に注意される。この状況において、例えば、領域３２０で例示されているように、ラスタ行は複数のラスタ位置を集約し、それは太い縁取りでラスタ行を示している。ラスタ列も、いくつかのラスタポイントの組合せを定める。ラスタ列の１つの実施例は太い縁取り領域３２２によって示され、それはラスタ列を表す。ラスタ行およびラスタ列は、好ましくは、互いに直交している。さらに、もちろん、ラスタ行およびラスタ列が重複することができる点に注意される。例えば、ラスタ行３２０およびラスタ列３２２は、３２４で示される共通の画像点を有する。画像または画像部分が、複数のラスタ行によって、および複数のラスタ列によって完全に記述されることができる点にも注意される。その理由は、次のことにある。明らかに、各ラスタ領域はラスタ行によって、およびラスタ列によって記述されることができるからである。定義上、ラスタ画像３１０は、第１のラスタ行３２０、第２のラスタ行３３０、好ましくは連続的に番号をつけられるいくつかの更なるラスタ行３３２、および最後のラスタ行３３４を含む点に注意される。対応する行番号は、３３５で示される。同様に、ラスタ画像３１０は、第１のラスタ列３２２、第２のラスタ列３３６、好ましくは連続的に番号をつけられる更なるラスタ列３３８、および最後のラスタ列３４０を含む。
さらに、図解図３００は活性であるか黒いラスタポイント（または画像点）の形でラスタ画像３１０によって表される楕円３５０を示し、活性なラスタ位置がハッチングによってマークされる。
さらに、図解図３００は、３６０で示されるラスタ列の第１グループを示す。ラスタ列の第１グループは、包括的に、第１のラスタ列３２２、第２のラスタ列３３６および第７のラスタ列３６２までの以下のラスタ列の全てを含む。ラスタ列の第１グループ３６０は、このようにラスタ画像３１０の部分を記述する。
さらに、ラスタ画像の上述の部分は、列の数の制限のため最初のラスタ行と比較して長さにおいて減らされる複数のラスタ行を含む。画像部分の選択のために生じることができる短くされたラスタ行は、以下において短いラスタ行とも呼ばれる。
さらに、３６４で示されるラスタ列の第２グループは、第２のラスタ列３３６および第８のラスタ列３６６まで続くラスタ列を含む。換言すれば、それぞれ、７つの隣接するラスタ列が、それぞれラスタ列の１つのグループに結合され、それは共通処理のために提供される。
同様のグループ化は、ラスタ行に対して実行され、例えば、第１のラスタ行３２０、第２のラスタ行３３０および７番目のラスタ行３６８までの第１グループ３７０に結合される。同様に、ラスタ行の第２グループは、第２のラスタ行３３０から８番目のラスタ行３７２までを含み、ラスタ行の第２グループが３７４で示される。
この状況において、一群のラスタ行がいかなる数のラスタ行、例えば５本のラスタ行、１６本のラスタ行、３２本のラスタ行または６４本のラスタ行を含むことができる点に注意される。この状況において、ラスタ行のグループに結合されるラスタ行の数は、２より大きいことが好ましい。同様の考慮すべき問題は、一群のラスタ列にもあてはまる。
図４ａは、本発明の第２実施例にかかるグラフィック画像の楕円点の座標を決定するための発明のデバイスのブロック図を示す。図４ａのデバイスは、全体が４００で示される。後述するように、図３に示されているように、デバイス４００は特にラスタ画像３１０を処理することにかなり適している。
デバイス４００は、ラスタ画像４１０を受信する。さらに、任意の画像部分選択手段４１２を使用する一方で、デバイス４００はラスタ画像４１０から画像部分４１４を選択する。選択された画像部分４１４は、例えば、複数のラスタ行および／または複数のラスタ列によって、例えば、図３を参照して述べたように、一群のラスタ行または一群のラスタ列によって定義されることができる。さらに、発明のデバイス４００は、ラスタ画像またはラスタ画像部分４１４を受信するためのパターン検出手段４２０を含む。さらに、パターン検出手段４２０は、曲線の経路または曲線の参照経路のセットの中の曲がった線分がラスタ画像または画像部分４１４に含まれるかどうかをはっきりさせる。
ここの曲線の参照経路のセットの曲線の経路は、例えば、ラスタ画像または画像部分４１４に含まれる曲線の経路と、曲線の参照経路との類似点を決定するために、メモリ内に格納されることができる。しかしながら、パターン検出手段の構造が曲線の参照経路のセットの中の曲線の参照経路と十分に類似している曲線の経路がラスタ画像または画像部分４１４に含まれるかどうか検出することは可能である。曲線の参照経路として、使用は、第１の楕円点で、第２の楕円点で、第３の楕円点で、または、第４の楕円点において、楕円に近い曲線のこのような経路で好ましくはできている。従って、パターン検出手段は、通常、第１の楕円点で、第２の楕円点で、第３の楕円点で、または、第４の楕円点で楕円を検出する曲線の経路が、ラスタ画像または画像部分４１４に含まれるかどうか検出する。
パターン検出手段４２０は、第１の楕円点、第２の楕円点、第３の楕円点および第４の楕円点の中のどの１つが、曲線の参照経路のセットの中の曲線の参照経路が楕円に近い点であるのかによって、曲線の参照経路のセットの中で、第１の曲がった線分、第２の曲がった線分、第３の曲がった線分、または第４の曲がった線分のように、ラスタ画像または画像部分４１４に含まれる曲線の経路と十分に類似している曲線の経路を好ましくは確認する。
さらに、パターン検出手段４２０は、少なくとも１つの位置パラメータを決定するが、好ましくは２つの位置パラメータ、オプションとして、第１の線分の、第２の線分の、第３の線分の、または第４の線分の曲線の経路を記述する別の位置パラメータを決定する。オプションとしての座標計算手段４３０は、確認された第１の線分、第２の線分、第３の線分または第４の線分の位置から、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点の座標を計算することができる。しかしながら、好ましくは曲がった線分が特定の楕円点を通るような第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点の座標を位置パラメータが直接示すように、パターン検出手段４２０で決定される曲がった線分の位置パラメータがすでに定義されている場合、座標計算手段４３０は省略されることもできる。
曲線の参照経路として、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点で（または、それぞれの楕円点の環境において）楕円に近い曲線のこのような経路が好ましくは使用される点に更に注意される。曲線の参照経路として、曲線の対称形の曲がった経路が好ましくは使用される。また、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点において円形の曲線が特に楕円に近いので、例えば、円形の曲線からの部分が、曲線の参照経路として使用されることが好ましい。
図４ｂは、発明のパターン検出手段の利用のための曲線の参照経路の２つの実施例の図解図である。図４ｂの図解図は、全体が４５０で示される。第１の図解図４５２は、ラスタ画像の形で、第１の曲率半径ｒ1を有する円形の曲線からの部分に近い曲線の第１の参照経路を記載している。第２の図解図４５４は、ラスタ画像の形で、第２の曲率半径ｒ2を有する円形の線からの部分に近い曲線の第２の参照経路を記載しており、第２の曲率半径ｒ2は第１の曲率半径ｒ1より大きいものである。さらに、第３の図解図４５６は、ラスタ画像の形で、第３の曲率半径ｒ3を有する円形の線からの部分を記述する曲線の第３の参照経路を示す。この状況において、第３の曲率半径ｒ3は、第１の曲率半径ｒ1より小さい。従って、図４ｂの３つの図解図４５２、４５４、４５６は、パターン検出手段４２０における利用のための曲線の３つの可能な参照経路を記述している。換言すれば、パターン検出手段４２０は、ラスタ画像または画像部分４１４において、図４ｂの図解図４５２，４５４，４５６に示された曲線の３つの参照経路を検出し、第１の楕円点において確認されるべき楕円に近い第１の曲がった線としてそれらを確認する。さらに、パターン検出手段４２０は、好ましくは、位置パラメータによって、ラスタ画像または画像部分４１４において検出される曲線の参照経路の位置を記述し、上述の位置パラメータが曲線の周知の参照経路が確認される楕円に近い第１の楕円点の座標を直接表さない限り、前記位置パラメータを座標計算手段４３０に利用できるようにする。
図５ａは、そこにおいてマークされる検出された曲がった線分を含む典型的なラスタ画像の第１の図解図を示す。この状況において、図４ａのデバイス４００のパターン検出手段４２０が、例えば、画像または画像部分において、第１の図解図４５２において、第２の図解図４５４において、および第３の図解図４５６において示される曲線の参照経路を検出することが可能であると仮定される。図３ａの典型的なラスタ画像３１０が、ラスタ画像４１４としてパターン検出手段４２０に供給されると仮定される。一例として、パターン検出手段のラスタ画像３１０が、行ごとの、または列ごとの形式で出力されると仮定される。パターン検出手段４２０のラスタ画像３１０が、第１のラスタ列３２２から始めて、列ごとの形式で出力されると仮定するならば、パターン検出手段４２０は、ラスタ画像、例えば図解図４５６の曲線の第３の参照経路において、検出することができる。図５ａの図解図５００において、その過程で検出される曲線の経路は、５１０でマークされる。しかしながら、パターン検出手段４２０のラスタ画像３１０が、最後のラスタ列３４０から始めて、列単位の形式で出力される場合、パターン検出手段は、例えば、図解図５００の５２０で示される曲線の別の経路を検出することができる。
この状況において、パターン検出手段４２０は、それに供給される画像部分選択手段４１２によって選択される画像部分を有することができるだけである点に注意される。例えば、第１の処理ステップにおいて、パターン検出手段４２０は、それに供給されるラスタ行の第１グループ３７０を含む限定された画像部分を有することができるだけである。換言すれば、第１のラスタ・セル３２０と７本目のラスタ行３６８までの隣接するラスタ行とを含む画像部分は、第１の処理ステップにおいて、パターン検出手段４２０に供給されることができる。例えば、画像部分は、図解図４５２、４５４および４５６に示される曲線の参照経路のいずれかに適合する曲線の経路を含まない。次に、第２の処理ステップにおいて、パターン検出手段４２０は、それに供給されるラスタ行の第２グループ３７４を含む画像部分を有することができる。換言すれば、パターン検出手段４２０は、例えば、列単位の形式で（すなわち全ての列に）、第２のラスタ行３３０と８本目のラスタ行３７２との間の画像内容を包括的に有している。この画像部分は、また、図解図４５２、４５４、４５６の曲線の３つの参照経路に適合する曲線の経路を含まない。さらに、第３の処理ステップにおいて、画像内容は、パターン検出手段４２０のラスタ行の第３のグループに供給されることができる。ここのラスタ行の第３のグループは、３８０で示されて、ラスタ行３〜９を含む。パターン検出手段４２０は、この画像部分において、図解図４５６の曲線の第３の参照経路に対応する曲線の経路を確認することができる。従って、曲線の確認された経路は、図解図５００の５１０で示される。さらに、解像度を改善するために、ラスタ行の隣接するグループ３７０、３７４、３８０が重複する、すなわち、共通のラスタ行を含む点に注意される。この状況において、例えば、図３に示されているように、ラスタ行の隣接するグループがたった１本のラスタ行だけ異なる、すなわちラスタ行の隣接するグループが正確に１本のラスタ行で相互にオフセットされることが好ましい。
換言すれば、デバイス４００は、連続して、ラスタ行のさまざまなグループを含むさまざまな画像部分を処理して、それらをパターン検出に従属させることができる。このように、パターン検出は、いずれの場合においても、小さい画像部分を処理しなければならないだけであり、それは極度にパターン検出の複雑さを減少させる。さらに、その結果、使用する曲線の参照経路の数は少なく保たれることができる。第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点で楕円に近い曲がった線分の位置に関する情報が、曲線の参照経路が確認される画像部分を示す、すなわち、曲線の参照経路を確認するために使われるラスタ行のグループ３７０、３７４、３８０を示す情報から導かれることができる点に更に注意される。換言すれば、曲線の参照経路が確認される画像部分を述べている情報が、曲がった線分の位置パラメータを表し、このように、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点の少なくとも１つの座標を決定するために使われることができる。
同様に、第１の画像３１０は、行ごとの形式で、すなわち全ての行に、パターン検出手段４２０に供給されることができる。この状況において、ラスタ列の異なるグループ３６０，３６４を含むいくつかの画像部分は、次々と処理されることができる。ラスタ行のグループの列ごとの処理に関して与えられる説明は、同じように適用される。
図５ｂは、そこにマークされた検出された曲がった線分を有するラスタ画像の第２の図解図を表すことに注意される。図５ｂの図解図５５０において、５６０および５７０で示される検出された曲がった線分は、図解図４５４において表される曲線の参照経路に対応する。
最初に、第１のラスタ列３２２から始めて、列ごとの形式でパターン検出手段４２０にラスタ画像３１０を供給し、次に、最後のラスタ列３４０から始めて、列ごとの形式でパターン検出手段４２０にラスタ画像３１０を供給することが有利である点にも注意される。第１のラスタ列で始める第１の実行において、湾曲の第１の方向の曲線の経路が検出され、その一方で、最後のラスタ列３４０で始める第２の実行において、それに対して対向する湾曲の方向を有する曲線の経路が検出されることができる。同様に、１つの湾曲行動を有する曲線の経路または湾曲の１つの単一方向を検出するように設計されているだけのパターン検出手段を用いるときに、異なる湾曲行動を有する曲線の経路を確認することが可能であるように、ラスタ画像３１０の行ごとの処理は、あるところで第１のラスタ行３２０で始めて、他のポイントで最後のラスタ線３３４から始めて実行されることができる。
図６は、発明のデバイス４００の利用のためのパターン検出手段のブロック図を示す。図６の回路は、全体が６００で示されて、ハフ変換を実行するためのいわゆる「ハフ配列」を示す。座標判定手段１１０を実行するパターン検出手段４００は、好ましくは、十分な近似によって、極値点の周囲で、すなわち第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点の周囲で、確認される楕円を示す異なる半径を有する円曲線の探索を実施する。パラレル収縮ハフ変換によって、特に有利な方法で、これは、実施されることができる。ハフ変換は、円曲線のために構成されることができて、この状況において、極値の、すなわち特定の方向における最も遠くに位置するそれらの位置を確認することの検索に適応することができる。
図６は、ハフ変換を実行するための特に有利な手段を示す。ハフ変換をここで実行するための手段６００は、直列に接続された複数の段階６１０を含み、それによって、いくつかの信号６１２、６１４、６１６が並行して伝達される。信号ごとに、段階は、Ａで示される遅延素子６２０、またはＢで示されるバイパス６２４を含む。さらに、段階の出力における信号は、Ｃで示される加算コンポーネント６３０に供給される。加算コンポーネントは、好ましくは、どれくらいの信号がそれぞれの段階の出力で同時にアクティブであるかを規定する。いわゆる行の合計は加算コンポーネント６３０の出力６３２に存在し、前記行の合計がそれぞれの段階の出力において同時にアクティブである信号の数を示す。行６３２の合計は、行６３２の合計と所定の閾値とを比較する比較器６３４に供給されることができる。行６３２の合計が所定の閾値を上回る場合、それぞれの段階で、少なくとも所定の数の信号がアクティブであることを意味する。換言すれば、「直線」が、少なくともおよそ、それぞれの段階に存在し、前記直線が少なくとも、それぞれの段階の所定の数の信号が同時にアクティブであるという点で特徴付けられている。その後、比較器６３４の出力信号は、遅延素子６３６に供給される。それぞれが段階６１０の比較器６３４の出力に接続されるそれぞれの遅延素子６３６は、遅延素子６３６の出力信号が次の遅延素子６３６の入力に供給されるように、カスケード接続される。
遅延素子６２０、６３６がクロック的な方法で作動し、その結果、信号６１２、６１４、６１６および比較器６３４の出力信号はクロック的な方法で伝達される。それらの構造に関して、同じ方向に、信号６１２、６１４、６１６および比較器６３４の出力信号は並行して伝達され、しかしながら、段階６１０において信号６１２，６１４，６１６を伝達するために遅延素子６２０またはバイパス６２４を使用したかどうかにより、個々の段階において信号６１２、６１４、６１６は異なる程度に遅延する。しかしながら、複数の信号６１２、６１４、６１６の中心信号が、複数の段階を通して、比較器６３４の出力からの信号と同じくらい速く送られることが好ましい。好ましくは、中心信号は段階の各々において同じくらい遅延し、比較器６３４の出力信号も、好ましくは、一定の遅延で段階を通して送られる。中心信号は、好ましくは、第１の信号６１２および最終信号６１４の中間に位置し、このように、ハフ変換手段６００に供給される画像部分の中央でラスタ行を記述するか、または、画像部分の幅の最高２５％だけ画像部分の中心から間隔を置かれる。画像部分の幅は、同時にハフ変換手段６００に供給されるラスタ行またはラスタ列によって定義される。
構造記述に基づいて、パターン検出手段６００の動作モードは、以下において更に詳細に説明される。画像部分が並行するタイムシグナル６１２、６１４、６１６の形でハフ変換手段６００に供給されると仮定される。それらが個々の段階を通過するときに、異なるタイムシグナル６１２、６１４、６１６がさまざまな程度に遅延するように、遅延素子６２０またはバイパス６２４は構成される。遅延素子６２０またはバイパス６２４のスイッチを入れることによって、曲線の曲がった経路（好ましくは、曲線の円形の曲がった経路）が１つの段階またはいくつかの段階６１０を通過した後に曲がっていないように、遅延は設定される。換言すれば、ハフ変換手段によって処理される画像部分の曲線の曲がった経路は、個々の信号６１２、６１４、６１６が時間内の異なる時点でアクティブであるという結果となる。しかしながら、最適に遅延素子６２０またはバイパス６２４をセットすることは、信号６１２、６１４、６１６が異なる速度で個々の段階を通過するようにし、その結果、理想的には、一旦特定の段階６１０が通過されるならば、信号６１２、６１４、６１６に基づくいかなる送られた信号も同時に段階の出力においてアクティブである。この場合、特に大きい行の合計が特定の段階で発生し、前記行の合計がそれぞれの加算手段６３０によって計算される。このような大きい行の合計は、それぞれの段階の比較器６３４が、遅延素子６３６のカスケードを介して、ハフ変換手段の出力６４０に次々に送り届けられるアクティブ信号を出力するという結果となる。このように、タイムシグナル６１２、６１４、６１６の形でハフ変換手段６００に入力される画像部分の曲線の経路の位置は、ハフ変換手段６００の出力６４０において、出力信号上の活性の時間的位置から推定されることができる。
信号６１２、６１４、６１６の中の所定の信号（また、中心信号とも呼ばれる）が遅延素子６３６の連鎖によって送られる比較器６３４の出力からの出力信号と同じくらい速くハフ変換手段６００の段階６１０を通過することが好ましい点にも注意される。換言すれば、入力信号６１２、６１４、６１６のうちの少なくとも１つは、並行して、比較器６３４の出力信号と同じ速度で伝播する。このように、ハフ変換手段６００の出力６４０に存在し、遅延素子６３６のカスケードにおいて送られる比較器６３４の信号に基づく出力信号は、入力信号６１２、６１４、６１６の曲がった線分が発生する時点において直接の記述を生み出すことを達成することができる。この状況において、ハフ変換手段６００の出力６４０における出力信号上の活性の発生の時は、線の曲がった経路が入力信号６１２、６１４、６１６の形でハフ変換手段に入力される時点の記述を提供する。信号６１２、６１４、６１６におけるサンプルの曲がった経路が存在する時点は、信号６１２、６１４、６１６の基礎をなしているラスタ画像における曲線の曲がった経路の空間的な位置に関して出された直接の結果を明らかに可能にする。
さらに、示された形状で、信号６１２，６１４，６１６の少なくとも１つが段階６１０を通して比較器６３４の出力信号と同じくらい速く伝播するものであるが、曲線の正確な形状、すなわち、例えば曲がった曲線における曲率半径は、どの段階６１０において比較器６３４がアクティブになるのかについての影響を有するだけである。しかしながら、示された構成で、曲線の曲がった経路の正確な形状は、ハフ変換手段６００の出力６４０でアクティブになる時に影響を及ぼさない。
したがって、ラスタ画像（またはその部分）が異なる速度でハフ変換手段６００のいくつかの段階を通過する複数の並列信号に変換されるという点で、図６に示されるハフ変換手段６００が非常に効率的な方法でラスタ画像の曲線の曲がった経路の位置を決定することに適していると確認されることができる。段階６１０の出力で列の合計を形成することによって、いつ少なくとも所定の数の信号が同時に段階の出力でアクティブになるかを検出することができ、それは曲線の最初の経路が「曲がっていなかった」ことを再び示す。
好ましくは、ハフ変換手段６００は、最適に遅延素子６２０またはバイパス６２４を選択することによって、信号６１２、６１４、６１６によって記載され、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点で楕円に近くなることができる曲線のいかなる経路もまっすぐになるように設計される。また、好ましくは、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点で楕円に近づくことができる曲線のこのような経路だけは曲がっていない。このように、図６のハフ変換手段６００は、第１の曲がった線分、第２の曲がった線分、第３の曲がった線分、または第４の曲がった線分を確認するのに適している。ハフ変換手段６００の出力６４０に出力信号がある時点は、信号６１２、６１４、６１６が基礎を形成されるラスタ画像の曲線の確認された経路の位置、すなわち第１の曲がった線分、第２の曲がった線分、第３の曲がった線分、または第４の曲がった線分のパラメータを記述する。
図７ａは、パターン検出手段によるグラフィック画像を移動するアプローチの図解図を示す。具体的には、図７ａは、列ごとの形式で図６に示されるハフ返還手段６００（また、ハフ配列とも呼ばれる）による画像またはラスタ画像を移動することを示す。
図７ａは、複数のラスタ行７２０および複数のラスタ列７３０からなるラスタ画像７１０を示す。示されることは、各々好ましくは５つのラスタ列７３０のグループ７４０であり、それが５つのラスタ列とみなされ、各ケースにおいて、同時に、信号６１２、６１４、６１６の形で並行してハフ変換手段６００に供給される。詳しくは、図３の図解図３００において参照される。
図７ｂは、並行したタイムシグナルへのラスタ画像の変換の間に形成されるタイムシグナルの図解図を示す。図７ｂの図解図は、全体が７５０で示される。図解図７５０は、複数の活性でないラスタポイントまたはイメージポイント７６２およびハッチングでマークされる複数の活性なラスタポイントまたはイメージポイント７６４を含むラスタ画像７６０を示す。活性なラスタポイントまたはイメージポイント７６４は、好ましくは曲線の経路を記述する。上述のように、ラスタ画像７６０は、複数のラスタ行７７０および複数のラスタ列７７２を含む。タイムシグナルが一群の７つのラスタ列から成る画像部分７８０に基づいて形成されるとも仮定される。例えば、第１のタイムシグナル７８２は、ラスタ列のグループ７８０内に含まれる第１のラスタ列７８４と関連している。ここのタイムシグナル７８２は、行ごとの形式で関連するラスタ列７８４に沿ってラスタ画像７６０をスキャンすることによって形成される。同様に、第２のタイムシグナル７８６は、行ごとの形式でラスタ列のグループ７８０内の第２のラスタ列７８８をスキャンすることによって形成される。時間挙動の観察は、記載されているスキャン方向において、ラスタ画像７６０の同じラスタ行にある活性なラスタポイントが、タイムシグナル７８２、７８６、７９０上の同時活性パルスという結果となることを明らかに示す。水平線、すなわちラスタ行の中で伸びている線は、このようにタイムシグナル７８２、７８６、７９０上の同時パルスによって、タイムシグナル７８２、７８６、７９０において目立つようになる。
タイムシグナル７８２、７８６、７９０が入力信号６１２、６１４、６１６としてハフ変換手段６００に供給される、そして、信号６１２、６１４、６１６がハフ変換手段６００の個々の段階６１０で異なる程度に遅延させられると仮定される場合、変化の程度によって生じているタイムシグナル７８２、７８６、７９０の遅延がラスタ画像７６０の歪曲に対応することは明らかになり、その結果、曲線の曲がった経路は直線に曲げられることができる。しかしながら、タイムシグナル７８２、７８６、７９０のいくつかの同時の活性状態に対応する直線は、上述のように、ハフ変換手段６００で検出されることができる。
図８は、本発明の第３実施例にかかるグラフィック画像の楕円の形状および／または位置に関する情報を決定するための発明のデバイスのブロック図を示す。図８の発明のデバイスは、全体が８００で示されて、ビデオソースまたはカメラ８１０によって供給されるグラフィック画像８１２に基づいて、人間または動物の視線を決定する。カメラを含むビデオソース８１０は、例えば、ビデオ・データ８１２を前処理手段８１４に提供する。前処理手段８１４は、自身のフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）において、または特定用途向け集積回路（ＡＳＩＣ）において集積されることができる。しかしながら、前処理手段８１４は、後述するように、ハフ変換手段またはハフ配列とともに単一のＦＰＧＡの中に収容されることもできる。前処理手段８１４は、好ましくは、二値画像を生成するための閾値二値化によって、および閾値二値化から生じている二値画像からの次のエッジ抽出によって、ビデオ・データ８１２をエッジ画像に変換する。二値画像からのエッジ抽出は、拡張（伸張）および引算に基づいて実施され、バイナリ・エッジ画像という結果となる。換言すれば、前処理手段８１４は、例えば、ビデオ・データの明るさおよび／または諧調レベルを閾値と比較して、比較結果に基づいて、明暗の画像領域の間だけの識別をする二値画像を生成することができる。二値画像の拡張または圧縮バージョンは、二値画像から作り出されることができ、差はオリジナルの二値画像および拡張または圧縮二値画像との間で決定される。差は、ビデオ・データ８１２内のエッジを示すエッジ画像を生成するために使われることができる。
前処理手段８１４で前処理された後に、エッジ画像は、好ましくは第１の方向の、そして、それに対して直交する第２の方向の更なる処理に利用できる。しかしながら、エッジ画像は、それにもかかわらず、第１の方向に沿って、そして、それに対して直交する第２の方向に沿ってエッジ画像にアクセスできる単一のメモリに保存されることができる。例えば、第１の方向のエッジ画像の処理はエッジ画像の列ごとの処理を示し、それに対して直交する方向の処理は行ごとのエッジ画像の処理を示すことができる。第１の方向の処理のためにあるエッジ画像は８２０で示されるが、それに対して直交する方向の処理のためにあるエッジ画像は８２２で示される。第１の方向の処理のためにあるエッジ画像８２０は、湾曲の第１の方向の曲線の曲がった経路を検出するための第１のハフ変換手段８３０（また、ハフ配列とも呼ばれる）に並行して供給される。さらに、エッジ画像８２０は、湾曲の第１の方向とは逆の湾曲の第２の方向の曲線の曲がった経路を検出するための第２のハフ変換手段８３２に供給される。
しかしながら、２つのハフ変換手段８３０、８３２は、同様に設計することができ、その場合、第１エッジで開始して、エッジ画像が第１のハフ変換手段８３０に供給され、またその場合、第１エッジの反対側の第２エッジで開始して、エッジ画像が第２のハフ変換手段に供給される。例えば、エッジ画像８２０が、第１のラスタ行で開始して、行ごとの形式で、第１のハフ変換手段８３０に供給される場合、エッジ画像８２０は、最後のラスタ行で開始して、行ごとの形式で、第２のハフ変換手段８３２に供給される。
２つのハフ変換手段８３０、８３２は、第１の楕円点、第２の楕円点、第３の楕円点、または第４の楕円点で、ビデオ・データ８１０の楕円に近いエッジ画像８２０のこのような曲がった線分を確認する。さらに、ハフ変換手段８３０、８３２は、確認された曲がった線分に基づいて関連した楕円点の座標を確認する。同様に、第２の方向の処理のためにあるエッジ画像８２２は第３のハフ変換手段８４０および第４のハフ変換手段８４２に供給され、その基本的な動作モードに関して、第３のハフ変換手段８４０は第１のハフ変換手段８３０に対応し、その基本的な動作モードに関して、第４のハフ変換手段８４２は第２のハフ変換手段８３２に対応している。このように、第１のハフ変換手段８３０、第２のハフ変換手段８３２、第３のハフ変換手段８４０、および第４のハフ変換手段８４２は、第１の楕円点、第２の楕円点、第３の楕円点、および第４の楕円点の座標８４４、８４５、８４６、８４７を提供する。
後述するように、４つのハフ変換手段８３０、８３２、８４０、８４２は、好ましくはＦＰＧＡにおいて行われる点に注意される。好ましくはパーソナル・コンピュータ（ＰＣ）において実行される楕円計算手段８５０は、第１の楕円点、第２の楕円点、第３の楕円点、および第４の楕円点の座標８４４、８４５、８４６、８４７に基づいて楕円パラメータを計算する。さらに、このように、人間またはビデオソース８１０によって観察される動物の視線は、楕円パラメータから計算されることができる。
換言すれば、各々に対して９０°回転している二値画像８２０、８２２は、ハフ配列８３０、８３２、８４０、８４２に送られ、全ての４つのタイプの極値点、すなわち４つの特定の楕円点が検索される。次に、例えば、極値点から、すなわち第１の楕円点、第２の楕円点、第３の楕円点、および第４の楕円点から、パーソナル・コンピュータにおいて、楕円またはそれらのパラメータが計算され、人間または動物の視線はそこから決定される。
なお、上ですでに説明したように、第１の楕円点の座標８４４および第２の楕円点の座標８４５が、おそらく、少なくとも、決定される楕円の中心の座標を算出するために十分である点に注意される。従って、９０°回転したエッジ画像８２２の計算はおそらく省略されることができ、その結果、第３のハフ変換手段８４０および第４のハフ変換手段８４２は省略されることもできる。
さらに、楕円の３つの極値点の座標はこのような計算に充分であるため、楕円パラメータの全てが計算されることになっている場合であっても、少なくとも、第４のハフ変換手段８４２は省略されることができる。
さらに、エッジ画像が確実にハフ変換手段８３０、８３２、８４０、８４２に供給される限り、前処理装置を要望通り変化させることができる点に注意される。さらに、利用可能な充分な時間があるならば、ここで並行であるとして示される処理は、連続して実施される。
図９は、本発明の第４実施例において、グラフィック画像の楕円の形状および／または位置により情報を測定するための発明のデバイスのブロック図の部分を示す。ここで、ブロック図のセクション９１０において、図９は、２つの異なるパターン検出手段９２０、９２２を用いて湾曲の異なる方向を有する曲がった線分を確認することの可能性を示す。第１のパターン検出手段９２０は、湾曲の第１の方向の曲線の曲がった経路を検出し、第２のパターン検出手段９２２は湾曲の第２の方向の曲線の曲がった経路を検出するが、湾曲の第２の方向は湾曲の第１の方向と逆向きである。画像または画像部分９３０は、同様に両方のパターン検出手段９２０、９２２に供給される。換言すれば、第１のラスタ行が最初に供給されるように、第１の画像部分９３０は画像としてパターン検出手段９２０に供給される。第１のラスタ行が最初に供給されるように、画像または画像部分９３０は第２のパターン検出手段９２２にも供給される。第１のパターン検出手段９２０および第２のパターン検出手段９２２の応用は、同時に、または、次々と実行される。ブロック図９１０に関して、用語ラスタ行が用語ラスタ列と置き換えられることもできる点に更に注意される。
第２のブロック図９５０は、画像または画像部分９８０の異なる湾曲方向の曲線の曲がった経路を検出する第２の可能性を示す。ここで、例えば、画像または画像部分９８０は、第１のラスタ行から初めて第１のパターン検出手段９９０に供給される。さらに、第２のパターン検出手段９９２の画像または画像部分９８０は、最後のラスタ行から始めて供給されることができる。２つのパターン検出手段９９０、９９２は、両方とも、第１の湾曲方向の曲線の曲がった経路を検出するだけである。異なる方向における画像または画像部分９８０を供給することによって、第１のパターン検出手段９９０がオリジナル画像における第１の湾曲方向を含む画像部分の曲線の曲がった経路を検出し、第２のパターン検出手段９９２が、オリジナル画像、またはオリジナル画像における第１の湾曲方向と逆の第２の湾曲方向を含む画像部分の曲線の曲がった経路を検出することができる。画像または画像部分９８０が、例えば、最初に第１のラスタ行から始めて次に最後のラスタ行から始めて、次々と第１のパターン検出手段９９１に供給される場合、２つの別々のパターン検出手段９９０、９９２が必要でないことに更に注意される。この場合、第２のパターン検出手段９９２は省略されることができる。
ブロック図９１０および９５０により記載された実施例が、例えば、デバイス８００において使用されることができ、それに応じて、実現は有利であると考えられる。
以下に、第１の楕円点、第２の楕円点および第３の楕円点の座標からの楕円パラメータの決定が、更に詳細に説明される。ここで、以下において、第１の楕円点、第２の楕円点および第３の楕円点は、「極値点または転換点」とも呼ばれる。
第１ステップにおいて、ここでは、楕円中心２４０の座標（ｘm、ｙm）が、第１の楕円点および第２の楕円点の座標から算出される。以下に、図２ａおよび２ｂの図解図２００、２５０の記述が用いられ、それはすでに詳細に説明されている。図２ａの図解図２００からそれとみなされることもできるように、楕円の左右対称性のため、中心点が２つの逆の極値点または転換点の間に正確に常に中心にある点に更に注意される。したがって、次式が適用される。
Figure 0004741704
および、
Figure 0004741704
以下に、更に楕円のシェープパラメータ、すなわち楕円の第１の半軸の長さａ、楕円の第２の半軸の長さｂおよび回転角αの決定について記載される。
極値点の座標（ｘ1，ｙ1）（ｘ2，ｙ2）（ｘ3，ｙ3）（ｘ4，ｙ4）からのシェープパラメータの決定はより困難である。図２ｂを参照してすでに述べたように、知られた中心点（ｘm，ｙm）を用いて、楕円はまず第一に原点に移される。
このように、以下で、座標原点２６４において回転する楕円２７０が仮定される。それは、最小限、四角形に適用される４つの接点を有する。それぞれ２つの接点は、座標原点に対して回転対称である。したがって、第１象限の２つの点２７６、２８０だけが考慮される。
以下において示される方程式（１．１）は、パラメータ形式で座標原点においてαで回転する楕円を記述する。
Figure 0004741704
ここで、ｘおよびｙは、パラメータθによる楕円点の座標である。残りのパラメータα、ａおよびｂが、すでにある。
ｔａｎ（θ）について、方程式系（１．１）を解くと、以下のような結果となる。
Figure 0004741704
極値ｘの条件から
Figure 0004741704
方程式（１．４）は、次のように得られる。
Figure 0004741704
そして、極値ｙの条件から
Figure 0004741704
方程式（１．６）は、次のように得られる。
Figure 0004741704
方程式はθによって極値点の位置を記述する。換言すれば、θｘおよびθｙは、方程式（１．１）に関して、変換された第１の楕円点２７６に対して、または、それぞれ変換された第３の楕円点２８０に対して、パラメータθのためのパラメータ値を示す。
方程式（１．２）および（１．４）を同等と考え、方程式（１．２）および（１．６）を同等と考えて、次のように置換すると、
Figure 0004741704
以下の結果を得る。
Figure 0004741704
および、
Figure 0004741704
以下において、回転角αの計算について説明される。回転角を計算するために、楕円の二乗軸率ａ2／ｂ2は、方程式（１．７）および（１．８）を同等と考えることによって除去されることができる。これは、第４次方程式となる。
Figure 0004741704
解は、計算機代数プログラムＭａｐｌｅを使用して見つけられた。方程式（１．９）の４つの解のうちの２つは、虚数である。２つの他の解は、ｕ1およびｕ2である：
Figure 0004741704
後方代入の後、９０°回転する楕円が逆の軸率を有する回転しない楕円に等しいため、２つの解は正確に９０°異なる。微分によって、正しい解を決定することができる。
ｘxおよびｙyが同符号を有する場合、以下が適用される。
Figure 0004741704
それらが異なる符号を有する場合、以下が適用される。
Figure 0004741704
現在、周知の回転角を用いて、軸率ρ＝ａ2／ｂ2は、方程式（１．７）または方程式（１．８）から決定されることができる。
以下に、半軸の長さの計算が記載される。
これまで、回転角αおよび軸率ρが決定された。半軸の長さを計算するために、楕円方程式が、用いられなければならない。
ここで、極値点θｘおよびθｙの位置から、以下の方程式系がシステムが結果として得られる。
Figure 0004741704
これから、展開および引算によって、ａを除去する。
Figure 0004741704
（１．４）および（１．６）を（１．１４）に代入することによってθｘおよびθｙは、除去されることができる。残ることは、２つの極値点の回転角α、軸率ρおよびｘ座標に依存する半軸ｂのための式である。
Figure 0004741704
軸率ρおよび半軸ｂから、欠落した半軸ａは、容易に算出されることができる。
Figure 0004741704
以下において、楕円パラメータを計算するときの方程式系の重複確定性の問題が評価される。ここで、まず第一に、課題が本質的に示される。さらに、どのようにして、重複確定性が発明のデバイスまたは発明の方法の信頼性を増加させるために用いることができるかについて更に記述される。
４つの極値点を見つけて、楕円は過剰に決定される。楕円の５つのパラメータを決定するために、４つの可能な極値点（８つの座標）の５つの座標だけが必要である。したがって、「２．５楕円点」のみが必要である。
２つの対向する極値点が、中心点を決定するために必要である。実験によって、常に図２ｂに従う楕円に対して、以下の方程式があてはまることが分かった。
Figure 0004741704
つまり、全４値ｘx、ｘy、ｙxおよびｙyを決定するために、３つの測定値は充分である。それらのうちの２つは、中心点を決定することから必然的に公知である。それから、第３の点の更なる座標が、残りの楕円パラメータを決定するために使われなければならない。
例えば、点１および点３、すなわち第１の楕円点２２６および第２の楕円点２２８が、中心点２４０を決定するために使われる。座標原点にシフトした後のｘ3−ｘmはｘxになり、ｙ3−ｙmはｙxになる。ｘxおよびｙxはこのように極値をｘ方向に記載する。ｙ方向の極値点の更なる座標から、方程式（１．１７）によって、第４の値が決定される。
測定値、すなわち座標決定手段によって与えられる極値点の座標は正確ではない。このように、それらは、方程式（１．１７）を容易に満足しない。計算値の代わりに、計測値（すなわち座標決定手段によって与えられる値）が方程式（１．１７）を考慮せずに楕円パラメータの計算のために使われる場合、わずかに誤った測定位置によって間違った結果を得る危険がある。楕円パラメータを導き出すときに楕円が実際に存在するとみなされるので、値（また、計算において使用する座標）は「本当の」楕円によってもたらされなくてはならず、すなわち方程式（１．１７）は（少なくともおよそ）（座標決定手段によって与えられる座標の全てが１つの楕円に属している点に基づく限り）座標決定手段によって与えられる座標によって条件が満たされなければならない。
以下において、上述の過剰な確定性がどのように使われることができるかが説明される。
（公式（１．１７）を用いて）計算した（第３の楕円点２８０の座標に対する）値と計測値（すなわち、座標決定手段によって直接与えられる）との間の隔たりは、見つけた楕円を評価するために使われることができる。３つの極値点が入力画像の楕円から来ることが保証されることができる。
４点が得られる場合、楕円パラメータの計算は３つのそれぞれ（または全体として５つの座標）を用いて実行されることができる。４点から、例えば、３点を有する３つの異なる量が形成されることになっている。そこから計算される４つの楕円のパラメータは、４点がある場合には、過剰な確定性を克服するために平均されることができる。
要約すれば、上記の概念に基づいて、リアルタイムで使用可能な楕円検出が、ハフ変換に基づいて実現されてもよいということができる。第１段階において、ここでは、楕円の極値または極値点（また、第１の楕円点、第２の楕円点、第３の楕円点および第４の楕円点と呼ばれる）が、それぞれ決定される。平行ハフ変換またはパターン認識または検出の他の方法の助けを借りて、正確に楕円パラメータを決定することが可能である点（すなわち、座標（ｘm、ｙm）によって記述される中心点、半軸ａおよびｂ、および回転α）、または、例えばａ／ｂのような楕円パラメータの機能から、画像の楕円の特徴的な点が捜される。
それぞれ、楕円の特徴的な位置は、それぞれ、エッジ画像の正負のｘ方向における、および正負のｙ方向における、極値または極値点のｘおよびｙ座標である。前述の極値点は、例えば、図２ａの図解図２００において示される。
楕円パラメータのはっきりした決定のために、正確に一方向の２つの極値点および第３の極値点の更なる座標は、公知でなければならない。座標（ｘ0、ｙ0）および（ｘ2、ｙ2）および座標ｘ1またはｙ1またはｘ3またはｙ3のうちの１つが公知であれば、それは充分である。座標（ｘ1、ｙ1）および（ｘ3、ｙ3）および座標ｘ0またはｙ0またはｘ2またはｙ2のうちの１つが公知であるであれば、それも充分である。数学的表記法において、以下の通りに表されることができる。
（（ｘ0、ｙ0）および（ｘ2、ｙ2）および（ｘ1またはｙ1またはｘ3またはｙ3））
または
（（ｘ1、ｙ1）および（ｘ3、ｙ3）および（ｘ0またはｙ0またはｘ2またはｙ2））
は、楕円パラメータの決定に対して知られていなければならない。
詳細な情報（すなわち、より多くの座標）が利用できる場合、計算の曖昧性は適切な方法、例えばエラーの最小化などによって取り除かれることができる。要求されている以上に多い点が知られている場合、更に各々（最大の）周知の４点のうちの２．５を使用して、それぞれの楕円が計算されることができる。これらの楕円のパラメータは平均されて、結果として得られる楕円のパラメータとなる。換言すれば、（「２．５点」の）５つのパラメータのそれぞれは、楕円パラメータのいくつかのセットを計算するために用いることができる。そこにおいて、平均化は、楕円パラメータの計算されたセットにわたって実行されてもよい。
極値点の決定は、極値の検索と考えられることもできる。極値の検索は、充分な近似の極値点周辺で楕円（および／または捜される楕円）を示す異なる半径を有する円曲線の検索によって実行されることができる。円曲線の検索は、例えば正負のｘおよびｙ方向において、すなわち、例えばラスタ画像の全ての４つの標準方向において実行される。ここで、あらゆる方向において、画像は、重なるストリップおよび／または画像部分において分析される。
特に適切である方法は、上述の並列収縮ハフ変換である。並列収縮ハフ変換は、円曲線のために構成されて、極値検索に適応する。全てのクロックで平均して、ｎ個のエッジ点の票は、行合計Ｃから列（遅延素子）Ａの直列に接続される遅延素子の配列によって形成され、その一方で、エッジ点（エッジ画像の点）はシフトされる。換言すれば、ハフ領域「ハフ配列」の第ｎ番目の段階において、このように、行合計は形成され、その一方で、エッジ画像の点は第ｎ番目の段階にシフトされる。各画像点は、切替えられたバイパスＢを考慮して次の遅延素子に増加的にシフトされる。各列が多くのクロックにおけるバイパスＢの接続によって以前に決定された票を生成する。ここで、票は、シフトされる点がどの円曲線に置かれることができるかについて示すものである。各クロックにおいて合計される列から来ている票は、加算器列という結果になる。
円曲線が見つかったかどうかについて、決定が閾値を用いて各行の比較器によってなされる場合、加算器への入力は省略されることができる。閾値を上回る場合、バイパスのない別の遅延素子列で、データとともに時計回りにシフトされる確定した場所でビットが発生する。
ハフ領域またはハフ配列を離れるとき、すなわちハフ変換手段の出力Ｅで、形成されたビットは検出される。それらは、検出された円曲線の座標についての、そして、極値点の座標についての情報を与える。
より良好な理解のために、各列の遅延素子のバイパスの異なる構成によって、行ごとにＦでハフ変換手段６００にシフトされる円曲線は、（検出可能な）最大行合計という結果になる領域（配列）の特定の線における１つの直線になると想像することができる。
すべての円曲線または極値、または極値点を見つけるために、全ての画像列および全ての画像行が領域（配列）の各列を通って正確に一回前方に移されなければならず、正確に一回後方に移されなければならないのであって、その画像列は、隣接するものと共に領域（配列）を通ってシフトされるだけである。図７ａは、列ごとに一方向に領域（配列）を通って画像をシフトしている様子を示す。ここで、例えば、常に５つの隣接する画像列が、同時にシフトされる。
領域（配列）を使用して、全ての４つの方向のためにそれを使用する代わりに、２つのまたは４つの領域（配列）が、使われることができる。それらが２つの他の領域（配列）より逆曲線を有する円曲線を変換しおよび／または検出するように、２つの領域（配列）が各々構成される場合、（画像）データは、前に、すなわち、それぞれオリジナル画像および９０度回転したオリジナル画像から、領域（配列）を通してシフトされなければならないだけである。上述の方法において、極値点の座標は、決定されることができる。座標がこのように少量のデータを形成するだけである１つの画像の中に存在している通常少ない数の極値点は、更なるステップの個々の楕円と関連していなければならない。これは、例えば、パーソナル・コンピュータまたはマイクロコントローラによって実行されることができる。極値検出の後（すなわち、極値点の座標を決定した後）の少ないデータ量のため、ここでは、高い要求という結果にはならない。ここの発明概念は、処理時間が画像内容と無関係であるという効果がある。さらに、楕円パラメータは、ほんのわずかの極値から計算されることができる。極値からの楕円パラメータのこの計算は極めて急速に実行されることができて、ハードウェア、例えばＦＰＧＡまたはＡＳＩＣを用いて容易に実現されることができる。
以下に、道路標識検出の概念が、再び簡潔に要約される。この点で、その第１段階の道路標識検出が図１〜９に関して記載されていた楕円の確認と類似している点に留意する必要がある。ここで、パラメータは、例えば、二値化のための閾値または曲線の対応する経路に属している画像点の最小数のための閾値のように、セットされることができる。
道路標識検出は、以下の通り、ステップ・バイ・ステップ式で実行される。
１．カメラを用いて画像を記録する；
２．閾値をセットする；二値化（好ましくは、諧調レベルのヒストグラム分布に対応して適応する）；ビデオについては、好ましくは、ｘ個の画像フレームの後でよりしばしば再調整する、または、あらゆる画像に対して最適の閾値をセットする；標準画像処理；
３．輪郭を見つける；輪郭を見つけるアルゴリズムは、好ましくはモルフォロジー演算器から成るが、原則としてエッジ検出アルゴリズムである；
４．ハフ変換；ハフ変換を実行するためのソフトウェアを使用して、画像の極値が見つけられ、マークされる；各極（値）は、ｘ，ｙ位置を使用して好ましくは示されて、付加的な曲率値を有する；ハフ変換を実行するためのソフトウェアのパラメータのバリエーションに応じて、発生する極値の群は、多少濃密であってもよい；
５．ハミルトン変分計算を用いた分類法；ｍｉｎ（ｉｎｔｅｇｒａｌ ｘ＿ｉ−ｔ＿ｊ）2にしたがって積分を最小化すること；
楕円の例のために、分類は、以下の通りに実行される：
すべての可能な４点対のリストを準備する；楕円を４のあらゆる組合せに適合させて、楕円パラメータを決定して、測定位置の偏差を適した楕円から形成する；最小偏差に関して、４の組合せの減少リストを準備する；
６．道路標識は、丸いか、三角であるか、矩形であるかまたはこのカテゴリに分類されない他の形状（例えば、停止信号）を有する。
これは、スケッチしている曲線の主要な原則である。この機能は、ノードおよび二次導関数によって近似されることができる。これは、制限のあるデジタル・ケースに当てはまるだけである。垂直および水平の線が見つけられる。また、円は問題ない。異なる傾斜の直線については、従来法はよく機能しない。ここで、好ましくは、ハフ・ラインファインダが例えば用いられる。そして、Ａ．Ｂｒｕｅｃｋｍａｎｎ、Ｆ．ＫｌｅｆｅｎｚおよびＡ．Ｗｕｅｎｓｃｈｅよって刊行された「２Ｄ傾斜およびサイン波形状検出のためのニューラルネット（Ａ ｎｅｕｒａｌ ｎｅｔ ｆｏｒ ２Ｄ ｓｌｏｐｅ ａｎｄ ｓｉｎｕｓｏｉｄａｌ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎｓ）」に記載されている、（公表：インターナショナル・サイエンティフィック・ジャーナル・オブ・コンピューティング、第３巻、エディション１、ウクライナ、２００４、２１〜２６ページ）。
このように、好ましくは、方向選択の完全なコンピュータの神経科学的なヒューベル−ウィーゼル解法が得られる（方向選択のコンピュータの神経科学ヒューベル−ウィーゼル解法）。
７．それぞれ、輪郭記述言語のテンプレートまたはマスターの量を形成する（Ｖ．Ｆｅｒｒａｒｉその他による刊行「輪郭セグメント・ネットワークによるオブジェクト検出（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂｙ ｃｏｎｔｏｕｒ ｓｅｇｍｅｎｔ ｎｅｔｗｏｒｋｓ）」を参照、公表：コンピュータ・ビジョンのヨーロッパ会議（ＥＣＣＶ）、グラーツ、２００６年５月）。
例：ｘ，ｙ座標で、曲率半径ｚの、丸い標識が見られる。
例：三角形、四角形：
すべての３種類の組合せ対をまっすぐな成分から形成する。最小値を変分計算から形成する。４５°三角形がある場合、許容差範囲内で、＋４５°および／または−４５°の傾斜および水平線の２つのまっすぐなハフラインが存在しなければならない。
円が四角形に４つのポイントで接触するので、すべての距離（適当な円−輪郭点）の最小値を決定する；円か楕円かの決定
一般の方法：線および円のアークから成るオブジェクト、オブジェクトがどのようにまとめられるかについて記述する。例：コーナー；上向きの線、ｙセンチメートル、下向きの線、ｘセンチメートル；曲率半径を有する曲線のアーク。
マークされたポイントにわたって異なる方向にこのテンプレートをシフトする；テンプレート・ベクトルおよびレッドポイント・ベクトルの違いの最小値（ｍｉｎ（ｔｅｍｐｌａｔｅ ｖｅｃｔｏｒ−ｒｅｄ ｐｏｉｎｔ ｖｅｃｔｏｒ））を形成する；最高の可能な適合が確認される所で、対象が存在すると仮定される。
このように、道路標識は、基本的な幾何学的な形状に分割される。その後、標識は、標準サイズおよび標準位置に配置されて、標準標識と比較される。
８．この目的のために、単純な相関アルゴリズムは、ピクセル後のピクセルに使用される。アルゴリズムは、色および形状の両方を使用する。
要約すると、本発明は、車両に取り付けられたカメラによって記録される画像の道路標識を検出するために、特に信頼性が高い概念を提供する点に留意する必要がある。
比較的低いコンピュータの効果については、ここに記載されている概念は、特に信頼性が高い道路標識検出を可能にする。
以下において、文字がどのように能率的に道路標識において検出されることができて、道路標識の識別のために使われることができるかが記述される。
図２８は、画像の文字を検出するための発明のデバイスのブロック図を示す。図２８によるデバイスは、全体が２８００で示される。デバイス２８００は、好ましくは、画像２８０８を受信する。デバイス２８００は、任意に、画像２８０８から画像の前処理されたバージョン２８１２を生成するために行う画像前処理２８１０を含む。デバイス２８００は、画像２８０８または画像の前処理されたバージョン２８１２を受信して、画像２８０８における、または画像の前処理されたバージョン２８１２における筆記成分を確認するためのハフ変換器２８２０を含む。本発明の実施例によれば、ハフ変換器２８２０は、確認された筆記成分として、画像２８０８における、または画像の前処理されたバージョン２８１２における円のアークまたは楕円のアークを確認する。
他の好ましい例において、ハフ変換器２８２０は、確認された筆記成分として、異なる方向から画像２８０８または画像の前処理されたバージョン２８１２を通る複数の直線部分を確認する。
さらなる態様において、ハフ変換器２８２０は、確認された筆記成分として、それぞれ、画像２８０８のまたは画像の前処理されたバージョン２８１２において、一方では円のアークまたは楕円のアーク、他方では直線部分を確認する。さらに、ハフ変換器２８１２は、文字記述発生器２８３０に確認された筆記成分に関する情報２８２２を提供する。
文字記述発生器２８３０は、確認された筆記成分に基づいて、すなわち確認された円のアークまたは楕円のアークに基づいて、および／または確認された直線部分に基づいて確認された筆記成分の位置を記述している文字記述２８３２を得る。
データベース比較器２８４０は、文字記述発生器２８３０から文字記述２８３２を受け取って、文字記述２８３２を複数の比較文字記述２８４２と比較する。好ましくは、文字コードは、例えば、データベース２８４４に格納される比較文字記述２８４２と関係している。データベース比較器２８４０は、文字記述および複数の比較文字記述との間で検出された文字の文字コード２８４６を提供する。
上記のデバイス２８００の構造の記述に基づいて、以下において、デバイス２８００の機能が更に詳細に説明される。この点で、ハフ変換器２８２０は、好ましくは、異なる文字および／または筆記成分、例えば、画像２８０８または画像の前処理されたバージョン２８１２における円のアークおよび／または楕円のアークおよび／または直線部分を検出することに注意すべきである。この点において、線が中断される場合であっても、ハフ変換器がその機能により全体としてまっすぐであるか曲がった線を検出することが可能であることに注意すべきである。ここで、線の中断があまり長すぎないことが必要なだけである。これは、ハフ変換器によって、例えば段階的に傾斜したか曲がった線を直線状に曲げることによって達成され、それから直線が検出される。直線の検出は、概して特に単純であり、直線の検出に関しては、どれくらい多くの画像点が直線に沿って存在しているかをチェックしなければならないだけである。直線に沿った画像点の数が所定の最小数より大きい場合、全ての点が直線に沿って存在するというわけではない場合であっても、直線が存在すると仮定されることができる。しかしながら、直線に沿った点が所定の数より少ない場合、画像中に線が存在しないと仮定されることができる。
ハフ変換器は一般的に言って、短い中断が存在する場合であっても、全体として所定の曲線（すなわち、例えば円のアーク、楕円のアークまたは傾斜した線）に沿っている不継続の線を検出する特に信頼性の高い手段である。
さらに、その動作原理により、ハフ変換器は、確認された線形状成分（円のアークおよび／または楕円のアークおよび／または直線部分）の１つの位置に関して、少なくとも情報を提供する。
概してハフ変換器によって与えられる情報は、位置情報に加えて、確認された筆記成分、例えば確認された直線部分の方向に関する情報、または確認された円のアークまたは楕円のアークの曲率半径に関する情報を含む。
さらに、円のアークまたは楕円のアークの検出において、ハフ変換器が概して、円のアークまたは楕円のアークの極値点、すなわち特定の方向の最も遠くに位置する点に関する情報も提供することに注意すべきである。
要約すると、ハフ変換器が個々の筆記成分の位置を記述する複数のパラメータを提供する点に注意されることができ、そこにおいて、短い中断を有する筆記成分は、１つの連続した筆記成分として記述される。このように、ハフ変換器を用いることにより、ちょっとした中断がタイプフェースの中に存在するとき、複数の個々の構成要素への文字の断片化が直接発生するという文字検出のための従来の手段の課題は防止される。ハフ変換器の使用は、これに反して、このような障害に対する相当な程度の鈍感さをもたらす。
文字記述発生器２８３０は、ハフ変換器から非常に限られた数の個々の筆記成分の記述（一方では、円のアークまたは楕円のアーク、および／または、他方では、直線部分）を受信する。
特定の充分な数の画像が属する円のアークを記述するか、または充分な数の画像点が属する直線部分を記述する、ハフ変換器によって確認される限られた数の筆記成分から、文字記述発生器は、確認された円のアークまたは楕円のアークを記述する簡潔な文字記述を生成する。換言すれば、文字記述発生器２８３０によって、位置パラメータおよび／または別のパラメータ、例えば、円のアークまたは楕円のアークを有する曲率パラメータおよび直線部分を有する方向パラメータを含む特に有利な文字の記述が形成される。このように、文字は、その自然の構成成分、すなわち一連のアーク（円のアーク／楕円のアーク）および／または直線部分によって、全体として記述される。
フォントまたは確認された基本筆記成分は、人間のユーザが効果的な方法で知らない文字を記述するのに用いる記述の形に対応する。このように、文字記述発生器２８３０によって与えられる文字記述２８３２は、それぞれ、画像２８０８に、または、画像の前処理されたバージョン２８１２に存在する文字の効果的な記述を示し、そこにおいて、記述は、好ましくは、ハフ変換器２８２０によって確認されるこのような成分を含むだけである。
異なるフォントの特性に対するハフ変換器の適用によって、発明のデバイス２８００は、単純なおよび効率的な方法で異なるフォントに適応することができる。フォントが例えばドイツのスクリプトまたは若干のコンピュータ・フォントのような主に丸い成分から成る場合、ハフ変換器２８２０は、特に異なる曲率半径の円のアークの検出に適しており、それによって主に（または、代わりに、もっぱら）ハフ変換器２８２０によって与えられている情報２８２２に、アーク状筆記成分の記述が含まれる。
しかしながら、例えば、若干のコンピュータ・フォントを有する場合のように、フォントが主要部として直線を含むフォントである場合、ハフ変換器２８２０は、好ましくは（または、代わりに、排他的に）異なる方向の直線を検出する。
このように、文字記述発生器２８３０は、好ましくは現在処理されたフォントの重要な特徴に関する情報を含む。このように、文字プロバイダ２８３０は、データベース比較器によって処理されハフ変換器２８２０によって与えられる情報２８２２の表現を生成しなければならないだけである。これによって、文字記述発生器２８３３は、比較的少ない労力で実現されることができる。
データベース比較器２８４０による次のデータベース比較が基本成分（円のアークおよび／または楕円のアークおよび／または直線部分）の記述に基づくので、比較は効率的な方法で起こることもできる。その理由は、その中に、典型的文字が非常に限られた数の特性文字成分を含むだけであるということである。このように、フォントは、特に少ない特徴によって、例えば特性筆記成分の特徴および／またはパラメータによって記載される。データベース比較のために用いられる少ない数の成分は、データベース比較器の非常に効果的な実現という結果となり、それによって必要な計算能力は低く保たれることができ、文字検出は急速になされることができる。
それとは別に、文字は、異なる筆記成分の一定数の存在により、すでに極めて狭められることができる点に留意する必要がある。換言すれば、多くの異なる筆記成分が公知である（円／楕円のアークおよび／または直線部分）場合、非常に限られた数の文字だけが可能である。このような予備選択によって、データベース比較器２８４０によって実行されるデータベース比較は、通常の場合であるより実質的に効率的にされることができる。
要約すれば、特性筆記成分だけがハフ変換器によって検出されるという事実のためにデバイス２８００が特に効果的な文字検出を可能にすることが決定され、それによって強く情報圧縮された情報２８２２が結果として得られ、それに基づいて、表現文字記述２８３２は低い労力で発生させることができる。このように、高性能が結果として得られ、さらに、データベース比較の高い信頼性はデータベース比較器２８４０によって実行されるデータベース比較の高い信頼性が得られる。
デバイス２８００の個々の手段に関する詳細は、以下においてより詳細に説明される。
図２９は、画像の文字を検出するための拡張デバイスのブロック図を示す。図２９のデバイスは、全体が２９００で示される。
デバイス２９００は、基本的に画像２８０８に対応する画像２９０８を受信する。デバイス２９００は、基本的に画像前処理２８１０に対応する画像前処理２９１０を含む。画像前処理２９１０は、好ましい実施例において、二値化、エッジ検出、文字分離のうちの１つまたはいくつかの機能を含む。
画像前処理２９１０は、基本的に画像の前処理されたバージョン２８１２に対応する画像の前処理されたバージョン２９１２を提供する。
画像前処理が、例えば、画像２９０８を受信し、（画像２９０８が諧調レベルとして与えられていない限り）それを諧調レベルに変換し、諧調レベル値に閾値が適用されることに留意する必要がある。画像点の諧調レベル値が初期値か最適に設定された閾値より大きいか小さいかどうかによって、画像の前処理されたバージョン２９１２の関連する画像点は、第１の値および／または明度に、または、第２の値および／または明度にセットされる。このように、例えば画像２９０８から、関連する単色画像が得られる。
好ましい実施例において、二値化のために用いられる閾値は、画像２９０８のおよび／または画像２９０８の諧調レベル・バージョンの諧調レベルのヒストグラム分布に応じてセットされる。しかしながら、他の実施例では、固定した所定の閾値が使われることもある。新規な画像が記録される場合、好ましい実施例では、二値化のために用いられる閾値が再調整される。
さらに、例えば、閾値が異なるカラー強度に直接適用される場合、好ましい実施例では、二値化は、例えば、画像２９０８を諧調レベル画像に変換する中間のステップなしで実施されることができる点に留意すべきである。
別の好ましい実施例では、画像前処理２９１０は、二値化に加えて例えばエッジ検出を含む。エッジ検出によって、例えば、二値化によって発生する単色画像のエッジが検出される。換言すれば、単色画像の２つの色の間の移行は、エッジとしてマークされる。ハフ変換器が特によくエッジ画像に対処することができるので、これは特に有利である。
それとは別に、エッジ検出が、画像２９０８を用いて直接に、すなわち、二値化を用いずに行われることができる点に留意する必要がある。
更なる好ましい実施例において、画像前処理２９１０は、文字分離を含む。ここで、個々の文字は、分離される。例えば、異なる確認されたエッジが所定の距離より大きい距離を含む場合、例えば、２つの別の文字が存在すると仮定される。例えば、文字が原則として最小距離で各々から分離されるときに、それは有利である。このように、文字分離によって、例えば１つの画像から、複数の画像部分が得られ、そこにおいて、各画像部分は、好ましくは１つの個々の文字を含むだけである。異なる方法が詳細にここで説明されていない文字分離のために存在する点に留意する必要がある。
全体的に、このように画像前処理２９１０によって、画像２９０９の前処理されたバージョン２９１２が得られる。さらに、デバイス２９００は、ハフ変換器２９２０を含む。ハフ変換器２９２０は、図２８において記載されていたハフ変換器２８２０と同じ機能を有する。このように、ハフ変換器２９２０の出力で、確認された筆記成分に関する情報が得られ、そこにおいて、確認された筆記成分は、円のアーク、楕円のアークおよび／または直線部分であってもよい。
さらに、デバイス２９００は、筆記ライン検出器２９２６を含む。筆記ライン検出器２９２６は、ハフ変換器２９２０によって与えられる確認された筆記成分に関する情報２９２２を受信し、画像２９０８における、または、画像の前処理されたバージョン２９１２における筆記ラインに関する情報２９２８を提供する。
筆記ライン検出器２９２６は、ハフ変換器２９２０によって与えられる確認された筆記成分に関する情報２９２２に基づいて、円のアークまたは楕円のアークのかなりの数の端部、および／または特に多数の直線部分の端部が位置する画像のラインを検出する。
筆記ライン検出器２９２６の機能に関する詳細は、図３１および３２を参照して後述する。
それとは別に、筆記ライン検出器２９２６は、オプションとして省略されることもできる点に留意する必要がある。
デバイス２９００は、その機能において、基本的に文字記述発生器２８３０に対応する文字記述発生器２９３０を含む。しかしながら、文字記述発生器２９３０は、文字分離２９３２を生成するために、筆記ライン検出器２９２６がある１つの好ましい実施例において、筆記ライン検出器２９２６によって与えられる画像における筆記ラインに関する情報２９２８、および、ハフ変換器２９２０によって与えられる確認された筆記成分に関する情報２９２２の両方を使用するように構成される。
文字記述発生器２９３０は、好ましくは、文字記述２９３２を生成し、その結果、文字記述２９３２は、情報２９２８によって記述されている筆記ラインに関する情報２９２２によって記述されている筆記成分の相対位置を記述する。
このように、特に有利な文字記述２９３２が得られ、そこにおいて、更に詳細に記述される筆記ラインが考慮される。筆記ラインに関する情報２９２８を考慮し、好ましくは確認された筆記ラインに関して、確認された筆記成分のパラメータ２９２２を示す対応する文字記述２９３２は、文字の回転または寸法のスケーリングに関して鈍感である。
デバイス２９００は、文字記述２９３２を受信し、その機能に関して基本的にデバイス２８００のデータベース比較器２８４０に対応するデータベース比較器２９４０を含む。データベース比較器２９４０は、好ましくは、比較文字２９４２を受信するために、データベース２９４４に連結される。それから離れたデータベース比較器２９４０は、検出された文字の文字コード２９４６を提供する。
さらに、好ましい実施例において、デバイス２９００は、確認された文字の信頼性をチェックするためのオプションの手段２９５８を含む。確認された文字の信頼性をチェックするための手段２９５８は、オイラー連結数計算機２９６０を含む。オイラー連結数計算機２９６０は、画像２９０８または画像の前処理されたバージョン２９１２を受信して、画像２９０８の画像内容または画像の前処理されたバージョン２９１２のオイラー連結数を含むオイラー連結数情報２９６２を提供する。さらに、オイラー連結数は、時々文献のオイラー指標と呼ばれて、画像（または画像の前処理されたバージョン）における対象の数および画像におけるホールまたは囲まれた領域の数の間の差を記述する。オイラー連結数計算機２９６０によって実行されるオイラー連結数の計算に関する詳細は、以下に記載される。
さらに、文字検出の信頼性を決定するためのデバイス２９５８は、オイラー連結数２９６２を受信するためにオイラー連結数計算機２９６０に連結される文字試験器２９７０を含む。さらに、文字試験器２９７０は、検出された文字に属する比較オイラー連結数２９７２を得るために、データベース比較器２９４０に連結される。比較オイラー連結数２９７２は、データベースの入力に基づいてデータベース比較器２９４０によって提供される。さらに、文字試験器２９７０は、文字信頼性情報２９７４を提供する。ここで、それぞれ、画像２９０８から、または、画像の前処理されたバージョン２９１２からオイラー連結数計算機２９６０で決定される実際のオイラー連結数２９６２が確認された文字に属するデータベース２９４４からとられた比較オイラー連結数２９２７に対応するときに、文字試験器２９７０は、好ましくは、検出された文字の高い信頼性を示す。それとは対照的に、文字信頼性情報２９７４によって、実際のオイラー連結数２９６２および比較オイラー連結数２９７２間に偏差が存在するときに、文字試験器２９７０は、好ましくは、確認された文字の低い信頼性を示す。
以下に、文字の検出の手順が、図３０ａ、３０、３１、３２ａ、３２ｂ、３２ｃ、３３、３４および３５を参照して説明される。
図３０ａは、この点で３つの文字「ａ」「ｃ」「ｄ」の図解図を示す。ここで、文字「ａ」「ｃ」「ｄ」において、例えば、円のアークまたは楕円のアークの極値点は、それぞれ、直線部分の中心点と同様に示される。前述の点は、「ｘ」によって示される。アークの極値点が所定の方向において最も遠いアークの点であることに留意する必要がある。文字が（例えば直角の）ｘｙ座標システムにおいてプロットされると仮定される場合、アークの極値点は、例えば、正のｘ方向、負のｘ方向、正のｙ方向および負のｙ方向において最も遠いアークの位置である。ｘｙ座標システムは、さらに、図３０において３０１０で示される。
さらに、文字「ａ」の第１の（上の）アークの極値点は、３６２０で示される。第２の左のアークの極値点は、３６２２で示される。第３の下のアークの極値点は、３６２４で示される。第１の直線部分の中心点は３６２６で示され、第２の直線部分の中心点は３６２８で示される。アークは少なくともおよそ円形または楕円形の線の部分である点に留意する必要がある。換言すれば、ハフ変換器は、文字「ａ」の線の経路が円のアークまたは楕円のアークによる第１の極値点３６２０の周囲の状況に近似し、さらに、文字「ａ」の線の経路が、例えば、直線部分による線の中心点３６２６の周囲の状況に近似することを検出する。
文字「ａ」に対するのと同様に、文字「ｃ」および「ｄ」に対しても、円のアークの近似および／または楕円のアークの近似の極値点および直線部分の近似の中心点が、「ｘ」によってマークされる。
図３０ｂは、文字「ａ」の単純な記述の表の図解図を示す。ここで、デバイス２８００のハフ変換器２８３０および／またはデバイス２９００のハフ変換器２９３０が、例えば、異なる曲線の極値点の位置を確認することができ、異なる曲線の中心点の位置を更に確認することができると仮定される。
このようにして、図３０ａの文字「ａ」に関して、３つのアークと２つの直線部分が確認される。このように、図３０ｂによる文字「ａ」の記述は、３つのアークと２つの直線部分に関する記述を含む。極値点３６２０の近くの第１のアークは下方へカーブするアークであり、その結果、関連する記述は、例えば、下方への湾曲を示す特性および／またはパラメータを含む。さらに、記述は、好ましくは極値点３６２０の位置に関する情報を含む。位置は、好ましくは、関連する座標ｘ，ｙによって示されることができる。さらに、極値点３６２０の近くの第１のアークの記述は、オプションとして、第１のアークの曲率半径ｒの表示を含む。
同様に、第２の極値点３６２２の周囲で文字「ａ」に近似する第２のアークの記述は、アークが右への湾曲を有するという事実に関する情報を含む。第２のアークの記述は、座標ｘ、ｙおよびオプションとして第２のアークの曲率半径ｒに関する情報の形で第２の極値点３６２２の位置を再び示すことができる。第３の極値点３６２４の周囲において文字「ａ」に近似する第３のアークに対して与えられる対応する記述は、図３０ｂに示される。しかしながら、極値点３６２０、３６２２、３６２４において文字「ａ」に近似するアークは、他のパラメータによって記述されてもよいことに留意すべきである。
それとは別に、極値点は、好ましくは、必ずしも広範囲の極値点である必要のない局部的な極値点であるという点に留意すべきである。
文字「ａ」の２つの直線部分に関して、例えばハフ変換器２８２０、２９２０によって、方向に関する情報が提供される。このように、中心点３６２６を有する第１の直線部分の記述は、例えば、第１の直線部分が右上に行くことを示すことができる。さらに、記述は、線部分が水平線と比較して、傾斜角度をオプションとして示すことができる。さらに、記述は、例えば、座標ｘ，ｙによって、対応する線部分の中心点３６２６の位置を示すことができる。さらに、第１の直線部分の記述は、パラメータ１の形で第１の直線部分の長さに関する情報を含むことができる。しかしながら、例えば始点または終点の座標のように、他のパラメータが記述のために用いられることができる。
図３０ｂは、中心点３６２６を有する第１の直線部分および中心点３６２８を有する第２の直線部分を含む直線部分の２つの記述を示す。このように、ハフ変換器３８２０、２９２０によって与えられる情報に基づいて、図３０ｂから、文字の効果的な記述が生成されることが、図３０ｂから知ることができる。
以下において、確認された筆記成分に関する情報２８２２、２９２２の好ましい説明を得るために、どのようにハフ変換器によって与えられる情報がデータベース比較器２８４０、２９４０における比較のために更に処理されることができるかについて説明される。しかしながら、簡単な実施例において、ハフ変換器２８２０、２９２０によって与えられる情報が直接データベース比較器２８４０に供給されることができる点に留意する必要がある。
図３１は、ドイツのスクリプトの文字および文章の対応するラインの図解図を示す。図３１の図解図は、全体が３１００で示される。図解図３１００は、４つの特性ライン、すなわち下のライン３１１０、ベースライン３１２０、センターライン３１３０および上のライン３１４０を示す。さらに、概略図解図３１００は、レタリング「ａｂｃｄｅｆｇ」３１５０および４つの大文字「ＡＢＣＪ」３１６０を示す。図解図３１００から、小文字「ａ」「ｃ」および「ｅ」は、少なくとも観念的にベースラインおよびセンターラインの間に位置して、これらの線に接触する。大文字「Ａ」「Ｂ」および「Ｃ」と同様に小文字「ｂ」および「ｄ」は、ベースライン３１２０および上のライン３１４０の間に位置して、概してベースライン３１２０および上のライン３１４０に接触する。しかしながら、文字「ｆ」は、下のラインおよび上のラインの間に位置して、下のライン３１１０および上のライン３１４０に接触する。同じことは、大文字「Ｊ」にもいえる。
Figure 0004741704
このように、筆記ライン検出器２９２６は、例えば、情報２９２８として、筆記ライン３１１０、３１２０、３１３０、３１４０の位置、すなわち、例えば、前述の筆記ラインの方向に関する情報を提供する。
それとは別に、筆記ライン検出器は、筆記ラインを決定するために、お互いに関して（例えば、筆記ラインが各々に対して平行で、特定の相対的な間隔を有するという事実に関して）筆記ラインの位置についての前知識を使用することができる。
以下に、図３２ａ、３２ｂおよび３２ｃを参照して、どのようにして特に有利な文字記述が決定された筆記ラインと関連して極値点の位置を記述することによって決定されることができるかに関して記載されている。この目的のために、図３２ａは、下のライン、ベースライン、センターライン、上のラインからなるラインシステムにおける文字「ａ」の図解図を示す。図３２ａによる図解図は、全体が３２００で示される。図解図３２００は、下のライン３２１０、ベースライン３２１２、センターライン３２１４および上のライン３２１６を示す。文字「ａ」は、ベースラインおよびセンターラインの間に配置される。文字「ａ」は、全体が３２２０で示される。文字「ａ」の第１の、一番上のアークは、極値点３２３０を含む。図３２ａの実施例の極値点３２３０は、センターラインからの極値点３２３０の間隔が、絶対的に（絶対的な間隔に関して）または相対的に（２つのベースライン間の間隔に対応して）示される所定の閾値より小さいときに、およそセンターライン３２１４にある、および／またはセンターライン上にあるとみなすことができる。ここで、例えば、基本的に適宜、ｘ座標（ｘ＝０）は、第１のアークの極値点３２３０と関連がある。
文字「ａ」は、その極値点３２３２がベースライン３２１２とセンターライン３２１４との間に位置する第２の左のアークを含む。さらに、ｘ座標（ｘ＝−０．５）は、基準点として選ばれる第１の極値点３２３０と関連して位置（または、水平位置またはｘ位置）を記述する第２の極値３２３２と関連がある。さらに、文字「ａ」は、その極値点３２３４がベースライン３２１２上に位置する第３の底部のアークを含む。換言すれば、ベースライン３２１２からの第３の極値点３２３４の距離は、所定の閾値より小さく、そこにおいて、所定の閾値は、（２つの筆記ラインに対応して）絶対的な数値または相対的な数値として、決定あるいは予め定義されることができる。
さらに、第３の極値点３２３２も、基準点と関連した位置を記述するｘ座標を含む。図の例では、ｘ＝−０．１が適用される。
さらに、同様の情報が、文字「ａ」の別のコンポーネントに（そして、他の全ての文字に）、例えば、文字「ａ」の右のほぼ直線部分に与えられる。
例えば、下のライン３２１０およびベースライン３２１２間の範囲が第１の区間（区間Ｉ）として定義されることができる点に更に注意される。ベースライン３２１２およびセンターライン３２１４間の範囲は、第２の区間（区間ＩＩ）として、更に定義されることができる。センターライン３２１４および上のライン３２１６間の範囲は、第３の区間（区間ＩＩＩ）として、更に定義されることができる。
区間を制限する筆記ラインの距離に応じて、０および１の間の値が区間の中の位置と関係していてもよい点に更に注意され、そこにおいて、その値は、垂直方向位置または相対的なｙ位置を記述する。換言すれば、特定の位置（例えば、アークの極値点、直線部分の始点、直線部分の中心点または直線部分の終点）が区間の範囲内に位置する場合、ほぼ０の相対的な位置座標は、その点が区間の初めに位置するときのこの点に関連させることができ、更に、ほぼ１の相対的な位置座標は、その点が、例えば、区間の終わり近くに位置するときの点に関連させることができる。例えば、対応する点がベースラインおよびセンターラインの間に位置するが、ベースの非常に近くに位置する場合、ゼロの位置パラメータはその点と関係している。その点がベースラインおよびセンターラインの間に位置するが、センターラインの近くに位置する場合、例えば、ほぼ１の位置パラメータが位置と関係させることができる。それとは別に、例えば、０．５の位置パラメータは、ベースラインおよびセンターラインの間の中央にある点と関係させることができる。しかしながら、それが、位置パラメータの線形の関連性を選択することを必ずしも必要とするというわけではない。また、０および１の間の区間に対する位置パラメータの境界は必要でないが、一例として示しただけである。むしろ、相対的な位置パラメータがベースラインに関連がある点（アークの極値点、直線部分の始点、直線部分の終点または直線部分の中心点）と関係していることは、本発明の一実施例の一般の効果である。
図３２ｂに関して、以下において、文字のための記述の典型的な形が与えられる。アーク（すなわち、例えば円のアークまたは楕円のアーク）に対して、記述は、アークが上方へ、下方へ、左に、または、右にカーブするかどうかについて示す方向に関する情報を含むことができる。さらに、アークに対する記述は、極値点の位置に関する情報を含むことができる。極値点の位置は、例えば、第１の方向において（例えば、ｘ方向とも呼ばれるような筆記ラインに沿った方向において）絶対的または相対的な位置として示されることができる。しかしながら、ｘ方向の位置に関する相対的な情報は与えられることができ、例えば、文字の類似点に関する位置を示す。類似点は、例えば、アーク、直線部分の始点、直線部分の終点または直線部分の中心点である。同様に、基準点は、例えば中心点、特定の方向における最も遠い点または他の特性点などのように、文字の他の選択された特性点でもよい。さらに、アークの記述は、好ましくは、筆記ライン３２１０、３２１２、３２１４、３２１６と関連して、位置ｙに関する情報を含む。筆記ラインと関連する位置に関する情報は、例えば、区間における点が２つの筆記ラインの間に位置するか（所定の許容範囲内で）、または筆記ライン上に位置するかどうかを示すことができる。さらに、情報は、筆記ラインの間のどの間隔で点が与えられるかについてオプションとして示すことができる。
さらに、筆記ラインと関連する位置に関する情報は、点（例えば、所定の許容範囲の中で）が筆記ラインの１つにあるかどうか、もしそうであれば、どの筆記ライン上に点が位置するのかに関する情報を含むことができる。さらに、上述のように、筆記ラインと関連するｙ方向の位置のより正確な記述は、例えば０および１の間の値の形で与えられることができる。また、それとは別に、ｘ方向の位置は、１つまたは２つの基準点に関して、絶対的にまたは相対的に示されることができる。
さらに、アークに関する情報は、アークの曲率半径に関する情報を含むことができる。しかしながら、曲率半径に関する情報は、オプションであると考えられている。
さらに、文字の記述は、直線部分に関する情報を含むことができる。例えば、直線部分の方向は、文字に関する情報に含まれることができる。このように、直線部分の方向は、例えば、水平線に関しておよび／または筆記ライン３２１０、３２１２、３２１４、３２１６に関して角度の表示によってされることができる。さらに、確認された直線部分の位置は、例えば、直線部分の始点の、および直線部分の終点の位置が記載されているという事実によって与えられることができる。それに代わるものとして、直線部分に関する情報は、直線部分の長さに関する、および直線部分の中心点に関する情報を更に含むことができる。直線部分に関する前述の情報は、好ましくは、筆記ラインに関して選択される。
文字記述発生器２９３０が、ベースライン検出器２９２６によって与えられる情報を使用し、更にハフ変換器２９２０によって与えられる情報を使用している情報２９３２として文字の相対的な記述を提供することができることに注意する必要があり、その結果、情報２９３２は、筆記ラインと関連して文字のアークおよび／または直線部分の位置を記述する。
図３２ｃは、図３２ａに示す文字「ａ」の典型的な記述を示す。図３２ｃに示す記述３２８０による文字「ａ」は、下方へカーブする第１のアークを含み、その極値点３２３０がｘ座標ｘ＝０を含み、センターライン３２１６に更に配置される。さらに、文字「ａ」は、右にカーブおよび／または屈曲する第２のアークを含み、その極値点はｘ座標ｘ＝−０．５を含む。第２のアークの極値点３２３２は、さらに、第２の区間（区間ＩＩ）に配置される。極値点３２３２のｙ位置は、例えば、ｙ＝０．５として正確に示されることができ、それによって極値点３２３２がベースラインおよびセンターラインの間にあることが表現される。さらに、文字「ａ」は、上方へカーブする第３のアークを含み、その極値点はｘ座標ｘ＝−０．１を含む。さらに、第３のアークの極値点３２３４はベースライン３２１２に配置される。文字「ａ」の右側の直線部分は、記述３２８０によれば、右上に行って、水平線に関しておよび／または筆記ラインに関して８０°の角度を有する。直線部分の始点は、ｘ＝０．４のｘ座標を含み、第２の区間、すなわちベースラインおよびセンターラインの間に配置される。直線部分の終点は、０．５のｘ座標を含み、例えば、センターライン３２１４上に配置される。例えば、対応する位置情報は、文字記述発生器２９３０によって、符号化され、順序付けられ、配列された形でデータベース比較器２９４０に与えられる。
以下において、図３３および３４を参照して、文字記述発生器によって（すなわち、例えば、文字記述発生器２８３０によって、または、文字記述発生器２９３０によって）、特にデータベース比較器２８４０によって処理されることに適している情報２８２２、２９３２がどのようにして得られることができるかについて記載される。
この目的のために、図３３は、本発明の一実施例による発明の文字記述発生器のブロック図を示す。図３３による文字記述発生器は、全体が３３００で示される。例えば、図２８による文字記述発生器２８３０または図２９による文字記述発生器２９３０に対応する文字記述発生器３３００は、確認された筆記成分、すなわち、例えば、確認された円のアークまたは確認された楕円のアークまたは確認された直線部分に関する情報３３２２を受信する。情報３３２２は、例えば、情報２８２２または情報２９２２に対応する。しかしながら、別の実施例で、情報３３２２は、筆記ラインに関する情報２９２８に基づいて、および、確認された筆記成分に関する情報２９２２に基づいて形成されることができ、したがって、筆記ラインと関連して確認された筆記成分の位置を記載する。本発明の一実施例によれば、情報３３２２がパラメータによって１つの（確かな、先の処理で決定された）規則にしたがって異なる筆記成分を記述するのは、ここでは重要である。文字記述発生器３３３０は、情報３３２２によって記述されている筆記成分の全体から選択された筆記成分の本当のサブセットを選択するオプションとしての筆記成分選択器３３４０を含む。例えば、選択される筆記成分の数は、外部から与えられる。さらに、選択は、例えば、ランダムに起こることができる。あるいは、選択された筆記成分のサブセットが、例えば、アークの第１の所定の数および直線部分の第２の所定の数を記述するように、筆記成分選択器３３４０が選択された筆記成分のサブセットを選択するように、あらかじめ定義されていてもよい。選択は、ランダムに、または、所定の規則に従って起こることができる。
筆記成分組合せ発生器３３５０は、筆記成分選択器３３４０によって選択された文字のサブセット３３４２の記述を受信する。別の方法として、筆記成分組合せ発生器３３５０は、例えば、筆記成分選択器が省略されたときに、情報３３２２を受信することもできる。
筆記成分組合せ発生器３３５０は、それぞれ、情報３３４２または情報３３２２によって記載される筆記成分の異なる組合せを生成し、情報３３５２としてそれを出力する。例えば、ここの情報３３５２は、例えば、文字記述２８３２または文字記述２９３２に対応し、例えば、データベース比較器２８４０、２９５０に供給される。
ここで筆記成分の異なる組合せは、筆記成分の異なる配置である。例えば、情報３３２２が関連する位置パラメータを有する３つのアークおよび１つの直線部分を記述する場合、筆記成分組合せ発生器３３５０は、例えば、異なる組合せを生成することができる。第１の組合せは、例えば、アーク１、アーク２、アーク３、直線部分１の順序で筆記成分を記述する。第２の組合せは、例えば、上記のものと異なる順序の情報３３２２によって記載されている筆記成分、アーク１、アーク３、アーク２、直線部分１を記述する。筆記成分組合せ発生器３３５０によって発生する第３の組合せは、例えば、更に別の順序および／または配置の情報３１２２によって記載されている筆記成分、アーク１、直線部分１、アーク２、アーク３を記述する。
換言すれば、筆記成分組合せ発生器３３５０は、筆記成分が異なる順序で配置される情報３３２２に基づいて、異なる順序に配置された筆記成分のセットを形成する。どのような順序で筆記成分が配置されるかは、例えば、筆記成分の組合せ発生器３３５０に含まれる規則で決定される。あるいは、筆記成分組合せ発生器３３５０は、あらゆる可能な順序を使用することができる。
このように、筆記成分組合せ発生器３３５０は、全体として、筆記成分の１つのセットに基づく関連するパラメータによって記述される筆記成分のいくつかの異なって順序づけられたセットを形成する。このように、データベース比較器２８４０、２９４０によって実行されるデータベース比較は、個々の筆記成分が情報３３２２に記述されている順序とは独立したものである。したがって、文字の識別は、情報３３２２における筆記成分の記述の順序とは独立したものであり、それは特に信頼性が高いフォント検出が成し遂げられる方法である。
図３４は、本発明の実施例における発明の文字記述発生器のブロック図を示す。図３４による文字記述発生器は、全体が３４００で示される。この点で、文字記述発生器３４００が基本的に情報３３２２に対応する確認された筆記成分に関する情報３４２２を受信する点に留意する必要がある。図３４において例示される実施例において、例えば、情報３４２２は、それぞれの位置パラメータが関連する５つのアークおよび２つの直線部分に関する情報を含む。情報３４２２の１つの例は、図３５を参照して、以下において更に詳細に記載される。
例えば、文字記述発生器２８３０または文字記述発生器２９３０に取って代わることができ、または、文字記述発生器２８３０、２９３０の一部となることもできる文字記述発生器３４３０は、筆記成分順序付け手段３４４０を含む。例えば、筆記成分順序付け手段３４４０は、情報３４２２に基づいて情報３４５２を生成し、そこにおいて、筆記成分は、それらが情報３４５２によって再生される順序で連続するベースラインを記述するように順序付けされる。換言すれば、筆記成分順序付け手段３４４０は、特定の筆記成分に対する次の筆記成分を確認し、その結果、特定の筆記成分と次の筆記成分とが連続した筆記線を形成する。このように、筆記成分順序付け手段３４４０は、例えば、いくつかの筆記成分の終点を確認して、次の筆記成分になるものとして２つの筆記成分を検出し、さらに、第１の筆記成分の終点と第２の筆記成分の始点との間の間隔が所定の範囲より小さい。このように、筆記成分順序付け手段３４４０は、全体として、例えば、データベース比較器２８４０、２９４０のための入力情報として役立つことができる順序付けられた情報３４５２を提供する。
Figure 0004741704
典型的な順序付けられていない記述が図３４において３４６０で示され、筆記ラインの経路にしたがって順序付けられた図解が３４６２で示される。
以下に、画像の文字を検出する発明の方法が示される。この目的のために、図３６は、画像の文字を検出する発明の方法のフロー図を示す。図３６による方法は、全体が３６００で示される。
ステップ３６１０において、方法３６００は、確認された筆記成分を確認するために画像または画像の前処理されたバージョンを変換するハフ変換を含む。さらに、方法３６００は、第２段階３６２０において、確認された筆記成分に基づいて文字記述を生成することを含む。さらに、第３のステップ３６３０において、方法３６００は、文字記述を複数の比較文字記述と比較し、比較の結果として、その文字コードに検出された文字の文字コードを提供する。
方法３６００が発明概念に関して（すなわち発明のデバイスに関して）記載されたすべてのそれらのステップによって補充されることができる点に更に注意される。
発明のデバイスまたは発明の方法は、ハードウェアにおいて、または、ソフトウェアで行うことができる。実現は、デジタル記憶媒体、例えば対応する方法が実行されるように、プログラム可能なコンピュータシステムと協同することができる電子的に読み込み可能な制御信号を有するフレキシブルディスク、ＣＤ、ＤＶＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリなどにおいてなされてもよい。一般に、本発明は、コンピュータ・プログラム製品がコンピュータにおいて実行されるとき、発明の方法を実行するための機械で読み取ることができるキャリアに格納されるプログラムコードを有するコンピュータ・プログラム製品にある。換言すれば、本発明は、コンピュータ・プログラムがコンピュータにおいて実行されるとき、発明の方法を実行するためのプログラムコードを有するコンピュータ・プログラムとして実現されることができる。
要約すると、本発明が文字検出の特に効率的な方法を記載する点に注意されなければならない。
この点で、町標示、町名または速度制限を読むことがフォント検出の重要な態様である点に留意する必要がある。このように、例えば、（全ての文字および数字のいくつかのフォントタイプにおいて）多くの文字および数字は、鉛直線、水平線、凹線および凸線から組み立てられる。しかしながら、少なくとも、複数のフォント型の文字および数字は、鉛直線、水平線、凹線および凸線を含む。
例えば、文字「Ｓ」は、文字「Ｏ」および／または「ｏ」のように、４つの極値を有する。しかしながら、文字「Ｓ」は、曲率に関して、および、各々に関する極値の相対距離において、文字「Ｏ」と異なる。
前述の発見に基づいて、文字検出システムは開発されることができる。文字「Ｗ」「Ｚ」「Ａ」「Ｋ」「Ｙ」「Ｘ」「Ｖ」「Ｎ」および／または「Ｍ」の斜線の検出のために、例えば、Ａ．Ｂｒｕｅｃｋｍａｎｎ、Ｆ．ＫｌｅｖｅｎｚおよびＡ．Ｗｕｅｎｓｃｈｅによる「２Ｄ―傾斜およびサイン波形状検出のためのニューラルネット（Ａ ｎｅｕｒａｌ ｎｅｔ ｆｏｒ ２Ｄ−ｓｌｏｐｅ ａｎｄ ｓｉｎｕｓｏｉｄａｌ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ）」（インターナショナル・サイエンティフィック・ジャーナル・オブ・コンピューティング、第３巻、エディション１、ウクライナ、２００４、第２１頁〜第２５頁、に公開）に記載されていているように、好ましくは、ヒューベル―ウィーゼル・バー検出器が用いられることができる。アーク（例えば、円または楕円のアーク）の検出、および直線部分（例えば、斜線）の検出は、本発明の一実施例において、異なるプログラミングだけで、同じアーキテクチャ「二重ハフＩＰコア」に基づくことができる。換言すれば、例えば、第１の設定状態がアークを検出することが可能で、第２の設定状態が直線を検出することが可能であるように再設定可能なハフ変換器を用いることができる。
本発明の一実施例では、見つかった極値の位置は、例えば小学一年生の筆記帳のように、ラインシステムと関係している。かくして、本発明の一実施例において、例えば小文字「ｄ」「ｃ」を有するベースライン、センターライン、および、例えば大文字「Ｃ」「Ｋ」を有する上のラインが決定される。
本発明の一実施例では、文字検出に属する極値だけでなく、全ての極値は、情報「凸／凹 上／下」「凸／凹 左／右」を含む。換言すれば、１つの好ましい実施例で、例えば、アークの湾曲に関する情報は、決定され、後で評価される。
ソフトウェアシミュレーションにおいて（または、一般に、ハフ変換を実行するとき）、例えば最大曲率半径および最小曲率半径の間の範囲が設定されることができ、そこにおいて、例えば、最大曲率半径および最小曲率半径の間の曲率半径を有するアークだけが、ハフ変換器によって検出される。
さらに、ソフトウェアシミュレーションにおいて、またはハフ変換を実行するときに、それぞれ、パラメータ「和でない遅延線（ＤｅｌａｙＬｉｎｅｓ ｎｏｔ ｓｕｍ）」の助けを借りて、ハフ変換器および／またはハフ分野のどの遅延線が和に貢献しないかを決定することができる。このように、極値のまわりのラインが和に貢献しないように細かく設定することができるが、さもなければあまりに頻繁に直線が計数されおよび／または決定されるからである。
換言すれば、ハフ変換器において、曲線の極値の近傍に配置される線の部分がハフ変換の結果に貢献しないことが成し遂げられてもよい。
このように、本発明の一実施例において、画像の曲線に関して（例えば、円形にカーブする線または楕円形にカーブする線に関して）、特徴ベクトルは形を有する結果となる（極値のｘ、ｙ位置；負の最大曲率半径、正の最大曲率半径の値域の曲率半径）。換言すれば、画像の曲線に関する特徴ベクトルは、曲率半径と同様にアークの極値点の位置を記述するが、曲率半径はその絶対値に関して最大曲率半径より小さい。
さらに、特徴単一区分アルゴリズムが存在する。この点において、例えば、ハイデルベルクのループレヒト・カールス大学におけるＫ．Ｈ．ノフツおよびＲ．レイの文献、またはブダペストのパーズマーニ・ペーテル・カトリック大学におけるＴ．ロスカの文献などが参照される。
例えば、文字「ｃ」が間に３つの極値を有し、１つはセンターライン上にあり、１つはベースライン上にあり、１つはその間にある点にここで注意される。この場合、各々に関する極値の相対的なｘ位置は重要である。
好ましい実施例では、分類は、ｍｉｎ（Ｘ−Ｘi）2の古典的変分法に従って実行される。あるいは、分類は、Ｖ．フェラーリによるラベリング方法に従って実行される。この点における詳細について、Ｖ．フェラーリその他によって公開された「輪郭部分ネットワークによるオブジェクト検出（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂｙ ｃｏｎｔｏｕｒ ｓｅｇｍｅｎｔ ｎｅｔｗｏｒｋｓ）」（公開：コンピュータ・ビジョン（ＥＣＣＶ）のヨーロッパ会議、グラーツ、２００６年５月）が参照される。
二重のクロスチェックのために、または、少なくとも文字検出をチェックするために、本発明の一実施例において、オイラー連結数の使用は明らかである。オイラー連結数は、以下の通りに定められる：
連結数＝オブジェクトの数−囲まれたホールの数
ここで、オブジェクトは、画像点またはピクセルの連続領域と定義される。
連結数は、従って２×２検索マスクの決定から、ピクセルグリッドにおいて計算される。
Figure 0004741704
ラテンアルファベットの異なる文字に対して、以下が適用される：
「Ｂ」に対して：Ｋ＝−１；
「Ｑ」、「Ｒ」、「Ｏ」、「Ｐ」、「Ａ」に対して：Ｋ＝０；
残りの文字に対して、または、残りに対して：Ｋ＝１
さらに、図３７は、ＷｉｎＤｅｌａｙプログラムを用いたフォント検出の超微細構造のスクリーン図解図を示す。
図３７の図解図は、全体が３７００で示される。図解図３７００から、（例えばＷｉｎＤｅｌａｙプログラムによって）左下のコンマがマークされることがわかる。さらに、文字「Ｇ」、文字「Ｓ」および／または「Ｏ」がマークされる。文字厚やセリフさえ、決定されることができる。図解図３７００が得られる入力画像は、（例えば、ウェブカメラを用いて）カメラを有するスクリーンによって記録されるテキストである。
以下に、文字検出の方法は、実施例を参照して段階的に述べる。第１ステップにおいて、方法は、楕円の確認（また、楕円ファインダと呼ばれる）と類似している。例えば閾値のようなパラメータは、ハフ変換の機能を提供するプログラム「ＷｉｎＤｅｌａｙＬｉｎｅ」に設定されることができる。
文字検出は、以下のように、段階的に行われる：
１）カメラで画像を記録する。あるいは、画像は、例えば、スキャナによって生成されるか、他の方法で得られる。
２）閾値を設定；二値化（諧調レベルのヒストグラム分布に従って適応可能であるべきである）；ビデオについてｘフレームの後により多く、また、各画像に対する最高で、最適な閾値を再調整する；標準画像処理。
３）輪郭を見つける；輪郭ファインダ・アルゴリズムは、原則としてエッジ検出アルゴリズムである形態学的オペレータから構成されるアルゴリズムである。
４）ハフ変換；ハフ変換（例えば、ソフトウェア「ＷｉｎＤｅｌａｙＬｉｎｅ」によって実行される）の助けを借りて、画像の極値は、（例えば赤で）マークされて見える。各極値は、ｘ，ｙ位置によって示され、さらに曲率値を有する。ハフ変換によって生じるマークされた極値の集合（また、「赤い雲」とも呼ばれる）は、パラメータ・コア・サイズ、最小曲率半径、最大曲率半径、和でない遅延のバリエーションに応じて、多かれ少なかれ密集していてもよい。この点において、Ｊ．カッツマン（イルメナウ大学における論文、ドイツ、２００５）による論文「Ｅｃｈｔｚｅｉｔｆａｅｈｉｇｅ，ａｕｆ ｄｅｒ Ｈｏｕｇｈ―Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｂａｓｉｅｒｅｎｄｅ Ｍｅｔｈｏｄｅｎ ｄｅｒ Ｂｉｌｄｖｅｒａｒｂｅｉｔｕｎｇ ｚｕｒ Ｄｅｔｅｋｔｉｏｎ ｖｏｎ Ｅｌｌｉｐｓｅｎ」が参照される。
５）ｍｉｎ（ｉｎｔｅｇｒａｌ）（Ｘ＿ｉ−ｔ＿ｊ）2に従って、ハミルトンの変化計算による分類。
換言すれば、例えば、特徴ベクトルおよび比較特徴ベクトルの間の偏差は、最小化される。
アルゴリズムは、例えば、楕円の検出のために以下の通りに機能する：
すべての可能な４点対のリストを準備する；楕円を４の各組合せに適応させて、楕円パラメータを決定して、適応した楕円から測定位置の偏差を形成する。小さい偏差（または最小偏差）に従って、４の組合せの減少性リストを準備する。
しかしながら、ステップ５）は、オプションであると考えられる。
６）文字および数字は、線およびアークから成る。ここで、描かれている曲線の法則は、関心をもたれなければならない：各機能は、ノードおよび二次導関数によって近似されることができる。これは、制限されたデジタル・ケースにおいて、真であるだけである：垂直および水平の線は見つかる、また、円は問題ではない、しかし、異なる傾斜の直線については、方法はよく機能しない。ここで、例えば、ソフトウェアＷｉｎＤｅｌａｙＬｉｎｅで、または、ハフ変換で、それぞれ、例えば、Ａ．Ｂｒｕｅｃｋｍａｎｎ、Ｆ．ＫｌｅｆｅｎｚおよびＡ．Ｗｕｅｎｓｃｈｅによる「２Ｄ傾斜およびサイン波形状検出のためのニューラルネット（Ａ ｎｅｕｒａｌ ｎｅｔ ｆｏｒ ２Ｄ ｓｌｏｐｅ ａｎｄ ｓｉｎｕｓｏｉｄａｌ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ）」（公開：インターナショナル・サイエンティフィック・ジャーナル・オブ・コンピューティング ３（１） 第２１〜２６頁、２００４年）に記載されていているように、直線ハフ・ファインダが用いられる。
このように、方向選択性の完全なコンピュータの神経科学的なヒューベル−ウィーゼル解が提供される。
７）輪郭記述言語の多くのテンプレートを形成する。例えば、Ｖ．Ｆｅｒｒａｒｉその他による「輪郭部分ネットワークによるオブジェクト検出（Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂｙ ｃｏｎｔｏｕｒ ｓｅｇｍｅｎｔ ｎｅｔｗｏｒｋｓ）」（公開：コンピュータ・ビジョン（ＥＣＤＢ）のヨーロッパ会議、グラーツ、２００６年５月）において示されているように、輪郭記述言語が使われることができる。
典型的な説明は、文字「ｐ」に関してここで与えられる：まっすぐな下方への線；下方への湾曲を有する３つの極値、湾曲は左側に曲がっている、上方へ屈曲する角部。
位置に対する規定値（例えばセンターラインの下の、または、センターラインの上の位置）が許容差範囲において維持されることになっている、そして、「ｐ」ラインが円の３つのアークの左側に位置されなければならないという強制的な状態の下で、すべての４点組合せ対を直線成分および３つのアーク成分から形成する。すべての文字および数字に対して（少なくとも複数の文字または数字に対して）、それらの特性テンプレートが生成され、すべての組合せ対がテンプレートと適合することになっている。最小値が結果である。
換言すれば、４点は、アークの極値または直線部分の特性点（例えば出発点、中央点または終点）の特性点を示すことで決定され、そこにおいて、特定の規定位置関係は、維持されることになっている（例えば、センターラインの上下の位置、または既存の湾曲の関係）。
さらに、Ｖ．Ｆｅｒｒａｒｉその他による「輪郭部分ネットワークによるオブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂｙ ｃｏｎｔｏｕｒ ｓｅｇｍｅｎｔ ｎｅｔｗｏｒｋｓ）」に示されているように、方法は適用されることができる。対応する方法は、以下の通りに要約されることができる：オブジェクトが線および円のアークから組み立てられる場合、どのようにオブジェクトが組み立てられるかを記載する。説明は、例えば以下の通りでもよい：角部；上方へのライン、ｙセンチメートル；下方へのライン、ｘセンチメートル；曲率半径ｒを有する湾曲のアーク。このテンプレートは、そこにおいて、マークされた点に交差して異なる方向（「十字に交差する」）にシフトされる（画像において確認される極値；また、「赤い点」呼ばれる）。「ｍｉｎ（テンプレート・ベクトル−赤い点ベクトル）」を形成する。換言すれば、テンプレート・ベクトルと、特徴を示しているか、または確認された極値を示すベクトル（「赤い点ベクトル」）との間の偏差を決定する。最高の適合がある所で、オブジェクトがあると仮定される。
以下において、オイラー連結数がどのように決定されることができるかが、さらに説明される。この点において、１０の無料送達郵便物の通知書に用いられるレナード・オイラーは、第１に連結数を決定することであったことに注意される。彼のスクリプトはラテン語であり、彼の公式は：
連結数Ｋは、オブジェクトの数引くホールの数に等しい。
ピクセルグリッドのコンピュータシステムのアプリケーションのために使われるという事実の解釈において、これは次のことを意味する：
オブジェクトは、画素の連続領域（また、画素領域と呼ばれる）として定義される。例えば、オブジェクトは、黒い画素の連続画素領域として定義されることができる。画素の連続領域（画素領域）は、例えば白い画素の形で、ホールおよび／またはエンクロージャを含むこともできる。ここで、ホールは、黒い画素の境界のエンクロージャとして定義される。換言すれば、ホールは、例えば、他の色の画素（例えば黒い画素）に囲まれている第１の色の画素（白い画素）である。
以下において、連結数がどのように部分的な２×２オペレータに基づいて決定されるかが記述される。この目的のために、どのくらいの頻度で２×２パターン
Figure 0004741704
がピクセルイメージに存在するかがカウントされる。
さらに、どのくらいの頻度で２×２パターン
Figure 0004741704
が画像に存在するかがカウントされる。
それから、決定された数は各々から減算され、この数（例えば結果）が連結数を示す。
この手段を文字に適用して、大文字の「Ｂ」は連結数Ｋ＝−１を有し、文字「ａ」「ｂ」「ｄ」「ｅ」「ｑ」「ｏ」「ｐ」および「Ｒ」はｆ連結数Ｋ＝０を有し、残りの文字その他の文字（例えば、ラテンアルファベット）は連結数１を有する。
あるいは、他のフォント表示において、文字「Ａ」「Ｄ」「Ｏ」「Ｐ」「Ｑ」「ａ」「ｂ」「ｄ」「ｅ」「ｇ」「ｏ」「ｐ」および「ｑ」は連結数０を有すると決定することができる。
正しい文字が見つかったかどうか、オイラー連結数はこのように二重クロスチェックとして役立つことができる。
要約すると、本発明が文字検出に特に有利な概念を提供すると言うことができる。
図３８は、本発明の一実施例における画像の道路標識を確認するための発明のデバイスを示す。図３８によるデバイスは、全体が３８００で示される。デバイス３８００が画像１０１０を受信することに注意されたい。さらに、図１０に示すデバイス１０００と同様に、デバイス３８００は、任意のエッジ検出器１０２０を含む。同様に、デバイス３８００は、ハフ変換器１０３０を含む。エッジ検出器１０２０およびハフ変換器１０３０は、その機能に関して図１０に記載されている手段に対応する。
さらに、デバイス３８００は、少なくとも１つの形状検出器１０４０または１つの楕円検出器１６６０を含み、好ましくは形状検出器１０４０および楕円検出器１０６０の両方を含む。その機能に関して、形状検出器１０４０はデバイス１０００について記載されている形状検出器に対応し、楕円検出器１６６０は、その機能に関して、デバイス１６００について記載されている楕円検出器１６６０に対応する。
さらに、デバイス３８００は、パターン識別器３８５０を含む。パターン識別器またはパターン検出器は、それぞれ、ハフ変換器１０３０から画像１０１０における円のアークまたは楕円のアークに関する情報を受信するか、または、ハフ変換器１０３０から画像を通る直線部分に関する情報を受信する。このように、ハフ変換器１０３０は、デバイス３８００の中で、画像における円のアークまたは楕円のアークに関する情報を提供するだけであるか、または画像の直線部分に関する情報を提供するだけである。あるいは、ハフ変換器１０３０は、画像における円のアークまたは楕円のアークについての、および画像の直線部分についての情報を提供することが可能である。ハフ変換器１０３０がどの情報を提供するかの決定は、特に、形状検出器１０４０および／または楕円検出器１６６０、さらにパターン識別器３８５０によってどの情報が要求されているかという事実に依存する。
パターン識別器３８５０は、画像において検出される（一般的な）形状１０４２について形状検出器１０４０によって与えられる情報を用いて、画像において検出された楕円形状について楕円検出器１６６０によって与えられる情報１６６２に基づいて、画像１０１０の画像部分３８６２を選択する。例えば、それが図１５を参照して述べられているように、画像部分の選択は実行されることができる。
さらに、図１５を参照して述べられているように、画像部分選択器３８６０は、任意に、画像部分のマッピングを実行することができる。さらに、それが図１９を参照しして述べられているように、画像部分選択器３８６０は、マスキングを用いて画像部分３８６２を決定することができる。パターン識別器３８５０は、画像部分３８６２を受信し、および／または画像部分選択器３８６０によって選択される画像部分に関する情報を受信する筆記検出器３８７０を含む。さらに、筆記検出器３８７０は、ハフ変換器によって与えられる画像における円のアークおよび／または楕円のアークおよび／または直線部分に関する情報を受信する。さらに、筆記検出器３８７０は、画像部分選択器によって選択される画像部分３８６２に存在する円のアークおよび／または楕円のアークおよび／または直線部分を決定する。このように、筆記検出器３８７０は、画像部分３８６２に存在する選択された円のアークおよび／または楕円のアークおよび／または直線部分に関する情報を受信する。筆記検出器によって受信された選択された円のアークおよび／または直線部分に関する情報は、筆記成分を記述する。このように、それが図２８〜３６を参照して説明されているように、フォント検出は実行されることができる
パターン識別器３８５０が別に設定されてもよいことに注意すべきである。それは、筆記検出器３８７０が、全体として、形状検出器１０４０または楕円検出器１６６０によって検出された一般的な（例えば、三角形、長方形、正方形）または楕円形の中にある画像の選択された円のアークおよび／または楕円のアークおよび／または直線部分に関する情報を含むことは決定的である。画像の選択された円のアークおよび／または楕円のアークおよび／または直線部分に関する情報は、確認された筆記成分（図２８を参照）に関する情報２８２２の場所を獲得する。筆記検出器３８７０が文字を検出する場合、例えば図２８および２９を参照して記載されたように、筆記検出器３８７０は例えば検出された文字の文字コードを提供する。筆記検出器３８７０によって与えられる文字コードは、道路標識が検出されたという事実に関する情報を例えばもたらすことができる。換言すれば、検出された文字コードは、確認された道路標識を記述する情報の一部である。道路標識が１つ以上の符号および／または１つ以上の文字を含む場合、筆記検出器３８７０は１つ以上の文字を含む道路標識のフォントに関する情報を任意に提供することもできる。対応するフォントは、例えばデータベースとの比較によって、道路標識および／または道路標識自体によって表される情報を確認するために用いられる。
要約すると、筆記検出器３８７０が形状検出器１０４０または楕円検出器１６６０によって検出される形状にある筆記成分に関する情報に基づいて少なくとも１つの検出された文字の文字コードを提供することに注意され、そこにおいて、文字コードは、好ましくは、確認された道路標識に関する情報を決定するために用いられる。
ハフ変換器によって与えられる情報は、道路標識の検出において繰り返し再利用されることができることに注意される。画像において確認された円のアークおよび／または楕円のアークおよび／または直線部分に関する情報は、形状検出器の助けを借りて、または楕円検出器の助けを借りて、画像１０１０の一般的なまたは楕円の形状を検出するために用いられる。さらに、ハフ変換器１０３０によって与えられる情報は、検出された形状によって記述されている画像部分の１つまたはいくつかの文字を確認するために用いることができ、特に確認された道路標識に関する信頼性が高い情報を得る。
実施例において、本発明は、このようにハフ変換の実行に基づいて、特に道路標識検出のための特に有利な概念を提供し、そこにおいて、ハフ変換器によって与えられる情報は、実施例に応じて繰り返し再利用されることができる。
全体的に見て、発明概念は、車の視覚系による道路標識検出を可能にする。本発明は、このように速度制限および他の標識に関する情報を提供する。
本発明は、市中またはハイウェイの両方でのドライブにおける広範囲のオンロードテストにおいて、ソフトウェア「Ｗｉｎｄｅｌａｙｌｉｎｅ」を使用してテストされた。道路標識は、標準的なビデオカメラ・パナソニックＧＳ２７―ＥＧを使用して記録された。証明状態（トンネル、影部分）にかかわらず、全体的に、道路標識は、１００％区分された。「Ｗｉｎｄｅｌａｙｌｉｎｅ」の方法は、シリコン・ソフトウェア「ｍｉｃｒｏｅｎａｂｌｅ ＩＶ」ビデオプロセッサ（フレーム採集）上のネットリストとして移動可能なハフ変換と類似である。
好ましい実施例では、本発明は、画像１０１０，１１５０；１３００；１５００；１６１０の道路標識１０６０；１３１０；１５１０を確認するためのデバイス１０００；１６００を提供し、画像またはそれから得られるエッジ画像１００２；１６２２の異なる方向に画像１０１０；１６１０を通る複数の線部分を確認するハフ変換器１０３０；１６３０と、確認された線部分に基づいて画像またはそれから得られるエッジ画像の道路標識に対応する形状を検出する形状検出器１０４０；１２００；１６４０と、形状が検出された形状に基づいて形状検出器によって検出される形状に対応する検出された形状に対応する画像部分を選択して、比較画像パターンを使用して選択された画像部分に基づいて道路標識を確認するパターン識別器１０５０、１６５０を含み、パターン識別器１０５０、１６５０は、画像１０１０；１６１０の部分および比較画像パターンをマッピングによる形状に関して互いに適応させ、ハフ変換器１６３０は、画像１６１０またはそれから得られるエッジ画像における円のアーク部分または楕円のアーク部分を確認し、デバイスは、確認された円のアーク部分または楕円のアーク部分に基づいて、画像またはそれから得られるエッジ画像における楕円の位置を検出する楕円検出器１６６０；１７００を更に含み、ハフ変換器１６３０は、円のアーク部分または楕円のアーク部分の極値点１８１２ａ〜１８１２ｈを決定し、楕円検出器１６６０；１７００は、ハフ変換器によって決定された少なくとも４つの極値点１８１２ａ、１８１２ｂ、１８１２ｃ、１８１２ｄの第１のセットと、ハフ変換器によって決定された少なくとも４つの極値点１８１２ａ、１８１２ｂ、１８１２ｃ、１８１２ｄの第２のセットとを選択し、４つの極値点の第１のセットは４つの極値点の第２のセットと異なり、極値点の第１のセットの４つの極値点により第１の適合する楕円１８４０のパラメータを決定し、第１の適合する楕円から極値点の第１のセットの４つの極値点の偏差ｄを決定し、極値点の第２のセットの４つの極値点により第２の適合する楕円１８４０のパラメータを決定し、適合する楕円から極値点の第２のセットの４つの極値点の偏差Ｄを決定し、第１の適合する楕円からの極値点の第１のセットの４つの極値点の偏差ｄを使用し、第２の適合する楕円からの極値点の第２のセットの４つの極値点の偏差Ｄを使用して、極値点の第１のセットの４つの極値点が画像の楕円に属するかどうか、そして、第２のセットの４つの極値点が画像の楕円に属するかどうかを決定する。
オプションとして、デバイスにおいて、パターン識別器は、道路標識を確認するために、少なくとも１つの比較画像パターンとの比較により、検出された形状を満たす、またはその境界が検出された形状に基づいて検出された形状により決定される画像を確認する。
オプションとして、デバイスにおいて、パターン識別器は、シフトすることによっておよび／または回転によっておよび／または歪曲によって、画像の部分および比較画像パターン２２００を互いに適応させることができる。
オプションとして、デバイスにおいて、パターン識別器は、画像相関アルゴリズムを用いて画像パターンを少なくとも１つの比較画像パターン２２００と比較することができる。
オプションとして、デバイスにおいて、パターン識別器は、画像パターンおよび比較画像パターンとの間の偏差の評価を得るために、画像部分の画像パターンを複数の比較画像パターン２２００と比較することができ、偏差の評価が所定の最大許容偏差より大きくないとき、画像パターンとの最小の偏差を含む、比較画像パターン２２００に対する画像の比較画像パターンの検出を示すことができる。
オプションとして、デバイスにおいて、パターン識別器は、確認された楕円、または、画像またはそれから得られるエッジ画像において楕円または比較形状が確認されたかどうかという事実に応じて確認された比較形状に対応する画像の画像部分を選択することができる。
オプションとして、デバイスは、画像１０１０；１６１０のエッジを検出し、画像に基づいてエッジ画像１０２２；１６２２を生成するエッジ検出器１０２０；１６２０を含む。
オプションとして、エッジ検出器１０２０；１６２０は、閾値を用いて画像を単色画像に変換し、単色画像のエッジを検出することができる。
オプションとして、デバイスにおいて、画像１０１０；１６１０は、ビデオカメラからのカメラ画像でもよい。
好ましい実施例では、本発明は、パターン識別器が筆記検出器を含むデバイス３８００を提供し、筆記検出器は、画像を通る直線部分、確認された円のアーク部分または確認された楕円のアーク部分についてハフ変換器１０３０；１６３０によって与えられる情報に基づいて、確認された直線部分、確認された円のアーク部分または確認された楕円のアーク部分の位置を記述する文字記述を得る文字記述発生器を含み、筆記検出器は、文字記述と、文字コードが比較の結果として検出された文字の文字コードを提供するために関連付けられた複数の比較文字記述とが比較されるデータベース比較器を含み、デバイスは、道路標識の確認のために文字コードを使用する。
オプションとして、デバイスにおいて、ハフ変換器は、確認された直線部分の位置、長さまたは方向に関する情報を提供することができ、文字記述発生器は、文字記述の生成のために確認された直線部分についてハフ変換器によって与えられる情報を使用する。
オプションとして、デバイスにおいて、確認された直線部分、確認された円のアーク部分または確認された楕円のアーク部分は、確認された筆記成分を形成することができる。
オプションとして、デバイスにおいて、文字記述発生器は、文字記述として、確認された筆記成分の順序付けとして文字を記述する文字の記述を得ることができる。
オプションとして、デバイスにおいて、文字記述発生器は、連続した筆記の線を記述する確認された筆記成分を順序付けるように、文字記述を順序付けることができる。
オプションとして、デバイスにおいて、ハフ変換器は確認された円のアーク部分または楕円のアーク部分の位置、弧長、曲率半径または湾曲角度に関する情報を提供することができ、文字記述発生器は、文字記述の生成のためのハフ変換器によって与えられる確認された円のアークまたは楕円のアークの位置、弧長、曲率半径または湾曲角度に関する情報を使用する。
オプションとして、デバイスにおいて、文字記述が文字に属する円のアークまたは楕円のアークの相対位置の記述を含むように、文字記述発生器は文字記述を生成することができる。
オプションとして、デバイスは、文字がハフ変換器によって確認される筆記成分の位置に基づいて配置されるラインを確認する筆記ライン検出器を含むことができる。
オプションとして、デバイスにおいて、筆記ライン検出器は、ハフ変換によって確認される筆記成分の位置に基づく筆記ラインとして筆記の下のライン、ベースライン、センターラインまたは上のラインを決定することができる。
オプションとして、デバイスにおいて、筆記ライン検出器は、確認された円のアークまたは楕円のアークの所定数以上の極値が筆記ラインとして位置するラインを決定することができる。
オプションとして、デバイスにおいて、文字記述が少なくとも１つの検出された筆記ラインと関連して確認された筆記成分の位置に関する情報を記述するように、文字記述発生器は文字記述を生成することができる。
オプションとして、デバイスにおいて、文字記述発生器は、確認された円のアークまたは楕円のアークのための文字記述に円のアークまたは楕円のアークの方向についてハフ変換器によって与えられる情報を含めることができる。
オプションとして、デバイスにおいて、文字記述発生器は、確認された円のアークまたは楕円のアークのための文字記述にハフ変換器によって与えられる確認された円のアークまたは確認された楕円のアークの極値点の位置に関する情報を含めることができる。
オプションとして、デバイスにおいて、ハフ変換器は、曲率半径が絶対値に関して所定の最大許容曲率半径より小さい円のアークだけまたは楕円のアークだけを確認することができる。
オプションとして、デバイスにおいて、文字記述発生器は、選択された隣接する確認された文字成分を組み立てることによって文字の記述を生成することができ、選択された文字成分が所定の出発点から所定の終点への線の連続経路を記述するように、文字記述発生器は確認された文字成分の全体から文字の記述のために使用される選択された文字成分を選択する。
オプションとして、デバイスにおいて、文字記述発生器は、文字の次の部分を記述する確認された文字成分に基づいて特徴ベクトルを生成することができる。
オプションとして、デバイスにおいて、データベース比較器は、特徴ベクトルおよび比較ベクトルの違いの評価を得るために、そして違いの評価に基づいて特徴ベクトルに属する文字コードを決定するために、文字記述の情報を含む特徴ベクトルを比較文字と関連した複数の比較特徴ベクトルと比較することができる。
オプションとして、デバイスは、文字を含む画像の画像部分の画像内容に基づいてオイラー連結数を計算するための連結数計算機を含み、さらに、文字の検出の信頼性に関する情報をもたらしている信頼性情報を得るために、デバイスは、画像部分に対して計算されるオイラー連結数と、画像部分において検出される文字に関連するデータベースに含まれる所定の比較連結数とを比較するために行う連結数検査器を含む。
参考文献
Ｂ．Ｖ．ファントおよびＧ．Ｄ．フィンレイスン．「色定数色指数付け（Color constant color indexing）」．パターン解析および人工知能に関するＩＥＥＥ議事録，１７（５）：５２２〜５２９，１９９５．
Ｊ．クルーダス．「カラー指数付け、一定のカラー指数付け（Color indexing, constant color indexing）」．ハウプトゼミナール、ＴＵ−ニルメナウ、２００５。
Ｐ．ランバート、Ｎ．ハーヴィーおよびＨ．グレキュ．「空間色彩ヒストグラムを用いた画像検索（Image retrieval using spatial chromatic histograms）」．イメージングおよびビジョン、第３４３〜３４７頁、２００４．ＣＧＩＶ ２００４−グラフィクスの色に関する第２のヨーロッパの会議（Second European Conference on Color in Graphics）
Ｇ．Ｃｉｏｃｃａ、Ｒ．ＳｃｈｅｔｔｉｎｉおよびＬ．Ｃｉｎｇｕｅ．「空間色彩ヒストグラムおよび符号定数を使用する画像指数づけおよび検索（Image indexing and retrieval using spatial chromatic histograms and signatures）」．イメージングおよびビジョン、（４月２日〜５日), ２００２．ＣＧＩＶ ２００２−グラフィクスの色に関する第１のヨーロッパの会議．ポアティエ大学（フランス）

Claims (15)

  1. 画像（１０１０、１１５０；１３００；１５００；１６１０）の道路標識（１０６０；１３１０；１５１０）を確認するためのデバイス（１０００；１６００）であって、
    画像またはそれから得られるエッジ画像（１０２２；１６２２）において画像（１０１０；１６１０）を通る複数の線部分を確認するためのハフ変換器（１０３０；１６３０）、
    確認された線部分に基づいて、画像またはそれから得られるエッジ画像の道路標識に対応する形状を検出するための形状検出器（１０４０；１２００；１６４０）、および
    検出された形状に基づいて、検出された形状に対応しその形状が形状検出器で検出された形状に対応する画像部分を選択し、比較画像パターンを用いて選択された画像部分に基づいて道路標識を確認するためのパターン識別器（１０５０、１６５０）を含み、
    パターン識別器（１０５０，１６５０）は、マッピングによって、形状に関して画像（１０１０；１６１０）の部分および比較画像パターンを互いに適応させ、
    ハフ変換器（１６３０）は、画像（１６１０）またはそれから得られるエッジ画像（１６２２）の円のアーク部分または楕円のアーク部分を確認し、
    さらに、デバイスは、確認された円のアーク部分または楕円のアーク部分に基づいて画像またはそれから得られるエッジ画像における楕円の位置を検出する楕円検出器（１６６０；１７００）を含み、
    ハフ変換器（１６３０）は、円のアーク部分または楕円のアーク部分の極値点（１８１２ａ〜１８１２ｈ）を確認し、
    楕円検出器（１６６０；１７００）は、ハフ変換器により決定された極値点から少なくとも４つの極値点（１８１２ａ，１８１２ｂ，１８１２ｃ，１８１２ｄ）の第１のセットを選択し、ハフ変換器により決定された極値点から４つの極値点の第１のセットとは異なる４つの極値点の第２のセット（１８１２ａ，１８１２ｂ，１８１２ｃ，１８１２ｄ）を選択し、
    極値点の第１のセットの４つの極値点により第１の適合楕円（１８４０）のパラメータを決定し、
    第１の適合楕円から極値点の第１のセットの４つの極地点の偏差（ｄ）を決定し、
    極値点の第２のセットの４つの極値点により第２の適合楕円（１８４０）のパラメータを決定し、
    適合楕円から極値点の第２のセットの４つの極地点の偏差（Ｄ）を決定し、
    第１の適合楕円からの極値点の第１のセットの４つの極値点の偏差（ｄ）を使用するとともに第２の適合楕円からの極値点の第２のセットの４つの極値点の偏差（Ｄ）を使用して、極値点の第１のセットの４つの極値点が画像の楕円に属するかどうか、および極値点の第２のセットの４つの極値点が画像の楕円に属するかどうかを決定する、デバイス。
  2. その形状が形状検出器によって検出された形状に対応するように、パターン識別器は検出された形状に基づいて画像部分を選択する、請求項１に記載のデバイス。
  3. 形状検出器（１０４０；１２００；１６４０）は、確認された線部分の相対位置に基づいて、画像（１０１０；１６１０）またはそれから得られるエッジ画像（１０２２；１６２２）の所定の形状を検出する、請求項１または請求項２に記載のデバイス（１０００；１６００）。
  4. 形状検出器（１０４０；１２００；１６４０）は、確認された線部分の全体（１３１２，１３１４ａ，１３１４ｂ，１３１４ｃ，１３１６）から選択された確認された線部分のサブセット（１３１２、１３１４ａ、１３１４ｂ、１３１４ｃ、１３１６）を選択し、
    互いに選択された確認された線部分の相対位置または選択された確認された線部分の交点の相対位置を記述する、選択された確認された線部分のための相対位置パラメータ（１４１０；１４２０）を決定し、
    相対位置パラメータに基づいて、選択された確認された線部分が所定の比較形状を記述するかどうかを決定する、請求項１ないし請求項３のいずれかに記載のデバイス（１０００；１６００）。
  5. 形状検出器（１０４０；１２００；１６４０）は、選択された確認された線部分のための相対位置パラメータと確認される比較形状の相対位置パラメータとの間の偏差の定量的記述を得るために、選択された確認された線部分（１３１４ａ，１３１４ｂ，１３１４ｃ）のための相対位置パラメータ（１４１０；１４２０）と確認される比較形状の相対位置パラメータとを比較し、
    選択された確認された線部分のための相対位置パラメータが、多くても所定の最大許容偏差によって、比較形状の相対位置パラメータから得られるとき、画像またはそれから得られるエッジ画像における比較形状に対応する形状を検出する、請求項４に記載のデバイス（１０００；１６００）。
  6. ハフ変換器（１０３０；１６３０）は、画像（１０１０；１６１０）またはそれから得られるエッジ画像（１０２２；１６２２）の円のアーク部分または楕円のアーク部分を確認し、
    形状検出器（１０４０；１６４０）は、隣接する確認された直線部分の、そして確認された円のアーク部分または楕円のアーク部分のリストの形でオブジェクトの記述を記載する、請求項１ないし請求項５のいずれかに記載のデバイス（１０００；１６００）。
  7. リストは、確認された直線部分および確認された円のアーク部分または楕円のアーク部分の長さ、方向、位置または曲率半径に関する情報を含む、請求項６に記載のデバイス（１０００；１６００）。
  8. 形状検出器（１０４０；１６４０）は、リストの情報と確認される比較形状の記述とを比較し、
    リストによって記述されるオブジェクトと比較形状との間の差の評価を決定し、
    差の評価に基づいて、リストによって記述されるオブジェクトが比較形状に対応しているかどうかを決定する、請求項６または請求項７に記載のデバイス（１０００；１６００）。
  9. 形状検出器（１０４０；１６４０）は、隣接する確認された直線部分、確認された円のアーク部分または確認された楕円のアーク部分の異なる組合せを含むオブジェクトの複数の記述を設定し、
    オブジェクトの複数の記述から少なくとも１つの比較形状に対応する選択されたオブジェクトの記述を選択する、請求項６ないし請求項８のいずれかに記載のデバイス（１０００；１６００）。
  10. 形状検出器（１０４０；１６４０）は、確認された直線部分、円のアーク部分または楕円のアーク部分の間の距離が所定の最小限の距離より小さいとき、隣接する確認された直線部分、円のアーク部分または楕円のアーク部分として２つの直線部分、円のアーク部分または楕円のアーク部分を検出する、請求項６ないし請求項９のいずれかに記載のデバイス（１０００；１６００）。
  11. デバイスは、画像（１０１０；１６１０）のエッジを検出し、画像に基づいてエッジ画像（１０２２；１６２２）を生成するエッジ検出器（１０２０；１６２０）を含み、
    ハフ変換器（１０３０；１６３０）は、確認された円のアーク部分または楕円のアーク部分に関する位置情報を得るために、エッジ画像の円のアーク部分または楕円のアーク部分を確認し、
    確認された直線部分に関する位置情報を得るために、異なる方向にエッジ画像を通る複数の直線部分を確認し、
    デバイスは、さらに、確認された円のアーク部分または楕円のアーク部分に関する位置情報に基づいて画像における楕円の位置を検出し、検出された楕円に関する位置情報を提供する楕円検出器（１６６０；１７００）を含み、
    形状検出器（１０４０；１６４０）は、確認された線部分の全体からの複数の選択された確認された線部分に基づいて、互いに関して選択された確認された線部分の相対位置を記述する相対位置パラメータを決定し、
    選択された確認された線部分の相対位置パラメータと、道路標識の輪郭を示す確認される比較形状の相対位置パラメータとを比較し、
    選択された確認された線部分の相対位置パラメータが所定の最大許容偏差だけによって確認される比較形状の相対位置パラメータから逸脱するとき、エッジ画像の比較形状を検出し、
    確認された直線部分に関する位置情報に基づいてエッジ画像において検出される比較形状に関する位置情報（１０４２；１６４２）を取得し、
    パターン識別器（１０５０；１６５０）は、エッジ画像において楕円または比較形状が確認されたかどうかの事実に応じて、確認された楕円または確認された比較形状に対応する画像の画像部分を選択し、
    画像部分または画像部分のマッピングにより得られるマッピングされた画像部分を１つ以上の比較画像と比較し、画像部分がどのくらいよく少なくとも１つの比較画像に適合するかに応じて画像部分またはマッピングされた画像部分が道路標識を示すかどうかという事実に関して情報（１０５２；１６５２）を提供する、請求項１ないし請求項１０のいずれかに記載のデバイス（１０００；１６００）。
  12. パターン識別器は、筆記検出器を含み、
    筆記検出器は、画像を通る直線部分、確認された円のアーク部分または確認された楕円のアーク部分に関するハフ変換器（１０３０；１６３０）により与えられる情報に基づいて、確認された直線部分、確認された円のアーク部分または確認された楕円のアーク部分の位置を示す文字記述を得る文字記述発生器を含み、
    筆記検出器は、比較の結果として検出された文字の文字コードを提供するために、文字記述と文字コードが関連する複数の比較文字記述とを比較するデータベース比較器を含み、
    デバイスは、道路標識の確認のために文字コードを使用する、請求項１ないし請求項１１に記載のデバイス（３８００）。
  13. 画像（２６１２）の道路標識を確認する方法（２６００）であって、
    円のアーク部分または楕円のアーク部分を確認するために、画像またはそれから得られるエッジ画像をハフ変換する（２６１０）ステップ、
    確認された円のアーク部分または楕円のアーク部分に基づいて画像またはそれから得られたエッジ画像の道路標識に対応する形状を検出する（２６２０）ステップ、および
    呼格画像パターンを用いて検出された形状に対応する画像部分の道路標識を確認する（２６３０）ステップを含み、
    マッピングによって、形状に関して画像の部分および比較画像パターンを互いに適応させ、
    道路標識に対応する形状を検出する（２６２０）ステップは、確認された円のアーク部分または楕円のアーク部分に基づいて画像またはそれから得られるエッジ画像における楕円の位置を検出するステップを含み、
    ハフ変換器する（１６３０）ステップは、円のアーク部分または楕円のアーク部分の極値点（１８１２ａ〜１８１２ｈ）を確認するステップを含み、
    楕円を検出するステップは、ハフ変換器により決定された極値点から４つの極値点（１８１２ａ，１８１２ｂ，１８１２ｃ，１８１２ｄ）の第１のセットを選択し、ハフ変換器により決定された極値点から４つの極値点の第１のセットとは異なる４つの極値点の第２のセット（１８１２ａ，１８１２ｂ，１８１２ｃ，１８１２ｄ）を選択するステップを含み、
    楕円を検出するステップは、極値点の第１のセットの４つの極値点により第１の適合楕円（１８４０）のパラメータを決定するステップを含み、
    第１の適合楕円から極値点の第１のセットの４つの極地点の偏差（ｄ）を決定するステップ、
    極値点の第２のセットの４つの極値点により第２の適合楕円（１８４０）のパラメータを決定するステップ、
    適合楕円から極値点の第２のセットの４つの極地点の偏差（Ｄ）を決定するステップ、および
    第１の適合楕円からの極値点の第１のセットの４つの極値点の偏差（ｄ）を使用するとともに第２の適合楕円からの極値点の第２のセットの４つの極値点の偏差（Ｄ）を使用して、極値点の第１のセットの４つの極値点が画像の楕円に属するかどうか、および極値点の第２のセットの４つの極値点が画像の楕円に属するかどうかを決定するステップを含む、方法。
  14. 形状が検出された形状に対応する画像部分を選択するステップと、検出された形状に対応する画像部分の道路標識を確認するステップを含む、請求項１３に記載の方法。
  15. コンピュータ・プログラムがコンピュータにおいて実行されるとき、請求項１３または請求項１４に記載の方法が実行される、コンピュータ・プログラム。
JP2009541865A 2006-12-18 2007-12-18 画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム Expired - Fee Related JP4741704B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006059663A DE102006059663B4 (de) 2006-12-18 2006-12-18 Vorrichtung, Verfahren und Computerprogramm zum Identifizieren eines Verkehrszeichens in einem Bild
DE102006059663.3 2006-12-18
PCT/EP2007/011131 WO2008074476A1 (de) 2006-12-18 2007-12-18 Vorrichtung, verfahren und computerprogramm zum identifizieren eines verkehrszeichens in einem bild

Publications (2)

Publication Number Publication Date
JP2010514025A JP2010514025A (ja) 2010-04-30
JP4741704B2 true JP4741704B2 (ja) 2011-08-10

Family

ID=39345572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009541865A Expired - Fee Related JP4741704B2 (ja) 2006-12-18 2007-12-18 画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム

Country Status (6)

Country Link
US (1) US8170340B2 (ja)
EP (1) EP2100258B8 (ja)
JP (1) JP4741704B2 (ja)
AT (1) ATE519176T1 (ja)
DE (1) DE102006059663B4 (ja)
WO (1) WO2008074476A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099483A1 (ja) * 2007-02-15 2008-08-21 Pioneer Corporation 表示制御装置、表示制御方法、表示制御プログラムおよび記録媒体
EP2028605A1 (de) * 2007-08-20 2009-02-25 Delphi Technologies, Inc. Detektionsverfahren für symmetrische Muster
US8571273B2 (en) * 2009-05-22 2013-10-29 Nokia Corporation Method and apparatus for performing feature extraction using local primitive code
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
US20110143728A1 (en) * 2009-12-16 2011-06-16 Nokia Corporation Method and apparatus for recognizing acquired media for matching against a target expression
US8447139B2 (en) 2010-04-13 2013-05-21 International Business Machines Corporation Object recognition using Haar features and histograms of oriented gradients
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
KR101178507B1 (ko) 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
EP2652680A1 (de) * 2010-12-13 2013-10-23 Incca GmbH Vorrichtung und verfahren zur unterstuetzung der durchfuehrung eines wartungs- und/oder bedienvorgangs
JP5682282B2 (ja) * 2010-12-15 2015-03-11 富士通株式会社 弧検出装置、弧検出プログラム及び携帯端末装置
DE102011010315A1 (de) * 2011-02-03 2012-08-09 Hönigsberg & Düvel Datentechnik GmbH Erkennung von Objekten
JP2012243051A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
DE102011109387A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
TWI448913B (zh) * 2011-11-30 2014-08-11 Univ Ishou A shape generation method and a image retrieval system for image retrieval
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
RU2488164C1 (ru) * 2012-04-03 2013-07-20 Федеральное государственное бюджетное учреждение науки Институт систем обработки и изображений Российской академии наук (ИСОИ РАН) Способ локализации дорожных знаков и распознавания их групп и подгрупп
KR20140118398A (ko) * 2013-03-29 2014-10-08 삼성전자주식회사 이미지에서 손 인식 방법 및 장치
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
JP6128617B2 (ja) * 2013-07-24 2017-05-17 日本電気株式会社 画像認識装置およびプログラム
CN103425984B (zh) * 2013-08-15 2016-09-07 京北方信息技术股份有限公司 一种检测票据中正多边形印章的方法和装置
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
CN106462727B (zh) 2014-01-30 2020-02-11 移动眼视力科技有限公司 车辆、车道终止检测系统和方法
WO2015123647A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
TWI503760B (zh) * 2014-03-18 2015-10-11 Univ Yuan Ze Image description and image recognition method
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
DE102014214711B4 (de) * 2014-07-25 2023-01-05 Continental Autonomous Mobility Germany GmbH Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE102014214713A1 (de) * 2014-07-25 2016-01-28 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
US20160034769A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
DE102015205505A1 (de) 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Detektieren elliptischer Strukturen in einem Bild
DE102015205524B4 (de) * 2015-03-26 2020-11-05 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts, beispielsweise eines Verkehrsschildes, in einem Bild
DE102015205502A1 (de) * 2015-03-26 2016-09-29 Mando Corporation Bildverarbeitungsverfahren und Bildverarbeitungssystem zum Extrahieren verzerrter kreisförmiger Bildelemente
US10078827B2 (en) * 2015-03-30 2018-09-18 Ncr Corporation Item substitution fraud detection
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
GB201605137D0 (en) 2016-03-25 2016-05-11 Jaguar Land Rover Ltd Virtual overlay system and method for occluded objects
CN106372642B (zh) * 2016-08-31 2023-11-03 北京航空航天大学 基于轮廓曲线分割弧合并与组合的椭圆快速检测方法
CN108345891A (zh) * 2017-01-23 2018-07-31 北京京东尚科信息技术有限公司 图书轮廓提取方法和装置
US10607094B2 (en) 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
CN108734687B (zh) * 2017-04-21 2020-04-28 游诚曦 一种斜拉线不受力缺陷识别方法及装置
CN107464245B (zh) * 2017-06-29 2020-08-18 北京捷通华声科技股份有限公司 一种图像结构边缘的定位方法及装置
CN108986181B (zh) * 2018-06-15 2023-05-26 广东数相智能科技有限公司 基于圆点的图像处理方法、装置与计算机可读存储介质
US10891501B2 (en) * 2019-01-28 2021-01-12 Uber Technologies, Inc. Automatically associating road sign information with road segments using image data
JP2021096652A (ja) * 2019-12-17 2021-06-24 富士通株式会社 画像識別装置、方法、及びプログラム
CN111275667B (zh) * 2020-01-13 2024-05-24 武汉科技大学 一种加工误差检测方法、装置和加工方法
US11436842B2 (en) * 2020-03-13 2022-09-06 Argo AI, LLC Bulb mask representation for traffic light classification
CN111626292B (zh) * 2020-05-09 2023-06-30 北京邮电大学 一种基于深度学习技术的楼宇指示标识的文字识别方法
KR20210152689A (ko) * 2020-06-09 2021-12-16 현대자동차주식회사 내비게이션 목적지 설정 장치 및 그의 내비게이션 목적지 설정 방법
CN111695564B (zh) * 2020-06-12 2023-11-14 上海航天控制技术研究所 一种目标识别与导航方法
CN113363024B (zh) * 2021-06-02 2021-11-16 广州市广惠通线缆有限公司 一种线缆发泡层充氮控制方法及系统
CN114359548A (zh) * 2021-12-31 2022-04-15 杭州海康机器人技术有限公司 一种圆查找方法、装置、电子设备及存储介质
CN114881956A (zh) * 2022-04-28 2022-08-09 首辅锂电科技江苏有限公司 基于霍夫变换的电池板栅线自适应提取方法及系统
CN116342614B (zh) * 2023-06-01 2023-08-08 山东九思新材料科技有限责任公司 基于图像识别的废硅片形状检测方法
CN117788472B (zh) * 2024-02-27 2024-05-14 南京航空航天大学 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284377A (ja) * 2004-03-26 2005-10-13 Toyota Motor Corp 標識認識装置及び標識認識方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
KR100488694B1 (ko) 2002-06-28 2005-05-11 현대자동차주식회사 차량의 차선 이탈 경보방법
JP4377665B2 (ja) 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP4637618B2 (ja) 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
US7739221B2 (en) 2006-06-28 2010-06-15 Microsoft Corporation Visual and multi-dimensional search
KR101421704B1 (ko) 2006-06-29 2014-07-22 구글 인코포레이티드 이미지의 텍스트 인식

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284377A (ja) * 2004-03-26 2005-10-13 Toyota Motor Corp 標識認識装置及び標識認識方法

Also Published As

Publication number Publication date
DE102006059663B4 (de) 2008-07-24
EP2100258B1 (de) 2011-08-03
JP2010514025A (ja) 2010-04-30
US20100067805A1 (en) 2010-03-18
US8170340B2 (en) 2012-05-01
DE102006059663A1 (de) 2008-06-19
EP2100258A1 (de) 2009-09-16
WO2008074476A1 (de) 2008-06-26
ATE519176T1 (de) 2011-08-15
EP2100258B8 (de) 2011-09-14

Similar Documents

Publication Publication Date Title
JP4741704B2 (ja) 画像の道路標識を確認するためのデバイス、方法およびコンピュータ・プログラム
CN109740469B (zh) 车道线检测方法、装置、计算机设备和存储介质
Lim et al. Real-time traffic sign recognition based on a general purpose GPU and deep-learning
CN106156766B (zh) 文本行分类器的生成方法及装置
JP4928310B2 (ja) ナンバープレート認識装置、その制御方法、コンピュータプログラム
US9547800B2 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-D images
US9665768B2 (en) Process of handwriting recognition and related apparatus
US8611662B2 (en) Text detection using multi-layer connected components with histograms
US8213721B2 (en) Product identification apparatus, product identification method, and program
JP4323328B2 (ja) 取り込み画像データから文字列を識別して抜出するシステムおよび方法
US9076056B2 (en) Text detection in natural images
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
Dave Segmentation methods for hand written character recognition
US20070058856A1 (en) Character recoginition in video data
CN113033543B (zh) 曲形文本识别方法、装置、设备及介质
Obaidullah et al. A system for handwritten script identification from Indian document
JP6786874B2 (ja) 針式メータ検出装置、方法およびプログラム
Jung et al. Hybrid approach to efficient text extraction in complex color images
Koo Text-line detection in camera-captured document images using the state estimation of connected components
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
JP4859061B2 (ja) 画像の補正方法、補正プログラムおよび画像歪み補正装置
Zhu et al. End-to-end system of license plate localization and recognition
Lu A lane detection, tracking and recognition system for smart vehicles
Santosh et al. Scalable arrow detection in biomedical images
Deb et al. A vehicle license plate detection method for intelligent transportation system applications

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

R150 Certificate of patent or registration of utility model

Ref document number: 4741704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees