JP7033389B2 - 車両の周囲にある縁石を検知する装置および方法並びに車両用縁石チェックシステム - Google Patents

Description

本発明は、独立請求項に記載の種類の装置または方法に基づく。本発明の対象はコンピュータプログラムでもある。

車両はたとえば車載カメラを搭載していることがある。この種の車載カメラは、車両の周囲を撮影するように構成されていることがある。周囲には、たとえば障害物等の形態の定置の対象物のような対象物が配置されている場合がある。

このような背景に対し、ここに提示するアプローチにより、主請求項に記載の方法、さらにこの方法を使用する装置、最後に対応するコンピュータプログラムが提示される。従属項で述べる処置により、独立請求項に記載した装置の好適な更なる構成および改善が可能である。

実施態様によれば、たとえば魚眼レンズを備えたカメラを使用して縁石検知を実現することができる。この場合、縁石検知は、たとえば近距離カメラプラットホームをベースにしたシステムによっても可能にすることができる。特に、車両に対しては、車両周囲の縁石の検知と、これに加えてまたはこれとは択一的に、車両に対する縁石の位置に関するチェックを行うことができ、この場合たとえばただ１つのカメラをベースにしても、縁石の３次元表示を生成して利用することができる。

実施態様によれば、たとえば縁石の位置と形態とを確実に検知できるので好適である。これは、特にただ１つの車載カメラを使用しても可能にすることができる。さらに、たとえば縁石と車両との位置関係を監視して、チェックすることもできる。したがって、車両誘導を改善することができ、走行安全性を向上させることができる。その際、縁石検知または縁石チェックを正確に、確実に、低コストで実施することができる。

車両の周囲にある縁石を検知する方法が提案され、この方法は次のステップを有し、すなわち、
前記車両の少なくとも１つのカメラ機構に対するインターフェースによって読み取られるイメージデータを使用して、前記縁石に属している少なくとも１つの線分を認識するステップであって、前記イメージデータは車両の周囲を表している前記ステップと、
前記少なくとも１つの線分を前記周囲の地面表面に投影して、投影線分を生成させるステップと、
前記車両の前記周囲にある複数の３次元三角測量点の少なくとも一部を、前記カメラ機構の位置に対する前記点の相対位置と、前記投影線分の始点に対する前記点の相対位置と、前記投影線分の終点に対する前記点の相対位置とに依存して、前記少なくとも１つの線分に割り振るステップであって、前記３次元三角測量点が前記車両の前記周囲にある物点に対応している前記ステップと、
割振り点を使用して前記縁石の側面を特定するステップと、
を有する。

この方法は、たとえばソフトウェアまたはハードウェア、或いはソフトウェアとハードウェアとから成る混合形態でたとえば制御器で実行されていてよい。車両とは自動車であり、特にたとえば乗用車、トラック等の路上走行車両である。少なくとも１つのカメラ機構は魚眼レンズを有していてよい。割振りのステップでは、３次元三角測量点を少なくとも１つの線分に、およびこれに加えて、またはこれとは択一的に縁石に割り振りまたは関連付けることができる。側面は、認識された線分を有することができる。側面は、地面表面に関して傾斜した、縁石の面を表すことができる。地面表面は走行軌道レベル、または走行軌道レベルに対し平行にシフトした面を表すことができる。

１実施態様によれば、割り振るステップで、３次元三角測量点が分離面から最大で所定間隔で離れて配置されているかどうかをチェックする。この場合分離面は、カメラ機構の位置と、投影線分の始点と、投影線分の終点とによって定義されている。このような実施態様は、縁石に潜在的に属している特徴を確実に識別できるという利点を提供する。特に、この場合には１次元に関する線外値点を排除することができる。

また、割り振るステップでは、３次元三角測量点が、カメラ機構の位置と、投影線分の始点と、投影線分の終点とによって定義されている分離面への該３次元三角測量点の投影の際に、カメラ機構の位置と、投影線分の始点と、投影線分の終点とによって定義されている三角形の内側に配置されているかどうかをチェックできる。このような実施態様は、縁石に属している特徴を確実に正確に識別できるという利点を提供する。特に、この場合には２次元および３次元に関する線外値点を排除することができる。

さらに、特定するステップでは、前記側面を、割振り点が周囲の地面表面から所定間隔インターバルで配置されているかどうかに依存して特定できる。換言すれば、特定するステップは、割振り点が周囲の地面表面から所定間隔インターバルで配置されているときに実施することができる。この場合、点の間の平均間隔を使用してもよい。このような実施態様は、縁石をさらに確実に、より正確に検知できるという利点を提供する。

さらに、特定するステップでは、前記側面を、割り振るステップで所定最小数の点が割り振りされたかどうかに依存して特定できる。換言すれば、特定するステップは、割り振るステップで所定最小数の点が割り振られたときに実施することができる。このような実施態様は、誤検知をさらに低減できるという利点を提供する。

特に、特定するステップでは、縁石の前記側面を、割振り点の算出した質量中心点を使用して特定できる。このような実施態様は、前記側面の位置をさらに確実に、より正確に特定できるという利点を提供する。

また、認識するステップでは第１の座標系を使用することができる。この場合投影するステップ、割り振るステップおよびこれに加えてまたはこれとは択一的に特定するステップで、第２の座標系を使用することができる。この場合、第１の座標系はイメージ座標を有し、第２の座標系はワールド座標を有していてよい。このような実施態様は、確実な縁石検知を可能にすることができ、その際車両と縁石とを含んでいる参照フレームを利用できるという利点を提供する。

さらに、本方法は、車両と、特定するステップで特定した縁石の前記側面との間の間隔を算出するステップを備えていてよい。間隔は、ワールド座標を使用して算出することができる。特に、算出するステップでは、車両の少なくとも１つの車輪またはタイヤと、特定するステップで特定した縁石の側面との間隔を算出することができる。このような実施態様は、車両と縁石との間の確実な間隔チェックを可能にするという利点を提供する。

この場合、本方法は、算出するステップで算出した間隔が所定の安全間隔を下回っているときに警告信号を供給するステップを有していてよい。このような実施態様は、走行安定性を高め、走行快適性を向上させることができるという利点を提供する。

さらに、本方法は、少なくとも１つの線分、割振り点、これに加えてまたはこれとは択一的に前記側面を、経時的におよびこれに加えてまたはこれとは択一的に車両の移動時に追跡するステップを有していてよい。追跡するステップは、車両のカメラ機構によって時間的に連続して検知されたイメージデータを表すイメージデータを使用して行うことができる。このような実施態様は、縁石検知の信頼性を可能にし、検出確実性をさらに向上させることができるという利点を提供する。

さらに、本方法は、車両の周囲にある複数の３次元三角測量点を検出するステップを有していてよい。この場合、３次元三角測量点は車両の周囲にある物点に対応できる。検出するステップは、少なくとも１つのカメラ機構のイメージデータを使用して実施することができる。特に、検出するステップは移動から構造を取得するためのアルゴリズムを使用して実施することができる。このような実施態様は、車両周囲の信頼性のある適切な表示を取得できるという利点を提供する。

ここに提示するアプローチは、さらに、ここに提示した方法の１実施態様でのステップを適当な機構で実施し、制御し、または置換するように構成された装置を提供する。装置の形態の本発明のこれらの実施態様によっても、本発明の基本的な課題を迅速かつ効率的に解決することができる。

このため、装置は、信号またはデータを処理するための少なくとも１つの演算ユニット、信号またはデータを記憶するための少なくとも１つのメモリユニット、センサのセンサ信号を読み取るための、或いは、通信プロトコルに埋め込まれているデータの読み取りまたは出力のためにデータ信号または制御信号をアクチュエータおよび／または少なくとも１つの通信インターフェースへ出力するためのセンサまたはアクチュエータのための少なくとも１つのインターフェースを有していてよい。演算ユニットはたとえば信号プロセッサ、マイクロコントローラ等であってよく、この場合メモリユニットはフラッシュメモリ、ＥＰＲＯＭまたは磁気メモリユニットであってよい。通信インターフェースは、データを無線および／または有線で読み取りまたは出力するように構成されていてよく、この場合有線データの読み取りまたは出力を行うことができる通信インターフェースはこれらのデータをたとえば電気的にまたは光学的に対応するデータ伝送線から読み取り、または、適当なデータ伝送線へ出力することができる。

装置とは、本発明では、センサ信号を処理し、制御信号および／またはデータ信号に依存して出力させる電気機器であってよい。装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有していてよい。ハードウェアによる構成の場合、インターフェースは、たとえば装置の種々の機能を含んでいるいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが固有の集積回路であり、または、少なくとも部分的に個別部品から成っていることも可能である。ソフトウェアによる構成の場合には、インターフェースは、たとえば他のソフトウェアモジュールとともにマイクロコントローラに設けられたソフトウェアモジュールであってよい。

好適な構成では、装置によってイメージデータの処理が行われる。このため、装置は、たとえば少なくとも１つのカメラ機構のカメラ信号およびビデオ信号のようなセンサ信号へアクセスすることができる。装置は、処理したイメージデータを提供するように構成されていてよく、これらのイメージデータが縁石を描く。

車両用縁石チェックシステムが提示される。この場合システムは次の構成要件を有し、すなわち
前記車両の周囲のイメージデータを提供する少なくとも１つのカメラ機構と、
データ伝送可能に前記少なくとも１つのカメラ機構と接続可能またはこれと接続されている前記装置の１実施形態と、
を有している。

縁石チェックシステムとの関連で、前述の装置の１実施形態を、車両の周囲にある縁石を検知するために好適に投入または使用することができる。

プログラムコードを備えたコンピュータプログラム製品またはコンピュータプログラムも好適である。コンピュータプログラム製品またはコンピュータプログラムは半導体メモリ、ハードディスク、または光学メモリのような機械で読み取り可能なキャリアまたは記憶媒体に記憶されていてよく、特にコンピュータプログラム製品またはコンピュータプログラムがコンピュータまたは装置で実施される場合に、前述したいくつかの実施態様のうちの１つによる方法のステップの実施、置換および／または制御のために使用される。

ここで提示したアプローチのいくつかの実施例が図面に図示されており、以下の説明で詳細に説明する。

１実施例によるシステムの概略図である。 １実施例による方法のフローチャートである。 図１のシステムと車両の周囲とを合わせて示した車両の概略図である。 縁石検知時の図３の車両の周囲の概略図である。 縁石検知時の図３または図４の車両の周囲の概略図である。

本発明の好ましい実施例に関する以下の説明では、異なる図面に図示されて同様の作用をする要素に対しては同一または類似の参照符号を使用し、これらの要素の説明は反復しないことにする。

図１は、１実施例によるシステム１００の概略図である。システム１００は、車両のための縁石チェックまたは縁石監視を実施するように構成されている。したがってシステム１００は車両内で利用可能であり、特に自動車または路上走行車両で利用可能である。

その際にシステム１００は、車両の周囲のイメージデータ１１０を提供するための少なくとも１つのカメラ機構１０５を有している。図１に示した実施例によれば、システム１００はたとえばカメラ機構１０５のみを有している。イメージデータ１１０は車両の周囲を表している。カメラ機構１０５は、たとえばスチールカメラおよび／またはビデオカメラとして実施されていてよい車両カメラである。図１に示した実施例によれば、カメラ機構１０５は魚眼対物レンズを有している。カメラ機構１０５は、イメージデータ１１０を提供するように構成されている。

システム１００は、さらに、検知装置１２０または車両の周囲にある縁石を検知するための装置１２０を有している。検知装置１２０はデータを伝送可能にカメラ機構１０５と接続されている。したがって検知装置１２０は、カメラ機構１０５のイメージデータ１１０を受信または読み取るように構成されている。

検知装置１２０は、システム１００が使用のために配置されている車両の周囲にある縁石を検知するように構成されている。この場合検知装置１２０は、カメラ機構１０５のイメージデータ１１０を使用して縁石を検知するように構成されている。検知装置１２０は、認識機構１２２と、投影機構１２４と、割振り機構１２６と、特定機構１２８とを有している。

検出機構１２２は、カメラ機構１０５のイメージデータ１１０を使用するように構成されている。たとえば、検出機構１２２は、カメラ機構１０５または該カメラ機構１０５へのインターフェースのイメージデータ１１０を読み取るように構成されている。検出機構１２２は、読み取ったイメージデータ１１０を使用して、縁石に属する少なくとも１つの線分を認識するように構成されている。検出機構１２２は、認識した線分または認識した線分に関する情報を投影機構１２４へ伝送するようにも構成されている。

投影機構１２４は、少なくとも１つの線分を周囲の地面表面に投影して、投影線分を生成するように構成されている。投影機構１２４は、さらに、投影線分を割振り機構１２６に対し提供するように構成されている。

割振り機構１２６は、車両周囲にある複数の３次元三角測量点の少なくとも一部を少な
くとも１つの線分に割り振るように構成されている。この場合割振り機構１２６は、３次元三角測量点を、カメラ機構１０５の位置に対するこれら三角測量点の相対位置と、投影線分の始点に対するこれら三角測量点の相対位置と、投影線分の終点に対するこれら三角測量点の相対位置とに依存して少なくとも１つの線分に割り振るように構成されている。３次元三角測量点は、車両周囲の物点に対応している。割振り機構１２６は、さらに、割振り点または割振り点に関する情報を特定機構１２８へ転送するように構成されている。

特定機構１２８は、割振り点を使用して縁石の側面を特定するように構成されている。特に、特定機構１２８は縁石の少なくとも側面を特定するように構成されている。

次に、以下の図面を参照して検知装置１２０の機能をさらに詳細に説明する。

図２は、１実施例による検知方法２００のフローチャートである。この方法２００は、車両周囲の縁石を検知するために実施可能である。この場合、方法２００は、図１の検知装置１２０或いは同様の検知装置との連動でまたは該検知装置或いは同様の検知装置を使用して実施可能である。

検知方法２００は、イメージデータを使用して、縁石に属する少なくとも１つの線分を認識する認識ステップ２１０を有している。この場合、イメージデータは車両の少なくとも１つのカメラ機構に対するインターフェースによって読み取られ、車両の周囲を表す。認識ステップ２１０に関連して以下に説明する投影ステップ２２０では、認識ステップ２１０で認識した少なくとも１つの線分を地面表面に投影させることで、投影線分を生成させる。

次に、割振りステップ２３０では、車両周囲の複数の３次元三角測量点の少なくとも一部を、カメラ機構の位置に対する三角測量点の相対位置と、投影線分の始点に対する三角測量点の相対位置と、投影線分の終点に対する三角測量点の相対位置とに依存して、少なくとも１つの線分に割り振る。３次元三角測量点は、車両周囲の物点に対応している。特定ステップ２４０では、割振りステップ２３０で割振り点を使用して、縁石の側面を特定する。

１実施例によれば、方法２００は、さらに、算出ステップ２５０を有し、該算出ステップで、車両と特定ステップ２４０で特定した縁石の側面との間隔を算出する。次の、オプションである供給ステップ２６０では、算出ステップ２５０で算出した間隔が所定の安全間隔を下回ったときに警告信号を供給する。

他の実施例によれば、方法２００は、少なくとも１つの線分、割振り点および／または前記側面を車両の移動時間にわたっておよび／または車両の移動時に追跡する追跡ステップ２７０をも有している。この場合、追跡ステップ２７０は特定ステップ２４０の後、または、算出ステップ２５０の後に実施可能である。

１実施例によれば、方法２００は、車両周囲の複数の３次元三角測量点を検出する検出ステップ２８０をも有している。この場合、検出ステップ２８０は割振りステップ２３０の前に実施可能である。

１実施例によれば、方法２００では、検知ステップ２１０での検知のために第１の座標系を使用する。この場合、投影ステップ２２０、割振りステップ２３０および／または特定ステップ２４０では、第２の座標系を使用する。第１の座標系はイメージ座標を有し、第２の座標系はワールド座標を有している。オプションでは、算出ステップ２５０、追跡ステップ２７０および／または検出ステップ２８０でも第２の座標系を使用することができる。

他の実施例によれば、特定ステップ２４０は、前記側面を、割振り点が周囲の地面表面から所定の間隔インターバルで配置されているかどうか、および／または、割振りステップ２３０で所定最小数の点が割り振られたかどうかに依存して特定される。特に、特定ステップ２４０では、縁石の側面は算出した割振り点の質量中心点を使用して特定される。

図３は、図１のシステムと車両３００の周囲とを合わせて示した車両３００の概略図である。したがって、車両３００は図１のシステムを有している。１実施形態によれば、車両３００は、図１のシステムに類似した縁石チェックシステムを有していてよい。図３では、作図上の理由から、システムのうちカメラ機構１０５のみを示している。

車両３００の周囲には、縁石３３０が配置されている。システムの検知装置により、たとえば縁石３３０の複数の線分が認識され、その際図３では、一例として１本の線分３３５のみに参照符号を付した。線分３３５は縁石３３０の１つのエッジを表している。さらに、説明のために、車両３００の周囲に、地面または地面表面への縁石の投影３４０を象徴的に記入した。換言すれば、線分３３５の投影を表す少なくとも１つの投影線分３４０が示されている。投影線分３４０は始点３４２と終点３４４とを有している。カメラ機構１０５と始点３４２との間には、第１の視線３５２が始点３４２へ延びている。カメラ機構１０５と終点３４４との間には、第２の視線３５４が終点３４４へ延びている。

換言すれば、図３は車両３００と車両３００の周辺との概略平面図である。システムの検知装置の線検出アルゴリズムの出力として、縁石３３０のエッジで検出されて地面への投影線分３４０として投影される線分３３５が得られる。

図４は、縁石検知時の図３の車両の周囲の概略図である。図４の図示では、カメラ機構１０５と、縁石３３０と、線分３３５と、地面への縁石３３０の投影をカメラ機構１０５によって表わす投影線分３４０と、始点３４２と、終点３４４と、第１の視線３５２と、第２の視線３５４と、地面または地面表面への縁石３３０の垂直投影４３０と、複数の３次元三角測量点４６０またはその散布図が図示されている。

始点３４２と、終点３４４と、カメラ機構１０５の位置とにより、三角形が定義され、または張られている。複数の３次元三角測量点４６０はこの三角形の内部および外部に配置されている。さらに、始点３４２と終点３４４とカメラ機構１０５の位置とにより分離面が定義され、または張られている。

図１のシステムの検知装置により、または、図２の方法により、３次元三角測量点４６０を縁石３３０の少なくとも１つの線分３３５に対し割り振るために、または、投影線分３４０に対し割り振るために、チェックを実施する。このチェックは、３次元三角測量点４６０を分離面に投影したときに該３次元三角測量点が図４に図示した三角形の内側に配置されているかどうかに関して行う。したがって、このチェックは三角形判断基準に基づいて行う。三角形の内側に配置され、よって三角形判断基準を満たしている点４６０を割り振り、三角形の外側に配置されている点４６０は排除する。

換言すれば、図４は概略正面図であり、三角形によって表わされる分離面が始点３４２と、終点３４４と、カメラ機構１０５の位置とによって定義されている。散布図から、分離面に十分近くにあるような三角測量点４６０を探す。さらに、たとえば、これらの点４６０は縁石３３０のエッジの周囲にあると仮定する。

図５は、縁石検知時の図３または図４の車両の周囲の概略図である。図４とは異なり、図５の車両の周囲は概略側面図で図示されている。図５の図示では、カメラ機構１０５と、縁石３３０と、投影線分３４０と、複数の３次元三角測量点４６０と、縁石３３０の側面を表す、ここでは鉛直面５３０と、分離面５７０と、地面表面５８０と、高さｈとが示されている。高さｈはたとえば縁石３３０または縁石３３０のエッジの想定高さまたは検出高さに対応している。

図５の図示では、点４６０は分離面５７０の両側に配置され、および、たとえば分離面５７０の内側にも配置されている。図１のシステムの検知装置により、または、図２の方法により、３次元三角測量点４６０を、縁石３３０の少なくとも１つの線分３３５または投影線分３４０に割り振るために、チェックを実施する。このチェックは、３次元三角測量点４６０が最大で分離面５７０から所定間隔離れて配置されているかどうかに関して行う。したがって、このチェックは面間隔判断基準を用いて行う。最大で分離面５７０から所定間隔で配置され、したがって面間隔判断基準を満たしている点４６０を割り振り、分離面５７０から所定間隔より離れて配置されている点４６０は排除する。

換言すれば、分離面５７０からの三角測量点４６０の間隔、特に垂直間隔を測定する。点４６０が十分にあれば、縁石３３０自体が地面表面５８０に対し平行であり、その結果垂直面５３０または縁石の側面５３０が地面表面５８０に対し実質的に垂直であるという仮定の下に、縁石３３０の鉛直面５３０を再構成することができる。この時点で、鉛直面５３０と車両のタイヤまたは車輪との間隔、特に垂直間隔を測定可能である。たとえば車輪の１つが縁石３３０付近へ来れば、警告信号を出力または供給することができる。

次に、図１ないし図５を参照して、たとえば６つまたは６つまでの主ステップのみを用いて縁石検知または縁石チェックを行うためのアルゴリズムの一例を説明する。

線検出または線認識のステップでは、検知装置１２０を用いて、または、方法２００の実施の際に、少なくとも１つの線分３３５を認識する。縁石３３０の構造はほとんどの場合直線を有しているので、本発明にしたがって提案されるアルゴリズムはこの事実を活用する。

線投影のステップでは、検知装置１２０を用いて、または、方法２００を実施する際に、特に、魚眼レンズを備えた少なくとも１つの校正したカメラまたはカメラ機構１０５を利用する。この場合、たとえばカメラ機構１０５の位置はワールド座標において既知であり、その結果イメージ座標をワールド座標に変換することができる。このことは、線認識の際にイメージ座標で算出された線または線分３３５を地面または地面表面５８０に投影することができ、３次元ワールドマップ表示に変換できることを意味している。

三角測量または３次元三角測量点４６０を検出するステップでは、たとえばいわゆるStructure from Motion（ＳｆＭ，運動からの構造復元）の原理に従って作動するアルゴリズムを使用する。しかしながら、周囲を再構成する複数の方法を散布図として使用することができる。この散布図は、車両３００のまわりに多数の３次元三角測量点４６０を有することができ、これらの３次元三角測量点を本発明にしたがって提案されるアルゴリズムに利用して、とりわけ縁石３３０のエッジの高さｈに関する高さ情報を周囲またはイメージデータ１１０から得る。

割振りステップ２３０では、得られた入力データを使用し、たとえば面間隔判断基準（図５を参照）および三角形判断基準（図４を参照）に基づき、点４６０を線分３３５に割り振り、または排除する。

面間隔判断基準に対しては、３次元ワールドに３つの点が与えられている。これらの点とは、地面に投影した線分３４０の初期点３４２または始点３４２と、同様に地面に投影した線分３４０の終点３４４と、カメラ位置またはカメラ機構１０５の位置である。これら３つの点から分離面５７０を定義し、その後点４６０または散布図の個々の要素の分離面５７０からの垂直間隔を測定または特定することが可能である。この許容間隔に対し最小公差範囲を考慮することができる。間隔がこの公差範囲内にある場合には、三角形判断基準を利用することができ、他の場合には、実際の線分３３５に該当する点４６０を排除することができる。

三角形判断基準は、潜在的に面間隔判断基準をまだ許容するような可能な不適当な割振りを制限するために適している。というのは、１つの面は無限の対象物を表すからである。このため、地面へ投影した線分３４０の始点３４２と終点３４４、および、カメラ位置をも新たに考慮するが、これらの点が分離面５７０として定義されている同じ面内で常に三角形を形成するという事実を活用する。散布図または分離面５７０上へのその投影図の、この三角形の境界内にあるような点４６０が注目すべき点である。換言すれば、注目区域が３次元で分離面５７０上に定義されている。

１つの３次元三角測量点４６０が前記判断基準を満たしている場合には、この点４６０は実際の線分３３５に属している。この点４６０の座標を線分３３５とともに記憶させ、たとえばその構造の点で記憶させる。各線分３３５と３次元三角測量点４６０との間でチェックを行い、もし１つより多くの点が判断基準を満たしていれば、これらの点４６０を最も近くにある面に割り振る。

割振りを行った場合、判定ステップで、点の平均高さｈが縁石３３０とみなすために十分高いかどうかを判定する。経験則によれば、算出高さｈを持ったこの種の対象物が存在することについての確実性が増せば増すほど、それだけ多くの点４６０を割り振ることができる。誤った推測を阻止するため、割り振られる点４６０の数量に対し下限または最小数を考慮してよい。

なお、点４６０の平均高さｈは、縁石３３０と見なすことができるような、前述のように定義したインターバルにあるものと仮定する。このケースでは、分離面５７０に投影されている割振り点４６０の重心または質量中心点を算出することができる。縁石３３０の上端は地面表面５８０に対し平行で且つその側面は地面表面に対し傾斜しているか垂直であるとの仮定の下に、縁石３３０の１つの側面の鉛直面５３０を、１つの点４６０と、この点４６０を通る分離面５７０上の線とを用いて定義することができる。すると、たとえば車両の車輪とこの鉛直面５３０との垂直間隔を測定可能であり、得られた値が閾値未満であるか、そうでないかを判定することができる。

縁石３３０が存在しているかどうかに関しさらに確実にするため、および、可能な限り誤検出を少なくするため、対象物を経時的に追跡してよい。このため、線追跡またはいわゆるライントラッキングを行うことができる。

１つの実施例が第１の構成要件と第２の構成要件との間で「および／または」の関係にあれば、これは、この実施例は、１つの実施態様によれば第１の構成要件と第２の構成要件との双方を有し、他の実施態様によれば、第１の構成要件のみまたは第２の構成要件のみを有するものと読み取るべきである。

１００ システム
１０５ カメラ機構
１１０ イメージデータ
１２０ 装置
２００ 縁石検知方法
２１０ 線分検知ステップ
２２０ 投影ステップ
２３０ 割振りステップ
２４０ 特定ステップ
２５０ 算出ステップ
２６０ 警告信号供給ステップ
２７０ 追跡ステップ
２８０ 検出ステップ
３００ 車両
３３０ 縁石
３３５ 線分
３４０ 投影線分
３４２ 投影線分の始点
３４４ 投影線分の終点
４６０ ３次元三角測量点
５３０ 縁石の側面
５７０ 分離面

Claims (15)

1. 検出機構（１２２）と、投影機構（１２４）と、割振り機構（１２６）と、特定機構（１２８）と、を備える装置（１２０）によって実行される、車両（３００）の周囲にある縁石（３３０）を検知する方法（２００）であって、該方法（２００）が次のステップを有し、すなわち、
   前記検出機構（１２２）が、前記車両（３００）の少なくとも１つのカメラ機構（１０５）に対するインターフェースによって読み取られるイメージデータ（１１０）を使用して、前記縁石（３３０）の上面の長辺を表す前記イメージデータ（１１０）中の線分（３３５）を認識するステップ（２１０）であって、前記イメージデータ（１１０）は前記車両（３００）の周囲を表している、ステップと、
   前記投影機構（１２４）が、投影線分（３４０）を生成するために、前記少なくとも１つのカメラ機構（１０５）から前記線分（３３５）の両端へそれぞれ延びる直線と前記周囲の地面表面（５８０）との交点が前記投影線分（３４０）の両端となるように、前記投影線分（３４０）を前記周囲の地面表面（５８０）上に投影するステップ（２２０）と、
   前記割振り機構（１２６）が、前記車両（３００）の前記周囲にある複数の３次元三角測量点（４６０）の少なくとも一部を、前記カメラ機構（１０５）の位置に対する前記３次元三角測量点（４６０）の相対位置と、前記投影線分（３４０）の始点（３４２）に対する前記３次元三角測量点の相対位置と、前記投影線分（３４０）の終点（３４４）に対する前記３次元三角測量点の相対位置とを用いて、前記線分（３３５）に割り振るステップ（２３０）であって、前記３次元三角測量点（４６０）が前記車両（３００）の前記周囲にある物点に対応している、ステップと、
   前記特定機構（１２８）が、前記割り振られた３次元三角測量点（４６０）を使用して前記縁石（３３０）の側面（５３０）を特定するステップ（２４０）と、
   を有する方法（２００）。
2. 前記割り振るステップ（２３０）で、前記３次元三角測量点（４６０）が分離面（５７０）から最大で所定間隔で離れて配置されているかどうかをチェックし、前記分離面（５７０）が、前記カメラ機構（１０５）の位置と、前記投影線分（３４０）の前記始点（３４２）と、前記投影線分（３４０）の前記終点（３４４）とを頂点とする三角形によって定義されている、請求項１に記載の方法（２００）。
3. 前記割り振るステップ（２３０）で、前記３次元三角測量点（４６０）が、前記カメラ機構（１０５）の位置と、前記投影線分（３４０）の前記始点（３４２）と、前記投影線分（３４０）の前記終点（３４４）とを頂点とする三角形によって定義されている分離面（５７０）への該３次元三角測量点の投影の際に、前記カメラ機構（１０５）の位置と、前記投影線分（３４０）の前記始点（３４２）と、前記投影線分（３４０）の前記終点（３４４）とによって定義されている三角形の内側に配置されているかどうかをチェックする、請求項１または２に記載の方法（２００）。
4. 前記特定するステップ（２４０）で、前記割り振られた３次元三角測量点（４６０）が前記周囲の地面表面（５８０）から所定間隔インターバル（ｈ）で配置されているかどうかに依存して前記縁石（３３０）の前記側面（５３０）を特定する、請求項１から３までのいずれか一つに記載の方法（２００）。
5. 前記特定するステップ（２４０）で、前記割り振るステップ（２３０）で所定最小数の３次元三角測量点（４６０）が割り振りされたかどうかに依存して前記縁石（３３０）の前記側面（５３０）を特定する、請求項１から４までのいずれか一つに記載の方法（２００）。
6. 前記特定するステップ（２４０）で、前記割り振られた３次元三角測量点（４６０）の算出した質量中心点を使用して前記縁石（３３０）の前記側面（５３０）を特定する、請求項１から５までのいずれか一つに記載の方法（２００）。
7. 前記認識するステップ（２１０）で第１の座標系を使用し、前記投影するステップ（２２０）、前記割り振るステップ（２３０）および／または前記特定するステップ（２４０）で、第２の座標系を使用し、前記第１の座標系がイメージ座標を有し、前記第２の座標系がワールド座標を有している、請求項１から６までのいずれか一つに記載の方法（２００）。
8. 前記装置（１２０）がさらに備える第１の機構が、前記車両（３００）と、前記特定するステップ（２４０）で特定した前記縁石（３３０）の前記側面（５３０）との間の間隔を算出するステップ（２５０）を備えている、請求項１から７までのいずれか一つに記載の方法（２００）。
9. 前記装置（１２０）がさらに備える第２の機構が、前記算出するステップ（２５０）で算出した間隔が所定の間隔を下回っているときに警告信号を供給するステップ（２６０）を備えている、請求項８に記載の方法（２００）。
10. 前記装置（１２０）がさらに備える第３の機構が、前記線分（３３５）、前記割り振られた３次元三角測量点（４６０）および／または前記側面（５３０）を、経時的におよび／または前記車両（３００）の移動時に追跡するステップ（２７０）を備えている、請求項１から９までのいずれか一つに記載の方法（２００）。
11. 前記装置（１２０）がさらに備える第４の機構が、前記車両（３００）の前記周囲にある複数の３次元三角測量点（４６０）を検出するステップ（２８０）を備える、請求項１から１０までのいずれか一つに記載の方法（２００）。
12. 請求項１から１１までのいずれか一つに記載の方法（２００）を実行するように構成されている装置（１２０）。
13. 車両（３００）のための縁石チェックシステム（１００）において、該システム（１００）が次の構成要件を備え、すなわち、
    前記車両（３００）の周囲のイメージデータ（１１０）を提供する少なくとも１つのカメラ機構（１０５）と、
    データ伝送可能に前記少なくとも１つのカメラ機構（１０５）と接続可能またはこれと接続されている、請求項１２に記載の装置（１２０）と、
    を備えている縁石チェックシステム。
14. 請求項１から１３までのいずれか一つに記載の方法（２００）をコンピュータ装置に実行させるように構成されたコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムが記憶されている、機械で読み取り可能な記憶媒体。

Images