JP6347815B2

JP6347815B2 - 車線境界を検出する方法、装置、およびデバイス

Info

Publication number: JP6347815B2
Application number: JP2016191013A
Authority: JP
Inventors: ▲鄭▼佳▲とう▼; 杜▲瑩▼芳; ▲劉▼威
Original assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2016-07-26
Filing date: 2016-09-29
Publication date: 2018-06-27
Anticipated expiration: 2036-09-29
Also published as: JP2018018483A; CN106203398B; US10133941B2; DE102016118502A1; CN106203398A; DE102016118502B4; US20180033148A1

Description

本開示は、情報処理の技術分野に関し、特に、車線境界を検出する方法、装置、およびデバイスに関する。

現在では、多くの車両が、運転支援システムを備えている。車線逸脱警報システムなど、いくつかの運転支援システムは、道路上の車線境界を検出することによって走行車線についての情報を車両に提供することができる。車線境界は、車線標示線を含むだけでなく、道路の縁石およびガードレールなど、道路全体の境界マーカも含み得る。車線境界を検出するために、従来の運転支援システムは、通常は、単眼カメラで撮影された検出対象の車線画像全体と、機械学習方法に基づく既知の車線境界画像全体とについて比較および解析を実行して、検出対象の車線画像中の車線境界の領域を認識する。研究により、発明者等は、機械学習方法に基づく車線画像中の車線境界を認識する際に、従来の運転支援システムは、非常に複雑な計算を行う必要があり、これにより、車線境界を検出するプロセスにおいて多くの計算資源および時間が費やされる可能性があることを発見した。

本開示は、車線境界を検出するプロセスの計算を簡略化し、次いで車線境界を検出するプロセスにおいて費やされる計算資源および時間を低減するように車線境界を検出する方法、装置、およびデバイスを提供するものである。このようにして、運転支援システムは、正確かつ迅速に車線境界を検出することができる。

第1の態様では、車線境界を検出する方法であって、
車線の現在画像を取得し、現在画像をフィルタリングすることによって現在画像中の輝度飛び点(brightness jump point)を抽出するステップと、
輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して縁部点のグループを形成するステップであり、第1の所定の条件を満たす2つの縁部点が同じグループであり、第1の所定の条件が、2つの点の垂直座標が隣接しており、2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、ノイズ点が、第1のノイズ点を含み、第1のノイズ点が、他の輝度飛び点のいずれとも第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成するステップと、
縁部線から車線境界の縁部線を認識するステップと、
車線境界の縁部線をグループ化し、各グループの縁部線をそれぞれ1つの車線境界の縁部線として認識するステップであり、同じグループの2本の縁部線の水平座標の間の差が第2の距離しきい値未満であるステップとを含む方法が提供される。

任意選択で、第1の所定の条件は、2つの点の間の勾配角が勾配角のしきい値未満であることをさらに含む。

任意選択で、ノイズ点は、第2のノイズ点をさらに含み、第2のノイズ点は、
第1の左側水平領域の平均グレーレベルと第2の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であるという第2の所定の条件、
第1の右側水平領域の平均グレーレベルと第2の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第2のしきい値未満であるという第3の所定の条件、
第1の左側水平領域のグレーレベル分散と第2の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であるという第4の所定の条件、
第1の右側水平領域のグレーレベル分散と第2の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第2のしきい値未満であるという第5の所定の条件のうちの少なくとも1つを満たし、
第1の左側水平領域は、第1の左側点からなる領域であり、第1の左側点の垂直座標は第2のノイズ点の垂直座標と同じであり、第1の左側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の左側点の水平座標は第2のノイズ点の水平座標未満であり、
第1の右側水平領域は、第1の右側点からなる領域であり、第1の右側点の垂直座標は第2のノイズ点の垂直座標と同じであり、第1の右側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の右側点の水平座標は第2のノイズ点の水平座標より大きく、
第2の左側水平領域は、第2の左側点からなる領域であり、第2の左側点の垂直座標は参照飛び点の垂直座標と同じであり、第2の左側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の左側点の水平座標は参照飛び点の水平座標未満であり、
第2の右側水平領域は、第2の右側点からなる領域であり、第2の右側点の垂直座標は参照飛び点の垂直座標と同じであり、第2の右側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の右側点の水平座標は参照飛び点の水平座標より大きく、
参照飛び点は輝度飛び点に属し、参照飛び点の水平座標と第2のノイズ点の水平座標の間の距離は第1の距離しきい値未満であり、参照飛び点の垂直座標と第2のノイズ点の垂直座標の間の距離は第4の距離しきい値未満であり、参照飛び点の垂直座標は第2のノイズ点の垂直座標より小さい。

任意選択で、縁部線から車線境界の縁部線を認識するステップは、特に、縁部線から、第6の所定の条件および/または第7の所定の条件を満たす縁部線を車線境界の縁部線として認識するステップを含み、
第6の所定の条件は、縁部線の信頼レベルが信頼レベルしきい値より高いことであり、縁部線の信頼レベルは、縁部線が車線境界の縁部線に属する確率を表し、縁部線の信頼レベルは、縁部線の現実の長さ、現在画像中の縁部線の水平方向の2つの側のグレーレベル偏差、および縁部線の縁部点の勾配角に基づいて計算され、
第7の所定の条件は、現在画像から認識される車線標示線と縁部線の間の3次元座標系における角度が、角度しきい値未満であることである。

任意選択で、この方法は、第8の所定の条件を満たす車線境界、第9の所定の条件を満たす車線境界、および/または第10の所定の条件を満たす車線境界を縁石として認識するステップをさらに含み、
第8の所定の条件は、車線境界が3本の縁部線を含み、あらゆる2本の隣接する縁部線の間の水平距離が第5の距離しきい値未満であり、車線境界の左端の縁部線と右端の縁部線の間の水平距離が第6の距離しきい値未満であることであり、
第9の所定の条件は、車線境界が2本の縁部線を含み、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値未満であり、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値より大きいことであり、
第10の所定の条件は、車線境界が2本の縁部線を含み、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値より大きく、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値未満であることであり、
車線境界の左側領域は、第3の左側点からなる領域であり、第3の左側点の垂直座標は、車線境界の左側縁部線の垂直座標の範囲内であり、第3の左側点の水平座標と車線境界の左側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の左側点の水平座標は、車線境界の左側縁部線の水平座標未満であり、
車線境界の右側領域は、第3の右側点からなる領域であり、第3の右側点の垂直座標は、車線境界の右側縁部線の垂直座標の範囲内であり、第3の右側点の水平座標と車線境界の右側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の右側点の水平座標は、車線境界の右側縁部線の水平座標より大きい。

任意選択で、この方法は、訓練済みの機械学習モデルに基づいて現在画像中の車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識するステップをさらに含み、機械学習モデルは、ガードレールの画像、およびガードレールではない物体の画像に基づいて訓練される。

任意選択で、訓練済みの機械学習モデルに基づいて現在画像中の車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識するステップは、
現在画像中の各車線境界をそれぞれ認識目標として判定し、現在画像中の認識目標の位置に基づいて現在画像から認識目標を含む少なくとも1つの認識領域を選択するステップと、
機械学習モデルに基づいて各認識領域を認識して、各認識領域がガードレールを含む領域であるかどうかを判定するステップと、
認識目標を含む認識領域の数に対するガードレールを含む領域の数の比率が比率しきい値を超える場合に、認識目標をガードレールとして判定するステップとを含む。

任意選択で、この方法は、車線標示線およびガードレールが現在画像中の車線境界から認識されている場合に、第11の所定の条件を満たす車線境界を縁石として認識するステップをさらに含み、第11の所定の条件は、車線境界が車線標示線とガードレールの間に位置し、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であることである。

任意選択で、この方法は、現在画像中の車線境界を、履歴画像中の縁石、ガードレール、および車線標示線の位置に基づいて、車線標示線、ガードレール、および/または縁石として識別するステップをさらに含む。

第2の態様では、車線境界を検出する装置であって、
車線の現在画像を取得するように構成された取得ユニットと、
現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出するように構成された抽出ユニットと、
輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して縁部点のグループを形成するように構成されたグループ化ユニットであり、第1の所定の条件を満たす2つの縁部点が同じグループであり、第1の所定の条件が、2つの点の垂直座標が隣接しており、2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、ノイズ点が、第1のノイズ点を含み、第1のノイズ点が、他の輝度飛び点のいずれとも第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成するグループ化ユニットと、
縁部線から車線境界の縁部線を認識するように構成された第1の認識ユニットと、
車線境界の縁部線をグループ化し、各グループの縁部線を1つの車線境界の縁部線として認識するように構成された第2の認識ユニットであり、同じグループの2本の縁部線の水平座標の間の差が第2の距離しきい値未満である第2の認識ユニットとを含む装置が提供される。

第3の態様では、プロセッサと、メモリと、通信インタフェースと、バスシステムとを含む、車線境界を検出するデバイスであって、
バスシステムが、デバイスの様々なハードウェア構成要素を互いに結合するように構成され、
通信インタフェースが、デバイスと他のデバイスのうちの少なくとも1つとの間の通信接続を実現するように構成され、
メモリが、プログラム命令およびデータを記憶するように構成され、
プロセッサが、メモリに記憶されたプログラム命令およびデータを読み取って、
車線の現在画像を取得し、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出する動作と、
輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して縁部点のグループを形成する動作であり、第1の所定の条件を満たす2つの縁部点が同じグループであり、第1の所定の条件が、2つの点の垂直座標が隣接しており、2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、ノイズ点が、第1のノイズ点を含み、第1のノイズ点が、他の輝度飛び点のいずれとも第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成する動作と、
縁部線から車線境界の縁部線を認識する動作と、
車線境界の縁部線をグループ化し、各グループの縁部線をそれぞれ1つの車線境界の縁部線として認識する動作であり、同じグループの2本の縁部線の水平座標の間の差が第2の距離しきい値未満である動作とを実行するように構成されるデバイスが提供される。

本開示では、車線の現在画像について、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出することができ、輝度飛び点の位置情報に基づいてノイズ点をフィルタリングによって除去することができ、残りの輝度飛び点を縁部点として判定して、各グループ中の縁部点が1本の縁部線を形成することができるグループを形成する。このようにして、縁部線どうしの間の距離に基づいて、同じ車線境界に属する縁部線を決定することができる。車線境界の縁部線は、現在画像中で車線境界の領域を標示することができるので、車線境界が検出される。車線境界の検出中に機械学習モデルを用いた画像全体の解析および認識を実行する必要がないので、車線境界を検出するプロセスの計算がより簡単になり、車線境界を検出するプロセスで費やされる計算資源および時間が低減される。したがって、車線境界を、正確かつ迅速に検出することができる。

本開示の実施形態における技術的解決策をより明快に例示するために、これらの実施形態の説明で使用する図面を、以下に簡単に紹介する。以下に述べる図面は、単に本開示のいくつかの実施形態を例示するものに過ぎず、当業者なら、これらの図面に基づいて他の図面を得ることもできることは明らかである。

本開示の一実施形態による適用シナリオに関連するシステムを示す概略ブロック図である。本開示の一実施形態による車線境界を検出する方法を示す概略流れ図である。本開示の一実施形態による縁部点のグループ化の例を示す概略図である。本開示の一実施形態によるノイズ点のフィルタリングによる除去に関連する計算領域の例を示す概略図である。本開示の一実施形態による縁部線の左側領域および右側領域の例を示す概略図である。本開示の一実施形態による車線境界の左側領域および右側領域の例を示す概略図である。本開示の一実施形態によるガードレールを認識するための認識領域の選択の例を示す概略図である。本開示の一実施形態による適用シナリオの例に関連する現在画像を示す図である。本開示の一実施形態による適用シナリオの例に関連する輝度飛び点を抽出する画像を示す図である。本開示の一実施形態による適用シナリオの例に関連する縁部点のグループの画像を示す図である。本開示の一実施形態による適用シナリオの例に関連する車線境界を認識する画像を示す図である。本開示の一実施形態による車線境界を検出する装置を示す概略構造図である。本開示の一実施形態による車線境界を検出するデバイスを示す概略構造図である。本開示の一実施形態による画像座標系の例を示す概略図である。

研究により、発明者等は、車線境界が、車線標示線を含むだけでなく、道路の縁石およびガードレールなど、道路全体の境界マーカも含み得ることを発見した。運転者の操作をより良好に支援するためには、車線標示線と、道路の縁石およびガードレールなどの境界マーカとを、両方とも検出する必要がある。全てのタイプの車線境界を検出するために、従来の運転支援システムは、機械学習モデルに基づく画像全体を解析および認識する必要がある。詳細には、機械学習モデルは、車線境界領域が既知である車線画像全体に基づく訓練および学習を実行する必要があり、次いで、運転支援システムが、訓練済みの機械学習モデルに基づいて、車線境界領域が未知である車線画像全体について解析および計算を実行して、車線境界領域を認識する必要がある。すなわち、従来の運転支援システムは、機械学習モデルに基づいて、車線境界領域が未知の車線画像全体を、車線境界領域が既知の車線画像全体と比較する必要がある。実際には、道路の状況が複雑であるので、道路上にしばしば発生する汚れおよび水跡によって、車線画像中の道路と縁石および歩道などの非走行ゾーンとの間の差異が明瞭でなくなる可能性がある。これらの差異が明瞭でない場合に車線画像から車線境界を検出するために、従来の運転支援システムは、機械学習モデルに基づいて車線画像全体を解析する際に非常に複雑な計算を行う必要があり、これにより、車線境界を検出するプロセスにおいて多くの計算資源および時間が費やされることになっていよう。

上記に基づいて、本開示の一実施形態では、車線の現在画像について、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出することができ、輝度飛び点の位置情報に基づいてノイズ点をフィルタリングによって除去することができ、残りの輝度飛び点を縁部点として判定して、各グループ中の縁部点が1本の縁部線を形成することができるグループを形成する。このようにして、縁部線どうしの間の距離に基づいて、同じ車線境界に属する縁部線を決定することができる。車線境界の境界線は現在画像中で車線境界の領域を標示することができるので、車線境界の検出が実現する。車線境界の検出中に機械学習モデルを用いた画像全体の解析および認識を実行する必要がないので、車線境界を検出するプロセスの計算がより簡単になり、車線境界を検出するプロセスで費やされる計算資源および時間が低減することが分かる。したがって、車線境界を、正確かつ迅速に検出することができる。

例えば、本開示の一実施形態によるシナリオは、図1に示すシステムを含むことがある。このシステムは、運転支援システムとすることができ、具体的には、このシステムは、車線逸脱警報システムとすることができる。このシステムは、処理デバイス101と、ディスプレイデバイス102と、写真デバイス103とを含む。このシステムでは、写真デバイス103は、車線の現在画像を撮影し、この現在画像を処理デバイス101に送信することができる。処理デバイス101は、現在画像を取得し、現在画像をフィルタリングすることによって現在画像中に輝度飛び点を抽出することができる。処理デバイス101は、輝度飛び点からノイズ点をフィルタリングによって除去することができ、残りの輝度飛び点を縁部点として判定して、縁部点のグループを形成することができる。ここで、同じグループ中の縁部点を結んだ線が、1本の縁部線を形成することができる。処理デバイス101は、縁部線から車線境界の縁部線を認識し、車線境界の縁部線をグループ化し、各グループの縁部線を1つの車線境界の縁部線として認識することができる。次いで、処理デバイス101は、車線境界の縁部線に基づいて、車線境界領域が標示されている車線画像を生成し、この車線画像をディスプレイデバイス102に送信して、ディスプレイデバイス102が車線画像を表示することができるようにする。

同じグループ中の2本の縁部線の水平座標の間の差は、第2の距離しきい値未満である。第1の所定の条件を満たす縁部点が同じグループとなり、第1の所定の条件は、2つの点の垂直座標が隣接しており、この2つの点の水平座標の間の距離差が第1の距離しきい値未満であり、勾配角差が勾配角のしきい値未満であることを含む。本明細書では、ノイズ点は、第1のノイズ点を含み、第1のノイズ点は、他の輝度飛び点のいずれとも第1の所定の条件を満たさない。

この水平座標および垂直座標は、車線画像に基づいて確立された平面座標系の水平座標および垂直座標であってもよいことに留意されたい。車線画像に基づいて確立された平面座標系の例では、図14に示すように、原点は、車線画像の左下の隅の頂点とし、横軸は、車線画像の下側境界線とし、縦軸は、車線画像の左側境界線とすることができる。

上記のシナリオは、単なる本開示の一実施形態によるシナリオ例に過ぎず、本開示は、このシナリオに限定されるわけではないことは理解されるであろう。

以下、本開示の実施形態による車線境界を検出する方法、装置、およびデバイスの具体的な実施態様について、図面と関連付けて説明する。

図2を参照されたい。図2は、本開示の一実施形態による車線境界を検出する方法を示す概略流れ図である。本実施形態では、この方法は、具体的には、ステップ201からステップ204を含む。

ステップ201では、車線の現在画像を取得し、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出する。

輝度飛び点は、輝度飛びが発生する画素を表す。現在画像中では、車線境界領域は、通常は、その周囲領域とは輝度が大きく異なるので、車線境界の縁部線上の画素が、通常は輝度飛び点となる。現在画像をフィルタリングすることによって得られる輝度飛び点を使用して、車線境界の縁部線を決定することができるので、現在画像中の車線境界領域は、車線境界の縁部線に基づいて決定することができる。

本実施形態では、現在画像中の輝度飛び点は、任意のフィルタリング方法に基づいて抽出することができることは理解されるであろう。例えば、従来技術でも、車線画像をフィルタリングすることによって輝度飛び点を抽出する方法は提供されているが、本実施形態ではそれについて説明しない。

ステップ202では、輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して、縁部点のグループを形成する。第1の所定の条件を満たす2つの縁部点は、同じグループとなる。第1の所定の条件は、2つの点の垂直座標が隣接しており、この2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含む。ノイズ点は、第1のノイズ点を含み、第1のノイズ点は、他の輝度飛び点のいずれとも第1の所定の条件を満たさない。同じグループの縁部点を結んだ線が、1本の縁部線を形成する。

ステップ202では、現在画像から抽出された複数の輝度飛び点について、輝度飛び点の位置および勾配角などの情報を解析する。1態様では、異なる縁部線に属する輝度飛び点を識別して、それらの縁部点のグループを形成することができ、別の態様では、輝度飛び点のうち、いずれの縁部線にも属さないノイズ点をフィルタリングによって除去することができる。

ステップ202では、予めシステム内に設定された第1の所定の条件に基づいて、縁部点をグループ化することができることが、理解されるであろう。具体的には、同じ縁部線上の縁部点の位置は連続性を有するはずであることを考慮すると、2つの縁部点の間の水平距離は、同じ縁部線上にあるそれら2つの縁部点が垂直方向に隣接しているものである場合には、短い。これに基づくと、第1の所定の条件は、2つの点の垂直座標が隣接しており、この2つの点の水平座標の間の距離差が第1の距離しきい値未満であり、勾配角差が勾配角のしきい値未満であること、を含むことができる。

具体的には、第1の所定の条件は、以下の数式1として表現することができる。
数式1:abs(A-B)≦DisDiffThresh

AおよびBは、それぞれ、隣接する垂直座標を有する2つの点の水平座標を表し、DisDiffThreshは、第1の距離しきい値を表し、absは、絶対値を取る演算を表す。

現在画像中の任意の2つの輝度飛び点について、この2つの輝度飛び点が第1の所定の条件を満たす場合には、この2つの輝度飛び点は、同じ縁部線上の縁部点に属しており、同じグループにグループ化することができることに留意されたい。例えば、図3に示す画像例では、小さい四角形はそれぞれ画像中の画素を表しており、a、b、およびcは全て輝度飛び点である。図3から、aの垂直座標とbの垂直座標が隣接しており、bの垂直座標とcの垂直座標が隣接しており、aの水平座標とbの水平座標の間の差がD_abであり、bの水平座標とcの水平座標の間の差がD_bcであることが分かる。D_abが第1の距離しきい値未満である場合には、aおよびbは第1の所定の条件を満たし、aおよびbは同じグループにグループ化される。D_bcが第1の距離しきい値未満である場合には、bおよびcは第1の所定の条件を満たし、bおよびcは同じグループにグループ化される。aおよびbが第1の所定の条件を満たし、bおよびcも第1の所定の条件を満たす場合には、aの垂直座標とcの垂直座標が隣接していなくても、すなわちaとcとが第1の所定の条件を満たしていなくても、aおよびbが同じグループにグループ化され、bおよびcが同じグループにグループ化されるので、a、b、およびcを同じグループにグループ化することができることは理解されるであろう。すなわち、a、b、およびcは、同じ縁部線上に位置している。

さらに、同じ縁部線上にある縁部点の2つの側の間のグレーレベルの変化が同程度の大きさであることを考慮すると、同じ縁部線上にある2つの縁部点は垂直方向に隣接しており、この2つの縁部点の勾配角は非常に近い。これに基づくと、第1の所定の条件は、2つの点の間の勾配角が勾配角のしきい値未満であることをさらに含むことができる。すなわち、第1の所定の条件は、2つの点の垂直座標が隣接しており、2つの点の水平座標の間の距離差が第1の距離しきい値未満であり、勾配角差が勾配角のしきい値未満であることとすることができる。

具体的には、第1の所定の条件は、上記の数式1および以下の数式2として表現することができる。
数式2:abs(C-D)≦GradAngleThresh

CおよびDは、それぞれ、隣接する垂直座標を有する2つの点の勾配角を表し、GradAngleThreshは、勾配角のしきい値を表し、absは、絶対値を取る演算を表す。ステップ201で抽出された輝度飛び点の中で、いくつかの点は、縁部線上に位置していないノイズ点であることは理解されるであろう。ノイズ点が車線境界を認識するプロセスに影響を及ぼすことを防止するために、縁部点をグループ化するプロセスにおいて、ノイズ点をフィルタリングによって除去することができる。

縁部線が複数の縁部点からなることを考慮すると、ある輝度飛び点が画像中の他の輝度飛び点のいずれとも第1の所定の条件を満たさない場合、すなわちその輝度飛び点が他の輝度飛び点のいずれとも同じ線上に位置していない場合には、その輝度飛び点は、縁部線上の縁部点ではなく、ノイズ点である。このようなタイプのノイズ点は、第1のノイズ点として判定され、第1のノイズ点は、縁部点をグループ化するプロセスにおいて、フィルタリングによって除去することができる。本明細書で言及する第1の所定の条件は、上記の数式1として表現されることもあるし、上記の数式1および数式2として表現されることもある。

さらに、縁部線上にある縁部点の2つの側におけるグレーレベルが連続性を有することを考慮すると、同じ縁部線上にある互いに近接している縁部点の2つの側におけるグレーレベルは近いものになるはずである。したがって、ある輝度飛び点の2つの側におけるグレーレベルが、それに近接している別の輝度飛び点の2つの側におけるグレーレベルと大きく異なる場合には、その輝度飛び点は、縁部線上の縁部点ではなく、ノイズ点である。このようなタイプのノイズ点は、第2のノイズ点として判定される。ノイズ点をグループ化するプロセスでは、第1のノイズ点をフィルタリングによって除去することができるだけでなく、第2のノイズ点もフィルタリングによって除去することができる。

互いに近接している輝度飛び点の2つの側におけるグレーレベルが大きく異なるかどうかを認識して第2のノイズ点をフィルタリングによって除去するために、本開示のいくつかの実施態様では、第2の所定の条件、第3の所定の条件、第4の所定の条件、および/または第5の所定の条件を採用することができる。例えば、ステップ201で抽出されたある輝度飛び点について、その輝度飛び点が第2の所定の条件、第3の所定の条件、第4の所定の条件、および第5の所定の条件のうちの少なくとも1つを満たす場合には、その輝度飛び点を、第2のノイズ点としてフィルタリングによって除去することができる。

第2の所定の条件は、具体的には、第1の左側水平領域の平均グレーレベルと第2の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であることとすることができる。第3の所定の条件は、具体的には、第1の右側水平領域の平均グレーレベルと第2の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第2のしきい値未満であることとすることができる。第4の所定の条件は、第1の左側水平領域のグレーレベル分散と第2の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であることとすることができる。第5の所定の条件は、第1の右側水平領域のグレーレベル分散と第2の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第2のしきい値未満であることとすることができる。

第1の左側水平領域は、第1の左側点からなる領域であり、第1の左側点の垂直座標は、第2のノイズ点の垂直座標と同じであり、第1の左側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の左側点の水平座標は、第2のノイズ点の水平座標より小さい。第2の左側水平領域は、第2の左側点からなる領域であり、第2の左側点の垂直座標は、参照飛び点の垂直座標と同じであり、第2の左側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の左側点の水平座標は、参照飛び点の水平座標より小さい。第1の右側水平領域は、第1の右側点からなる領域であり、第1の右側点の垂直座標は、第2のノイズ点の垂直座標と同じであり、第1の右側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の右側点の水平座標は、第2のノイズ点の水平座標より大きい。第2の右側水平領域は、第2の右側点からなる領域であり、第2の右側点の垂直座標は、参照飛び点の垂直座標と同じであり、第2の右側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の右側点の水平座標は、参照飛び点の水平座標より大きい。参照飛び点は、輝度飛び点に属し、参照飛び点の水平座標と第2のノイズ点の水平座標の間の距離は、第1の距離しきい値未満であり、参照飛び点の垂直座標と第2のノイズ点の垂直座標の間の距離は、第4の距離しきい値未満であり、参照飛び点の垂直座標は、第2のノイズ点の垂直座標より小さい。

具体的には、第2の所定の条件は、以下の数式3として表現することができ、第3の所定の条件は、以下の数式4として表現することができ、第4の所定の条件は、以下の数式5として表現することができ、第5の所定の条件は、以下の数式6として表現することができる。
数式3:abs(AverRL-AverPL)≦AverThresh₁
数式4:abs(AverRR-AverPR)≦AverThresh₂
数式5:abs(SDRL-SDPL)≦SDThresh₁
数式6:abs(SDRR-SDPR)≦SDThresh₂

AverPLは、第1の左側水平領域の平均グレーレベルを表し、AverRLは、第2の左側水平領域の平均グレーレベルを表し、AverPRは、第1の右側水平領域の平均グレーレベルを表し、AverRRは、第2の右側水平領域の平均グレーレベルを表し、SDPLは、第1の左側水平領域のグレーレベル分散を表し、SDRLは、第2の左側水平領域のグレーレベル分散を表し、SDPRは、第1の右側水平領域のグレーレベル分散を表し、SDRRは、第2の右側水平領域のグレーレベル分散を表す。AverThresh₁は、平均グレーレベルの第1のしきい値を表し、AverThresh₂は、平均グレーレベルの第2のしきい値を表し、SDThresh₁は、グレーレベル分散の第1のしきい値を表し、SDThresh₂は、グレーレベル分散の第2のしきい値を表し、absは、絶対値を取る演算を表す。

上記の領域のうちの任意の1つについて、その領域の平均グレーレベルおよびグレーレベル分散は、数式7および数式8に基づいて計算することができる。
数式7:Aver=(P₁+P₂+…+P_n)/n
数式8:

Averは、この領域の平均グレーレベルを表し、SDは、この領域のグレーレベル分散を表し、P₁からP_nは、この領域の様々な画素のグレー値を表し、nは、この領域内の画素の数を表す。

第1の左側水平領域、第2の左側水平領域、第1の右側水平領域、および第2の右側水平領域は、第2のノイズ点を基準としていることに留意されたい。ある輝度飛び点が第2のノイズ点であるかどうかを判定しようとする場合には、この輝度飛び点に基づいて上記の4つの領域を決定し、次いで、これらの決定した領域に基づいて、その輝度飛び点が第2の所定の条件、第3の所定の条件、第4の所定の条件、および/または第5の所定の条件を満たすかどうかを判定する。

例えば、図4に示す画像例では、小さい四角形はそれぞれ画像中の画素を表す。a、b、c、d、e、およびfは全て輝度飛び点であり、D1は、第2の距離しきい値を表し、D2は、第3の距離しきい値を表す。bが第2のノイズ点であるかどうかを判定しようとする場合には、参照飛び点は、c、d、e、およびfを含み、領域1が、第1の左側水平領域であり、領域2が、第1の右側水平領域であり、領域3が、第2の左側水平領域であり、領域4が、第2の右側水平領域である。

本開示のいくつかの実施形態では、ステップ202は、現在画像中の様々な輝度飛び点の位置、傾き、およびグレーレベル変化を線ごとに解析することによって、縁部点をグループ化し、ノイズ点をフィルタリングによって除去するステップ、すなわち、現在画像を線ごとに解析する1つのプロセスにおいてノイズ点のフィルタリングによる除去および縁部点のグループ化の両方を実現するステップとすることができることに留意されたい。例えば、現在画像の最下行(すなわち最小の垂直座標を有する行)から開始して、解析している現在の行内の各輝度飛び点について、その輝度飛び点が直前の行および次の行内の少なくとも1つの輝度飛び点と第1の所定の条件を満たすことができるかどうか、ならびにその輝度飛び点が第2の所定の条件、第3の所定の条件、第4の所定の条件、および第5の所定の条件を満たすかどうかを判定する。その輝度飛び点が直前の行および次の行内のいずれの輝度飛び点とも第1の所定の条件を満たすことができない場合には、その輝度飛び点は、第1のノイズ点としてフィルタリングによって除去される。その輝度飛び点が第2の所定の条件、第3の所定の条件、第4の所定の条件、および第5の所定の条件のうちの少なくとも1つを満たす場合には、その輝度飛び点は、第2のノイズ点としてフィルタリングによって除去される。その輝度飛び点が直前の行および次の行内の輝度飛び点と第1の所定の条件を満たすことができ、その輝度飛び点が第2の所定の条件、第3の所定の条件、第4の所定の条件、および第5の所定の条件を満たさない場合には、その輝度飛び点は、縁部点として判定され、適当なグループにグループ化される。

ステップ203では、縁部線から、車線境界の縁部線を認識する。

ステップ202を実行した後、各グループの縁部線を結んだ線が1本の縁部線を形成することは理解されるであろう。全ての縁部線が車線境界の縁部線であるとは限らない可能性もあり、何らかの扱いの難しい線が含まれることもある。例えば、縁部線に含まれる可能性がある扱いの難しい線としては、街灯柱、電柱、別の車のランプフレームなどの物体の縁部線が含まれる。したがって、ステップ202で縁部点をグループ化することによって得られた縁部線について、これらの扱いの難しい線をフィルタリングによって除去することによって、車線境界の縁部線を認識することができる。

本実施形態では、ステップ203は、予めシステム内に設定された所定の条件に基づいて縁部点をグループ化するステップとすることができる。

例えば、本実施形態のいくつかの実施態様では、車線境界の縁部線は適当な長さおよび適当な勾配角を有するはずであり、車線境界の縁部線の2つの側の領域のグレーレベル偏差が大きいことを考慮すると、車線境界に属する縁部線の確実性を信頼レベルによって決定することができ、高い信頼レベルを有する縁部線が、車線境界の縁部線として認識される。具体的には、ステップ203は、縁部線から第6の所定の条件を満たす縁部線を認識し、それらを車線境界の縁部線として判定するステップとすることができる。第6の所定の条件は、縁部線の信頼レベルが信頼レベルしきい値より高いことであり、ここで、縁部線の信頼レベルは、縁部線が車線境界の縁部線に属する確率を表しており、縁部線の信頼レベルは、縁部線の現実の長さ、現在画像中の縁部線の水平方向の2つの側の間のグレーレベル偏差、および縁部線の縁部点の勾配角に基づいて計算される。

さらに、縁部線の信頼レベルは、具体的には、数式7から数式10に基づいて計算することができる。
数式7:C=K1×LengthC+K2×GrayContrastC+K3×GradientC
数式8:LengthC=Rlength÷LengthThresh×1000
数式9:GrayContrastC=[abs(lineAverL-lineAverR)]÷GrayContrastThresh×1000
数式10:GradientC=GradPointNum÷SumPointNum×1000

Cは、縁部線の信頼レベルを表し、LengthCは、縁部線の長さの信頼レベルを表し、GrayContrastCは、縁部線の2つの側の間のグレーレベル偏差の信頼レベルを表し、GradientCは、縁部線の勾配角の信頼レベルを表し、K1、K2、およびK3は、予め設定された比例係数である。Rlengthは、縁部線の長さを表し、LengthThreshは、予め設定された長さのしきい値を表す。lineAverLは、縁部線の左側領域の平均グレーレベルを表し、lineAverRは、縁部線の右側領域の平均グレーレベルを表し、GrayContrastThreshは、グレーレベル偏差のしきい値を表す。GradPointNumは、傾きの要件を満たす縁部線上の縁部点の数を表し、SumPointNumは、縁部線上の縁部点の総数を表す。傾きの要件を満たす縁部線上の縁部点の勾配角は、予め設定された勾配角のしきい値以下である。

縁部線の左側領域とは、縁部線の左側にある領域を表し、縁部線から所定の距離内にある。具体的には、縁部線の左側領域は、第3の左側点からなる領域であり、第3の左側点の垂直座標と縁部線上の縁部点の垂直座標とは同じであり、第3の左側点の水平座標と縁部線上の縁部点の水平座標の間の距離は第3の距離しきい値以下であり、第3の左側点の水平座標は、縁部線上の縁部点の水平座標より小さい。

縁部線の右側領域とは、縁部線の右側にある領域を表し、縁部線から所定の距離内にある。具体的には、縁部線の右側領域は、第3の右側点からなる領域であり、第3の右側点の垂直座標と縁部線上の縁部点の垂直座標とは同じであり、第3の右側点の水平座標と縁部線上の縁部点の水平座標の間の距離は第3の距離しきい値以下であり、第3の右側点の水平座標は、縁部線上の縁部点の水平座標より大きい。

例えば、図5に示す画像例では、小さい四角形はそれぞれ画像中の画素を表し、縁部線は、3つの縁部点a、b、およびcを含む。図5から、aの水平座標とdの水平座標の間の距離、aの水平座標とgの水平座標の間の距離、bの水平座標とeの水平座標の間の距離、bの水平座標とhの水平座標の間の距離、cの水平座標とfの水平座標の間の距離、およびcの水平座標とiの水平座標の間の距離は、全て第3の距離しきい値と等しいことが分かる。領域1が縁部線の左側領域であり、領域2が縁部線の右側領域であることも分かる。

別の例として、本実施形態のいくつかのその他の実施態様では、車線境界の縁部線と既知の車線標示線との間の角度が小さいはずであるということを考慮すると、車線境界の縁部線は、縁部線と車線標示線との間の角度に基づいて認識することができる。具体的には、ステップ203は、縁部線のうち第7の所定の条件を満たす縁部線を車線境界の縁部線として認識するステップとすることができる。第7の所定の条件は、現在画像から認識される車線標示線と縁部線との間の3次元座標系内の角度が角度しきい値未満であることである。本実施形態では、現在画像中の車線標示線は、任意の認識方法で認識することができることは理解されるであろう。例えば、従来技術でも、車線画像から車線標示線を認識する方法は提供されているが、本実施形態ではそれについて説明しない。

本実施形態のいくつかのその他の実施態様では、第6の所定の条件および第7の所定の条件の両方に基づいて、車線境界の縁部線を認識することができることに留意されたい。具体的には、ステップ203は、縁部線から、第6の所定の条件および第7の所定条件を満たす縁部線を車線境界の縁部線として認識するステップとすることもできる。

ステップ204では、車線境界の縁部線をグループ化し、各グループの縁部線を、1つの車線境界の縁部線として認識する。ここで、同じグループの2本の縁部線の水平座標の間の差は、第2の距離しきい値未満である。

1つの車線境界の縁部線どうしの間の水平距離が実際の限界標準を満たしているはずであるということを考慮すると、したがって、2本の縁部線の水平座標の間の差が第2の距離しきい値未満であると判定された場合には、この2本の縁部線を同じグループに入れることができることは理解されるであろう。同じグループの縁部線は、同じ車線境界に属する縁部線である、すなわち、同じグループの縁部線によって形成される領域は、1つの車線境界の領域である。

車線境界を認識した後、車線境界の領域を現在画像中で標示することができ、この画像を表示して、運転者が運転するのを支援することができる。

車線境界は、車線標示線、縁石、およびガードレールを含み、車線標示線は、車両が走行することができるゾーンであり、縁石およびガードレールは、車両が走行することができないゾーンであることに留意されたい。したがって、運転者が様々な運転ゾーンを識別するのをさらに容易にするために、車線境界を認識した後で、車線境界から縁石および/またはガードレールをさらに認識することができる。

本実施形態のいくつかの実施態様では、縁石が通常は3本の稜線を有することを考慮すると、3本の縁部線を含む車線境界領域を、縁石領域として認識することができる。具体的には、ステップ204の後で、本実施形態は、第8の所定の条件を満たす車線境界を縁石として認識するステップをさらに含むことができる。第8の所定の条件は、車線境界が3本の縁部線を含み、あらゆる2本の隣接する縁部線の間の水平距離が第5の距離しきい値未満であり、車線境界の左端の縁部線と右端の縁部線の間の水平距離が第6の距離しきい値未満であることである。

本実施形態のいくつかのその他の実施態様では、縁石の片側が道路であり、反対側が芝生などの非運転ゾーンである、すなわち縁石の1本の縁部線の外側に平滑領域が位置し、他の縁部線の外側に飛び領域が位置することを考慮すると、したがって、縁部線が2本しかない車線境界について、車線境界のこれら2本の縁部線の外側の領域のグレーレベルに基づいて、縁石領域を認識することができる。具体的には、ステップ204の後で、本実施形態は、第9の所定の条件を満たす車線境界および第10の所定の条件を満たす車線境界を縁石として認識するステップをさらに含むことができる。第9の所定の条件は、車線境界が2本の縁部線を含み、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値未満であり、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきいより大きいことである。第10の所定の条件は、車線境界が2本の縁部線を含み、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値より大きく、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値未満であることである。

車線境界の左側領域は、第3の左側点からなる領域であり、第3の左側点の垂直座標は、車線境界の左側縁部線の垂直座標の範囲内であり、第3の左側点の水平座標と車線境界の左側縁部線の水平座標の間の距離が第3の距離しきい値以下であり、第3の左側点の水平座標は、車線境界の左側縁部線の水平座標未満である。車線境界の右側領域は、第3の右側点からなる領域であり、第3の右側点の垂直座標は、車線境界の右側縁部線の垂直座標の範囲内であり、第3の右側点の水平座標と車線境界の右側縁部線の水平座標の間の距離が第3の距離しきい値以下であり、第3の右側点の水平座標は、車線境界の右側縁部線の水平座標より大きい。

例えば、図6に示す画像例では、小さい四角形はそれぞれ画像中の画素を表し、車線境界について、3つの縁部点a、b、およびcが車線境界の左側縁部線を構成し、3つの縁部点d、e、およびfが車線境界の右側縁部線を構成する。図6から、aとgの垂直座標が同じであり、aの水平座標とgの水平座標の間の距離が第3の距離しきい値であり、bとhの垂直座標が同じであり、bの水平座標とhの水平座標の間の距離が第3の距離しきい値であり、cとiの垂直座標が同じであり、cの水平座標とiの水平座標の間の距離が第3の距離しきい値であり、さらに、aの水平座標がgの水平座標より大きく、bの水平座標がhの水平座標より大きく、cの水平座標がiの水平座標より大きいことが分かる。したがって、領域1は、車線境界の左側領域である。同様に、dとjの垂直座標は同じであり、dの水平座標とjの水平座標の間の距離は第3の距離しきい値であり、eとkの垂直座標は同じであり、eの水平座標とkの水平座標の間の距離は第3の距離しきい値であり、fとlの垂直座標は同じであり、fの水平座標とlの水平座標の間の距離は第3の距離しきい値であり、さらに、dの水平座標はjの水平座標より小さく、eの水平座標はkの水平座標より小さく、fの水平座標はlの水平座標より小さい。したがって、領域2は、車線境界の右側領域である。

車線境界の左側縁部線が左側縁部点からなり、車線境界の右側縁部線が右側縁部点からなることは理解されるであろう。ある縁部点について、その縁部点の左側領域の平均グレーレベルがその縁部点の右側領域の平均グレー値以下であり、その縁部点の左側および右側のグレーレベル分散がしきい値より大きくない場合には、その縁部点は、左側縁部点である。その縁部点の左側領域の平均グレーレベルがその縁部点の右側領域の平均グレーレベル未満でなく、その縁部点の左側および右側のグレーレベル分散が上記のしきい値より大きくない場合には、その縁部点は、右側縁部点である。

本実施形態のいくつかのその他の実施態様では、第8の所定の条件、第9の所定の条件、および第10の所定の条件のすべてに基づいて、車線境界の縁部線を認識することができることに留意されたい。具体的には、本実施形態は、第8の所定の条件を満たす車線境界、第9の所定の条件を満たす車線境界、および第10の所定の条件を満たす車線境界を縁石として認識するステップをさらに含むことができる。

本実施形態のいくつかの実施態様では、ガードレールが縁石の稜線情報および車線標示線の稜線情報とは異なる稜線情報を有することを考慮すると、機械学習方法に基づいて、車線境界からガードレールを認識することができる。具体的には、本実施形態は、訓練済みの機械学習モデルに基づいて現在画像中の車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識するステップをさらに含むことができ、ここで、この機械学習モデルは、既知のガードレールの画像およびガードレールではない物体の画像に基づいて訓練される。このガードレールではない物体は、車線標示線、縁石、歩行者、街灯、または路面など、ガードレールに属さない、車線画像内に現れる可能性がある物体である。

さらに、車線境界を検出するプロセスの計算を簡略化して、車線境界を検出するプロセスで費やされる計算資源および時間を低減するために、機械学習モデルに基づいてガードレールを認識するプロセスにおける車線境界領域に基づいて現在画像から適当なサイズを有する認識領域を機械学習モデルの認識対象として選択することができ、次いで、認識領域の認識結果に基づいて、車線境界がガードレールであるかどうかを判定する。具体的には、本実施形態では、機械学習モデルに基づいて車線境界からガードレールを認識する方法は、ステップA、ステップB、およびステップCを特に含むことができる。

ステップAで、現在画像中の各車線境界を認識目標として判定し、この認識目標を含む少なくとも1つの認識領域を、現在画像中の認識目標の位置に基づいて現在画像から選択する。

車線境界について、その車線境界の、車両に最も近い縁部線を基準線として使用することにより、数式11から14に基づいて認識領域の位置を決定することができる。1つの車線境界についてn個の認識領域を選択する必要があると仮定すると、数式11から14は、以下のように表現することができる。
数式11:Index=i×(SumPointNum÷n), i=0, 1, …, n-1
数式12:recty=BaselinePoint(Index)y-Height×3÷4
数式13:rectx=(recty-BaselinefB)÷BaselinefK
数式14:rectwidth=Width,rectheight=Height

Indexは、垂直座標に基づく基準線上の縁部点内の基点の順序番号を表し、iは、認識領域の順序番号を表し、SumPointNumは、基準線上の縁部点の数を表す。rectyは、認識領域の参照垂直座標を表し、rectxは、認識領域の参照水平座標を表し、rectwidthは、認識領域の幅を表し、rectheightは、認識領域の高さを表し、rectx、recty、rectwidth、およびrectheightを使用して、認識領域を決定することができる。BaselinePoint(Index)yは、基点の垂直座標を表し、BaselinefBは、基準線の切片を表し、BaselinefKは、基準線の傾きを表し、Widthは、予め設定された幅を表し、Heightは、予め設定された高さを表す。

基準線上の1つの基点が1つの指標に対応し、1つの指標が1つの認識領域に対応することは理解されるであろう。したがって、1つの認識領域は、基準線上の1つの基点に対応する。

例えば、図7に示す車線画像では、各車線境界上で5つの認識領域を選択して、ガードレールを認識している。

ステップBで、機械学習モデルに基づいて各認識領域を認識して、各認識領域がガードレールを含む領域であるかどうかを判定する。

機械学習モデルが、認識領域に対してHaar-Like特徴認識を実行して、認識領域がガードレールを含むかどうかを判定することができることは理解されるであろう。

ステップCで、認識目標を含む認識領域の数に対するガードレールを含む領域の数の比率が比率しきい値を超える場合には、認識目標をガードレールとして判定する。

車線境界について、複数の認識領域を選択して認識を実行することができ、各認識領域が1つの認識結果に対応することは理解されるであろう。認識領域のうちのいくつかが、ガードレールを含む領域として認識され、認識領域のうちのいくつかが、ガードレールを含まない領域として認識されることがある。車線境界がガードレールであるかどうかを判定するためには、ガードレールを含むと認識される認識領域の数に基づいて判定すればよい。具体的には、ある車線境界の複数の認識領域について、数式15が満たされる場合に、その車線境界をガードレールとして判定することができる。

数式15: (GroupSelectNum/GroupRectNum)≧Thresh

GroupSelectNumは、ガードレールを含むと認識される認識領域の数を表し、GroupRectNumは、車線境界上で選択される認識領域の総数を表し、Threshは、比率しきい値を表す。

縁石は、第8の所定の条件、第9の所定の条件、および第10の所定の条件に基づいて車線境界から認識することができるだけでなく、ガードレールおよび車線標示線を車線境界から認識した後で、それらの認識されたガードレールおよび車線標示線に基づいて、残りの車線境界から認識することもできることに留意されたい。通常は車線標示線とガードレールの間に縁石があることを考慮すると、本実施形態のいくつかの実施態様では、この方法は、現在画像中の車線境界から車線標示線およびガードレールが認識されている場合に、第11の所定の条件を満たす車線境界を縁石として認識するステップをさらに含むことができる。第11の所定の条件は、車線境界が車線標示線とガードレールの間に位置し、その車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であることである。現在画像中で、本実施形態の上述の認識方法によってガードレールを認識することができることは理解されるであろう。さらに、本実施形態では、現在画像中の車線標示線は、任意の認識方法で認識することができる。例えば、従来技術でも、車線画像から車線標示線を認識する方法は提供されているが、本実施形態ではそれについて説明しない。

さらに、本実施形態のいくつかの実施態様では、現在画像中の車線境界を認識した後で、現在画像中の車線境界を、履歴画像中の縁石、ガードレール、および車線標示線の位置に基づいて、車線標示線、ガードレール、および/または縁石として識別することができる。

本実施形態における車線境界を縁石、ガードレール、および車線標示線として識別する上述の各実施態様を合成的に使用して、車線境界のタイプを完全に識別することができることは理解されるであろう。例えば、ステップ204で車線境界を認識した後で、第8の所定の条件、第9の所定の条件、および第10の所定の条件に基づいて車線境界から縁石を認識し、機械学習モデルに基づいて車線境界からガードレールを認識し、現在画像中で車線標示線を認識し、次いで、タイプが認識されていない残りの車線境界線について、既に認識されたガードレールおよび車線標示線に基づいて縁石を推定する。

車線境界を縁石、ガードレール、および車線標示線として識別した後で、縁石の領域、ガードレールの領域、および車線標示線を現在画像中で異なる方法で標示および表示して、運転者が縁石、ガードレール、および車線標示線を識別するのを支援することができる。

当業者が本実施形態の画像処理プロセスをより明快に理解することができるようにするために、適用シナリオを説明のための例として取る。この適用シナリオでは、現在画像は、図8に示すものであり、ステップ201のフィルタリングによって得られる輝度飛び点の画像は、図9に示すものであり、ステップ202におけるノイズ点のフィルタリングによる除去および縁部点のグループ化の後で得られる輝度飛び点の画像は、図10に示すものであり、ステップ204の縁部線のグループ化の後で得られる車線境界識別子の画像は、図11に示すものである。

本実施形態の技術的解決策では、車線の現在画像について、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出することができ、輝度飛び点の位置情報に基づいてノイズ点をフィルタリングによって除去することができ、残りの輝度飛び点を縁部点として判定してグループを形成し、各グループの縁部点が、1本の縁部線を形成することができる。このようにして、同じ車線境界に属する縁部線を、縁部線どうしの間の距離に基づいて決定することができる。車線境界の縁部線は、現在画像中の車線境界の領域を標示することができるので、車線境界の検出が実現する。車線境界の検出中に機械学習モデルによって画像全体の解析および認識を実行する必要がないので、車線境界を検出するプロセスの計算が簡単になり、車線境界を検出するプロセスで費やされる計算資源および時間が低減されることが分かる。したがって、車線境界を、正確かつ迅速に検出することができる。

図12を参照すると、図12は、本開示の一実施形態による車線境界を検出する装置を示す概略構造図である。本実施形態では、この装置は、
車線の現在画像を取得するように構成された取得ユニット1201と、
現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出するように構成された抽出ユニット1202と、
これらの輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定してこれらの縁部点のグループを形成するように構成されたグループ化ユニット1203であり、第1の所定の条件を満たす2つの縁部点が同じグループであり、第1の所定の条件が、2つの点の垂直座標が隣接しており、この2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、上記のノイズ点が、第1のノイズ点を含み、第1のノイズ点が、他の輝度飛び点のいずれとも第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成するグループ化ユニット1203と、
縁部線から車線境界の縁部線を認識するように構成された第1の認識ユニット1204と、
車線境界の縁部線をグループ化し、各グループの縁部線を1つの車線境界の縁部線として認識するように構成された第2の認識ユニット1205であり、同じグループの2本の縁部線の水平座標の間の差が第2の距離しきい値未満である第2の認識ユニット1205とを含むことができる。

任意選択で、第1の所定の条件は、上記の2つの点の間の勾配角が勾配角のしきい値未満であることをさらに含む。

任意選択で、上記のノイズ点は、第2のノイズ点をさらに含むことができ、第2のノイズ点は、
第1の左側水平領域の平均グレーレベルと第2の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であるという第2の所定の条件、
第1の右側水平領域の平均グレーレベルと第2の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第2のしきい値未満であるという第3の所定の条件、
第1の左側水平領域のグレーレベル分散と第2の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であるという第4の所定の条件、
第1の右側水平領域のグレーレベル分散と第2の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第2のしきい値未満であるという第5の所定の条件のうちの少なくとも1つを満たし、
第1の左側水平領域は、第1の左側点からなる領域であり、第1の左側点の垂直座標は第2のノイズ点の垂直座標と同じであり、第1の左側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の左側点の水平座標は第2のノイズ点の水平座標未満であり、
第1の右側水平領域は、第1の右側点からなる領域であり、第1の右側点の垂直座標は第2のノイズ点の垂直座標と同じであり、第1の右側点の水平座標と第2のノイズ点の水平座標の間の距離は第3の距離しきい値以下であり、第1の右側点の水平座標は第2のノイズ点の水平座標より大きく、
第2の左側水平領域は、第2の左側点からなる領域であり、第2の左側点の垂直座標は参照飛び点の垂直座標と同じであり、第2の左側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の左側点の水平座標は参照飛び点の水平座標未満であり、
第2の右側水平領域は、第2の右側点からなる領域であり、第2の右側点の垂直座標は参照飛び点の垂直座標と同じであり、第2の右側点の水平座標と参照飛び点の水平座標の間の距離は第3の距離しきい値以下であり、第2の右側点の水平座標は参照飛び点の水平座標より大きく、
参照飛び点は輝度飛び点に属し、参照飛び点の水平座標と第2のノイズ点の水平座標の間の距離は第1の距離しきい値未満であり、参照飛び点の垂直座標と第2のノイズ点の垂直座標の間の距離は第4の距離しきい値未満であり、参照飛び点の垂直座標は第2のノイズ点の垂直座標より小さい。

任意選択で、第1の認識ユニット1204は、特に、縁部線から、第6の所定の条件および/または第7の所定の条件を満たす縁部線を車線境界の縁部線として認識するように構成することができ、
第6の所定の条件は、縁部線の信頼レベルが信頼レベルしきい値より高いことであり、縁部線の信頼レベルは、その縁部線が車線境界の縁部線に属する確率を表し、縁部線の信頼レベルは、縁部線の現実の長さ、現在画像中の縁部線の水平方向の2つの側のグレーレベル偏差、および縁部線の縁部点の勾配角に基づいて計算され、
第7の所定の条件は、現在画像から認識される車線標示線と縁部線の間の3次元座標系における角度が、角度しきい値未満であることである。

任意選択で、この装置は、第8の所定の条件を満たす車線境界、第9の所定の条件を満たす車線境界、および/または第10の所定の条件を満たす車線境界を縁石として認識するように構成された第3の認識ユニットをさらに含むことができ、
第8の所定の条件は、車線境界が3本の縁部線を含み、あらゆる2本の隣接する縁部線の間の水平距離が第5の距離しきい値未満であり、車線境界の左端の縁部線と右端の縁部線の間の水平距離が第6の距離しきい値未満であることであり、
第9の所定の条件は、車線境界が2本の縁部線を含み、車線境界のこの2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値未満であり、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値より大きいことであり、
第10の所定の条件は、車線境界が2本の縁部線を含み、車線境界のこの2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値より大きく、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値未満であることであり、
車線境界の左側領域は、第3の左側点からなる領域であり、第3の左側点の垂直座標は、車線境界の左側縁部線の垂直座標の範囲内であり、第3の左側点の水平座標と車線境界の左側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の左側点の水平座標は、車線境界の左側縁部線の水平座標未満であり、
車線境界の右側領域は、第3の右側点からなる領域であり、第3の右側点の垂直座標は、車線境界の右側縁部線の垂直座標の範囲内であり、第3の右側点の水平座標と車線境界の右側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の右側点の水平座標は、車線境界の右側縁部線の水平座標より大きい。

任意選択で、この装置は、訓練済みの機械学習モデルに基づいて現在画像中の車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識するように構成された第4の認識ユニットをさらに含み、この機械学習モデルは、ガードレールの画像、およびガードレールではない物体の画像に基づいて訓練される。

任意選択で、第4の認識ユニットは、
現在画像中の各車線境界をそれぞれ認識目標として判定し、現在画像中の認識目標の位置に基づいて現在画像から認識目標を含む少なくとも1つの認識領域を選択するように構成された選択サブユニットと、
機械学習モデルに基づいて各認識領域を認識して、各認識領域がガードレールを含む領域であるかどうかを判定するように構成された第1の判定サブユニットと、
認識目標を含む認識領域の数に対するガードレールを含む領域の数の比率が比率しきい値を超える場合に、認識目標をガードレールとして判定するように構成された第2の判定サブユニットとを含む。

任意選択で、この装置が上述の第4の認識ユニットを含むことを前提として、この装置は、車線標示線およびガードレールが現在画像中の車線境界から認識されている場合に、第11の所定の条件を満たす車線境界を縁石として認識するように構成された第5の認識ユニットをさらに含むことができ、第11の所定の条件は、車線境界が車線標示線とガードレールの間に位置し、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であることである。

任意選択で、この装置は、現在画像中の車線境界を、履歴画像中の縁石、ガードレール、および車線標示線の位置に基づいて、車線標示線、ガードレール、および/または縁石として識別するように構成された識別ユニットをさらに含むことができる。

本実施形態の技術的解決策に基づけば、車線境界の検出中に機械学習モデルによって画像全体の解析および認識を実行する必要がないので、車線境界を検出するプロセスの計算がより簡単になり、車線境界を検出するプロセスで費やされる計算資源および時間が低減する。したがって、車線境界を、正確かつ迅速に検出することができる。

図13を参照すると、図13は、本開示の一実施形態による車線境界を検出するデバイスを示す概略構造図である。本実施形態では、デバイス1300は、プロセッサ1301と、メモリ1302と、通信インタフェース1303と、バスシステム1304とを含むことができる。

バスシステム1304は、デバイスの様々なハードウェア構成要素を互いに結合するように構成される。

通信インタフェース1303は、このデバイスと他のデバイスのうちの少なくとも1つとの間の通信接続を実現するように構成される。

メモリ1302は、プログラム命令およびデータを記憶するように構成される。

プロセッサ1301は、メモリ1302に記憶されたプログラム命令およびデータを読み取って、
車線の現在画像を取得し、現在画像をフィルタリングすることによって現在画像中の輝度飛び点を抽出する動作と、
これらの輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定してそれらの縁部点のグループを形成する動作であり、第1の所定の条件を満たす2つの縁部点が同じグループであり、第1の所定の条件が、2つの点の垂直座標が隣接しており、2つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、上記のノイズ点が、第1のノイズ点を含み、第1のノイズ点が、他の輝度飛び点のいずれとも第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成する動作と、
縁部線から車線境界の縁部線を認識する動作と、
車線境界の縁部線をグループ化し、各グループの縁部線をそれぞれ1つの車線境界の縁部線として認識する動作であり、同じグループの2本の縁部線の水平座標の間の差が第2の距離しきい値未満である動作とを実行するように構成される。

任意選択で、縁部線から車線境界の縁部線を認識するために、プロセッサ1301は、特に、
縁部線から、第6の所定の条件および/または第7の所定の条件を満たす縁部線を車線境界の縁部線として認識する動作を実行することができ、
第6の所定の条件は、縁部線の信頼レベルが信頼レベルしきい値より高いことであり、縁部線の信頼レベルは、その縁部線が車線境界の縁部線に属する確率を表し、縁部線の信頼レベルは、縁部線の現実の長さ、現在画像中の縁部線の水平方向の2つの側のグレーレベル偏差、および縁部線の縁部点の勾配角に基づいて計算され、
第7の所定の条件は、現在画像から認識される車線標示線と縁部線の間の3次元座標系における角度が、角度しきい値未満であることである。

任意選択で、プロセッサ1301は、
第8の所定の条件を満たす車線境界、第9の所定の条件を満たす車線境界、および/または第10の所定の条件を満たす車線境界を縁石として認識する動作をさらに実行することができ、
第8の所定の条件は、車線境界が3本の縁部線を含み、あらゆる2本の隣接する縁部線の間の水平距離が第5の距離しきい値未満であり、車線境界の左端の縁部線と右端の縁部線の間の水平距離が第6の距離しきい値未満であることであり、
第9の所定の条件は、車線境界が2本の縁部線を含み、車線境界のこの2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値未満であり、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値より大きいことであり、
第10の所定の条件は、車線境界が2本の縁部線を含み、車線境界のこの2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値より大きく、車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値未満であることであり、
車線境界の左側領域は、第3の左側点からなる領域であり、第3の左側点の垂直座標は、車線境界の左側縁部線の垂直座標の範囲内であり、第3の左側点の水平座標と車線境界の左側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の左側点の水平座標は、車線境界の左側縁部線の水平座標未満であり、
車線境界の右側領域は、第3の右側点からなる領域であり、第3の右側点の垂直座標は、車線境界の右側縁部線の垂直座標の範囲内であり、第3の右側点の水平座標と車線境界の右側縁部線の水平座標の間の距離は第3の距離しきい値以下であり、第3の右側点の水平座標は、車線境界の右側縁部線の水平座標より大きい。

任意選択で、プロセッサ1301は、訓練済みの機械学習モデルに基づいて現在画像中の車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識する動作をさらに実行することができ、この機械学習モデルは、ガードレールの画像、およびガードレールではない物体の画像に基づいて訓練される。

任意選択で、ガードレールに属する車線境界を認識するために、プロセッサ1301は、特に、
現在画像中の各車線境界をそれぞれ認識目標として判定し、現在画像中の認識目標の位置に基づいて現在画像から認識目標を含む少なくとも1つの認識領域を選択する動作、
機械学習モデルに基づいて各認識領域を認識して、各認識領域がガードレールを含む領域であるかどうかを判定する動作と、
認識目標を含む認識領域の数に対するガードレールを含む領域の数の比率が比率しきい値を超える場合に、認識目標をガードレールとして判定する動作とを実行することができる。

任意選択で、プロセッサ1301は、車線標示線およびガードレールが現在画像中の車線境界から認識されている場合に、第11の所定の条件を満たす車線境界を縁石として認識する動作をさらに実行することができ、第11の所定の条件は、車線境界が車線標示線とガードレールの間に位置し、車線境界の2本の縁部線の水平座標の間の距離が第7の距離しきい値未満であることである。

任意選択で、プロセッサ1301は、現在画像中の車線境界を、履歴画像中の縁石、ガードレール、および車線標示線の位置に基づいて、車線標示線、ガードレール、および/または縁石として識別する動作をさらに実行することができる。

「第1の所定の条件」および「第1のノイズ点」などの名称における「第1の」は、単に名称の識別子として使用されているものであり、一続きの中の最初のものを表しているわけではない。この規則は、「第2の」および「第3の」などにも当てはまる。

上記の実施態様の説明に基づいて、当業者なら、上記の実施形態による方法のステップの全てまたは一部を、ソフトウェアおよび共通のハードウェアプラットフォームによって実施することができることを明快に理解することができる。この理解に基づき、本開示における技術的解決策は、ソフトウェア製品の形態で実施することができ、コンピュータソフトウェア製品は、コンピュータデバイス(パーソナル・コンピュータ、サーバ、またはルータなどのネットワーク通信デバイスとすることができる)が本開示の様々な実施形態またはこれらの実施形態の一部による方法を実行することを可能にするいくつかの命令を含む、読取り専用メモリ(ROM)/RAM、磁気ディスク、または光ディスクなどの記憶媒体に記憶することができる。

本開示の様々な実施形態について順に説明したが、同じ、または類似した部分を理解するためには、互いを相互に参照すればよく、他の実施形態との相違点については、各実施形態で強調して説明してある。特に、方法の実施形態およびデバイスの実施形態は、システムの実施形態と基本的に同様であるので説明は簡単にしたが、関連する部分を理解するには、システムの実施形態のいくつかの説明を参照すればよい。上述のデバイスの実施形態およびシステムの実施形態は例示に過ぎない。別個の構成要素として説明したモジュールは、物理的に分離していることも、分離していないこともある。1つのモジュールとして示されている構成要素は、物理的モジュールであることも、そうでないこともある、すなわち、構成要素は1箇所に位置していることも、複数のネットワーク装置上に分散されていることもある。これらのモジュールの一部または全てを、これらの実施形態における解決策の目的を達成するために、実際の必要に基づいて選択することができる。当業者なら、いかなる創造的努力もなしに、これらの解決策を理解し、実施することができる。

以上は、本開示の好ましい実施形態に過ぎず、本開示の保護範囲を限定するものではない。当業者なら、本開示を逸脱することなく、様々な変更および修正を加えることができ、これらの変更および修正は、本開示の保護範囲内にあるとみなされるものとすることに留意されたい。

本願は、参照によりその全体を本明細書に組み込む、2016年7月26日出願の中国特許出願第201610594540.6号の優先権を主張するものである。

101 処理デバイス
102 ディスプレイデバイス
103 写真デバイス
1201 取得ユニット
1202 抽出ユニット
1203 グループ化ユニット
1204 第1の認識ユニット
1205 第2の認識ユニット
1300 デバイス
1301 プロセッサ
1302 メモリ
1303 通信インタフェース

Claims

車線境界を検出する方法であって、
車線の現在画像を取得し、前記現在画像をフィルタリングすることによって前記現在画像中の輝度飛び点を抽出するステップと、
前記輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して前記縁部点のグループを形成するステップであり、第1の所定の条件を満たす２つの縁部点が同じグループであり、前記第1の所定の条件が、２つの点の垂直座標が隣接しており、前記２つの点の水平座標の間の距離差が第1の距離しきい値未満である
ことを含み、前記ノイズ点が、第1のノイズ点を含み、前記第1のノイズ点が、他の輝度飛び点のいずれとも前記第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成するステップと、
縁部線から前記車線境界の縁部線を認識するステップと、
前記車線境界の前記縁部線をグループ化し、各グループの縁部線をそれぞれ1つの車線境界の縁部線として認識するステップであり、同じグループの２本の縁部線の水平座標の間の差が第２の距離しきい値未満であるステップとを含み、
前記第1の所定の条件が、前記２つの点の間の勾配角が勾配角のしきい値未満であることをさらに含み、かつ/または
前記ノイズ点が、第２のノイズ点をさらに含み、前記第２のノイズ点が、
第1の左側水平領域の平均グレーレベルと第２の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であるという第２の所定の条件、
第1の右側水平領域の平均グレーレベルと第２の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第２のしきい値未満であるという第3の所定の条件、
第1の左側水平領域のグレーレベル分散と第２の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であるという第4の所定の条件、
第1の右側水平領域のグレーレベル分散と第２の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第２のしきい値未満であるという第5の所定の条件のうちの少なくとも1つを満たし、
前記第1の左側水平領域が、第1の左側点からなる領域であり、前記第1の左側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の左側点の水平座標と前記第２のノイズ点の水平座標の間の距離が第3の距離しきい値以下であり、前記第1の左側点の前記水平座標が前記第２のノイズ点の水平座標未満であり、
前記第1の右側水平領域が、第1の右側点からなる領域であり、前記第1の右側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の右側点の水平座標と前記第２のノイズ点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第1の右側点の前記水平座標が前記第２のノイズ点の水平座標より大きく、
前記第２の左側水平領域が、第２の左側点からなる領域であり、前記第２の左側点の垂直座標が参照飛び点の垂直座標と同じであり、前記第２の左側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の左側点の前記水平座標が前記参照飛び点の水平座標未満であり、
前記第２の右側水平領域が、第２の右側点からなる領域であり、前記第２の右側点の垂直座標が前記参照飛び点の垂直座標と同じであり、前記第２の右側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の右側点の前記水平座標が前記参照飛び点の水平座標より大きく、
前記参照飛び点が前記輝度飛び点に属し、前記参照飛び点の前記水平座標と前記第２のノイズ点の前記水平座標の間の距離が前記第1の距離しきい値未満であり、前記参照飛び点の前記垂直座標と前記第２のノイズ点の前記垂直座標の間の距離が第4の距離しきい値未満であり、前記参照飛び点の前記垂直座標が前記第２のノイズ点の前記垂直座標より小さい、
車線境界を検出する方法。
縁部線から前記車線境界の前記縁部線を認識する前記ステップが、特に、前記縁部線から、第6の所定の条件および/または第7の所定の条件を満たす縁部線を前記車線境界の前記縁部線として認識するステップを含み、
前記第6の所定の条件が、縁部線の信頼レベルが信頼レベルしきい値より高いことであり、前記縁部線の前記信頼レベルが、前記縁部線が前記車線境界の前記縁部線に属する確率を表し、前記縁部線の前記信頼レベルが、前記縁部線の現実の長さ、前記現在画像中の前記縁部線の水平方向の２つの側のグレーレベル偏差、および前記縁部線の縁部点の勾配角に基づいて計算され、
前記第7の所定の条件が、前記現在画像から認識される車線標示線と縁部線の間の3次元座標系における角度が、角度しきい値未満であることである、請求項1に記載の方法。
第8の所定の条件を満たす車線境界、第9の所定の条件を満たす車線境界、および/または第10の所定の条件を満たす車線境界を縁石として認識するステップをさらに含み、
前記第8の所定の条件が、車線境界が3本の縁部線を含み、あらゆる２本の隣接する縁部線の間の水平距離が第5の距離しきい値未満であり、前記車線境界の左端の縁部線と右端の縁部線の間の水平距離が第6の距離しきい値未満であることであり、
前記第9の所定の条件が、車線境界が２本の縁部線を含み、前記車線境界の前記２本の縁部線の水平座標の間の距離が第7の距離しきい値未満であり、前記車線境界の左側領域のグレーレベル分散がグレーレベル分散の第3のしきい値未満であり、前記車線境界の右側領域のグレーレベル分散がグレーレベル分散の第4のしきい値より大きいことであり、
前記第10の所定の条件が、車線境界が２本の縁部線を含み、前記車線境界の前記２本の縁部線の水平座標の間の距離が前記第7の距離しきい値未満であり、前記車線境界の左側領域のグレーレベル分散がグレーレベル分散の前記第3のしきい値より大きく、前記車線境界の右側領域のグレーレベル分散がグレーレベル分散の前記第4のしきい値未満であることであり、
前記車線境界の前記左側領域が、第3の左側点からなる領域であり、前記第3の左側点の垂直座標が、前記車線境界の左側縁部線の垂直座標の範囲内であり、前記第3の左側点の水平座標と前記車線境界の前記左側縁部線の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第3の左側点の前記水平座標が、前記車線境界の前記左側縁部線の水平座標未満であり、
前記車線境界の前記右側領域が、第3の右側点からなる領域であり、前記第3の右側点の垂直座標が、前記車線境界の右側縁部線の垂直座標の範囲内であり、前記第3の右側点の水平座標と前記車線境界の前記右側縁部線の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第3の右側点の前記水平座標が、前記車線境界の前記右側縁部線の水平座標より大きい、請求項1に記載の方法。
訓練済みの機械学習モデルに基づいて前記現在画像中の前記車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識するステップをさらに含み、前記機械学習モデルが、ガードレールの画像、およびガードレールではない物体の画像に基づいて訓練される、請求項1または3に記載の方法。
訓練済みの機械学習モデルに基づいて前記現在画像中の前記車線境界を含む認識領域を認識して、ガードレールに属する車線境界を認識する前記ステップが、
前記現在画像中の各車線境界をそれぞれ認識目標として判定し、前記現在画像中の前記認識目標の位置に基づいて前記現在画像から前記認識目標を含む少なくとも1つの認識領域を選択するステップと、
前記機械学習モデルに基づいて各認識領域を認識して、前記各認識領域が前記ガードレールを含む領域であるかどうかを判定するステップと、
前記認識目標を含む前記認識領域の数に対する前記ガードレールを含む領域の数の比率が比率しきい値を超える場合に、前記認識目標を前記ガードレールとして判定するステップとを含む、請求項4に記載の方法。
前記車線標示線および前記ガードレールが前記現在画像中の前記車線境界から認識されている場合に、第11の所定の条件を満たす車線境界を縁石として認識するステップをさらに含み、前記第11の所定の条件が、車線境界が前記車線標示線と前記ガードレールの間に位置し、前記車線境界の２本の縁部線の水平座標の間の距離が第7の距離しきい値未満であることである、請求項4に記載の方法。
前記現在画像中の前記車線境界を、履歴画像中の縁石、ガードレール、および車線標示線の位置に基づいて、車線標示線、ガードレール、および/または縁石として識別するステップをさらに含む、請求項1に記載の方法。
車線境界を検出する装置であって、
車線の現在画像を取得するように構成された取得ユニットと、
前記現在画像をフィルタリングすることによって前記現在画像中の輝度飛び点を抽出するように構成された抽出ユニットと、
前記輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して前記縁部点のグループを形成するように構成されたグループ化ユニットであり、第1の所定の条件を満たす２つの縁部点が同じグループであり、前記第1の所定の条件が、２つの点の垂直座標が隣接しており、前記２つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、前記ノイズ点が、第1のノイズ点を含み、前記第1のノイズ点が、他の輝度飛び点のいずれとも前記第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成するグループ化ユニットと、
縁部線から前記車線境界の縁部線を認識するように構成された第1の認識ユニットと、
前記車線境界の前記縁部線をグループ化し、各グループの縁部線を1つの車線境界の縁部線として認識するように構成された第２の認識ユニットであり、同じグループの２本の縁部線の水平座標の間の差が第２の距離しきい値未満である第２の認識ユニットとを含み、
前記第1の所定の条件が、前記２つの点の間の勾配角が勾配角のしきい値未満であることをさらに含み、かつ/または
前記ノイズ点が、第２のノイズ点をさらに含み、前記第２のノイズ点が、
第1の左側水平領域の平均グレーレベルと第２の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であるという第２の所定の条件、
第1の右側水平領域の平均グレーレベルと第２の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第２のしきい値未満であるという第3の所定の条件、
第1の左側水平領域のグレーレベル分散と第２の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であるという第4の所定の条件、
第1の右側水平領域のグレーレベル分散と第２の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第２のしきい値未満であるという第5の所定の条件のうちの少なくとも1つを満たし、
前記第1の左側水平領域が、第1の左側点からなる領域であり、前記第1の左側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の左側点の水平座標と前記第２のノイズ点の水平座標の間の距離が第3の距離しきい値以下であり、前記第1の左側点の前記水平座標が前記第２のノイズ点の水平座標未満であり、
前記第1の右側水平領域が、第1の右側点からなる領域であり、前記第1の右側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の右側点の水平座標と前記第２のノイズ点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第1の右側点の前記水平座標が前記第２のノイズ点の水平座標より大きく、
前記第２の左側水平領域が、第２の左側点からなる領域であり、前記第２の左側点の垂直座標が参照飛び点の垂直座標と同じであり、前記第２の左側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の左側点の前記水平座標が前記参照飛び点の水平座標未満であり、
前記第２の右側水平領域が、第２の右側点からなる領域であり、前記第２の右側点の垂直座標が前記参照飛び点の垂直座標と同じであり、前記第２の右側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の右側点の前記水平座標が前記参照飛び点の水平座標より大きく、
前記参照飛び点が前記輝度飛び点に属し、前記参照飛び点の前記水平座標と前記第２のノイズ点の前記水平座標の間の距離が前記第1の距離しきい値未満であり、前記参照飛び点の前記垂直座標と前記第２のノイズ点の前記垂直座標の間の距離が第4の距離しきい値未満であり、前記参照飛び点の前記垂直座標が前記第２のノイズ点の前記垂直座標より小さい、
車線境界を検出する装置。
プロセッサと、メモリと、通信インタフェースと、バスシステムとを含む、車線境界を検出するデバイスであって、
前記バスシステムが、前記デバイスの様々なハードウェア構成要素を互いに結合するように構成され、
前記通信インタフェースが、前記デバイスと他のデバイスのうちの少なくとも1つとの間の通信接続を実現するように構成され、
前記メモリが、プログラム命令およびデータを記憶するように構成され、
前記プロセッサが、前記メモリに記憶された前記プログラム命令および前記データを読み取って、
車線の現在画像を取得し、前記現在画像をフィルタリングすることによって前記現在画像中の輝度飛び点を抽出する動作と、
前記輝度飛び点からノイズ点をフィルタリングによって除去し、残りの輝度飛び点を縁部点として判定して前記縁部点のグループを形成する動作であり、第1の所定の条件を満たす２つの縁部点が同じグループであり、前記第1の所定の条件が、２つの点の垂直座標が隣接しており、前記２つの点の水平座標の間の距離差が第1の距離しきい値未満であることを含み、前記ノイズ点が、第1のノイズ点を含み、前記第1のノイズ点が、他の輝度飛び点のいずれとも前記第1の所定の条件を満たさず、同じグループの縁部点を結んだ線が1本の縁部線を形成する動作と、
縁部線から前記車線境界の縁部線を認識する動作と、
前記車線境界の前記縁部線をグループ化し、各グループの縁部線をそれぞれ1つの車線境界の縁部線として認識する動作であり、同じグループの２本の縁部線の水平座標の間の差が第２の距離しきい値未満である動作とを実行するように構成されており、
前記第1の所定の条件が、前記２つの点の間の勾配角が勾配角のしきい値未満であることをさらに含み、かつ/または
前記ノイズ点が、第２のノイズ点をさらに含み、前記第２のノイズ点が、
第1の左側水平領域の平均グレーレベルと第２の左側水平領域の平均グレーレベルの間の差が平均グレーレベルの第1のしきい値未満であるという第２の所定の条件、
第1の右側水平領域の平均グレーレベルと第２の右側水平領域の平均グレーレベルの間の差が平均グレーレベルの第２のしきい値未満であるという第3の所定の条件、
第1の左側水平領域のグレーレベル分散と第２の左側水平領域のグレーレベル分散の間の差がグレーレベル分散の第1のしきい値未満であるという第4の所定の条件、
第1の右側水平領域のグレーレベル分散と第２の右側水平領域のグレーレベル分散の間の差がグレーレベル分散の第２のしきい値未満であるという第5の所定の条件のうちの少なくとも1つを満たし、
前記第1の左側水平領域が、第1の左側点からなる領域であり、前記第1の左側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の左側点の水平座標と前記第２のノイズ点の水平座標の間の距離が第3の距離しきい値以下であり、前記第1の左側点の前記水平座標が前記第２のノイズ点の水平座標未満であり、
前記第1の右側水平領域が、第1の右側点からなる領域であり、前記第1の右側点の垂直座標が前記第２のノイズ点の垂直座標と同じであり、前記第1の右側点の水平座標と前記第２のノイズ点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第1の右側点の前記水平座標が前記第２のノイズ点の水平座標より大きく、
前記第２の左側水平領域が、第２の左側点からなる領域であり、前記第２の左側点の垂直座標が参照飛び点の垂直座標と同じであり、前記第２の左側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の左側点の前記水平座標が前記参照飛び点の水平座標未満であり、
前記第２の右側水平領域が、第２の右側点からなる領域であり、前記第２の右側点の垂直座標が前記参照飛び点の垂直座標と同じであり、前記第２の右側点の水平座標と前記参照飛び点の水平座標の間の距離が前記第3の距離しきい値以下であり、前記第２の右側点の前記水平座標が前記参照飛び点の水平座標より大きく、
前記参照飛び点が前記輝度飛び点に属し、前記参照飛び点の前記水平座標と前記第２のノイズ点の前記水平座標の間の距離が前記第1の距離しきい値未満であり、前記参照飛び点の前記垂直座標と前記第２のノイズ点の前記垂直座標の間の距離が第4の距離しきい値未満であり、前記参照飛び点の前記垂直座標が前記第２のノイズ点の前記垂直座標より小さい、
車線境界を検出するデバイス。