JP5868586B2 - ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 - Google Patents
ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 Download PDFInfo
- Publication number
- JP5868586B2 JP5868586B2 JP2010247154A JP2010247154A JP5868586B2 JP 5868586 B2 JP5868586 B2 JP 5868586B2 JP 2010247154 A JP2010247154 A JP 2010247154A JP 2010247154 A JP2010247154 A JP 2010247154A JP 5868586 B2 JP5868586 B2 JP 5868586B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- sign
- marking
- road marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 180
- 238000000034 method Methods 0.000 title claims description 47
- 238000004458 analytical method Methods 0.000 title claims description 23
- 230000002265 prevention Effects 0.000 title description 8
- 238000011156 evaluation Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 description 63
- 230000008569 process Effects 0.000 description 35
- 238000005259 measurement Methods 0.000 description 27
- 238000013459 approach Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 12
- 238000001914 filtration Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
画像処理手段が、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、
路面標識検出器が、上記画像内に、上記道路上の路面標識に対応する1つ以上の路面標識を検出するステップと、
特性分析モジュールが、上記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、その画像領域の特性を分析するステップと、
オフセット検出手段が、上記検出された路面標識に基づいて、その路面標識に相対的に、車両の道路上の横方向のオフセットを検出するステップと、
車線逸脱検出器が、上記横方向のオフセットおよび上記評価の関数として、警告信号を発生させるステップとを有し、
上記画像内に1つ以上の路面標識を検出するステップは、さらに、上記路面標識検出器が、上記画像内に関心領域を決定し、この関心領域内に上記1つ以上の路面標識を検出するステップと、路面標識属性検出手段が、上記路面標識の属性を特定するステップとを含んでおり、
上記路面標識の属性を特定するステップは、さらに、上記路面標識属性検出手段が、上記検出された路面標識のタイプおよび数を特定するステップを含み、
上記検出された路面標識の外側の画像領域の特性を分析するステップでは、上記特性分析モジュールが、上記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、上記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、上記車両が安全に上記路面標識の外側の領域に進入することができると判断し、さらに、上記路面標識の外側における複数の画像特性を、上記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、上記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも2つの評価を行い、
上記警告信号を発生させるステップは、さらに、上記車線逸脱検出器が、上記横方向のオフセットおよび上記運転しやすさの評価に加えて、上記属性の関数として、警告信号を発生させるステップを含んでおり、
上記路面標識を検出するステップは、さらに、記号検出手段が、上記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手に知らせるステップを含んでいることを特徴とする。
また本発明による、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する装置は、
ビデオイメージャから車両の前方の道路の画像を受け取るように構成されている画像処理手段と、
上記画像内に、上記道路上の路面標識に対応する1つ以上の路面標識を検出するように構成されている路面標識検出器と、
上記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するように構成されている特性分析モジュールと、
上記検出された路面標識に基づいて、該路面標識に相対的に上記車両の道路上の横方向のオフセットを検出するように構成されているオフセット検出手段と、
上記横方向のオフセットおよび上記評価の関数として、警告信号を発生させるように構成されている車線逸脱検出器とを備え、
上記路面標識検出器は、さらに、上記画像内に関心領域を決定し、該関心領域内に1つ以上の路面標識を検出するように構成されており、
上記特性分析モジュールは、上記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、上記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、車両が安全に上記路面標識の外側の領域に進入することができると判断し、さらに、上記路面標識の外側における複数の画像特性を、上記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、上記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも2つの分類を行うように構成されており、
上記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手により知らせる記号検出手段をさらに備えていることを特徴とする。
ステップ21:画像フレームを受け取る。
ステップ22:路面標識8L、8R(例えば車線区分線、道路境界など)に対応する路面標識画像フィーチャ7L、7Rを検出するための関心領域(ROI)を、画像内に決定する。
ステップ23:関心領域内のピクセルから、路面標識画像フィーチャを検出する。
ステップ24:路面標識の画像位置を、道路上の対応する位置に投影するための幾何学的変換を実行して、道路投影図を作成する。
ステップ25:道路に投影された路面標識から、ビデオカメラの位置を見出す。
ステップ26:ビデオカメラ/車両が、路面標識に接近しすぎているか否かを特定する。接近しすぎている場合には、ステップ27に進む。そうでない場合には、ステップ21に戻り、ビデオカメラから次の画像フレームを受け取って処理する。
ステップ27:警告を発するか、または支援を与えて、ステップ21に戻る。
・ 前方の道路の画像を受け取る。
・ 利用可能な場合には以前の画像情報を用いて、路面標識または道路境界が存在すると予想される1つ以上の関心領域(ROI)を、画像内に決定する。
・ いかなる望ましくない画像アーチファクト(例えば反射光、太陽光の筋、タール帯などの像)も識別して排除するために、各ROIにおいて、画像を行毎に処理する。
・ 路面標識および道路境界の断片を検出するために、ROI内を行毎に処理する。
・ 破線タイプ路面標識(ダッシュとギャップで形成された路面標識)において、ダッシュ間のギャップ内に検出された標識断片を排除する。
・ 標識/境界断片にフィルタ処理を施す(例えば、降雪などを表わす画像フィーチャを検出して排除する)。
・ 各行の、残った標識断片を、車線区分線候補および道路境界候補にまとめる。
・ (行、列)座標を有する最終的な路面標識および路面標識断片を画像内に得るために、偽の標識を排除する(例えばタール帯、矢印、および記号を検出して排除する)。
・ 重要な物体であるかもしれないので、路面標識の外側の物体を検出する。
・ 画像における路面標識(路面標識画像フィーチャ)の点(行、列)を、ビデオカメラに相対的な、道路面上の対応する路面標識位置(前方距離、および横方向のオフセット)に投影する。
・ 平滑化およびノイズ除去のために、この対応する路面標識位置データに、フィルタ処理を施す。
・ 平滑化された路面標識位置データを、ビデオカメラ位置に関連づける。
・ ビデオカメラ(車両)が、道路境界または車線区分線に接近しすぎているかどうかを特定する。
・ ビデオカメラ(車両)が、車線区分線または道路境界に接近しすぎている場合には、車線区分線または道路境界の外側に存在する物体(例えば車線または道路をはずれることによってもたらされる危険の程度)、および路面標識のタイプおよび数の関数として、警告か支援かを選択する信号を発生させる。
・ 道路面中の次の道路境界/路面標識を探すための画像位置すなわちROIを予測し、その予測の不確実さの程度を決定する。
・ 装置は、探索モードと追跡モードと呼ばれる2つのモードを有する。探索モードにおいては、装置は、画像中に、路面標識が存在するであろう大まかな位置(すなわちROI)をまだ確定しておらず、したがって、大きな画像エリア内で路面標識を捜す。追跡モードにおいては、装置は、現在の画像フレームの前に既に路面標識を見出しており、したがって、前とほぼ同じ画像エリアすなわちROI内に、再び、路面標識が存在すると予想し、そのROI内で路面標識を追跡する。1追跡は、ひとまとまりの位置測定である。あるひとまとまりの位置測定が終了し、別のひとまとまりの位置測定が開始するときに、新しい追跡が開始する。追跡が打ち切られた(例えば車両がある一定の距離を走行している間の数の画像中に、路面標識が検出されなかったために)ときに、装置は探索モードに戻り、路面標識を新たに探索するために、道路境界/路面標識を見出すための窓すなわちROIを、その最大寸法およびデフォルト位置に戻す。したがって、路面標識の位置を、前の画像において検出された路面標識に基づいて(頼って)予想する必要がない。
・ 次の画像フレームが、困難な道路状況(例えば雨、雪)の画像であると予想される場合には、次の1つ以上の画像フレームにおいて、関心領域のサイズを縮小し、それによって、現在の路面標識を追跡し続ける(すなわち、新しい路面標識を追跡するのではなくて)ステップを含めて、その道路状況に対処する。
・ 画像中のクラッタ(誤認を生み出す様々な源)をチェックする。クラッタが存在する場合には、クラッタが再び減少するまで、クラッタ中の検出物を受け入れないことで、クラッタに対処する。
・ 日中であるか、夜間であるかをチェックする。必要であれば、次の画像フレームが処理される前に、一般的な照明条件に合うように、装置のパラメータ設定を切り換える。
・ 検出された車線区分線または道路境界の情報を用いて、曲率測定モジュール12によって、道路の曲率を測定し、曲率値を記憶する。
・ 最後の画像フレームにおいて、どのくらいの間隔を置いて、かつどのくらいの長さで路面標識が検出されたかをチェックすることによって、検出された路面標識のタイプを特定する。
・ 必要に応じて、検出された情報(例えば路面標識/道路境界に相対的な車両の位置、路面標識、車線、路面標識/道路境界の外側に検出された物体の数およびタイプ、道路の曲率など)を集めて出力する。
・ リアルタイムのカメラ較正を行い、初期のヨー角およびピッチ角の大きさを更新する。更新されたヨー角およびピッチ角は、画像内に検出された路面標識画像フィーチャの位置を、道路上の対応する位置に、より正確に投影するために用いられる。それによって、警告が、より正確になる。
・ 前方の道路上の任意の文字やシンボルをチェックし、それらが、次の画像フレームにおいて、どこに現れるかを特定する。
・ 反射光および太陽光の筋の像をチェックし、それらの位置、および次の画像フレームに対して予測されるそれらの位置を記憶する(これによって、次の画像フレームにおける、車線区分線の画像フレームの検出が改善される)。
・ 破線タイプ路面標識が存在する場合には、ダッシュ−ギャップパターンを学習し、次の画像フレームに対して予測されるダッシュ−ギャップ位置を記憶する。
・ 予測される次の寸法(道路面における)から、次の画像フレームにおける路面標識/道路境界のためのROIを、画像面内に決定する。
・ ビデオカメラ1から受け取った次の画像フレームにおいて、上記のステップを繰り返す。
w = y*(FL2+r2*Vp2)1/2/Hp*(h2+d2)-1/2 (2)
この式を書き換えると、次のようになる。
y = w*Hp*(h2+d2)1/2/(FL2+r2*Vp2)1/2 (3)
路面標識との交差までに残されている時間 < 時間閾値
路面標識に向かう速度(f)=〔距離(f)−距離(f−1)〕/画像フレーム期間
平滑化速度(f)=F*平滑化速度(f−1)+(1.0−F)*路面標識に向かう速度(f)
TLC(f) = 路面標識までの距離(f)/平滑化速度(f)
TLC(f)<時間閾値のとき、警告を発する。
横方向座標y = 0次の項 + 1次の項*前方距離 + 2次の項*前方距離*前方距離
クラッタ検出信号が存在しない場合の、追跡すべき信号の検出。
有効なトラックを与えないクラッタ検出信号が存在する場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在するが、その有効なトラックは、現在のトラックほど、横方向にビデオカメラに近くない(装置が警告起動のスイッチを入れてはいけない代替トラックである)場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在しており、その有効なトラックは、現在のトラックより、横方向にビデオカメラに近い(装置が警告起動のスイッチを入れるべき代替トラックである)場合の、追跡すべき信号の検出。
路面標識長=0メートルであれば、路面標識タイプ=タイプ0。
0メートル<路面標識長≦0.5メートルであれば、路面標識タイプ=タイプ1。
0.5メートル<路面標識長≦3メートルであれば、路面標識タイプ=タイプ2。
3メートル<路面標識長であれば、路面標識タイプ=タイプ3。
ステップ71:ROI内の全ての路面標識断片を見出す。
ステップ72:路面標識断片が存在する全ての行のリストを作成する。
ステップ73:例えば0.5メートル未満の長さのギャップを看過して、最も長くつながっているセクションを見出す。
ステップ74:最長のセクションの近位端および遠位端を得る。
ステップ75:遠位端の位置と近位端の位置との間の差として、路面標識長を計算する。
ステップ76:路面標識長を用いて、例えば4つのタイプ、すなわち、タイプ0=路面標識なし、タイプ1=ボッツドッツ、タイプ2=破線タイプ路面標識、タイプ3=実線タイプ(連続)路面標識に、路面標識タイプを分類する。
ステップ77:最終的な路面標識タイプを得るために、走行の最後の例えば20メートルの間に見出された路面標識タイプ(0、1、2、3)のうちの最大値のものを選出する。
1. ビデオカメラの近傍の領域(画像領域NR)における最初の3つの画像特性と、路面標識の外側(およそ1車線幅だけ外側までの)の画像領域BBRにおける同じ3つの画像特性とを比較し、第4の画像特性比較として、平均MAD比を組み込む。これらの画像特性が、近似性に関して比較される。最初の3つの画像特性は、マンハッタン距離を用いて比較される。
2. 路面標識の外側の領域(画像領域BBR)における最初の3つの画像特性および平均MAD比とデータベースとを比較し、データベース内の、最も近似した画像特性を有するカテゴリーを特定する。
マンハッタン距離 = |f1_a − f1_b|+|f2_a − f2_b|+|f3_a − f3_b|
ここで、f1_aは、グループaの第1の画像特性であり、f2_bは、グループbの第2の画像特性であり、f3_bは、グループbの第3の画像特性である。例えばグループaは、車両が安全に進入することができる、前方の直線道路からの3つの画像特性測定を含んでいてもよく、グループbは、路面標識の外側の領域からの3つの画像特性測定を含んでいてもよい。グループaの前述の4つの画像特性のうちの最初の3つが、グループbの対応する3つの画像特性に十分に近似している場合には、路面標識の外側の領域への進入は安全であろうと予想される。マンハッタン距離は、図22におけるように、二次元のグラフで示すことができる。あるいはまた、グループaは、路面標識の外側の領域(画像領域BBR)において測定された画像特性の平均であってもよく、グループbは、例えば草やガードレールを表わす、データベース中の参照点であってもよい。グループaは、グラフ85において、最も整った参照特性ベクトルと同じカテゴリーを割り当てられる。シンボル(数3)および(数4)は、それぞれ、グループaとグループbとの間における第1の画像特性の差および第2の画像特性の差を表わしている。
ステップ201:道路の画像フレームを得る。
ステップ202:予想される路面標識位置の限界を、画像内にROIとして画定する。
ステップ203:画像アーチファクト(反射光、太陽光の筋)を排除する。
ステップ204:画像中のROI内に路面標識断片を見出す。
ステップ205:ギャップ中の標識断片を排除する。
ステップ206:降雪標識断片を排除する。
ステップ207:検出から記号を排除する。
ステップ208:残っている路面標識断片を、路面標識に組み立てる。
ステップ209:検出からタール帯を排除する。
ステップ210:幾何学的変換によって、画像点を道路面に投影する。
ステップ211:クラッタを検出する。
ステップ212:道路面データにカルマンフィルタ処理を施す。
ステップ213:必要に応じてトラックを切り換える。
ステップ214:路面標識に相対的に、ビデオカメラ/車両の位置を特定する。
ステップ215:路面標識に接近しすぎているか?Yesの場合にはステップ216に進み、そうでない場合にはステップ201に戻る。
ステップ216:状況に応じて、警告/支援を与える。
ステップ217:次の画像フレームにおける、車線区分線の次の位置を予測する。
ステップ218:次の画像フレームにおける困難な状況を予測する。
ステップ219:検出された路面標識に対する曲率補償を行なう。
ステップ220:車道および路面標識の特性を分析する。次いで、ステップ201に戻る。
本明細書では、本発明を、そのいくつかの好適なバージョンに関して、かなり詳細に説明している。しかしながら、他のバージョンも可能である。したがって、請求項の精神および範囲は、本明細書に含まれている好適なバージョンの記述に限定されるべきではない。
2 車両
3 画像
4 道路
5 コントローラ
6 車線境界検出装置
6a 反射光像検出モジュール
6b 反射光像検出装置
7 別の車両
7C 記号
7L、7R 路面標識画像フィーチャ
7S 路面標識断片候補の画像フィーチャ
8L、8R 路面標識
8T タール帯
9 車線逸脱検出装置
10 カメラ較正モジュール
11 警告モジュール
12 曲率測定モジュール
14 街灯
15 装置
17 サンプラー
19 ピクセル輝度パターン
20 プロセス
40 道路面
50 適合線分
52 ビデオカメラに相対的な、路面標識の横方向の位置
54 直線
60、60a ゲート
70 プロセス
80 標識ファインダ
82 木
85 グラフ
100 装置
101 車両境界検出システム
102 記号検出システム
103 クラッタ検出システム
104 新標識検出器
105 カメラ較正モジュール
107 車両逸脱検出システム
106 追跡モジュール
108 画像領域特性分析および比較装置
109 路面標識のタイプ/数/長さ測定装置
110 警告モジュール
160L、160R 平行四辺形
162 下端
164 上端
169 路面標識構造
171 フィルタ
173 フィルタ処理された破線タイプ路面標識
175 不確実領域
177 ブロック
200 プロセス
201 画像面
203 点
205 光軸
BBR、NR 画像領域
d ビデオカメラの前方の道路上の縦方向距離
FL 焦点距離
h ビデオカメラの高さ
Hp 水平方向ピクセルサイズ
Ht 高さ
LO 道路中心線からの横方向のオフセット距離
p、p1、p2 ピクセル
P、P1、P2 点
r 行座標
ROI−C 記号関心領域
ROI−CD クラッタ検出関心領域
ROI−L、ROI−R 関心領域
t0、t1 時刻
Vp 垂直方向ピクセルサイズ
VP 消失点
w 列座標
Wt 幅
x 縦方向座標
y 横方向座標
α ピッチ角
Claims (9)
- 少なくとも以下のステップにより実行するように構成された装置を用いて、道路上の車両のために、ビデオ画像に基づいて車線逸脱を警告する方法であって、
画像処理手段が、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、
路面標識検出器が、前記画像内に、前記道路上の路面標識に対応する1つ以上の路面標識を検出するステップと、
特性分析モジュールが、前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するステップと、
オフセット検出手段が、前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するステップと、
車線逸脱検出器が、前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるステップとを有し、
前記画像内に1つ以上の路面標識を検出するステップは、さらに、前記路面標識検出器が、前記画像内に関心領域を決定し、この関心領域内に前記1つ以上の路面標識を検出するステップと、路面標識属性検出手段が、前記路面標識の属性を特定するステップとを含んでおり、
前記路面標識の属性を特定するステップは、さらに、前記路面標識属性検出手段が、前記検出された路面標識のタイプおよび数を特定するステップを含み、
前記検出された路面標識の外側の画像領域の特性を分析するステップでは、前記特性分析モジュールが、前記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、前記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、前記車両が安全に前記路面標識の外側の領域に進入することができると判断し、さらに、前記路面標識の外側における複数の画像特性を、前記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、前記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも2つの評価を行い、
前記警告信号を発生させるステップは、さらに、前記車線逸脱検出器が、前記横方向のオフセットおよび前記運転しやすさの評価に加えて、前記属性の関数として、警告信号を発生させるステップを含んでおり、
前記路面標識を検出するステップは、さらに、記号検出手段が、前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手に知らせるステップを含むことを特徴とする方法。 - 前記路面標識検出器が、前記検出された路面標識を追跡するステップをさらに含んでいる、請求項1に記載の方法。
- 前記路面標識検出器が、前記検出された路面標識の妥当性に基づいて、該検出された路面標識の中から、1セットの路面標識を選択するステップをさらに含んでいる、請求項1に記載の方法。
- 前記路面標識検出器が、前記選択された路面標識を追跡するステップをさらに含んでいる、請求項3に記載の方法。
- 前記路面標識を検出するステップは、さらに、前記路面標識検出器が、前記画像内にクラッタを検出し、そのようなクラッタを、路面標識検出の考察から外すステップを含んでいる、請求項1〜4のいずれか1項に記載の方法。
- ビデオイメージャから車両の前方の道路の画像を受け取るように構成されている画像処理手段と、
前記画像内に、前記道路上の路面標識に対応する1つ以上の路面標識を検出するように構成されている路面標識検出器と、
前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するように構成されている特性分析モジュールと、
前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するように構成されているオフセット検出手段と、
前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるように構成されている車線逸脱検出器とを備え、
前記路面標識検出器は、さらに、前記画像内に関心領域を決定し、該関心領域内に1つ以上の路面標識を検出するように構成されており、
前記特性分析モジュールは、前記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、前記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、車両が安全に前記路面標識の外側の領域に進入することができると判断し、さらに、前記路面標識の外側における複数の画像特性を、前記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、前記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも2つの分類を行うように構成されており、
前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手により知らせる記号検出手段をさらに備えている、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する装置。 - 前記装置は、さらに、前記路面標識の属性を特定するように構成されている路面標識属性検出手段を備えており、
前記車線逸脱検出器は、さらに、前記横方向のオフセットおよび前記評価に加えて、前記属性の関数として、警告信号を発生させるように構成されている、請求項6に記載の装置。 - 前記路面標識属性検出手段は、さらに、前記検出された路面標識のタイプおよび数を特定するように構成されている、請求項7に記載の装置。
- 前記検出された路面標識を、1つ以上の道路画像フレームにおいて追跡するように構成されている追跡モジュールをさらに備えている、請求項6〜8のいずれか1項に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247154A JP5868586B2 (ja) | 2009-11-04 | 2010-11-04 | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009253354 | 2009-11-04 | ||
JP2009253354 | 2009-11-04 | ||
JP2010247154A JP5868586B2 (ja) | 2009-11-04 | 2010-11-04 | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011118889A JP2011118889A (ja) | 2011-06-16 |
JP5868586B2 true JP5868586B2 (ja) | 2016-02-24 |
Family
ID=44284079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010247154A Active JP5868586B2 (ja) | 2009-11-04 | 2010-11-04 | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5868586B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11551459B1 (en) * | 2022-06-27 | 2023-01-10 | Plusai, Inc. | Ambiguous lane detection event miner |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5974923B2 (ja) * | 2013-02-15 | 2016-08-23 | アイシン・エィ・ダブリュ株式会社 | 道路端検出システム、方法およびプログラム |
KR102233319B1 (ko) * | 2014-01-20 | 2021-03-29 | 삼성전자주식회사 | 관심 영역 추적 방법, 방사선 촬영 장치, 방사선 촬영 장치의 제어 방법 및 방사선 촬영 방법 |
EP2899669A1 (en) * | 2014-01-22 | 2015-07-29 | Honda Research Institute Europe GmbH | Lane relative position estimation method and system for driver assistance systems |
KR102623680B1 (ko) * | 2015-02-10 | 2024-01-12 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
DE102016104730A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
WO2020014683A1 (en) * | 2018-07-13 | 2020-01-16 | Kache.AI | Systems and methods for autonomous object detection and vehicle following |
CN109670404B (zh) * | 2018-11-23 | 2023-07-11 | 江苏理工学院 | 一种基于混合模型的道路积水图像检测预警方法 |
CN110733416B (zh) * | 2019-09-16 | 2022-09-16 | 江苏大学 | 一种基于逆透视变换的车道偏离预警方法 |
JP2023548879A (ja) * | 2020-11-09 | 2023-11-21 | 馭勢(上海)汽車科技有限公司 | 交通流情報の決定方法、装置、電子機器及び記憶媒体 |
CN112529966B (zh) * | 2020-12-17 | 2023-09-15 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0973545A (ja) * | 1995-09-07 | 1997-03-18 | Fujitsu Ten Ltd | 白線認識装置 |
JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
JP2005128790A (ja) * | 2003-10-23 | 2005-05-19 | Fuji Heavy Ind Ltd | 制限速度認識装置、制限速度表示装置、速度警報装置及び速度制御装置 |
JP2005157731A (ja) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | 車線認識装置および車線認識方法 |
JP4600038B2 (ja) * | 2004-12-27 | 2010-12-15 | 日産自動車株式会社 | 車線逸脱防止方法及びその装置 |
JP2007193651A (ja) * | 2006-01-20 | 2007-08-02 | Clarion Co Ltd | 車線検出装置および車線逸脱警報装置 |
JP5064257B2 (ja) * | 2008-01-31 | 2012-10-31 | 矢崎総業株式会社 | 車両用周辺状況記録装置 |
-
2010
- 2010-11-04 JP JP2010247154A patent/JP5868586B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11551459B1 (en) * | 2022-06-27 | 2023-01-10 | Plusai, Inc. | Ambiguous lane detection event miner |
Also Published As
Publication number | Publication date |
---|---|
JP2011118889A (ja) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5868586B2 (ja) | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 | |
EP2118818B1 (en) | Video-based road departure warning | |
US10521676B2 (en) | Lane detection device, lane departure determination device, lane detection method and lane departure determination method | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
US8184159B2 (en) | Forward looking sensor system | |
US8605947B2 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
US10081308B2 (en) | Image-based vehicle detection and distance measuring method and apparatus | |
US8890951B2 (en) | Clear path detection with patch smoothing approach | |
US7027615B2 (en) | Vision-based highway overhead structure detection system | |
US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
EP2993654A1 (en) | Method and system for forward collision warning | |
EP3832529A1 (en) | Detection of obstacles at night by analysis of shadows | |
KR102318586B1 (ko) | 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 | |
JP2011118890A (ja) | 車線境界全般を検出する方法およびシステム | |
JP6003585B2 (ja) | 交差点検出方法および交差点検出システム | |
JP3786113B2 (ja) | 接近予測装置 | |
JPH0844999A (ja) | 接近予測装置 | |
JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
US11423661B2 (en) | Object recognition apparatus | |
JP3517999B2 (ja) | 車両認識装置 | |
CN116659540B (zh) | 一种在自动驾驶过程中的交通护栏识别方法 | |
JP7402756B2 (ja) | 環境地図生成方法及び環境地図生成装置 | |
WO2023276225A1 (ja) | 運転支援装置及び運転支援方法 | |
Wu et al. | Image processing techniques for lane-related information extraction and multi-vehicle detection in intelligent highway vehicles | |
KR20220159575A (ko) | 전방위 충돌방지를 위한 차량 avm 카메라 시스템 및 이의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20101130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5868586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |