JP3199037B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP3199037B2 JP3199037B2 JP29948898A JP29948898A JP3199037B2 JP 3199037 B2 JP3199037 B2 JP 3199037B2 JP 29948898 A JP29948898 A JP 29948898A JP 29948898 A JP29948898 A JP 29948898A JP 3199037 B2 JP3199037 B2 JP 3199037B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- white line
- line
- white
- road edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】この発明は、自動車の走行す
る道路の白線を検出するために、車載カメラによって撮
像した画像を処理する画像処理方法に関するものであ
る。
る道路の白線を検出するために、車載カメラによって撮
像した画像を処理する画像処理方法に関するものであ
る。
【０００２】
【従来の技術】従来から、自動車の安全走行を目的とし
て、道路上（特に高速道路上）の白線を検出し、その検
出した白線によって自動車の走行制御（自動運転など）
が行われている。道路上の白線の検出は、車載カメラに
よって自動車の前方の道路を撮像し、その撮像した画像
を画像処理装置が処理することにより行われる。
て、道路上（特に高速道路上）の白線を検出し、その検
出した白線によって自動車の走行制御（自動運転など）
が行われている。道路上の白線の検出は、車載カメラに
よって自動車の前方の道路を撮像し、その撮像した画像
を画像処理装置が処理することにより行われる。
【０００３】図７は、従来における車載カメラが撮像し
た画像例を示す図である。図７に示すように、天候が晴
天の場合は、車載カメラは、道路上の白線を明確に撮像
することができ、その撮像された画像を処理することに
よって白線を検出することができる。
た画像例を示す図である。図７に示すように、天候が晴
天の場合は、車載カメラは、道路上の白線を明確に撮像
することができ、その撮像された画像を処理することに
よって白線を検出することができる。
【０００４】一方、天候が雨天の場合は、車載カメラ
は、道路上の白線を明確に撮像することができず、白線
を検出することができなくなる。図８に示すように、道
路面上に水が溜まることにより、白線が水面に隠れてし
まい、水面の反射で白線が見えなくなったり、また、先
行車の水しぶきにより、明瞭に撮像することができなく
なるからである。
は、道路上の白線を明確に撮像することができず、白線
を検出することができなくなる。図８に示すように、道
路面上に水が溜まることにより、白線が水面に隠れてし
まい、水面の反射で白線が見えなくなったり、また、先
行車の水しぶきにより、明瞭に撮像することができなく
なるからである。
【０００５】雨天の場合でも、白線を検出することがで
きるように、白線の検出感度を上げることが考えられる
が、図９に示すように、白線の検出感度を上げると、先
行車のタイヤ跡を白線であると誤検出してしまう。従っ
て、白線の検出感度をある程度下げておく必要がある
（白線の検出感度を上げることができない）。
きるように、白線の検出感度を上げることが考えられる
が、図９に示すように、白線の検出感度を上げると、先
行車のタイヤ跡を白線であると誤検出してしまう。従っ
て、白線の検出感度をある程度下げておく必要がある
（白線の検出感度を上げることができない）。
【０００６】尚、雨天の場合でも、道路の道路端は、水
没しにくく比較的（白線と比較して）検出しやすいた
め、図７に示すように、何とか検出することができる。
没しにくく比較的（白線と比較して）検出しやすいた
め、図７に示すように、何とか検出することができる。
【０００７】
【発明が解決しようとする課題】上述したように、雨天
の場合には、水面の反射で白線が見えなくなったり、先
行車の水しぶきにより、車載カメラは、道路上の白線を
明瞭に撮像することができず、白線を検出することがで
きなくなるという課題があった。
の場合には、水面の反射で白線が見えなくなったり、先
行車の水しぶきにより、車載カメラは、道路上の白線を
明瞭に撮像することができず、白線を検出することがで
きなくなるという課題があった。
【０００８】この発明は、上記のような課題を解決する
ためになされたものであり、雨天時の白線を検出するこ
とができない場合に、信頼性高く白線を推定することが
できる画像処理方法を得ることを目的とする。
ためになされたものであり、雨天時の白線を検出するこ
とができない場合に、信頼性高く白線を推定することが
できる画像処理方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】請求項１記載の発明に係
る画像処理方法は、撮像手段が撮像した画像から白線を
検出する白線検出処理と、画像から道路領域を検出する
道路領域検出処理と、道路領域からの道路端を検出する
道路端検出処理と、道路端から道路端線を推定する道路
端線推定処理と、道路端線と道路設計パラメータから未
検出の白線を推定する白線推定処理とを有するものであ
る。
る画像処理方法は、撮像手段が撮像した画像から白線を
検出する白線検出処理と、画像から道路領域を検出する
道路領域検出処理と、道路領域からの道路端を検出する
道路端検出処理と、道路端から道路端線を推定する道路
端線推定処理と、道路端線と道路設計パラメータから未
検出の白線を推定する白線推定処理とを有するものであ
る。
【００１０】
【００１１】請求項２記載の発明に係る画像処理方法
は、撮像手段が撮像した画像から道路領域を検出する道
路領域検出処理と、道路領域内の白線を検出する白線検
出処理と、道路領域から道路端を検出する道路端検出処
理と、道路端から道路端線を推定する道路端線推定処理
と、道路端線と道路設計パラメータから未検出の白線を
推定する白線推定処理とを有するものである。
は、撮像手段が撮像した画像から道路領域を検出する道
路領域検出処理と、道路領域内の白線を検出する白線検
出処理と、道路領域から道路端を検出する道路端検出処
理と、道路端から道路端線を推定する道路端線推定処理
と、道路端線と道路設計パラメータから未検出の白線を
推定する白線推定処理とを有するものである。
【００１２】請求項３記載の発明に係る画像処理方法
は、白線推定処理において、未検出の白線が道路端線の
消失点を通るようにしたものである。
は、白線推定処理において、未検出の白線が道路端線の
消失点を通るようにしたものである。
【００１３】請求項４記載の発明に係る画像処理方法
は、道路端検出処理で道路端を検出できなかった場合、
道路端の代わりに代替特徴点を検出し、この代替特徴点
から特徴点並び線を推定し、この特徴点並び線の消失点
を利用して未検出の白線の推定を行うものである。
は、道路端検出処理で道路端を検出できなかった場合、
道路端の代わりに代替特徴点を検出し、この代替特徴点
から特徴点並び線を推定し、この特徴点並び線の消失点
を利用して未検出の白線の推定を行うものである。
【００１４】請求項５記載の発明に係る画像処理方法
は、白線推定処理において、白線検出処理で検出した白
線も未検出の白線の推定に使用するものである。
は、白線推定処理において、白線検出処理で検出した白
線も未検出の白線の推定に使用するものである。
【００１５】請求項６記載の発明に係る画像処理方法
は、白線推定処理後、検出した白線、道路端線、または
特徴点並び線の消失点の集まり具合によって、推定した
白線の精度を確認するものである。
は、白線推定処理後、検出した白線、道路端線、または
特徴点並び線の消失点の集まり具合によって、推定した
白線の精度を確認するものである。
【００１６】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は、この発明の実施の形態１による
画像処理方法を説明するための雨天時に車載カメラが撮
像した画像例を示す図である。尚、車載カメラ（撮像手
段；図示せず）は、自動車のノーズの先端や車内のルー
ムミラー（バックミラー）の裏側に取り付けられてお
り、自動車の前方を撮像するものである。
説明する。 実施の形態１．図１は、この発明の実施の形態１による
画像処理方法を説明するための雨天時に車載カメラが撮
像した画像例を示す図である。尚、車載カメラ（撮像手
段；図示せず）は、自動車のノーズの先端や車内のルー
ムミラー（バックミラー）の裏側に取り付けられてお
り、自動車の前方を撮像するものである。
【００１７】図１において、道路領域１００の右道路端
１０１及び左道路端１０２は、画像処理装置（図示せ
ず）の画像処理によって、画像から何とか検出できてい
るものとする。一方、道路上の白線１０３，１０４は、
画像が不明確であり、検出に失敗しているものとする。
１０１及び左道路端１０２は、画像処理装置（図示せ
ず）の画像処理によって、画像から何とか検出できてい
るものとする。一方、道路上の白線１０３，１０４は、
画像が不明確であり、検出に失敗しているものとする。
【００１８】白線１０５，１０６は、左右の道路端１０
１，１０２及び道路設計パラメータ（さらに、白線が検
出できた場合はその白線）から推定されたものである。
ここで、道路設計パラメータには、道路（高速道路）の
設計上の条件式が使用される。即ち、白線と白線との間
隔、道路端と白線との間隔、白線の幅などの数値は、道
路の規格として定められており、これらの数値を白線の
推定のパラメータに使用する。尚、道路設計パラメータ
としては、道路の規格として定められている数値以外
に、ＧＰＳ（Global Positioning System ）などを用い
ることによって、地図情報にある道路の車線数などの情
報をパラメータとして使用することもできる。
１，１０２及び道路設計パラメータ（さらに、白線が検
出できた場合はその白線）から推定されたものである。
ここで、道路設計パラメータには、道路（高速道路）の
設計上の条件式が使用される。即ち、白線と白線との間
隔、道路端と白線との間隔、白線の幅などの数値は、道
路の規格として定められており、これらの数値を白線の
推定のパラメータに使用する。尚、道路設計パラメータ
としては、道路の規格として定められている数値以外
に、ＧＰＳ（Global Positioning System ）などを用い
ることによって、地図情報にある道路の車線数などの情
報をパラメータとして使用することもできる。
【００１９】道路端線１０７，１０８は、それぞれ道路
端１０１，１０２から推定されたものである。消失点１
０９は、道路が直線の場合の道路端線１０７，１０８が
集まる点である。尚、図１に示す画像例では、３車線の
道路を想定している。
端１０１，１０２から推定されたものである。消失点１
０９は、道路が直線の場合の道路端線１０７，１０８が
集まる点である。尚、図１に示す画像例では、３車線の
道路を想定している。
【００２０】次に、画像処理動作について説明する。図
２は、この発明の実施の形態１による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
車載カメラが撮像した画像から、道路上の白線１０３，
１０４を明確に捕らえる（検出する）ことができるか否
か判断する（ステップＳＴ１）。その結果、白線１０
３，１０４を明確に捕らえることができた場合には、そ
の白線１０３，１０４はそのまま自動車の走行制御など
に利用される。
２は、この発明の実施の形態１による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
車載カメラが撮像した画像から、道路上の白線１０３，
１０４を明確に捕らえる（検出する）ことができるか否
か判断する（ステップＳＴ１）。その結果、白線１０
３，１０４を明確に捕らえることができた場合には、そ
の白線１０３，１０４はそのまま自動車の走行制御など
に利用される。
【００２１】図１のように、白線１０３，１０４を明確
に捕らえることができなかった場合には、画像処理装置
は、画像から道路領域１００を検出する（ステップＳＴ
２）。このように、道路領域１００を検出するのは、白
線１０３，１０４は常に道路領域１００内にあるので、
白線１０５，１０６の推定に使用する道路設計パラメー
タの適用範囲を限定しておくためである。
に捕らえることができなかった場合には、画像処理装置
は、画像から道路領域１００を検出する（ステップＳＴ
２）。このように、道路領域１００を検出するのは、白
線１０３，１０４は常に道路領域１００内にあるので、
白線１０５，１０６の推定に使用する道路設計パラメー
タの適用範囲を限定しておくためである。
【００２２】次に、画像処理装置は、道路領域１００の
左右の道路端１０１，１０２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１００のエッ
ジを左右の道路端１０１，１０２とみなせるか否か判断
する（ステップＳＴ３）。その結果、左右の道路端１０
１，１０２を捕らえることができなかった場合には、白
線１０５，１０６の推定の失敗となる。
左右の道路端１０１，１０２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１００のエッ
ジを左右の道路端１０１，１０２とみなせるか否か判断
する（ステップＳＴ３）。その結果、左右の道路端１０
１，１０２を捕らえることができなかった場合には、白
線１０５，１０６の推定の失敗となる。
【００２３】左右の道路端１０１，１０２を捕らえるこ
とができた場合には、左右の道路端１０１，１０２から
道路端線１０７，１０８を推定する（ステップＳＴ
４）。この道路端線１０７，１０８は、白線１０５，１
０６の推定の基準線として使用される。
とができた場合には、左右の道路端１０１，１０２から
道路端線１０７，１０８を推定する（ステップＳＴ
４）。この道路端線１０７，１０８は、白線１０５，１
０６の推定の基準線として使用される。
【００２４】このように、道路端線１０７，１０８を白
線１０５，１０６の推定の基準線とするのは、道路端１
０１，１０２は雨天時でも比較的水没しにくく検出でき
る可能性が高いので、道路端１０１，１０２から推定さ
れる道路端線１０７，１０８を利用しやすいからであ
り、また、道路の設計上、実際の白線１０３，１０４は
道路端１０１，１０２と平行であるので、道路設計パラ
メータを用いて白線１０５，１０６の推定が可能である
からである。
線１０５，１０６の推定の基準線とするのは、道路端１
０１，１０２は雨天時でも比較的水没しにくく検出でき
る可能性が高いので、道路端１０１，１０２から推定さ
れる道路端線１０７，１０８を利用しやすいからであ
り、また、道路の設計上、実際の白線１０３，１０４は
道路端１０１，１０２と平行であるので、道路設計パラ
メータを用いて白線１０５，１０６の推定が可能である
からである。
【００２５】次に、推定した道路端線１０７，１０８及
び道路設計パラメータから白線１０５，１０６の位置を
推定する（ステップＳＴ５）。図１の場合では、道路は
３車線であるので、２本の白線１０５，１０６を推定す
る。
び道路設計パラメータから白線１０５，１０６の位置を
推定する（ステップＳＴ５）。図１の場合では、道路は
３車線であるので、２本の白線１０５，１０６を推定す
る。
【００２６】尚、図１の画像例における白線検出処理
（ステップＳＴ１）では、白線１０３，１０４のいずれ
も検出できなかったこととしたが、白線１０３，１０４
のいずれかが検出できた場合には、その検出できた白線
（１０３または１０４）も利用して、白線（１０５また
は１０６）の位置の推定を行うこともできる。即ち、画
像から検出できた白線（１０３または１０４）から得ら
れるレーン間隔やカーブの曲率などの情報を補って白線
（１０５または１０６）の推定を行う。この場合、白線
（１０５または１０６）の位置の推定の信頼性を向上さ
せることができる。
（ステップＳＴ１）では、白線１０３，１０４のいずれ
も検出できなかったこととしたが、白線１０３，１０４
のいずれかが検出できた場合には、その検出できた白線
（１０３または１０４）も利用して、白線（１０５また
は１０６）の位置の推定を行うこともできる。即ち、画
像から検出できた白線（１０３または１０４）から得ら
れるレーン間隔やカーブの曲率などの情報を補って白線
（１０５または１０６）の推定を行う。この場合、白線
（１０５または１０６）の位置の推定の信頼性を向上さ
せることができる。
【００２７】また、白線１０５，１０６の位置推定処理
（ステップＳＴ５）の際、道路が直線の場合には、左右
の道路端線１０７，１０８及び白線１０５，１０６は、
理想的には、消失点１０９に集まるので、左右の道路端
線１０７，１０８の消失点１０９を求めておき、白線１
０５，１０６がこの消失点１０９を直線的に通るように
白線１０５，１０６の位置を決めることもできる。この
ように、道路端線１０７，１０８の消失点１０９を利用
して白線１０５，１０６の推定を行うことにより、白線
１０５，１０６の位置の推定の信頼性を向上させること
ができるとともに、白線１０５，１０６の推定の計算量
を削減することができる。
（ステップＳＴ５）の際、道路が直線の場合には、左右
の道路端線１０７，１０８及び白線１０５，１０６は、
理想的には、消失点１０９に集まるので、左右の道路端
線１０７，１０８の消失点１０９を求めておき、白線１
０５，１０６がこの消失点１０９を直線的に通るように
白線１０５，１０６の位置を決めることもできる。この
ように、道路端線１０７，１０８の消失点１０９を利用
して白線１０５，１０６の推定を行うことにより、白線
１０５，１０６の位置の推定の信頼性を向上させること
ができるとともに、白線１０５，１０６の推定の計算量
を削減することができる。
【００２８】そして、上記のように推定した白線１０
５，１０６の位置を白線位置として自動車の走行制御な
どに利用する。
５，１０６の位置を白線位置として自動車の走行制御な
どに利用する。
【００２９】以上のように、この実施の形態１によれ
ば、道路領域１００の道路端１０１，１０２から推定し
た道路端線１０７，１０８を基準として、道路設計パラ
メータを用いて白線１０５，１０６の推定を行うので、
雨天時の白線１０３，１０４を検出することができない
場合に、信頼性高く白線１０５，１０６を推定すること
ができる。
ば、道路領域１００の道路端１０１，１０２から推定し
た道路端線１０７，１０８を基準として、道路設計パラ
メータを用いて白線１０５，１０６の推定を行うので、
雨天時の白線１０３，１０４を検出することができない
場合に、信頼性高く白線１０５，１０６を推定すること
ができる。
【００３０】実施の形態２．図３は、この発明の実施の
形態２による画像処理方法を説明するための雨天時に車
載カメラが撮像した画像例を示す図である。図３におい
て、道路領域１１０の左右の道路端１１１，１１２及び
道路上の実際の白線１１３は、画像処理装置（図示せ
ず）の画像処理によって、画像から何とか検出できてい
るものとする。一方、道路上の実際の白線１１４は、画
像が不明確であり、検出に失敗しているものとする。
形態２による画像処理方法を説明するための雨天時に車
載カメラが撮像した画像例を示す図である。図３におい
て、道路領域１１０の左右の道路端１１１，１１２及び
道路上の実際の白線１１３は、画像処理装置（図示せ
ず）の画像処理によって、画像から何とか検出できてい
るものとする。一方、道路上の実際の白線１１４は、画
像が不明確であり、検出に失敗しているものとする。
【００３１】白線１１５は、左右の道路端１１１，１１
２及び道路設計パラメータ（さらに、図３では検出でき
た白線１１３）から推定されたものである。道路端線１
１６，１１７は、それぞれ道路端１０１，１０２から推
定されたものである。消失点１１８は、道路が直線のと
きに左右の道路端１１１，１１２が集まる点である。
２及び道路設計パラメータ（さらに、図３では検出でき
た白線１１３）から推定されたものである。道路端線１
１６，１１７は、それぞれ道路端１０１，１０２から推
定されたものである。消失点１１８は、道路が直線のと
きに左右の道路端１１１，１１２が集まる点である。
【００３２】次に、画像処理動作について説明する。図
４は、この発明の実施の形態２による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
まず、車載カメラが撮像した画像から、道路の道路領域
１１０を検出する（ステップＳＴ１１）。このように、
上記実施の形態１と異なり、道路領域１１０検出を最初
に行うのは、予め天候が悪い（雨天）と判断できる場合
には、最初に道路領域１１０の検出を行うことにより、
白線１１３，１１４を検出する範囲を狭くすることがで
き、処理時間を短縮することができるからである。
４は、この発明の実施の形態２による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
まず、車載カメラが撮像した画像から、道路の道路領域
１１０を検出する（ステップＳＴ１１）。このように、
上記実施の形態１と異なり、道路領域１１０検出を最初
に行うのは、予め天候が悪い（雨天）と判断できる場合
には、最初に道路領域１１０の検出を行うことにより、
白線１１３，１１４を検出する範囲を狭くすることがで
き、処理時間を短縮することができるからである。
【００３３】次に、検出した道路領域１１０内で白線１
１３，１１４を検出し（ステップＳＴ１２）、その領域
内の全ての白線１１３，１１４を明確に捕らえる（検出
する）ことができるか否か判断する（ステップＳＴ１
３）。その結果、全ての白線１１３，１１４を捕らえる
ことができた場合には、そのまま白線１１３，１１４を
自動車の走行制御などに利用する。
１３，１１４を検出し（ステップＳＴ１２）、その領域
内の全ての白線１１３，１１４を明確に捕らえる（検出
する）ことができるか否か判断する（ステップＳＴ１
３）。その結果、全ての白線１１３，１１４を捕らえる
ことができた場合には、そのまま白線１１３，１１４を
自動車の走行制御などに利用する。
【００３４】全ての白線１１３，１１４を捕らえること
ができなかった場合（図３の場合）には、道路領域１１
０の道路端１１１，１１２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１１０のエッ
ジを道路端１１１，１１２とみなれるか否かを判断する
（ステップＳＴ１４）。その結果、左右の道路端１１
１，１１２を捕らえることができなかった場合には、白
線１１５の推定の失敗となる。一方、左右の道路端１１
１，１１２を捕らえることができた場合には、左右の道
路端１１１，１１２から道路端線１１６，１１７を推定
する（ステップＳＴ１５）。
ができなかった場合（図３の場合）には、道路領域１１
０の道路端１１１，１１２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１１０のエッ
ジを道路端１１１，１１２とみなれるか否かを判断する
（ステップＳＴ１４）。その結果、左右の道路端１１
１，１１２を捕らえることができなかった場合には、白
線１１５の推定の失敗となる。一方、左右の道路端１１
１，１１２を捕らえることができた場合には、左右の道
路端１１１，１１２から道路端線１１６，１１７を推定
する（ステップＳＴ１５）。
【００３５】次に、推定した道路端線１１６，１１７及
び道路設計パラメータから白線１１５の位置を推定する
（ステップＳＴ１６）。図３の場合には、実際に検出で
きた白線１１３も利用して白線１１５の位置を推定す
る。即ち、道路端線１１６，１１７及び検出できた白線
１１３を基準線として、白線１１５の位置の推定を行
う。このように、白線１１３も基準線とするのは、道路
端線１１６，１１７よりも白線１１３の方が信頼性が高
く、推定した白線１１５の位置を実際の白線１１４の位
置に一層近づけることができるからである。
び道路設計パラメータから白線１１５の位置を推定する
（ステップＳＴ１６）。図３の場合には、実際に検出で
きた白線１１３も利用して白線１１５の位置を推定す
る。即ち、道路端線１１６，１１７及び検出できた白線
１１３を基準線として、白線１１５の位置の推定を行
う。このように、白線１１３も基準線とするのは、道路
端線１１６，１１７よりも白線１１３の方が信頼性が高
く、推定した白線１１５の位置を実際の白線１１４の位
置に一層近づけることができるからである。
【００３６】また、白線１１５の位置の推定の際、道路
が直線の場合には、上記実施の形態１で説明したのと同
様、消失点１１８を利用することにより、白線１１５の
推定の信頼性を向上させることができるとともに、白線
１１５の推定の計算量を削減することができる。
が直線の場合には、上記実施の形態１で説明したのと同
様、消失点１１８を利用することにより、白線１１５の
推定の信頼性を向上させることができるとともに、白線
１１５の推定の計算量を削減することができる。
【００３７】そして、上記のように推定した白線１１５
の位置を白線位置として自動車の走行制御などに利用す
る。
の位置を白線位置として自動車の走行制御などに利用す
る。
【００３８】以上のように、この実施の形態２によれ
ば、道路領域１１０検出を最初に行うので、予め天候が
悪い（雨天）と判断できる場合に、白線１１３，１１４
を検出する範囲を狭くすることができ、処理時間を短縮
することができる。
ば、道路領域１１０検出を最初に行うので、予め天候が
悪い（雨天）と判断できる場合に、白線１１３，１１４
を検出する範囲を狭くすることができ、処理時間を短縮
することができる。
【００３９】実施の形態３．図５は、この発明の実施の
形態３による画像処理方法を説明するための雨天時に車
載カメラが撮像した画像例を示す図である。図５におい
て、道路領域１２０の右道路端１２１及び道路上の実際
の白線１２３は、画像処理装置（図示せず）の画像処理
によって、画像から何とか検出できているものとする。
一方、道路領域１２０の左道路端１２２及び道路上の実
際の白線１２４は、画像が不明確であり、検出に失敗し
ているものとする。
形態３による画像処理方法を説明するための雨天時に車
載カメラが撮像した画像例を示す図である。図５におい
て、道路領域１２０の右道路端１２１及び道路上の実際
の白線１２３は、画像処理装置（図示せず）の画像処理
によって、画像から何とか検出できているものとする。
一方、道路領域１２０の左道路端１２２及び道路上の実
際の白線１２４は、画像が不明確であり、検出に失敗し
ているものとする。
【００４０】白線１２５は、右道路端１２１及び道路設
計パラメータ（さらに、図５では検出できた白線１２
３）から推定されたものである。代替特徴点１２６は、
道路端１２２が明確に検出できない場合に、その道路端
１２２の代わりに白線１２５の推定に利用するものであ
り、道路領域１２０の外にあるガードレールの反射板、
照明灯の並び、植木の並びなどが代替特徴点となり得
る。特徴点並び線１２７は、代替特徴点１２６から推定
されるものである。道路端線１２８は、右道路端１２１
から推定されるものである。消失点１２９は、道路が直
線である場合の白線１２３、特徴点並び線１２７や道路
端線１２８などが集まる点である。道路端判定不可領域
１３０は、検出に失敗した左道路端１２２の外の領域で
ある。
計パラメータ（さらに、図５では検出できた白線１２
３）から推定されたものである。代替特徴点１２６は、
道路端１２２が明確に検出できない場合に、その道路端
１２２の代わりに白線１２５の推定に利用するものであ
り、道路領域１２０の外にあるガードレールの反射板、
照明灯の並び、植木の並びなどが代替特徴点となり得
る。特徴点並び線１２７は、代替特徴点１２６から推定
されるものである。道路端線１２８は、右道路端１２１
から推定されるものである。消失点１２９は、道路が直
線である場合の白線１２３、特徴点並び線１２７や道路
端線１２８などが集まる点である。道路端判定不可領域
１３０は、検出に失敗した左道路端１２２の外の領域で
ある。
【００４１】次に、画像処理動作について説明する。図
６は、この発明の実施の形態３による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
車載カメラが撮像した画像から、道路上の白線１２３，
１２４を明確に捕らえる（検出する）ことができるか否
か判断する（ステップＳＴ２１）。その結果、白線１２
３，１２４を明確に捕らえることができた場合には、そ
の白線１２３，１２４をそのまま自動車の走行制御など
に利用する。
６は、この発明の実施の形態３による画像処理方法を説
明するためのフローチャートである。画像処理装置は、
車載カメラが撮像した画像から、道路上の白線１２３，
１２４を明確に捕らえる（検出する）ことができるか否
か判断する（ステップＳＴ２１）。その結果、白線１２
３，１２４を明確に捕らえることができた場合には、そ
の白線１２３，１２４をそのまま自動車の走行制御など
に利用する。
【００４２】白線１２３，１２４を明確に捕らえること
ができなかった場合（図５の場合）には、画像処理装置
は、画像から道路領域１２０を検出する（ステップＳＴ
２２）。そして、画像処理装置は、道路領域１２０の左
右の道路端１２１，１２２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１２０のエッ
ジを左右の道路端１２１，１２２とみなせるか否か判断
する（ステップＳＴ３）。尚、図５の場合は、左道路端
１２２を明確に検出することができない場合である。
ができなかった場合（図５の場合）には、画像処理装置
は、画像から道路領域１２０を検出する（ステップＳＴ
２２）。そして、画像処理装置は、道路領域１２０の左
右の道路端１２１，１２２を明確に捕らえる（検出す
る）ことができるか否か、即ち、道路領域１２０のエッ
ジを左右の道路端１２１，１２２とみなせるか否か判断
する（ステップＳＴ３）。尚、図５の場合は、左道路端
１２２を明確に検出することができない場合である。
【００４３】尚、左右の道路端１２１，１２２を明確に
捕らえることができた場合には、上記実施の形態１で説
明したのと同様、道路端線を推定し（ステップＳＴ２
６）、その道路端線及び道路設計パラメータから白線１
２５の位置を推定する（ステップＳＴ２７）。
捕らえることができた場合には、上記実施の形態１で説
明したのと同様、道路端線を推定し（ステップＳＴ２
６）、その道路端線及び道路設計パラメータから白線１
２５の位置を推定する（ステップＳＴ２７）。
【００４４】左右の道路端１２１，１２２を明確に捕ら
える（検出する）ことができなかった場合（図５の場
合）には、道路端１２１，１２２に代わる代替特徴点１
２６が存在するか否か判断する（ステップＳＴ２４）。
尚、図５の場合、左道路端１２２が明確に検出できなか
ったが、その代替特徴点１２６が存在している。道路端
１２２の代替特徴点１２６が存在しなかった場合には、
白線１２５の推定の失敗となる。
える（検出する）ことができなかった場合（図５の場
合）には、道路端１２１，１２２に代わる代替特徴点１
２６が存在するか否か判断する（ステップＳＴ２４）。
尚、図５の場合、左道路端１２２が明確に検出できなか
ったが、その代替特徴点１２６が存在している。道路端
１２２の代替特徴点１２６が存在しなかった場合には、
白線１２５の推定の失敗となる。
【００４５】道路端１２２の代替特徴点１２６が存在し
た場合（図５の場合）には、次に、画像処理装置は、道
路端１２２に代わる代替特徴点１２６を明確に検出でき
ているか否か判断する（ステップＳＴ２５）。その結
果、代替特徴点１２６を明確に検出できなかった場合に
は、白線１２５の推定の失敗となる。一方、代替特徴点
１２６を明確に検出できた場合には、道路端線に代わっ
て特徴点並び線１２７を推定する（ステップＳＴ２
６）。
た場合（図５の場合）には、次に、画像処理装置は、道
路端１２２に代わる代替特徴点１２６を明確に検出でき
ているか否か判断する（ステップＳＴ２５）。その結
果、代替特徴点１２６を明確に検出できなかった場合に
は、白線１２５の推定の失敗となる。一方、代替特徴点
１２６を明確に検出できた場合には、道路端線に代わっ
て特徴点並び線１２７を推定する（ステップＳＴ２
６）。
【００４６】次に、道路端線１２１、特徴点並び線１２
７及び道路設計パラメータ（図５の場合は検出できた白
線１２３）から白線１２５の位置を推定する（ステップ
ＳＴ２７）。ここで、特徴点並び線１２７は、道路端線
と異なり、白線１２５の推定の基準線となるものではな
い。この特徴点並び線１２７は、道路設計の規格で定ま
っているわけではないので、道路設計パラメータを適用
できないからである。従って、この特徴点並び線１２７
以外の他の線（検出できた白線１２３や道路端線１２
８）を基準線として道路設計パラメータを用いて白線１
２５の推定を行う。
７及び道路設計パラメータ（図５の場合は検出できた白
線１２３）から白線１２５の位置を推定する（ステップ
ＳＴ２７）。ここで、特徴点並び線１２７は、道路端線
と異なり、白線１２５の推定の基準線となるものではな
い。この特徴点並び線１２７は、道路設計の規格で定ま
っているわけではないので、道路設計パラメータを適用
できないからである。従って、この特徴点並び線１２７
以外の他の線（検出できた白線１２３や道路端線１２
８）を基準線として道路設計パラメータを用いて白線１
２５の推定を行う。
【００４７】但し、白線１２５の位置を推定する際に、
特徴点並び線２７と他の線（検出できた白線１２３や道
路端線１２８）との消失点１２９を求め、この消失点１
２９を利用する。即ち、理想的には、白線１２３、道路
端線１２８及び特徴点並び線１２７は、消失点１２９に
集中するので、その消失点１２９を通るように白線１２
５を直線的に位置決めすることができる。
特徴点並び線２７と他の線（検出できた白線１２３や道
路端線１２８）との消失点１２９を求め、この消失点１
２９を利用する。即ち、理想的には、白線１２３、道路
端線１２８及び特徴点並び線１２７は、消失点１２９に
集中するので、その消失点１２９を通るように白線１２
５を直線的に位置決めすることができる。
【００４８】尚、代替特徴点１２６が特定でき、道路設
計パラメータで基準が定まっているもの（例えば、道路
設計上の規格で定まっているガードレールの反射板な
ど）であれば、その代替特徴点１２６の特徴点並び線１
２７を基準線として利用して、白線１２５の位置の推定
を行ってもよい。
計パラメータで基準が定まっているもの（例えば、道路
設計上の規格で定まっているガードレールの反射板な
ど）であれば、その代替特徴点１２６の特徴点並び線１
２７を基準線として利用して、白線１２５の位置の推定
を行ってもよい。
【００４９】そして、上記のように推定した白線１０
５，１０６の位置を白線位置として自動車の走行制御な
どに利用する。
５，１０６の位置を白線位置として自動車の走行制御な
どに利用する。
【００５０】以上のように、この実施の形態３によれ
ば、道路端１２２の検出に失敗した場合に、それに代わ
る代替特徴点１２６の並びを利用して、白線１２５の位
置の推定を行うので、白線１２５の推定失敗の可能性は
低くなる。
ば、道路端１２２の検出に失敗した場合に、それに代わ
る代替特徴点１２６の並びを利用して、白線１２５の位
置の推定を行うので、白線１２５の推定失敗の可能性は
低くなる。
【００５１】また、白線１２５の推定に利用する線の優
先度を、（１）実際に検出した白線１２３、（２）道路
端線１２８、（３）特徴点並び線１２７の順にしたの
で、できる限り、推定した白線１２５の位置の信頼性が
高くなるようになっている。
先度を、（１）実際に検出した白線１２３、（２）道路
端線１２８、（３）特徴点並び線１２７の順にしたの
で、できる限り、推定した白線１２５の位置の信頼性が
高くなるようになっている。
【００５２】尚、上記実施の形態１から実施の形態３で
は、検出できた白線、推定した道路端線及び特徴点並び
線の消失点を用いて白線の推定を行ったが、これに限る
ものではなく、白線を推定した後、各線の消失点（白
線、道路端線及び特徴点並び線の消失点）を求め、これ
ら消失点の集まり具体によって、推定した白線の位置の
精度を確認することもできる。
は、検出できた白線、推定した道路端線及び特徴点並び
線の消失点を用いて白線の推定を行ったが、これに限る
ものではなく、白線を推定した後、各線の消失点（白
線、道路端線及び特徴点並び線の消失点）を求め、これ
ら消失点の集まり具体によって、推定した白線の位置の
精度を確認することもできる。
【００５３】
【発明の効果】以上のように、請求項１記載の発明によ
れば、撮像手段が撮像した画像から道路領域の道路端を
検出し、この道路端から推定した道路端線と道路の規格
として定められている道路設計パラメータから未検出の
白線を推定するので、雨天時に白線を検出することがで
きない場合でも、信頼性高く未検出の白線を推定するこ
とができる効果がある。
れば、撮像手段が撮像した画像から道路領域の道路端を
検出し、この道路端から推定した道路端線と道路の規格
として定められている道路設計パラメータから未検出の
白線を推定するので、雨天時に白線を検出することがで
きない場合でも、信頼性高く未検出の白線を推定するこ
とができる効果がある。
【００５４】請求項２記載の発明によれば、撮像手段が
撮像した画像から白線を検出する白線検出処理と、画像
から道路領域を検出する道路領域検出処理と、道路領域
からの道路端を検出する道路端検出処理と、道路端から
道路端線を推定する道路端線推定処理と、道路端線と道
路設計パラメータから未検出の白線を推定する白線推定
処理とを有するので、上記請求項１と同様、雨天時に、
信頼性高く未検出の白線を推定することができる効果が
ある。
撮像した画像から白線を検出する白線検出処理と、画像
から道路領域を検出する道路領域検出処理と、道路領域
からの道路端を検出する道路端検出処理と、道路端から
道路端線を推定する道路端線推定処理と、道路端線と道
路設計パラメータから未検出の白線を推定する白線推定
処理とを有するので、上記請求項１と同様、雨天時に、
信頼性高く未検出の白線を推定することができる効果が
ある。
【００５５】請求項３記載の発明によれば、撮像手段が
撮像した画像から道路領域を検出する道路領域検出処理
と、道路領域内の白線を検出する白線検出処理と、道路
領域から道路端を検出する道路端検出処理と、道路端か
ら道路端線を推定する道路端線推定処理と、道路端線と
道路設計パラメータから未検出の白線を推定する白線推
定処理とを有するので、予め雨天と判断できる場合に、
白線を検出する範囲を狭くすることができ、処理時間を
短縮することができる効果がある。
撮像した画像から道路領域を検出する道路領域検出処理
と、道路領域内の白線を検出する白線検出処理と、道路
領域から道路端を検出する道路端検出処理と、道路端か
ら道路端線を推定する道路端線推定処理と、道路端線と
道路設計パラメータから未検出の白線を推定する白線推
定処理とを有するので、予め雨天と判断できる場合に、
白線を検出する範囲を狭くすることができ、処理時間を
短縮することができる効果がある。
【００５６】請求項４記載の発明によれば、白線推定処
理において、未検出の白線が道路端線の消失点を通るよ
うにしたので、白線の位置の推定の信頼性を向上させる
ことができるとともに、白線の推定の計算量を削減する
ことができる効果がある。
理において、未検出の白線が道路端線の消失点を通るよ
うにしたので、白線の位置の推定の信頼性を向上させる
ことができるとともに、白線の推定の計算量を削減する
ことができる効果がある。
【００５７】請求項５記載の発明によれば、道路端検出
処理で道路端を検出できなかった場合、道路端の代わり
に代替特徴点を検出し、この代替特徴点から特徴点並び
線を推定し、この特徴点並び線の消失点を利用して未検
出の白線の推定を行うので、白線の推定失敗の可能性は
低くすることができる効果がある。
処理で道路端を検出できなかった場合、道路端の代わり
に代替特徴点を検出し、この代替特徴点から特徴点並び
線を推定し、この特徴点並び線の消失点を利用して未検
出の白線の推定を行うので、白線の推定失敗の可能性は
低くすることができる効果がある。
【００５８】請求項６記載の発明によれば、白線推定処
理において、白線検出処理で検出した白線も未検出の白
線の推定に使用するので、白線の位置の推定の信頼性を
一層向上させることができる効果がある。
理において、白線検出処理で検出した白線も未検出の白
線の推定に使用するので、白線の位置の推定の信頼性を
一層向上させることができる効果がある。
【００５９】請求項７記載の発明によれば、白線推定処
理後、検出した白線、道路端線、または特徴点並び線の
消失点の集まり具合によって、推定した白線の精度を確
認するので、推定した白線の位置の精度を確認すること
もできる効果がある。
理後、検出した白線、道路端線、または特徴点並び線の
消失点の集まり具合によって、推定した白線の精度を確
認するので、推定した白線の位置の精度を確認すること
もできる効果がある。
【図１】 この発明の実施の形態１による画像処理方法
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
【図２】 この発明の実施の形態１による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図３】 この発明の実施の形態２による画像処理方法
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
【図４】 この発明の実施の形態２による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図５】 この発明の実施の形態３による画像処理方法
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
を説明するための雨天時に車載カメラが撮像した画像例
を示す図である。
【図６】 この発明の実施の形態３による画像処理方法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図７】 従来における車載カメラが撮像した画像例を
示す図である。
示す図である。
【図８】 白線が水面の反射により検出できない場合の
具体例を示す図である。
具体例を示す図である。
【図９】 先行車のタイヤ跡を白線と誤検出する場合の
具体例を示す図である。
具体例を示す図である。
１００，１１０，１２０ 道路領域 １０１，１０２，１１１，１１２，１２１，１２２ 道
路端 １０３，１０４，１１３，１１４，１２３，１２４ 白
線 １０５，１０６，１１５，１２５ 推定した白線 １０７，１０８，１１６，１１７，１２８ 道路端線 １０９，１１８，１２９ 消失点 １２６ 代替特徴点 １２７ 特徴点並び線
路端 １０３，１０４，１１３，１１４，１２３，１２４ 白
線 １０５，１０６，１１５，１２５ 推定した白線 １０７，１０８，１１６，１１７，１２８ 道路端線 １０９，１１８，１２９ 消失点 １２６ 代替特徴点 １２７ 特徴点並び線
───────────────────────────────────────────────────── フロントページの続き (72)発明者 勝野 有二 神奈川県横浜市神奈川区新浦島町１丁目 １番地25 日本電気ロボットエンジニア リング株式会社内 (56)参考文献 特開 平10−40379（ＪＰ，Ａ) 特開 平５−334595（ＪＰ，Ａ) 特開 平２−90379（ＪＰ，Ａ) 特開 平８−87700（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G08G 1/16 G05D 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (6)
- 【請求項１】 撮像手段が撮像した画像から白線を検出
する白線検出処理と、 上記画像から道路領域を検出する道路領域検出処理と、 上記道路領域からの道路端を検出する道路端検出処理
と、 上記道路端から道路端線を推定する道路端線推定処理
と、 上記道路端線と道路設計パラメータから未検出の白線を
推定する白線推定処理とからなる画像処理方法。 - 【請求項２】 撮像手段が撮像した画像から道路領域を
検出する道路領域検出処理と、 上記道路領域内の白線を検出する白線検出処理と、 上記道路領域から道路端を検出する道路端検出処理と、 上記道路端から道路端線を推定する道路端線推定処理
と、 上記道路端線と道路設計パラメータから未検出の白線を
推定する白線推定処理とからなる画像処理方法。 - 【請求項３】 白線推定処理において、未検出の白線が
道路端線の消失点を通るようにした請求項１または請求
項２記載の画像処理方法。 - 【請求項４】 道路端検出処理で道路端を検出できなか
った場合、道路端の代わりに代替特徴点を検出し、この
代替特徴点から特徴点並び線を推定し、この特徴点並び
線の消失点を利用して未検出の白線の推定を行うことを
特徴とする請求項３記載の画像処理方法。 - 【請求項５】 白線推定処理において、白線検出処理で
検出した白線も未検出の白線の推定に使用する請求項１
から請求項４のうちのいずれか１項記載の画像処理方
法。 - 【請求項６】 白線推定処理後、検出した白線、道路端
線、または特徴点並び線の消失点の集まり具合によっ
て、推定した白線の精度を確認する請求項１から請求項
５のうちのいずれか１項記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29948898A JP3199037B2 (ja) | 1998-10-21 | 1998-10-21 | 画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29948898A JP3199037B2 (ja) | 1998-10-21 | 1998-10-21 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000132677A JP2000132677A (ja) | 2000-05-12 |
| JP3199037B2 true JP3199037B2 (ja) | 2001-08-13 |
Family
ID=17873228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29948898A Expired - Fee Related JP3199037B2 (ja) | 1998-10-21 | 1998-10-21 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3199037B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003289468A (ja) * | 2002-03-28 | 2003-10-10 | Sanyo Electric Co Ltd | 撮像装置 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1398601A3 (en) | 2002-09-13 | 2014-05-07 | Canon Kabushiki Kaisha | Head up display for navigation purposes in a vehicle |
| JP4250391B2 (ja) * | 2002-09-13 | 2009-04-08 | キヤノン株式会社 | 指標検出装置、指標検出方法 |
| JP4114587B2 (ja) * | 2003-09-29 | 2008-07-09 | 株式会社デンソー | 自車走行位置検出装置及びプログラム |
| JP3931891B2 (ja) * | 2004-07-05 | 2007-06-20 | 日産自動車株式会社 | 車載用画像処理装置 |
| JP4650479B2 (ja) * | 2007-11-22 | 2011-03-16 | アイシン・エィ・ダブリュ株式会社 | 道路標高推測装置 |
| JP2010160567A (ja) * | 2009-01-06 | 2010-07-22 | Pioneer Electronic Corp | 消失点特定装置、消失点特定方法及び消失点特定プログラム |
| JP5888275B2 (ja) * | 2013-03-29 | 2016-03-16 | アイシン・エィ・ダブリュ株式会社 | 道路端検出システム、方法およびプログラム |
| JP6567659B2 (ja) * | 2015-05-07 | 2019-08-28 | 株式会社日立製作所 | レーン検出装置およびレーン検出方法 |
| EP3486133B1 (en) * | 2016-07-12 | 2023-05-10 | Nissan Motor Co., Ltd. | Travel control method and travel control device |
| JP2018090203A (ja) * | 2016-12-07 | 2018-06-14 | トヨタ自動車株式会社 | 車両運転支援装置 |
| JP6977887B2 (ja) * | 2018-06-27 | 2021-12-08 | 日本電信電話株式会社 | レーン推定装置、方法およびプログラム |
-
1998
- 1998-10-21 JP JP29948898A patent/JP3199037B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003289468A (ja) * | 2002-03-28 | 2003-10-10 | Sanyo Electric Co Ltd | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000132677A (ja) | 2000-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8520954B2 (en) | Apparatus for detecting lane-marking on road | |
| JP3199037B2 (ja) | 画像処理方法 | |
| US20200049513A1 (en) | Positioning system | |
| JP3630100B2 (ja) | 車線検出装置 | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| US10864901B2 (en) | Vehicle travel control system | |
| US7656277B2 (en) | Apparatus for detecting the presence of fog for automotive vehicle | |
| US20060220912A1 (en) | Sensing apparatus for vehicles | |
| US20050228587A1 (en) | Lane detection apparatus | |
| JP2004531424A (ja) | 車用の感知装置 | |
| EP2416303B1 (en) | Method for forming a road mark | |
| JP4541609B2 (ja) | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 | |
| EP3410146A1 (en) | Determining objects of interest for active cruise control | |
| JP3293441B2 (ja) | 撮像装置 | |
| US20020067292A1 (en) | Multisensory correlation of traffic lanes | |
| EP3211618A1 (en) | Adjacent lane verification for an automated vehicle | |
| JP3726754B2 (ja) | 先行車判定方法 | |
| JP3351247B2 (ja) | 走行制御装置 | |
| US10970870B2 (en) | Object detection apparatus | |
| JP2004247979A (ja) | 車載用カメラ装置 | |
| JP3192882B2 (ja) | 車両検知装置 | |
| JP4033106B2 (ja) | 車両用測距性能低下検出装置 | |
| JP2008129867A (ja) | 運転支援装置 | |
| JP4296076B2 (ja) | 走行車線認識装置 | |
| US20210209947A1 (en) | Traffic lane position information output device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |