JP3737935B2 - 車載用画像処理カメラ装置 - Google Patents
車載用画像処理カメラ装置 Download PDFInfo
- Publication number
- JP3737935B2 JP3737935B2 JP2000180122A JP2000180122A JP3737935B2 JP 3737935 B2 JP3737935 B2 JP 3737935B2 JP 2000180122 A JP2000180122 A JP 2000180122A JP 2000180122 A JP2000180122 A JP 2000180122A JP 3737935 B2 JP3737935 B2 JP 3737935B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- distance
- detected
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の車線逸脱防止に使用される、車載用画像処理カメラ装置に関する。
【０００２】
【従来の技術】
従来より、車載カメラ等により車両前方や側方の画像を取得して、画像内の撮影対象物、例えば、道路上の走行車線である白線を検出して、車両の走行を制御するシステムや走行中の危険回避のための警報を出力するシステムが提案されている。
【０００３】
このシステムのうち、例えば、特開平１１−２０３４４６号公報に記載の技術は、雨等により路面が濡れた場合に、濡れた部分からの反射光や轍の部分に溜まった水の水面からの反射光により、その部分を道路上の走行車線である白線と誤認識しないように、取得した画像から所望の撮影対象のみを正確に抽出しようとするものである。
【０００４】
また、車両の車線の認識装置として、例えば、特開平１０−１１５８０号公報、特開平８−３１５１２５号公報、特開平８−３２０９９７号公報等に記載された技術がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術にあっては、道路上の白線検出に注目して制御を行う技術であり、白線の引かれていない道路上や、積雪のある道路、整備されていない道路（林道や平原）については、対象とされていなかった。
【０００６】
したがって、走行車線である白線が形成されていない道路では、車両の走行制御や逸脱警報等を行うことができなかった。
【０００７】
また、白線が形成されている道路であっても、轍が残されている場合には、それを走行車線と判断する場合が考えられ、その轍を走行車線と判断した場合には、その轍の内部に車両を位置させるように車両が制御されるため、安定した走行制御が困難となる可能性がある。
【０００８】
本発明の目的は、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することである。
【０００９】
本発明は上記の目的を達成するため、次のように構成される。
（１）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、自車両の車両幅又は車輪幅と、検出した道路上の車両走行線間の幅との偏差に基づいて、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有する。
（２）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有する。
【００１０】
（３）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離と自車両の車両幅又は車輪幅との偏差に基づいて、走行車線であるか車両の轍であるかを判断する機能を有する。
【００１１】
（４）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、上記撮像データから、自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差を算出し、算出した偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する手順が記録されている。
【００１２】
（５）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、上記撮像データと、上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離が自車両の車両幅又は車輪幅より小か否かを判断して、走行車線であるか道路上の轍であるかを判断する手順が記録されている。
（６）好ましくは、上記（２）において、検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離以上であるときは、検出した車両走行線を走行車線と判断し、検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離未満であるときは、検出した車両走行線を道路上の轍と判断する機能を有する。
（７）また、好ましくは、上記（３）において、検出した車両走行線間の距離を、上記車両の車両幅又は車輪幅に基づいて定めた規定値と比較し、検出した車両走行線間の距離が、上記規定値より大きいときは、検出した車両走行線を走行車線と判断し、検出した車両走行線間の距離が、上記規定値以下であるときは、検出した車両走行線を道路上の轍と判断する。
【００１３】
予め既知である自車両の特徴点を検出し、検出した車線幅と上記特徴点との相関関係から、検出した車線が道路上の白線か轍かを判断する。
【００１４】
また、撮像手段の既知である光軸や画角と、検出した車線幅との相関関係から、検出した車線が道路上の白線か轍かを判断する。
【００１５】
これにより、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００１６】
【発明の実施の形態】
図１は、本発明の一実施形態である車載用画像処理カメラ装置を車両に搭載した状態の全体構成図である。
図１において、自車両１には車外の環境を撮像する画像センサ（カメラ（撮像手段カメラ））２が設置されている。また、ボンネット脇の両側のフェンダーには、それぞれのその位置が画像センサ２の撮像エリア内に入るように、２つのマーク３が固定されている。
【００１７】
図２は、画像センサ２の内部構成機能ブロック図である。
図２において、車外の環境を撮像する撮像素子１０で撮像した画像をデジタル出力する映像信号変換部１１からの信号は、画素単位の画像データを取り込む画像メモリ１２に記憶される。
【００１８】
そして、この画像メモリ１２に記憶された画像データは、車線抽出を行う車線抽出手段１３とマーク抽出手段１４とに入力される。
【００１９】
これら車線抽出手段１３及びマーク抽出手段１４からの出力信号は、位置判断手段１５に入力される。そして、位置判断手段１５にて、マーク位置と車線位置との関係が演算され、検出モード決定手段１６で、検出した車線データが、道路白線なのか轍なのかが決定される。
【００２０】
この検出モード決定手段１６で、決定された情報を基に、車線逸脱判断手段１７で処理が実行され、逸脱判定と判断されると、警告手段１８にて、車線逸脱警告が発せられる。
【００２１】
図３は、自車両１内から見た前方映像のイメージ図である。画像センサ２が捉える領域は、エリア２０に囲まれた範囲であり、図３では、左側車線２１ａ、右側車線２２ａ、マーク３を含む、自車両１のフェンダーを含むボンネットの一部である。
【００２２】
また、エリア２３は、図２に示した車線抽出手段１３とマーク抽出手段１４とが使用する領域を示している。
【００２３】
図４は、図３と同様に自車両１の前方映像のイメージ図である。図３と図４との相違点は、左側車線２１ｂと右側車線２２ｂとの位置関係のみである。これは、図３は、道路上の白線を検出したイメージであり、図４は、車両の通過した跡に出来る轍のイメージである。
【００２４】
図５は、エリア２３の画像の拡大図を示している。
図５において、検出ライン３０、３１は、それぞれ車線２１ａ、２１ｂ、２２ａ、２２ｂのエッジを検出するラインと、マーク３のエッジを検出するラインとを示しており、その検出結果を合成して示したものが、信号３２である。
【００２５】
また、図５において、（Ａ）、（Ｂ）とあるのは、図５の（Ａ）が、図３場合における車線検出イメージであり、図５の（Ｂ）が、図４の場合における轍検出イメージである。
【００２６】
ここで、２つのマーク３の互いのエッジの中心線どおしの距離を示すものが「Ｈ１」であり、車線２１ａ（２１ｂ）と車線２２ａ（２２ｂ）の互いのエッジの中心線どおしの距離を示すものが「Ｈ２」である。
【００２７】
画像センサ２に、一般に広く普及しているＣＣＤ撮像素子を使用したと想定すると、使用するセンサ２の画素数の値が既知である事と、使用するレンズの画角、光軸が既知である事、並びに、自車両１のマーク３の間隔が既知である事から、容易に距離「Ｈ１」、「Ｈ２」の実寸法を算出する事が可能である。
【００２８】
図５の（Ａ）では、「Ｈ１」よりも「Ｈ２」の方が距離が大である（Ｈ２＞Ｈ１）事が判り、図５の（Ｂ）では、「Ｈ１」の方が「Ｈ２」よりも距離が大である（Ｈ１＞Ｈ２）事が判る。
【００２９】
一般に、車両の車輪幅よりも十分広く白線が路上に引かれるため、この距離関係に着目すれば、道路上の車線を検出した場合、検出した車線が、道路白線なのか、車両の轍なのかの判断は容易である。
【００３０】
以下、検出した車線が、道路白線なのか車両の轍なのかの判断方法について述べる。
図６は、図２の位置判断手段１５の内部処理を示すフローチャートである。
【００３１】
図６において、まず、ステップ１５１で、検出ライン３０の信号レベル抽出を実施し、車線の信号レベルを入手する。次の、ステップ１５２では、検出ライン３１の信号レベル抽出を行い、マーク３の信号レベルを入手する。
【００３２】
続いて、ステップ１５３で、入手した各々の信号レベルのエッジ抽出処理を行い、ステップ１５４で、距離「Ｈ１」の測定を実施し、ステップ１５５で、距離「Ｈ２」の測定を実施して終了する。
【００３３】
図７は、図２の検出モード決定手段１６の内部フローチャートである。
図７において、図６に示したフローチャートの処理を完了した後、距離測定結果である、距離「Ｈ１」、「Ｈ２」の相関をステップ１６１で調べる。
【００３４】
このステップ１６１において、距離「Ｈ１」の方が距離「Ｈ２」よりも大きければ、つまり、検出した車線が、マーク３とマーク３との内側である場合は、検出した車線は、轍であると判断し、ステップ１６２で、轍検出モードが選択される。
【００３５】
逆に、距離「Ｈ２」の方が距離「Ｈ１」よりも大きければ、検出した車線は、道路白線であると判断され、ステップ１６３で白線検出モードが選択される。その後、図２に示した車線逸脱判断手段１７により、逸脱判断される。
【００３６】
この場合、車線逸脱判定基準が、図７に示したステップ１６２であるかステップ１６３であるかが切り替えられるということを除き、車線逸脱の判定処理そのものは、本発明と特に関係ないので、割愛する。
【００３７】
なお、上述した例は、自車両１にマーク３を設置したが、マーク以外のもの、例えば、サイドミラー等を自車両上の複数の特徴点として設定し、これらの特徴点に基づいて、白線か轍かの判定を行うように構成することもできる。
【００３８】
また、マーク３等の特徴点が自車両１に設置されていない場合でも、本発明は適用可能である。
【００３９】
ここで、自車両１にマーク３が設置されていない場合を想定する。
マーク３が無い場合には、基準となる比較距離データが無くなる訳であるが、自車両１に取り付けられる画像センサ２の取り付け位置情報と、光軸と画角の情報とが既知であれば、三角関数を用いれば、車線と車線との距離測定は容易に実現可能である。
【００４０】
図８は、マーク３が無い場合の自車両１前方のイメージ図である。
図８において、予め、検出した車線間の位置関係を切り出すエリア２３を決めておけば、前述した画像センサ２の取り付け位置情報と、光軸と画角の情報とから、車線間の距離の測定は可能である。
【００４１】
したがって、図９に示すように、「Ｈ３」を測定することで、検出した車線間の距離を計測することができる。
【００４２】
図１０にその検出フローチャートを示すが、この図１０に示したフローチャートのステップ１５０１〜１５０３は、基本的な処理内容は、上述した図６のステップ１５１、１５３、１５５と同様なので、その詳細な説明は割愛する。
【００４３】
図１１は、図１０で検出した距離「Ｈ３」に基づいて、道路白線であるのか轍であるのかを判断する処理フロチャートである。
【００４４】
図１１において、自車両１の車幅（一般の車両であれば、道路白線に対し、十分狭い）は、予め既知であるので、ステップ１６０１で、設定した規定値よりも距離「Ｈ３」が大きければ、道路白線と判断し、ステップ１６０２で白線検出モードに設定する。
【００４５】
ステップ１６０１で、設定した規定値よりも距離「Ｈ３」が小さければ、ステップ１６０３で、轍検出モードに設定する。
【００４６】
このように、設定することで、白線検出モードと轍検出モードとを切り替えることが可能である。
【００４７】
以上のように、本発明の一実施形態によれば、検出した車線間の距離が、所定距離より大か小かにより、検出車線が、走行車線（白線）か轍であるかを判断し、いずれかに適した車線逸脱判断処理を行うように構成したので、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００４８】
本発明の他の実施形態としては、上述した車載用画像処理カメラ装置の車線判断処理プログラムが記録された記録媒体がある。
つまり、車両１に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する処理手順記録媒体において、画像センサ２により得られた撮像データから、自車両１上のマーク３又はその他の複数の特徴点と、道路上の車両走行線とを検出する。
【００４９】
そして、検出した車両走行線と、自車両上の複数の特徴点との偏差を算出し、算出した偏差から、検出した道路上の走行線が、走行車線であるか車両の轍であるかを判断する手順（プログラム）が記録されている処理手順記録媒体も本発明の他の実施形態である。
【００５０】
また、車両１に搭載される撮像手段２からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、撮像手段２により得られた撮像データと、撮像手段２の自車両１への取り付け位置からの光軸や画角とにより、検出した道路上の車両走行線が所定距離より小か否かを判断して、走行車線であるか車両の轍であるかを判断する手順が記録されている処理手順記録媒体も本発明のさらに他の実施形態である。
【００５１】
なお、上述した例においては、自車両１が車線を逸脱した場合には、警報を行う例について説明したが、検出した車線に基づいて、自動的にステアリングを制御することも可能である。
【００５２】
また、上述した例においては、車両走行線を白線としたが、白線のみならず、例えば、黄色い線や縁石等であって、車両の走行線を示すものであれば、本発明は適用可能である。
【００５３】
【発明の効果】
以上のように、本発明によれば、検出した車線が、道路白線か轍であるかを判断して車線逸脱判断処理を行うように構成することにより、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００５４】
また、本発明によれば、より範囲の広い車線に対応可能となるので、整備された道路のみならず、積雪で、轍がついた雪道、草原についた車両の轍、林道などを走行中においても車線逸脱を警告できるようになるので、より安全に車両を運行させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である車載用画像処理カメラ装置を車両に搭載した状態の全体構成図である。
【図２】本発明の一実施形態における画像センサの内部構成図である。
【図３】本発明の一実施形態における白線を検知する場合の画像イメージ図である。
【図４】本発明の一実施形態における轍を検知する場合の画像イメージ図である。
【図５】本発明の一実施形態における白線か轍かの判断処理の説明図である。
【図６】本発明の一実施形態における白線か轍かの判断処理の動作フローチャートである。
【図７】本発明の一実施形態における判断処理の動作フローチャートである。
【図８】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作説明図である。
【図９】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作説明図である。
【図１０】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作フローチャートである。
【図１１】本発明の一実施形態においてマークが形成されていない場合の車線検出判断の動作フローチャートである。
【符号の説明】
１ 自車両
２ 画像センサ
３ マーク
１０ 撮像素子
１１ 映像信号変換部
１２ 画像メモリ
１３ 車線抽出手段
１４ マーク抽出手段
１５ 位置判断手段
１６ 検出モード決定手段
１７ 車線逸脱判断手段
１８ 警報手段
２０ 撮像エリア
２１ａ〜２２ｂ 検出した車線データイメージ、
２３ 車線データの距離を検出するエリア
３０、３１ 検出ライン
【発明の属する技術分野】
本発明は、車両の車線逸脱防止に使用される、車載用画像処理カメラ装置に関する。
【０００２】
【従来の技術】
従来より、車載カメラ等により車両前方や側方の画像を取得して、画像内の撮影対象物、例えば、道路上の走行車線である白線を検出して、車両の走行を制御するシステムや走行中の危険回避のための警報を出力するシステムが提案されている。
【０００３】
このシステムのうち、例えば、特開平１１−２０３４４６号公報に記載の技術は、雨等により路面が濡れた場合に、濡れた部分からの反射光や轍の部分に溜まった水の水面からの反射光により、その部分を道路上の走行車線である白線と誤認識しないように、取得した画像から所望の撮影対象のみを正確に抽出しようとするものである。
【０００４】
また、車両の車線の認識装置として、例えば、特開平１０−１１５８０号公報、特開平８−３１５１２５号公報、特開平８−３２０９９７号公報等に記載された技術がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術にあっては、道路上の白線検出に注目して制御を行う技術であり、白線の引かれていない道路上や、積雪のある道路、整備されていない道路（林道や平原）については、対象とされていなかった。
【０００６】
したがって、走行車線である白線が形成されていない道路では、車両の走行制御や逸脱警報等を行うことができなかった。
【０００７】
また、白線が形成されている道路であっても、轍が残されている場合には、それを走行車線と判断する場合が考えられ、その轍を走行車線と判断した場合には、その轍の内部に車両を位置させるように車両が制御されるため、安定した走行制御が困難となる可能性がある。
【０００８】
本発明の目的は、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することである。
【０００９】
本発明は上記の目的を達成するため、次のように構成される。
（１）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、自車両の車両幅又は車輪幅と、検出した道路上の車両走行線間の幅との偏差に基づいて、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有する。
（２）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有する。
【００１０】
（３）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離と自車両の車両幅又は車輪幅との偏差に基づいて、走行車線であるか車両の轍であるかを判断する機能を有する。
【００１１】
（４）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、上記撮像データから、自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差を算出し、算出した偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する手順が記録されている。
【００１２】
（５）車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、上記撮像データと、上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離が自車両の車両幅又は車輪幅より小か否かを判断して、走行車線であるか道路上の轍であるかを判断する手順が記録されている。
（６）好ましくは、上記（２）において、検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離以上であるときは、検出した車両走行線を走行車線と判断し、検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離未満であるときは、検出した車両走行線を道路上の轍と判断する機能を有する。
（７）また、好ましくは、上記（３）において、検出した車両走行線間の距離を、上記車両の車両幅又は車輪幅に基づいて定めた規定値と比較し、検出した車両走行線間の距離が、上記規定値より大きいときは、検出した車両走行線を走行車線と判断し、検出した車両走行線間の距離が、上記規定値以下であるときは、検出した車両走行線を道路上の轍と判断する。
【００１３】
予め既知である自車両の特徴点を検出し、検出した車線幅と上記特徴点との相関関係から、検出した車線が道路上の白線か轍かを判断する。
【００１４】
また、撮像手段の既知である光軸や画角と、検出した車線幅との相関関係から、検出した車線が道路上の白線か轍かを判断する。
【００１５】
これにより、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００１６】
【発明の実施の形態】
図１は、本発明の一実施形態である車載用画像処理カメラ装置を車両に搭載した状態の全体構成図である。
図１において、自車両１には車外の環境を撮像する画像センサ（カメラ（撮像手段カメラ））２が設置されている。また、ボンネット脇の両側のフェンダーには、それぞれのその位置が画像センサ２の撮像エリア内に入るように、２つのマーク３が固定されている。
【００１７】
図２は、画像センサ２の内部構成機能ブロック図である。
図２において、車外の環境を撮像する撮像素子１０で撮像した画像をデジタル出力する映像信号変換部１１からの信号は、画素単位の画像データを取り込む画像メモリ１２に記憶される。
【００１８】
そして、この画像メモリ１２に記憶された画像データは、車線抽出を行う車線抽出手段１３とマーク抽出手段１４とに入力される。
【００１９】
これら車線抽出手段１３及びマーク抽出手段１４からの出力信号は、位置判断手段１５に入力される。そして、位置判断手段１５にて、マーク位置と車線位置との関係が演算され、検出モード決定手段１６で、検出した車線データが、道路白線なのか轍なのかが決定される。
【００２０】
この検出モード決定手段１６で、決定された情報を基に、車線逸脱判断手段１７で処理が実行され、逸脱判定と判断されると、警告手段１８にて、車線逸脱警告が発せられる。
【００２１】
図３は、自車両１内から見た前方映像のイメージ図である。画像センサ２が捉える領域は、エリア２０に囲まれた範囲であり、図３では、左側車線２１ａ、右側車線２２ａ、マーク３を含む、自車両１のフェンダーを含むボンネットの一部である。
【００２２】
また、エリア２３は、図２に示した車線抽出手段１３とマーク抽出手段１４とが使用する領域を示している。
【００２３】
図４は、図３と同様に自車両１の前方映像のイメージ図である。図３と図４との相違点は、左側車線２１ｂと右側車線２２ｂとの位置関係のみである。これは、図３は、道路上の白線を検出したイメージであり、図４は、車両の通過した跡に出来る轍のイメージである。
【００２４】
図５は、エリア２３の画像の拡大図を示している。
図５において、検出ライン３０、３１は、それぞれ車線２１ａ、２１ｂ、２２ａ、２２ｂのエッジを検出するラインと、マーク３のエッジを検出するラインとを示しており、その検出結果を合成して示したものが、信号３２である。
【００２５】
また、図５において、（Ａ）、（Ｂ）とあるのは、図５の（Ａ）が、図３場合における車線検出イメージであり、図５の（Ｂ）が、図４の場合における轍検出イメージである。
【００２６】
ここで、２つのマーク３の互いのエッジの中心線どおしの距離を示すものが「Ｈ１」であり、車線２１ａ（２１ｂ）と車線２２ａ（２２ｂ）の互いのエッジの中心線どおしの距離を示すものが「Ｈ２」である。
【００２７】
画像センサ２に、一般に広く普及しているＣＣＤ撮像素子を使用したと想定すると、使用するセンサ２の画素数の値が既知である事と、使用するレンズの画角、光軸が既知である事、並びに、自車両１のマーク３の間隔が既知である事から、容易に距離「Ｈ１」、「Ｈ２」の実寸法を算出する事が可能である。
【００２８】
図５の（Ａ）では、「Ｈ１」よりも「Ｈ２」の方が距離が大である（Ｈ２＞Ｈ１）事が判り、図５の（Ｂ）では、「Ｈ１」の方が「Ｈ２」よりも距離が大である（Ｈ１＞Ｈ２）事が判る。
【００２９】
一般に、車両の車輪幅よりも十分広く白線が路上に引かれるため、この距離関係に着目すれば、道路上の車線を検出した場合、検出した車線が、道路白線なのか、車両の轍なのかの判断は容易である。
【００３０】
以下、検出した車線が、道路白線なのか車両の轍なのかの判断方法について述べる。
図６は、図２の位置判断手段１５の内部処理を示すフローチャートである。
【００３１】
図６において、まず、ステップ１５１で、検出ライン３０の信号レベル抽出を実施し、車線の信号レベルを入手する。次の、ステップ１５２では、検出ライン３１の信号レベル抽出を行い、マーク３の信号レベルを入手する。
【００３２】
続いて、ステップ１５３で、入手した各々の信号レベルのエッジ抽出処理を行い、ステップ１５４で、距離「Ｈ１」の測定を実施し、ステップ１５５で、距離「Ｈ２」の測定を実施して終了する。
【００３３】
図７は、図２の検出モード決定手段１６の内部フローチャートである。
図７において、図６に示したフローチャートの処理を完了した後、距離測定結果である、距離「Ｈ１」、「Ｈ２」の相関をステップ１６１で調べる。
【００３４】
このステップ１６１において、距離「Ｈ１」の方が距離「Ｈ２」よりも大きければ、つまり、検出した車線が、マーク３とマーク３との内側である場合は、検出した車線は、轍であると判断し、ステップ１６２で、轍検出モードが選択される。
【００３５】
逆に、距離「Ｈ２」の方が距離「Ｈ１」よりも大きければ、検出した車線は、道路白線であると判断され、ステップ１６３で白線検出モードが選択される。その後、図２に示した車線逸脱判断手段１７により、逸脱判断される。
【００３６】
この場合、車線逸脱判定基準が、図７に示したステップ１６２であるかステップ１６３であるかが切り替えられるということを除き、車線逸脱の判定処理そのものは、本発明と特に関係ないので、割愛する。
【００３７】
なお、上述した例は、自車両１にマーク３を設置したが、マーク以外のもの、例えば、サイドミラー等を自車両上の複数の特徴点として設定し、これらの特徴点に基づいて、白線か轍かの判定を行うように構成することもできる。
【００３８】
また、マーク３等の特徴点が自車両１に設置されていない場合でも、本発明は適用可能である。
【００３９】
ここで、自車両１にマーク３が設置されていない場合を想定する。
マーク３が無い場合には、基準となる比較距離データが無くなる訳であるが、自車両１に取り付けられる画像センサ２の取り付け位置情報と、光軸と画角の情報とが既知であれば、三角関数を用いれば、車線と車線との距離測定は容易に実現可能である。
【００４０】
図８は、マーク３が無い場合の自車両１前方のイメージ図である。
図８において、予め、検出した車線間の位置関係を切り出すエリア２３を決めておけば、前述した画像センサ２の取り付け位置情報と、光軸と画角の情報とから、車線間の距離の測定は可能である。
【００４１】
したがって、図９に示すように、「Ｈ３」を測定することで、検出した車線間の距離を計測することができる。
【００４２】
図１０にその検出フローチャートを示すが、この図１０に示したフローチャートのステップ１５０１〜１５０３は、基本的な処理内容は、上述した図６のステップ１５１、１５３、１５５と同様なので、その詳細な説明は割愛する。
【００４３】
図１１は、図１０で検出した距離「Ｈ３」に基づいて、道路白線であるのか轍であるのかを判断する処理フロチャートである。
【００４４】
図１１において、自車両１の車幅（一般の車両であれば、道路白線に対し、十分狭い）は、予め既知であるので、ステップ１６０１で、設定した規定値よりも距離「Ｈ３」が大きければ、道路白線と判断し、ステップ１６０２で白線検出モードに設定する。
【００４５】
ステップ１６０１で、設定した規定値よりも距離「Ｈ３」が小さければ、ステップ１６０３で、轍検出モードに設定する。
【００４６】
このように、設定することで、白線検出モードと轍検出モードとを切り替えることが可能である。
【００４７】
以上のように、本発明の一実施形態によれば、検出した車線間の距離が、所定距離より大か小かにより、検出車線が、走行車線（白線）か轍であるかを判断し、いずれかに適した車線逸脱判断処理を行うように構成したので、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００４８】
本発明の他の実施形態としては、上述した車載用画像処理カメラ装置の車線判断処理プログラムが記録された記録媒体がある。
つまり、車両１に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する処理手順記録媒体において、画像センサ２により得られた撮像データから、自車両１上のマーク３又はその他の複数の特徴点と、道路上の車両走行線とを検出する。
【００４９】
そして、検出した車両走行線と、自車両上の複数の特徴点との偏差を算出し、算出した偏差から、検出した道路上の走行線が、走行車線であるか車両の轍であるかを判断する手順（プログラム）が記録されている処理手順記録媒体も本発明の他の実施形態である。
【００５０】
また、車両１に搭載される撮像手段２からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、撮像手段２により得られた撮像データと、撮像手段２の自車両１への取り付け位置からの光軸や画角とにより、検出した道路上の車両走行線が所定距離より小か否かを判断して、走行車線であるか車両の轍であるかを判断する手順が記録されている処理手順記録媒体も本発明のさらに他の実施形態である。
【００５１】
なお、上述した例においては、自車両１が車線を逸脱した場合には、警報を行う例について説明したが、検出した車線に基づいて、自動的にステアリングを制御することも可能である。
【００５２】
また、上述した例においては、車両走行線を白線としたが、白線のみならず、例えば、黄色い線や縁石等であって、車両の走行線を示すものであれば、本発明は適用可能である。
【００５３】
【発明の効果】
以上のように、本発明によれば、検出した車線が、道路白線か轍であるかを判断して車線逸脱判断処理を行うように構成することにより、道路上に走行車線が無い環境においても、安定して車両の走行制御を行い、車線逸脱防止を行うことが可能な車載用画像処理カメラ装置を実現することができる。
【００５４】
また、本発明によれば、より範囲の広い車線に対応可能となるので、整備された道路のみならず、積雪で、轍がついた雪道、草原についた車両の轍、林道などを走行中においても車線逸脱を警告できるようになるので、より安全に車両を運行させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である車載用画像処理カメラ装置を車両に搭載した状態の全体構成図である。
【図２】本発明の一実施形態における画像センサの内部構成図である。
【図３】本発明の一実施形態における白線を検知する場合の画像イメージ図である。
【図４】本発明の一実施形態における轍を検知する場合の画像イメージ図である。
【図５】本発明の一実施形態における白線か轍かの判断処理の説明図である。
【図６】本発明の一実施形態における白線か轍かの判断処理の動作フローチャートである。
【図７】本発明の一実施形態における判断処理の動作フローチャートである。
【図８】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作説明図である。
【図９】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作説明図である。
【図１０】本発明の一実施形態においてマークが形成されていない場合の車線検出の動作フローチャートである。
【図１１】本発明の一実施形態においてマークが形成されていない場合の車線検出判断の動作フローチャートである。
【符号の説明】
１ 自車両
２ 画像センサ
３ マーク
１０ 撮像素子
１１ 映像信号変換部
１２ 画像メモリ
１３ 車線抽出手段
１４ マーク抽出手段
１５ 位置判断手段
１６ 検出モード決定手段
１７ 車線逸脱判断手段
１８ 警報手段
２０ 撮像エリア
２１ａ〜２２ｂ 検出した車線データイメージ、
２３ 車線データの距離を検出するエリア
３０、３１ 検出ライン
Claims (7)
- 車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、
自車両の車両幅又は車輪幅と、検出した道路上の車両走行線間の幅との偏差に基づいて、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有することを特徴とする車載用画像処理カメラ装置。 - 車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、
自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する機能を有することを特徴とする車載用画像処理カメラ装置。 - 車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車載用画像処理カメラ装置において、
上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離と自車両の車両幅又は車輪幅との偏差に基づいて、走行車線であるか車両の轍であるかを判断する機能を有することを特徴とする車載用画像処理カメラ装置。 - 車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、
上記撮像データから、自車両上の複数の特徴点間の距離と、道路上の車両走行線間の距離とを検出し、
検出した車両走行線間の距離と、自車両上の複数の特徴点間の距離との偏差を算出し、算出した偏差から、検出した道路上の走行線が、走行車線であるか道路上の轍であるかを判断する手順が記録されていることを特徴とする車載用画像処理カメラ装置の処理手順記録媒体。 - 車両に搭載される撮像手段からの撮像データにより、道路上の車両走行線を検出する車両走行線検出判断処理手順を記録する、車載用画像処理カメラ装置の処理手順記録媒体において、
上記撮像データと、上記撮像手段の自車両への取り付け位置からの光軸及び画角により、道路上の車両走行線間の距離を検出し、検出した車両走行線間の距離が自車両の車両幅又は車輪幅より小か否かを判断して、走行車線であるか道路上の轍であるかを判断する手順が記録されていることを特徴とする車載用画像処理カメラ装置の処理記録媒体。 - 請求項２記載の車載用画像処理カメラ装置において、
検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離以上であるときは、検出した車両走行線を走行車線と判断し、
検出した車両走行線間の距離が、自車両上の複数の特徴点間の距離未満であるときは、検出した車両走行線を道路上の轍と判断する機能を有することを特徴とする車載用画像処理カメラ装置。 - 請求項３記載の車載用画像処理カメラ装置において、
検出した車両走行線間の距離を、上記車両の車両幅又は車輪幅に基づいて定めた規定値と比較し、
検出した車両走行線間の距離が、上記規定値より大きいときは、検出した車両走行線を走行車線と判断し、
検出した車両走行線間の距離が、上記規定値以下であるときは、検出した車両走行線を道路上の轍と判断することを特徴とする車載用画像処理カメラ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000180122A JP3737935B2 (ja) | 2000-06-15 | 2000-06-15 | 車載用画像処理カメラ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000180122A JP3737935B2 (ja) | 2000-06-15 | 2000-06-15 | 車載用画像処理カメラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001357387A JP2001357387A (ja) | 2001-12-26 |
| JP3737935B2 true JP3737935B2 (ja) | 2006-01-25 |
Family
ID=18681279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000180122A Expired - Lifetime JP3737935B2 (ja) | 2000-06-15 | 2000-06-15 | 車載用画像処理カメラ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3737935B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7166582B2 (ja) * | 2017-10-16 | 2022-11-08 | 独立行政法人自動車技術総合機構 | 車両周囲認識センサ検査システム、車両周囲認識センサ検査方法 |
| JP6929207B2 (ja) * | 2017-11-24 | 2021-09-01 | エヌ・ティ・ティ・コムウェア株式会社 | 道路画像処理装置、道路画像処理方法、道路画像処理プログラム、および、記録媒体 |
| US10586456B2 (en) * | 2018-04-27 | 2020-03-10 | TuSimple | System and method for determining car to lane distance |
-
2000
- 2000-06-15 JP JP2000180122A patent/JP3737935B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001357387A (ja) | 2001-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11377029B2 (en) | Vehicular trailering assist system with trailer state estimation | |
| US20080291276A1 (en) | Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information | |
| JP5281664B2 (ja) | 車線逸脱警報装置および車線逸脱警報システム | |
| US5424952A (en) | Vehicle-surroundings monitoring apparatus | |
| JP4321821B2 (ja) | 画像認識装置及び画像認識方法 | |
| US10276040B2 (en) | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle | |
| US5890083A (en) | Apparatus for determining the distance of a vehicle from a roadway side marking | |
| US7218207B2 (en) | Method for detecting position of lane marker, apparatus for detection position of lane marker and alarm apparatus for lane deviation | |
| JP6649865B2 (ja) | 物体検知装置 | |
| JP2006209511A (ja) | 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 | |
| JP2011118482A (ja) | 車載装置および認知支援システム | |
| JP2004531424A (ja) | 車用の感知装置 | |
| JP2008510240A (ja) | 運転者通報のための方法および装置 | |
| JP5622993B2 (ja) | 走行車線に関する自動車の位置を求めるための方法および装置 | |
| EP3087532B1 (en) | Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle | |
| JP3246243B2 (ja) | 車線逸脱警報装置 | |
| JP2008254487A (ja) | 横風警告装置、横風警告装置を搭載した自動車、および横風警告方法 | |
| JP4856525B2 (ja) | 先行車両離脱判定装置 | |
| JP2001195698A (ja) | 歩行者検知装置 | |
| JP2009298362A (ja) | 車両の車線逸脱警報装置 | |
| JP3737935B2 (ja) | 車載用画像処理カメラ装置 | |
| JP2006344133A (ja) | 道路区画線検出装置 | |
| JP4687381B2 (ja) | 車両認識方法及び車載装置 | |
| JP3930309B2 (ja) | 車両用運転支援装置 | |
| JPH09272414A (ja) | 車両制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3737935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |