JPH07105487A - 走行レーン認識装置 - Google Patents
走行レーン認識装置Info
- Publication number
- JPH07105487A JPH07105487A JP5245303A JP24530393A JPH07105487A JP H07105487 A JPH07105487 A JP H07105487A JP 5245303 A JP5245303 A JP 5245303A JP 24530393 A JP24530393 A JP 24530393A JP H07105487 A JPH07105487 A JP H07105487A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- traveling
- edge
- image
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Abstract
(57)【要約】
【目的】 走行レーン検出のための複雑な処理をするこ
となく、道路画像から走行レーンを認識し、誤認識の少
ない信頼性の高い走行レーン認識装置を提供することを
目的とする。 【構成】 １は装置全体を制御するＣＰＵ、２は画像処
理装置、３は画像情報を記憶するフレームメモリ、４は
カメラである。画像処理装置４は、画像データの２値
化、平滑化、レーンマークエッジ抽出のための走行レー
ンマークエッジ抽出オペレータによるフィルタリング処
理、曲線近似等の処理を行う。
となく、道路画像から走行レーンを認識し、誤認識の少
ない信頼性の高い走行レーン認識装置を提供することを
目的とする。 【構成】 １は装置全体を制御するＣＰＵ、２は画像処
理装置、３は画像情報を記憶するフレームメモリ、４は
カメラである。画像処理装置４は、画像データの２値
化、平滑化、レーンマークエッジ抽出のための走行レー
ンマークエッジ抽出オペレータによるフィルタリング処
理、曲線近似等の処理を行う。
Description
【０００１】
【産業上の利用分野】この発明は、車両用運転支援装置
に係り、環境認識を行う走行レーン認識装置に関する。
に係り、環境認識を行う走行レーン認識装置に関する。
【０００２】
【従来の技術】従来の車両用走行レーンの認識装置で
は、カメラにより取り込んだ道路画像全体のエッジ成分
を抽出し、その後ハフ変換を行って、走行レーンのレー
ンマーク（白線）だけを選択することにより、認識して
いた。ハフ変換とは与えられた２値画像から線成分の有
無や位置を認識する方法の一つである。また、ハフ変換
の変わりにレーンマークのテンプレートを用いてテンプ
レートマッチングを行う走行レーン認識方法もある。
は、カメラにより取り込んだ道路画像全体のエッジ成分
を抽出し、その後ハフ変換を行って、走行レーンのレー
ンマーク（白線）だけを選択することにより、認識して
いた。ハフ変換とは与えられた２値画像から線成分の有
無や位置を認識する方法の一つである。また、ハフ変換
の変わりにレーンマークのテンプレートを用いてテンプ
レートマッチングを行う走行レーン認識方法もある。
【０００３】従来例を図１５のフローチャートを用いて
説明する。初めにカメラにより道路画像を取り込む（４
１）。次に、走行レーンのレーンマークがあると考えら
れる場所を限定するためにウィンドウ処理を行う（４
２）。このウィンドウは、通常レーンマークを含む左右
の位置に設定する。以下の処理は、設定された左右各々
のウィンドウ内部で行う。次に平滑化オペレータを用い
た空間フィルタリングにより平滑化を行う（４３）。次
に左側ウィンドウのエッジ抽出を行う（４４）。エッジ
抽出（４４）は、図１６に示すＳＯＢＥＬオペレータを
用いる。ここではウィンドウ内のすべてのエッジが抽出
される。続いて、レーンマークを限定するための処理を
行う。２値化（４５）を行い、ハフ変換を行って（４
６）、線分を抽出する（４７）。その中から長さ、角度
から走行レーンマークと考えられるものを選択する（４
８）。右側ウィンドウについても同様に処理を行い（４
９）〜（５３）、右側走行レーンの認識を行う。左側走
行レーンと右側走行レーンとを合わせて（５４）、走行
レーンが抽出される（５５）。
説明する。初めにカメラにより道路画像を取り込む（４
１）。次に、走行レーンのレーンマークがあると考えら
れる場所を限定するためにウィンドウ処理を行う（４
２）。このウィンドウは、通常レーンマークを含む左右
の位置に設定する。以下の処理は、設定された左右各々
のウィンドウ内部で行う。次に平滑化オペレータを用い
た空間フィルタリングにより平滑化を行う（４３）。次
に左側ウィンドウのエッジ抽出を行う（４４）。エッジ
抽出（４４）は、図１６に示すＳＯＢＥＬオペレータを
用いる。ここではウィンドウ内のすべてのエッジが抽出
される。続いて、レーンマークを限定するための処理を
行う。２値化（４５）を行い、ハフ変換を行って（４
６）、線分を抽出する（４７）。その中から長さ、角度
から走行レーンマークと考えられるものを選択する（４
８）。右側ウィンドウについても同様に処理を行い（４
９）〜（５３）、右側走行レーンの認識を行う。左側走
行レーンと右側走行レーンとを合わせて（５４）、走行
レーンが抽出される（５５）。
【０００４】
【発明が解決しようとする課題】従来の走行レーン認識
装置では、レーンマークのエッジ抽出において、走行レ
ーンを検出するためにハフ変換などの複雑な処理を行う
必要があった。また、走行レーンを検出する手段におい
て、特に合流路付近等で誤認識を起こす場合があり、信
頼性についても問題があった。
装置では、レーンマークのエッジ抽出において、走行レ
ーンを検出するためにハフ変換などの複雑な処理を行う
必要があった。また、走行レーンを検出する手段におい
て、特に合流路付近等で誤認識を起こす場合があり、信
頼性についても問題があった。
【０００５】このような問題点を解決するためにこの発
明は、走行レーン検出のための複雑な処理をすることな
く、道路画像から走行レーンを認識し、また誤認識の少
ない信頼性の高い走行レーン認識装置を提供することを
目的とする。
明は、走行レーン検出のための複雑な処理をすることな
く、道路画像から走行レーンを認識し、また誤認識の少
ない信頼性の高い走行レーン認識装置を提供することを
目的とする。
【０００６】
【課題を解決するための手段】目的を達成するためにこ
の発明の走行レーン認識装置は、車両走行中の道路画像
を撮像する撮像手段と、データを記憶するメモリ手段
と、装置全体を制御するＣＰＵと、撮像手段により入力
された道路画像からレーンマークエッジを抽出する画像
処理手段とを具備する走行レーン認識装置であって、画
像処理手段は、内側エッジまたは外側エッジを抽出する
方向性エッジ抽出オペレータとレーンマークの直線を抽
出する直線抽出オペレータとを組合わせたレーンマーク
エッジ抽出オペレータにより、走行レーンの片側レーン
マークエッジを抽出する手段を有することを特徴とす
る。
の発明の走行レーン認識装置は、車両走行中の道路画像
を撮像する撮像手段と、データを記憶するメモリ手段
と、装置全体を制御するＣＰＵと、撮像手段により入力
された道路画像からレーンマークエッジを抽出する画像
処理手段とを具備する走行レーン認識装置であって、画
像処理手段は、内側エッジまたは外側エッジを抽出する
方向性エッジ抽出オペレータとレーンマークの直線を抽
出する直線抽出オペレータとを組合わせたレーンマーク
エッジ抽出オペレータにより、走行レーンの片側レーン
マークエッジを抽出する手段を有することを特徴とす
る。
【０００７】またこの発明の走行レーン認識装置は、車
両と走行レーンとの相対位値を検出し、その相対位値に
応じたレーンマーク抽出オペレータを選択する手段を有
することを特徴とする。
両と走行レーンとの相対位値を検出し、その相対位値に
応じたレーンマーク抽出オペレータを選択する手段を有
することを特徴とする。
【０００８】
【作用】この発明は、内側または外側の走行レーンの片
側レーンマークエッジを選択的に抽出する手段により、
ハフ変換などの複雑な処理を行うことなく容易に走行レ
ーンの認識を実現することができる。
側レーンマークエッジを選択的に抽出する手段により、
ハフ変換などの複雑な処理を行うことなく容易に走行レ
ーンの認識を実現することができる。
【０００９】
【実施例】以下、この発明の一実施例について図面を参
照して説明する。
照して説明する。
【００１０】図１は、一実施例の走行レーン認識装置の
構成を表すブロック図である。図において、１は走行レ
ーン装置全体の制御を行うＣＰＵである。２は走行レー
ンを抽出するための画像処理を行う画像処理装置であ
る。３は道路画像データを記憶するフレームメモリであ
る。４は走行中の道路画像を撮影するカメラである。５
はＣＰＵ１、画像処理装置２、フレームメモリ３を接続
するバスである。カメラ４では一定時間ごとに道路画像
を撮影し、その道路画像は画像データとしてフレームメ
モリ３に記憶される。記憶された画像データは、画像処
理装置２に走行レーンの認識が成される。ＣＰＵ１はこ
れら一連の動作を制御する。バス５は通常信号のほか、
画像データを処理するためスピードの早い仕様になって
いる。
構成を表すブロック図である。図において、１は走行レ
ーン装置全体の制御を行うＣＰＵである。２は走行レー
ンを抽出するための画像処理を行う画像処理装置であ
る。３は道路画像データを記憶するフレームメモリであ
る。４は走行中の道路画像を撮影するカメラである。５
はＣＰＵ１、画像処理装置２、フレームメモリ３を接続
するバスである。カメラ４では一定時間ごとに道路画像
を撮影し、その道路画像は画像データとしてフレームメ
モリ３に記憶される。記憶された画像データは、画像処
理装置２に走行レーンの認識が成される。ＣＰＵ１はこ
れら一連の動作を制御する。バス５は通常信号のほか、
画像データを処理するためスピードの早い仕様になって
いる。
【００１１】図２は、画像処理装置２の詳細な構成を示
すブロック図である。６は画像処理装置２を制御するコ
ントローラである。７は空間フィルタリングを行う２Ｄ
コンボルバである。８は２値化のための濃度変換を行う
ルックアップテーブル（以下ＬＵＴと表す）である。９
は画像データの平均値やヒストグラムを算出する統計処
理器である。１０および１１はそれぞれフレームメモリ
からの画像データを一時的に記憶するバッファＡおよび
バッファＢであり、それぞれバス５へ直接接続されてい
る。１２はＬＵＴ８のデータを複数保持する不揮発性の
ＬＵＴデータメモリである。例えば、バッファＡ１０に
フレームメモリ３から送られた画像データが記憶され、
バッファＢ１１に画像処理後のデータを保存する場合、
まず、バッファＡ１０の画像データに対して２Ｄコンボ
ルバ７において空間フィルタリングを行い、ＬＵＴ８に
より２値化して、バッファＢ１１へ出力する。この時統
計処理器９を用いてバッファＡ１０の画像データを２値
化するのに最適なＬＵＴデータを算出する。ＬＵＴデー
タはあらかじめＬＵＴデータメモリ１２に複数記憶され
ており、上記最適ＬＵＴデータはＬＵＴデータメモリ１
２から選択してＬＵＴ８に書込む。バッファＡ１０の画
像データをすべて処理すると、バッファＢ１１には走行
レーンに対応した２値データが保持される。
すブロック図である。６は画像処理装置２を制御するコ
ントローラである。７は空間フィルタリングを行う２Ｄ
コンボルバである。８は２値化のための濃度変換を行う
ルックアップテーブル（以下ＬＵＴと表す）である。９
は画像データの平均値やヒストグラムを算出する統計処
理器である。１０および１１はそれぞれフレームメモリ
からの画像データを一時的に記憶するバッファＡおよび
バッファＢであり、それぞれバス５へ直接接続されてい
る。１２はＬＵＴ８のデータを複数保持する不揮発性の
ＬＵＴデータメモリである。例えば、バッファＡ１０に
フレームメモリ３から送られた画像データが記憶され、
バッファＢ１１に画像処理後のデータを保存する場合、
まず、バッファＡ１０の画像データに対して２Ｄコンボ
ルバ７において空間フィルタリングを行い、ＬＵＴ８に
より２値化して、バッファＢ１１へ出力する。この時統
計処理器９を用いてバッファＡ１０の画像データを２値
化するのに最適なＬＵＴデータを算出する。ＬＵＴデー
タはあらかじめＬＵＴデータメモリ１２に複数記憶され
ており、上記最適ＬＵＴデータはＬＵＴデータメモリ１
２から選択してＬＵＴ８に書込む。バッファＡ１０の画
像データをすべて処理すると、バッファＢ１１には走行
レーンに対応した２値データが保持される。
【００１２】次に走行レーン認識プロセスについて説明
する。図３は走行レーン認識プロセスを表すフローチャ
ートである。初めに画像を取り込む（２０）。車両走行
時は約１００ｍｓ毎の処理が要求されるので、ここでは
１００ｍｓ毎に画像を取り込む。カメラ４の１フレーム
映像信号は、Ａ／Ｄ変換されてフレームメモリ３へ記憶
される。次に画像データ中エッジの急峻な立上りや立下
りを揃えるために平滑化を行う（２１）。フレームメモ
リ３の画像データをバス５を経由してバッファＡ１０へ
送る。２Ｄコンボルバ７において、バッファＡ１０の画
像データに対して図４に示す平滑用オペレータで空間フ
ィルタリングを行う。平滑化された画像データはバッフ
ァＢ１１に保持される。次に走行レーンの抽出を行う。
走行レーンの抽出は、走行レーン以外の対象物の除去と
走行レーンの左右識別の認識のために、走行レーンの右
側レーンマークと左側レーンマークに対して別々に行
う。まずは走行レーン左側の認識を行う。バッファＢ１
１に記憶された画像データに対し、２Ｄコンボルバ７に
おいて図５に示したレーン左内側エッジ抽出オペレータ
で空間フィルタリングを行う。この処理により、走行レ
ーン左内側エッジを抽出する（２２）。次にＬＵＴ８に
より走行レーン左内側エッジが抽出された画像データを
２値化して、バッファＡ１０へ記憶する（２３）。２値
化処理２３を１フレーム分行うと、バッファＡ１０には
走行レーン左内側エッジのみが記憶される。このバッフ
ァＡ１０に記憶された画像データ全体に対して最少二乗
法による曲線近似を行い（２４）、走行レーン左側のレ
ーンマークを認識する（２５）。同様に走行レーン右側
の認識を行う。走行レーン右内側エッジ抽出（２６）に
は、図６に示したレーン右内側エッジ抽出オペレータに
より空間フィルタリングを行う。次に走行レーン右内側
エッジが抽出された画像データを２値化して（２７）、
最少二乗近似を行い（２８）、走行レーン右側のレーン
マークを認識する（２９）。次に処理２５および処理２
９にてそれぞれ認識された左側レーンマークと右側レー
ンマークとを合わせて（３０）、走行レーンは認識され
る（３１）。
する。図３は走行レーン認識プロセスを表すフローチャ
ートである。初めに画像を取り込む（２０）。車両走行
時は約１００ｍｓ毎の処理が要求されるので、ここでは
１００ｍｓ毎に画像を取り込む。カメラ４の１フレーム
映像信号は、Ａ／Ｄ変換されてフレームメモリ３へ記憶
される。次に画像データ中エッジの急峻な立上りや立下
りを揃えるために平滑化を行う（２１）。フレームメモ
リ３の画像データをバス５を経由してバッファＡ１０へ
送る。２Ｄコンボルバ７において、バッファＡ１０の画
像データに対して図４に示す平滑用オペレータで空間フ
ィルタリングを行う。平滑化された画像データはバッフ
ァＢ１１に保持される。次に走行レーンの抽出を行う。
走行レーンの抽出は、走行レーン以外の対象物の除去と
走行レーンの左右識別の認識のために、走行レーンの右
側レーンマークと左側レーンマークに対して別々に行
う。まずは走行レーン左側の認識を行う。バッファＢ１
１に記憶された画像データに対し、２Ｄコンボルバ７に
おいて図５に示したレーン左内側エッジ抽出オペレータ
で空間フィルタリングを行う。この処理により、走行レ
ーン左内側エッジを抽出する（２２）。次にＬＵＴ８に
より走行レーン左内側エッジが抽出された画像データを
２値化して、バッファＡ１０へ記憶する（２３）。２値
化処理２３を１フレーム分行うと、バッファＡ１０には
走行レーン左内側エッジのみが記憶される。このバッフ
ァＡ１０に記憶された画像データ全体に対して最少二乗
法による曲線近似を行い（２４）、走行レーン左側のレ
ーンマークを認識する（２５）。同様に走行レーン右側
の認識を行う。走行レーン右内側エッジ抽出（２６）に
は、図６に示したレーン右内側エッジ抽出オペレータに
より空間フィルタリングを行う。次に走行レーン右内側
エッジが抽出された画像データを２値化して（２７）、
最少二乗近似を行い（２８）、走行レーン右側のレーン
マークを認識する（２９）。次に処理２５および処理２
９にてそれぞれ認識された左側レーンマークと右側レー
ンマークとを合わせて（３０）、走行レーンは認識され
る（３１）。
【００１３】ところでこの走行レーンの認識は、上述し
た通り１００ｍｓ毎に行われるが、走行中の車両は移動
する場合が多い。そのため、先の走行レーン認識結果と
１００ｍｓ後の今の走行レーンの認識結果とから車両の
移動ベクトルを算出する。走行レーンと車両との相対位
値は走行レーンの認識結果から求められる。従って、車
両の移動ベクトルを用いて次の走行レーン認識処理のた
めの最適なレーンマークエッジ抽出オペレータをあらか
じめ選択することができる。
た通り１００ｍｓ毎に行われるが、走行中の車両は移動
する場合が多い。そのため、先の走行レーン認識結果と
１００ｍｓ後の今の走行レーンの認識結果とから車両の
移動ベクトルを算出する。走行レーンと車両との相対位
値は走行レーンの認識結果から求められる。従って、車
両の移動ベクトルを用いて次の走行レーン認識処理のた
めの最適なレーンマークエッジ抽出オペレータをあらか
じめ選択することができる。
【００１４】次に上記実施例による走行レーン認識装置
の画像処理結果例について説明する。図９は車両走行中
の道路画像および画像処理された後の画像である。Ｉ１
は車両走行中に撮影された道路画像であり、従来左側安
全地帯の帯による誤認識が多かった高速道路出口付近の
画像である。Ｉ２は図５に示したレーン左内側エッジ抽
出オペレータで空間フィルタリングを行って左側レーン
マークを抽出し、２値化した画像である。Ｉ３はさらに
最少二乗近似処理を行って得られたレーンマーク画像で
ある。このレーンマークは一次方程式で近似している。
Ｉ４は図６に示したレーン右内側エッジ抽出オペレータ
で空間フィルタリングを行って右側レーンマークを抽出
し、２値化した画像である。Ｉ５はＩ４の画像を最少二
乗近似処理を行って得られたレーンマーク画像である。
Ｉ６は左側レーンマーク画像Ｉ３と右側レーンマーク画
像Ｉ５とをあわせて得られた画像であり、走行レーンが
認識されている。
の画像処理結果例について説明する。図９は車両走行中
の道路画像および画像処理された後の画像である。Ｉ１
は車両走行中に撮影された道路画像であり、従来左側安
全地帯の帯による誤認識が多かった高速道路出口付近の
画像である。Ｉ２は図５に示したレーン左内側エッジ抽
出オペレータで空間フィルタリングを行って左側レーン
マークを抽出し、２値化した画像である。Ｉ３はさらに
最少二乗近似処理を行って得られたレーンマーク画像で
ある。このレーンマークは一次方程式で近似している。
Ｉ４は図６に示したレーン右内側エッジ抽出オペレータ
で空間フィルタリングを行って右側レーンマークを抽出
し、２値化した画像である。Ｉ５はＩ４の画像を最少二
乗近似処理を行って得られたレーンマーク画像である。
Ｉ６は左側レーンマーク画像Ｉ３と右側レーンマーク画
像Ｉ５とをあわせて得られた画像であり、走行レーンが
認識されている。
【００１５】次に走行レーンのレークマークエッジ抽出
オペレータについて説明する。この実施例では４種のレ
ーンマークエッジ抽出オペレータを図５から図８に示し
た。図５はレーン左内側エッジ抽出オペレータである。
図６はレーン右内側エッジ抽出オペレータである。図７
はレーン左外側エッジ抽出オペレータである。図８はレ
ーン右外側エッジ抽出オペレータである。それぞれ必要
に応じて選択して用いる。
オペレータについて説明する。この実施例では４種のレ
ーンマークエッジ抽出オペレータを図５から図８に示し
た。図５はレーン左内側エッジ抽出オペレータである。
図６はレーン右内側エッジ抽出オペレータである。図７
はレーン左外側エッジ抽出オペレータである。図８はレ
ーン右外側エッジ抽出オペレータである。それぞれ必要
に応じて選択して用いる。
【００１６】続いて、図５から図８に示したレーンマー
クエッジ抽出オペレータを設定した理由を説明する。始
めに直線抽出オペレータについて説明する。図１０にお
いて101 は道路画像であり、走行レーンのレーンマーク
（白線）は、水平線に対してθ１およびθ２の角度を持
つ直線で近似することができる。このθ１およびθ２は
カメラの取付け位置やカメラレンズの画角により変動す
るため、撮影する条件に合わせて設定する必要がある。
この実施例の場合、θ１および（π−θ２）はおよそ４
５度で近似することができる。このような斜めの直線を
抽出するフィルタとして図１１に示す直線抽出オペレー
タを設定した。この実施例の直線抽出オペレータは、一
例として７×９マスクサイズのものを設定したが、５×
５マスクサイズ以上のものであれば良い。
クエッジ抽出オペレータを設定した理由を説明する。始
めに直線抽出オペレータについて説明する。図１０にお
いて101 は道路画像であり、走行レーンのレーンマーク
（白線）は、水平線に対してθ１およびθ２の角度を持
つ直線で近似することができる。このθ１およびθ２は
カメラの取付け位置やカメラレンズの画角により変動す
るため、撮影する条件に合わせて設定する必要がある。
この実施例の場合、θ１および（π−θ２）はおよそ４
５度で近似することができる。このような斜めの直線を
抽出するフィルタとして図１１に示す直線抽出オペレー
タを設定した。この実施例の直線抽出オペレータは、一
例として７×９マスクサイズのものを設定したが、５×
５マスクサイズ以上のものであれば良い。
【００１７】次に方向性エッジ抽出について説明する。
レーンマークを水平走査線１本の信号としてみると、図
１２の１０３に示す源信号となる。この信号１０３に方
向性微分フィルタリングを行うと、１０４の正・負方向
のエッジが抽出される。この信号１０４を２Ｄコンボル
バ７で半波整流処理を行い、正側のエッジのみを抽出す
ると１０５の信号が得られる。このような処理により走
行レーンマークから内側エッジまたは外側エッジのみを
抽出することができる。このようにして得られた方向性
エッジ抽出オペレータを図１１に示す直線抽出オペレー
タの形に配列し、注目画素について重み付けを行うこと
により、レーンマークエッジ抽出オペレータが求められ
る。図５から図８に示したレーンマークエッジ抽出オペ
レータは図９のＩ１に示す画角構成を持つ道路画像に対
して最適化を行ったものであり、最大の効果を得るため
に７×９マスクサイズとしている。走行レーンの変更が
あった場合等、走行レーンと車両との相対位値が変化し
た場合は、直線抽出オペレータをレーンマークの傾きに
合わせて変えれば良い。
レーンマークを水平走査線１本の信号としてみると、図
１２の１０３に示す源信号となる。この信号１０３に方
向性微分フィルタリングを行うと、１０４の正・負方向
のエッジが抽出される。この信号１０４を２Ｄコンボル
バ７で半波整流処理を行い、正側のエッジのみを抽出す
ると１０５の信号が得られる。このような処理により走
行レーンマークから内側エッジまたは外側エッジのみを
抽出することができる。このようにして得られた方向性
エッジ抽出オペレータを図１１に示す直線抽出オペレー
タの形に配列し、注目画素について重み付けを行うこと
により、レーンマークエッジ抽出オペレータが求められ
る。図５から図８に示したレーンマークエッジ抽出オペ
レータは図９のＩ１に示す画角構成を持つ道路画像に対
して最適化を行ったものであり、最大の効果を得るため
に７×９マスクサイズとしている。走行レーンの変更が
あった場合等、走行レーンと車両との相対位値が変化し
た場合は、直線抽出オペレータをレーンマークの傾きに
合わせて変えれば良い。
【００１８】次に走行レーンと車両との位置関係が移動
した場合について説明する。図１３は走行レーンと車両
との位置関係による最適直線抽出オペレータの形状を表
した図であり、車両が左側走行レーンから右側走行レー
ンへ車線変更したときの画像である。ａは左側走行レー
ンを走行しているときの画像、ｂは走行レーン変更直前
の画像、ｃは走行レーン変更直後の画像、ｄは右側走行
レーンを走行している画像である。各々画像の隣には最
適な直線抽出オペレータの形状を表した。この直線抽出
オペレータの形状の傾きは、４５度、９０度、−４５度
の三種類程度で良い。切り替えタイミングは厳密に行う
必要はないが、走行レーン右側のレーンマークの内側エ
ッジが画面中央より左側に移動した時点でｂからｃへ切
り替える。また、ａからｂへの切り替えは、走行レーン
右側レーンマーク内側エッジの角度が−７０度より大き
くなった時点で行う。またｃからｄへの切り替えは、走
行レーン左側レーンマーク内側エッジの角度が７０度よ
り小さくなった時点で行う。 次に従来例との比較とし
て、発明の走行レーン認識装置による結果の一例を図１
４に示す。１１１は道路画像である。１１２は従来技術
により認識されたエッジ抽出画像である。この画像では
車両やガードレールをも抽出されてしまうため、さらに
レーンマーク部分についてウィンドウを設定し、処理す
る必要がある。これに対して、１１３に示した発明の走
行レーンエッジ抽出オペレータを用いたフィルタリング
処理により認識された画像は、走行レーンのレーンマー
クのみを抽出していることが分かる。
した場合について説明する。図１３は走行レーンと車両
との位置関係による最適直線抽出オペレータの形状を表
した図であり、車両が左側走行レーンから右側走行レー
ンへ車線変更したときの画像である。ａは左側走行レー
ンを走行しているときの画像、ｂは走行レーン変更直前
の画像、ｃは走行レーン変更直後の画像、ｄは右側走行
レーンを走行している画像である。各々画像の隣には最
適な直線抽出オペレータの形状を表した。この直線抽出
オペレータの形状の傾きは、４５度、９０度、−４５度
の三種類程度で良い。切り替えタイミングは厳密に行う
必要はないが、走行レーン右側のレーンマークの内側エ
ッジが画面中央より左側に移動した時点でｂからｃへ切
り替える。また、ａからｂへの切り替えは、走行レーン
右側レーンマーク内側エッジの角度が−７０度より大き
くなった時点で行う。またｃからｄへの切り替えは、走
行レーン左側レーンマーク内側エッジの角度が７０度よ
り小さくなった時点で行う。 次に従来例との比較とし
て、発明の走行レーン認識装置による結果の一例を図１
４に示す。１１１は道路画像である。１１２は従来技術
により認識されたエッジ抽出画像である。この画像では
車両やガードレールをも抽出されてしまうため、さらに
レーンマーク部分についてウィンドウを設定し、処理す
る必要がある。これに対して、１１３に示した発明の走
行レーンエッジ抽出オペレータを用いたフィルタリング
処理により認識された画像は、走行レーンのレーンマー
クのみを抽出していることが分かる。
【００１９】以上のように、方向性エッジ抽出オペレー
タと直線抽出オペレータとを組合わせた走行レーンマー
クエッジ抽出オペレータを用いて、フィルタリング処理
のみで走行レーンを検出することができる。
タと直線抽出オペレータとを組合わせた走行レーンマー
クエッジ抽出オペレータを用いて、フィルタリング処理
のみで走行レーンを検出することができる。
【００２０】
【発明の効果】以上説明した通り、この発明の走行レー
ン認識装置によれば、設定した走行レーンマークエッジ
抽出オペレータによるフィルタリング処理だけで、容易
に走行レーンのレーンマークエッジを抽出することがで
きる。また、道路上の車両やガードレール等の障害物を
抽出することなく、レーンマークのみを認識できるの
で、交通量の多い高速道路や路面とレーンマークとのコ
ントラストが低い場合でも誤認識がなく、信頼性の高い
走行レーンの認識ができる。
ン認識装置によれば、設定した走行レーンマークエッジ
抽出オペレータによるフィルタリング処理だけで、容易
に走行レーンのレーンマークエッジを抽出することがで
きる。また、道路上の車両やガードレール等の障害物を
抽出することなく、レーンマークのみを認識できるの
で、交通量の多い高速道路や路面とレーンマークとのコ
ントラストが低い場合でも誤認識がなく、信頼性の高い
走行レーンの認識ができる。
【図１】一実施例の走行レーン認識装置の構成を表すブ
ロック図
ロック図
【図２】図１の画像処理装置の詳細な構成を表すブロッ
ク図
ク図
【図３】一実施例の走行レーン認識プロセスを表すフロ
ーチャート
ーチャート
【図４】平滑化オペレータを示す図
【図５】走行レーン左内側エッジ抽出オペレータを示す
図
図
【図６】走行レーン右内側エッジ抽出オペレータを示す
図
図
【図７】走行レーン左外側エッジ抽出オペレータを示す
図
図
【図８】走行レーン右外側エッジ抽出オペレータを示す
図
図
【図９】一実施例の走行レーン認識装置の処理過程を表
す図
す図
【図１０】道路画像を示す図
【図１１】直線抽出オペレータを示す図
【図１２】方向性エッジ抽出について説明するための図
【図１３】走行レーンと車両との位置関係による最適直
線抽出オペレータの形状を表した図
線抽出オペレータの形状を表した図
【図１４】走行レーン認識結果の一例を示す図
【図１５】従来の処理手順を示すフローチャート
【図１６】ＳＯＢＥＬオペレータを示す図
【符号の説明】 １…ＣＰＵ、２…画像処理装置、３…フレームメモリ、
４…カメラ、５…バス、６…コントローラ、７…２Ｄコ
ンボルバ、８…ルックアップテーブル（ＬＵＴ）、９…
統計処理器、１０，１１…バッファ、１２…ＬＵＴデー
タメモリ。
４…カメラ、５…バス、６…コントローラ、７…２Ｄコ
ンボルバ、８…ルックアップテーブル（ＬＵＴ）、９…
統計処理器、１０，１１…バッファ、１２…ＬＵＴデー
タメモリ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00
Claims (3)
- 【請求項１】 車両走行中の道路画像を撮像する撮像手
段と、データを記憶するメモリ手段と、装置全体を制御
するＣＰＵと、前記撮像手段により入力された道路画像
からレーンマークエッジを抽出する画像処理手段とを具
備する走行レーン認識装置であって、前記画像処理手段
は、内側エッジまたは外側エッジを抽出する方向性エッ
ジ抽出オペレータとレーンマークの直線を抽出する直線
抽出オペレータとを組合わせたレーンマークエッジ抽出
オペレータにより、走行レーンの片側レーンマークエッ
ジを抽出する手段を有することを特徴とする走行レーン
認識装置。 - 【請求項２】 請求項１記載の走行レーン認識装置にお
いて、 前記直線抽出オペレータは、少なくとも５×５マスクサ
イズ以上であることを特徴とする走行レーン認識装置。 - 【請求項３】 請求項１記載の走行レーン認識装置にお
いて、 前記画像処理手段は、車両と走行レーンとの相対位値を
検出し、その相対位値に応じたレーンマーク抽出オペレ
ータを選択する手段を有することを特徴とする走行レー
ン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245303A JPH07105487A (ja) | 1993-09-30 | 1993-09-30 | 走行レーン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5245303A JPH07105487A (ja) | 1993-09-30 | 1993-09-30 | 走行レーン認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07105487A true JPH07105487A (ja) | 1995-04-21 |
Family
ID=17131673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5245303A Withdrawn JPH07105487A (ja) | 1993-09-30 | 1993-09-30 | 走行レーン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07105487A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003118521A (ja) * | 2001-10-09 | 2003-04-23 | Nissan Motor Co Ltd | 白線検出装置 |
| JP2007178383A (ja) * | 2005-12-28 | 2007-07-12 | Aisin Aw Co Ltd | 経路案内システム及び経路案内方法 |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| CN110930459A (zh) * | 2019-10-29 | 2020-03-27 | 北京经纬恒润科技有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
-
1993
- 1993-09-30 JP JP5245303A patent/JPH07105487A/ja not_active Withdrawn
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| JP2003118521A (ja) * | 2001-10-09 | 2003-04-23 | Nissan Motor Co Ltd | 白線検出装置 |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| JP2007178383A (ja) * | 2005-12-28 | 2007-07-12 | Aisin Aw Co Ltd | 経路案内システム及び経路案内方法 |
| JP4513740B2 (ja) * | 2005-12-28 | 2010-07-28 | アイシン・エィ・ダブリュ株式会社 | 経路案内システム及び経路案内方法 |
| US7783420B2 (en) | 2005-12-28 | 2010-08-24 | Aisin Aw Co., Ltd. | Route guidance systems, methods, and programs |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| CN110930459A (zh) * | 2019-10-29 | 2020-03-27 | 北京经纬恒润科技有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
| CN110930459B (zh) * | 2019-10-29 | 2023-02-17 | 北京经纬恒润科技股份有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250850B (zh) | 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 | |
| US8184859B2 (en) | Road marking recognition apparatus and method | |
| CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
| JP3636927B2 (ja) | 顔画像処理装置 | |
| US20090010482A1 (en) | Diagrammatizing Apparatus | |
| Alonso et al. | Robust vehicle detection through multidimensional classification for on board video based systems | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JPH07105487A (ja) | 走行レーン認識装置 | |
| Kortli et al. | Efficient implementation of a real-time lane departure warning system | |
| US10990778B2 (en) | Apparatus and method for recognizing barcode based on image detection | |
| CN105117724A (zh) | 一种车牌定位方法及装置 | |
| JPH06341821A (ja) | 走行レーン検出装置 | |
| Khalifa et al. | A hyperbola-pair based lane detection system for vehicle guidance | |
| Ramezani et al. | A new DSWTS algorithm for real-time pedestrian detection in autonomous agricultural tractors as a computer vision system | |
| JPH10162118A (ja) | 画像処理装置及び方法 | |
| Devane et al. | Lane detection techniques using image processing | |
| CN108108656B (zh) | 一种基于车窗角点检测和多方向投影的车窗精确定位方法 | |
| JP2962799B2 (ja) | 移動車の走行路端検出装置 | |
| JPH07114689A (ja) | 車両登録番号認識方法 | |
| WO2018146997A1 (ja) | 立体物検出装置 | |
| JPH05313736A (ja) | 移動車両の障害物認識装置 | |
| JP4172236B2 (ja) | 顔画像処理装置及びプログラム | |
| CN110321828B (zh) | 一种基于双目摄像机和车底阴影的前方车辆检测方法 | |
| JP2883131B2 (ja) | 走行車線判別方法 | |
| CN113657277A (zh) | 一种车辆被遮挡状态判断系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20001226 |