JP3120648B2 - 車両用環境認識装置 - Google Patents
車両用環境認識装置Info
- Publication number
- JP3120648B2 JP3120648B2 JP35460593A JP35460593A JP3120648B2 JP 3120648 B2 JP3120648 B2 JP 3120648B2 JP 35460593 A JP35460593 A JP 35460593A JP 35460593 A JP35460593 A JP 35460593A JP 3120648 B2 JP3120648 B2 JP 3120648B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- window
- surface area
- white line
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】この発明は，例えば，前車追従型
ＡＳＣＤ等に利用され，特に，車両の前方あるいは後方
の走行路および先行車両あるいは後続車両を認識する車
両用環境認識装置に関するものである。
ＡＳＣＤ等に利用され，特に，車両の前方あるいは後方
の走行路および先行車両あるいは後続車両を認識する車
両用環境認識装置に関するものである。
【０００２】
【従来の技術】従来における車両用環境認識装置とし
て，例えば，特開昭６３−１４２４７８号公報に開示さ
れている「白線検出装置」が知られている。これは，入
力画像から前処理によってエッジ検出を行い，これに直
線をあてはめることによって，走行路の白線を認識する
ものである。
て，例えば，特開昭６３−１４２４７８号公報に開示さ
れている「白線検出装置」が知られている。これは，入
力画像から前処理によってエッジ検出を行い，これに直
線をあてはめることによって，走行路の白線を認識する
ものである。
【０００３】
【発明が解決しようとする課題】しかしながら，上記に
示されるような従来における白線検出装置にあっては，
濃淡画像からエッジを検出し，該エッジに直線をあては
めるため，例えば，道路と平行な壁（例えば，防音壁
等）が道路に落とす影も白線と平行となり，その弁別が
困難であるという問題点があった。
示されるような従来における白線検出装置にあっては，
濃淡画像からエッジを検出し，該エッジに直線をあては
めるため，例えば，道路と平行な壁（例えば，防音壁
等）が道路に落とす影も白線と平行となり，その弁別が
困難であるという問題点があった。
【０００４】この発明は，上記に鑑みてなされたもので
あって，道路上の白線と影等の弁別を正確に，かつ，高
速に実行可能にして，信頼性の高い車両環境の認識を実
現することを目的とする。
あって，道路上の白線と影等の弁別を正確に，かつ，高
速に実行可能にして，信頼性の高い車両環境の認識を実
現することを目的とする。
【０００５】
【課題を解決するための手段】この発明は、上記目的を
達成するために、車両周囲における道路領域の画像を入
力する画像入力手段と、この画像入力手段によって入力
された入力画像に対して処理対象となるウィンドウを設
定するウィンドウ設定手段と、このウィンドウ設定手段
によって設定されたウィンドウ内で、路面領域となる基
準色を抽出する基準色抽出手段と、この基準色抽出手段
によって抽出された基準色と同一系色を路面領域とし、
他を非路面領域として検出する路面領域検出手段と、こ
の路面領域検出手段によって検出された路面領域の左右
両端の非路面領域との境界を表す直線を白線として認識
する白線認識手段と、前記路面領域の上側の非路面領域
との境界を表す直線から先行車両あるいは障害物の有無
を判断する障害物検出手段とを備え、ウィンドウ設定手
段は、前記白線認識手段が前回認識した白線で囲まれる
領域よりも所定量大きい範囲を今回のウィンドウとして
設定するようにしたものである。
達成するために、車両周囲における道路領域の画像を入
力する画像入力手段と、この画像入力手段によって入力
された入力画像に対して処理対象となるウィンドウを設
定するウィンドウ設定手段と、このウィンドウ設定手段
によって設定されたウィンドウ内で、路面領域となる基
準色を抽出する基準色抽出手段と、この基準色抽出手段
によって抽出された基準色と同一系色を路面領域とし、
他を非路面領域として検出する路面領域検出手段と、こ
の路面領域検出手段によって検出された路面領域の左右
両端の非路面領域との境界を表す直線を白線として認識
する白線認識手段と、前記路面領域の上側の非路面領域
との境界を表す直線から先行車両あるいは障害物の有無
を判断する障害物検出手段とを備え、ウィンドウ設定手
段は、前記白線認識手段が前回認識した白線で囲まれる
領域よりも所定量大きい範囲を今回のウィンドウとして
設定するようにしたものである。
【０００６】
【作用】この発明における車両用環境認識装置は、車両
周囲の入力画像に、前回認識した白線で囲まれる領域よ
りも所定量大きい範囲の今回のウィンドウを設定し、こ
のウィンドウ内で路面領域となる基準色を抽出し、この
基準色と同一系色を路面領域、他を非路面領域として検
出し、この検出された路面領域の左右両端の非路面領域
との境界を表す直線を白線として認識し、この白線から
先行車両あるいは障害物の有無を検出する。
周囲の入力画像に、前回認識した白線で囲まれる領域よ
りも所定量大きい範囲の今回のウィンドウを設定し、こ
のウィンドウ内で路面領域となる基準色を抽出し、この
基準色と同一系色を路面領域、他を非路面領域として検
出し、この検出された路面領域の左右両端の非路面領域
との境界を表す直線を白線として認識し、この白線から
先行車両あるいは障害物の有無を検出する。
【０００７】
〔実施例１〕以下，この発明に係る車両用環境認識装置
の一実施例を添付図面に基づいて説明する。図１は，こ
の発明に係る車両用環境認識装置の主要構成を示すブロ
ック図であり，車体の所定位置に装備されたカラー画像
を撮像するカメラにより車両近傍の撮像画像を入力する
画像入力部１０１と，該画像入力部１０１からの入力画
像に基づいて所定の認識処理を実行する画像処理部１０
２と，該画像処理部１０２の処理結果に基づいて警報を
発したり，速度制御等の各種制御を実行する警報・制御
部１０８とから構成されている。
の一実施例を添付図面に基づいて説明する。図１は，こ
の発明に係る車両用環境認識装置の主要構成を示すブロ
ック図であり，車体の所定位置に装備されたカラー画像
を撮像するカメラにより車両近傍の撮像画像を入力する
画像入力部１０１と，該画像入力部１０１からの入力画
像に基づいて所定の認識処理を実行する画像処理部１０
２と，該画像処理部１０２の処理結果に基づいて警報を
発したり，速度制御等の各種制御を実行する警報・制御
部１０８とから構成されている。
【０００８】さらに，上記画像処理部１０２は，ウィン
ドウを設定するウィンドウ設定部１０４と，ウィンドウ
内における路面領域と非路面領域とを分離する路面領域
検出部１０５と，路面領域検出部１０５による検出結果
に基づいて２つの直線式あるいは直線の傾きを求めて白
線を検出する白線認識部１０６と，路面領域検出部１０
５の検出結果に基づいて先行車両や障害物の有無を検出
する障害物検出部１０７とから構成されている。
ドウを設定するウィンドウ設定部１０４と，ウィンドウ
内における路面領域と非路面領域とを分離する路面領域
検出部１０５と，路面領域検出部１０５による検出結果
に基づいて２つの直線式あるいは直線の傾きを求めて白
線を検出する白線認識部１０６と，路面領域検出部１０
５の検出結果に基づいて先行車両や障害物の有無を検出
する障害物検出部１０７とから構成されている。
【０００９】次に，動作について説明する。図２は，図
１に示した車両用環境認識装置の動作を示すフローチャ
ートであり，図３は，図２に示したフローチャートの各
処理に対応する画像状態を示す説明図である。なお，図
中に示すようにｘ座標は右向きに正，ｙ座標は下向きに
正とする。図２に示したフローチャートにおいて，ま
ず，画像入力部１０１を介して図３（ａ）に示すような
カラー画像の入力を行う（Ｓ２０１）。なお，本実施例
では，カメラは道路に対して前方を略平行に向いている
ものと仮定する。また，自車線の両側の白線を２本認識
するものとする。
１に示した車両用環境認識装置の動作を示すフローチャ
ートであり，図３は，図２に示したフローチャートの各
処理に対応する画像状態を示す説明図である。なお，図
中に示すようにｘ座標は右向きに正，ｙ座標は下向きに
正とする。図２に示したフローチャートにおいて，ま
ず，画像入力部１０１を介して図３（ａ）に示すような
カラー画像の入力を行う（Ｓ２０１）。なお，本実施例
では，カメラは道路に対して前方を略平行に向いている
ものと仮定する。また，自車線の両側の白線を２本認識
するものとする。
【００１０】この場合，路面からのカメラの高さがＨ，
レンズの焦点距離をＦとすると，前方Ｚにおけるカメラ
の横手方向Ｘにある路面（水平と仮定）上の点は，カメ
ラ上において， ｘ−ｘV ＝Ｆ・Ｘ／Ｚ ｙ−ｙV ＝Ｆ・Ｈ／Ｚ ・・・（１） として撮像される。ただし，（ｘV ，ｙV ）は２本の平
行な白線の画面上における交点の座標であり，消失点座
標である。
レンズの焦点距離をＦとすると，前方Ｚにおけるカメラ
の横手方向Ｘにある路面（水平と仮定）上の点は，カメ
ラ上において， ｘ−ｘV ＝Ｆ・Ｘ／Ｚ ｙ−ｙV ＝Ｆ・Ｈ／Ｚ ・・・（１） として撮像される。ただし，（ｘV ，ｙV ）は２本の平
行な白線の画面上における交点の座標であり，消失点座
標である。
【００１１】次に，ウィンドウ設定部１０４は，上記の
ように入力された画像に対して図３（ｂ）に示すように
ウィンドウ３０１を設定する（Ｓ２０２）。したがっ
て，以降の処理はこの設定されたウィンドウ３０１の内
部のみを対象として実行し，また，ウィンドウ３０１の
設定は，前回（１画面前）の白線認識結果に基づいて実
行する。その例を図４に示す。
ように入力された画像に対して図３（ｂ）に示すように
ウィンドウ３０１を設定する（Ｓ２０２）。したがっ
て，以降の処理はこの設定されたウィンドウ３０１の内
部のみを対象として実行し，また，ウィンドウ３０１の
設定は，前回（１画面前）の白線認識結果に基づいて実
行する。その例を図４に示す。
【００１２】まず，図４（ａ）に示す第１のウィンドウ
設定処理について説明する。なお，図中に示すようにｘ
座標は右向きに正，ｙ座標は下向きに正とする。前回の
２本の白線の認識結果が，左と右でそれぞれ，ｘ−ｘV
＝ａL ・（ｙ−ｙV ）ｘ−ｘV ＝ａR ・（ｙ−ｙV ）
・・・（２）により表されているものとする。
（ｘV ，ｙV ）は前回の２本の白線における交点の座標
であり，消失点座標であり，ａL とａR はそれぞれ左と
右の白線の画面上における傾きである。上記（２）式は
消失点を通る傾きａの直線式である。
設定処理について説明する。なお，図中に示すようにｘ
座標は右向きに正，ｙ座標は下向きに正とする。前回の
２本の白線の認識結果が，左と右でそれぞれ，ｘ−ｘV
＝ａL ・（ｙ−ｙV ）ｘ−ｘV ＝ａR ・（ｙ−ｙV ）
・・・（２）により表されているものとする。
（ｘV ，ｙV ）は前回の２本の白線における交点の座標
であり，消失点座標であり，ａL とａR はそれぞれ左と
右の白線の画面上における傾きである。上記（２）式は
消失点を通る傾きａの直線式である。
【００１３】また，ウィンドウ３０１の設定は，前回の
結果より少し大きめのウィンドウ３０１とする。形は台
形とし，左側の辺と，右側の辺の直線式は，それぞれ， ｘ−ｘV ＝（ａL −ｗx ）・（ｙ−ｙV ） ｘ−ｘV ＝（ａR ＋ｗx ）・（ｙ−ｙV ） ・・・（３） とし，ｗx を小さな値とする。また，台形の下辺は画像
の下端（道路が映る最も下側の座標）とし，台形の上辺
は固定のｙ座標，あるいは， ｙ＝ｙV ＋ｗy ・・・（４） とする。ｗy は固定の値で４〜１６画素程度が適当であ
る。
結果より少し大きめのウィンドウ３０１とする。形は台
形とし，左側の辺と，右側の辺の直線式は，それぞれ， ｘ−ｘV ＝（ａL −ｗx ）・（ｙ−ｙV ） ｘ−ｘV ＝（ａR ＋ｗx ）・（ｙ−ｙV ） ・・・（３） とし，ｗx を小さな値とする。また，台形の下辺は画像
の下端（道路が映る最も下側の座標）とし，台形の上辺
は固定のｙ座標，あるいは， ｙ＝ｙV ＋ｗy ・・・（４） とする。ｗy は固定の値で４〜１６画素程度が適当であ
る。
【００１４】次に，路面領域検出部１０５は，ウィンド
ウ３０１の下端部中央付近で基準色を認識する（Ｓ２０
３）。ウィンドウ３０１の下端部分は，車両の直前に相
当するため路面である確率が非常に高い。続いて，図３
（ｃ）に示すようにウィンドウ３０１全体で画面下端部
と同様な色の部分を抽出する（Ｓ２０４）。すなわち，
同様の色をもつ部分を路面領域として認識する。
ウ３０１の下端部中央付近で基準色を認識する（Ｓ２０
３）。ウィンドウ３０１の下端部分は，車両の直前に相
当するため路面である確率が非常に高い。続いて，図３
（ｃ）に示すようにウィンドウ３０１全体で画面下端部
と同様な色の部分を抽出する（Ｓ２０４）。すなわち，
同様の色をもつ部分を路面領域として認識する。
【００１５】上記色認識処理について具体的に説明す
る。カラー画像がＲ（赤），Ｇ（緑），Ｂ（青）の三原
色で表されているとして，例えば， Ｖ１＝Ｒ／（Ｒ＋Ｇ＋Ｂ） Ｖ２＝Ｇ／（Ｒ＋Ｇ＋Ｂ） Ｖ３＝Ｂ／（Ｒ＋Ｇ＋Ｂ） ・・・（５） と変換した後，Ｖ１，Ｖ２，Ｖ３をベクトルとみなし
て，類似度（内積）を計算する。
る。カラー画像がＲ（赤），Ｇ（緑），Ｂ（青）の三原
色で表されているとして，例えば， Ｖ１＝Ｒ／（Ｒ＋Ｇ＋Ｂ） Ｖ２＝Ｇ／（Ｒ＋Ｇ＋Ｂ） Ｖ３＝Ｂ／（Ｒ＋Ｇ＋Ｂ） ・・・（５） と変換した後，Ｖ１，Ｖ２，Ｖ３をベクトルとみなし
て，類似度（内積）を計算する。
【００１６】すなわち，画面下端部分で基準となるＶ
１，Ｖ２，Ｖ３を求める。次に，画面の各画素でやはり
Ｖ１，Ｖ２，Ｖ３を求め，基準となるＶ１，Ｖ２，Ｖ３
との内積を計算し，ある閾値にて２値化し，閾値以上の
画素を路面領域とする。あるいは，輝度，色相，彩度に
分離されるカラー情報を用いるには，色相と彩度とをベ
クトルの要素と考えて，上記と同様の処理を実行しても
よい。
１，Ｖ２，Ｖ３を求める。次に，画面の各画素でやはり
Ｖ１，Ｖ２，Ｖ３を求め，基準となるＶ１，Ｖ２，Ｖ３
との内積を計算し，ある閾値にて２値化し，閾値以上の
画素を路面領域とする。あるいは，輝度，色相，彩度に
分離されるカラー情報を用いるには，色相と彩度とをベ
クトルの要素と考えて，上記と同様の処理を実行しても
よい。
【００１７】次に，上記のようにしてウィンドウ３０１
内において路面領域が検出された後，図３（ｄ）に示す
ように該路面領域と路面以外の領域との境界座標列を求
める（Ｓ２０５）。詳述すれば，各ｙ座標において，ウ
ィンドウ３０１の中央から左方向に路面領域を走査し，
最初に見つかった路面以外の領域を左側の境界点の座標
とする。同様にウィンドウ３０１の中央から右方向に路
面領域を走査し，最初に見つかった路面以外の領域の座
標を右側の境界点の座標とする。すなわち，これの各境
界点は白線位置を表すものと考えられるからである。な
お，境界点の抽出において，境界点がウィンドウ３０１
の辺と等しい場合には，境界点は存在しないものとして
判断し，次の直線適合の際の点列に加えない。
内において路面領域が検出された後，図３（ｄ）に示す
ように該路面領域と路面以外の領域との境界座標列を求
める（Ｓ２０５）。詳述すれば，各ｙ座標において，ウ
ィンドウ３０１の中央から左方向に路面領域を走査し，
最初に見つかった路面以外の領域を左側の境界点の座標
とする。同様にウィンドウ３０１の中央から右方向に路
面領域を走査し，最初に見つかった路面以外の領域の座
標を右側の境界点の座標とする。すなわち，これの各境
界点は白線位置を表すものと考えられるからである。な
お，境界点の抽出において，境界点がウィンドウ３０１
の辺と等しい場合には，境界点は存在しないものとして
判断し，次の直線適合の際の点列に加えない。
【００１８】次に，図３（ｅ）に示すように，左右の境
界点の列にそれぞれ直線をあてはめる（Ｓ２０６）。こ
の直線適合は，よく知られているＨｏｕｇｈ変換に基づ
いて処理してもよいし，最小二乗法に基づいて処理して
もよい。これらの方法により，２本の直線，すなわち， ｘ＝ａL ・ｙ＋ｂL ｘ＝ａR ・ｙ＋ｂR ・・・（６） が求められる。
界点の列にそれぞれ直線をあてはめる（Ｓ２０６）。こ
の直線適合は，よく知られているＨｏｕｇｈ変換に基づ
いて処理してもよいし，最小二乗法に基づいて処理して
もよい。これらの方法により，２本の直線，すなわち， ｘ＝ａL ・ｙ＋ｂL ｘ＝ａR ・ｙ＋ｂR ・・・（６） が求められる。
【００１９】上記ａL ，ａR ，ｂL ，ｂR が直線式を表
すパラメータである。最後に２本の白線の交点（ｘV ，
ｙV ）を求め， ｘ−ｘV ＝ａL ・（ｙ−ｙV ） ｘ−ｘV ＝ａR ・（ｙ−ｙV ） ・・・（７） に変換する。その後，上記（１）式と上記（７）式によ
り， ａL ＝（ｘ−ｘV ）／（ｙ−ｙV ）＝Ｘ／Ｈ ・・・（８） であるため，左側の白線から， Ｘ＝Ｈ・ａL ・・・（９） の位置にカメラ，すなわち，自車両があるものと判断し
（Ｓ２０７），該情報信号を警報・制御部１０８に対し
て出力する（Ｓ２０８）。
すパラメータである。最後に２本の白線の交点（ｘV ，
ｙV ）を求め， ｘ−ｘV ＝ａL ・（ｙ−ｙV ） ｘ−ｘV ＝ａR ・（ｙ−ｙV ） ・・・（７） に変換する。その後，上記（１）式と上記（７）式によ
り， ａL ＝（ｘ−ｘV ）／（ｙ−ｙV ）＝Ｘ／Ｈ ・・・（８） であるため，左側の白線から， Ｘ＝Ｈ・ａL ・・・（９） の位置にカメラ，すなわち，自車両があるものと判断し
（Ｓ２０７），該情報信号を警報・制御部１０８に対し
て出力する（Ｓ２０８）。
【００２０】次に，先行車両の検出について説明する。
白線の認識と同様に，路面領域のｘ座標毎のｙ座標の上
限値，すなわち，上方の境界点を抽出する。その後，直
線適合を実行する。先行車両は水平エッジ成分を多く含
むため，水平の傾きをもつ直線のみをあてはめればよ
く，やはり，Ｈｏｕｇｈ変換を用いることが最適であ
る。
白線の認識と同様に，路面領域のｘ座標毎のｙ座標の上
限値，すなわち，上方の境界点を抽出する。その後，直
線適合を実行する。先行車両は水平エッジ成分を多く含
むため，水平の傾きをもつ直線のみをあてはめればよ
く，やはり，Ｈｏｕｇｈ変換を用いることが最適であ
る。
【００２１】そして，得られた直線を， ｙ＝ｙV ＋ｃ ・・・（１０） の式で表すと，ｃの値は前方の距離と対応する。したが
って，上記（１）式から，先行車両は， Ｚ＝Ｆ・Ｈ／ｃ の位置あるものと判断することができる。もし，ｃ＝ｗ
y のときには，先行車両や障害物は存在しないものして
判断する。なお，この先行車両検出において水平以外の
傾きをもつ直線を検出すると，白線を検出してしまう恐
れがある。
って，上記（１）式から，先行車両は， Ｚ＝Ｆ・Ｈ／ｃ の位置あるものと判断することができる。もし，ｃ＝ｗ
y のときには，先行車両や障害物は存在しないものして
判断する。なお，この先行車両検出において水平以外の
傾きをもつ直線を検出すると，白線を検出してしまう恐
れがある。
【００２２】また，１画面の時間内において車両は横方
向に大きく移動しないため，ウィンドウ３０１を前回の
結果より大きめに設定することにより，左右境界は白線
や道路の境界を表す可能性が高い。したがって，的確な
白線検出を行うことができる。
向に大きく移動しないため，ウィンドウ３０１を前回の
結果より大きめに設定することにより，左右境界は白線
や道路の境界を表す可能性が高い。したがって，的確な
白線検出を行うことができる。
【００２３】また，図３に示した例にあっては，右側の
白線が途切れ線で表されいる画面例を示している。境界
点の抽出において，境界点がウィンドウ３０１の辺と等
しい場合には，境界点は存在しないものとして判断し，
直線適合の際の点列に加えないことによって，正しい白
線検出を行うことができる。なお，この場合，もしウィ
ンドウ３０１が大き過ぎると，白線の途切れのさらに外
側に他車等がある場合，路面領域と白線との境界なの
か，路面領域と他車との境界なのかを識別することがで
きない。すなわち，白線の認識精度が悪化し，したがっ
て，ウィンドウ３０１の左右端は，可能な限り白線位置
に近いほうがよい。
白線が途切れ線で表されいる画面例を示している。境界
点の抽出において，境界点がウィンドウ３０１の辺と等
しい場合には，境界点は存在しないものとして判断し，
直線適合の際の点列に加えないことによって，正しい白
線検出を行うことができる。なお，この場合，もしウィ
ンドウ３０１が大き過ぎると，白線の途切れのさらに外
側に他車等がある場合，路面領域と白線との境界なの
か，路面領域と他車との境界なのかを識別することがで
きない。すなわち，白線の認識精度が悪化し，したがっ
て，ウィンドウ３０１の左右端は，可能な限り白線位置
に近いほうがよい。
【００２４】〔実施例２〕ここでは，ウィンドウの第２
の設定方法について説明する。上記実施例１におけるウ
ィンドウ３０１の設定は前回の白線検出結果に基づいて
行ったが，実施例２では，常に固定のウィンドウ３０１
として検出可能とするものである。以下，詳述する。
の設定方法について説明する。上記実施例１におけるウ
ィンドウ３０１の設定は前回の白線検出結果に基づいて
行ったが，実施例２では，常に固定のウィンドウ３０１
として検出可能とするものである。以下，詳述する。
【００２５】道路幅やレーンのおよその幅が既知であ
り，この幅をＢとすると， ｗL ＝−Ｂ／２Ｈ ｗR ＝Ｂ／２Ｈ ・・・（１１） として， ｘ−ｘV ＝（ｗL −ｗX ）・（ｙ−ｙV ） ｘ−ｘV ＝（ｗR ＋ｗX ）・（ｙ−ｙV ） ・・・（１２） をそれぞれウィンドウ３０１の左右辺とする。
り，この幅をＢとすると， ｗL ＝−Ｂ／２Ｈ ｗR ＝Ｂ／２Ｈ ・・・（１１） として， ｘ−ｘV ＝（ｗL −ｗX ）・（ｙ−ｙV ） ｘ−ｘV ＝（ｗR ＋ｗX ）・（ｙ−ｙV ） ・・・（１２） をそれぞれウィンドウ３０１の左右辺とする。
【００２６】車両が左（右）に寄ったとき，右（左）の
白線はウィンドウ３０１からはみ出ることになるが，１
本の白線は上記した手法により認識することができるた
め，もう１本の白線は，Ｂの幅分だけ離れたところにあ
るものとして推定すればよい。また，消失点（ｘV ，ｙ
V ）についても，およその値を固定値として設定しても
よい。このように，ウィンドウ３０１を固定すると，前
回の結果に影響されないため，あるとき白線を誤検出し
ても，次回は正しく認識される可能性が高くなるという
利点がある。
白線はウィンドウ３０１からはみ出ることになるが，１
本の白線は上記した手法により認識することができるた
め，もう１本の白線は，Ｂの幅分だけ離れたところにあ
るものとして推定すればよい。また，消失点（ｘV ，ｙ
V ）についても，およその値を固定値として設定しても
よい。このように，ウィンドウ３０１を固定すると，前
回の結果に影響されないため，あるとき白線を誤検出し
ても，次回は正しく認識される可能性が高くなるという
利点がある。
【００２７】〔実施例３〕さらに，ウィンドウの第３の
設定方法について説明する。この実施例３では，図４
（ｂ）に示すように白線の内側にウィンドウ３０１を設
定する方法である。この場合，車両が白線と平行に走行
している限りにおいて，路面領域と左右辺の位置は一致
する。したがって，ウィンドウ３０１内に白線は存在し
ないものとして判断することができる。以下，詳述す
る。
設定方法について説明する。この実施例３では，図４
（ｂ）に示すように白線の内側にウィンドウ３０１を設
定する方法である。この場合，車両が白線と平行に走行
している限りにおいて，路面領域と左右辺の位置は一致
する。したがって，ウィンドウ３０１内に白線は存在し
ないものとして判断することができる。以下，詳述す
る。
【００２８】上記した手法により左（右）に路面領域の
境界があり，直線適合された場合，車両は左（右）に寄
ったものとして判断することができる。そこで，次回の
画面ではウィンドウ３０１を右（左）に移動させる。ウ
ィンドウ３０１の位置によって車両（カメラ）の位置を
知ることができる。この場合，ウィンドウ３０１の移動
は直線適合の結果に基づいて行ってもよいが，一定値だ
け移動させるようにしてもよい。
境界があり，直線適合された場合，車両は左（右）に寄
ったものとして判断することができる。そこで，次回の
画面ではウィンドウ３０１を右（左）に移動させる。ウ
ィンドウ３０１の位置によって車両（カメラ）の位置を
知ることができる。この場合，ウィンドウ３０１の移動
は直線適合の結果に基づいて行ってもよいが，一定値だ
け移動させるようにしてもよい。
【００２９】すなわち，上記において，例えば，消失点
（ｘV ，ｙV ）を固定の値とし，左側で路面領域の境界
が直線適合された場合， ｗL ＝ｗL ＋ｗX ｗR ＝ｗR ＋ｗX ・・・（１３） として， ｘ−ｘV ＝ｗL ・（ｙ−ｙV ） ｘ−ｘV ＝ｗR ・（ｙ−ｙV ） ・・・（１４） をウィンドウ３０１の左右辺とすればよい。ただし，上
記（１３）式の右辺のｗL とｗR は今回のウィンドウ３
０１の設定値であり，左辺のｗL とｗR は次回の設定値
である。なお，上記（１３）式におけるｗX は定数であ
る。
（ｘV ，ｙV ）を固定の値とし，左側で路面領域の境界
が直線適合された場合， ｗL ＝ｗL ＋ｗX ｗR ＝ｗR ＋ｗX ・・・（１３） として， ｘ−ｘV ＝ｗL ・（ｙ−ｙV ） ｘ−ｘV ＝ｗR ・（ｙ−ｙV ） ・・・（１４） をウィンドウ３０１の左右辺とすればよい。ただし，上
記（１３）式の右辺のｗL とｗR は今回のウィンドウ３
０１の設定値であり，左辺のｗL とｗR は次回の設定値
である。なお，上記（１３）式におけるｗX は定数であ
る。
【００３０】次に，以上説明した手法を用いた応用例に
ついて説明する。上記の如く，自車両の白線や道路に対
する位置と，先行車両の位置が推定されるため，前車追
従型ＡＳＣＤ（車速のみ自動制御，ステアリングは運転
者が操作する）に利用することができる。例えば，先行
車両が近くにあると判断したときには，アクセルをＯＦ
Ｆして，先行車両が検出されなければ設定車速になるま
でアクセルをＯＮするように制御すればよい。
ついて説明する。上記の如く，自車両の白線や道路に対
する位置と，先行車両の位置が推定されるため，前車追
従型ＡＳＣＤ（車速のみ自動制御，ステアリングは運転
者が操作する）に利用することができる。例えば，先行
車両が近くにあると判断したときには，アクセルをＯＦ
Ｆして，先行車両が検出されなければ設定車速になるま
でアクセルをＯＮするように制御すればよい。
【００３１】また，ウィンカ（ターン・シグナル・ラン
プ）の点灯操作なしに何れかの白線に近づき過ぎた場
合，これは検出された白線の画面上での傾きが０に近づ
いた場合であるため，警報音を発すると共にＡＳＣＤを
解除してアクセルをＯＦＦすればよい。これは居眠り等
の要因で起こったものと判断することができる。
プ）の点灯操作なしに何れかの白線に近づき過ぎた場
合，これは検出された白線の画面上での傾きが０に近づ
いた場合であるため，警報音を発すると共にＡＳＣＤを
解除してアクセルをＯＦＦすればよい。これは居眠り等
の要因で起こったものと判断することができる。
【００３２】また，追突警報や車線逸脱警報について
は，先行車両が近づき過ぎた場合や，ウィンカ操作なし
に白線に近づき過ぎた場合に警報を発すればよい。
は，先行車両が近づき過ぎた場合や，ウィンカ操作なし
に白線に近づき過ぎた場合に警報を発すればよい。
【００３３】なお，各実施例では，前方の先行車両の検
出を例にとって説明したが，後方の環境認識についても
全く同様の手法を適用することが可能である。後方の白
線認識でも自車両位置を推定することができるため，車
線逸脱警報は可能である。また，後続車両が接近した場
合，運転者に知らせたり，ブレーキランプ等により後続
車両に報知する手段を駆動すればよい。
出を例にとって説明したが，後方の環境認識についても
全く同様の手法を適用することが可能である。後方の白
線認識でも自車両位置を推定することができるため，車
線逸脱警報は可能である。また，後続車両が接近した場
合，運転者に知らせたり，ブレーキランプ等により後続
車両に報知する手段を駆動すればよい。
【００３４】したがって，本実施例は，カラー画像を入
力し，ウィンドウ３０１内において路面領域を検出し，
該路面領域と路面以外の領域との境界から，白線と自車
両との相対位置を計測し，先行車両の検出を行う構成で
あるため，影の影響が少なく，簡単な処理で，高速に，
かつ，正確な白線認識や先行車両の検出を実現すること
ができる。
力し，ウィンドウ３０１内において路面領域を検出し，
該路面領域と路面以外の領域との境界から，白線と自車
両との相対位置を計測し，先行車両の検出を行う構成で
あるため，影の影響が少なく，簡単な処理で，高速に，
かつ，正確な白線認識や先行車両の検出を実現すること
ができる。
【００３５】さらに，基準色を抽出することにより，例
えば，天候や照明されているか等の車両周囲の環境に変
化が生じた場合であっても，すなわち，検出した画像の
中で路面の色が変わってしまったとしても，基準色もそ
の環境変化に伴って変化するため，白線をより的確に認
識することができる。
えば，天候や照明されているか等の車両周囲の環境に変
化が生じた場合であっても，すなわち，検出した画像の
中で路面の色が変わってしまったとしても，基準色もそ
の環境変化に伴って変化するため，白線をより的確に認
識することができる。
【００３６】
【効果】以上説明したように、この発明に係る車両用環
境認識装置によれば、車両周囲の入力画像から、前回認
識した白線で囲まれる領域よりも所定量大きい範囲の今
回のウィンドウを設定し、このウィンドウ内で路面領域
となる基準色を抽出し、この基準色と同一系色を路面領
域、他を非路面領域として検出し、この検出された路面
領域の左右両端の非路面領域との境界を表す直線を白線
として認識し、この白線から先行車両あるいは障害物の
有無を検出するようにしたので、1画面の時間内におい
て車両は横方向に大きく移動しないため、境界を示す直
線は白線や道路の境界を示す可能性が高く、的確な白線
検出を行うことができ、また白線が破線の場合にも的確
に検出することができるという効果を有する。
境認識装置によれば、車両周囲の入力画像から、前回認
識した白線で囲まれる領域よりも所定量大きい範囲の今
回のウィンドウを設定し、このウィンドウ内で路面領域
となる基準色を抽出し、この基準色と同一系色を路面領
域、他を非路面領域として検出し、この検出された路面
領域の左右両端の非路面領域との境界を表す直線を白線
として認識し、この白線から先行車両あるいは障害物の
有無を検出するようにしたので、1画面の時間内におい
て車両は横方向に大きく移動しないため、境界を示す直
線は白線や道路の境界を示す可能性が高く、的確な白線
検出を行うことができ、また白線が破線の場合にも的確
に検出することができるという効果を有する。
【図１】この発明に係る車両用環境認識装置の主要構成
を示すブロック図である。
を示すブロック図である。
【図２】図１に示した車両用環境認識装置の処理動作を
示すフローチャートである。
示すフローチャートである。
【図３】図２に示したフローチャートの各処理に対応す
る状態を示す説明図である。
る状態を示す説明図である。
【図４】この発明に係るウィンドウの設定例を示す説明
図である。
図である。
１０１ 画像入力部 １０２ 画像処理部 １０４ ウィンドウ設定部 １０５ 路面領域検出部 １０６ 白線認識部 １０７ 障害物検出部 １０８ 警報・制御部 ３０１ ウィンドウ
Claims (1)
- 【請求項１】車両周囲における道路領域の画像を入力す
る画像入力手段と、 この画像入力手段によって入力された入力画像に対して
処理対象となるウィンドウを設定するウィンドウ設定手
段と、このウィンドウ設定手段によって設定されたウィ
ンドウ内で、路面領域となる基準色を抽出する基準色抽
出手段と、この基準色抽出手段によって抽出された基準
色と同一系色を路面領域とし、他を非路面領域として検
出する路面領域検出手段と、この路面領域検出手段によ
って検出された路面領域の左右両端の非路面領域との境
界を表す直線を白線として認識する白線認識手段と、前
記路面領域の上側の非路面領域との境界を表す直線から
先行車両あるいは障害物の有無を判断する障害物検出手
段と、を備え 、 前記ウィンドウ設定手段は、前記白線認識手段
が前回認識した白線で囲まれる領域よりも所定量大きい
範囲を今回のウィンドウとして設定する ことを特徴とす
る車両用環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35460593A JP3120648B2 (ja) | 1993-12-29 | 1993-12-29 | 車両用環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35460593A JP3120648B2 (ja) | 1993-12-29 | 1993-12-29 | 車両用環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07200997A JPH07200997A (ja) | 1995-08-04 |
| JP3120648B2 true JP3120648B2 (ja) | 2000-12-25 |
Family
ID=18438695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35460593A Expired - Fee Related JP3120648B2 (ja) | 1993-12-29 | 1993-12-29 | 車両用環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3120648B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3897305B2 (ja) * | 2004-02-06 | 2007-03-22 | シャープ株式会社 | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 |
| WO2009119070A1 (ja) | 2008-03-26 | 2009-10-01 | 本田技研工業株式会社 | 車両用画像処理装置及び画像処理プログラム |
| JP2010225013A (ja) * | 2009-03-25 | 2010-10-07 | Hitachi Omron Terminal Solutions Corp | 記番号認識装置、紙葉類処理装置、自動取引処理装置、及び記番号認識方法 |
| JP4968369B2 (ja) * | 2010-06-25 | 2012-07-04 | アイシン・エィ・ダブリュ株式会社 | 車載装置及び車両認識方法 |
| CN111539907B (zh) * | 2019-07-25 | 2023-09-12 | 毫末智行科技有限公司 | 用于目标检测的图像处理方法及装置 |
-
1993
- 1993-12-29 JP JP35460593A patent/JP3120648B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07200997A (ja) | 1995-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9721460B2 (en) | In-vehicle surrounding environment recognition device | |
| EP2993654B1 (en) | Method and system for forward collision warning | |
| JP3630100B2 (ja) | 車線検出装置 | |
| JP4654163B2 (ja) | 車両の周囲環境認識装置及びシステム | |
| US7940301B2 (en) | Vehicle driving assist system | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
| US10246038B2 (en) | Object recognition device and vehicle control system | |
| US10853963B2 (en) | Object detection device, device control system, and medium | |
| CN111937002A (zh) | 障碍物检测装置、利用了障碍物检测装置的自动制动装置、障碍物检测方法以及利用了障碍物检测方法的自动制动方法 | |
| JPH0728975A (ja) | 道路環境認識装置 | |
| JP2005301603A (ja) | 走行車線検出装置 | |
| WO2018116841A1 (ja) | 物体検出装置 | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| KR101840974B1 (ko) | 자율주행용 차선 식별 시스템 | |
| JP2006309313A (ja) | 道路認識装置 | |
| JPH11153406A (ja) | 車両用障害物検出装置 | |
| US9558410B2 (en) | Road environment recognizing apparatus | |
| JP3812384B2 (ja) | 先行車両認識装置 | |
| JPH08138036A (ja) | 先行車両認識装置 | |
| JP3120648B2 (ja) | 車両用環境認識装置 | |
| JP2715442B2 (ja) | 走行車両認識装置 | |
| JP2007299045A (ja) | 車線認識装置 | |
| KR20140087622A (ko) | 촬영 영상의 휘도를 이용한 차선 추출 방법 | |
| JP2007310591A (ja) | 画像処理装置及び駐車場判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071020 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081020 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |