JP4323010B2 - 車両における走行路認識方法及び走行路認識装置 - Google Patents
車両における走行路認識方法及び走行路認識装置 Download PDFInfo
- Publication number
- JP4323010B2 JP4323010B2 JP19355099A JP19355099A JP4323010B2 JP 4323010 B2 JP4323010 B2 JP 4323010B2 JP 19355099 A JP19355099 A JP 19355099A JP 19355099 A JP19355099 A JP 19355099A JP 4323010 B2 JP4323010 B2 JP 4323010B2
- Authority
- JP
- Japan
- Prior art keywords
- travel
- line
- road surface
- recognition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両が走行する走行路の路面画像から走行線を判別することで走行路を画像認識する走行路認識方法及び走行路認識装置に関するものである。
【０００２】
【従来の技術】
従来、車両が中央分離線及び路肩線等の走行線（いわゆる白線）で区分された走行路を走行するときに、車両自身で走行路を認識し、運転者に走行路からの逸脱を報知したり、積極的に運転を補助したり、さらには、自動運転を行おうとする試みがある。このために、例えばＣＣＤカメラで撮像した走行路の路面画像から走行線を判別することで走行路を画像認識する方法が検討されている。
【０００３】
画像認識による走行線の認識方式としては、路面画像から走行線の標準パターンに一致する領域を抽出することで走行路を画像認識するテンプレートマッチングによる方式と、路面画像の明度変化を微分処理等で強調することで走行線の辺縁を抽出することで走行路を画像認識する方式とが知られている。
【０００４】
このうち、路面画像から走行線の辺縁を抽出することで走行路を画像認識する方式では、路面画像の画素データ間における濃度変化値を演算し、求めた濃度変化値が所定値以上である場合に、その画像データに対応する画像単位間に走行線の辺縁が存在すると推定する。このため、路面画像に走行路上の敷き石等が走行線と一緒に撮像されると、走行線の辺縁のみならず敷き石の辺縁もが抽出されるので、走行線の判別が困難になる。そこで、走行線は、判別の障害となる敷き石等よりも高い明度で撮像されることが殆どであるという前提条件に基づき、走行路の辺縁であると判断するときの濃度変化値の値を高めに設定している。従って、敷き石の辺縁が走行線の辺縁と共に検出されることがないので、走行線の辺縁のみを検出して走行線を容易に判別することができるようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、走行路にできた影で走行線が覆われると、その辺縁に対する濃度変化値の値が低くなる。このため、辺縁を検出するときの濃度変化値の値を余り高めに設定すると、走行線を判別することができなくなる問題がある。
【０００６】
本発明は、上記の課題を解決するためになされたものであって、その目的は、走行線の判別の障害となる障害物があっても走行線を判別することができ、又、走行線に部分的に影がかかっていても走行線を判別して走行路を画像認識することができる車両における走行路認識方法及び走行路認識装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、車両に対して所定の位置関係で撮像され、車両の進行方向に設定された進行軸と、前記進行方向に対し直交する方向に設定された横軸との座標で表現されるとともに、車両が走行する走行路を区画する左右両側の走行線の少なくとも一方を含んで順次撮影される路面画像から、前記進行軸の各位置から前記横軸方向に延びる線領域を形成する各画像単位間の、該横軸方向における濃度変化値を該横軸の各位置に対応させた辺縁データを生成する辺縁検出処理と、前記各辺縁データ毎に、所定の大きさ以上である前記各濃度変化値が存在する前記横軸に対する位置と、実際の前記走行線の幅とから、両位置の間隔が該走行線の幅と同等であってかつ正負が反対である濃度変化値が存在する一対の位置の組み合わせを、前記線領域に重なる認識対象物の各辺縁が存在する位置対として検出する認識対象物仮検出処理と、前記各位置対の内から、該位置対間における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、該位置対間における各画像単位の濃度のばらつきが所定の値以下であるか、あるいは、該位置対間において所定の大きさ以上の濃度変化値が存在する位置によって区分される複数の領域の内のいずれかの領域における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定の値以下である位置対を、該位置対間の全体に同一の認識対象物が存在する位置領域として検出する認識対象物検出処理と、前記位置領域が検出された前記各線領域の前記進行軸に対する位置と、該各線領域において検出された該位置領域の前記横軸に対する位置とから、該各位置領域に存在する前記認識対象物によって形成され、該各位置領域が検出された前記各線領域にて形成される前記路面画像の部分領域に、少なくとも連続する位置関係で存在する帯状対象物を検出する帯状対象物検出処理と、車両の進行に伴って順次得られた２つの前記路面画像において、前の時点で得られた第１の路面画像から検出された第１の帯状対象物と、後の時点で得られた第２の路面画像から検出された第２の帯状対象物とが、両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記両帯状対象物を同一の走行線であるとして確定する走行線認識処理とを行う車両における走行路認識方法である。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記路面画像は、前記走行路を区画する左右両側の走行線を含む路面画像であって、前記路面画像に対して前記帯状対象物検出処理までの各処理によって検出された複数の前記帯状対象物の前記横軸に対する位置と、実際の走行路を区画する左右両側の走行線間の間隔とに基づいて、前記各帯状対象物の内から両者間の間隔が実際の走行路を区画する左右両側の走行線の間隔と同等である一対の帯状対象物を検出する左右走行線検出処理を行うとともに、前記走行線認識処理において、前記左右走行線検出処理で検出された一対の帯状対象物についてそれぞれ前記両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記各両帯状対象物をそれぞれ左右の同一の走行線であるとして確定することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記走行線確定処理で確定した前記走行線について前記路面画像上における撮像位置を示す走行線データを、前記第１又は第２の路面画像から生成する走行線データ生成処理を行うことを特徴とする。
【００１０】
請求項４に記載の発明は、車両の進行方向に設定された進行軸と、該進行方向に直交する方向に設定された横軸との座標で表現される、車両が走行する走行路の走行線を含む該走行路の路面画像を、車両に対して所定の姿勢で順次撮像する撮像手段と、 請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって、前記各路面画像の画像処理を行う画像処理手段とを備えた車両における走行路認識装置である。
【００１１】
（作用）
請求項１に記載の発明によれば、辺縁検出処理において、路面画像の各線領域毎に、その線領域に存在する認識対象物、即ち、中央分離線、路肩線等の走行線、あるいは、路面標識の辺縁、あるいは、路面よりも高い濃度で撮像される敷き石、小石等の認識障害物の辺縁の存在が、横軸に対する位置と共に検出される。各辺縁データで辺縁が検出された認識対象物が、走行線、路面標識、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁、あるいは、線領域に存在する部分の幅が走行線と異なる２つの認識障害物の各辺縁の組み合わせであって、線領域に存在する部分の幅が走行線と異なる認識障害物の両辺縁でなければ、濃度変化値が所定の大きさ以上である２位置間の間隔が走行線の幅と同等であって、その各位置における濃度変化値の正負が反対となる。この前提条件に基づき、認識対象物仮検出処理において、各線領域毎に、辺縁データによって検出された走行線、路面標識、認識障害物の各辺縁の内から、走行線、路面標識、線領域に存在する部分の幅が走行線と同等である敷き石等の認識障害物、あるいは、線領域に存在する部分の幅が走行線と異なる２つの認識障害物の両辺縁を含む一対の辺縁が存在する位置対が検出される。各線領域で検出された両辺縁の位置対が、位置対間の全体に存在する認識対象物、即ち、走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁に対応する位置対であって、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対でなければ、その位置対間における画像単位の濃度の平均値と該位置対間以外の範囲の濃度の平均値との差が所定の値以上であり、かつ、位置対間における各画像単位の濃度のばらつきが所定の値以下である。又、線領域で検出された両辺縁の位置対が、位置対間の全体に存在する認識対象物であり、かつ、その位置対間の途中まで影がかかった状態の認識対象物、即ち、走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁であって、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対でなければ、その位置対間に影の辺縁に対応する所定の値以上の濃度変化値が存在し、この濃度変化値が存在する位置によって区分される位置対間の複数の領域の内の影がかかっていない領域における各画像単位の濃度の平均値と、各位置対間以外の範囲における各画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定値以下となる。この前提条件に基づき、認識対象物検出処理において、各線領域毎に、認識障害物仮検出処理で検出された走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁に対応する位置対が検出され、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対は検出されない。位置領域が検出された各線領域に存在する認識対象物が、帯状に延びる走行線あるいは路面標識の直線部分であって、帯状に延びない敷き石等の認識障害物でなければ、各位置領域にて形成される認識対象物は、各位置領域が検出された線領域にて形成される路面画像に、少なくとも連続する位置関係で存在する帯状対象物となる。この前提条件に基づき、帯状対象物検出処理において、位置領域が検出された各線領域で形成される路面画像の少なくとも部分領域に存在する帯状対象物、即ち、走行線の一部、あるいは、路面標識の直線部分が検出され、帯状対象物でない路面標識の非直線部分、あるいは、敷き石等は検出されない。車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像においてそれぞれ検出された帯状対象物が、同一の走行線であって路面標識の直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、走行線認識処理において、各路面画像で検出された帯状対象物である、同一の連続する追い越し禁止線、破線からなる追い越し線、路肩線、あるいは、直線部分を有する路面標識の内から、追い越し禁止線、追い越し線、及び、路肩線が確定される。従って、走行線と共に検出される認識障害物が走行線と判別され、又、路面にできた影で辺縁での濃度差が小さくなった走行線も実際の走行線であることが判断される。
【００１２】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、検出された左右の帯状対象物が実際の走行路を区画する左右両側の走行線であれば、両走行線間が同じ間隔で連続する。この前提条件に基づき、左右走行線検出処理において、検出された複数の各帯状対象物、即ち、実際の走行路を区画する走行線、走行路を形成せず連続しない状態で存在する走行線、路面標識の直線部分の内から、実際の走行路を区画する左右の両走行線である可能性が高い一対の帯状対象物が確定される。従って、実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する左右の走行線が判別される。
【００１３】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、確定された走行線の路面画像における撮像状態を示す走行線データが生成される。
【００１４】
請求項４に記載の発明によれば、撮像手段によって、車両に対して所定の姿勢で順次撮像される走行路の走行線を含む該走行路の路面画像から、画像処理手段により、請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって走行路が認識される。
【００１５】
【発明の実施の形態】
以下、本発明を具体化した一実施の形態を図１〜図７に従って説明する。
図３は、車両用走行路認識装置１０の模式構成図である。車両用走行路認識装置１０は、撮像手段としてのＣＣＤカメラ１１ａ，１１ｂ、及び、画像処理手段としての画像処理ユニット１２とからなる。ＣＣＤカメラ１１ａ，１１ｂは、車両Ｃの左右各ドアミラーＭＬ，ＭＲにそれぞれ設けられている。
【００１６】
図４は、各ＣＣＤカメラ１１ａ，１１ｂが撮影する走行路の撮影領域を示している。又、図５は、左側のドアミラーＭＬに設けられたＣＣＤカメラ１１ａが撮影した走行路面の路面画像を示し、図６は、右側のドアミラーＭＲに設けられたＣＣＤカメラ１１ｂが撮影した路面画像を示す。各ＣＣＤカメラ１１ａ，１１ｂは、車両に対して所定の姿勢で固定され、車両Ｃの進行方向に設定された進行軸Ｙと、該進行方向に直交する方向に設定された横軸Ｘとの座標で表現される、車両が走行する走行路を区画する走行線を含む該走行路の路面画像を撮像する。さらに、ＣＣＤカメラ１１ａは、車両が走行する走行路を区画する左側の走行線、例えば、路肩線Ａ１だけを含む左側路面画像を撮影するように設けられ、ＣＣＤカメラ１１ｂは、走行路を区画する右側の走行線、例えば、中央分離線（追い越し線、追い越し禁止線）Ａ２だけを含む右側路面画像を撮影するように設けられている。又、各ＣＣＤカメラ１１ａ，１１ｂは、走行路に表示されている路面標識Ｂを含む路面画像を撮影するように設けられている。各ＣＣＤカメラ１１ａ，１１ｂは、それぞれｍ行×ｎ列に２次元配列された画素で形成される路面画像を撮像する。ＣＣＤカメラ１１ａ，１１ｂは、画素単位で撮像される走行路面の濃度に応じた強さの画素信号を出力する。
【００１７】
画像処理ユニット１２は、Ａ／Ｄ変換器１３、ＣＰＵ１４、入出力ポート１５、ＲＯＭ１６、ＲＡＭ１７、画像メモリ１８、タイマ１９等を備える。
ＲＯＭ１６にはＣＰＵ１４が実行する走行路認識処理の制御プログラムが記憶されている。
【００１８】
ＣＰＵ１４は、制御プログラムに従い、左右両側の走行線Ａ１，Ａ２によって形成される走行路を認識する走行路認識処理を例えば１００ミリ秒経過毎に繰り返し実行する。
【００１９】
走行路認識処理として、ＣＰＵ１４は、走行路面撮影処理、辺縁検出処理、認識対象物仮検出処理、認識対象物検出処理、帯状対象物検出処理、走行線認識処理及び走行線データ生成処理の各処理を順次実行する。
【００２０】
走行路面撮影処理として、ＣＰＵ１４は、タイマ１９が計時する時間に基づき所定時間経過毎に左右の各ＣＣＤカメラ１１ａ，１１ｂを走査制御するとともに、各ＣＣＤカメラ１１ａ，１１ｂが出力する１フレーム分の画素信号を、Ａ／Ｄ変換器１３ａ，１３ｂを介してｍ行×ｎ列の画素データ（以下、単に画素という）からなる路面画像データ（以下、単に路面画像という）に変換してそれぞれ画像メモリ１８に記憶する。即ち、ＣＰＵ１４は、走行路面撮影処理として、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲを順次撮影する。
【００２１】
走行路認識処理として、ＣＰＵ１４は、走行路の左右両側の各路面画像ＡＬ，ＡＲに対し、辺縁検出処理から走行線認識処理までの各処理をそれぞれ実行する。以下、同各処理を、走行路の右側の路面画像ＡＲを引用して説明するが、走行路の左側の路面画像ＡＬについても同様である。
【００２２】
辺縁検出処理として、ＣＰＵ１４は、右側の路面画像ＡＲに対し、進行軸Ｙの各位置から横軸方向に延びる線領域を形成する各画素行の、該横軸方向における濃度変化値（微分値）を該横軸Ｘの各位置に対応させた辺縁データを生成する。即ち、ＣＰＵ１４は、１つの路面画像ＡＲについてｍ個の辺縁データを生成する。図７（ｂ）は、図７（ａ）に示す路面画像ＡＲの進行軸Ｙにおける１つの位置Ｑ１から横軸方向に延びる線領域ＬＡを形成する画素行について、その横軸方向における濃度変化値を取った辺縁データを、横軸Ｘに対する濃度変化値を示すグラフで表わしたものである。辺縁データは、１つの線領域ＬＡを形成する画素行の各画素の濃度を微分演算することで生成され、同線領域ＬＡにおいて画素の濃度が大きく変化する位置を示す。即ち、辺縁データにおいて、所定値α以上である濃度変化値の存在は、走行線Ａ１，Ａ２の辺縁、路面標識Ｂの辺縁、走行線Ａ１，Ａ２と同程度の濃度で撮像される敷き石Ｃ１等の認識障害物の辺縁、あるいは、走行線Ａ１，Ａ２よりも低い濃度で撮像される小石Ｃ２等の認識障害物の辺縁の存在をその位置と共に示す。又、辺縁データにおいて所定の大きさ｜α｜以上である濃度変化値の存在は、走行線Ａ１，Ａ２に幅の半分まで影Ｓがかかった状態での、走行線Ａ１上における影Ｓの辺縁、又、共に影Ｓがかかっている走行線Ａ１と走行路面との境界の存在をその位置と共に示す。尚、認識障害物とは、路面画像ＡＬ，ＡＲから走行線Ａ１，Ａ２を判別するときに、走行線Ａ１，Ａ２及び路面標識Ｂの判別の障害となる認識対象物である。例えば、図７（ａ）に示す位置Ｑ１の線領域ＬＡにおいては、図７（ｂ）に示すように、所定の大きさ｜α｜以上である濃度変化値が存在する位置として、路面標識Ｂの各辺縁Ｐ１，Ｐ２，Ｐ３、敷き石Ｃ１の両辺縁Ｐ４，Ｐ６、敷き石Ｃ１に部分的にかかっている影の境界Ｐ５、小石Ｃ２の各両辺縁Ｐ７，Ｐ８、Ｐ９，Ｐ１０、中央分離線Ａ２の両辺縁Ｐ１１，Ｐ１３、中央分離線Ａ２に部分的にかかっている影の境界Ｐ１２を検出する。
【００２３】
辺縁検出処理の次に実行する認識対象物仮検出処理として、ＣＰＵ１４は、各辺縁データ毎に、所定の大きさ｜α｜以上である各濃度変化値の横軸Ｘに対する位置と、実際の走行線Ａ１，Ａ２の幅ｗとから、存在する両位置の間隔が該走行線の幅ｗと同等であってかつ正負が反対である一対の濃度変化値が存在する両位置の組み合わせを、線領域ＬＡに存在する認識対象物の両辺縁が存在する位置対として検出する。即ち、各線領域で検出された辺縁が検出された認識対象物が、走行線Ａ１，Ａ２、路面標識Ｂ、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの認識障害物の各辺縁の組み合わせであって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる小石Ｃ２等の認識障害物の両辺縁でなければ、濃度変化値が所定の大きさ｜α｜以上である２位置間の間隔が走行線Ａ１，Ａ２の幅ｗと同等であって、その各位置における濃度変化値の正負が反対となる。この前提条件に基づき、ＣＰＵ１４は、各線領域ＬＡ毎に、辺縁データから検出された走行線Ａ１，Ａ２、路面標識Ｂ及び認識障害物Ｃ１，Ｃ２の各辺縁の内から、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同等である敷き石Ｃ１等の認識障害物、線領域ＬＡに存在する部分に走行線Ａ１，Ａ２と同じ幅で一対の辺縁が存在する複数の小石Ｃ２等の認識障害物の組み合わせの辺縁が存在する位置対を検出し、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる１つずつの小石Ｃ２等の認識障害物の両辺縁を検出しない。例えば、図７（ａ）に示す線領域ＬＡについては、図７（ｂ）に示すように、走行線、路面標識及び認識障害物の各辺縁が存在する位置Ｐ１〜Ｐ１３の内、路面標識Ｂの両辺縁に対応する位置対（Ｐ２，Ｐ３）、敷き石Ｃ１の両辺縁に対応する位置対（Ｐ４，Ｐ６）、２つの小石Ｃ２の辺縁からなる位置対（Ｐ７，Ｐ１０）、及び、走行線Ａ２の両辺縁に対応する位置対（Ｐ１１，Ｐ１３）をそれぞれ検出し、Ｐ１，Ｐ５，Ｐ８，Ｐ９，Ｐ１２を含む位置対を検出しない。
【００２４】
認識対象物仮検出処理の次に実行する認識対象物検出処理として、ＣＰＵ１４は、各線領域ＬＡ毎に、線領域ＬＡで検出された各位置対の内から、該位置位置対間における各画素の濃度の平均値と各位置対間以外の範囲における画素の濃度の平均値との差が所定の値以上であり、かつ、該位置対間における各画素の濃度のばらつきが所定の値以下である位置対を、該位置対間の全体に同一の認識対象物が存在する位置領域として検出する。又、ＣＰＵ１４は、各線領域ＬＡ毎に、線領域ＬＡで検出された各位置対の内から、位置対間において所定の大きさ以上の濃度変化値が存在する位置によって区分される複数の領域の内のいずれかにおける各画素の濃度の平均値と各位置対間以外の領域における画素の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画素の濃度のばらつきが所定の値以下である位置対を、位置対間の全体に認識対象物が存在する位置領域として検出する。図７（ｃ）は、線領域ＬＡにおける画素の横軸Ｘに対する濃度を示すグラフである。即ち、線領域ＬＡで検出された各位置対が、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁であって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの小石Ｃ２等の認識障害物の各辺縁の組み合わせでなければ、その位置対間における画素の濃度の平均値と各位置対間以外の領域の画素の濃度の平均値との差が所定の値以上であり、かつ、位置間における各画素の濃度のばらつきが所定の値以下となる。又、線領域ＬＡで検出された位置対が、位置対間の全体に存在する認識対象物であり、かつ、その位置対間の途中まで影がかかった状態の認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域に存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁であって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの小石Ｃ２等の認識障害物の各辺縁の組み合わせでなければ、その位置対間に影の辺縁に対応する所定の値以上の濃度変化値が存在し、この濃度変化値が存在する位置によって区画される複数の領域の内のいずれかの領域における各画素の濃度の平均値と各位置対間以外の範囲の各画素の濃度の平均値とに所定の大きさ以上の差があるとともに、その位置対間に所定の大きさ以上である濃度変化値が存在し、この濃度変化値が存在する位置で区分される位置対間の複数の領域の内の影がかかっていない領域における各画像単位の濃度の平均値と、各位置対間以外の範囲における各画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定値以下となる。この前提条件に基づき、ＣＰＵ１４は、各線領域ＬＡ毎に、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、走行線Ａ１，Ａ２と同じ幅を有する敷き石Ｃ１等の認識障害物を検出し、走行線Ａ１，Ａ２と同じ幅を有しない複数の小石Ｃ２等の認識障害物を検出しない。例えば、図７（ａ）の線領域ＬＡの場合は、図７（ｃ）に示すように、位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の内から、路面標識Ｂが存在する位置対（Ｐ２，Ｐ３）間の位置領域ε１、敷き石Ｃ１が存在する位置対（Ｐ４，Ｐ６）間の位置領域ε２、中央分線Ａ２が存在する位置対（Ｐ１１，Ｐ１３）間の位置領域ε３を検出し、２つの小石Ｃ２からなる位置対を位置領域として検出しない。
【００２５】
認識対象物検出処理の次に実行する帯状対象物検出処理として、ＣＰＵ１４は、認識対象物検出処理において位置領域ε１，ε２，ε３が検出された各線領域ＬＡの進行軸Ｙに対する位置と、該各線領域ＬＡにおいて検出された該位置領域ε１，ε２，ε３の横軸Ｘに対する位置とから、該各位置領域ε１，ε２，ε３に存在する認識対象物によって形成され、該各位置領域ε１，ε２，ε３が検出された各線領域ＬＡにて形成される路面画像ＡＲに、少なくとも連続する位置関係で存在する帯状対象物を検出する。即ち、位置領域ε１，ε２，ε３が検出された各線領域ＬＡに存在する認識対象物が、帯状に延びる走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分であって、帯状に延びない敷き石Ｃ１等の認識障害物でなければ、各位置領域ε１，ε２，ε３にて形成される認識対象物は、各位置領域ε１，ε２，ε３が検出された線領域ＬＡにて形成される路面画像ＡＲに、少なくとも連続する位置関係で存在する帯状対象物である。この前提条件に基づき、ＣＰＵ１４は、位置領域ε１，ε２，ε３が検出された各線領域ＬＡで形成される路面画像ＡＲの少なくとも部分領域に存在する帯状対象物、即ち、走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分を検出し、帯状対象物でない路面標識Ｂの非直線部分、あるいは、敷き石Ｃ１等の認識障害物を検出しない。例えば、図６に示す路面画像ＡＲについては、帯状対象物である走行線Ａ１を検出し、帯状対象物でない路面標識Ｂ及び敷き石Ｃ１を検出しない。又、路面画像ＡＲの上下端縁及び左右端縁の少なくともいずれかに交差しない状態で帯状に延びる認識対象物も、帯状対象物、即ち、追い越し線の線分として検出する。
【００２６】
左右走行線検出処理として、ＣＰＵ１４は、左右の両路面画像ＡＬ，ＡＲに対して、帯状対象物検出処理までの各処理によって検出された帯状対象物の横軸Ｘに対する位置と、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２間の間隔とに基づいて、各帯状対象物の内から両者間の間隔が実際の走行路を区画する左右両側の走行線Ａ１，Ａ２の間隔と同等である一対の帯状対象物を検出する。即ち、左右の路面画像ＡＬ，ＡＲでそれぞれ検出された左右の各帯状対象物が、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２であれば同じ間隔で連続する。この前提条件に基づき、ＣＰＵ１４は、検出された左右の各帯状対象物、即ち、実際の走行路を区画する走行線Ａ１，Ａ２、路面標識Ｂの直線部分の内から、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２である可能性が高い一対の帯状対象物を判別する。
【００２７】
左右走行線検出処理の次に実行する走行線認識処理として、ＣＰＵ１４は、車両の進行に伴って順次得られた２つの路面画像ＡＲにおいて、前の時点で得られた第１の路面画像ＡＲから検出された第１の帯状対象物と、後の時点で得られた第２の路面画像ＡＲから検出された第２の帯状対象物とが、両路面画像ＡＲ間で少なくとも連続する位置関係にあるか否かを判断し、連続する位置関係にある両帯状対象物を同一の走行線であるとして確定する。即ち、車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像ＡＲにおいてそれぞれ検出された帯状対象物が、同一の走行線Ａ１，Ａ２であって路面標識Ｂの直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、ＣＰＵ１４は、各路面画像ＡＲで検出された帯状対象物である、連続する追い越し禁止線、破線からなる追い越し線、路肩線Ａ１、あるいは、直線部分を有する路面標識Ｂの内から、追い越し禁止線、追い越し線及び路肩線Ａ１を走行線として確定する。
【００２８】
走行線認識処理の次に実行する走行線データ生成処理として、ＣＰＵ１４は、走行線確定処理で確定した左右両側の走行線Ａ１，Ａ２について路面画像ＡＬ，ＡＲ上における撮像位置を示す走行線データを、第１又は第２の路面画像ＡＬ，ＡＲから生成する。
【００２９】
次に、以上のように構成された走行路認識装置の作用について説明する。
車両が走行するときに走行路認識装置１０を作動させると、画像処理ユニット１２のＣＰＵ１４が走行路認識処理を所定時間経過毎に繰り返し実行する。図１，２は、走行路認識処理のフローチャートを示す。
【００３０】
走行路認識処理において、ＣＰＵ１４は、先ずステップ（以下、単にＳと表記する）１０で、走行路面撮影処理を実行する。その結果、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲが順次撮影される。
【００３１】
次に、ＣＰＵ１４は、走行路認識処理において、Ｓ１１で、左右の各路面画像ＡＬ，ＡＲについて、それぞれの各線領域ＬＡ毎に辺縁検出処理を実行する。その結果、各線領域ＬＡに存在する路肩線Ａ１、中央分離線Ａ２等の走行線の辺縁、路面標識Ｂの辺縁、あるいは、敷き石Ｃ１、小石Ｃ２等の認識障害物の辺縁の存在がその位置と共に検出される。
【００３２】
次に、ＣＰＵ１４は、認識対象物仮検出処理として、Ｓ１２で、１つの線各領域ＬＡについて｜α｜以上の大きさである濃度変化値の位置を検出して保存し、Ｓ１３で、両位置の間隔が実際の走行線Ａ１，Ａ２の幅ｗと同等であってかつ正負が反対である一対の濃度変化値の位置の組み合わせを位置対として検出する。その結果、例えば、図７（ａ）に示す線領域ＬＡについては、走行線Ａ２、路面標識Ｂ、敷き石Ｃ１、小石Ｃ２の各辺縁が存在する位置Ｐ１〜Ｐ１３の内から、走行線Ａ２、路面標識Ｂの両辺縁に対応する位置対（Ｐ２，Ｐ３）、敷き石Ｃ１の両辺縁に対応する位置対（Ｐ４，Ｐ６）、２つの小石Ｃ２の辺縁からなる位置対（Ｐ７，Ｐ１０）、及び、走行線Ａ２の両辺縁に対応する位置対が（Ｐ１１，Ｐ１３）が検出され、Ｐ１，Ｐ５，Ｐ８，Ｐ９，Ｐ１２を含む位置対は検出されない。
【００３３】
次に、ＣＰＵ１４は、認識対象物検出処理として、Ｓ１４で、Ｓ１３で検出した各位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の内から、位置対間の画素の濃度の平均値と各位置対間以外の領域の画素の濃度の平均値との比較、位置対間の画素の濃度のばらつきから、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同等である敷き石Ｃ１等の認識障害物が存在する位置領域を検出し、位置対間の全体に存在しない２つの小石Ｃ２の組み合わせに等による位置対間を認識対象物が存在する位置領域として検出しない。そして、ＣＰＵ１２は、Ｓ１５で、Ｓ１４で統計処理によって検出した各位置領域を保存する。その結果、例えば、線領域ＬＡについては、Ｓ１３で検出された各位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の両辺縁に対応する位置対の内から、路面標識Ｂが存在する位置領域ε１、敷き石Ｃ１が存在する位置領域ε２、走行線Ａ２が存在する位置領域ε３がそれぞれ検出され、小石Ｃ２の組み合わせからなる位置対は位置領域として検出されない。
【００３４】
ＣＰＵ１４は、Ｓ１６で全ての線領域ＬＡについて認識対象物仮検出処理及び認識対象物検出処理が終了したことを確認すると、Ｓ１７で、帯状対象物検出処理を実行する。その結果、例えば図７（ａ）に示す線領域ＬＡにおいて位置領域ε１，ε２，ε３が検出された路面画像ＡＬ，ＡＲの少なくとも部分領域に存在する帯状対象物である走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分が検出され、帯状対象物でない敷き石Ｃ１等の認識障害物は検出されない。
【００３５】
次いで、ＣＰＵ１４は、Ｓ１８で、左右走行線検出処理を実行する。その結果、左右の各路面画像ＡＬ，ＡＲから検出された複数の帯状対象物、即ち、実際の走行路を区画する走行線Ａ１，Ａ２、走行路を形成せず連続しない状態で存在する走行線、路面標識Ｂの直線部分の内から、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２を含む一対の帯状対象物が検出される。
【００３６】
次に、ＣＰＵ１４は、走行路認識処理において、Ｓ１９で、走行線認識処理を実行する。その結果、２つの各路面画像ＡＬ，ＡＲでそれぞれ検出された帯状対象物である、同一の連続する路肩線Ａ１、中央分離線（追い越し線、追い越し禁止線）Ａ２、あるいは、直線部分を有する路面標識Ｂの内から、路肩線Ａ１、中央分離線Ａ２が判別される。
【００３７】
ＣＰＵ１４は、走行路認識処理の最後に走行線データ生成処理を実行する。その結果、実際の走行路を区画する走行線として確定された左右両側の走行線Ａ１，Ａ２の各路面画像ＡＬ，ＡＲにおける撮像位置を示す走行線データが生成される。
【００３８】
従って、走行路認識処理によって、走行線Ａ１，Ａ２及び路面標識Ｂと共に検出される認識障害物Ｃ１，Ｃ２が走行線Ａ１，Ａ２及び路面標識Ｂと判別され、又、走行路面にできた影Ｓで辺縁の濃度差が小さくなった走行線Ａ１，Ａ２も実際の走行線Ａ１，Ａ２であることが判断される。
【００３９】
又、実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する走行線Ａ１，Ａ２が判別される。
以上詳述した本実施の形態によれば、以下に記載の各効果を得ることができる。
【００４０】
（１） 走行線Ａ１，Ａ２及び路面標識Ｂと共に検出される認識障害物Ｃ１，Ｃ２が走行線Ａ１，Ａ２及び路面標識Ｂと判別され、又、走行路面にできた影Ｓで辺縁の濃度差が小さくなった走行線Ａ１，Ａ２も実際の走行線Ａ１，Ａ２であることが判断される。その結果、走行線Ａ１，Ａ２の判別の障害となる障害物があっても走行線Ａ１，Ａ２を判別することができ、又、走行線Ａ１，Ａ２に影Ｓがかかっていても走行線Ａ１，Ａ２を判別して走行路を画像認識することができる。
【００４１】
（２） 実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する走行線Ａ１，Ａ２が判別される。その結果、例えば、道路工事時等において、実際の走行路として仮の走行路が使用されており、以前の走行路の走行線が連続しない状態で残っているような場合に、実際の走行路を区画する走行線Ａ１，Ａ２を判別して実際の走行路を画像認識することができる。
【００４２】
（３） 確定された走行線の路面画像における撮像状態を示す走行線データが生成されるので、走行線データから、走行線Ａ１，Ａ２に対する車両の位置関係を把握することができる。このため、走行線データに基づいて、車両の走行時に走行車線の変更を行おうとしていない状態での走行路の中央からの偏り又は逸脱を検出して運転者に警告したり、あるいは、同じく走行路から逸脱しないように操舵輪を自動で操舵制御することができる。
【００４３】
以下、本発明を具体化した上記実施の形態以外の実施の形態を別例として列挙する。
・ 路面画像を撮影する撮像手段は、ＣＣＤカメラに限らずその他例えばＣＭＯＳカメラであってもよい。
【００４４】
・ 走行路の左右両側の走行線を含む路面画像を撮影する左右のカメラを設ける車両の部位は、左右のドアミラーに限らず、その他例えば、ドア、タイヤルーフ、バンパ等であってもよい。
【００４５】
・ 左右に設けたカメラで別個に撮影した左右一対の路面画像ＡＬ，ＡＲに基づいて左右走行線検出処理を行う代りに、左右両側の走行線を含むように撮影した１つの路面画像に基づいて左右走行線検出処理を行うようにしてもよい。
【００４６】
・ 走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものであってもよい。この構成では、走行路を区画する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００４７】
又、走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものでってもよい。この構成では、走行路を区画する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００４８】
・ 辺縁データを生成する線領域ＬＡは、画像単位としての画素からなる画素行に限らず、隣り合う複数の画素の集合からなる画像単位にて形成されるものであってもよい。この場合、辺縁データは、例えば、画素単位を構成する各画素の濃度を平均化した値を、その画素単位の濃度とする。
【００４９】
以下、特許請求の範囲に記載した各発明の外に前述した実施の形態及び各別例から把握される技術的思想をその効果とともに記載する。
（１） 請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置とを備えた走行補助装置。このような構成によれば、走行路を区画する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５０】
（２） 請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、操舵輪を操舵制御して車両の走行路の中央に復帰させる走行補助装置とを備えた運転補助装置。このような構成によれば、走行路を区画する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５１】
【発明の効果】
以上詳述したように、請求項１〜請求項４に記載の発明によれば、走行線の判別の障害となる障害物があっても走行線を判別することができ、又、走行線に影がかかっていても走行線を判別して走行路を画像認識することができる。
【００５２】
請求項２〜請求項４に記載の発明によれば、連続して延びておらず、実際の走行路を形成していない走行線が走行路面にあっても、実際の走行路を区画する走行路を判別して、正しい走行路を画像認識することができる。
【００５３】
請求項３又は請求項４に記載の発明によれば、走行路に対する車両の位置関係を示す走行データが出力される。
【図面の簡単な説明】
【図１】 走行路認識処理のフローチャート。
【図２】 走行路認識処理のフローチャート。
【図３】 走行路認識装置の模式ブロック図。
【図４】 走行路と各ＣＣＤカメラの撮影領域を示す模式図。
【図５】 左側のＣＣＤカメラによる路面画像を示す模式図。
【図６】 右側のＣＣＤカメラによる路面画像を示す模式図。
【図７】 （ａ）は路面画像の一部を示す模式図、（ｂ）は１つの線領域における辺縁データのグラフ、（ｃ）は同じく濃度データのグラフ。
【符号の説明】
１１ａ，１１ｂ…撮像手段としてのＣＣＤカメラ、１２…画像処理手段としての画像処理ユニット、ＡＬ，ＡＲ…路面画像、Ｃ…車両、ＬＡ…線領域、Ｘ…横軸、Ｙ…進行軸、ε１，ε２，ε３…位置領域。
【発明の属する技術分野】
本発明は、車両が走行する走行路の路面画像から走行線を判別することで走行路を画像認識する走行路認識方法及び走行路認識装置に関するものである。
【０００２】
【従来の技術】
従来、車両が中央分離線及び路肩線等の走行線（いわゆる白線）で区分された走行路を走行するときに、車両自身で走行路を認識し、運転者に走行路からの逸脱を報知したり、積極的に運転を補助したり、さらには、自動運転を行おうとする試みがある。このために、例えばＣＣＤカメラで撮像した走行路の路面画像から走行線を判別することで走行路を画像認識する方法が検討されている。
【０００３】
画像認識による走行線の認識方式としては、路面画像から走行線の標準パターンに一致する領域を抽出することで走行路を画像認識するテンプレートマッチングによる方式と、路面画像の明度変化を微分処理等で強調することで走行線の辺縁を抽出することで走行路を画像認識する方式とが知られている。
【０００４】
このうち、路面画像から走行線の辺縁を抽出することで走行路を画像認識する方式では、路面画像の画素データ間における濃度変化値を演算し、求めた濃度変化値が所定値以上である場合に、その画像データに対応する画像単位間に走行線の辺縁が存在すると推定する。このため、路面画像に走行路上の敷き石等が走行線と一緒に撮像されると、走行線の辺縁のみならず敷き石の辺縁もが抽出されるので、走行線の判別が困難になる。そこで、走行線は、判別の障害となる敷き石等よりも高い明度で撮像されることが殆どであるという前提条件に基づき、走行路の辺縁であると判断するときの濃度変化値の値を高めに設定している。従って、敷き石の辺縁が走行線の辺縁と共に検出されることがないので、走行線の辺縁のみを検出して走行線を容易に判別することができるようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、走行路にできた影で走行線が覆われると、その辺縁に対する濃度変化値の値が低くなる。このため、辺縁を検出するときの濃度変化値の値を余り高めに設定すると、走行線を判別することができなくなる問題がある。
【０００６】
本発明は、上記の課題を解決するためになされたものであって、その目的は、走行線の判別の障害となる障害物があっても走行線を判別することができ、又、走行線に部分的に影がかかっていても走行線を判別して走行路を画像認識することができる車両における走行路認識方法及び走行路認識装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、車両に対して所定の位置関係で撮像され、車両の進行方向に設定された進行軸と、前記進行方向に対し直交する方向に設定された横軸との座標で表現されるとともに、車両が走行する走行路を区画する左右両側の走行線の少なくとも一方を含んで順次撮影される路面画像から、前記進行軸の各位置から前記横軸方向に延びる線領域を形成する各画像単位間の、該横軸方向における濃度変化値を該横軸の各位置に対応させた辺縁データを生成する辺縁検出処理と、前記各辺縁データ毎に、所定の大きさ以上である前記各濃度変化値が存在する前記横軸に対する位置と、実際の前記走行線の幅とから、両位置の間隔が該走行線の幅と同等であってかつ正負が反対である濃度変化値が存在する一対の位置の組み合わせを、前記線領域に重なる認識対象物の各辺縁が存在する位置対として検出する認識対象物仮検出処理と、前記各位置対の内から、該位置対間における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、該位置対間における各画像単位の濃度のばらつきが所定の値以下であるか、あるいは、該位置対間において所定の大きさ以上の濃度変化値が存在する位置によって区分される複数の領域の内のいずれかの領域における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定の値以下である位置対を、該位置対間の全体に同一の認識対象物が存在する位置領域として検出する認識対象物検出処理と、前記位置領域が検出された前記各線領域の前記進行軸に対する位置と、該各線領域において検出された該位置領域の前記横軸に対する位置とから、該各位置領域に存在する前記認識対象物によって形成され、該各位置領域が検出された前記各線領域にて形成される前記路面画像の部分領域に、少なくとも連続する位置関係で存在する帯状対象物を検出する帯状対象物検出処理と、車両の進行に伴って順次得られた２つの前記路面画像において、前の時点で得られた第１の路面画像から検出された第１の帯状対象物と、後の時点で得られた第２の路面画像から検出された第２の帯状対象物とが、両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記両帯状対象物を同一の走行線であるとして確定する走行線認識処理とを行う車両における走行路認識方法である。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記路面画像は、前記走行路を区画する左右両側の走行線を含む路面画像であって、前記路面画像に対して前記帯状対象物検出処理までの各処理によって検出された複数の前記帯状対象物の前記横軸に対する位置と、実際の走行路を区画する左右両側の走行線間の間隔とに基づいて、前記各帯状対象物の内から両者間の間隔が実際の走行路を区画する左右両側の走行線の間隔と同等である一対の帯状対象物を検出する左右走行線検出処理を行うとともに、前記走行線認識処理において、前記左右走行線検出処理で検出された一対の帯状対象物についてそれぞれ前記両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記各両帯状対象物をそれぞれ左右の同一の走行線であるとして確定することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記走行線確定処理で確定した前記走行線について前記路面画像上における撮像位置を示す走行線データを、前記第１又は第２の路面画像から生成する走行線データ生成処理を行うことを特徴とする。
【００１０】
請求項４に記載の発明は、車両の進行方向に設定された進行軸と、該進行方向に直交する方向に設定された横軸との座標で表現される、車両が走行する走行路の走行線を含む該走行路の路面画像を、車両に対して所定の姿勢で順次撮像する撮像手段と、 請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって、前記各路面画像の画像処理を行う画像処理手段とを備えた車両における走行路認識装置である。
【００１１】
（作用）
請求項１に記載の発明によれば、辺縁検出処理において、路面画像の各線領域毎に、その線領域に存在する認識対象物、即ち、中央分離線、路肩線等の走行線、あるいは、路面標識の辺縁、あるいは、路面よりも高い濃度で撮像される敷き石、小石等の認識障害物の辺縁の存在が、横軸に対する位置と共に検出される。各辺縁データで辺縁が検出された認識対象物が、走行線、路面標識、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁、あるいは、線領域に存在する部分の幅が走行線と異なる２つの認識障害物の各辺縁の組み合わせであって、線領域に存在する部分の幅が走行線と異なる認識障害物の両辺縁でなければ、濃度変化値が所定の大きさ以上である２位置間の間隔が走行線の幅と同等であって、その各位置における濃度変化値の正負が反対となる。この前提条件に基づき、認識対象物仮検出処理において、各線領域毎に、辺縁データによって検出された走行線、路面標識、認識障害物の各辺縁の内から、走行線、路面標識、線領域に存在する部分の幅が走行線と同等である敷き石等の認識障害物、あるいは、線領域に存在する部分の幅が走行線と異なる２つの認識障害物の両辺縁を含む一対の辺縁が存在する位置対が検出される。各線領域で検出された両辺縁の位置対が、位置対間の全体に存在する認識対象物、即ち、走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁に対応する位置対であって、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対でなければ、その位置対間における画像単位の濃度の平均値と該位置対間以外の範囲の濃度の平均値との差が所定の値以上であり、かつ、位置対間における各画像単位の濃度のばらつきが所定の値以下である。又、線領域で検出された両辺縁の位置対が、位置対間の全体に存在する認識対象物であり、かつ、その位置対間の途中まで影がかかった状態の認識対象物、即ち、走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁であって、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対でなければ、その位置対間に影の辺縁に対応する所定の値以上の濃度変化値が存在し、この濃度変化値が存在する位置によって区分される位置対間の複数の領域の内の影がかかっていない領域における各画像単位の濃度の平均値と、各位置対間以外の範囲における各画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定値以下となる。この前提条件に基づき、認識対象物検出処理において、各線領域毎に、認識障害物仮検出処理で検出された走行線、路面標識、あるいは、線領域に存在する部分の幅が走行線と同じである敷き石等の認識障害物の両辺縁に対応する位置対が検出され、位置対間の全体に存在しない認識対象物、即ち、例えば２つの小石等の認識障害物の各辺縁の組み合わせに対応する位置対は検出されない。位置領域が検出された各線領域に存在する認識対象物が、帯状に延びる走行線あるいは路面標識の直線部分であって、帯状に延びない敷き石等の認識障害物でなければ、各位置領域にて形成される認識対象物は、各位置領域が検出された線領域にて形成される路面画像に、少なくとも連続する位置関係で存在する帯状対象物となる。この前提条件に基づき、帯状対象物検出処理において、位置領域が検出された各線領域で形成される路面画像の少なくとも部分領域に存在する帯状対象物、即ち、走行線の一部、あるいは、路面標識の直線部分が検出され、帯状対象物でない路面標識の非直線部分、あるいは、敷き石等は検出されない。車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像においてそれぞれ検出された帯状対象物が、同一の走行線であって路面標識の直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、走行線認識処理において、各路面画像で検出された帯状対象物である、同一の連続する追い越し禁止線、破線からなる追い越し線、路肩線、あるいは、直線部分を有する路面標識の内から、追い越し禁止線、追い越し線、及び、路肩線が確定される。従って、走行線と共に検出される認識障害物が走行線と判別され、又、路面にできた影で辺縁での濃度差が小さくなった走行線も実際の走行線であることが判断される。
【００１２】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、検出された左右の帯状対象物が実際の走行路を区画する左右両側の走行線であれば、両走行線間が同じ間隔で連続する。この前提条件に基づき、左右走行線検出処理において、検出された複数の各帯状対象物、即ち、実際の走行路を区画する走行線、走行路を形成せず連続しない状態で存在する走行線、路面標識の直線部分の内から、実際の走行路を区画する左右の両走行線である可能性が高い一対の帯状対象物が確定される。従って、実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する左右の走行線が判別される。
【００１３】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、確定された走行線の路面画像における撮像状態を示す走行線データが生成される。
【００１４】
請求項４に記載の発明によれば、撮像手段によって、車両に対して所定の姿勢で順次撮像される走行路の走行線を含む該走行路の路面画像から、画像処理手段により、請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって走行路が認識される。
【００１５】
【発明の実施の形態】
以下、本発明を具体化した一実施の形態を図１〜図７に従って説明する。
図３は、車両用走行路認識装置１０の模式構成図である。車両用走行路認識装置１０は、撮像手段としてのＣＣＤカメラ１１ａ，１１ｂ、及び、画像処理手段としての画像処理ユニット１２とからなる。ＣＣＤカメラ１１ａ，１１ｂは、車両Ｃの左右各ドアミラーＭＬ，ＭＲにそれぞれ設けられている。
【００１６】
図４は、各ＣＣＤカメラ１１ａ，１１ｂが撮影する走行路の撮影領域を示している。又、図５は、左側のドアミラーＭＬに設けられたＣＣＤカメラ１１ａが撮影した走行路面の路面画像を示し、図６は、右側のドアミラーＭＲに設けられたＣＣＤカメラ１１ｂが撮影した路面画像を示す。各ＣＣＤカメラ１１ａ，１１ｂは、車両に対して所定の姿勢で固定され、車両Ｃの進行方向に設定された進行軸Ｙと、該進行方向に直交する方向に設定された横軸Ｘとの座標で表現される、車両が走行する走行路を区画する走行線を含む該走行路の路面画像を撮像する。さらに、ＣＣＤカメラ１１ａは、車両が走行する走行路を区画する左側の走行線、例えば、路肩線Ａ１だけを含む左側路面画像を撮影するように設けられ、ＣＣＤカメラ１１ｂは、走行路を区画する右側の走行線、例えば、中央分離線（追い越し線、追い越し禁止線）Ａ２だけを含む右側路面画像を撮影するように設けられている。又、各ＣＣＤカメラ１１ａ，１１ｂは、走行路に表示されている路面標識Ｂを含む路面画像を撮影するように設けられている。各ＣＣＤカメラ１１ａ，１１ｂは、それぞれｍ行×ｎ列に２次元配列された画素で形成される路面画像を撮像する。ＣＣＤカメラ１１ａ，１１ｂは、画素単位で撮像される走行路面の濃度に応じた強さの画素信号を出力する。
【００１７】
画像処理ユニット１２は、Ａ／Ｄ変換器１３、ＣＰＵ１４、入出力ポート１５、ＲＯＭ１６、ＲＡＭ１７、画像メモリ１８、タイマ１９等を備える。
ＲＯＭ１６にはＣＰＵ１４が実行する走行路認識処理の制御プログラムが記憶されている。
【００１８】
ＣＰＵ１４は、制御プログラムに従い、左右両側の走行線Ａ１，Ａ２によって形成される走行路を認識する走行路認識処理を例えば１００ミリ秒経過毎に繰り返し実行する。
【００１９】
走行路認識処理として、ＣＰＵ１４は、走行路面撮影処理、辺縁検出処理、認識対象物仮検出処理、認識対象物検出処理、帯状対象物検出処理、走行線認識処理及び走行線データ生成処理の各処理を順次実行する。
【００２０】
走行路面撮影処理として、ＣＰＵ１４は、タイマ１９が計時する時間に基づき所定時間経過毎に左右の各ＣＣＤカメラ１１ａ，１１ｂを走査制御するとともに、各ＣＣＤカメラ１１ａ，１１ｂが出力する１フレーム分の画素信号を、Ａ／Ｄ変換器１３ａ，１３ｂを介してｍ行×ｎ列の画素データ（以下、単に画素という）からなる路面画像データ（以下、単に路面画像という）に変換してそれぞれ画像メモリ１８に記憶する。即ち、ＣＰＵ１４は、走行路面撮影処理として、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲを順次撮影する。
【００２１】
走行路認識処理として、ＣＰＵ１４は、走行路の左右両側の各路面画像ＡＬ，ＡＲに対し、辺縁検出処理から走行線認識処理までの各処理をそれぞれ実行する。以下、同各処理を、走行路の右側の路面画像ＡＲを引用して説明するが、走行路の左側の路面画像ＡＬについても同様である。
【００２２】
辺縁検出処理として、ＣＰＵ１４は、右側の路面画像ＡＲに対し、進行軸Ｙの各位置から横軸方向に延びる線領域を形成する各画素行の、該横軸方向における濃度変化値（微分値）を該横軸Ｘの各位置に対応させた辺縁データを生成する。即ち、ＣＰＵ１４は、１つの路面画像ＡＲについてｍ個の辺縁データを生成する。図７（ｂ）は、図７（ａ）に示す路面画像ＡＲの進行軸Ｙにおける１つの位置Ｑ１から横軸方向に延びる線領域ＬＡを形成する画素行について、その横軸方向における濃度変化値を取った辺縁データを、横軸Ｘに対する濃度変化値を示すグラフで表わしたものである。辺縁データは、１つの線領域ＬＡを形成する画素行の各画素の濃度を微分演算することで生成され、同線領域ＬＡにおいて画素の濃度が大きく変化する位置を示す。即ち、辺縁データにおいて、所定値α以上である濃度変化値の存在は、走行線Ａ１，Ａ２の辺縁、路面標識Ｂの辺縁、走行線Ａ１，Ａ２と同程度の濃度で撮像される敷き石Ｃ１等の認識障害物の辺縁、あるいは、走行線Ａ１，Ａ２よりも低い濃度で撮像される小石Ｃ２等の認識障害物の辺縁の存在をその位置と共に示す。又、辺縁データにおいて所定の大きさ｜α｜以上である濃度変化値の存在は、走行線Ａ１，Ａ２に幅の半分まで影Ｓがかかった状態での、走行線Ａ１上における影Ｓの辺縁、又、共に影Ｓがかかっている走行線Ａ１と走行路面との境界の存在をその位置と共に示す。尚、認識障害物とは、路面画像ＡＬ，ＡＲから走行線Ａ１，Ａ２を判別するときに、走行線Ａ１，Ａ２及び路面標識Ｂの判別の障害となる認識対象物である。例えば、図７（ａ）に示す位置Ｑ１の線領域ＬＡにおいては、図７（ｂ）に示すように、所定の大きさ｜α｜以上である濃度変化値が存在する位置として、路面標識Ｂの各辺縁Ｐ１，Ｐ２，Ｐ３、敷き石Ｃ１の両辺縁Ｐ４，Ｐ６、敷き石Ｃ１に部分的にかかっている影の境界Ｐ５、小石Ｃ２の各両辺縁Ｐ７，Ｐ８、Ｐ９，Ｐ１０、中央分離線Ａ２の両辺縁Ｐ１１，Ｐ１３、中央分離線Ａ２に部分的にかかっている影の境界Ｐ１２を検出する。
【００２３】
辺縁検出処理の次に実行する認識対象物仮検出処理として、ＣＰＵ１４は、各辺縁データ毎に、所定の大きさ｜α｜以上である各濃度変化値の横軸Ｘに対する位置と、実際の走行線Ａ１，Ａ２の幅ｗとから、存在する両位置の間隔が該走行線の幅ｗと同等であってかつ正負が反対である一対の濃度変化値が存在する両位置の組み合わせを、線領域ＬＡに存在する認識対象物の両辺縁が存在する位置対として検出する。即ち、各線領域で検出された辺縁が検出された認識対象物が、走行線Ａ１，Ａ２、路面標識Ｂ、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの認識障害物の各辺縁の組み合わせであって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる小石Ｃ２等の認識障害物の両辺縁でなければ、濃度変化値が所定の大きさ｜α｜以上である２位置間の間隔が走行線Ａ１，Ａ２の幅ｗと同等であって、その各位置における濃度変化値の正負が反対となる。この前提条件に基づき、ＣＰＵ１４は、各線領域ＬＡ毎に、辺縁データから検出された走行線Ａ１，Ａ２、路面標識Ｂ及び認識障害物Ｃ１，Ｃ２の各辺縁の内から、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同等である敷き石Ｃ１等の認識障害物、線領域ＬＡに存在する部分に走行線Ａ１，Ａ２と同じ幅で一対の辺縁が存在する複数の小石Ｃ２等の認識障害物の組み合わせの辺縁が存在する位置対を検出し、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる１つずつの小石Ｃ２等の認識障害物の両辺縁を検出しない。例えば、図７（ａ）に示す線領域ＬＡについては、図７（ｂ）に示すように、走行線、路面標識及び認識障害物の各辺縁が存在する位置Ｐ１〜Ｐ１３の内、路面標識Ｂの両辺縁に対応する位置対（Ｐ２，Ｐ３）、敷き石Ｃ１の両辺縁に対応する位置対（Ｐ４，Ｐ６）、２つの小石Ｃ２の辺縁からなる位置対（Ｐ７，Ｐ１０）、及び、走行線Ａ２の両辺縁に対応する位置対（Ｐ１１，Ｐ１３）をそれぞれ検出し、Ｐ１，Ｐ５，Ｐ８，Ｐ９，Ｐ１２を含む位置対を検出しない。
【００２４】
認識対象物仮検出処理の次に実行する認識対象物検出処理として、ＣＰＵ１４は、各線領域ＬＡ毎に、線領域ＬＡで検出された各位置対の内から、該位置位置対間における各画素の濃度の平均値と各位置対間以外の範囲における画素の濃度の平均値との差が所定の値以上であり、かつ、該位置対間における各画素の濃度のばらつきが所定の値以下である位置対を、該位置対間の全体に同一の認識対象物が存在する位置領域として検出する。又、ＣＰＵ１４は、各線領域ＬＡ毎に、線領域ＬＡで検出された各位置対の内から、位置対間において所定の大きさ以上の濃度変化値が存在する位置によって区分される複数の領域の内のいずれかにおける各画素の濃度の平均値と各位置対間以外の領域における画素の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画素の濃度のばらつきが所定の値以下である位置対を、位置対間の全体に認識対象物が存在する位置領域として検出する。図７（ｃ）は、線領域ＬＡにおける画素の横軸Ｘに対する濃度を示すグラフである。即ち、線領域ＬＡで検出された各位置対が、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁であって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの小石Ｃ２等の認識障害物の各辺縁の組み合わせでなければ、その位置対間における画素の濃度の平均値と各位置対間以外の領域の画素の濃度の平均値との差が所定の値以上であり、かつ、位置間における各画素の濃度のばらつきが所定の値以下となる。又、線領域ＬＡで検出された位置対が、位置対間の全体に存在する認識対象物であり、かつ、その位置対間の途中まで影がかかった状態の認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域に存在する部分の幅が走行線Ａ１，Ａ２と同じである敷き石Ｃ１等の認識障害物の両辺縁であって、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と異なる２つの小石Ｃ２等の認識障害物の各辺縁の組み合わせでなければ、その位置対間に影の辺縁に対応する所定の値以上の濃度変化値が存在し、この濃度変化値が存在する位置によって区画される複数の領域の内のいずれかの領域における各画素の濃度の平均値と各位置対間以外の範囲の各画素の濃度の平均値とに所定の大きさ以上の差があるとともに、その位置対間に所定の大きさ以上である濃度変化値が存在し、この濃度変化値が存在する位置で区分される位置対間の複数の領域の内の影がかかっていない領域における各画像単位の濃度の平均値と、各位置対間以外の範囲における各画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定値以下となる。この前提条件に基づき、ＣＰＵ１４は、各線領域ＬＡ毎に、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、走行線Ａ１，Ａ２と同じ幅を有する敷き石Ｃ１等の認識障害物を検出し、走行線Ａ１，Ａ２と同じ幅を有しない複数の小石Ｃ２等の認識障害物を検出しない。例えば、図７（ａ）の線領域ＬＡの場合は、図７（ｃ）に示すように、位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の内から、路面標識Ｂが存在する位置対（Ｐ２，Ｐ３）間の位置領域ε１、敷き石Ｃ１が存在する位置対（Ｐ４，Ｐ６）間の位置領域ε２、中央分線Ａ２が存在する位置対（Ｐ１１，Ｐ１３）間の位置領域ε３を検出し、２つの小石Ｃ２からなる位置対を位置領域として検出しない。
【００２５】
認識対象物検出処理の次に実行する帯状対象物検出処理として、ＣＰＵ１４は、認識対象物検出処理において位置領域ε１，ε２，ε３が検出された各線領域ＬＡの進行軸Ｙに対する位置と、該各線領域ＬＡにおいて検出された該位置領域ε１，ε２，ε３の横軸Ｘに対する位置とから、該各位置領域ε１，ε２，ε３に存在する認識対象物によって形成され、該各位置領域ε１，ε２，ε３が検出された各線領域ＬＡにて形成される路面画像ＡＲに、少なくとも連続する位置関係で存在する帯状対象物を検出する。即ち、位置領域ε１，ε２，ε３が検出された各線領域ＬＡに存在する認識対象物が、帯状に延びる走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分であって、帯状に延びない敷き石Ｃ１等の認識障害物でなければ、各位置領域ε１，ε２，ε３にて形成される認識対象物は、各位置領域ε１，ε２，ε３が検出された線領域ＬＡにて形成される路面画像ＡＲに、少なくとも連続する位置関係で存在する帯状対象物である。この前提条件に基づき、ＣＰＵ１４は、位置領域ε１，ε２，ε３が検出された各線領域ＬＡで形成される路面画像ＡＲの少なくとも部分領域に存在する帯状対象物、即ち、走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分を検出し、帯状対象物でない路面標識Ｂの非直線部分、あるいは、敷き石Ｃ１等の認識障害物を検出しない。例えば、図６に示す路面画像ＡＲについては、帯状対象物である走行線Ａ１を検出し、帯状対象物でない路面標識Ｂ及び敷き石Ｃ１を検出しない。又、路面画像ＡＲの上下端縁及び左右端縁の少なくともいずれかに交差しない状態で帯状に延びる認識対象物も、帯状対象物、即ち、追い越し線の線分として検出する。
【００２６】
左右走行線検出処理として、ＣＰＵ１４は、左右の両路面画像ＡＬ，ＡＲに対して、帯状対象物検出処理までの各処理によって検出された帯状対象物の横軸Ｘに対する位置と、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２間の間隔とに基づいて、各帯状対象物の内から両者間の間隔が実際の走行路を区画する左右両側の走行線Ａ１，Ａ２の間隔と同等である一対の帯状対象物を検出する。即ち、左右の路面画像ＡＬ，ＡＲでそれぞれ検出された左右の各帯状対象物が、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２であれば同じ間隔で連続する。この前提条件に基づき、ＣＰＵ１４は、検出された左右の各帯状対象物、即ち、実際の走行路を区画する走行線Ａ１，Ａ２、路面標識Ｂの直線部分の内から、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２である可能性が高い一対の帯状対象物を判別する。
【００２７】
左右走行線検出処理の次に実行する走行線認識処理として、ＣＰＵ１４は、車両の進行に伴って順次得られた２つの路面画像ＡＲにおいて、前の時点で得られた第１の路面画像ＡＲから検出された第１の帯状対象物と、後の時点で得られた第２の路面画像ＡＲから検出された第２の帯状対象物とが、両路面画像ＡＲ間で少なくとも連続する位置関係にあるか否かを判断し、連続する位置関係にある両帯状対象物を同一の走行線であるとして確定する。即ち、車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像ＡＲにおいてそれぞれ検出された帯状対象物が、同一の走行線Ａ１，Ａ２であって路面標識Ｂの直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、ＣＰＵ１４は、各路面画像ＡＲで検出された帯状対象物である、連続する追い越し禁止線、破線からなる追い越し線、路肩線Ａ１、あるいは、直線部分を有する路面標識Ｂの内から、追い越し禁止線、追い越し線及び路肩線Ａ１を走行線として確定する。
【００２８】
走行線認識処理の次に実行する走行線データ生成処理として、ＣＰＵ１４は、走行線確定処理で確定した左右両側の走行線Ａ１，Ａ２について路面画像ＡＬ，ＡＲ上における撮像位置を示す走行線データを、第１又は第２の路面画像ＡＬ，ＡＲから生成する。
【００２９】
次に、以上のように構成された走行路認識装置の作用について説明する。
車両が走行するときに走行路認識装置１０を作動させると、画像処理ユニット１２のＣＰＵ１４が走行路認識処理を所定時間経過毎に繰り返し実行する。図１，２は、走行路認識処理のフローチャートを示す。
【００３０】
走行路認識処理において、ＣＰＵ１４は、先ずステップ（以下、単にＳと表記する）１０で、走行路面撮影処理を実行する。その結果、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲが順次撮影される。
【００３１】
次に、ＣＰＵ１４は、走行路認識処理において、Ｓ１１で、左右の各路面画像ＡＬ，ＡＲについて、それぞれの各線領域ＬＡ毎に辺縁検出処理を実行する。その結果、各線領域ＬＡに存在する路肩線Ａ１、中央分離線Ａ２等の走行線の辺縁、路面標識Ｂの辺縁、あるいは、敷き石Ｃ１、小石Ｃ２等の認識障害物の辺縁の存在がその位置と共に検出される。
【００３２】
次に、ＣＰＵ１４は、認識対象物仮検出処理として、Ｓ１２で、１つの線各領域ＬＡについて｜α｜以上の大きさである濃度変化値の位置を検出して保存し、Ｓ１３で、両位置の間隔が実際の走行線Ａ１，Ａ２の幅ｗと同等であってかつ正負が反対である一対の濃度変化値の位置の組み合わせを位置対として検出する。その結果、例えば、図７（ａ）に示す線領域ＬＡについては、走行線Ａ２、路面標識Ｂ、敷き石Ｃ１、小石Ｃ２の各辺縁が存在する位置Ｐ１〜Ｐ１３の内から、走行線Ａ２、路面標識Ｂの両辺縁に対応する位置対（Ｐ２，Ｐ３）、敷き石Ｃ１の両辺縁に対応する位置対（Ｐ４，Ｐ６）、２つの小石Ｃ２の辺縁からなる位置対（Ｐ７，Ｐ１０）、及び、走行線Ａ２の両辺縁に対応する位置対が（Ｐ１１，Ｐ１３）が検出され、Ｐ１，Ｐ５，Ｐ８，Ｐ９，Ｐ１２を含む位置対は検出されない。
【００３３】
次に、ＣＰＵ１４は、認識対象物検出処理として、Ｓ１４で、Ｓ１３で検出した各位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の内から、位置対間の画素の濃度の平均値と各位置対間以外の領域の画素の濃度の平均値との比較、位置対間の画素の濃度のばらつきから、位置対間の全体に存在する認識対象物、即ち、走行線Ａ１，Ａ２、路面標識Ｂ、あるいは、線領域ＬＡに存在する部分の幅が走行線Ａ１，Ａ２と同等である敷き石Ｃ１等の認識障害物が存在する位置領域を検出し、位置対間の全体に存在しない２つの小石Ｃ２の組み合わせに等による位置対間を認識対象物が存在する位置領域として検出しない。そして、ＣＰＵ１２は、Ｓ１５で、Ｓ１４で統計処理によって検出した各位置領域を保存する。その結果、例えば、線領域ＬＡについては、Ｓ１３で検出された各位置対（Ｐ２，Ｐ３）、（Ｐ４，Ｐ６）、（Ｐ７，Ｐ１０）、（Ｐ１１，Ｐ１３）の両辺縁に対応する位置対の内から、路面標識Ｂが存在する位置領域ε１、敷き石Ｃ１が存在する位置領域ε２、走行線Ａ２が存在する位置領域ε３がそれぞれ検出され、小石Ｃ２の組み合わせからなる位置対は位置領域として検出されない。
【００３４】
ＣＰＵ１４は、Ｓ１６で全ての線領域ＬＡについて認識対象物仮検出処理及び認識対象物検出処理が終了したことを確認すると、Ｓ１７で、帯状対象物検出処理を実行する。その結果、例えば図７（ａ）に示す線領域ＬＡにおいて位置領域ε１，ε２，ε３が検出された路面画像ＡＬ，ＡＲの少なくとも部分領域に存在する帯状対象物である走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分が検出され、帯状対象物でない敷き石Ｃ１等の認識障害物は検出されない。
【００３５】
次いで、ＣＰＵ１４は、Ｓ１８で、左右走行線検出処理を実行する。その結果、左右の各路面画像ＡＬ，ＡＲから検出された複数の帯状対象物、即ち、実際の走行路を区画する走行線Ａ１，Ａ２、走行路を形成せず連続しない状態で存在する走行線、路面標識Ｂの直線部分の内から、実際の走行路を区画する左右両側の走行線Ａ１，Ａ２を含む一対の帯状対象物が検出される。
【００３６】
次に、ＣＰＵ１４は、走行路認識処理において、Ｓ１９で、走行線認識処理を実行する。その結果、２つの各路面画像ＡＬ，ＡＲでそれぞれ検出された帯状対象物である、同一の連続する路肩線Ａ１、中央分離線（追い越し線、追い越し禁止線）Ａ２、あるいは、直線部分を有する路面標識Ｂの内から、路肩線Ａ１、中央分離線Ａ２が判別される。
【００３７】
ＣＰＵ１４は、走行路認識処理の最後に走行線データ生成処理を実行する。その結果、実際の走行路を区画する走行線として確定された左右両側の走行線Ａ１，Ａ２の各路面画像ＡＬ，ＡＲにおける撮像位置を示す走行線データが生成される。
【００３８】
従って、走行路認識処理によって、走行線Ａ１，Ａ２及び路面標識Ｂと共に検出される認識障害物Ｃ１，Ｃ２が走行線Ａ１，Ａ２及び路面標識Ｂと判別され、又、走行路面にできた影Ｓで辺縁の濃度差が小さくなった走行線Ａ１，Ａ２も実際の走行線Ａ１，Ａ２であることが判断される。
【００３９】
又、実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する走行線Ａ１，Ａ２が判別される。
以上詳述した本実施の形態によれば、以下に記載の各効果を得ることができる。
【００４０】
（１） 走行線Ａ１，Ａ２及び路面標識Ｂと共に検出される認識障害物Ｃ１，Ｃ２が走行線Ａ１，Ａ２及び路面標識Ｂと判別され、又、走行路面にできた影Ｓで辺縁の濃度差が小さくなった走行線Ａ１，Ａ２も実際の走行線Ａ１，Ａ２であることが判断される。その結果、走行線Ａ１，Ａ２の判別の障害となる障害物があっても走行線Ａ１，Ａ２を判別することができ、又、走行線Ａ１，Ａ２に影Ｓがかかっていても走行線Ａ１，Ａ２を判別して走行路を画像認識することができる。
【００４１】
（２） 実際の走行路を形成しておらず、連続して延びていない走行線が走行路面にあっても、実際の走行路を区画する走行線Ａ１，Ａ２が判別される。その結果、例えば、道路工事時等において、実際の走行路として仮の走行路が使用されており、以前の走行路の走行線が連続しない状態で残っているような場合に、実際の走行路を区画する走行線Ａ１，Ａ２を判別して実際の走行路を画像認識することができる。
【００４２】
（３） 確定された走行線の路面画像における撮像状態を示す走行線データが生成されるので、走行線データから、走行線Ａ１，Ａ２に対する車両の位置関係を把握することができる。このため、走行線データに基づいて、車両の走行時に走行車線の変更を行おうとしていない状態での走行路の中央からの偏り又は逸脱を検出して運転者に警告したり、あるいは、同じく走行路から逸脱しないように操舵輪を自動で操舵制御することができる。
【００４３】
以下、本発明を具体化した上記実施の形態以外の実施の形態を別例として列挙する。
・ 路面画像を撮影する撮像手段は、ＣＣＤカメラに限らずその他例えばＣＭＯＳカメラであってもよい。
【００４４】
・ 走行路の左右両側の走行線を含む路面画像を撮影する左右のカメラを設ける車両の部位は、左右のドアミラーに限らず、その他例えば、ドア、タイヤルーフ、バンパ等であってもよい。
【００４５】
・ 左右に設けたカメラで別個に撮影した左右一対の路面画像ＡＬ，ＡＲに基づいて左右走行線検出処理を行う代りに、左右両側の走行線を含むように撮影した１つの路面画像に基づいて左右走行線検出処理を行うようにしてもよい。
【００４６】
・ 走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものであってもよい。この構成では、走行路を区画する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００４７】
又、走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものでってもよい。この構成では、走行路を区画する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００４８】
・ 辺縁データを生成する線領域ＬＡは、画像単位としての画素からなる画素行に限らず、隣り合う複数の画素の集合からなる画像単位にて形成されるものであってもよい。この場合、辺縁データは、例えば、画素単位を構成する各画素の濃度を平均化した値を、その画素単位の濃度とする。
【００４９】
以下、特許請求の範囲に記載した各発明の外に前述した実施の形態及び各別例から把握される技術的思想をその効果とともに記載する。
（１） 請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置とを備えた走行補助装置。このような構成によれば、走行路を区画する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５０】
（２） 請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、操舵輪を操舵制御して車両の走行路の中央に復帰させる走行補助装置とを備えた運転補助装置。このような構成によれば、走行路を区画する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５１】
【発明の効果】
以上詳述したように、請求項１〜請求項４に記載の発明によれば、走行線の判別の障害となる障害物があっても走行線を判別することができ、又、走行線に影がかかっていても走行線を判別して走行路を画像認識することができる。
【００５２】
請求項２〜請求項４に記載の発明によれば、連続して延びておらず、実際の走行路を形成していない走行線が走行路面にあっても、実際の走行路を区画する走行路を判別して、正しい走行路を画像認識することができる。
【００５３】
請求項３又は請求項４に記載の発明によれば、走行路に対する車両の位置関係を示す走行データが出力される。
【図面の簡単な説明】
【図１】 走行路認識処理のフローチャート。
【図２】 走行路認識処理のフローチャート。
【図３】 走行路認識装置の模式ブロック図。
【図４】 走行路と各ＣＣＤカメラの撮影領域を示す模式図。
【図５】 左側のＣＣＤカメラによる路面画像を示す模式図。
【図６】 右側のＣＣＤカメラによる路面画像を示す模式図。
【図７】 （ａ）は路面画像の一部を示す模式図、（ｂ）は１つの線領域における辺縁データのグラフ、（ｃ）は同じく濃度データのグラフ。
【符号の説明】
１１ａ，１１ｂ…撮像手段としてのＣＣＤカメラ、１２…画像処理手段としての画像処理ユニット、ＡＬ，ＡＲ…路面画像、Ｃ…車両、ＬＡ…線領域、Ｘ…横軸、Ｙ…進行軸、ε１，ε２，ε３…位置領域。
Claims (4)
- 車両に対して所定の位置関係で撮像され、車両の進行方向に設定された進行軸と、前記進行方向に対し直交する方向に設定された横軸との座標で表現されるとともに、車両が走行する走行路を区画する左右両側の走行線の少なくとも一方を含んで順次撮影される路面画像から、前記進行軸の各位置から前記横軸方向に延びる線領域を形成する各画像単位間の、該横軸方向における濃度変化値を該横軸の各位置に対応させた辺縁データを生成する辺縁検出処理と、前記各辺縁データ毎に、所定の大きさ以上である前記各濃度変化値が存在する前記横軸に対する位置と、実際の前記走行線の幅とから、両位置の間隔が該走行線の幅と同等であってかつ正負が反対である濃度変化値が存在する一対の位置の組み合わせを、前記線領域に重なる認識対象物の各辺縁が存在する位置対として検出する認識対象物仮検出処理と、
前記各位置対の内から、該位置対間における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、該位置対間における各画像単位の濃度のばらつきが所定の値以下であるか、あるいは、該位置対間において所定の大きさ以上の濃度変化値が存在する位置によって区分される複数の領域の内のいずれかの領域における前記各画像単位の濃度の平均値と該各位置対間以外の範囲における画像単位の濃度の平均値との差が所定の値以上であり、かつ、その領域における各画像単位の濃度のばらつきが所定の値以下である位置対を、該位置対間の全体に同一の認識対象物が存在する位置領域として検出する認識対象物検出処理と、
前記位置領域が検出された前記各線領域の前記進行軸に対する位置と、該各線領域において検出された該位置領域の前記横軸に対する位置とから、該各位置領域に存在する前記認識対象物によって形成され、該各位置領域が検出された前記各線領域にて形成される前記路面画像の部分領域に、少なくとも連続する位置関係で存在する帯状対象物を検出する帯状対象物検出処理と、
車両の進行に伴って順次得られた２つの前記路面画像において、前の時点で得られた第１の路面画像から検出された第１の帯状対象物と、後の時点で得られた第２の路面画像から検出された第２の帯状対象物とが、両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記両帯状対象物を同一の走行線であるとして確定する走行線認識処理と
を行う車両における走行路認識方法。 - 前記路面画像は、前記走行路を区画する左右両側の走行線を含む路面画像であって、
前記路面画像に対して前記帯状対象物検出処理までの各処理によって検出された複数の前記帯状対象物の前記横軸に対する位置と、実際の走行路を区画する左右両側の走行線間の間隔とに基づいて、前記各帯状対象物の内から両者間の間隔が実際の走行路を区画する左右両側の走行線の間隔と同等である一対の帯状対象物を検出する左右走行線検出処理を行うとともに、
前記走行線認識処理において、前記左右走行線検出処理で検出された一対の帯状対象物についてそれぞれ前記両路面画像間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある前記各両帯状対象物をそれぞれ左右の同一の走行線であるとして確定する請求項１に記載の車両における走行路認識方法。 - 前記走行線確定処理で確定した前記走行線について前記路面画像上における撮像位置を示す走行線データを、前記第１又は第２の路面画像から生成する走行線データ生成処理を行う請求項１又は請求項２に記載の車両における走行路認識方法。
- 車両の進行方向に設定された進行軸と、該進行方向に直交する方向に設定された横軸との座標で表現される、車両が走行する走行路の走行線を含む該走行路の路面画像を、車両に対して所定の姿勢で順次撮像する撮像手段と、
請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって、前記各路面画像の画像処理を行う画像処理手段と
を備えた車両における走行路認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19355099A JP4323010B2 (ja) | 1999-07-07 | 1999-07-07 | 車両における走行路認識方法及び走行路認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19355099A JP4323010B2 (ja) | 1999-07-07 | 1999-07-07 | 車両における走行路認識方法及び走行路認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001022934A JP2001022934A (ja) | 2001-01-26 |
| JP4323010B2 true JP4323010B2 (ja) | 2009-09-02 |
Family
ID=16309931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19355099A Expired - Fee Related JP4323010B2 (ja) | 1999-07-07 | 1999-07-07 | 車両における走行路認識方法及び走行路認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4323010B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4185077B2 (ja) | 2005-07-15 | 2008-11-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP7346129B2 (ja) * | 2019-07-29 | 2023-09-19 | フォルシアクラリオン・エレクトロニクス株式会社 | 駐車支援装置及び駐車支援装置の制御方法 |
| CN111158359B (zh) * | 2019-12-02 | 2023-08-04 | 北京京东乾石科技有限公司 | 障碍物处理方法和装置 |
| JP7446851B2 (ja) | 2020-02-21 | 2024-03-11 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
| CN113932825B (zh) * | 2021-09-30 | 2024-04-09 | 深圳市普渡科技有限公司 | 机器人导航路径宽度获取系统、方法、机器人及存储介质 |
| CN114779790B (zh) * | 2022-06-16 | 2022-09-30 | 小米汽车科技有限公司 | 识别障碍物方法、装置、车辆、服务器、存储介质及芯片 |
-
1999
- 1999-07-07 JP JP19355099A patent/JP4323010B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001022934A (ja) | 2001-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4607193B2 (ja) | 車両及びレーンマーク検出装置 | |
| US8340866B2 (en) | Vehicle and steering control device for vehicle | |
| EP3696723B1 (en) | Image processing device and image processing method | |
| JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
| JP4744537B2 (ja) | 走行レーン検出装置 | |
| JP4032727B2 (ja) | 車線境界検出装置 | |
| EP2642364B1 (en) | Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle | |
| EP3872697B1 (en) | Image processor and image processing method | |
| JP2008117073A (ja) | 割り込み車両検出装置 | |
| JP2012190258A (ja) | エッジ点抽出装置、車線検出装置、およびプログラム | |
| JP4323010B2 (ja) | 車両における走行路認識方法及び走行路認識装置 | |
| US11270452B2 (en) | Image processing device and image processing method | |
| US11967158B2 (en) | Image processor and image processing method | |
| US11769338B2 (en) | Image processor and image processing method | |
| JP2009069119A (ja) | 車両用路面状態推定装置 | |
| JP3807253B2 (ja) | 走行路検出装置 | |
| JP3807651B2 (ja) | 白線認識装置 | |
| KR20190016195A (ko) | 주행 보조 시스템 및 그 방법 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP4283383B2 (ja) | 車両における走行路認識方法及び走行路認識装置 | |
| JP2003187252A (ja) | 車線境界検出装置 | |
| JP2003337999A (ja) | 車線境界検出装置 | |
| JPH04277900A (ja) | 自動駐車装置 | |
| JP6644511B2 (ja) | 後側方車両警告装置、方法およびプログラム | |
| JPH03200067A (ja) | 画像処理式車両感知器における車両分離方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090604 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140612 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |