JP3945919B2

JP3945919B2 - Traveling path detection device, vehicle travel control device, and recording medium

Info

Publication number: JP3945919B2
Application number: JP26840398A
Authority: JP
Inventors: 勝之今西; 達也大池; 克彦日比野
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 1998-09-22
Filing date: 1998-09-22
Publication date: 2007-07-18
Anticipated expiration: 2018-09-22
Also published as: JP2000099896A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両前方を撮影した画像中より走行路を検出する走行路検出装置、その検出した走行路に沿って車両を走行させる車両走行制御装置および走行路検出装置をコンピュータシステムにて実現するための記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来より、例えば車両の自動操縦などを実現するためには車両の走行路を検出する必要があり、その走行路検出のため、車両前方を撮影した画像中より道路上に存在する白線などのレーンマークを検出する技術が開発されている。そのレーンマーク検出技術としては、原画像中より走行路のエッジを探索し、それらのエッジを連結することによってレーンマークを検出する手法や、撮像した２次元の画像中から線分を抽出し、その抽出した線分を３次元の実空間上に変換してから、その変換した線分を連結する手法などがある。
【０００３】
しかしながら、これら従来の検出手法には、次に示す根本的な問題点が内在する。つまり、撮像画像中において走行路が明瞭に存在していないと適切な検出ができないという問題である。
例えば、雨天の場合に、遠方では雨水によってレーンマークが見えにくくなることがあり、レーンマークのエッジが探索できないため、レーンマークの検出、すなわち走行路検出もできなくなる。また、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまう。例えばレーンマークとして道路上の白線を検出したい場合に、その道路上に白色の走行車両が存在すると、その走行車両によって上述した「別のエッジ」が生じることが考えられ、連結間違いの基となる。このように一度連結間違いが生じた場合には、復旧は難しく、適切なレーンマーク検出ができなくなってしまう。
【０００４】
また、２次元画像中から抽出した線分を３次元の実空間上に変換し、その変換した線分を連結する手法の場合には、線分の存在が前提となるため、線分が明瞭に存在しない場合には適切な検出が困難となる。したがって、上述した雨水によってレーンマークが見えにくくなっている場合には、やはり対応が困難である。
【０００５】
そこで本発明は、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することのできる走行路検出装置を提供し、さらに、車両走行制御装置および走行路検出装置をコンピュータシステムにて実現するための記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１記載の走行路検出装置は、例えば車両に搭載されたＣＣＤカメラなどの撮像手段によって車両前方の走行路を撮像し、その撮像した画像に基づき検出手段が走行路を検出するのであるが、検出手段は、次のようにして走行路検出を行う。
【０００７】
まず、検出手段が備えるモデル対応方向記憶手段には、走行路を特定可能な特徴線が取り得る種々の形状を考慮して画像上での走行路モデルを複数設定し、画像を複数の小領域に分割したその分割領域毎に走行路モデルの連続する方向である「モデル対応方向」が、各走行路モデル分だけ記憶されている。
【０００８】
一方、画像対応方向算出手段は、撮像手段にて撮像した画像の分割領域毎に、その対象となる分割領域と、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、当該対象となる分割領域が画像特徴的に連続する方向（画像対応方向）とする。そして、モデル選択手段は、分割領域毎に、画像対応方向算出手段によって算出された画像対応方向と実質的に同じモデル対応方向を持つ全ての走行路モデルに対して１ずつ投票し、撮像画像中の全ての分割領域について投票を行った結果、最大投票数を得た走行路モデルを選択し、このモデル選択手段にて特定された走行路モデルに基づいて走行路を検出する。
【００１０】
このようにして算出した画像対応方向は、例えば画像中にレーンマークなどの明瞭な特徴があれば、当然そのレーンマークの存在する方向の分割領域が画像特徴的に連続する方向となる。したがって、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ走行路モデルに投票した場合に最大投票数を得る走行路モデルは、画像中に存在する実際の走行路に一致することとなる。
【００１１】
また、例えば上述した雨天の場合に、雨水によってレーンマークが見えにくくなるような場合であっても、分割領域単位で画像特徴的に連続すると推定される方向を算出している。つまり、画像中に存在するレーンマークなどの明瞭な特徴部分にだけ依存するのではなく、分割領域全体の画像を対象として画像特徴的に連続する方向を算出しているため、例えば上述のように雨水によってレーンマークが見えにくくなっていても、分割領域間で見た場合、レーンマークに対応する方向性がある程度得られるため、結果的に走行路の方向と一致した画像対応方向を算出する可能性が高い。
【００１２】
また、上述したように、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまうという問題があったが、分割領域全体の画像を対象として画像特徴的に連続する方向を算出する手法を用いることで、単にエッジがあるからといってそれをレーンマークのエッジとして採用することも防止できる。つまり、エッジがあっても、分割領域全体を見た場合にさらに類似している分割領域があれば、そちらの分割領域の方向が画像対応方向となるからである。
【００１３】
このように、本発明の走行路検出装置によれば、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することができる。
なお、画像対応方向の算出は、画像パターンの相関計算を行って類似度を算出する以外にも考えられるが、相関計算にて算出する場合には、画像処理などの分野で一般的に用いられている自己相関を用いることによって簡単に実現でき、また画像全体の類似度を得る上で非常に適しているので好ましい。
【００１４】
また、走行路モデルを設定する上で考慮する「走行路を特定可能な特徴線」としては、例えばレーンマークや路肩、あるいはガードレールや側壁などの走行路の方向を示しているものを採用することが考えられる。さらには、このように定常的に存在する特徴線ではなく、例えば雨天時に得られる先行車の走行軌跡や轍（わだち）に溜まった雨水などのように、一時的に存在する特徴線によっても走行路を検出することができる。
【００１５】
そして、その走行路モデルについては、請求項２に示すように、自車両の走行路だけでなく、隣接する走行路を特定可能な特徴線も考慮して設定されていることが好ましい。これは、次の観点からの考慮である。つまり、実際の車両運転の際にも運転者が経験することであるが、例えば雨天や夜間の運転時に自車両の走行路を示すレーンマークなどが見えない、あるいは見えにくいために、対向車線の路肩やガードレールあるいは側壁などを見て運転することがある。したがって、自車両の走行路を検出する際にも、隣接する走行路の特徴線も考慮することが好ましい。例えば、自車レーンと左右の隣接レーンの組み合わせを１つの走行路モデルとすれば、対向車線や走行車線、あるいは追い越し車線などのデータがあれば、これらが隣接レーンのデータとして処理され、仮に自車レーンの情報がなかったとしても最適なモデルが選択され、従って、結果的に自車レーンも決定されるため、走行路を検出することができるのである。なお、この観点からすれば、自車両の走行路を直接的に示すレーンマークなどは考慮せず、例えば隣接する走行路のレーンマークなどのみによって自車両の走行路を間接的に定めることも可能ではある。
【００１６】
また、請求項３に示すように、モデル選択手段は、走行路モデルに対する投票を所定回数繰り返して行った場合の総投票数に基づいてモデル選択を行うようにしてもよい。１回の投票だけでは、例えば雨天や逆行などの突発的な外乱によって誤ったモデルを選択してしまう可能性もあるため、所定回数繰り返した場合の総投票数に基づけば、そのような突発的な外乱による影響を極力除去することができる。
【００１７】
また、請求項４に示すように、モデル選択手段は、過去のモデル選択結果に基づいて投票する走行路モデルを限定するようにしてもよい。この際、請求項５に示すように、直前に選択された走行路モデルから変形し得る所定範囲の走行路モデルについてのみ投票対象とすることが考えられる。
【００１８】
つまり、通常想定される処理サイクルを考えた場合、例えば大きく左にカーブしていた走行路が次の処理サイクルで大きく右にカーブすることはあり得ない。したがって、直前に選択された走行路モデルが左右にカーブしていた場合には、そのカーブ度合いが所定範囲で変化したものが「変形し得る所定範囲の走行路モデル」ということになる。また、直前に選択された走行路モデルが直進であった場合には、左右の所定範囲にカーブをする走行路までが「変形し得る所定範囲の走行路モデル」ということになる。
【００１９】
このように投票対象の走行路モデルを限定しておけば、計算量の削減を図ることができると共に、突発的なデータに対して（適切でない）突発的な解を出力してしまうことを軽減でき、誤検出を防止する点で有効である。つまり、上述したように直前の走行路モデルが大きく左にカーブする走行路であった場合、次の処理サイクルで大きく右にカーブする走行路に投票されることがなくなり、その右カーブの走行路モデルが誤って選択されることを防止できる。
【００２０】
また、実際の使用態様を鑑みると、カメラの撮影角度は、撮像した画像の最上部まで道路が含まれるのではなく、例えば前方に障害物がないとすると、画面最上部から３分の１程度下方の位置に地平線が来るような設定にすることが多い。その場合には、撮像画像の上側の所定範囲には検出すべき走行路自体が存在しないこととなる。したがって、請求項６に示すように、分割領域は、画像中の上側であって、走行路を特定可能な特徴線が取り得ないと推定される領域については設定しないことが好ましい。そして、この走行路を特定可能な特徴線が取り得ないと推定される領域は、請求項７に示すように、撮像画像中における走行路の無限遠点よりも上側の領域とすることが考えられる。
【００２１】
このようにすれば、走行路を特定可能な特徴線が取り得ないと推定される領域についての分割領域がないため、その分割領域については画像対応方向を算出しなくてよく、当然ながら、モデル選択のための投票にも関係しない。したがって計算量削減のために有効である。
【００２２】
また、請求項８に示すように、以上説明した走行路検出装置を用い、その走行路検出装置によって検出した走行路に沿って車両を走行させる車両走行制御装置として構成することもできる。走行路検出装置にて例えばレーンマークなどが明瞭に存在しない場合であっても適切に走行路が検出されるため、その検出した走行路に沿って車両を走行させる場合には、適切な車両走行制御が実現できる。
【００２３】
なお、走行路は道路には限定されず、例えば工場内において無人搬送車両を自動操縦にて走行させるような場合の床などであってもよい。この場合の走行路を特定可能な特徴線としては、例えば、床上にプリントした走行ガイド線のようなものとなる。
【００２４】
なお、このような走行路検出装置における画像対応方向算出手段及びモデル選択手段としてコンピュータシステムを機能させる機能は、例えば、コンピュータシステム側で起動するプログラムとして備えられる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク等の記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭを記録媒体として前記プログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭをコンピュータシステムに組み込んで用いても良い。
【００２５】
【発明の実施の形態】
図１は、上述した発明が適用された実施の形態としての走行路検出装置２の概略構成を表すブロック図である。
本実施形態の走行路検出装置２は、車両に搭載され、車両前方の走行路を検出するための装置であり、例えば、このように検出した走行路に沿って自動走行制御などを実行する場合などに利用される。
【００２６】
本走行路検出装置２は、「撮像手段」としてのＣＣＤカメラ１０と、「検出手段」としての検出処理部２０とから構成されている。
ＣＣＤカメラ１０は、図２に示すように、例えば車両内部の運転席近傍の天井などに取り付けられており、車両前方の風景を撮像する。なお、この場合、例えば当該車両が道路上を走行しているのであれば、車両から所定距離だけ前方の道路もその撮像した風景内に含まれるように撮像範囲が設定されている。
【００２７】
一方、検出処理部２０は、図１に示すように、ＣＣＤカメラ１０から出力されるアナログの画像信号をディジタルの画像データに変換するアナログ・ディジタル変換器（ＡＤＣ）２１と、そのＡＤＣ２１から出力される画像データを記憶しておく画像メモリ２３と、その画像メモリ２３に記憶されている画像データに基づいて、画像データ中の走行路を検出する処理などを実行するものであり、「画像対応方向算出手段」及び「モデル選択手段」に相当するＣＰＵ２４と、ＣＰＵ２４の実行するプログラムなどを記憶しているＲＯＭ２５と、ＣＰＵ２４の作業領域として機能し、また「モデル対応方向記憶手段」にも相当するＲＡＭ２６と、ＣＰＵ２４から転送された例えば走行路の検出結果にかかるデータなどを外部へ出力するための通信ＩＣ２７などを備えている。
【００２８】
上述したように、ＣＰＵ２４は、画像メモリ２３に記憶されている画像データに基づいて画像データ中の走行路を検出する処理を実行するのであるが、この検出処理は概略次のように行う。ＣＣＤカメラ１０を介して取り込んだ画像を領域分割し、その領域毎に走行路モデルの方向データを算出する。そして、その方向データが、予め設定しておいた走行路モデルにいずれに該当するかを判断し、該当する走行路モデルに投票する。そして、全領域の投票結果に基づき、その投票数が最も多いものを走行路として扱うのである。
【００２９】
以下、この走行路検出の詳細な内容について、図３のフローチャートに示した処理手順に従いながら、随時図４〜図１０を参照しながら説明を進める。
最初に、画像上に走行路モデルを設定する（図３のＳ１参照）。
この走行路モデルの設定は、まず、実空間（３次元）上でのモデルを設定した後、それを画像（２次元）上のモデルに変換するという手順で実行される。
【００３０】
まず、実空間（３次元）上での折れ線道路モデルを、道路形状として想定されるだけ設定する。ここでは、自車レーンと左右の隣接レーンによって構成されるモデルを用いる。図４（ａ）には直線路の実空間モデル、図４（ｂ）には左カーブ道路の実空間モデルを、それぞれ道路を真上から見た概念図として示した。ここでは、自車レーンを中心にして左右に隣接する１レーンずつの３レーンの走行路を想定する。自車レーンの左境界線をＬ１、右境界線をＬ２で示すと共に、左隣接レーンの左境界線をＬ０、右隣接レーンの右境界線をＬ３で示した。
【００３１】
そして、この各ラインＬ０〜Ｌ３について、次の示す要領で想定ラインを設定する。つまり、図５に示すように、自車両の位置を起点（０ｍ）として、１５ｍの位置まで角度１．５度の間隔で５本の分岐直線を作成する。具体的には、直進方向に１本の分岐直線と、その直進方向の分岐直線に対して左右に角度１．５度及び３．０度の２本ずつの分岐直線による計５本の分岐直線を作成する。
【００３２】
次に、それら５本の分岐直線の１５ｍでの位置をそれぞれ起点として、同様に５本の分岐直線を作成して４０ｍの位置まで引く。これを、さらに７０ｍの値、１２０ｍの位置まで同様に５本ずつの分岐直線を作成することによって、０ｍ位置から１２０ｍ位置までを結ぶ想定ラインが、総計６２５（＝５⁴ ）本設定される。図５では１ラインについて示したが、これをＬ０〜Ｌ３の４レーンについてそれぞれ設定する。そして、各ラインＬ０〜Ｌ３についての想定ラインの内で同じ形状のラインの組み合わせたものを１つの走行路モデルとして取り扱う。
【００３３】
このように、自車レーンと左右の隣接レーンの組み合わせを１つのモデルとすることで、対向車線や走行車線、あるいは追い越し車線などのデータがあれば、これらが隣接レーンのデータとして処理され、仮に自車レーンの情報がなかったとしても最適なモデルが選択され、従って、結果的に自車レーンも決定されるため、走行路を検出することができるのである。
【００３４】
次に、上述した実空間（３次元）上でのモデルを画像（２次元）上のモデルに変換する処理について説明する。
３次元上において、自車の前方距離をｙ（ｍ）、水平方向距離をｘ（ｍ）、撮像系の高さをｚ（ｍ）とする。また、対応する２次元画面（ＣＣＤカメラ１０におけるＣＣＤ面）上での座標位置を、水平位置Ｘ（ドット）、垂直位置Ｙ（ドット）とする。撮像系を水平方向から見た場合の概念図を図６に示す。図６中の示すｙはレンズから路面上の点までの前方距離（単位ｍ）であり、ｚはＣＣＤカメラ１０の設定されている高さ（単位ｍ）である。詳しくはＣＣＤカメラ１０内のＣＣＤの中心位置である。また、図６中に示すｓはＣＣＤ面上での垂直位置（単位ｍ）であり、ｆはレンズの焦点距離（単位ｍ）である。
【００３５】
この図６の概念図に基づけば、幾何学的な相似より、ｓ／ｆ＝ｚ／ｙという関係式が導かれ、ｓはｙ，ｚ，ｆを用いて下記の式１のように表される。
ｓ＝ｚ・ｆ／ｙ ……（式１）
このｓ（ｍ）は、前方距離ｙ（ｍ）に対応するＣＣＤ面上での中心からの垂直距離を示しているため、このｓを、ＣＣＤ１セルの大きさで除算したものが、ＣＣＤ面上での垂直ドット位置Ｙとなる。また、ＣＣＤ面上での中心からの水平距離をｔとすれば、このｔを、ＣＣＤ１セルの大きさで除算したものが、ＣＣＤ面上での水平ドット位置Ｘとなる。したがって、水平ドット位置Ｘ、垂直ドット位置Ｙはそれぞれ下記の式２、式３のように表される。
【００３６】
Ｘ＝ｔ／ＣＣＤの横セルの大きさ ……（式２）
Ｙ＝ｓ／ＣＣＤの縦セルの大きさ ……（式３）
そこで、この式２，３を用いて、上述した実空間上で作成した走行路モデルを画像上に変換する。図７（ａ）は、車載のＣＣＤカメラ１０にて撮像された画像例を示すものであるが、このような撮像シーン例に対して、図７（ｂ）に示すような走行路モデルが設定される。なお、図７（ｂ）においては、自車走行路の境界線に対するモデルのみを示した。また、実際の道路の幅員には多少のばらつきがあるが、本走行路検出装置２は、自動走行制御を実行する場合などに利用されるものであり、この自動走行制御は主に高速道路での実施が想定される。したがって、高速道路における一般的な幅員を想定して、左右境界線の幅は設定すればよい。
【００３７】
このようにして走行路モデルが設定されたので、次に、図８に示すように画像をメッシュ状に領域分割する（図３のＳ２参照）。図８では概念的に示したが、実際には、解析対象の画像データが縦４８０ドット、横５１２ドットであり、分割した１領域は、縦４ドット、横１６ドットである。なお、図７（ａ）に例示したように、撮像した画像の最上部まで道路が含まれるのではなく、例えば前方に障害物がないとすると、画面最上部から３分の１程度下方の位置に地平線が来るよう、ＣＣＤカメラ１０の撮影角度を設定にすることが多い。その場合には、撮像画像の上側の所定範囲には道路がなく、その結果、検出すべき走行路も存在しないこととなる。したがって、図８に例示したように、撮像画像中の上側であって、走行路が存在しないと推定される領域については、画像の領域分割を行わず、その後の処理において取り扱わないこととする。これにより、不要な処理が実行されないようにすることができ、処理負荷軽減の点で好ましい。なお、この走行路が存在しないと推定される領域は、撮像画像中における走行路の無限遠点よりも上側の領域として設定することができる。
【００３８】
そして、分割した領域毎に走行路モデルの方向データを算出する（図３のＳ３参）。この方向データとしては、例えば画像の縦方向（垂直ドット方向）を基準とした角度で表すことが考えられる。
続いて、領域位置毎で、方向データと対応モデルをマップ化する（図３のＳ４参照）。具体的には、領域の水平位置をＢＸ、垂直位置をＢＹ、領域の方向をＢＫとして、これらを変数としたマップを作成する。下記の式４は、上述した３つの変数に対して、対応する走行路モデルの番号をＮとしてマップ化した関係を示している。
【００３９】
Ｎ＝Ｆ（ＢＸ，ＢＹ，ＢＫ） ……（式４）
なお、ある領域位置（ＢＸ，ＢＹ）である方向データＢＫを持つ走行路モデルは複数存在することもある。特に、図７（ｂ）からも判るように画面下側、つまり自車位置に近い部分では多くの走行路モデルが一致する。
【００４０】
次に、走行路モデル毎に、そのモデルが次の処理サイクルに取り得るモデルの集合をマップ化しておく。具体的には、本実施形態の走行路モデルは図７（ｂ）に示すように折れ線形状をしているので、先端（１２０ｍ位置）と３つの関節部（１５ｍ位置，４０ｍ位置，７０ｍ位置）におけるモデル間の距離が所定値以下となるようなモデルを選択してマップ化しておき、モデル対応方向記憶手段としてのＲＡＭ２６内に記憶させておく。下記の式５は、選択モデルＥが、出力モデルＭに基づく次サイクルで変形し得るモデル集合Ｇによって定まることを示している。
【００４１】
Ｅ＝Ｇ（Ｍ） ……（式５）
これまでに説明した図３のＳ１〜Ｓ５の処理が、実際に走行路検出を行う前に実行しておく前処理的なものである。
そして、以下に説明する図３のＳ６〜Ｓ１１が、実際にＣＣＤカメラ１０にて撮像した画像データに基づいて走行路を検出する処理である。
【００４２】
まず、取り込んだ画像データについて、Ｓ２で分割した領域毎に、その領域が連続する方向（領域方向データ）を算出する（図３のＳ６参照）。本実施形態では、この領域方向データの算出にあたって相関計算を行う。相関計算は、画像処理などの分野で一般的に用いられている自己相関を用いることによって簡単に実現できる。対象となる領域の画像に対して、当該領域の周囲の画像との間で相関計算を行うことで、類似する画像領域が決定され、その領域の方向が画像の連続する方向となる。
【００４３】
図９には、この領域方向データの算出手法を概念的に示した。各領域は水平１６ドット、垂直４ドットの２次元データであるが、ここでは計算量削減のため、垂直４ドット分のデータは積算することによって、２次元データを１次元データ（G_data）に変換した状態で処理を進める。相関計算は、下記の式６に示すように、単純な輝度データの差分の絶対値の総和で評価する。
【００４４】
【数１】

【００４５】
そして、下記の式７に従って相関位置を求め、その方向を領域方向データとする。
【００４６】
【数２】

【００４７】
つまり、水平方向の探索位置ｓを−３２≦ｓ≦３２の範囲で探索した結果としての相関値SUM[s]の内の最小のものを、領域方向データｖとするのである。
なお、このように相関計算を用いるのは次の考え方に基づく。画像上の走行路については、道路上に描かれたレーンマーク、路肩などの道路の境界を定めるのに有効な線が基本的には連続して存在する。したがって、この道路境界線の連続する方向の画像領域が、相関計算によって類似する画像領域として算出される可能性が極めて高い。また、例えば雨水がたまって道路境界線のような明瞭な特徴が現れていなくても、画像領域同士での相関計算によって類似する画像領域を算出した場合には、やはり実際に道路境界線が連続している方向の画像領域が算出される可能性が高い。
【００４８】
このようにして、分割した各画像領域についての領域方向データを算出した後は、領域方向データを、走行路モデルに投票する（図３のＳ７参照）。
この投票方法は、各領域データについて、その位置（ＢＸ，ＢＹ）と方向データＢＫを上記式４に代入すると、走行路モデルの番号Ｎが得られる。したがって、その得られた走行路モデル番号Ｎに対して、投票数を１増加させる。なお、上述したように、１つの領域位置（ＢＸ，ＢＹ）、方向データＢＫに対して該当する走行路モデルは複数存在することがあるので、その場合には、該当する全ての走行路モデルについて投票数を１増加させる。この投票処理を例えば左上の分割領域から順番に全ての領域について行う。
【００４９】
つづいて、投票結果に基づいて最適なモデルを選択するのであるが、具体的には、Ｓ７にて実行される投票による投票数を５サイクル分保存しておき、その５サイクル分の投票数の総和を算出する（図３のＳ８参照）。そして、その５サイクル分の投票数の総和が最大となる走行路モデルを選択し（図３のＳ９参照）、その走行路モデルの番号Ｎを検出結果として出力する（図３のＳ１１参照）。図１０には、そのようにして出力された検出結果（走行路モデル）を示す。
【００５０】
なお、本実施形態では、Ｓ９にて最大投票数の走行路モデルを選択した後、その最大投票数となったモデルに対して、次サイクルに取り得るモデルを選択する（図３のＳ１０参照）。この取り得るモデルについては、上述したＳ５にてマップ化しておいたものを用いる。そして、Ｓ１０でのモデル選択がされた後、Ｓ６へ戻って、次の処理サイクルを開始する。
【００５１】
したがって、最初の５サイクルまでは、走行路モデルの選択を行わず、Ｓ１にて設定した全ての走行路モデルを対象としてＳ７での投票を行い、５サイクル分の投票数の総和が最大となるものを選択し、検出結果として出力する。そして、６サイクル以降の処理においては、Ｓ１０にて選択されたモデルについてのみ投票対象とすることで、計算量の削減を図ることができると共に、突発的なデータに対して（適切でない）突発的な解を出力してしまうことを軽減でき、誤検出を防止する点で有効である。
【００５２】
以上説明したように、本実施形態の走行路検出装置２によれば、ＣＣＤカメラ１０にて撮像した画像の分割領域毎に、その周囲に存在する分割領域との間で画像パターンの相関計算を行って類似度を算出し、その類似度の最も高い分割領域の存在する方向を、画像対応方向として算出する。そして、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ全ての走行路モデルに対して投票し、撮像画像中の全ての分割領域について投票を行った結果、最大投票数を得た走行路モデルを選択し、このモデル選択手段にて特定された走行路モデルに基づいて走行路を検出する。
【００５３】
このようにして算出した画像対応方向は、例えば画像中にレーンマークなどの明瞭な特徴があれば、当然そのレーンマークの存在する方向の分割領域が画像特徴的に連続する方向となる。したがって、分割領域毎に、画像対応方向と実質的に同じモデル対応方向を持つ走行路モデルに投票した場合に最大投票数を得る走行路モデルは、画像中に存在する実際の走行路に一致することとなる。
【００５４】
また、例えば上述した雨天の場合に、雨水によってレーンマークが見えにくくなるような場合であっても、分割領域単位で画像特徴的に連続すると推定される方向を算出している。つまり、画像中に存在するレーンマークなどの明瞭な特徴部分にだけ依存するのではなく、分割領域全体の画像を対象として画像特徴的に連続する方向を算出しているため、例えば上述のように雨水によってレーンマークが見えにくくなっていても、その雨水のたまり具合なども連続する分割領域間では似ているため、結果的に走行路の方向と一致した画像対応方向を算出する可能性が高い。また、上述したように、レーンマークのエッジだけを確実に区別して抽出することは技術的にも困難な場合があり、例えば検出したいレーンマーク付近にそのレーンマーク以外のエッジが存在する場合には、その誤ったエッジを採用してしまい、容易に連結間違いが発生してしまうという問題があったが、分割領域全体の画像を対象として画像特徴的に連続する方向を算出する手法を用いることで、単にエッジがあるからといってそれをレーンマークのエッジとして採用することも防止できる。つまり、エッジがあっても、分割領域全体を見た場合にさらに類似している分割領域があれば、そちらの分割領域の方向が画像対応方向となるからである。
【００５５】
なお、走行路を示す特徴線としては、レーンマーク以外にも路肩、あるいはガードレールや側壁などの走行路の方向を示しているものを採用することが考えられる。さらには、このように定常的に存在する特徴線ではなく、例えば雨天時に得られる先行車の走行軌跡や轍（わだち）に溜まった雨水などのように、一時的に存在する特徴線によっても走行路を検出することができる。
【００５６】
このように、本実施形態の走行路検出装置２によれば、撮像画像中に走行路を示すためのレーンマークなどの明瞭な特徴がない場合であっても、走行路を適切に検出することができる。
そして、このような走行路検出装置２を用い、その走行路検出装置によって検出した走行路に沿って車両を走行させる車両走行制御装置として構成すれば、走行路検出装置２にて例えばレーンマークなどが明瞭に存在しない場合であっても適切に走行路が検出されるため、その検出した走行路に沿って車両を走行させる場合には、適切な車両走行制御が実現できる。
【００５７】
［その他］
上記実施形態では、道路上を走行する車両を前提とした走行路検出装置２として説明したが、例えば工場内において無人搬送車両を自動操縦にて走行させるような場合にも適用できる。この場合の走行路は、例えば工場内の床上にプリントした走行ガイド線のようなものである。
【図面の簡単な説明】
【図１】実施の形態としての走行路検出装置の概略構成を表すブロック図である。
【図２】実施の形態としての走行路検出装置におけるＣＣＤカメラの配置などを示す概略説明図である。
【図３】走行路検出に関する処理の概略を示すフローチャートである。
【図４】実空間（３次元）上での折れ線道路モデルの説明図である。
【図５】走行路モデルの想定ライン設定に関する説明図である。
【図６】撮像系を水平方向から見た概念図である。
【図７】（ａ）は車載のＣＣＤカメラにて撮像された画像例、（ｂ）は（ａ）の撮像シーン例に対して設定される走行路モデルの説明図である。
【図８】分割領域の概念説明図である。
【図９】領域方向データの算出に関する概念説明図である。
【図１０】検出結果（走行路モデル）の説明図である。
【符号の説明】
２…走行路検出装置
１０…ＣＣＤカメラ
２０…検出処理部
２１…アナログ・ディジタル変換器（ＡＤＣ）
２３…画像メモリ
２４…ＣＰＵ
２５…ＲＯＭ
２６…ＲＡＭ
２７…通信ＩＣ[0001]
BACKGROUND OF THE INVENTION
The present invention realizes a travel path detection apparatus that detects a travel path from an image obtained by photographing the front of the vehicle, a vehicle travel control apparatus that travels the vehicle along the detected travel path, and a travel path detection apparatus using a computer system. The present invention relates to a recording medium.
[0002]
[Prior art and problems to be solved by the invention]
Conventionally, in order to realize, for example, automatic control of a vehicle, it is necessary to detect the traveling path of the vehicle, and for the purpose of detecting the traveling path, a lane such as a white line existing on the road from an image taken in front of the vehicle. Technology for detecting marks has been developed. As the lane mark detection technique, the edge of the road is searched from the original image, and the lane mark is detected by connecting the edges, or the line segment is extracted from the captured two-dimensional image, There is a method of converting the extracted line segments into a three-dimensional real space and then connecting the converted line segments.
[0003]
However, these conventional detection methods have the following fundamental problems. That is, there is a problem that proper detection cannot be performed unless the traveling road clearly exists in the captured image.
For example, in the case of rain, the lane mark may be difficult to see in the distance due to rain water, and the edge of the lane mark cannot be searched, so that the detection of the lane mark, that is, the traveling path cannot be detected. In addition, it may be technically difficult to reliably extract and extract only the edge of the lane mark.For example, if an edge other than the lane mark exists near the lane mark to be detected, the erroneous edge is detected. Will be used, and connection errors will easily occur. For example, when it is desired to detect a white line on a road as a lane mark, if there is a white traveling vehicle on the road, the above-mentioned “another edge” may be generated by the traveling vehicle, which is the basis of a connection error. . Thus, once a connection error occurs, recovery is difficult and appropriate lane mark detection cannot be performed.
[0004]
In addition, in the case of a method in which a line segment extracted from a two-dimensional image is converted into a three-dimensional real space and the converted line segments are connected, the existence of the line segment is assumed. If it does not exist, proper detection becomes difficult. Therefore, when the lane mark is difficult to see due to the rainwater described above, it is still difficult to cope with it.
[0005]
Therefore, the present invention provides a travel path detection device capable of appropriately detecting a travel path even when there is no clear feature such as a lane mark for indicating the travel path in the captured image. It is an object of the present invention to provide a recording medium for realizing a vehicle travel control device and a travel path detection device with a computer system.
[0006]
[Means for Solving the Problems and Effects of the Invention]
The travel path detection device according to claim 1, which has been made to solve the above-described problem, images a travel path ahead of a vehicle by an imaging unit such as a CCD camera mounted on the vehicle, and detects based on the captured image. Detects the travel route, and the detection means detects the travel route as follows.
[0007]
First, in the model correspondence direction storage means provided in the detection means, a plurality of travel road models on the image are set in consideration of various shapes that can be taken by the characteristic line that can identify the travel road, and the image is divided into a plurality of small areas. For each of the divided areas, “direction corresponding to the model”, which is a continuous direction of the travel route model, is stored for each travel route model.
[0008]
On the other hand, the image corresponding direction calculation means is provided for each divided region of the image captured by the imaging means. The image pattern correlation calculation is performed between the target divided area and the surrounding divided areas to calculate the similarity, and the direction in which the divided area having the highest similarity exists is determined as the target. Become Direction in which the divided areas are characteristically continuous (image-corresponding direction) To . And the model selection means, for each divided region, Calculated by the image corresponding direction calculation means For all road models that have a model corresponding direction that is substantially the same as the image corresponding direction One by one As a result of voting and voting on all the divided areas in the captured image, the road model having the maximum number of votes is selected, and the road is detected based on the road model specified by the model selection means. To do.
[0010]
For example, if the image corresponding direction calculated in this way has a clear feature such as a lane mark in the image, the divided region in the direction in which the lane mark exists is naturally a direction in which the image feature continues. Therefore, for each divided region, the road model that obtains the maximum number of votes when voting on a road model having a model-corresponding direction substantially the same as the image-corresponding direction matches the actual road that exists in the image. It will be.
[0011]
Also, for example, in the case of rainy weather described above, the direction that is estimated to be continuous in terms of image characteristics is calculated for each divided region even when the lane mark is difficult to see due to rainwater. In other words, since it does not depend only on clear feature parts such as lane marks present in the image, but calculates the image characteristic continuous direction for the entire image of the divided area, for example, as described above Even if it is difficult to see the lane mark due to rainwater, the direction corresponding to the lane mark can be obtained to some extent when viewed between the divided areas. As a result, it is possible to calculate the image corresponding direction that matches the direction of the road. High nature.
[0012]
Further, as described above, it may be technically difficult to reliably distinguish and extract only the edge of the lane mark. For example, when an edge other than the lane mark exists near the lane mark to be detected. However, there is a problem that the wrong edge is adopted and a connection error easily occurs. However, by using a method for calculating a continuous characteristic direction of an image for an image of the entire divided region, Also, simply because there is an edge can be prevented from being adopted as the edge of the lane mark. That is, even if there is an edge, if there is a more similar divided area when the entire divided area is viewed, the direction of the divided area becomes the image corresponding direction.
[0013]
As described above, according to the travel path detection device of the present invention, it is possible to appropriately detect the travel path even when there is no clear feature such as a lane mark for indicating the travel path in the captured image. .
The calculation of the image correspondence direction is , Painting Other than calculating the similarity by calculating the correlation of the image pattern, it can be easily calculated by using the autocorrelation that is generally used in the field of image processing. This is preferable since it is very suitable for obtaining the similarity of the whole image.
[0014]
In addition, as the “characteristic line that can identify the travel path” to be considered in setting the travel path model, for example, the one that indicates the direction of the travel path such as a lane mark, a road shoulder, or a guard rail or a side wall is adopted. Can be considered. Furthermore, instead of the characteristic lines that exist constantly in this way, the vehicle can also be driven by characteristic lines that exist temporarily, such as the driving trajectory of a preceding vehicle obtained in the rain or rainwater collected on a saddle. The road can be detected.
[0015]
And for the road model, the claim 2 As shown in FIG. 6, it is preferable that the characteristic line that can specify not only the traveling path of the host vehicle but also the adjacent traveling path is set in consideration. This is a consideration from the following viewpoint. In other words, the driver experiences during actual vehicle driving.For example, when driving in the rain or at night, the lane mark indicating the traveling path of the vehicle is not visible or difficult to see. You may drive while looking at the shoulder, guardrail, or side wall. Therefore, it is preferable to consider the characteristic line of the adjacent traveling path when detecting the traveling path of the host vehicle. For example, if the combination of the own vehicle lane and the left and right adjacent lanes is a single road model, if there is data such as oncoming lanes, driving lanes, or overtaking lanes, these are processed as data on adjacent lanes. Even if there is no information on the vehicle lane, the optimum model is selected, and as a result, the own vehicle lane is also determined, so that the travel path can be detected. From this point of view, it is possible not to consider the lane mark that directly indicates the traveling path of the host vehicle, but to indirectly determine the traveling path of the host vehicle by using only the lane mark of the adjacent traveling path, for example. It is.
[0016]

Claims

3 As shown in FIG. 5, the model selection means may perform model selection based on the total number of votes when a vote for the travel route model is repeated a predetermined number of times. There is a possibility that the wrong model will be selected due to sudden disturbance such as rainy weather or retrograde with only one vote. Therefore, if it is based on the total number of votes when it is repeated a predetermined number of times, such a sudden vote The influence of a strong disturbance can be eliminated as much as possible.
[0017]

Claims

4 As shown in FIG. 4, the model selection means may limit the travel route models to be voted based on the past model selection results. At this time, the claim 5 As shown in FIG. 5, it is conceivable that only a traveling road model within a predetermined range that can be deformed from the traveling road model selected immediately before is to be voted.
[0018]
In other words, when a processing cycle that is normally assumed is considered, for example, a traveling road that has been curved to the left cannot be significantly curved to the right in the next processing cycle. Therefore, when the travel route model selected immediately before is curved to the left and right, the one whose degree of curve changes within a predetermined range is referred to as “a travel route model within a predetermined range that can be deformed”. Further, when the travel route model selected immediately before is straight, the travel route that curves to the left and right predetermined ranges is the “travel route model within a predetermined range that can be deformed”.
[0019]
Limiting the voting target road model in this way can reduce the amount of calculation and reduce the output of a sudden (inappropriate) solution to sudden data. This is effective in preventing erroneous detection. In other words, as described above, when the previous travel route model is a travel route that curves to the left greatly, it will not be voted on the travel route that curves to the right in the next processing cycle, and the travel route of the right curve A model can be prevented from being selected by mistake.
[0020]
Also, in view of the actual usage, the shooting angle of the camera does not include the road up to the top of the captured image. For example, if there is no obstacle ahead, it is about one third from the top of the screen. It is often set so that the horizon is at the lower position. In that case, there is no travel path to be detected in the predetermined range above the captured image. Therefore, the claims 6 As shown in FIG. 5, it is preferable that the divided region is not set for a region that is on the upper side in the image and is estimated that a characteristic line that can identify the travel path cannot be obtained. And, the region where it is estimated that the characteristic line that can identify this travel path cannot be obtained is as follows. 7 As shown in FIG. 5, it is conceivable to set the region above the infinity point of the travel path in the captured image.
[0021]
In this way, since there is no divided region for the region that is estimated that the characteristic line that can specify the travel path cannot be obtained, it is not necessary to calculate the image corresponding direction for the divided region. Also not related to voting for. Therefore, it is effective for reducing the amount of calculation.
[0022]
Claims 8 As shown in FIG. 4, it can be configured as a vehicle travel control device that uses the travel path detection device described above and causes the vehicle to travel along the travel path detected by the travel path detection device. Even when the lane mark or the like is not clearly present in the travel path detection device, for example, the travel path is appropriately detected. Therefore, when the vehicle is traveled along the detected travel path, an appropriate vehicle travel is performed. Control can be realized.
[0023]
Note that the travel path is not limited to a road, and may be, for example, a floor in a case where an automated guided vehicle travels in a factory. In this case, the characteristic line that can specify the travel path is, for example, a travel guide line printed on the floor.
[0024]
Note that the function of causing the computer system to function as the image corresponding direction calculation unit and the model selection unit in such a travel path detection apparatus is provided as a program that is activated on the computer system side, for example. In the case of such a program, for example, flexible It can be used by recording on a recording medium such as a disk, a magneto-optical disk, a CD-ROM, a DVD, or a hard disk, and loading it into a computer system and starting it as necessary. In addition, the program may be recorded using a ROM or backup RAM as a recording medium, and the ROM or backup RAM may be incorporated into a computer system.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a schematic configuration of a travel path detection apparatus 2 as an embodiment to which the above-described invention is applied.
The travel path detection device 2 of the present embodiment is a device that is mounted on a vehicle and detects a travel path ahead of the vehicle. For example, automatic travel control is performed along the travel path detected in this way. It is used for etc.
[0026]
The travel path detection apparatus 2 includes a CCD camera 10 as an “imaging unit” and a detection processing unit 20 as a “detection unit”.
As shown in FIG. 2, the CCD camera 10 is attached to, for example, a ceiling in the vicinity of a driver's seat inside the vehicle, and images a landscape in front of the vehicle. In this case, for example, if the vehicle is traveling on a road, the imaging range is set so that the road ahead by a predetermined distance from the vehicle is also included in the captured landscape.
[0027]
On the other hand, as shown in FIG. 1, the detection processing unit 20 converts an analog image signal output from the CCD camera 10 into digital image data, and an output from the ADC 21. The image memory 23 for storing the image data to be stored, and the processing for detecting the traveling path in the image data based on the image data stored in the image memory 23 are executed. A CPU 24 corresponding to “calculation means” and “model selection means”, a ROM 25 storing programs executed by the CPU 24, and a RAM 26 functioning as a work area of the CPU 24 and also corresponding to “model corresponding direction storage means”. And communication for outputting, for example, data relating to the detection result of the traveling path transferred from the CPU 24 to the outside It has a such as C27.
[0028]
As described above, the CPU 24 executes a process of detecting a traveling path in the image data based on the image data stored in the image memory 23. This detection process is performed roughly as follows. An image captured via the CCD camera 10 is divided into regions, and direction data of the traveling road model is calculated for each region. Then, it is determined whether the direction data corresponds to a preset travel route model, and the corresponding travel route model is voted. Then, based on the voting results of all areas, the one with the largest number of votes is treated as a travel path.
[0029]
Hereinafter, the detailed contents of the traveling path detection will be described with reference to FIGS. 4 to 10 as needed while following the processing procedure shown in the flowchart of FIG.
First, a travel route model is set on the image (see S1 in FIG. 3).
The setting of the travel route model is executed by a procedure in which a model in a real space (3D) is set and then converted into a model on an image (2D).
[0030]
First, a polygonal line road model in real space (three dimensions) is set as much as possible as a road shape. Here, a model composed of the own vehicle lane and the left and right adjacent lanes is used. FIG. 4 (a) shows a real space model of a straight road, and FIG. 4 (b) shows a real space model of a left-curved road as a conceptual diagram when the road is viewed from directly above. Here, it is assumed that there are three lanes of driving lanes that are adjacent to each other on the left and right sides of the vehicle lane. The left boundary line of the vehicle lane is indicated by L1, the right boundary line is indicated by L2, the left boundary line of the left adjacent lane is indicated by L0, and the right boundary line of the right adjacent lane is indicated by L3.
[0031]
And about this line L0-L3, an assumption line is set in the way shown below. That is, as shown in FIG. 5, five branch straight lines are created at intervals of 1.5 degrees from the position of the host vehicle (0 m) to a position of 15 m. Specifically, a total of five branch straight lines, one branch straight line in the straight direction and two branch straight lines with angles of 1.5 degrees and 3.0 degrees to the left and right with respect to the straight line in the straight direction. Create
[0032]
Next, starting from the position of the five branch straight lines at 15 m, the five branch straight lines are similarly created and drawn to the position of 40 m. Further, by creating five branch lines in a similar manner up to a value of 70 m and a position of 120 m, an assumed line connecting the 0 m position to the 120 m position has a total of 625 (= 5 ^Four ) This setting is made. Although one line is shown in FIG. 5, this is set for each of four lanes L0 to L3. And the thing which combined the line of the same shape among the assumption lines about each line L0-L3 is handled as one traveling road model.
[0033]
In this way, by combining the vehicle lane and the left and right adjacent lanes into one model, if there is data such as oncoming lanes, driving lanes, or overtaking lanes, these are processed as adjacent lane data. Even if there is no information on the own vehicle lane, the optimum model is selected, and as a result, the own vehicle lane is also determined, so that the travel path can be detected.
[0034]
Next, a process of converting the above-described model in the real space (3D) into a model on the image (2D) will be described.
In three dimensions, the front distance of the vehicle is y (m), the horizontal distance is x (m), and the height of the imaging system is z (m). Also, the coordinate position on the corresponding two-dimensional screen (CCD surface in the CCD camera 10) is defined as a horizontal position X (dot) and a vertical position Y (dot). FIG. 6 shows a conceptual diagram when the imaging system is viewed from the horizontal direction. In FIG. 6, y is a forward distance (unit m) from the lens to a point on the road surface, and z is a set height (unit m) of the CCD camera 10. Specifically, it is the center position of the CCD in the CCD camera 10. Further, s shown in FIG. 6 is a vertical position (unit m) on the CCD surface, and f is a focal length (unit m) of the lens.
[0035]
Based on the conceptual diagram of FIG. 6, the relational expression s / f = z / y is derived from the geometrical similarity, and s is expressed as the following expression 1 using y, z, and f. The
s = z · f / y (Formula 1)
Since this s (m) indicates the vertical distance from the center on the CCD surface corresponding to the forward distance y (m), the value obtained by dividing this s by the size of the CCD1 cell is on the CCD surface. The vertical dot position Y at. If the horizontal distance from the center on the CCD surface is t, the horizontal dot position X on the CCD surface is obtained by dividing t by the size of the CCD1 cell. Accordingly, the horizontal dot position X and the vertical dot position Y are expressed by the following

expressions

2 and 3, respectively.
[0036]
X = t / CCD horizontal cell size (Formula 2)
Y = s / CCD vertical cell size (Equation 3)
Therefore, using the

equations

2 and 3, the road model created in the above-described real space is converted into an image. FIG. 7A shows an example of an image captured by the in-vehicle CCD camera 10, and a traveling road model as shown in FIG. 7B is set for such an example of an imaging scene. Is done. In FIG. 7B, only a model for the boundary line of the own vehicle traveling path is shown. Although the actual road width varies somewhat, the travel path detection device 2 is used for executing automatic travel control. This automatic travel control is mainly used on highways. Is expected to be implemented. Therefore, the width of the left and right boundary lines may be set assuming a general width on an expressway.
[0037]
Since the travel route model is set in this way, next, the image is divided into mesh areas as shown in FIG. 8 (see S2 in FIG. 3). Although conceptually shown in FIG. 8, the image data to be analyzed is actually 480 dots long and 512 dots wide, and one divided area is 4 dots long and 16 dots wide. As illustrated in FIG. 7A, the road is not included up to the top of the captured image. For example, if there is no obstacle ahead, the position is about one third below the top of the screen. In many cases, the shooting angle of the CCD camera 10 is set so that the horizon is at the center. In that case, there is no road in the predetermined range on the upper side of the captured image, and as a result, there is no traveling road to be detected. Therefore, as illustrated in FIG. 8, an area that is on the upper side in the captured image and is estimated to have no travel path is not subjected to image segmentation and is not handled in subsequent processing. As a result, unnecessary processing can be prevented from being executed, which is preferable in terms of reducing the processing load. In addition, the area where it is estimated that the travel path does not exist can be set as an area above the infinity point of the travel path in the captured image.
[0038]
Then, direction data of the travel route model is calculated for each divided area (see S3 in FIG. 3). As this direction data, for example, it can be expressed by an angle based on the vertical direction (vertical dot direction) of the image.
Subsequently, the direction data and the corresponding model are mapped for each region position (see S4 in FIG. 3). Specifically, a map is created in which the horizontal position of the region is BX, the vertical position is BY, the direction of the region is BK, and these are variables. Equation 4 below shows a relationship in which the number of the corresponding road model is mapped to N for the three variables described above.
[0039]
N = F (BX, BY, BK) (Formula 4)
Note that there may be a plurality of traveling road models having the direction data BK at a certain region position (BX, BY). In particular, as can be seen from FIG. 7 (b), many traveling road models coincide with each other on the lower side of the screen, that is, in the portion close to the vehicle position.
[0040]
Next, for each road model, a set of models that the model can take in the next processing cycle is mapped. Specifically, since the travel route model of the present embodiment has a polygonal line shape as shown in FIG. 7B, the tip (120 m position) and three joints (15 m position, 40 m position, 70 m position). A model is selected and mapped so that the distance between the models is equal to or less than a predetermined value, and stored in the RAM 26 as a model corresponding direction storage means. Equation 5 below indicates that the selected model E is determined by the model set G that can be deformed in the next cycle based on the output model M.
[0041]
E = G (M) (Formula 5)
The processes of S1 to S5 in FIG. 3 described so far are pre-processing that is executed before actually detecting the travel path.
Then, S6 to S11 in FIG. 3 to be described below are processes for detecting the traveling road based on the image data actually captured by the CCD camera 10.
[0042]
First, for the captured image data, for each region divided in S2, the direction in which the regions continue (region direction data) is calculated (see S6 in FIG. 3). In the present embodiment, correlation calculation is performed when calculating the region direction data. Correlation calculation can be easily realized by using autocorrelation generally used in the field of image processing. By performing correlation calculation between the image of the target area and the surrounding image of the area, a similar image area is determined, and the direction of the area becomes the direction in which the images continue.
[0043]
FIG. 9 conceptually shows this region direction data calculation method. Each area is 2D data with 16 horizontal dots and 4 vertical dots. Here, in order to reduce the amount of calculation, the data for 4 vertical dots is integrated to convert 2D data into 1D data (G_data). Proceed with the process. Correlation calculation is evaluated by the sum of absolute values of differences of simple luminance data as shown in Equation 6 below.
[0044]
[Expression 1]

[0045]
Then, the correlation position is obtained according to the following formula 7, and the direction is set as region direction data.
[0046]
[Expression 2]

[0047]
That is, the smallest one of the correlation values SUM [s] as a result of searching the horizontal search position s in the range of −32 ≦ s ≦ 32 is set as the region direction data v.
The use of correlation calculation in this way is based on the following concept. As for the traveling road on the image, there are basically continuous lines effective for defining the boundary of the road, such as lane marks and road shoulders drawn on the road. Therefore, there is a very high possibility that the image region in the direction in which the road boundary line continues is calculated as a similar image region by correlation calculation. For example, even if rainwater accumulates and a clear feature such as a road boundary line does not appear, if a similar image area is calculated by correlation calculation between image areas, the road boundary line is actually continuous. There is a high possibility that the image area in the direction in which the image is being calculated will be calculated.
[0048]
After calculating the area direction data for each divided image area in this way, the area direction data is voted for the travel route model (see S7 in FIG. 3).
In this voting method, for each area data, when the position (BX, BY) and direction data BK are substituted into the above equation 4, the number N of the traveling road model is obtained. Therefore, the number of votes is increased by 1 with respect to the obtained road model number N. As described above, there may be a plurality of corresponding travel route models for one region position (BX, BY) and direction data BK. In this case, for all relevant travel route models. Increase the number of votes by 1. This voting process is performed for all areas in order from the upper left divided area, for example.
[0049]
Next, the optimum model is selected based on the voting result. Specifically, the number of votes by the vote executed in S7 is stored for five cycles, and the number of votes for the five cycles is stored. The sum is calculated (see S8 in FIG. 3). Then, the travel route model having the maximum total number of votes for the five cycles is selected (see S9 in FIG. 3), and the number N of the travel route model is output as a detection result (see S11 in FIG. 3). FIG. 10 shows the detection result (traveling road model) output in such a manner.
[0050]
In this embodiment, after selecting the road model with the maximum number of votes in S9, a model that can be taken in the next cycle is selected with respect to the model with the maximum number of votes (see S10 in FIG. 3). . As the model that can be taken, the model that has been mapped in S5 described above is used. Then, after the model is selected in S10, the process returns to S6 to start the next processing cycle.
[0051]
Therefore, until the first five cycles, the road model is not selected, and all the road models set in S1 are voted in S7, and the total number of votes for the five cycles is maximized. Select one and output it as a detection result. In the processing after the sixth cycle, only the model selected in S10 is subject to voting, so that the amount of calculation can be reduced and the sudden data is not (appropriate) suddenly. This is effective in that it can reduce the output of a simple solution and prevent erroneous detection.
[0052]
As described above, according to the traveling path detection device 2 of the present embodiment, for each divided region of the image captured by the CCD camera 10, the correlation calculation of the image pattern is performed between the divided regions existing around the divided region. Then, the similarity is calculated, and the direction in which the divided region having the highest similarity exists is calculated as the image corresponding direction. Then, for each divided area, voting is performed for all the road model having the model corresponding direction substantially the same as the image corresponding direction, and the result of voting for all the divided areas in the captured image is the maximum number of votes. The obtained travel route model is selected, and the travel route is detected based on the travel route model specified by the model selection means.
[0053]
For example, if the image corresponding direction calculated in this way has a clear feature such as a lane mark in the image, the divided region in the direction in which the lane mark exists is naturally a direction in which the image feature continues. Therefore, for each divided region, the road model that obtains the maximum number of votes when voting on a road model having a model-corresponding direction substantially the same as the image-corresponding direction matches the actual road that exists in the image. It will be.
[0054]
Also, for example, in the case of rainy weather described above, the direction that is estimated to be continuous in terms of image characteristics is calculated for each divided region even when the lane mark is difficult to see due to rainwater. In other words, since it does not depend only on clear feature parts such as lane marks present in the image, but calculates the image characteristic continuous direction for the entire image of the divided area, for example, as described above Even if the lane mark is difficult to see due to rainwater, the accumulation of rainwater is similar between consecutive divided areas, and as a result, there is a high possibility of calculating the image corresponding direction that matches the direction of the road. . Further, as described above, it may be technically difficult to reliably distinguish and extract only the edge of the lane mark. For example, when an edge other than the lane mark exists near the lane mark to be detected. However, there is a problem that the wrong edge is adopted and a connection error easily occurs. However, by using a method for calculating a continuous characteristic direction of an image for an image of the entire divided region, Also, simply because there is an edge can be prevented from being adopted as the edge of the lane mark. That is, even if there is an edge, if there is a more similar divided area when the entire divided area is viewed, the direction of the divided area becomes the image corresponding direction.
[0055]
In addition to the lane mark, a feature line indicating the direction of the road such as a road shoulder or a guard rail or a side wall may be adopted as the characteristic line indicating the road. Furthermore, instead of the characteristic lines that exist constantly in this way, the vehicle can also be driven by characteristic lines that exist temporarily, such as the driving trajectory of a preceding vehicle obtained in the rain or rainwater collected on a saddle. The road can be detected.
[0056]
As described above, according to the travel path detection device 2 of the present embodiment, the travel path is appropriately detected even when there is no clear feature such as a lane mark for indicating the travel path in the captured image. Can do.
If such a travel path detection device 2 is used as a vehicle travel control device that causes the vehicle to travel along the travel path detected by the travel path detection device, the travel path detection device 2 can use, for example, a lane mark or the like. Even when the vehicle is not clearly present, the travel path is appropriately detected. Therefore, when the vehicle travels along the detected travel path, appropriate vehicle travel control can be realized.
[0057]
[Others]
The above embodiment has been described as the travel path detection device 2 on the premise of a vehicle traveling on a road. However, the present invention can also be applied to a case where an automated guided vehicle travels in a factory, for example. The traveling path in this case is, for example, a traveling guide line printed on the floor in the factory.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a travel path detection apparatus as an embodiment.
FIG. 2 is a schematic explanatory diagram showing an arrangement of CCD cameras in the travel path detection apparatus as the embodiment.
FIG. 3 is a flowchart showing an outline of processing related to travel path detection.
FIG. 4 is an explanatory diagram of a polygonal road model in real space (three-dimensional).
FIG. 5 is an explanatory diagram relating to an assumed line setting of a travel route model.
FIG. 6 is a conceptual diagram of an imaging system viewed from the horizontal direction.
7A is an explanatory diagram of an example of an image captured by an in-vehicle CCD camera, and FIG. 7B is an explanatory diagram of a travel route model set for an example of an imaging scene of FIG.
FIG. 8 is a conceptual explanatory diagram of divided areas.
FIG. 9 is a conceptual explanatory diagram regarding calculation of region direction data.
FIG. 10 is an explanatory diagram of a detection result (running road model).
[Explanation of symbols]
2 ... Traveling path detection device
10 ... CCD camera
20: Detection processing unit
21 ... Analog-to-digital converter (ADC)
23. Image memory
24 ... CPU
25 ... ROM
26 ... RAM
27 ... Communication IC

Claims

A travel path detection device that is mounted on a vehicle that travels on a travel path and that includes an imaging unit that images a travel path ahead of the vehicle, and a detection unit that detects the travel path based on an image captured by the imaging unit. Because
The detection means includes
In consideration of various shapes that can be taken by the characteristic line that can identify the travel path, a plurality of travel path models on an image are set, and the travel path model is divided into a plurality of divided areas. Model-corresponding direction storage means for storing the model-corresponding direction, which is a continuous direction, for each traveling road model,
For each of the divided areas of the image captured by the imaging means, the similarity is calculated by calculating the correlation of the image pattern between the target divided area and the divided areas existing around the divided area. the direction in which the presence of the highest divided region similarity, an image corresponding direction computing unit shall be the image corresponding direction in which the divided area to be the target is continuous images characteristic,
For each of the divided areas, one vote is voted for all the road model having substantially the same model corresponding direction as the image corresponding direction calculated by the image corresponding direction calculating means, and As a result of voting on the divided areas, model selection means for selecting a road model that has obtained the maximum number of votes,
Detecting the travel path based on the travel path model specified by the model selection means;
A travel path detection device characterized by the above.

In the traveling path detection device according to claim 1,
The travel route model is set in consideration of a characteristic line that can identify not only the travel route of the host vehicle but also an adjacent travel route ;
The image corresponding direction calculation means calculates a similarity by performing correlation calculation of an image pattern between the target divided area and the divided areas existing around the divided area, and calculates the similarity of the divided area having the highest similarity. Making the existing direction the image corresponding direction;
A travel path detection device characterized by the above.

In the traveling path detection device according to claim 1 or 2,
The model selection means performs model selection based on the total number of votes when the vote for the road model is repeated a predetermined number of times .
A travel path detection device characterized by the above.

In the traveling path detection apparatus in any one of Claims 1-3,
The model selection means is to limit the road model to vote based on the past model selection results ;
A travel path detection device characterized by the above.

In the traveling path detection device according to claim 4 ,
The model selection means is only subject to voting for a predetermined range of road model that can be deformed from the road model selected immediately before ,
A travel path detection device characterized by the above.

In the traveling path detection apparatus in any one of Claims 1-5 ,
The divided region is not set for a region that is an upper side in the image and is estimated that a characteristic line that can identify the travel path cannot be obtained ;
A travel path detection device characterized by the above.

In the traveling path detection device according to claim 6 ,
The area that is estimated that the characteristic line that can identify the travel path cannot be taken is an area above the infinity point of the travel path in the captured image ,
A travel path detection device characterized by the above.

The travel path detection device according to any one of claims 1 to 7 ,
A vehicle travel control device that causes the vehicle to travel along a travel path detected by the travel path detection device.

The image corresponding direction calculation means and recording a computer-readable recording medium a program for causing the computer system to function as a model selecting means in the travel path detection apparatus according to any one of claims 1-7.