JP6458384B2 - 車線検出装置および車線検出方法 - Google Patents

Description

本発明は、車載カメラで得られた撮影画像を解析することによって、走行中の車線を検出する技術に関する。

車両が走行する道路は、白線などによって複数の車線に区切られており、車両は車線内を走行することが求められる。そこで、車載カメラで前方を撮影した画像から車線の区切り（白線や、縁石、中央分離帯など）を検出しておき、運転者の意図によらずに車両が車線を逸脱しそうになった場合には、運転者に警告することが行われている。

また、車両が車線を走行する以上、車両の前方で検出される車線の区切り（白線等）は、車両の側方を通過する。そこで、前方を撮影した画像から白線等を検出するのではなく、車両から側方を撮影した画像を解析することによって、車両の側方に存在する白線等を検出する技術も提案されている（特許文献１）。車両の側方の白線等は車両の近くに存在するので、前方の白線等よりも高い位置精度で検出することができると考えられる。

特開２０１０−７９５７３号公報

しかし、車両から側方を撮影した画像を解析して白線等を検出する技術は、白線等を誤検出し易く十分な信頼性を確保することが困難であるという問題があった。
これは、次のような理由による。先ず、従来から白線等を検出していた撮影画像は車両の進行方向（前方）の比較的遠方を撮影した画像であり、検出された白線等は車両から遠方に存在している。これに対して、側方の撮影画像中の白線等は車両の近くに存在する。このため、前方の撮影画像中では、車両が高速で移動した場合でも撮影画像中では白線等の位置が大きく移動することはないが、側方の撮影画像中では、白線等の位置が大幅に且つ急激に移動し得る。その結果、側方の撮影画像では、車両の走行中に白線等を追跡することが困難となる。更に、側方の撮影画像中では、自車両の影や路面の繋ぎ目などが白線等と並行に写ることがある。白線等の追跡が難しい状況では、これらと白線等と区別することも困難となる。これらの理由から、側方の撮影画像中から白線等を検出しようとしても、白線等を見失ったり、白線以外のものを白線と誤検出したりすることがあるため、十分な信頼性を確保することが困難となっている。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の車線検出装置および車線検出方法は、車両の側方の周辺領域を撮影する側方車載カメラで得られた画像に基づいて、車両の側方に存在する側方車線の区切りを検出する。また、車両の前方の周辺領域を撮影する前方車載カメラで得られた画像に基づいて、車両の前方に存在する前方車線の区切りを検出する。更に、前方車線の区切りの位置を、側方車載カメラと前方車載カメラとの撮影タイミングの時間差と、走行速度とに基づいて修正する。そして、修正した前方車線の区切りの位置と、側方車線の区切りの位置とを照合して、両者が整合する場合に、側方車線の区切りの位置の検出結果を、車線の検出結果として出力する。

こうすれば、車両から側方を撮影した画像に基づいて側方車線の区切りを検出した場合でも、誤検出する虞がない。このため、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能となる。また、前方車線の区切りの位置を修正してから、側方車線の区切りの位置と比較しているので、車両が高速で走行している場合でも側方車線の区切りの位置を誤検出する虞がなく、車線の区切りを高い信頼性で検出することが可能となる。

尚、本発明の車線検出装置は次のような態様で把握することも可能である。すなわち、
複数の車載カメラで撮影した画像を解析することによって、車両（１）が走行している車線を検出する車線検出装置（１００）であって、
前記車両の側方の周辺領域を撮影する側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出部（１０１）と、
前記車両の前方の周辺領域を撮影する前方車載カメラ（１１Ｆ）で得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出部（１０２）と、
前記側方車線の区切りの位置と、前記前方車線の区切りの位置とを照合する照合部（１０９）と、
前記側方車線の区切りの位置と、前記前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力部（１１０）と
を備える車線検出装置。

こうすれば、側方車線の区切りの位置を誤検出する虞がないので、車両から側方を撮影した画像を用いて、車線の区切りを高い信頼性で検出することが可能となる。

本実施例の車線検出装置１００を搭載した車両１を示す説明図である。 車線検出装置１００の大まかな内部構成を示す説明図である。 走行中の車両１が４つの車載カメラを用いて周辺領域の画像を撮影する様子を示す説明図である。 側方カメラ１０Ｌから検出した車線区切り（白線２）の位置を、前方カメラ１１Ｆおよび後方カメラ１１Ｂで検出した車線区切り（白線２）の位置と照合する様子を示した説明図である。 高速走行中の車線移動時に車両１の周辺領域の画像を撮影する様子を示す説明図である。 高速走行中に車線移動時には車載カメラの撮影タイミングの違いが問題になり得る理由を示す説明図である。 本実施例の車線検出処理の前半部分のフローチャートである。 本実施例の車線検出処理の後半部分のフローチャートである。 左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂの撮影タイミングの違いを例示した説明図である。 車両１の前方、後方、左側方、右側方の各領域で車線区切り（白線２）の位置が検出される様子を示した説明図である。 前方で検出した車線区切り（白線２）の位置を修正する様子を示した説明図である。 車両１が車線区切り（白線２）を跨いでいる状態を例示した説明図である。 車両１が車線区切り（白線２）を跨いでいる状態で前方および後方での車線区切り（白線２）の位置を検出する様子を例示した説明図である。 車線区切り推定処理のフローチャートである。 車線区切り推定処理で車線区切り（白線２）の位置を修正する様子を示した説明図である。 車両１が車線区切り（白線２）を跨いでいる状態で車線区切り（白線２）の位置を推定する様子を示した説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、車線検出装置１００を搭載した車両１が示されている。図示されるように車両１には、車線検出装置１００に加えて、車両１から左側方の周辺領域を撮影する左側方カメラ１０Ｌと、右側方の周辺領域を撮影する右側方カメラ１０Ｒと、車両１から前方の周辺領域を撮影する前方カメラ１１Ｆと、後方の周辺領域を撮影する後方カメラ１１Ｂと、車両１の走行速度を検出する車速センサー１４とを備えている。
尚、本実施例では、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒが、本発明の「側方車載カメラ」に対応する。また、前方カメラ１１Ｆが本発明の「前方車載カメラ」に対応し、後方カメラ１１Ｂが本発明の「後方車載カメラ」に対応する。

これら左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂで撮影した画像や、車速センサー１４の出力は車線検出装置１００に入力されており、後述する方法によって車線が検出される。そして、車線検出装置１００は検出した車線の情報を、車両制御装置２００に出力する。
車両制御装置２００は、受け取った情報に基づいて、運転者が意図せずに車線を逸脱しそうになっていると判断した場合には、例えば、運転者に警告したり、あるいは車線を維持する方向にハンドルを操作したりする運転支援を行う。

図２には、本実施例の車線検出装置１００の大まかな内部構成が示されている。図示されるように本実施例の車線検出装置１００は、側方検出部１０１と、前方検出部１０２と、後方検出部１０３と、走行速度検出部１０４と、前方修正部１０５と、後方修正部１０６と、時間差取得部１０７と、時間差記憶部１０８と、照合部１０９と、出力部１１０とを備えている。
尚、これら１０の「部」は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂの撮影画像を解析して車線を検出する車線検出装置１００の機能に着目して、車線検出装置１００の内部を便宜的に分類した抽象的な概念であり、車線検出装置１００が物理的に１０の部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

側方検出部１０１は、左側方カメラ１０Ｌから、車両１の左側方を撮影した画像を取得し、また、右側方カメラ１０Ｒからは、車両１の右側方を撮影した画像を取得する。そして、車両１の左側方を撮影した画像を解析して、車両１の左側方に存在する白線等の車線の区切り（以下、「車線区切り」と称する）の位置を検出し、車両１の右側方を撮影した画像を解析して、車両１の右側方に存在する車線区切りの位置を検出する。
尚、車両１の左側方あるいは右側方で検出した車線区切りは、本発明の「側方車線の区切り」に対応する。

前方検出部１０２は、前方カメラ１１Ｆから取得した車両１の前方を撮影した画像を解析して、車両１の前方に存在する車線区切りの位置を検出する。
後方検出部１０３は、後方カメラ１１Ｂから取得した車両１の後方を撮影した画像を解析して、車両１の後方に存在する車線区切りの位置を検出する。
尚、車両１の前方で検出した車線区切りは、本発明の「前方車線の区切り」に対応し、車両１の後方で検出した車線区切りは、本発明の「後方車線の区切り」に対応する。

時間差取得部１０７は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂの起動時に、これらのカメラ間での撮影タイミングの時間差に関する情報を取得する。また、取得した時間差に関する情報は、時間差記憶部１０８に記憶する。
走行速度検出部１０４は、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂで画像を撮影した時点での車両１の走行速度を、車速センサー１４から取得する。尚、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆおよび後方カメラ１１Ｂは、厳密には異なるタイミングで画像を撮影する。しかし、車両１の走行速度は、これらカメラ間での撮影タイミングの違いで大きく変化することはないので、走行速度検出部１０４は、何れかのカメラの撮影タイミングで、車速センサー１４から走行速度を取得すればよい。

前方修正部１０５は、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの違いを考慮して、あるいは、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの違いを考慮して、前方検出部１０２で検出した車線区切り（白線など）の位置を修正する。
左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの違いを修正する際には、左側方カメラ１０Ｌと前方カメラ１１Ｆとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。また、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの違いを修正する際には、右側方カメラ１０Ｒと前方カメラ１１Ｆとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。

後方修正部１０６は、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの違いを考慮して、あるいは、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの違いを考慮して、後方検出部１０３で検出した車線区切りの位置を修正する。
左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの違いを修正する際には、左側方カメラ１０Ｌと後方カメラ１１Ｂとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。また、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの違いを修正する際には、右側方カメラ１０Ｒと後方カメラ１１Ｂとの時間差の情報を時間差記憶部１０８から読み出して、走行速度検出部１０４で取得した走行速度を考慮して修正する。
尚、本実施例の前方修正部１０５および後方修正部１０６は、本発明の「位置修正部」に対応する。

照合部１０９は、側方検出部１０１で検出した車線区切りの位置と、前方修正部１０５で修正した車線区切りの位置と、後方修正部１０６で修正した車線区切りの位置とを照合して、これらの車線区切りの位置が整合するか否かを判断する。
そして、これらの車線区切りの位置が整合すると判断した場合に、側方検出部１０１で検出した車線区切りの位置を、車線の検出結果として車両制御装置２００に向かって出力する。

Ｂ．車両１の側方の車線区切りを検出する基本原理 ：
図３には、上述した車線検出装置１００を搭載した車両が、車線区切り（ここでは、白線２）で区画された車線を走行する様子が例示されている。また、前方カメラ１１Ｆ、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒには、いわゆる魚眼レンズのような広角レンズが装着されており、前方カメラ１１Ｆは、車両１の前方の周辺領域を、後方カメラ１１Ｂは車両１の後方の周辺領域を撮影する。同様に、左側方カメラ１０Ｌは車両１の左側方の周辺領域を、右側方カメラ１０Ｒは右側方の周辺領域を撮影する。
従って、これら４つの車載カメラの画像を解析することにより、車両１の前方、後方、左側方、右側方での白線２を検出することができる。

図４（ａ）には、左側方カメラ１０Ｌから得られた撮影画像が例示されており、図４（ｂ）には、前方カメラ１１Ｆから得られた撮影画像が、図４（ｃ）には、後方カメラ１１Ｂから得られた撮影画像が例示されている。
当然ながら、左側方カメラ１０Ｌに写った白線２は、前方部分が前方カメラ１１Ｆにも写っており、後方部分が後方カメラ１１Ｂにも写っている。従って、車両１に対する白線２の位置は、左側方カメラ１０Ｌ、前方カメラ１１Ｆ、後方カメラ１１Ｂの何れから得られた撮影画像を用いて検出した場合でも、誤差の範囲内で一致すると考えられる。また、右側方カメラ１０Ｒと前方カメラ１１Ｆ、後方カメラ１１Ｂとについても、全く同様なことが成立する。

このことから、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像に基づいて、車両１の側方で検出した白線２の検出結果の妥当性を、前方カメラ１１Ｆあるいは後方カメラ１１Ｂの撮影画像に基づく白線２の検出結果を用いて確認することができる。
すなわち、図４（ａ）に示したように、左側方カメラ１０Ｌの撮影画像に基づいて、車両１から左側の白線２までの距離がＬｌと求められたとする。また、車両１から左側の白線２までの距離は、前方カメラ１１ＦからはＬｆと求められ（図４（ｂ）参照）、後方カメラ１１ＢからはＬｂと求められたとする（図４（ｃ）参照）。

前方カメラ１１Ｆあるいは後方カメラ１１Ｂから得られた距離Ｌｆあるいは距離Ｌｂが、左側方カメラ１０Ｌから得られた距離Ｌｌと誤差の範囲内で一致すれば、車両１の左側の白線２を正しく検出できていると判断できる。車両１の右側の白線２についても全く同様なことが成立する。
従って、図２に示した本実施例の車線検出装置１００によれば、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像から、誤検出することなく、十分な信頼性で白線２を検出することができる。

尚、上述した説明は、理想的な場合として、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）が、同じタイミングで（若しくは、同じタイミングと見なせるほどの僅かな時間差で）画像を撮影する場合を想定して説明した。しかし、４つの車載カメラは同じタイミングで画像を撮影しているわけではない。そして、車両１は、４つの車載カメラが画像を撮影している間も移動する。
従って、実際には、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）が画像を撮影する位置は、図３中に破線で示すように、少しずつ異なっている。

もっとも、車両１の走行速度がそれほど高くはない場合、あるいは車両１が車線に沿って走行している場合は、各車載カメラの撮影位置が、図３中の破線で示すように少しずつ違っても、大まかには、図４に示すような撮影画像を得ることができる。このため、各車載カメラの撮影タイミングが異なっていても、上述した説明が当て嵌まることとなり、左側方カメラ１０Ｌおよび右側方カメラ１０Ｒによる撮影画像から十分な信頼性で白線２を検出することができる。
しかし、車両１が高速走行中に車線を変更する場合などには、各車載カメラで撮影タイミングが違うことによる影響は、無視できない程に大きくなることがある。

図５には、車両１が高速走行中に車線を変更する場合に、各車載カメラが画像を撮影する位置の違いが例示されている。
例えば、車両１に搭載された４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）のうちで、前方カメラ１１Ｆ、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒの順番で画像を撮影するものとする。図５中では、前方カメラ１１Ｆが画像を撮影した時の車両１の位置が実線で示されており、その後、後方カメラ１１Ｂ、左側方カメラ１０Ｌ、右側方カメラ１０Ｒが画像を撮影した時の車両１の位置が、細い破線で示されている。

図６（ａ）には、前方カメラ１１Ｆで撮影した画像（図５中の実線で示した車両１の位置で撮影した画像）が示されており、図６（ｂ）には、左側方カメラ１０Ｌで撮影した画像が示されている。図５を用いて前述したように、車両１は高速で白線２に向かって斜めに近付いているので、前方カメラ１１Ｆで画像を撮影してから、左側方カメラ１０Ｌで画像を撮影するまでの間に、車両１は白線２に大きく接近する。このため、前方カメラ１１Ｆの画像から検出した車両１の左側の白線２の位置と、左側方カメラ１０Ｌの画像から検出した白線２の位置とは、一致しなくなる。尚、図６（ａ）および図６（ｂ）では、車両１から白線２までの距離として、車両１の先端から左方向に測った距離が示されている。また、図６（ｂ）中には、図６（ａ）で検出された左側の白線２が、細い破線で表示されている。
従って、図５に示したように、車両１が高速走行中に車線を変更するような場合には、車両１の側方での白線２の検出結果の妥当性を、前方あるいは後方での白線２の検出結果に基づいて確認できなくなる場合がある。
そこで、本実施例の車線検出装置１００は、車両１の側方での白線２の検出結果の妥当性を、次のような方法で確認することにより、車両１が高速走行中に車線を変更するような場合でも、十分な信頼性で車線を検出可能としている。

Ｃ．車線検出処理 ：
図７および図８には、本実施例の車線検出装置１００で実施される車線検出処理のフローチャートが示されている。
図示されるように、車線検出処理を開始すると、車線検出装置１００は先ず始めに、４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）を起動した後、それぞれの車載カメラが画像を撮影するタイミングの時間差を取得する（Ｓ１００）。すなわち、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂは、起動された後は一定の撮影周期で画像を撮影して、車線検出装置１００に出力する。ここで、各車載カメラの撮影周期は同じであるが、完全に同じタイミングで起動されるわけではない。従って、左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂは、起動時に決まった互いの位相差を保って、周期的に画像を撮影し続けることになる。

図９には、左側方カメラ１０Ｌ、前方カメラ１１Ｆ、後方カメラ１１Ｂ、右側方カメラ１０Ｒが、一定の位相差を保って同じ撮影周期で画像を撮影する様子が例示されている。
本実施例の車線検出装置１００は、図７の車線検出処理を開始して４つの車載カメラを起動すると、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｌｆと、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｌｂとを取得する。また、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｒｆと、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｒｂとを取得する。更に、後方カメラ１１Ｂに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｂｆも取得する。こうして取得された各種の時間差は、図２に示した時間差記憶部１０８に記憶される。

続いて、左側方カメラ１０Ｌから車両１の左側方の周辺領域を撮影した画像と、右側方カメラ１０Ｒから車両１の右側方の周辺領域を撮影した画像と、前方カメラ１１Ｆから車両１の前方の周辺領域を撮影した画像と、後方カメラ１１Ｂから車両１の後方の周辺領域を撮影した画像とを取得する（Ｓ１０１）。
そして、左側方カメラ１０Ｌの撮影画像を解析することにより、車両１の左側方に写った車線区切り（ここでは、白線２）を検出し（Ｓ１０２）、右側方カメラ１０Ｒの撮影画像を解析して、車両１の右側方に写った車線区切り（白線２）を検出する（Ｓ１０３）。
また、同様にして、前方カメラ１１Ｆの撮影画像から車両１の前方での車線区切り（白線２）を検出し（Ｓ１０４）、後方カメラ１１Ｂの撮影画像から車両１の後方での車線区切り（白線２）を検出する（Ｓ１０５）。

図１０（ａ）には、前方カメラ１１Ｆの撮影画像から、車両１の前方での白線２が検出された様子が例示されている。図示されているように白線２の位置は、車両１の位置を原点とするＸＹ座標での直線を表す式として検出される。
また、図１０（ｂ）には、後方カメラ１１Ｂの撮影画像から車両１の後方での白線２が、図１０（ｃ）には、左側方カメラ１０Ｌの撮影画像から車両１の左側方での白線２が、図１０（ｄ）には、右側方カメラ１０Ｒの撮影画像から車両１の右側方での白線２が、それぞれＸＹ座標での直線を表す式として検出された様子が例示されている。

次に、車両１の前方および後方で車線区切り（ここでは白線２）が検出されたか否かを判断する（図７のＳ１０６）。通常、車両１が車線を走行中であれば、車両１の前方および後方では、白線２に限らず何らかの車線区切りは検出することができるから、車両１の前方および後方で車線区切りが検出されない場合は、何らかの異常が発生したものと考えられる。
そこで、車両１の前方および後方で車線区切りが検出されなかった場合は（Ｓ１０６：ｎｏ）、図示しないスピーカーから警告音を出力することにより、あるいは図示しないランプを点灯させることによって、異常の発生を報知する（Ｓ１１０）。

これに対して、車両１の前方および後方で車線区切りが検出されていた場合は（Ｓ１０６：ｙｅｓ）、車速センサー１４から車両１の走行速度を取得する（Ｓ１０７）。尚、走行速度は、Ｓ１０１で車載カメラから撮影画像を取得する際に併せて取得するようにしても良い。
そして、車両１の左側方および右側方で車線区切り（ここでは白線２）が検出されたか否かを判断する（Ｓ１０８）。
その結果、車両１の左側方および右側方で車線区切りが検出されていた場合は（Ｓ１０８：ｙｅｓ）、左側方カメラ１０Ｌに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｌｆ（図９参照）と、左側方カメラ１０Ｌに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｌｂ（図９参照）とを取得する（Ｓ１０９）。これらの時間差は、車線検出処理の開始時に、Ｓ１００で予め取得されて時間差記憶部１０８（図２参照）に記憶されている。

その後、車両１の前方および後方で検出された車線区切り（白線２）の位置を、Ｓ１０７で取得した車両１の走行速度およびＳ１０９で取得した時間差に基づいて修正する（図８のＳ１１１）。
図１１には、車両１の前方で検出された車線区切り（白線２）の位置を修正する様子が示されている。車両１の前方で検出された車線区切り（白線２）の位置は、車両１の左側方で検出された車線区切り（白線２）に比べると、時間差Ｔｌｆだけ早いタイミングで取得されており、その間に車両１は、（走行速度Ｖ）×（時間差Ｔｌｆ）の距離だけ白線２に近付く方向に移動する。従って、図１１（ａ）に示した車両１の前方の車線区切り（白線２）の位置は、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｌｆ）だけ移動させることによって、図１１（ｂ）に示した位置に修正される。
車両１の後方で検出された車線区切り（白線２）の位置についても同様にして修正することができる。すなわち、車両１の後方で検出された車線区切り（白線２）の位置は、車両１の左側方で検出された車線区切り（白線２）に比べると、時間差Ｔｌｂだけ早いタイミングで取得されている。従って、車両１の後方の車線区切り（白線２）の位置は、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｌｂ）だけ移動させる。

続いて、車両１の左側方で検出した車線区切り（白線２）の位置が、車両１の前方および後方で修正した車線区切り（白線２）の位置と整合するか否かを判断する（図８のＳ１１２）。
図１０を用いて前述したように、車両１の左側方の車線区切り（白線２）の位置も、車両１の前方および後方の車線区切り（白線２）の位置も、ＸＹ座標で直線を表す式として検出されている。更に、車両１の前方および後方の車線区切り（白線２）の位置は、ＸＹ座標でＸ方向に直線をシフトさせるように修正されている。従って、ＸＹ座標上で表された直線を比較することになるので、それらの直線が整合するか否か（すなわち、誤差の範囲内で一致するか否か）を判断することができる。

その結果、車両１の左側方と、前方と、後方の３箇所で検出された車線区切り（白線２）の位置が整合すると判断した場合は（Ｓ１１２：ｙｅｓ）、左側方の車線区切り（白線２）は正しく検出されたものと考えることができるので、今度は、右側方の車線区切り（白線２）に対して同様な操作を開始する。
これに対して、車両１の左側方、前方および後方の３箇所で検出された車線区切り（白線２）の位置が整合しないと判断した場合は（Ｓ１１２：ｎｏ）、左側方の車線区切り（白線２）は誤検出された可能性が高い。そこで、左側方の車線区切り（白線２）の位置を、前回の処理で検出された車両１の左側方での車線区切り（白線２）の位置に基づいて推定した位置に差し替える（Ｓ１１３）。

尚、本実施例では、車両１の左側方で検出された車線区切り（白線２）の位置を、車両１の前方で検出された車線区切り（白線２）の位置と比較し、更に、車両１の後方で検出された車線区切り（白線２）の位置とも比較している。しかし、簡易には、車両１の左側方での車線区切り（白線２）の位置を、車両１の前方あるいは後方の何れか一方での車線区切り（白線２）の位置と比較して、整合するか否かを判断しても良い。こうすれば、車線検出装置１００での処理負荷を軽減することができる。
もっとも、本実施例のように、車両１の左側方での車線区切り（白線２）の位置を、車両１の前方および後方での車線区切り（白線２）の位置と比較すれば、いわゆるダブルチェックとなるので、誤検出を確実に排除することが可能となる。

以上のようにして、左側方での車線区切り（白線２）に対する処理が終わったら、右側方での車線区切り（白線２）に対しても同様な処理を開始する。すなわち、右側方カメラ１０Ｒに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｒｆ（図９参照）と、右側方カメラ１０Ｒに対する後方カメラ１１Ｂの撮影タイミングの時間差Ｔｒｂ（図９参照）とを取得する（Ｓ１１１４）。

続いて、車両１の前方および後方で検出された車線区切り（白線２）の位置を修正する（Ｓ１１５）。修正に際しては、車両１の前方で検出された車線区切り（白線２）の位置を、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｒｆ）だけ移動させる。また、車両１の後方で検出された車線区切り（白線２）の位置については、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｒｂ）だけ移動させることによって修正する。

そして、車両１の右側方で検出した車線区切り（白線２）の位置が、車両１の前方および後方で修正した車線区切り（白線２）の位置と整合するか否かを判断する（Ｓ１１６）。車両１の右側方で検出した車線区切り（白線２）の位置についても、左側方で検出した車線区切り（白線２）の位置と同様に、ＸＹ座標で直線を表す式として検出されている。従って、車両１の右側方、前方および後方で検出した車線区切り（白線２）の位置が整合するか否かは容易に判断することができる。

その結果、それらの車線区切り（白線２）の位置が整合しないと判断した場合は（Ｓ１１６：ｎｏ）、右側方の車線区切り（白線２）は誤検出された可能性が高い。そこで、その右側方の車線区切り（白線２）の位置を、前回の処理で検出された右側方の車線区切り（白線２）を元に推定した位置に差し替える（Ｓ１１７）。
これに対して、車両１の右側方、前方および後方での車線区切り（白線２）の位置が整合する場合は（Ｓ１１６：ｙｅｓ）、右側方の車線区切り（白線２）は正しく検出されたものと考えられるので、前回の検出結果から推定した位置に差し替える処理（Ｓ１１７）は省略する。
尚、車両１の右側方で検出された車線区切り（白線２）の位置についても、車両１の前方あるいは後方の何れか一方で検出された車線区切り（白線２）の位置と比較して、整合するか否かを判断しても良いことはもちろんである。

その後、以上の処理によって得られた左側方での車線区切り（白線２）の位置、および右側方での車線区切り（白線２）の位置を、車線の検出結果として、車両制御装置２００に向かって出力する（Ｓ１１８）。
そして、車線の検出を終了するか否かを判断する（Ｓ１１９）。その結果、車線の検出を終了しない場合は（Ｓ１１９：ｎｏ）、図７のＳ１０１に戻って、再び４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）から撮影画像を取得した後、上述した続く一連の処理を開始する。

以上では、車両１の前後で車線区切り（白線２）が検出され（図７のＳ１０６：ｙｅｓ）、且つ、車両１の左右でも検出された場合（Ｓ１０８：ｙｅｓ）の処理について説明した。
これに対して、車両１の前後では車線区切り（白線２）が検出されたが（Ｓ１０６：ｙｅｓ）、車両１の左右では検出されなかった場合は（Ｓ１０８：ｎｏ）、図１２に例示したように車両１が車線区切り（白線２）を跨いでいるものと考えられる。
そこでこのような場合、車線検出装置１００は、以下に説明する車線区切り推定処理（Ｓ２００）を開始する。

尚、図１０を用いて前述したように、通常の場合（車両１が白線２を跨いでいない場合）は、前方カメラ１１Ｆおよび後方カメラ１１Ｂの撮影画像からは、車両１の左側と右側とに１本ずつの合計２本の車線区切り（白線２）が、それぞれ検出される。この場合は、図７のＳ１０４およびＳ１０５では、２本検出された車線区切り（白線２）の内側を、車線区切り（白線２）の位置として検出した（図１０（ａ）および図１０（ｂ）参照）。

これに対して、図１２に例示したように、車両１が車線区切り（白線２）を跨ぐ場合は、前方カメラ１１Ｆおよび後方カメラ１１Ｂの何れの撮影画像からも、１本の車線区切り（白線２）が検出される。このような場合は、検出された車線区切り（白線２）の中心線の位置を、車線区切り（白線２）の位置として検出している。すなわち、図７のＳ１０４では、図１３（ａ）に例示したように、前方カメラ１１Ｆの撮影画像中の車線区切り（白線２）の中心線の位置が、車線区切り（白線２）の位置として検出されている。また、図７のＳ１０５では、図１３（ｂ）に例示したように、後方カメラ１１Ｂの撮影画像中の車線区切り（白線２）の中心線の位置が、車線区切り（白線２）の位置として検出されている。

図１４には、車線区切り推定処理のフローチャートが示されている。
図示されるように車線区切り推定処理では、先ず始めに、後方カメラ１１Ｂに対する前方カメラ１１Ｆの撮影タイミングの時間差Ｔｂｆを取得する（Ｓ２０１）。
図９を用いて前述したように、時間差Ｔｂｆは、図７および図８の車線検出処理の起動時に取得されて、時間差記憶部１０８に予め記憶されている。

続いて、車両１の前方で検出された車線区切り（白線２）の位置を、図７のＳ１０７で検出した走行速度と、時間差Ｔｂｆとに基づいて修正する（Ｓ２０２）。すなわち、図１５に例示したように、車両１の前方で検出された車線区切り（白線２）の位置を、車両１の進行方向とは逆方向に（走行速度Ｖ）×（時間差Ｔｂｆ）だけ移動させる。こうすることによって、図１５（ａ）に例示した車線区切り（白線２）の位置が、図１５（ｂ）に例示した車線区切り（白線２）の位置に修正される。

その後、修正した前方での車線区切り（白線２）の位置が、後方での車線区切り（白線２）の位置と整合するか否か（誤差の範囲内で一致するか否か）を判断する（Ｓ２０３）。
その結果、整合すると判断した場合は（Ｓ２０３：ｙｅｓ）、車両１の後方で検出した車線区切り（白線２）の位置と、車両１の前方の修正した車線区切り（白線２）の位置とに基づいて、車両１の下面での車線区切り（白線２）の位置を推定する（Ｓ２０４）。すなわち、車両１の後方の車線区切り（白線２）の位置も、車両１の前方の修正された車線区切り（白線２）の位置も、ＸＹ座標上の直線として表されているから、それらの直線の中間的な直線は容易に求めることができる。そこで、このような直線を求めることによって、車両１の下面での車線区切り（白線２）の位置を推定する。図１６には、このようにして車線区切り（白線２）の位置を推定する様子が例示されている。

尚、本実施例では、前方カメラ１１Ｆは後方カメラ１１Ｂよりも前のタイミングで画像を撮影するものとして説明しているが（図９参照）、前方カメラ１１Ｆが後方カメラ１１Ｂよりも後のタイミングで画像を撮影する場合は、時間差Ｔｂｆが負の値となる。従って、この場合は、車両１の前方の車線区切り（白線２）の移動方向が逆方向となって、車両１の前方の車線区切り（白線２）の位置が、車両１の進行方向に（走行速度Ｖ）×（時間差Ｔｂｆ）だけ移動することになる。

また、本実施例では、修正する車線区切り（白線２）は、前方カメラ１１Ｆの画像から検出された車両１の前方の車線区切り（白線２）であるものとして説明した。しかし、常に、前方カメラ１１Ｆの画像による車線区切り（白線２）を修正するのではなく、前方カメラ１１Ｆまたは後方カメラ１１Ｂの何れか先に撮影した方の画像による車線区切り（白線２）を修正するようにしても良い。例えば、前方カメラ１１Ｆが後方カメラ１１Ｂよりも前のタイミングで画像を撮影している場合は、（前方カメラ１１Ｆの画像による）車両１の前方の車線区切り（白線２）を、車両１の進行方向とは逆方向に移動させる。これに対して、前方カメラ１１Ｆが後方カメラ１１Ｂよりも後のタイミングで画像を撮影している場合は、（後方カメラ１１Ｂの画像による）車両１の後方の車線区切り（白線２）を、車両１の進行方向に移動させるようにしてもよい。
こうすれば、前方カメラ１１Ｆの撮影タイミングまたは後方カメラ１１Ｂの撮影タイミングの新しい方の撮影タイミングで得られた画像を基準として、車線区切り（２）の位置を推定することができるので、より精度良く推定することが可能となる。

以上のようにして、車両１の下面での車線区切り（白線２）の位置を推定したら（図１４のＳ２０４）、推定した車線区切り（白線２）の位置を、車両制御装置２００に向かって出力した後（Ｓ２０５）、図１４の車線区切り推定処理を終了して、図７および図８の車線検出処理に復帰する。

これに対して、図１４のＳ２０３の判断で、修正した前方での車線区切り（白線２）の位置が、後方での車線区切り（白線２）の位置と整合しないと判断した場合は（Ｓ２０３：ｎｏ）、車両１の下面での車線区切り（白線２）が推定できない旨を、車両制御装置２００に向かって出力した後（Ｓ２０６）、図１４の車線区切り推定処理を終了して、図７および図８の車線検出処理に復帰する。

そして、図７に示すように車線検出処理では、車線区切り推定処理（Ｓ２００）から復帰すると、車線の検出を終了するか否かを判断する（図８のＳ１１９）。
その結果、車線の検出を終了しない場合は（Ｓ１１９：ｎｏ）、図７のＳ１０１に戻って、再び４つの車載カメラ（左側方カメラ１０Ｌ、右側方カメラ１０Ｒ、前方カメラ１１Ｆ、後方カメラ１１Ｂ）から撮影画像を取得した後、上述した続く一連の処理を開始する。これに対して、車線の検出を終了する場合は（Ｓ１１９：ｙｅｓ）、図７および図８に示した車線検出処理を終了する。

以上に説明したように、本実施例の車線検出装置１００では、車両１の左側方および右側方で検出した車線区切り（白線２）の位置の妥当性を、車両１の前方あるいは後方で検出した車線区切り（白線２）の位置によって確認することができる。また、車両１が高速で移動中に車線変更するような場合でも、車両１の前方あるいは後方で検出した車線区切り（白線２）の位置を修正するので、左側方および右側方で検出した車線区切り（白線２）の位置の妥当性を確認することができる。このため、左側方カメラ１０Ｌや右側方カメラ１０Ｒの撮影画像から、十分な信頼性で車線区切り（白線２）の位置を検出することが可能となる。

以上、本実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…白線、 １０Ｌ…左側方カメラ、 １０Ｒ…右側方カメラ、
１１Ｂ…後方カメラ、 １１Ｆ…前方カメラ、 １４…車速センサー、
１００…車線検出装置、 １０１…側方検出部、 １０２…前方検出部、
１０３…後方検出部、 １０４…走行速度検出部、 １０５…前方修正部、
１０６…後方修正部、 １０７…時間差取得部、 １０８…時間差記憶部、
１０９…照合部、 １１０…出力部、 ２００…車両制御装置。

Claims (6)

1. 複数の車載カメラを備える車両に搭載され、前記複数の車載カメラで撮影した画像を解析することによって、車両（１）が走行している車線を検出する車線検出装置（１００）であって、
   前記車両の側方の周辺領域を撮影する側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出部（１０１）と、
   前記車両の前方の周辺領域を撮影する前方車載カメラ（１１Ｆ）で得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出部（１０２）と、
   前記車両の走行速度を検出する走行速度検出部（１０４）と、
   前記前方車線の区切りの位置を、前記側方車載カメラと前記前方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する位置修正部（１０５）と、
   前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とを照合する照合部（１０９）と、
   前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力部（１１０）と
   を備える車線検出装置。
2. 請求項１に記載の車線検出装置であって、
   前記複数の車載カメラの起動時に、該複数の車載カメラ間での撮影タイミングの時間差を取得する時間差取得部（１０７）を備える
   車線検出装置。
3. 請求項１または請求項２に記載の車線検出装置であって、
   前記車両から後方の周辺領域を撮影する後方車載カメラで得られた画像に基づいて、該車両の後方に存在する後方車線の区切りを検出する後方検出部（１０３）を備え、
   前記位置修正部は、前記後方車線の区切りの位置については、前記側方車載カメラと前記後方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する修正部（１０６）であり、
   前記照合部は、前記側方車線の区切りの位置と前記修正した前方車線の区切りの位置とを照合するとともに、該側方車線の区切りの位置と前記修正した後方車線の区切りの位置とを照合する照合部であり、
   前記出力部は、前記側方車線の区切りの位置と前記修正した前方車線の区切りの位置とが整合し、尚且、該側方車線の区切りの位置と前記修正した後方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力部である
   車線検出装置。
4. 請求項３に記載の車線検出装置であって、
   前記位置修正部は、前記前方車線の区切りおよび前記後方車線の区切りは検出されているが、前記側方車線の区切りは検出されていない場合は、前記前方車線の区切りまたは前記後方車線の区切りの何れか一方の位置を、前記前方車載カメラと前記後方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する修正部であり、
   前記照合部は、前記前方車線の区切りまたは後方車線の区切りの修正した方の位置と、前記前方車線の区切りまたは後方車線の区切りの修正しなかった方の位置とを照合する照合部であり、
   前記照合部が、前記修正した方の区切りの位置と、前記修正しなかった方の区切りの位置とが整合すると判断した場合に、前記車両の下面での車線の区切りの位置を推定する車線区切り推定部（Ｓ２０４）を備え、
   前記出力部は、前記車線区切り推定部によって推定された前記車線の区切りの位置を、前記車線の検出結果として出力する出力部である
   車線検出装置。
5. 請求項４に記載の車線検出装置であって、
   前記位置修正部は、前記前方車載カメラが前記後方車載カメラよりも早いタイミングで画像を撮影する場合には、前記前方車線の区切りを修正し、前記後方車載カメラが前記前方車載カメラよりも早いタイミングで画像を撮影する場合には、前記後方車線の区切りを修正する修正部である
   車線検出装置。
6. 複数の車載カメラで撮影した画像を解析することによって、車両（１）が走行している車線を検出する車線検出方法であって、
   前記車両の側方の周辺領域を撮影する側方車載カメラ（１０Ｌ、１０Ｒ）で得られた画像に基づいて、該車両の側方に存在する側方車線の区切りを検出する側方検出工程（Ｓ１０２、Ｓ１０３）と、
   前記車両の前方の周辺領域を撮影する前方車載カメラ（１１Ｆ）で得られた画像に基づいて、該車両の前方に存在する前方車線の区切りを検出する前方検出工程（Ｓ１０４）と、
   前記車両の走行速度を検出する走行速度検出工程（Ｓ１０７）と、
   前記前方車線の区切りの位置を、前記側方車載カメラと前記前方車載カメラとの撮影タイミングの時間差と、前記走行速度とに基づいて修正する位置修正工程（Ｓ１１１）と、
   前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とを照合する照合工程（Ｓ１１２、Ｓ１１６）と、
   前記側方車線の区切りの位置と、前記修正した前方車線の区切りの位置とが整合する場合に、該側方車線の区切りの位置を前記車線の検出結果として出力する出力工程（Ｓ１１８）と
   を備える車線検出方法。

Images