JP5997962B2 - 車載レーンマーカ認識装置 - Google Patents

Description

本発明は、車載カメラでレーンマーカの位置を検出する車載レーンマーカ認識装置に関するものである。

近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、車線の境界に敷設されたレーンマーカの位置を検出して、こうして検出されたレーンマーカの位置に基づいて車両の位置と車線の位置との関係を算出し、車線逸脱の可能性を判断して注意喚起を行う車載レーンマーカ認識装置が実用化されている。

このようなシステムでは、例えば、路面との輝度差が大きいというレーンマーカの特徴を用いて、この路面との輝度差の大きい画素を検出して、検出された画素の列に対してレーン形状を当てはめることによってレーンマーカの位置を検出している。そして、そのような装置の例として、レーン認識装置が開示されている（例えば、特許文献１）。

特開２００５−１４１４８７号公報

特許文献１に記載されたレーン認識装置では、路面に敷設されたレーンマーカが、複数の実線の組み合わせ、あるいは、実線と破線の組み合わせによって構成されるときであっても、最も内側のレーンマーカを検出することによってレーンの検出を行っていた。

このように、複数のレーンマーカによって構成されるレーンマーカを、以後、多重線と呼ぶことにする。

多重線は、一般に実線のみならず破線を含む場合もある。さらに、多重線を構成するレーンマーカの色は、白色に限定されるわけではなく、黄色のレーンマーカも存在する。

したがって、多重線を構成するレーンマーカの中には、白色の実線のように、路面とのコントラストが高く、画像認識によって認識しやすいレーンマーカと、黄色の実線のように路面とのコントラストが低いため、画像認識によって認識しにくいレーンマーカ、あるいは、破線のようにレーンマーカを構成する特徴量が少ないため、画像認識によって認識しにくいレーンマーカが存在する。

ところで、検出されたレーンマーカの位置に応じて、車線逸脱の可能性を判断する場合、その判断の信頼性を向上させるためには、多重線の中で車両から最も近い位置にある、最も内側のレーンマーカの位置に応じて車線逸脱を判断すべきである。しかしながら、多重線の最も内側に、前述した黄色の実線や破線からなるレーンマーカのように、画像認識によって認識しにくいレーンマーカが存在する場合には、画像認識の誤認識や不認識によって、車線逸脱判断に用いるレーンマーカの検出に失敗する可能性がある。

特許文献１に記載された発明は、こうした多重線で構成されるレーンマーカを検出対象として、多重線を構成する最も内側のレーンマーカの位置を検出する構成になっているため、最も内側に認識しにくいレーンマーカがあったときに、誤認識や不認識が発生する可能性があった。

そして、このような誤認識が発生したときには、本来、車線逸脱警報が不要なときに報知を行う誤警報が発生する。また、不認識が発生したときには、本来報知すべき車線逸脱を報知しない不警報が発生する。

本発明は、上記課題に鑑みてなされたもので、レーンマーカが多重線で構成されているときであっても、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる車載レーンマーカ認識装置を提供することを目的とする。

本発明に係る車載レーンマーカ認識装置は、多重線の中から、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる車載レーンマーカ認識装置に関するものである。

すなわち、本発明の請求項１に係る車載レーンマーカ認識装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部で撮像された画像の中の所定の領域から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部と、前記レーンマーカ候補検出部の検出結果に基づいて、前記撮像部で撮像された画像の中に、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部と、前記ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出するレーンマーカ特徴量検出部と、前記レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、レーンマーカを検出するレーンマーカ検出部と、前記レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに警報を出力する警報出力部と、を有する車載レーンマーカ認識装置において、前記レーンマーカ候補検出部が、前記レーンマーカが複数の線で構成される多重線であると認識したときには、前記レーンマーカ検出部は、前記多重線の中から所定の第１レーンマーカを検出して、前記所定の第１レーンマーカの検出結果に基づいて、前記多重線の中から、所定の第２レーンマーカを検出して、前記車線逸脱判断部は、前記第２レーンマーカの検出結果に基づいて、前記車両が走行中の車線から逸脱する可能性を判断することを特徴とする。

このように構成された本発明の請求項１に係る車載レーンマーカ認識装置によれば、撮像部によって撮像された画像の中の所定の領域の中から、レーンマーカ候補検出部が、左右のレーンマーカの候補を検出して、多重線であると認識したときに、ウインドゥ設定部が、レーンマーカ候補検出部の検出結果に基づいて、撮像部で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定して、レーンマーカ特徴量検出部が、ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出して、レーンマーカ検出部が、レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、所定の第１レーンマーカを検出して、こうして検出された所定の第１レーンマーカの検出結果に基づいて、撮像部によって撮像された画像の中から、所定の第２レーンマーカを検出し、車線逸脱判断部が、第２レーンマーカの検出結果に基づいて、車両が、走行中の車線から逸脱する可能性を判断して、車線から逸脱する可能性があるときに、警報出力部が警報を出力するため、レーンマーカが多重線で構成されているときであっても、最初に、認識しやすい第１レーンマーカを検出して、この第１レーンマーカの位置に基づいて、車線逸脱判断を行う第２レーンマーカを検出するため、車線逸脱判断に必要な第２レーンマーカが低コントラストで見えにくい状態にあった場合でも、認識しやすい第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を確実に認識することができるため、これによって、誤警報や不警報の発生を防止することができる。

本発明に係る車載レーンマーカ認識装置によれば、レーンマーカが多重線で構成されているときであっても、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる。

本発明に係る車載レーンマーカ認識装置が実装された車載システムの一例であるＬＤＷ（Lane Departure Warning）システムについて説明する図である。 車両に設置された撮像部で撮像した画像の例を示す図である。 本発明の実施例１に係る車載レーンマーカ認識装置の概略構成を示すブロック図である。 本発明の実施例１に係る車載レーンマーカ認識装置の処理領域設定部の詳細構成を示すブロック図である。 本発明の実施例１に係る車載レーンマーカ認識装置の多重線認識部の詳細構成を示すブロック図である。 本発明の実施例１に係る車載レーンマーカ認識装置の車線逸脱警報部の詳細構成を示すブロック図である。 本発明の実施例１に係る車載レーンマーカ認識装置の多重線種別データベースの内容の一例を説明する図である。 本発明の実施例１に係る車載レーンマーカ認識装置において実行されるメインルーチンのフローチャートである。 本発明の実施例１において撮像された画像の一例を示す図である。 本発明の実施例１において行われる処理領域設定処理の内容を説明する図であり、（ａ）は多重線認識前の動作例であり、（ｂ）は多重線認識後の動作例である。 本発明の実施例１において行われる多重線認識処理の内容を説明する図であり、（ａ）は多重線認識前の動作例であり、（ｂ）は多重線認識後の動作例である。 本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線の構成を認識していないときの動作例を示す図である。 本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線が２本のレーンマーカで構成されており、多重線の構成を認識したときの動作例を示す図である。 本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線が３本のレーンマーカで構成されており、多重線の構成を認識したときの動作例を示す図である。 本発明の実施例１の動作例を説明する図であり、特に、多重線が３本の実線から構成されて、最も内側の実線が黄色の場合の動作例である。 本発明の実施例１の動作例を説明する図であり、特に、多重線が２本の破線と１本の実線から構成されている場合の動作例である。

以下、本発明に係る車載レーンマーカ認識装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。

本実施例は、本発明の車載レーンマーカ認識装置を、車両の走行中に、走行車線からの逸脱の可能性を判断して、逸脱の可能性があると判断されたときに、注意喚起や警報、もしくは、車両の挙動を制御して車線逸脱を未然に防止するＬＤＷ（Lane Departure Warning）システムが実装された車両に適用した例である。

まず、図１を用いてＬＤＷシステムの動作を説明する。道路２を紙面左に向かって走行中の車両５の後方を監視する撮像部１０は、車両５の後部に後ろ向きに取り付けられて、車両５の後方の左右隣接車線を含む範囲ωを撮像する。そして、撮像された画像の中から、画像処理によって車両５が走行中の車線Ｙ１の左右両側にある車線境界Ｂ１，Ｂ２の位置を検出する。

一般に、車線境界には、その位置を運転者に知らせるマーカが敷設されている。マーカの例としては、白や黄色にペイントされた実線や破線、また、鋲などがある。こうした車線境界の位置を示すマーカを、以下、レーンマーカと呼ぶことにする。そして、以下の説明では、レーンマーカが、白や黄色にペイントされた実線や破線で構成されている場合を例にあげて説明する。

さらに、前述したように、レーンマーカが複数の実線や破線からなる多重線で構成されている場合もある。図１は、撮像部１０から見て左側の車線境界Ｂ１が多重線で構成されている例であり、車線境界Ｂ１は、撮像部１０から見て左から順に破線Ｌ_Ｌ１、実線Ｌ_Ｌ２、破線Ｌ_Ｌ３で構成されている。ここで、実線Ｌ_Ｌ２と破線Ｌ_Ｌ３の間隔をオフセットεと呼ぶ。オフセットεは、車両の逸脱を判断するときに利用されるが、詳しくは後述する。

なお、図１において、撮像部１０から見て右側の車線境界Ｂ２は１本の実線Ｌ_Ｒ１で構成されている。

ＬＤＷシステムは、車両５が所定車速以上で走行しているときに起動されて、時刻ｔにおいて撮像部１０で撮像された画像Ｉ（ｘ,ｙ,ｔ）（以後、画像Ｉと呼ぶ。また、特に（ｘ,ｙ）の値が意味を持つときは画像Ｉ（ｘ,ｙ）と呼び、ｔの値が意味を持つときは画像Ｉ（ｔ）と呼ぶ。）の中から、左右のレーンマーカをそれぞれ検出する。ここで、撮像部１０で撮像された画像Ｉの中で左側に映ったレーンマーカをＬ_Ｌ、右側に映ったレーンマーカをＬ_Ｒとする。

左右のレーンマーカＬ_Ｌ，Ｌ_Ｒが検出されると、車両５から左側のレーンマーカＬ_Ｌまでの距離、または車両５から右側のレーンマーカＬ_Ｒまでの距離と、車両５のヨー角、およびそのときの車速に基づいて、車両５がそのときと同じ状態（同じ車速、同じ操舵角）で進行したときに車線を逸脱するまでの時間（車線逸脱予測時間Ｆ）が算出される。

そして、こうして算出された車線逸脱予測時間Ｆが所定時間以内であるときに、警報を出力して、運転者に注意を喚起する。

本発明に係る車載レーンマーカ認識装置では、レーンマーカとして多重線が検出されたときに、その多重線の中から、最も認識しやすいレーンマーカを認識基準線として最初に検出し、次に、検出した認識基準線（以下、第１レーンマーカと呼ぶ）の位置に基づいて、車線逸脱判断を行う警報基準線（以下、第２レーンマーカと呼ぶ）を検出する。

ここで、図２を用いて、第１レーンマーカと第２レーンマーカについて説明する。図２は、前記車両５が、前記道路２を走行中（図１参照）に、車両５に設置された前記撮像部１０で撮像した画像Ｉを示す。

図２に示すように、画像Ｉの中央から左側の領域には、左から順に、破線からなるレーンマーカＬ_Ｌ１，実線からなるレーンマーカＬ_Ｌ２，破線からなるＬ_Ｌ３で構成された多重線からなる道路境界（図１のＢ１）が映っており、画像Ｉの中央から右側の領域には、実線からなるレーンマーカＬ_Ｒ１から構成された道路境界（図１のＢ２）が映っている。

なお、画像Ｉの下部に映っている影Ｋは、車両５のリアバンパーの映りこみである。そして、以後説明する画像処理では、影Ｋの領域に対しては、画像処理を行わないものとする。

ここで、レーンマーカＬ_Ｌｉは、撮像部１０で撮像した画像Ｉの中で中央から左側の領域（以後、単に左側と呼ぶ。）に映るレーンマーカのうち、左からｉ番目のレーンマーカであることを表し、レーンマーカＬ_Ｒｉは、撮像部１０で撮像した画像Ｉの中で中央から右側の領域（以後、単に右側と呼ぶ。）に映るレーンマーカのうち、左からｉ番目のレーンマーカであることを表すものとする。

画像Ｉの左側に映ったレーンマーカに着目すると、多重線を構成する真中の実線からなるレーンマーカＬ_Ｌ２は、左側の破線からなるレーンマーカＬ_Ｌ１や右側の破線からなるレーンマーカＬ_Ｌ３と比べて、レーンマーカを構成する特徴点であるエッジ構成点の数が多いため、画像処理によって検出しやすい。このように、多重線を構成するレーンマーカの中で最も検出しやすいと考えられるレーンマーカを第１レーンマーカ（認識基準線）と呼ぶ。そして、画像Ｉの左側に映ったレーンマーカの中の第１レーンマーカをＬ_ＬＭで表すことにする。

また、画像Ｉの中から検出したレーンマーカの位置に基づいて車線逸脱の可能性を判断する場合、その判断の信頼性を向上させるためには、例えば、多重線の中で車両から最も近い位置にある、最も内側のレーンマーカの位置に応じて車線逸脱を判断すべきである。このように、多重線を構成するレーンマーカの中で、車線逸脱を判断する基準とするレーンマーカを第２レーンマーカ（警報基準線）と呼ぶ。

そして、図２において、画像Ｉの左側に映ったレーンマーカの場合、最も内側に映ったレーンマーカであるＬ_Ｌ３を第２レーンマーカとする。そして、画像Ｉの左側に映ったレーンマーカの中の第２レーンマーカをＬ_ＬＳで表すことにする。

なお、図２において、画像Ｉの右側に映ったレーンマーカは、１本の実線から構成されている。このような場合は、第１レーンマーカと第２レーンマーカは一致する。そして、画像Ｉの右側に映ったレーンマーカの中の第１レーンマーカをＬ_ＲＭで表し、画像Ｉの右側に映ったレーンマーカの中の第２レーンマーカをＬ_ＲＳで表すことにする。

次に、図３から図６を用いて、実施例１に係る車載レーンマーカ認識装置の構成を説明する。

実施例１に係る車載レーンマーカ認識装置８は、図３に示すように、図示しない車両５の後部ライセンスプレート付近に設置されて、進行方向後方を観測する撮像部１０と、撮像部１０で撮像された画像の中の所定の領域の中から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部２０と、撮像部で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部３０と、設定されたレーンマーカを検出する領域の中から、レーンマーカらしさを表す特徴量として、画像Ｉの中から、左右に隣接する画素の間の輝度差を検出するレーンマーカ特徴量検出部４０と、検出されたレーンマーカ特徴量に基づいて、多重線を構成する各レーンマーカの位置を、多重線を構成する各レーンマーカの属性と対応付けて算出する多重線認識部５０（レーンマーカ検出部）と、車両５の車速と車輪速とヨーレートを取得する車両情報取得部６０と、レーンマーカの検出結果と車両５の車速とヨー角から、車両５の車線逸脱を判断する車線逸脱判断部７０と、車線逸脱すると判断されたときに車内に設置されたブザー等を鳴動させて警報を出力する警報出力部８０と、多重線認識部５０において多重線を認識する際に利用する、多重線の構造（線種別、色、並び順等）、および、多重線を構成するレーンマーカの中で、いずれのレーンマーカが第１レーンマーカであり、いずれのレーンマーカが第２レーンマーカであるか、に関する情報が格納された多重線種別データベース９０を備えている。

前記レーンマーカ候補検出部２０は、図４に示すように、撮像部１０で撮像された画像Ｉの中に設定した所定の領域の中から、レーンマーカを構成すると考えられる特徴量を検出して、レーンマーカの左右方向の幅を推定する多重線幅推定部２２と、多重線幅推定部２２の推定結果に基づいて、レーンマーカの中の第１レーンマーカの幅を設定する第１レーンマーカ幅設定部２４を備えている。

前記多重線認識部５０（レーンマーカ検出部）は、図５に示すように、前記レーンマーカ特徴量検出部４０で検出された特徴量をパラメータ平面に投票する特徴量投票部５１と、特徴量投票部５１の投票結果に基づいて、多重線を構成する各レーンマーカの属性を判定する多重線判定部５２と、多重線判定部５２の判定結果に基づいて、レーンマーカを検出する領域のサイズと位置を制御する処理領域制御部５３と、多重線判定部５２の判定結果に基づいて、特徴量投票部５１の投票結果の中からレーンマーカの候補となる候補線を抽出する候補線抽出部５４と、候補線抽出部５４で抽出した候補線の中から、第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）を選択する第１レーンマーカ選択部５５と、第１レーンマーカ選択部５５で選択した第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）の選択結果に基づいて、前記レーンマーカ候補検出部２０における特徴量検出の閾値を制御する特徴量検出制御部５６と、候補線抽出部５４で抽出した候補線の中から、第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）を選択する第２レーンマーカ選択部５７を備えている。

また、前記車線逸脱判断部７０は、図６に示すように、前記第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）と前記第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）の間隔であるオフセットεを推定するオフセット推定部７２と、オフセット推定部７２で推定したオフセットεと、前記車両情報取得部６０で取得した車速Ｖ、および、前記車両情報取得部６０で取得した情報を用いて算出した車両５のヨー角ρに基づいて、車両５が車線を逸脱するまでの車線逸脱予測時間Ｆを推定する車線逸脱推定部７４を備えている。

次に、図７を用いて、前記多重線種別データベース９０の詳細構成を説明する。

多重線種別データベース９０は、図７に示すように、多重線を構成するレーンマーカの属性であるレーンマーカの形態（実線、破線、線の色、並び順）、および、多重線を構成するレーンマーカのうち、いずれのレーンマーカが第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）であり、いずれのレーンマーカが第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）であるかが登録されている。

具体的には、図７の各行Ａ，Ｂ，Ｃ，…には、多重線の種類が登録されている。そして、行Ａは、撮像部１０から見て左から順に、「白い実線」、「白い実線」で構成されるレーンマーカであることを表し、行Ｂは、撮像部１０から見て左から順に、「白い実線」、「白い実線」、「黄色い実線」で構成されるレーンマーカであることを表し、行Ｃは、撮像部１０から見て左から順に、「白い破線」、「白い実線」、「白い破線」で構成されるレーンマーカであることを表している。

そして、図７の横軸方向には、各多重線を構成するレーンマーカの属性（線の種類、線の色、線の並び順）と、多重線を構成するレーンマーカのうち、いずれのレーンマーカが第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）に対応して、いずれのレーンマーカが第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）に対応するかが登録されている。なお、レーンマーカが、撮像部１０で撮像した画像Ｉの中で左側に見えるか、右側に見えるかによって、第１レーンマーカ，第２レーンマーカの定義が異なるため、図７に示すように、両方のケースが登録されている。

また、図７には記載しないが、多重線種別データベース９０には、図７に記載した情報の他に、レーンマーカを構成する各線の間隔（オフセットε）や各線の幅等が登録されている。

具体的には、行Ａの多重線は、撮像部１０から見て左側の「白い実線」が１番のレーンマーカであり、撮像部１０から見て右側の「白い実線」が２番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬ_ＬＭであり、２番のレーンマーカが第２レーンマーカＬ_ＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、１番のレーンマーカが第１レーンマーカＬ_ＲＭであり、２番のレーンマーカが第２レーンマーカＬ_ＲＳであることを表している。

また、行Ｂの多重線は、撮像部１０から見て左側の「白い実線」が１番のレーンマーカであり、撮像部１０から見て中央の「白い実線」が２番のレーンマーカであり、撮像部１０から見て右側の「黄色い実線」が３番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬ_ＬＭであり、３番のレーンマーカが第２レーンマーカＬ_ＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、２番のレーンマーカが第１レーンマーカＬ_ＲＭであり、１番のレーンマーカが第２レーンマーカＬ_ＲＳであることを表している。

さらに、行Ｃの多重線は、撮像部１０から見て左側の「白い破線」が１番のレーンマーカであり、撮像部１０から見て中央の「白い実線」が２番のレーンマーカであり、撮像部１０から見て右側の「白い破線」が３番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬ_ＬＭであり、３番のレーンマーカが第２レーンマーカＬ_ＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、２番のレーンマーカが第１レーンマーカＬ_ＲＭであり、１番のレーンマーカが第２レーンマーカＬ_ＲＳであることを表している。

次に、実施例１に係る車載レーンマーカ認識装置８の一連の動作の流れについて、図８のフローチャートを用いて説明する。

まず、ステップＳ１０において、前記撮像部１０で撮像された画像Ｉの中に、前記レーンマーカ候補検出部２０、および前記ウインドゥ設定部３０によって、レーンマーカを検出すべき領域が設定される。このレーンマーカ候補検出部２０によって行われる処理領域設定処理の詳細は後述する。

次に、ステップＳ２０において、前記レーンマーカ特徴量検出部４０によって、画像Ｉの中から、レーンマーカを構成すると考えられる特徴量が検出される。このレーンマーカ特徴量検出部４０によって行われる特徴量検出処理の詳細は後述する。

次に、ステップＳ３０において、前記多重線認識部５０によって、前記特徴量抽出処理の結果に基づいて、画像Ｉの中に映っているレーンマーカが多重線であるか否かを判定する多重線判断処理が行われる。この多重線判断処理の詳細は後述する。

ステップＳ３０において、多重線であると判断されると、ステップＳ５０に進み、多重線でないと判断されると、ステップＳ４０に進む。

そして、ステップＳ４０では、多重線認識部５０によって、第１レーンマーカを検出する第１レーンマーカ検出処理が行われる。この第１レーンマーカ検出処理の詳細は後述する。そして、その後、ステップＳ８０に進む。

一方、ステップＳ５０では、多重線認識部５０によって、第１レーンマーカを検出する第１レーンマーカ検出処理が行われる。この第１レーンマーカ検出処理の詳細は後述する。

次に、ステップＳ６０において、多重線認識部５０によって、第１レーンマーカと第２レーンマーカの間にオフセットがあるか否かを判定するオフセット判定処理が行われる。この判定は、多重線認識部５０によって認識された多重線の構成と、多重線種別データベース９０に登録された情報に基づいて行われる。このオフセット判定処理の詳細は後述する。

ステップＳ６０において、オフセット有と判定されると、ステップＳ７０に進み、オフセット無と判定されると、ステップＳ８０に進む。

そして、オフセット有と判定されたときは、ステップＳ７０において、多重線認識部５０によって、第２レーンマーカを検出する第２レーンマーカ検出処理が行われる。この第２レーンマーカ検出処理の詳細は後述する。

次に、ステップＳ８０において、車線逸脱判断部７０によって、車両の逸脱の可能性を判断する車線逸脱可能性判断処理が行われる。そして、車線逸脱の可能性があると判断されたときはステップＳ９０に進み、車線逸脱の可能性がないと判断されたときは、図８の処理を終了する。この車線逸脱可能性判断処理の詳細は後述する。

そして、車線逸脱の可能性があると判断されたときは、ステップＳ９０において、警報出力部８０によって警報を出力して、運転者の注意を喚起する。また、図３の構成図には記載しないが、車両５の制動制御や操舵制御に介入して、車両５の車線逸脱を防止する制御を行ってもよい。

次に、図８の各ステップで行われる処理の詳細について、順に説明する。

（処理領域設定処理）
図９，図１０を用いて、ステップＳ１０で行われる処理領域設定処理について説明する。まず、前記レーンマーカ候補検出部２０によって、図９に示すように、画像Ｉの中の所定の位置に、レーンマーカの特徴量を検出するためのウインドゥが設定される。このウインドゥは、画像Ｉの中で道路が映っている領域のなるべく下部の位置に、画像Ｉの左側と右側にそれぞれ設定する。ここで、左側のウインドゥをＷ_Ｌ０、右側のウインドゥをＷ_Ｒ０とする。

そして、次に、ウインドゥＷ_Ｌ０とウインドゥＷ_Ｒ０の内部でレーンマーカ特徴量が検出される。

レーンマーカ特徴量は、ウインドゥＷ_Ｌ０の内部に設定した所定の水平ラインｍ_Ｌ上を右から左に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算することによって算出する。そして、この差分値が所定値を超える正の値を示す画素（Ｓ１，Ｓ３）と、差分値が負の値を示し、その絶対値が所定値を超える画素（Ｓ２，Ｓ４）を検出する。

次に、ウインドゥＷ_Ｒ０の内部に設定した所定の水平ラインｍ_Ｒ上を左から右に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算し、差分値が負の値を示し、その絶対値が所定値を超える画素Ｓ５と、差分値が所定値を超える正の値を示す画素Ｓ６を検出する。

こうして検出された画素のうち、隣り合った画素（ウインドゥＷ_Ｌ０内の画素Ｓ１と画素Ｓ２、および画素Ｓ３と画素Ｓ４、ウインドゥＷ_Ｒ０内の画素Ｓ５と画素Ｓ６）が、多重線を構成する各々のレーンマーカの位置を示す候補となる。

次に、前記多重線幅推定部２２において、ウインドゥＷ_Ｌ０内、およびウインドゥＷ_Ｒ０内において想定される多重線の幅を推定する。この推定は、先にウインドゥＷ_Ｌ０、ウインドゥＷ_Ｒ０内で検出されたレーンマーカの位置を示す候補となる画素の最大座標と最小座標の差を演算することによって行う。

すなわち、図９の場合、ウインドゥＷ_Ｌ０では、画素Ｓ１と画素Ｓ４の水平方向の座標の差が算出される。また、ウインドゥＷ_Ｒ０では、画素Ｓ５と画素Ｓ６の水平方向の座標の差が算出される。

そして、こうして算出された水平方向の画素の位置の差が、ウインドゥＷ_Ｌ０、およびウインドゥＷ_Ｒ０の内部に存在する多重線の幅であると推定する。

なお、多重線の幅の推定を確実に行うために、ウインドゥＷ_Ｌ０の内部、およびウインドゥＷ_Ｒ０の内部に、複数の水平ラインｍ_Ｌｉ（ｉ＝１，２，…）、およびｍ_Ｒｉ（ｉ＝１，２，…）を設定して、複数の水平ラインｍ_Ｌｉ、およびｍ_Ｒｉで検出したレーンマーカの位置を示す候補となる画素に基づいて、多重線の幅を推定してもよい。

また、異なる時間に撮像された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…からそれぞれ検出された、レーンマーカの位置を示す候補となる画素に基づいて、多重線の幅を推定してもよい。

そして、このとき、多重線種別データベース９０の内容を参照して、検出された特徴点に、多重線を構成する何本目のレーンマーカであるかを示すラベル付けを行う。また、このときに、検出された特徴点の輝度差、ウインドゥＷ_Ｌ０内の特徴点の数、時系列で見たときの特徴点の出現頻度等に基づいて、多重線を構成する各々のレーンマーカの種別（実線、破線、白線、黄色線等）の情報を付与することもできる。

次に、前記第１レーンマーカ幅設定部２４において、画像Ｉの中に設定したウインドゥＷ_Ｌ０、およびウインドゥＷ_Ｒ０における第１レーンマーカの幅を設定する。これは、車両５への撮像部１０の設置レイアウト（高さや俯角）、および、多重線種別データベース９０から読み取った、第１レーンマーカの実際の幅の値に基づいて算出される。

次に、前記ウインドゥ設定部３０において、画像Ｉの中の、レーンマーカが映る領域にウインドゥが設定される。この領域の設定方法について、図１０を用いて説明する。

図１０（ａ）は、多重線の幅推定が実施されない場合に、画像Ｉの内部に設定された領域の例を示し、図１０（ｂ）は、先に説明した多重線の幅推定が行われた後で、画像Ｉの内部に設定された領域の例を示す。

設定する領域は、画像Ｉの左側と右側にそれぞれ設定され、車両５の直近から遠方に亘って延びる長方形状を有する。そして、その横幅は、先に推定した多重線の幅に所定値を加えた値に設定される。これは、前方の道路線形によっては、レーンマーカが屈曲している場合もあるためである。

そして、図１０（ａ）に示すように、多重線の幅推定が実施されないときは、内側のレーンマーカＬ_Ｌ２に設定したウインドゥＷ_Ｌ’が触れてしまい、この先に行うレーンマーカの検出処理に失敗してしまう可能性があるのに対し、多重線の幅推定がなされると、図１０（ｂ）に示すように、多重線を構成する２本のレーンマーカＬ_Ｌ１とＬ_Ｌ２が、設定したウインドゥＷ_Ｌに包含されることがわかる。

なお、画像Ｉの右側には、レーンマーカが１本しかないため、多重線の幅推定を実施しないで設定した図１０（ａ）のウインドゥＷ_Ｒ’、多重線の幅推定を行って設定した図１０（ｂ）のウインドゥＷ_Ｒのいずれであっても、レーンマーカＬ_Ｒ１を包含するウインドゥが設定される。

（特徴量検出処理）
次に、図１１を用いて、ステップＳ２０で行われる特徴量検出処理について説明する。この特徴量検出処理は、前記レーンマーカ特徴量検出部４０において行われる。

特徴検出は、先に処理領域設定処理の説明の中で説明した通り、画像Ｉの中の隣り合った画素の輝度値の差分に基づいて行う。そして、例えば、図１１（ａ）に示すように、先の処理領域設定処理で設定されたウインドゥの内部で画像Ｉを右から左に探索して、輝度差が所定値以上の画素（特徴点）を全て検出する。なお、この探索は、探索位置の上下方向の座標を複数設定して、複数の位置で行う。そして、図１１（ａ）の例では、検出した画素（特徴点）の位置に、「＋」印を付与している。なお、画像Ｉの右側に設定したウインドゥの内部についても、同様の処理を行う。

なお、この特徴量検出処理を行った後で、多重線種別データベース９０の内容を参照して、検出された特徴点に、多重線を構成する何本目のレーンマーカであるかを示すラベル付けを行うことができる。また、このときに、検出された特徴点の輝度差、ウインドゥＷ_Ｌ０内の特徴点の数、時系列で見たときの特徴点の出現頻度等に基づいて、多重線を構成する各々のレーンマーカの種別（実線、破線、白線、黄色線等）の情報を付与することもできる。

なお、図１１（ａ）は特徴量検出のみ行って、特徴点にラベル付けを行わなかったときの結果を示し、図１１（ｂ）は特徴量検出を行った後で、特徴点にラベル付けを行ったときの結果を示す。

図１１（ｂ）からわかるように、特徴量検出を行った後で、レーンマーカ２本から構成される多重線であることを認識してラベル付けを行うことによって、２本のレーンマーカをそれぞれ識別することができ、図１１（ｂ）の例では、外側のレーンマーカＬ_Ｌ１から検出された画素（特徴点）の位置に「×」印が付与されて、内側のレーンマーカＬ_Ｌ２から検出された画素（特徴点）の位置に「＋」印が付与される。なお、図１１（ａ），（ｂ）に示すように、レーンマーカの位置は、レーンマーカの内側端部を構成する画素の位置（左側のレーンマーカは右端部、右側のレーンマーカは左端部）によって規定されるものとする。

（多重線判断処理）
次に、図１２〜図１４を用いて、ステップＳ３０で行われる多重線判断処理について説明する。この多重線判断処理は、前記多重線認識部５０において行われる。

まず、前記特徴量投票部５１において、先に特徴量検出処理で検出した特徴点の座標を、予め用意したＸＹ平面（前記パラメータ平面）に投票する。

この投票の様子を、図１２を用いて説明する。図１２（ａ）は、画像Ｉの中から特徴点を検出した結果を示す。ここで、図１２（ａ）の中に表示した「＋」印を付与された特徴点は、撮像部１０の設置レイアウト（高さや俯角）が既知であるため、例えば、道路が平面で構成されており、勾配がないと仮定すると、各特徴点の道路上の座標値を推定することができる。

図１２（ｂ）は、図１２（ａ）の左側のレーンマーカＬ_Ｌ１，Ｌ_Ｌ２について、上記の推定を行い、推定結果をＸＹ平面に投票した結果を示す。

図１２（ｂ）からわかるように、道路左側の２本のレーンマーカＬ_Ｌ１，Ｌ_Ｌ２に対応する位置に「＋」印がプロットされる。なお、図１２（ｂ）ではプロットされた様子をわかり易くするために、「＋」印をプロットしているが、実際の処理では、「＋」印をプロットするのではなく、対応するＸＹ平面の値をインクリメントする（投票を行う）。

そして、この投票を、異なる時間に撮影された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…から検出された特徴点に対して順次実施する。なお、このとき、時間Δｔの間の車両５の移動量を、車両情報取得部６０から取得した車速Ｖに基づいて算出し、こうして算出された車両５の移動量の分だけ、ＸＹ平面にインクリメントすべき座標位置を移動させた後で、ＸＹ平面に投票を行う。これにより、ＸＹ平面は、レーンマーカの右端部が存在する位置において、高い値を有する。

なお、図１２は、画像Ｉの中に多重線があることを認識していない例である。したがって、車載レーンマーカ認識装置８は、図１２（ｂ）の中に何本のレーンマーカが存在するかを認識していない。そのため、図１２（ｂ）の中から実際のレーンマーカを検出するのは困難である。

一方、図１３，図１４は、画像Ｉの中に多重線があることを認識できた場合（前記したラベル付けを行った場合）の例である。すなわち、検出された特徴点が、多重線を構成するどのレーンマーカを表しているかがわかっているため、先に説明した手順によってＸＹ平面への投票を行うと、図１３（ｂ），図１４（ｂ）に示すように、多重線を構成する各々のレーンマーカが識別されてＸＹ平面に投票される。そのため、この後説明する第１レーンマーカ検出処理、および第２レーンマーカ検出処理を効率的に実行することができる。

なお、図１３はレーンマーカが２本の実線から構成されている場合の例であり、図１４はレーンマーカが１本の実線と２本の破線から構成されている場合の例である。特に、図１４のように、レーンマーカが破線を含むときは、多重線種別データベース９０の内容を参照して特徴点にラベル付けを行う効果が高く、少ない特徴点を確実に検出することができる。

そして、多重線判定部５２は、ＸＹ平面に投票されたラベルの数に基づいて、ラベルの数が２以上のときは、ＸＹ平面に多重線が投票されたと判定する。

なお、図８のフローチャートには記載しないが、処理領域制御部５３において、この多重線の判定結果に基づいて、ステップＳ１０で設定した処理領域のサイズや位置を見直してもよい。すなわち、ステップＳ１０で推定した多重線の幅（多重線を構成するレーンマーカの数）と、ステップＳ３０で判定した多重線を構成するレーンマーカの数とが異なったときには、ステップＳ３０の判定結果を採用して、処理領域のサイズや位置を見直すことができる。

（第１レーンマーカ検出処理）
次に、図１３，図１４を用いて、ステップＳ４０とステップＳ５０で行われる第１レーンマーカ検出処理について説明する。この第１レーンマーカ検出処理は、前記多重線認識部５０において行われる。

なお、ステップＳ４０において行われる第１レーンマーカ検出処理は、前記ＸＹ平面に投票された１本のレーンマーカの投票結果の中から、その１本のレーンマーカを検出するものである。これは、ステップＳ５０において行われる、前記ＸＹ平面に投票された複数本のレーンマーカの投票結果の中から、第１レーンマーカを検出する処理の特別な場合であるため、以下ではステップＳ５０の処理内容について説明する。

まず、生成されたＸＹ平面の中から、前記候補線抽出部５４において、レーンマーカの候補線を抽出する。この処理は、図１３（ｂ），図１４（ｂ）に示すＸＹ平面の投票結果に対して、直線や曲線の適合処理を行うことによって行われる。このとき、同じラベルが付与された情報同士に１本の直線や曲線が適合される。実際の適合処理は、最小二乗法を用いる方法等、数学的に提案されているいずれの方法によって行っても構わない。

なお、この適合を行うときには、多重線が複数のレーンマーカから構成されている場合、多重線を構成する個々のレーンマーカ同士は互いに平行になっているため、平行な直線や平行な曲線を適合させる等の効率化を図ることができる。

こうして、直線や曲線を適合させることによって、多重線を構成する個々のレーンマーカを検出することができる。

次に、第１レーンマーカ選択部５５において、先に検出された候補線の中から第１レーンマーカを選択する。

第１レーンマーカは、多重線を構成するレーンマーカのうち、どのレーンマーカに対応するかは、予め多重線種別データベース９０に登録されているため、その情報に基づいて、先に検出した候補線の中から、該当する線を、第１レーンマーカとして選択する。

なお、図８のフローチャートには記載しないが、第１レーンマーカの検出結果に応じて、前記特徴量検出制御部５６において、前記レーンマーカ候補検出部２０やレーンマーカ特徴量検出部４０において使用される特徴量検出の閾値を制御するようにしてもよい。これは、同じ白線であっても、汚れた白線である場合や、夜間で視認性が低い場合等は、実際の第１レーンマーカの検出結果に応じて、特徴量検出の閾値を変更して、より確実にレーンマーカを検出できるようにするためである。

（オフセット判定処理）
次に、ステップＳ６０で行われるオフセット判定処理について説明する。オフセット判定処理は、先に検出した第１レーンマーカの検出結果と、多重線種別データベース９０の登録内容に基づいて、前記オフセット推定部７２において行われる。

オフセット推定部７２は、多重線種別データベース９０の登録内容の中から、先に検出した第１レーンマーカを含む多重線の欄を参照して、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが同一のレーンマーカか否かを判断する。

このとき、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが同一であったら、オフセットなし（ε＝０）と判定する。

一方、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが異なるときは、オフセットあり（ε≠０）と判定する。

（第２レーンマーカ検出処理）
次に、ステップＳ７０で行われる第２レーンマーカ検出処理について説明する。前記オフセット判定処理において、オフセットあり（ε≠０）と判定されたときは、前記第２レーンマーカ選択部５７において、第２レーンマーカの選択を行う。

ここでは、まず、多重線種別データベース９０の登録内容を参照して、第１レーンマーカと第２レーンマーカの相対関係の確認を行う。そして、第１レーンマーカの何本隣が第２レーンマーカであるかを確認する。

第２レーンマーカ選択部５７は、その確認結果に基づいて、対応する第２レーンマーカを、先に抽出した候補線の中から選択する。

（車線逸脱可能性判断処理）
次に、図１５，図１６を用いて、ステップＳ８０で行われる車線逸脱可能性判断処理について説明する。車線逸脱可能性判断処理は、前記車線逸脱推定部７４で行われる。

車線逸脱推定部７４は、まず、前記車両情報取得部６０によって取得した情報に基づいて、車両５のヨー角ρ（図１５，図１６参照）を算出する。また、多重線種別データベース９０の登録内容を参照して、オフセットεの値を取得する。

次に、車線逸脱推定部７４は、検出された第１レーンマーカの位置に基づいて、車両５と第１レーンマーカの横偏位量δ（図１５，図１６参照）を算出する。横偏位量δは、具体的には、画像Ｉの中から無限遠点である消失点の位置を検出して、こうして検出した消失点を通る、画像Ｉの中で上下方向に延びる直線と、第１レーンマーカの位置とのずれ量に基づいて算出される。

そして、こうして取得した値に基づいて、（式１）によって車線逸脱予測時間Ｆを算出する。
Ｆ＝（δ−ε）／（Ｖｓｉｎρ） （式１）

こうして算出された車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性があるものと判断する。一方、車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性がないものと判断する。

以下、図１５，図１６を用いて、車載レーンマーカ認識装置８の実際の適用例を説明する。

図１５は、車両５が、左側に白い実線からなるレーンマーカＬ_Ｒ３，白い実線からなるレーンマーカＬ_Ｒ２，黄色い実線からなるレーンマーカＬ_Ｒ１で構成された多重線を有し、右側に白い実線Ｌ_Ｌ１からなるレーンマーカを有する車線を走行中の様子を示す（撮像部１０で撮像された画像Ｉの中では、左右の位置、および順番が逆転する）。

そして、左側の多重線の中で、レーンマーカＬ_Ｒ２が第１レーンマーカＬ_ＲＭ、レーンマーカＬ_Ｒ１が第２レーンマーカＬ_ＲＳに定義されており、右側のレーンマーカの中でレーンマーカＬ_Ｌ１が第１レーンマーカＬ_ＬＭ、および第２レーンマーカＬ_ＬＳに定義されている。

すなわち、図１５の場合、多重線を構成する黄色線（レーンマーカＬ_Ｒ１）は路面とのコントラストが低く、画像処理によって検出しにくい場合があるため、多重線を構成する最も内側の白い実線であるレーンマーカＬ_Ｒ２が第１レーンマーカＬ_ＬＭに選択される。

そして、車線逸脱警報は、車両５に最も近いレーンマーカの位置に基づいて出力すべきであるため、黄色線（レーンマーカＬ_Ｒ１）が第２レーンマーカＬ_ＬＳに選択される。

車両５に設置された撮像部１０は、図１５に示す撮像範囲Ｔ１の領域を撮像して画像Ｉを取得し、画像Ｉの中から先に説明した画像処理によって、第１レーンマーカＬ_ＲＭ，第２レーンマーカＬ_ＲＳ、そして第１レーンマーカＬ_ＬＭ（第２レーンマーカＬ_ＬＳ）を検出する。

こうして検出された第１レーンマーカＬ_ＲＭの位置に基づいて、車両５と第１レーンマーカＬ_ＲＭの横偏位量δを算出し、第１レーンマーカＬ_ＲＭと第２レーンマーカＬ_ＲＳのオフセットε、車速Ｖ，ヨー角ρを用いて、車線逸脱予測時間Ｆを算出して、車線逸脱予測時間Ｆが所定値よりも小さいときに、警報が出力される。

このように、レーンマーカが多重線で構成されているときに、画像処理によって認識するレーンマーカ（第１レーンマーカ（認識基準線））と、車線逸脱を判断するレーンマーカ（第２レーンマーカ（警報基準線））を異なるレーンマーカとすることによって、多重線が黄色線を含む場合であっても、レーンマーカの位置を確実に検出することができる。

また、図１６は、車両５が、左側に白い実線からなるレーンマーカＬ_Ｒ１からなるレーンマーカを有し、右側に白い破線からなるレーンマーカＬ_Ｌ３，白い実線からなるレーンマーカＬ_Ｌ２，白い破線からなるレーンマーカＬ_Ｌ１で構成された多重線を有する車線を走行中の様子を示す（撮像部１０で撮像された画像Ｉの中では、左右の位置、および順番が逆転する）。

そして、左側のレーンマーカの中で、レーンマーカＬ_Ｒ１が第１レーンマーカＬ_ＲＭ、および第２レーンマーカＬ_ＲＳに定義されており、右側の多重線の中でレーンマーカＬ_Ｌ２が第１レーンマーカＬ_ＬＭ、レーンマーカＬ_Ｌ３が第２レーンマーカＬ_ＬＳに定義されている。

すなわち、図１６の場合、多重線を構成する破線（レーンマーカＬ_Ｌ３）は途中で途切れているため、画像処理によって検出しにくく、認識結果が安定しない場合があるため、多重線を構成する最も内側の白い実線であるレーンマーカＬ_Ｌ２が第１レーンマーカＬ_ＬＭに選択される。

そして、車線逸脱警報は、車両５に最も近いレーンマーカの位置に基づいて出力すべきであるため、破線（レーンマーカＬ_Ｌ３）が第２レーンマーカＬ_ＬＳに選択される。

車両５に設置された撮像部１０は、図１６に示す撮像範囲Ｔ２の領域を撮像して画像Ｉを取得し、画像Ｉの中から先に説明した画像処理によって、第１レーンマーカＬ_ＬＭ，第２レーンマーカＬ_ＬＳ、そして第１レーンマーカＬ_ＲＭ（第２レーンマーカＬ_ＲＳ）を検出する。

こうして検出された第１レーンマーカＬ_ＬＭの位置に基づいて、車両５と第１レーンマーカＬ_ＬＭの横偏位量δを算出し、第１レーンマーカＬ_ＬＭと第２レーンマーカＬ_ＬＳのオフセットε、車速Ｖ，ヨー角ρを用いて、車線逸脱予測時間Ｆを算出して、車線逸脱予測時間Ｆが所定値よりも小さいときに、警報が出力される。

このように、レーンマーカが多重線で構成されているときに、画像処理によって認識するレーンマーカ（第１レーンマーカ（認識基準線））と、車線逸脱を判断するレーンマーカ（第２レーンマーカ（警報基準線））を異なるレーンマーカとすることによって、多重線が破線を含む場合であっても、レーンマーカの位置を確実に検出することができる。

なお、図１６は直線路の場合で説明したが、図１６のレーンマーカの構成を有する左カーブの場合には、車両の進路がカーブの外側に膨らむことによって右側のレーンマーカに近づくため、車線逸脱警報が出力されやすくなる。したがって、このような場合には、外側の破線であるレーンマーカＬ_Ｌ１を第２レーンマーカＬ_ＬＳとしてもよい。このように、道路状況に応じて、第１レーンマーカや第２レーンマーカの位置を変更することによって、より一層、運転状況に合った車線逸脱警報を実現することができる。

以上、本発明に係る車載レーンマーカ認識装置の動作について説明したが、第１レーンマーカ、第２レーンマーカの検出方法は、上記した方法に限定されるものではない。

すなわち、上記説明では、ＸＹ平面への投票結果から、レーンマーカの候補線を全て検出して、その後、レーンマーカの候補線の中から第１レーンマーカを選択し、次に第２レーンマーカを選択したが、これは、ＸＹ平面の中から第１レーンマーカのみを検出して、第１レーンマーカの検出結果と、多重線種別データベース９０から読み取った、第１レーンマーカから第２レーンマーカまでのオフセットεと、そのオフセットの方向に基づいて、ＸＹ平面の中から第２レーンマーカを検出するようにしてもよい。この検出方法によると、全てのレーンマーカ候補を抽出する必要がないため、処理時間の短縮を図ることができる。

さらに、ＸＹ平面の中から第１レーンマーカのみを検出して、第１レーンマーカの検出結果と多重線種別データベース９０の登録内容の中から、第１レーンマーカから第２レーンマーカまでのオフセットεと、そのオフセットの方向を読み取って、画像Ｉの中の第１レーンマーカが検出された位置を、オフセットに相当する量だけオフセットの方向に対応する方向に移動させることによって、第２レーンマーカの出現位置を推定し、こうして推定された第２レーンマーカの出現位置に基づいて車線逸脱判断を行うようにしてもよい。この検出方法によると、実際に検出を行うのは第１レーンマーカのみでよいため、より一層の処理時間の短縮を図ることができる。

以上説明したように、このように構成された本発明の車載レーンマーカ認識装置８によれば、撮像部１０によって撮像された画像Ｉの中の所定の領域の中から、レーンマーカ候補検出部２０が、左右のレーンマーカの候補を検出して、多重線であると認識したときに、ウインドゥ設定部３０が、レーンマーカ候補検出部２０の検出結果に基づいて、撮像部１０で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定して、レーンマーカ特徴量検出部４０が、ウインドゥ設定部３０で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出して、多重線認識部５０（レーンマーカ検出部）が、レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、所定の第１レーンマーカを検出して、こうして検出された所定の第１レーンマーカの検出結果に基づいて、撮像部１０によって撮像された画像Ｉの中から、所定の第２レーンマーカを検出し、車線逸脱判断部７０が、第２レーンマーカの検出結果に基づいて、車両５が、走行中の車線から逸脱する可能性を判断して、車線から逸脱する可能性があるときに、警報出力部８０が警報を出力するため、レーンマーカが多重線で構成されているときであっても、最初に、認識しやすい第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）を検出して、この第１レーンマーカの位置に基づいて、車線逸脱判断を行う第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）を検出するため、車線逸脱判断に必要な第２レーンマーカが低コントラストで見えにくい状態にあった場合でも、認識しやすい第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を確実に認識することができるため、これによって、誤警報や不警報の発生を防止することができる。

また、本発明の車載レーンマーカ認識装置８によれば、レーンマーカ候補検出部２０が、レーンマーカが複数の線で構成される多重線であると認識したときには、多重線認識部５０（レーンマーカ検出部）は、多重線の中から所定の第１レーンマーカを検出して、所定の第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を推定し、車線逸脱判断部７０は、第２レーンマーカの位置の推定結果に基づいて、車両５が走行中の車線Ｙ_２から逸脱する可能性を判断するため、第１のレーンマーカのみを検出することによって車線逸脱判断を行うことができ、これによって処理時間の短縮を図ることができる。

また、本発明の車載レーンマーカ認識装置８によれば、多重線を構成する複数の線の線種と色と並び順、および、多重線を構成する複数の線のうち、いずれの線が第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）に対応して、いずれの線が第２レーンマーカ（Ｌ_ＬＳまたはＬ_ＲＳ）に対応するか、が登録された多重線種別データベースを有するため、レーンマーカが多重線で構成されているときに、多重線を構成するレーンマーカを個別に認識することができるため、これによって、画像処理で検出する第１レーンマーカと、車線逸脱警報を出力する際の判断基準となる第２レーンマーカを、別のレーンマーカとして設定することができる。

また、本発明の車載レーンマーカ認識装置８によれば、ウインドゥ設定部３０は、レーンマーカ候補検出部２０が検出した多重線を全て包含するように画像Ｉの中にウインドゥＷ_Ｒ，Ｗ_Ｒを設定するため、多重線を構成するレーンマーカの本数が増加した場合であっても、多重線を構成するレーンマーカの位置を確実に検出することができる。

また、本発明の車載レーンマーカ認識装置８によれば、レーンマーカ特徴量検出部４０は、多重線を構成する線毎にレーンマーカ特徴量を検出するため、画像処理で検出する第１レーンマーカと、車線逸脱警報を出力する際の判断基準となる第２レーンマーカを、別のレーンマーカとして設定することができる。

また、本発明の車載レーンマーカ認識装置８によれば、多重線は、異なる線種を含む複数の線、もしくは同一線種で構成された複数の線としたため、様々な形態の多重線に対して、多重線を構成する個々のレーンマーカの位置を確実に検出することができる。

また、本発明の車載レーンマーカ認識装置８によれば、多重線が実線と破線を含むときには、第１レーンマーカ（Ｌ_ＬＭまたはＬ_ＲＭ）を実線として、第２レーンマーカＬ_ＬＳまたはＬ_ＲＳ）を破線とするため、画像処理によって第１レーンマーカを確実に検出して、第２レーンマーカによって車線逸脱を適切なタイミングで確実に判断することができる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

８ 車載レーンマーカ認識装置
１０ 撮像部
２０ レーンマーカ候補検出部
３０ ウインドゥ設定部
４０ レーンマーカ特徴量検出部
５０ 多重線認識部（レーンマーカ検出部）
６０ 車両情報取得部
７０ 車線逸脱判断部
８０ 警報出力部
９０ 多重線種別データベース

Claims (4)

1. 車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
   前記撮像部で撮像された画像の中の所定の領域から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部と、
   前記レーンマーカ候補検出部の検出結果に基づいて、前記撮像部で撮像された画像の中に、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部と、
   前記ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを示すレーンマーカ特徴量を検出するレーンマーカ特徴量検出部と、
   前記レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、レーンマーカを検出するレーンマーカ検出部と、
   前記レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、前記車両が走行中のレーンから逸脱する可能性を判断する車両逸脱判断部と、
   前記車両逸脱判断部において、前記車両が走行中のレーンから逸脱する可能性があると判断されたときに警報を出力する警報出力部と、を有する車載レーンマーカ認識装置において、
   前記レーンマーカ候補検出部が、前記レーンマーカが複数の線で構成される多重線であると認識したときには、前記レーンマーカ検出部は、前記多重線を構成する複数の線の線種と色と並び順が登録された多重線種別ベータベースを参照し、前記画像上の横方向に抽出された特徴点に対し、各特徴点が前記多重線を構成する複数の線のうち、前記ウインドゥ設定部で設定されたウインドゥの左側から何本目のラインマーカであるかをラベル付けし、前記車両逸脱判断部は、ラベル付けされた特徴点の時系列データに基づいて、前記車両が走行中のレーンから逸脱する可能性を判断することを特徴とする車載レーンマーカ認識装置。
2. 前記ウインドゥ設定部は、前記レーンマーカ候補検出部が検出した多重線を全て包含するように前記画像の中にウインドゥを設定することを特徴とする請求項１に記載の車載レーンマーカ認識装置。
3. 前記レーンマーカ特徴量検出部は、前記多重線を構成する線毎に前記レーンマーカ特徴量を検出することを特徴とする請求項１または請求項２に記載の車載レーンマーカ認識装置。
4. 前記多重線は、異なる線種を含む複数の線、もしくは同一線種で構成された複数の線であることを特徴とする請求項１から請求項３のいずれか１項に記載の車載レーンマーカ認識装置。