JP6057660B2 - 車線監視システム及び車線監視方法 - Google Patents

Description

本発明は、車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術に関するものである。

車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術としては、車載カメラで撮影した自動車後方の画像に基づいて自動車が走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識すると共に、走行中の車線が直進している車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線（白線）を近似した直線を自動車左右及び前方の車線境界線として認識し、走行中の車線がカーブしている車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円を自動車左右及び前方の車線境界線として認識する技術が知られている（特許文献１）。

特開２００７-２００１９１号公報

上述した技術などによって、車載カメラで撮影した自動車後方の画像に撮影された車線境界線（白線）に基づいて自動車左右及び前方の車線境界線を認識する場合には、次のような問題が生じる。
すなわち、たとえば、図１０ａに示すように、自動車が走行中の車線の左側の車線境界線が、走行中の車線から分岐する他の車線の左側の車線境界線に連続しており、自動車が走行中の車線の左側の車線境界線が車線の分岐地点で途切れている場合、自動車が分岐地点を通過直後の地点に位置しているときに車載カメラで撮影される自動車後方の画像には、車載カメラで撮影した画像を変換して生成した自動車後方の俯瞰画像である図１０ｂに示すように、走行中の車線の分岐地点通過後の部分については、走行中の車線の左側の車線境界線が含まれず、走行中の車線から分岐する他の車線の分岐地点通過後の左側の車線境界線のみが含まれることとなる。

そして、このために、走行中の車線から分岐する他の車線の左側の車線境界線を、自動車後方の走行中の車線の左側の車線境界線と誤認識してしまう結果、自動車左右及び前方の車線境界線を誤認識してしまうことがあった。
そこで、本発明は、走行中の車線の車線境界線が当該車線から分岐する他の車線の車線境界線に連続しており、当該分岐地点において走行中の車線の車線境界線の途切れが発生する場合においても、車載カメラで撮影した自動車後方の画像に基づいて走行中の車線の車線境界線を正しく認識することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車線監視システムに、前記自動車後方を撮影する車載カメラと、前記自動車が走行中の車線のレーンマークを認識する認識処理を繰り返し行う車線監視部とを備えたものである。ここで、前記車線監視部は、前記認識処理の各回において、前記車載カメラで撮影した自動車後方の画像からレーンマークを近似する直線をレーンマーク候補直線として算出するレーンマーク候補算出手段と、前記認識処理の各回において、今回前記レーンマーク候補算出手段が算出したレーンマーク候補直線のうちから走行中の車線のレーンマークを表す直線を選択して、レーンマーク直線として設定するレーンマーク直線設定手段と、前記認識処理の各回において、前記レーンマーク直線設定手段が設定した前記レーンマーク直線に基づいて、走行中の車線の次回の認識処理時におけるレーンマークを表す直線を予測レーンマーク直線として予測する予測手段とを備えている。また、前記レーンマーク直線設定手段は、前記自動車に対して固定的に設定した原点を通る当該自動車の左右方向の軸との交点が、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線と前記軸との交点に所定距離内に近接するレーンマーク候補直線を抽出し、抽出したレーンマーク候補直線が所定の条件を満たす場合に、当該抽出したレーンマーク候補直線を前記レーンマーク直線として設定するものである。

そして、前記所定の条件は、抽出したレーンマーク候補直線の傾きと、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線との傾きとの差が所定の基準値より大きくない場合に満たされる条件である。
このような車線監視システムによれば、予測レーンマーク直線との傾きの差が大きいレーンマーク候補直線は、左右方向の軸との交点が予測レーンマーク直線のものと近接していても、レーンマーク直線として設定する対象から除外されることとなる。
一方、走行中の車線のレーンマークが当該車線から分岐する他の車線の側のレーンマークに連続している場合には、当該他の車線の分岐直後のレーンマークの傾きは、走行中車線の分岐直前のレーンマークから予測される予測レーンマーク直線の傾きとは大きく異なることが期待できる。よって、本発明によれば、走行中の車線のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合に、当該他の車線のレーンマークを、走行中の車線のレーンマークとして認識してしまうことを抑制することができる。

ここで、このような車線監視システムにおいて、前記所定の条件は、上記した条件に代えて、抽出したレーンマーク候補直線の推定参照速度と、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線の参照速度との差が所定の基準値より大きくない場合に満たされる条件を用いるようにしてもよい。但し、この場合、前記抽出したレーンマーク候補直線の前記推定参照速度は、当該レーンマーク候補直線の前記軸との交点と、前回の認識処理において設定した前記レーンマーク直線の前記軸との交点との前記軸方向の距離を、前回の認識処理から今回の認識処理までの経過時間で除して求まる速度とし、前記予測レーンマーク直線の前記参照速度は、前回以前の認識処理において設定した前記レーンマーク直線の前記軸との交点の前記軸方向の移動速度として求まる速度とする。

このような条件を用いることにより、当該レーンマーク候補直線をレーンマーク直線とするとレーンマークの左右方向速度が、予測されるレーンマークの左右方向速度と大きく異なってしまうこととなるレーンマーク候補直線は、左右方向の軸との交点が予測レーンマーク直線のものと近接していても、レーンマーク直線として設定する対象から除外されることとなる。

一方、走行中の車線のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合には、当該他の車線の分岐直後のレーンマークの左右方向位置は、走行中車線の分岐直前のレーンマークから遠ざかる方向に移動するので、当該他の車線の分岐直後のレーンマークに対して検出されたレーンマーク候補直線をレーンマーク直線とした場合のレーンマークの左右方向速度は、予測されるレーンマークの左右方向速度と大きく異るものとなることが期待できる。よって、このようにしても、走行中の車線のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合に、当該他の車線のレーンマークを、走行中の車線のレーンマークとして認識してしまうことを抑制することができる。

ここで、以上のような車線監視システムは、前記レーンマーク直線設定手段において、前記認識処理の各回において、前記自動車の走行中車線の左右両側の各々を対象側として、各対象側ついて、前記予測レーンマーク直線の予測と前記レーンマーク直線の設定とを行うと共に、前記認識処理の各回において、前記対象側について前記抽出したレーンマーク候補直線が前記所定の条件を満たす場合であっても、前記対象側について前記抽出したレーンマーク候補直線よりも前記自動車から見て左右方向内側に他のレーンマーク候補直線が存在し、当該他のレーンマーク候補直線の前記軸との交点と、前記対象側と反対側について予測した予測レーンマーク直線の前記軸との交点との距離が、前記対象側について前記抽出したレーンマーク候補直線の前記軸との交点と、前記対象側と反対側について予測した予測レーンマーク直線の前記軸との交点との距離よりも車線幅にふさわしい距離であった場合には、前記対象側について前記抽出したレーンマーク候補直線を前記レーンマーク直線に設定せずに、前記他のレーンマーク候補直線を、前記対象側について前記レーンマーク直線に設定するように構成してもよい。

このようにすることにより、走行中の車線のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合において、抽出したレーンマーク候補直線が分岐する他の車線のレーンマークであり、その内側に走行中車線の真のレーンマークが存在する場合に、当該真のレーンマークを走行中車線のレーンマークとして正しく認識することができるようになる。

また、以上の車線監視システムは、前記レーンマーク直線設定手段において、抽出したレーンマーク候補直線が前記所定の条件を満たさない場合に、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線を、前記レーンマーク直線として設定するように構成することも好ましい。

以上のように、本発明によれば、走行中の車線の車線境界線が当該車線から分岐する他の車線の車線境界線に連続しており、当該分岐地点において走行中の車線の車線境界線の途切れが発生する場合においても、車載カメラで撮影した自動車後方の画像に基づいて走行中の車線の車線境界線を正しく認識することができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態に係るレーンマーク情報を示す図である。 本発明の実施形態に係るレーンマーク検出処理を示すフローチャートである。 本発明の実施形態に係るレーンマーク算出処理を示すフローチャートである。 本発明の実施形態に係るレーンマーク選択処理を示すフローチャートである。 本発明の実施形態に係るレーンマークマッチング処理を示すフローチャートである。 本発明の実施形態に係る内側レーンマーク確認処理を示すフローチャートである。 本発明の実施形態に係るレーンマーク検出処理の処理例を示す図である。 本発明の実施形態に係るレーンマーク検出処理の処理例を示す図である。 本発明の課題を示す図である。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図１ｂに示すように自動車後部に配置され自動車後方を撮影する後方カメラ１と、後方カメラ１が撮影した画像を格納するフレームメモリ２、車線監視装置３、車線監視装置３が作業に用いるワークメモリ４、スピーカ５、表示装置６などを備えている。

なお、図示は省略したが、後方カメラ１の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車線監視装置３は、自動車が走行中のレーン（車線）の左右のレーンマーク（白線、黄線その他の任意の車線境界線）を表す直線を、後方カメラ１が撮影した画像に基づいて検出する。そして、検出したレーンマーク表す直線と自動車の相対距離や、検出したレーンマーク表す直線に対する自動車の速度に応じて、走行中レーンからの自動車の逸脱の発生を予測し、スピーカ５や表示装置６から、自動車の車線から逸脱を警告する出力をドライバに対して行う処理などの運転支援を行う。

以下、車線監視装置３が、上述のように走行中のレーンの左右のレーンマークを表す直線を後方カメラ１が撮影した画像に基づいて検出する動作について説明する。
まず、車載システムのワークメモリ４に保持するレーンマーク情報（左）と、レーンマーク情報（右）について説明する。
図２ａに示すようにレーンマーク情報（左）には、レーンマーク情報（左）が有効（１）か無効（０）かの識別を表す有効フラグ、次回検出されるであろうと予測される自動車左側のレーンマーク表す直線の式y=Ax+Bが格納される。
ここで、本実施形態においては、xy座標系を、図２ｂに示すように、自動車の後端の左右方向中央位置を原点とし、自動車後方を正のｘ方向、自動車の左方向を正のｙ方向として定義する。
また、レーンマーク情報（左）には、前回検出された左側のレーンマークの自動車に対するｙ方向（左右方向）の速度Vyを表すレーンマーク速度、過去３回分の過去に検出した左側のレーンマークを表す直線の式y=ax+bが格納される過去レーンマーク0-2、過去10回分の過去に検出した左側のレーンマークを表す直線の式の、真に現実のレーンマークを表しているものであることの信頼度を表す過去信頼度0-9が登録される。

次に、レーンマーク情報（右）の内容も、レーンマーク情報（左）と同様であり、レーンマーク情報（右）が有効か無効かの識別を表す有効フラグ、次回検出されるであろうと予測される自動車右側のレーンマーク表す直線の式y=Ax+B、前回検出された右側のレーンマークの自動車に対するｙ方向（左右方向）の速度Vyを表すレーンマーク速度、過去３回分の過去に検出した右側のレーンマークを表す直線の式y=ax+bが格納される過去レーンマーク0-2、過去10回分の過去に検出した右側のレーンマークを表す直線の式の、真に現実のレーンマークを表しているものであることの信頼度を表す過去信頼度0-9が登録される。

なお、レーンマーク情報（左）とレーンマーク情報（右）初期値は、有効フラグが無効（０）、他の項目は空白である。
以下、このようなレーンマーク情報（左）とレーンマーク情報（右）を用いつつ、車線監視装置３が、走行中のレーンを左右のレーンマークを表す直線を検出するために行うレーンマーク検出処理について説明する。
図３に、このレーンマーク検出処理の手順を示す。
図示するように、この処理では、まず、後方カメラ１が後方を撮影した最新の画像をフレームメモリ２から取得する（ステップ３０２）。
そして、レーンマーク候補直線と、直線信頼度の算出を行う（ステップ３０４）。
ここで、このステップ３０４で行うレーンマーク候補直線と、直線信頼度の算出は以下のように行う。
すなわち、まず、取得した画像をｘｙ座標系に投影変換して図８ａに示すような俯瞰画像８０１を生成する。そして、図８ａに示すように俯瞰画像８０１上にＸ方向に並べた複数のＹ方向のライン８０２上の高輝度領域８０３を図８ｂに示すように検出する。そして、各高輝度領域８０３のＹ方向の中点に特徴点８０４を設定する。

ただし、以上の特徴点８０４を設定は、取得した画像上にＸ方向に並べた複数のＹ方向のライン上の高輝度領域のＹ方向の中点を検出し、検出した中点をｘｙ座標系に投影変換して特徴点８０４を設定することにより行うようにしてもよい。
そして、図８ｃに示すように、各特徴点を通る線を所定値未満の誤差で直線に近似できる特徴点のグループ８０５に、各特徴点を各グループ化し、各グループ８０５について、当該グループ８０５の特徴点を通る線を近似した直線y=px+qをレーンマーク候補直線８０６とする。また、各レーンマーク候補直線８０６について、当該レーンマーク候補直線８０６を求めたグループ８０５の各特徴点の当該レーンマーク候補直線８０６からの距離の平均値が大きいほど小さくなるように当該レーンマーク候補直線８０６の直線信頼度を設定する。

なお、各グループ８０５のレーンマーク候補直線８０６は、たとえば、当該グループ８０５の特徴点に基づいて最小二乗法により算出する。
また、レーンマーク候補直線８０６の直線信頼度は、たとえば、当該レーンマーク候補直線８０６を求めたグループ８０５の各特徴点の当該レーンマーク候補直線８０６からの距離の平均値をＥ、所定のしきい値をthEとして、1000-1000×Ｅ/thEを、当該レーンマークの直線信頼度とすることにより設定する。しきい値thEは、レーンマーク候補直線８０６を特徴点を通る直線を近似した直線として有効と見なせるＥの最大値を設定する。

さて、図３に戻り、以上のようにしてレーンマーク候補直線と、各レーンマーク候補直線の直線信頼度を求めたならば、次に、レーン変更処理を行う（ステップ３０６）。
このレーン変更処理では、レーンマーク情報（左）の有効フラグが有効（１）であって、かつ、次レーンマークの直線式y=Ax+bのｙ切片ｂが負であるかどうかを調べ、負であれば、前回検出された左側のレーンマークの、予測された次の位置は自動車の右側であること、すなわち、自動車が左車線に車線変更し、それまでの左側のレーンマークが、現在は、右側のレーンマークとなっていることを表しているので、レーンマーク情報（左）の内容をレーンマーク情報（右）に引き継がせるために、レーンマーク情報（右）の内容をレーンマーク情報（左）の内容と一致するように更新する。そして、既に右側のレーンマークの情報となっている、レーンマーク情報（左）の内容を無効化するために、レーンマーク情報（左）の内容をクリアした上でレーンマーク情報（左）の有効フラグを無効（０）に設定する。

また、レーン変更処理では、同様に、レーンマーク情報（右）の有効フラグが有効（１）であって、かつ、次レーンマークの直線式y=Ax+bのｙ切片ｂが正であるかどうかを調べ、負であれば、前回検出された右側のレーンマークの、予測された次の位置は自動車の左側であることを表しているので、レーンマーク情報（左）の内容をレーンマーク情報（右）の内容と一致するように更新する。そして、既に左側のレーンマークの情報となっている、レーンマーク情報（右）の内容を無効化するために、レーンマーク情報（右）の内容をクリアした上でレーンマーク情報（右）の有効フラグを無効（０）に設定する。

次に、このようなレーン変更処理（ステップ３０６）が完了したならば、次に、レーンマーク算出処理を行う（ステップ３０８）。
ここで、図４に、図３のレーンマーク検出処理のステップ３０８で行うレーンマーク算出処理の手順を示す。
図示するように、このレーンマーク算出処理では、レーンマーク情報（左）の有効フラグが無効（０）であれば（ステップ４０２）、左レーンマークを対象レーンマークとするレーンマーク選択処理を行い（ステップ４０４）、レーンマーク情報（左）の有効フラグが有効（１）であれば（ステップ４０２）、左レーンマークを対象レーンマークとするレーンマークマッチング処理を行う（ステップ４０６）。

また、このレーンマーク算出処理では、レーンマーク情報（右）の有効フラグが無効（０）であれば（ステップ４０８）、右レーンマークを対象レーンマークとするレーンマーク選択処理を行い（ステップ４１０）、レーンマーク情報（右）の有効フラグが有効（１）であれば（ステップ４０８）、右レーンマークを対象レーンマークとするレーンマークマッチング処理を行う（ステップ４１２）。

ここで、図５に、図４のレーンマーク算出処理のステップ４０４、４１０で行うレーンマーク選択処理の手順を示す。
レーンマーク選択処理は、対象レーンマークのレーンマーク情報が無効である場合に、対象レーンマークのレーンマーク情報の次レーンマークに基づかずに、自動車の左右方向中央位置からの距離、または、対象レーンマークと反対側のレーンマークからの距離に基づいて、レーンマーク候補直線のうちから対象レーンマークを表す直線である対象レーンマーク直線を選択し、検出した対象レーンマーク直線を過去レーンマークとして、検出した対象レーンマーク直線の信頼度を過去信頼度として対象レーンマークのレーンマーク情報に登録すると共に、対象レーンマークのレーンマーク情報を有効化する処理である。

さて、図５に示すように、このレーンマーク選択処理では、まず、レーンマーク検出の対象とするｙ方向の範囲を対象範囲として設定する（ステップ５０２）。
ここで、対象範囲は、次のように設定する。
まず、対象レーンマークでないレーンマークのレーン情報、すなわち、対象レーンマークが左側のレーンマークであればレーン情報（右）、対象レーンマークが右側のレーンマークであればレーン情報（左）の有効フラグが有効（１）に設定されていない場合には、対象レーンマークの左右の別毎に予め定めておいたｙ方向範囲を対象範囲とする。具体的には、対象レーンマークが左側のレーンマークであれば、自動車の左右方向中央位置から標準的な車線幅の半分相当ｙ方向（左方向）に離れた位置を中心とする所定の大きさのｙ方向範囲を対象範囲とし、対象レーンマークが右側のレーンマークであれば、自動車の左右方向中央位置から標準的な車線幅の半分相当-ｙ方向（右方向）に離れた位置を中心とする所定の大きさのｙ方向範囲を対象範囲とする。
一方、対象レーンマークでないレーンマークのレーン情報の有効フラグが有効（１）に設定されている場合は、対象レーンマークでないレーンマークのレーンマーク情報の次レーンマークのｙ切片、すなわち、対象レーンマークと反対側のレーンマークのｙ切片の予測値を基準に対象範囲を設定する。

具体的には、対象レーンマークが左側のレーンマークであれば、レーン情報の（右）の次レーンマークy=Ax+Bのｙ切片Ｂから、標準的な車線幅相当ｙ方向（左方向）に離れた位置を中心とする所定の大きさのｙ方向範囲を対象範囲とし、対象レーンマークが右側のレーンマークであれば、レーン情報の（左）の次レーンマークy=Ax+Bのｙ切片Ｂから、標準的な車線幅相当-ｙ方向（右方向）に離れた位置を中心とする所定の大きさのｙ方向範囲を対象範囲とする。ここで、対象範囲の大きさは、対象レーンマークでないレーンマークのレーンマーク情報のレーンマーク速度Vyと、図３のレーンマーク検出処理のステップ３０２における撮影画像の取得インターバル時間Ｔ、すなわち、今回の図３のレーンマーク検出処理のステップ３０２で撮影画像を取得するまでの前回ステップ３０２で撮影画像を取得してからの時間Ｔとを乗じた時間Vy×Ｔが大きいほど大きくなるように設定してもよい。

さて、このようにして対象範囲を設定したならば（ステップ５０２）、設定した対象範囲内のｙ切片ｑを持つレーンマーク候補直線y=px+qが、図３のステップ３０４で算出したレーンマーク候補直線の内に存在するかどうかを調べ（ステップ５０４）、存在しなければ、そのままレーンマーク選択処理を終了する。
一方、対象範囲内のｙ切片ｑを持つレーンマーク候補直線が存在する場合には（ステップ５０４）、存在したレーンマーク候補直線のうちで直線信頼度が最大のレーンマーク候補直線を対象レーンマーク候補直線として（ステップ５０６）、対象レーンマーク候補直線の直線信頼度が所定の選択基準値より大きいかどうかを調べる（ステップ５０８）。

そして、対象レーンマーク候補直線の直線信頼度が所定の選択基準値より大きくなければ（ステップ５０８）、そのままレーンマーク選択処理を終了する。
一方、対象レーンマーク候補直線の直線信頼度が所定の選択基準値より大きい場合には（ステップ５０８）、対象レーンマーク候補直線の直線式を、対象レーンマークのレーンマーク情報の過去レーンマークに新規登録し（ステップ５１０）、対象レーンマークのレーンマーク情報の直線信頼度を対象レーンマークのレーンマーク情報の過去信頼度に新規登録する（ステップ５１２）。なお、過去レーンマークに直線式が新規登録されると、新規登録された直線式は過去レーンマーク０に登録され、それまで過去レーンマーク０、１に登録されていた直線式の登録位置は、過去レーンマーク１、２に一つずつ繰り下がる。また、同様に、過去信頼度に直線信頼度が新規登録されると、新規登録された直線信頼度は過去信頼度０に登録され、それまで過去信頼度0-8に登録されていた値の登録位置は、過去信頼度1-9に一つずつ繰り下がる。

そして、対象レーンマークのレーンマーク情報の有効フラグを有効（１）に設定し（ステップ５１４）、レーンマーク選択処理を終了する。
以上、レーンマーク選択処理について説明した。
このようなレーンマーク選択処理によれば、レーンマーク情報（左）の過去レーンマークへの新規登録は、たとえば以下のように行われることとなる。
すなわち、図９ａに示すように、左側のレーンマークのレーンマーク情報（左）が無効であって左側のレーンマークの次レーンマークが予測されておらず、右側のレーンマークのレーンマーク情報（右）が有効であって右側のレーンマークの次レーンマーク９０１のみが予測されている場合には、右側のレーンマークの次レーンマーク９０１のｙ切片から車線幅Ｗ相当離れた位置付近に対象範囲９０２が設定され、対象範囲９０２内にｙ切片を持つレーンマーク候補直線のうち、直線信頼度が選択基準値より大きいレーンマーク候補直線９０３が左側のレーンマークを表すレーンマーク候補直線として選択されてレーンマーク情報（左）の過去レーンマークに新規登録されることとなる。

また、左側のレーンマークのレーンマーク情報（左）も右側のレーンマーク情報（右）も無効であって、左側のレーンマークｎ次レーンマークも右側のレーンマークの次レーンマークも予測されていない場合には、図９ｂに示すように、自動車の左右方向中央位置である原点から車線幅Ｗの半分相当離れた位置付近に対象範囲９１１が設定され、対象範囲９１１内にｙ切片を持つレーンマーク候補直線のうち、直線信頼度が選択基準値より大きいレーンマーク候補直線９１２が左側のレーンマークを表すレーンマーク候補直線として選択されてレーンマーク情報（左）の過去レーンマークに新規登録されることとなる。

なお、レーンマーク情報（右）の過去レーンマークへの新規登録も、以上と左右を交代させた形態で同様に行われることとなる。
次に、図６に、図４のレーンマーク算出処理のステップ４０６、４１２で行うレーンマークマッチング処理の手順を示す。
ここで、レーンマッチング処理は、対象レーンマークのレーンマーク情報が存在する場合に、レーンマーク候補直線のうちから、対象レーンマークのレーンマーク情報の次レーンマークに近似するレーンマーク候補直線を対象レーンマークを表す直線である対象レーンマーク直線として抽出し、抽出した対象レーンマーク直線を過去レーンマークとして、抽出した対象レーンマーク直線の信頼度を過去信頼度として対象レーンマークのレーンマーク情報に登録する処理である。

さて、図示するように、レーンマークマッチング処理では、まず、レーンマーク抽出の対象とする検索範囲を設定する（ステップ６０２）。
検索範囲は、対象レーンマークのｙ切片の予測値、すなわち、対象レーンマークのレーンマーク情報の次レーンマークy=Ax+Bのｙ切片Ｂの周辺のｙ方向範囲として設定する。
具体的には、対象レーンマークが左側のレーンマークであれば、レーン情報の（左）の次レーンマークy=Ax+Bのｙ切片Ｂを中心とする所定の大きさのｙ方向範囲を検索範囲とし、対象レーンマークが右側のレーンマークであれば、レーン情報の（右）の次レーンマークy=Ax+Bのｙ切片Ｂを中心とする所定の大きさのｙ方向範囲を検索範囲とする。ここで、検索範囲の大きさは、対象レーンマークのレーンマーク情報のレーンマーク速度Vyと、ステップ３０２における撮影画像の取得インターバル時間Ｔ、すなわち、今回、図３のレーンマーク検出処理のステップ３０２で撮影画像を取得するまでの前回ステップ３０２で撮影画像を取得してからの時間Ｔとを乗じた時間Vy×Ｔが大きいほど大きくなるように設定してもよい。
そして、このようにして検索範囲を設定したならば（ステップ６０２）、設定した検索範囲内のｙ切片ｑを持つレーンマーク候補直線y=px+qが、図３のステップ３０４で算出したレーンマーク候補直線の内に存在するかどうかを調べ（ステップ６０４）、存在しなければ、対象レーンマークのレーンマーク情報の１０個の過去信頼度の平均が０であるかどうかを調べ（ステップ６１０）、０であれば、対象レーンマークのレーンマーク情報を無効化するために、対象レーンマークのレーンマーク情報の内容をクリアした上で対象レーンマークのレーンマーク情報の有効フラグを無効（０）に設定する（ステップ６１６）。そして、レーンマークマッチング処理を終了する。

一方、対象レーンマークのレーンマーク情報の１０個の過去信頼度の平均が０でなければ（ステップ６１０）、対象レーンマークのレーンマーク情報の次レーンマークの直線式を過去レーンマークに新規登録すると共に（ステップ６１２）、信頼度０を対象レーンマークのレーンマーク情報の過去信頼度に新規登録する（ステップ６１４）。そして、レーンマークマッチング処理を終了する。

一方、ステップ６０４において、設定した検索範囲内のｙ切片ｑを持つレーンマーク候補直線y=px+qが存在すると判定された場合には、存在したレーンマーク候補直線のうちで直線信頼度が最大のレーンマーク候補直線を対象レーンマーク候補直線として設定する（ステップ６０６）。

そして、対象レーンマーク候補直線y=px+qの傾きｐと、対象レーンマークのレーンマーク情報の次レーンマークy=Ax+Bの傾きＡとの誤差が、所定の許容値以上であるかどうかを調べる（ステップ６０８）。
そして、許容値以上であれば（ステップ６０８）、ステップ６１０に進み、上述のように対象レーンマークのレーンマーク情報の１０個の過去信頼度の平均が０であるかどうかを調べる。そして、平均が０であれば、対象レーンマークのレーンマーク情報の内容をクリアした上で対象レーンマークのレーンマーク情報の有効フラグを無効（０）に設定して（ステップ６１６）、レーンマークマッチング処理を終了し、平均が０でなければ、対象レーンマークのレーンマーク情報の次レーンマークの直線式を過去レーンマークに新規登録すると共に（ステップ６１２）、信頼度０を対象レーンマークのレーンマーク情報の過去信頼度に新規登録し（ステップ６１４）、レーンマークマッチング処理を終了する。

一方、ステップ６０８において、対象レーンマーク候補直線の傾きｐと、対象レーンマークのレーンマーク情報の次レーンマークの傾きＡとの誤差が、所定の許容値未満であると判定された場合には、内側レーンマーク確認処理（ステップ６１８）を行い、レーンマークマッチング処理を終了する。

ここで、このようなレーンマークマッチング処理によれば、たとえば、図９ｃに示すように、左側のレーンマーク情報（左）の次レーンマーク９２１が予測されているときには、次レーンマーク９２１との傾きの差が大きいレーンマーク候補直線９２２は、右側のレーンマークを表す直線の候補、すなわち、レーンマーク情報（左）の過去レーンマークに新規追加する候補から除外されることとなる。そして、走行中の車線の左側のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合には、当該他の車線の分岐直後の左側のレーンマークの傾きは、後述のように走行中車線の分岐直前の左側のレーンマークから予測される次レーンマークの傾きとは大きく異なることが期待できる。

よって、本実施形態によれば、走行中の車線の左側のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合に、当該他の車線の左側のレーンマークを走行中の車線の左側のレーンマークとして認識してしまうことがない。
一方、左側のレーンマーク情報（左）の次レーンマークと、ｙ切片及び傾きが近似しているレーンマーク候補直線が存在する場合には、そのレーンマーク候補直線を対象レーンマーク候補直線として、以下に示す内側レーンマーク確認処理が行われることとなる。
また、右側のレーンマークについても、以上の左側のレーンマークの処理の説明の左右を交代した処理が行われる。
さて、次に、図６のレーンマークマッチング処理のステップ６１８で行う内側レーンマーク確認処理の手順を図７に示す。
ここで、内側レーンマーク確認処理は、図６のステップ６０６で設定した対象レーンマーク候補直線の内側（自動車側）に、対象レーンマーク候補直線よりも、対象レーンマークを表す直線らしい他のレーンマーク候補直線が存在するかどうかを調べ、存在しない場合には、対象レーンマーク候補直線を対象レーンマークを表す直線である対象レーンマーク直線として算定し、存在する場合には、存在した他のレーンマーク候補直線を対象レーンマーク直線として算定し、算定した対象レーンマーク直線を過去レーンマークとして、算定した対象レーンマーク直線の信頼度を過去信頼度として対象レーンマークのレーンマーク情報に登録する処理である。

さて、図示するように、この内側レーンマーク確認処理では、自動車の左右のレーンマークの内の対象レーンマークでない方のレーンマーク（対象レーンマークが左側のレーンマークであれば右側のレーンマーク、対象レーンマークが右側のレーンマークであれば左側のレーンマーク）を参照レーンマークとして、参照レーンマークのレーン情報の有効フラグが有効（１）に設定されているかどうかを調べる（ステップ７０２）。

そして、参照レーンマークのレーン情報の有効フラグが無効（０）に設定されている場合には、対象レーンマーク候補直線の直線式を過去レーンマークに新規登録すると共に（ステップ７１８）、対象レーンマーク候補直線の直線信頼度を対象レーンマークのレーンマーク情報の過去信頼度に新規登録し（ステップ７２０）、内側レーンマーク確認処理を終了する。

一方、参照レーンマークのレーン情報の有効フラグが有効（１）に設定されている場合には（ステップ７０２）、対象レーンマーク候補直線の内側の所定範囲に他のレーンマーク候補直線が存在するかどうかを調べる（ステップ７０４）。
ここで、ステップ７０４では、対象レーンマーク候補直線のｙ切片よりも原点側の位置をｙ切片とする他のレーンマーク候補直線であって、対象レーンマーク候補直線のｙ切片に所定距離以内に接近しているｙ切片を持つ他のレーンマーク候補直線を、対象レーンマーク候補直線の内側の所定範囲に存在する他のレーンマーク候補直線として算定する。

すなわち、対象レーンマークが左側のレーンマークであれば、ｙ切片が+ｙ方向（左方向）にあり、ｙ切片の絶対値が対象レーンマーク候補直線のｙ切片の絶対値よりも小さく（自動車よりの位置にあり）、ｙ切片の絶対値と対象レーンマーク候補直線のｙ切片の絶対値との差が所定値より小さい（対象レーンマーク候補直線のｙ切片に所定程度以上近い）レーンマーク候補直線を、対象レーンマーク候補直線の内側の所定範囲に存在する他のレーンマーク候補直線として算定する。また、同様に、対象レーンマークが右側のレーンマークであれば、ｙ切片が-ｙ方向（右方向）にあり、ｙ切片の絶対値が対象レーンマーク候補直線のｙ切片の絶対値よりも小さく（自動車よりの位置にあり）、ｙ切片の絶対値と対象レーンマーク候補直線のｙ切片の絶対値との差が所定値より小さい（対象レーンマーク候補直線のｙ切片に所定程度以上近い）レーンマーク候補直線を、対象レーンマーク候補直線の内側の所定範囲に存在する他のレーンマーク候補直線として算定する。

そして、対象レーンマーク候補直線の内側の所定範囲に存在する他のレーンマーク候補直線が存在しない場合には（ステップ７０４）、対象レーンマーク候補直線の直線式を過去レーンマークに新規登録すると共に（ステップ７１８）、対象レーンマーク候補直線の直線信頼度を対象レーンマークのレーンマーク情報の過去信頼度に新規登録し（ステップ７２０）、内側レーンマーク確認処理を終了する。

一方、対象レーンマーク候補直線の内側の所定範囲に存在する他のレーンマーク候補直線が存在する場合には（ステップ７０４）、存在した他のレーンマーク候補直線のうち、直線信頼度が最大のものを着目レーンマーク候補直線に設定する（ステップ７０６）。
そして、参照レーンマークのレーンマーク情報の次レーンマークのｙ切片と対象レーンマーク候補直線のｙ切片との距離Ｄ１を算出する（ステップ７０８）と共に、参照レーンマークのレーンマーク情報の次レーンマークのｙ切片と着目レーンマーク候補直線のｙ切片との距離Ｄ２を算出する（ステップ７１０）。

そして、距離Ｄ１と距離Ｄ２のどちらがより優先度が大きいかを判定する（ステップ７１２）。
ここで、距離Ｄ１と距離Ｄ２の優先度は、標準的な車線幅に近いものほど優先度が大きくなるように定めた基準に従って算定する。より具体的には、たとえば、3.5ｍに近いほど優先度が大きくなるように基準を設定し、距離Ｄ１と距離Ｄ２とのうち、 3.5ｍにより近いもの方が優先度が大きいと判定する。

すなわち、ここでは、参照レーンマークの次レーンマークが正しく現実の参照レーンマークを表しているものとして、対象レーンマーク候補直線と着目レーンマーク候補直線とのうち、参照レーンマークとの距離が標準的な車線幅相当である方、すなわち、対象レーンマークに対応するレーンマーク候補直線であるらしさが大きい方の優先度を大きくする。

そして、距離Ｄ１の方が優先度が大きければ、対象レーンマーク候補直線の直線式を過去レーンマークに新規登録すると共に（ステップ７１８）、対象レーンマーク候補直線の直線信頼度を対象レーンマークのレーンマーク情報の過去信頼度に新規登録し（ステップ７２０）、内側レーンマーク確認処理を終了する。

一方、距離Ｄ２の方が優先度が大きければ、着目レーンマーク候補直線の直線式を過去レーンマークに新規登録すると共に（ステップ７１４）、着目レーンマーク候補直線の直線信頼度を対象レーンマークのレーンマーク情報の過去信頼度に新規登録し（ステップ７１６）、内側レーンマーク確認処理を終了する。

このような内側レーンマーク確認処理によれば、たとえば、図９ｄに示すように、図６のレーンマッチング処理で、左側のレーンマーク情報（左）の次レーンマークと、ｙ切片及び傾きが近似しているレーンマーク候補直線が、左側のレーンマークの対象レーンマーク候補直線９３１として設定されると、対象レーンマーク候補直線９３１の内側（自動車より）に他のレーンマーク直線が存在しないかどうかが調べられ、存在しない場合、及び、右側の次レーンマークが存在しない場合には対象レーンマーク候補直線９３１が左側のレーンマークを表すレーンマーク候補直線として選択されてレーンマーク情報（左）の過去レーンマークに新規登録されることとなる。

一方、左側のレーンマークの対象レーンマーク候補直線９３１の内側（自動車より）に他のレーンマーク直線９３２が存在し、かつ、右側の次レーンマークが存在する場合には、対象レーンマーク候補直線９３１と他のレーンマーク直線９３２とのうちの、そのｙ切片の、右側のレーンマーク情報（右）の次レーンマーク９３３のｙ切片までの距離が車線幅相当であるかどうかからみて、より左側のレーンマークらしい方が、左側のレーンマークを表すレーンマーク候補直線として選択されてレーンマーク情報（左）の過去レーンマークに新規登録されることとなる。

したがって、走行中の車線の左側のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合に、当該他の車線の左側のレーンマークの内側に、走行中の車線の左側のレーンマークが存在する場合に、分岐する他の車線の左側のレーンマークではなく、当該走行中の車線の左側のレーンマークを走行中の車線の左側のレーンマークとして正しく認識することができるようになる。

また、右側のレーンマークについても、左側のレーンマークの処理の説明の左右を交代した処理が行われる。
さて、図３に戻り、以上のようにしてレーンマーク算出処理（ステップ３０８）が完了したならば、次レーンマークとレーンマーク速度の算出処理を行う（ステップ３１０）。
次レーンマークとレーンマーク速度の算出処理は、レーンマーク情報（左）とレーンマーク情報（右）とのうち、有効フラグが有効（１）に設定されているレーンマーク情報を対象として、次のように行う。
すなわち、レーンマーク情報の過去レーンマークに登録されている直線式が過去レーンマーク０の一つのみであれば、レーンマーク速度Vyに０を設定する。また、過去レーンマーク０に登録されている直線式をそのまま次レーンマークに設定する。
一方、レーンマーク情報の過去レーンマークに登録されている直線式が過去レーンマーク０と過去レーンマーク１の二つであれば、過去レーンマーク０に登録されている直線式のｙ切片ｂ0と過去レーンマーク１に登録されている直線式のｙ切片ｂ1との差ｄｂ（db=b0-b1）を、上述したステップ３０２における撮影画像の取得インターバル時間Ｔで除算した値ｄｂ/Ｔをレーンマーク速度Vyに設定する。また、レーンマーク速度Vyに取得インターバル時間Ｔを乗じた値を、過去レーンマーク０に登録されている直線式のｙ切片ｂ0に加えた値ｂ0+Vy×Ｔを、次レーンマークの切片Ｂとする。また、過去レーンマーク０に登録されている直線式の傾きａ0と過去レーンマーク１に登録されている直線式の直線式の傾きａ1との差ｄａ（da=a0-a1)を取得インターバル時間Ｔで除した値ｄａ/Ｔを傾き変化速度Ｖａとして、傾き変化速度Ｖａに取得インターバル時間Ｔを乗じた値を、過去レーンマーク０に登録されている直線式の直線式の傾きａ0に加えた値ａ0+ｄａ×Ｔを、次レーンマークの傾きＡとする。そして、直線式y=Ax+Bを次レーンマークに登録する。

一方、レーンマーク情報の過去レーンマークに登録されている直線式が過去レーンマーク０と過去レーンマーク１と過去レーンマーク２の三つであれば、過去レーンマーク０に登録されている直線式のｙ切片ｂ0と過去レーンマーク２に登録されている直線式のｙ切片ｂ2との差ｄｂ（db=b0-b2）を、上述したステップ３０２における撮影画像の取得インターバル時間Ｔの２倍で除算した値ｄｂ/2Ｔをレーンマーク速度Vyに設定する。また、レーンマーク速度Vyに取得インターバル時間Ｔを乗じた値を、過去レーンマーク０に登録されている直線式のｙ切片ｂ0に加えた値ｂ0+Vy×Ｔを、次レーンマークの切片Ｂとする。また、過去レーンマーク０に登録されている直線式の傾きａ0と過去レーンマーク２に登録されている直線式の直線式の傾きａ2との差ｄａ（da=a0-a2)を取得インターバル時間Ｔの２倍で除した値ｄａ/２Ｔを傾き変化速度Ｖａとして、傾き変化速度Ｖａに取得インターバル時間Ｔを乗じた値を、過去レーンマーク０に登録されている直線式の直線式の傾きａ0に加えた値ａ0+ｄａ×Ｔを、次レーンマークの傾きＡとする。そして、直線式y=Ax+Bを次レーンマークに登録する。

そして、以上のようにして、次レーンマークとレーンマーク速度の算出処理（ステップ３１０）を完了したならば、ステップ３０２からの処理に戻る。
以上、車線監視装置３が行うレーンマーク検出処理について説明した。
以上、本発明の実施形態について説明した。
なお、以上で図６に示したレーンマッチング処理のステップ６０８は、対象レーンマークのレーンマーク情報のレーンマーク速度Vyと、対象レーンマーク候補直線のｙ方向速度Vyrとの差が、所定の許容値以上であるかどうかを調べ（ステップ６０８）、許容値以上であればステップ６１０に進み、許容値未満であればステップ６１８に進む処理としてもよい。

この場合において、対象レーンマーク候補直線のｙ方向速度Vyrは、対象レーンマーク候補直線のｙ切片ｑと対象レーンマークのレーンマーク情報の過去レーンマーク０に登録されている直線式のｙ切片ｂ0との差を、上述した取得インターバル時間Ｔで除した値（ｑ-ｂ0）/Ｔとして求める。ここで、対象レーンマーク候補直線のｙ方向速度Vyrは、当該対象レーンマーク候補直線が走行中車線の対象レーンマークを表すものと仮定した場合における、対象レーンマークのｙ方向速度となる。

ここで、図９ｃに示すように走行中の車線からｙ方向に分岐している車線の左側のレーンマークに対して求まるレーンマーク候補直線９２２のｙ方向速度Vyrは当該分岐している車線の左側のレーンマークが走行中の車線から左右方向に遠ざかっていくことが一般的であるために、過去に求めた走行中車線の左側のレーンマークのｙ方向速度Vyより大きくなることが期待できる。よって、このようにしても、やはり、走行中の車線の左側のレーンマークが当該車線から分岐する他の車線の左側のレーンマークに連続している場合に、当該他の車線の左側のレーンマークを走行中の車線の左側のレーンマークとして認識してしまうことを抑制できる。

１…後方カメラ、２…フレームメモリ、３…車線監視装置、４…ワークメモリ、５…スピーカ、６…表示装置。

Claims (4)

1. 自動車に搭載される車線監視システムであって、
   前記自動車後方を撮影する車載カメラと、
   前記自動車が走行中の車線のレーンマークを認識する認識処理を繰り返し行う車線監視部とを備え、
   前記車線監視部は、
   前記認識処理の各回において、前記車載カメラで撮影した自動車後方の画像からレーンマークを近似する直線をレーンマーク候補直線として算出するレーンマーク候補算出手段と、
   前記認識処理の各回において、今回前記レーンマーク候補算出手段が算出したレーンマーク候補直線のうちから走行中の車線のレーンマークを表す直線を選択して、レーンマーク直線として設定するレーンマーク直線設定手段と、
   前記認識処理の各回において、前記レーンマーク直線設定手段が設定した前記レーンマーク直線に基づいて、走行中の車線の次回の認識処理時におけるレーンマークを表す直線を予測レーンマーク直線として予測する予測手段とを有し、
   前記レーンマーク直線設定手段は、前記自動車に対して固定的に設定した原点を通る当該自動車の左右方向の軸との交点が、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線と前記軸との交点に所定距離内に近接するレーンマーク候補直線を抽出し、抽出したレーンマーク候補直線が所定の条件を満たす場合に、当該抽出したレーンマーク候補直線を前記レーンマーク直線として設定し、
   前記所定の条件は、抽出したレーンマーク候補直線の推定参照速度と、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線の参照速度との差が所定の基準値より大きくない場合に満たされる条件であって、
   前記抽出したレーンマーク候補直線の前記推定参照速度は、当該レーンマーク候補直線の前記軸との交点と、前回の認識処理において設定した前記レーンマーク直線の前記軸との交点との前記軸方向の距離を、前回の認識処理から今回の認識処理までの経過時間で除して求まる速度であり、
   前記予測レーンマーク直線の前記参照速度は、前回以前の認識処理において設定した前記レーンマーク直線の前記軸との交点の前記軸方向の移動速度として求まる速度であることを特徴とする車線監視システム。
2. 請求項１記載の車線監視システムであって、
   前記レーンマーク直線設定手段は、
   前記認識処理の各回において、前記自動車の走行中車線の左右両側の各々を対象側として、各対象側ついて、前記予測レーンマーク直線の予測と前記レーンマーク直線の設定とを行うと共に、
   前記認識処理の各回において、前記対象側について前記抽出したレーンマーク候補直線が前記所定の条件を満たす場合であっても、前記対象側について前記抽出したレーンマーク候補直線よりも前記自動車から見て左右方向内側に他のレーンマーク候補直線が存在し、当該他のレーンマーク候補直線の前記軸との交点と、前記対象側と反対側について予測した予測レーンマーク直線の前記軸との交点との距離が、前記対象側について前記抽出したレーンマーク候補直線の前記軸との交点と、前記対象側と反対側について予測した予測レーンマーク直線の前記軸との交点との距離よりも車線幅にふさわしい距離であった場合には、前記対象側について前記抽出したレーンマーク候補直線を前記レーンマーク直線に設定せずに、前記他のレーンマーク候補直線を、前記対象側について前記レーンマーク直線に設定することを特徴とする車線監視システム。
3. 請求項１または２記載の車線監視システムであって、
   前記レーンマーク直線設定手段は、抽出したレーンマーク候補直線が前記所定の条件を満たさない場合に、前回の前記認識処理において前記予測手段によって予測された予測レーンマーク直線を、前記レーンマーク直線として設定することを特徴とする車線監視システム。
4. 自動車に搭載される車線監視システムにおいて、車載カメラで撮影した前記自動車後方の画像に基づいて前記自動車が走行中の車線のレーンマークを検出するレーンマーク検出方法であって、
   前記車線監視システムが、前記自動車が走行中の車線のレーンマークを認識する認識ステップと、
   前記車線監視システムが、当該認識ステップを繰り返し実行する認識制御ステップを有し、
   前記認識ステップは、
   前記車線監視システムが、前記認識ステップの各回において、前記車載カメラで撮影した自動車後方の画像からレーンマークを近似する直線をレーンマーク候補直線として算出するレーンマーク候補算出ステップと、
   前記車線監視システムが、前記認識ステップの各回において、今回算出したレーンマーク候補直線のうちから走行中の車線のレーンマークを表す直線を選択して、レーンマーク直線として設定するレーンマーク直線設定ステップと、
   前記車線監視システムが、前記認識ステップの各回において、前記設定した前記レーンマーク直線に基づいて、走行中の車線の次回の認識ステップ時におけるレーンマークを表す直線を予測レーンマーク直線として予測する予測ステップとを含んで構成され、
   前記レーンマーク直線設定ステップにおいて、前記自動車に対して固定的に設定した原点を通る当該自動車の左右方向の軸との交点が、前回の前記認識ステップにおいて前記予測ステップによって予測された予測レーンマーク直線と前記軸との交点に所定距離内に近接するレーンマーク候補直線を抽出し、抽出したレーンマーク候補直線の推定参照速度と、前回の前記認識ステップにおいて予測された予測レーンマーク直線の参照速度との差が所定の基準値より大きくない場合に、当該抽出したレーンマーク候補直線を前記レーンマーク直線として設定し、
   前記抽出したレーンマーク候補直線の前記推定参照速度は、当該レーンマーク候補直線の前記軸との交点と、前回の認識ステップにおいて設定した前記レーンマーク直線の前記軸との交点との前記軸方向の距離を、前回の認識ステップから今回の認識ステップまでの経過時間で除して求まる速度であり、
   前記予測レーンマーク直線の前記参照速度は、前回以前の認識ステップにおいて設定した前記レーンマーク直線の前記軸との交点の前記軸方向の移動速度として求まる速度であることを特徴とするレーンマーク検出方法。