JP6174644B2 - 画像処理装置 - Google Patents

Description

本発明は、左右のレーンマークを高精度に認識可能な画像処理装置に関する。

特許文献１では、撮像画像中から車両が走行する走行レーンの境界であるレーン境界線を検出するレーン境界線検出装置において、レーン境界線を精度よく検出できるようにすることを目的としている（［０００５］、要約）。

当該目的を達成するため、特許文献１（要約）では、レーン境界線を検出する際の逸脱警報処理にて、撮像画像中において当該車両の走行方向に沿って並ぶ複数のエッジ成分を表すレーン境界線候補毎に、各レーン境界線候補がレーン境界線である可能性の高さを表す確からしさを、各レーン境界線候補の形状に基づいて算出する（Ｓ３２０）。そして、当該車両に先行して走行する車両を表す先行車両の位置の近傍にあるレーン境界線候補に対応する確からしさをより高い値に変更し（Ｓ３３０、Ｓ３４０）、最も高い確からしさに対応するレーン境界線候補を、レーン境界線として特定する（Ｓ３８０）。

レーン境界線候補が先行車両の位置の近傍にあるか否か（又はこれに基づく確からしさＰＰｉ）を、レーン境界線候補と先行車両の左右いずれかの端部（レーン境界線候補に近い側の端部）との距離（端部距離）に基づいて判定する（図５（ｂ）、［００４２］、［００４３］）。

特開２０１０−１７０２５５号公報

上記のように、特許文献１では、レーン境界線候補と先行車両の左右いずれかの端部（レーン境界線候補に近い側の端部）との距離（端部距離）を用いる（図５（ｂ）、［００４２］、［００４３］）。換言すると、特許文献１では、左レーン境界線を先行車両の左端部と比較し、右レーン境界線を先行車両の右端部と比較してレーン境界線を左右別々に判定している。

このため、特許文献１では、正しい組合せとならない場合がある。例えば、古い白線の消し忘れ又は道路補修痕若しくはブレーキ痕が残っている場合、左右レーン境界線を別々に判定すると、古い白線がたまたま信頼度の高い位置にある場合に採用してしまう可能性がある。また、渋滞時に特許文献１の技術を用いる場合、先行車両が自車に近いことから認識対象とできる白線の長さが短く、認識精度が低くなってしまう。

本発明は上記のような課題を考慮してなされたものであり、レーンマークの認識を高精度に行うことが可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、
撮像部が撮像した周辺画像から左右のレーンマークを認識するレーンマーク認識部と、
前記周辺画像から先行車両を認識する先行車両認識部と
を備えるものであって、
前記レーンマーク認識部は、前記左右のレーンマーク間の基準位置と前記先行車両の基準位置との幅方向の偏差自体又は前記偏差に基づく値が閾値内である前記左右のレーンマークを真のレーンマークのペアであると判断することを特徴とする。

本発明によれば、左右のレーンマーク間の基準位置と先行車両の基準位置との幅方向の偏差自体又は前記偏差に基づく値が閾値内である左右のレーンマークを真のレーンマークのペアであると判断する。このため、正しい左右のレーンマークのペアを精度良く認識することが可能となる。

前記レーンマーク認識部は、自車の進行方向における複数の位置で前記幅方向の偏差を求めてもよい。また、前記レーンマーク認識部は、前記幅方向の偏差の合計若しくは平均又は前記複数の位置それぞれにおける前記幅方向の偏差が前記閾値内である前記左右のレーンマークを真のレーンマークのペアと判断してもよい。これにより、複数の位置における幅方向の偏差を用いることでレーンマークのペアを精度良く認識することが可能となる。

前記レーンマーク認識部は、前記左右のレーンマーク間の距離に応じて前記閾値を設定してもよい。これにより、左右のレーンマークにより規定されるレーン幅に合わせて、レーンマークのペアを精度良く認識することが可能となる。

本発明によれば、レーンマークの認識を高精度に行うことが可能となる。

本発明の一実施形態に係る画像処理装置としての走行支援電子制御装置を備える走行支援システムを搭載した車両の構成を示すブロック図である。 図２Ａ、図２Ｂ及び図２Ｃは、前記実施形態のレーンマーク認識制御を説明するための第１、第２及び第３説明図である。 前記実施形態における前記レーンマーク認識制御のフローチャートである。

Ａ．一実施形態
［Ａ１．構成］
（Ａ１−１．全体構成）
図１は、本発明の一実施形態に係る画像処理装置としての走行支援電子制御装置４４（以下「走行支援ＥＣＵ４４」又は「ＥＣＵ４４」ともいう。）を備える走行支援システム１２を搭載した車両１０の構成を示すブロック図である。車両１０（以下「自車１０」ともいう。）は、走行支援システム１２に加え、駆動力制御システム１４、制動力制御システム１６、電動パワーステアリングシステム１８（以下「ＥＰＳシステム１８」という。）及び車速センサ２０を有する。

走行支援システム１２は、自車１０の周囲に現れる各種の周辺物体１００（例えば、他車（先行車両１０２（図２Ａ〜図２Ｃ）を含む。）並びに図示しない歩行者及び壁）及びレーンマーク１１２ｌ、１１２ｒ（図２Ａ〜図２Ｃ）を検出する。そして、走行支援システム１２は、周辺物体１００及びレーンマーク１１２ｌ、１１２ｒを用いて自車１０の走行を支援する。

駆動力制御システム１４の電子制御装置３０（以下「駆動ＥＣＵ３０」又は「ＥＣＵ３０」という。）は、車両１０の駆動力制御を実行する。駆動力制御に際し、駆動ＥＣＵ３０は、図示しないエンジン等の制御を介して車両１０の駆動力を制御する。本実施形態の駆動力制御には、自動クルーズ制御を含む。自動クルーズ制御は、車速Ｖ［ｋｍ／ｈ］を目標車速Ｖｔａｒに一致させるように車両１０を走行させる制御である。

制動力制御システム１６の電子制御装置３２（以下「制動ＥＣＵ３２」又は「ＥＣＵ３２」という。）は、車両１０の制動力制御を実行する。制動力制御に際し、制動ＥＣＵ３２は、図示しないブレーキ機構等の制御を介して車両１０の制動力を制御する。

ＥＰＳシステム１８の電子制御装置３４（以下「ＥＰＳ ＥＣＵ３４」又は「ＥＣＵ３４」という。）は、操舵アシスト制御を実行する。操舵アシスト制御に際し、ＥＰＳ ＥＣＵ３４は、電動パワーステアリング装置の構成要素｛電動モータ、トルクセンサ及び舵角センサ（いずれも図示せず）等｝の制御を介して運転者による操舵をアシストする。

車速センサ２０は、車両１０の車速Ｖを検出して走行支援システム１２等に出力する。

（Ａ１−２．走行支援システム１２）
図１に示すように、走行支援システム１２は、走行支援ＥＣＵ４４に加え、カメラ４０及びレーダ４２を有する。

（Ａ１−２−１．カメラ４０）
カメラ４０（撮像部）は、車両１０の周囲（周辺物体１００及びレーンマーク１１２ｌ、１１２ｒを含む。）の画像Ｉｍｃ（以下「周辺画像Ｉｍｃ」又は「撮像画像Ｉｍｃ」ともいう。）を取得する。そして、画像Ｉｍｃに対応する信号（以下「画像信号Ｓｉｃ」又は「信号Ｓｉｃ」という。）をＥＣＵ４４に出力する。信号Ｓｉｃは、カメラ４０が取得した情報Ｉｃ（以下「カメラ情報Ｉｃ」ともいう。）を含む。以下では、カメラ４０が検出した検出物体１００を「カメラ物標１００ｃ」ともいう。

本実施形態では、１つのカメラ４０を用いるが、２つのカメラ４０を左右対称に配置させてステレオカメラを構成してもよい。カメラ４０は、１秒間に１５フレーム以上（例えば３０フレーム）で画像Ｉｍｃを取得する。カメラ４０は、主に可視光領域の波長を有する光を利用するモノクロカメラであるが、カラーカメラ又は赤外線カメラであってもよい。カメラ４０は、例えば、車両１０の車室内の前方部分における車幅方向中心部（例えば、バックミラー周辺）に配置されている。或いは、カメラ４０は、車両１０の前部バンパー部における車幅方向中心部に配置されてもよい。

（Ａ１−２−２．レーダ４２）
レーダ４２は、電磁波（ここではミリ波）である送信波Ｗｔを車両１０の外部に出力し、送信波Ｗｔのうち検出物体１００（例えば、図示しない歩行者、他車（先行車両１０２（図２Ａ〜図２Ｃ））を含む。）に反射して戻って来る反射波Ｗｒを受信する。そして、反射波Ｗｒに対応する検出信号（以下「反射波信号Ｓｗｒ」又は「信号Ｓｗｒ」という。）をＥＣＵ４４に出力する。信号Ｓｗｒは、レーダ４２が取得した情報Ｉｒ（以下「レーダ情報Ｉｒ」ともいう。）を含む。以下では、レーダ４２が検出した検出物体１００を「レーダ物標１００ｒ」ともいう。

レーダ４２は、車両１０の前側（例えば、フロントバンパ及び／又はフロントグリル）に配置される。前側に加えて又は前側に代えて、車両１０の後ろ側（例えば、リアバンパ及び／又はリアグリル）又は側方（例えば、フロントバンパの側方）に配置してもよい。ミリ波を出力するレーダ４２の代わりに、レーザレーダ、超音波センサ等のセンサを用いることもできる。

カメラ４０及びレーダ４２の少なくとも一方を用いることで、検出物体１００までの距離Ｌｖ、検出物体１００の種類等を求めることができる。

（Ａ１−２−３．走行支援ＥＣＵ４４）
走行支援ＥＣＵ４４は、走行支援システム１２の全体を制御するものであり、図１に示すように、入出力部５０、演算部５２及び記憶部５４を有する。

カメラ４０からの画像信号Ｓｉｃ及びレーダ４２からの反射波信号Ｓｗｒは、入出力部５０を介して走行支援ＥＣＵ４４に供給される。また、走行支援ＥＣＵ４４と、駆動ＥＣＵ３０、制動ＥＣＵ３２及びＥＰＳ ＥＣＵ３４との間の通信は、入出力部５０及び通信線５６を介して行われる。入出力部５０は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。

演算部５２は、カメラ４０及びレーダ４２からの各信号Ｓｉｃ、Ｓｗｒ及び車速センサ２０からの車速Ｖに基づく演算を行い、演算結果に基づき、駆動ＥＣＵ３０、制動ＥＣＵ３２及びＥＰＳ ＥＣＵ３４に対する信号を生成する。

図１に示すように、演算部５２は、先行車両認識部６０、レーンマーク認識部６２及び走行支援部６４を有する。認識部６０、６２及び支援部６４は、記憶部５４に記憶されているプログラムを実行することにより実現される。前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部から供給されてもよい。前記プログラムの一部をハードウェア（回路部品）で構成することもできる。

先行車両認識部６０は、カメラ４０からのカメラ情報Ｉｃ及びレーダ４２からのレーダ情報Ｉｒに基づいて先行車両１０２を認識する。先行車両認識部６０は、カメラ情報Ｉｃを処理するカメラ情報処理部７０と、レーダ情報Ｉｒを処理するレーダ情報処理部７２とを有する。

カメラ情報処理部７０は、カメラ４０からのカメラ情報Ｉｃに基づいて先行車両１０２を認識する。カメラ情報処理部７０は、先行車両１０２の認識に際し、例えば、パターンマッチングを用いる。レーダ情報処理部７２は、レーダ４２からのレーダ情報Ｉｒに基づいて先行車両１０２を認識する。レーダ情報処理部７２は、先行車両１０２の認識に際し、例えば、検出物体１００の大きさ、移動速度等を用いる。カメラ情報処理部７０とレーダ情報処理部７２の処理（又はカメラ物標１００ｃとレーダ物標１００ｒ）を組み合わせることで先行車両１０２の位置、種類等を認識してもよい。

レーンマーク認識部６２は、カメラ４０からのカメラ情報Ｉｃ及び先行車両認識部６０が認識した先行車両１０２の情報Ｉｌｖ（以下「先行車両情報Ｉｌｖ」ともいう。）に基づいてレーンマーク１１２ｌ、１１２ｒを認識する。レーンマーク認識部６２は、カメラ情報Ｉｃを処理するカメラ情報処理部７４と、レーンマーク１１２ｌ、１１２ｒの信頼度Ｄｃを判定する信頼度判定部７６とを有する。

カメラ情報処理部７４は、カメラ４０からのカメラ情報Ｉｃに基づいて左右のレーンマーク１１２ｌ、１１２ｒ（候補）を認識する。カメラ情報処理部７４は、レーンマーク１１２ｌ、１１２ｒの認識に際し、例えば、パターンマッチングを用いる。信頼度判定部７６は、カメラ情報処理部７４が認識したレーンマーク１１２ｌ、１１２ｒの信頼度Ｄを判定し、信頼度Ｄに基づいて真のレーンマーク１１２ｌ、１１２ｒのペアを判断する。

走行支援部６４は、先行車両認識部６０からの先行車両情報Ｉｌｖと、レーンマーク認識部６２が認識したレーンマーク１１２ｌ、１１２ｒの情報Ｉｌｍ（以下「レーンマーク情報Ｉｌｍ」ともいう。）に基づいて車両１０の走行支援を行う。ここでの走行支援は、例えば、レーン・キープ・アシスト・システム（ＬＫＡＳ）制御及びロード・デパーチャ・ミティゲーション（ＲＤＭ）制御の一方又は両方を含むことができる。ＬＫＡＳ制御及びＲＤＭ制御については後述する。

記憶部５４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。

［Ａ２．走行支援制御］
（Ａ２−１．概要）
本実施形態の走行支援制御は、レーンマーク認識制御及び車両制御を備える。レーンマーク認識制御では、レーンマーク１１２ｌ、１１２ｒを認識する。車両制御では、レーンマーク認識制御で認識したレーンマーク１１２ｌ、１１２ｒ等を用いて、車両１０の動作を制御する。

（Ａ２−２．レーンマーク認識制御）
（Ａ２−２−１．基本的な考え方）
図２Ａ、図２Ｂ及び図２Ｃは、本実施形態のレーンマーク認識制御を説明するための第１、第２及び第３説明図である。図２Ａ、図２Ｂ及び図２Ｃでは、自車１０及び先行車両１０２が走行レーン１１０を走行している状態を示している。走行レーン１１０は、自車１０又は先行車両１０２を基準として左右のレーンマーク１１２ｌ、１１２ｒにより特定される。

図２Ａに示すように、本実施形態では、走行支援ＥＣＵ４４が、レーンマーク１１２ｌ、１１２ｒ間の基準線Ｌｒｅｆｌｍ（又はこれを構成する複数の基準位置Ｐｒｅｆｌｍ）をカメラ情報Ｉｃに基づいて特定する。本実施形態において、基準線Ｌｒｅｆｌｍは、レーンマーク１１２ｌ、１１２ｒからの距離が等しい中心線である。或いは、中心線から左又は右に所定距離ずれた線を基準線Ｌｒｅｆｌｍとしてもよい。

また、図２Ｂに示すように、本実施形態では、ＥＣＵ４４が、先行車両１０２の走行軌跡Ｌｔ（又はこれを構成する複数の基準位置Ｐｒｅｆｌｖ）を特定する。本実施形態において、走行軌跡Ｌｔ（又は基準位置Ｐｒｅｆｌｖ）は、先行車両１０２の左右の中央に対応して設定される。或いは、先行車両１０２の中央から左又は右に所定距離ずれた位置に対応して走行軌跡Ｌｔを設定してもよい。以下では、基準位置Ｐｒｅｆｌｍをレーンマーク基準位置Ｐｒｅｆｌｍともいい、基準位置Ｐｒｅｆｌｖを先行車両基準位置Ｐｒｅｆｌｖともいう。

さらに、図２Ｃに示すように、本実施形態では、ＥＣＵ４４が、３つの基準位置Ｐｒｅｆ（Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３）において、レーンマーク１１２ｌ、１１２ｒ間の基準線Ｌｒｅｆｌｍ（又は基準位置Ｐｒｅｆｌｍ）と、先行車両１０２の走行軌跡Ｌｔ（又は基準位置Ｐｒｅｆｌｖ）との幅方向の偏差Ｄｗ（Ｄｗ１、Ｄｗ２、Ｄｗ３）を算出する。

ここでの基準位置Ｐｒｅｆ（以下「偏差基準位置Ｐｒｅｆ」ともいう。）は、進行方向（Ｘ方向）の座標を示し、幅方向（Ｙ方向）の座標を含まない。但し、走行レーン１１０がカーブ路である場合、カーブ路に沿って幅方向の偏差Ｄｗを算出するため、進行方向は単なる直線ではなく、曲線として定義可能である。

ここでの偏差基準位置Ｐｒｅｆ１は、自車１０の位置Ｐｈｖ（以下「自車位置Ｐｈｖ」ともいう。）に対応する。自車位置Ｐｈｖは、例えば、自車１０の最も前方の中央位置に設定される。偏差基準位置Ｐｒｅｆ２は、制御目標位置Ｐｔａｒに対応する。制御目標位置Ｐｔａｒは、例えばＬＫＡＳ制御において自車１０を走行レーン１１０の中央に移動させるに当たり、いずれの地点にて自車１０が走行レーン１１０の中央に到達すればよいかを表す位置である。制御目標位置Ｐｔａｒは、車速Ｖ（及び車速Ｖに対応する目標時間）に応じて変化させることができる。偏差基準位置Ｐｒｅｆ３は、先行車両１０２の位置Ｐｌｖ（以下「先行車両位置Ｐｌｖ」ともいう。）に対応する。先行車両位置Ｐｌｖは、例えば、先行車両１０２の最も後方の中央位置に設定される。

そして、ＥＣＵ４４は、偏差Ｄｗを用いてレーンマーク１１２ｌ、１１２ｒ又は走行レーン１１０の信頼度Ｄｃを判定する。そして、ＥＣＵ４４は、信頼度Ｄｃの高いレーンマーク１１２ｌ、１１２ｒ又は走行レーン１１０を用いて走行支援を行う一方、信頼度Ｄｃの低いレーンマーク１１２ｌ、１１２ｒ又は走行レーン１１０は走行支援に用いない。

なお、図２Ａ〜図２Ｃからわかるように、レーンマーク認識制御では、自車１０の前後方向（Ｘ方向）及び左右方向（Ｙ方向）の座標が特定できればよい。このため、レーンマーク認識制御では、自車１０の高さ方向（Ｚ方向）の座標を省略することができる。

（Ａ２−２−２．具体的な処理）
図３は、本実施形態におけるレーンマーク認識制御のフローチャートである。図３のステップＳ１において、走行支援ＥＣＵ４４（レーダ情報処理部７２）は、レーダ情報Ｉｒに基づいて先行車両１０２が存在するか否かを判定する。レーダ情報Ｉｒに基づいて先行車両１０２が存在する場合（Ｓ１：ＹＥＳ）、ステップＳ２に進む。

ステップＳ２において、ＥＣＵ４４（カメラ情報処理部７０）は、カメラ情報Ｉｃに基づいて先行車両１０２が存在するか否かを判定する。カメラ情報Ｉｃに基づいて先行車両１０２が存在する場合（Ｓ２：ＹＥＳ）、ステップＳ３に進む。カメラ情報Ｉｃ及びレーダ情報Ｉｒを組み合わせることで（換言すると、ステップＳ１、Ｓ２を統合して）、先行車両１０２の存在の有無を判定してもよい。

ステップＳ３において、ＥＣＵ４４（カメラ情報処理部７４）は、カメラ情報Ｉｃに基づいて左右両方のレーンマーク１１２ｌ、１１２ｒが存在するか否かを判定する。左右両方のレーンマーク１１２ｌ、１１２ｒが存在する場合（Ｓ３：ＹＥＳ）、ステップＳ４に進む。左右一方のみレーンマーク１１２ｌ、１１２ｒが存在する場合、ステップＳ３はＮＯ（偽）となる。

ステップＳ４において、ＥＣＵ４４（先行車両認識部６０）は、自車１０と先行車両１０２との間の車間距離Ｌｖを算出する。ステップＳ５において、ＥＣＵ４４（先行車両認識部６０）は、自車１０と先行車両１０２との間の車間距離Ｌｖが所定範囲内であるか否かを判定する。ここでの所定範囲は、例えば、カメラ４０及びレーダ４２の検出精度がよい範囲に合わせて設定される。車間距離Ｌｖが所定範囲内である場合（Ｓ５：ＹＥＳ）、ステップＳ６に進む。

ステップＳ６において、ＥＣＵ４４（レーンマーク認識部６２）は、左右のレーンマーク１１２ｌ、１１２ｒ間の距離Ｗｌ（以下「レーン幅Ｗｌ」ともいう。）（図２Ａ）を算出する。ここでのレーン幅Ｗｌは、自車１０から先行車両１０２までの間における特定地点（例えば、制御目標位置Ｐｔａｒ又は先行車両位置Ｐｌｖ）における幅方向の距離である。

ステップＳ７において、ＥＣＵ４４（信頼度判定部７６）は、レーン幅Ｗｌに基づいて３つの幅偏差閾値ＴＨｄｗ及び１つの幅偏差合計閾値ＴＨｄｔｏｔａｌ（以下「合計閾値ＴＨｄｔｏｔａｌ」ともいう。）を設定する。幅偏差閾値ＴＨｄｗは、レーンマーク基準位置Ｐｒｅｆｌｍと先行車両基準位置Ｐｒｅｆｌｖの幅偏差Ｄｗの許容値としての閾値である。本実施形態では、レーン幅Ｗｌが大きいほど、幅偏差閾値ＴＨｄｗ及び合計閾値ＴＨｄｔｏｔａｌを大きくする。但し、幅偏差閾値ＴＨｄｗ及び合計閾値ＴＨｄｔｏｔａｌを固定値としてもよい。

本実施形態では、自車位置Ｐｈｖ、制御目標位置Ｐｔａｒ及び先行車両位置Ｐｌｖに対応する基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３の３箇所について幅偏差閾値ＴＨｄｗを設定する（図２Ｃの幅偏差Ｄｗ１、Ｄｗ２、Ｄｗ３参照）。レーンマーク１１２ｌ、１１２ｒの近似曲線の次数（２次曲線、３次曲線等）によって基準位置Ｐｒｅｆ毎の偏差Ｄｗの大きさは変化する。このため、基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３毎に幅偏差閾値ＴＨｄｗを設定することで、レーンマーク１１２ｌ、１１２ｒの認識精度を高めることが可能となる。但し、幅偏差閾値ＴＨｄｗは、基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３それぞれで同じ値としてもよい。

幅偏差合計閾値ＴＨｄｔｏｔａｌは、偏差Ｄｗ１、Ｄｗ２、Ｄｗ３の合計Ｄｔｏｔａｌの許容値としての閾値である。本実施形態の合計Ｄｔｏｔａｌは、偏差Ｄｗ１、Ｄｗ２、Ｄｗ３の絶対値の合計値として定義される。或いは、合計Ｄｔｏｔａｌは、正負が混在する偏差Ｄｗ１、Ｄｗ２、Ｄｗ３をそのまま足し合わせたものであってもよい。

ステップＳ８において、ＥＣＵ４４（信頼度判定部７６）は、基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３に対応する３箇所のレーンマーク基準位置Ｐｒｅｆｌｍ（Ｐｒｅｆｌｍ１、Ｐｒｅｆｌｍ２、Ｐｒｅｆｌｍ３）を算出する。レーンマーク基準位置Ｐｒｅｆｌｍは、進行方向（Ｘ方向）に垂直な方向（Ｙ方向）における座標を示す。また、レーンマーク基準位置Ｐｒｅｆｌｍ１、Ｐｒｅｆｌｍ２、Ｐｒｅｆｌｍ３はいずれも現時点における位置を示す。

ステップＳ９において、ＥＣＵ４４（信頼度判定部７６）は、基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３に対応する３箇所の先行車両基準位置Ｐｒｅｆｌｖ（Ｐｒｅｆｌｖ１、Ｐｒｅｆｌｖ２、Ｐｒｅｆｌｖ３）を算出する。先行車両基準位置Ｐｒｅｆｌｍは、進行方向（Ｘ方向）に垂直な方向（Ｙ方向）における座標を示す。先行車両基準位置Ｐｒｅｆｌｖ３は、現在の先行車両位置Ｐｌｖであり、ＥＣＵ４４は、先行車両１０２の現在位置に基づいて先行車両基準位置Ｐｒｅｆｌｖ３を算出する。ＥＣＵ４４は、先行車両１０２の走行軌跡Ｌｔを記憶しておくことで先行車両基準位置Ｐｒｅｆｌｖ１、Ｐｒｅｆｌｖ２を特定する。

ステップＳ１０において、ＥＣＵ４４（信頼度判定部７６）は、基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３それぞれについて幅方向の偏差Ｄｗ（Ｄｗ１、Ｄｗ２、Ｄｗ３）を算出する（図２Ｃ参照）。ステップＳ１１において、ＥＣＵ４４（信頼度判定部７６）は、偏差Ｄｗの合計Ｄｔｏｔａｌを算出する。上記のように、本実施形態の偏差合計Ｄｔｏｔａｌは、各偏差Ｄｗの絶対値の和である（Ｄｔｏｔａｌ＝｜Ｄｗ１｜＋｜Ｄｗ２｜＋｜Ｄｗ３｜）。

ステップＳ１２において、ＥＣＵ４４（信頼度判定部７６）は、各偏差Ｄｗ（Ｄｗ１、Ｄｗ２、Ｄｗ３）が幅偏差閾値ＴＨｄｗを下回るか否かを判定する。各偏差Ｄｗが幅偏差閾値ＴＨｄｗを下回る場合（Ｓ１２：ＹＥＳ）、今回のレーンマーク１１２ｌ、１１２ｒ（又は走行レーン１１０）の信頼度Ｄｃは高いといえるため、ステップＳ１３に進む。なお、いずれか１つでも偏差Ｄｗが幅偏差閾値ＴＨｄｗを下回らない場合（Ｓ１２：ＮＯ）、ステップＳ１２の判定は、ＮＯ（偽）となる。

ステップＳ１３において、ＥＣＵ４４（信頼度判定部７６）は、偏差合計Ｄｔｏｔａｌが合計閾値ＴＨｄｔｏｔａｌを下回るか否かを判定する。偏差合計Ｄｔｏｔａｌが合計閾値ＴＨｄｔｏｔａｌを下回る場合（Ｓ１３：ＹＥＳ）、今回のレーンマーク１１２ｌ、１１２ｒ（又は走行レーン１１０）の信頼度Ｄｃはさらに高いといえる。そこで、ステップＳ１４において、ＥＣＵ４４（信頼度判定部７６）は、レーンマーク１１２ｌ、１１２ｒを確定する。換言すると、ＥＣＵ４４は、左右のレーンマーク１１２ｌ、１１２ｒを真のレーンマークのペアと判断する。

図３のステップＳ１〜Ｓ３、Ｓ５、Ｓ１２、Ｓ１３のいずれかがＮＯ（偽）である場合、ステップＳ１５において、ＥＣＵ４４は、エラー時処理を実行する。先行車両１０２が検出されなかった場合（Ｓ１：ＮＯ又はＳ２：ＮＯ）、ＥＣＵ４４は、例えば、カメラ４０に基づくレーンマーク１１２ｌ、１１２ｒをそのまま用いる。或いは、幅偏差Ｄｗ１、Ｄｗ２、Ｄｗ３のいずれかが閾値ＴＨｄｗを下回らない場合（Ｓ１２：ＮＯ）又は幅偏差合計Ｄｔｏｔａｌが閾値ＴＨｄｔｏｔａｌを下回らない場合（Ｓ１３：ＮＯ）、ＥＣＵ４４は、例えば、前回の演算周期において確定したレーンマーク基準位置Ｐｒｅｆｌｎを、今回の演算周期までの自車１０の移動距離で補正して用いる。

（Ａ２−３．車両制御）
車両制御は、レーンマーク認識制御で認識したレーンマーク１１２ｌ、１１２ｒ等を用いて、車両１０の動作を制御する。具体的には、本実施形態の車両制御において、走行支援ＥＣＵ４４は、ＬＫＡＳ制御及びＲＤＭ制御を実行する。

ＬＫＡＳ制御では、走行レーン１１０の所定位置（例えば走行レーン１１０の中央）に沿って走れるようステアリング操作を支援することで運転負荷を軽減する。ＬＫＡＳ制御に際し、ＥＣＵ４４は、車両１０が走行レーン１１０の所定位置を走行するようにＥＰＳ ＥＣＵ３４に対してステアリング舵角の指令を出力する。ＬＫＡＳ制御は、上述した自動クルーズ制御と組み合わせて用いてもよい。

ＲＤＭ制御では、車両１０が走行レーン１１０を逸脱しそうなとき又は逸脱したとき、ブレーキ及びステアリングを制御することにより、車両１０が走行レーン１１０から逸脱することを抑制する。ＲＤＭ制御に際し、ＥＣＵ４４は、走行レーン１１０からの逸脱を防止させるため、制動力ＥＣＵ３２に対して制動指令を出力すると共に、ＥＰＳ ＥＣＵ３４に対してステアリング舵角の指令を出力する。

［Ａ３．本実施形態の効果］
以上のように、本実施形態によれば、左右のレーンマーク１１２ｌ、１１２ｒ間の基準位置Ｐｒｅｆｌｎと先行車両１０２の基準位置Ｐｒｅｆｌｖとの幅方向の偏差Ｄｗが閾値ＴＨｄｗ内であり且つ合計Ｄｔｏｔａｌが閾値ＴＨｄｔｏｔａｌ内である左右のレーンマーク１１２ｌ、１１２ｒを真のレーンマーク１１２ｌ、１１２ｒのペアであると判断する（図３のＳ１２〜Ｓ１４）。このため、正しい左右のレーンマーク１１２ｌ、１１２ｒのペアを精度良く認識することが可能となる。

本実施形態において、レーンマーク認識部６２は、自車１０の進行方向における複数の基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３で幅方向の偏差Ｄｗ１、Ｄｗ２、Ｄｗ３を求める（図２Ｃ、図３のＳ１０）。そして、レーンマーク認識部６２は、複数の基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３それぞれにおける幅方向の偏差Ｄｗ１、Ｄｗ２、Ｄｗ３が閾値ＴＨｄｗ内であり且つ合計Ｄｔｏｔａｌが閾値ＴＨｄｔｏｔａｌ内である左右のレーンマーク１１２ｌ、１１２ｒを真のレーンマーク１１２ｌ、１１２ｒのペアと判断する（図３のＳ１２、Ｓ１４）。これにより、複数の基準位置Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３における幅方向の偏差Ｄｗ１、Ｄｗ２、Ｄｗ３を用いることでレーンマーク１１２ｌ、１１２ｒのペアを精度良く認識することが可能となる。

本実施形態において、レーンマーク認識部６２は、左右のレーンマーク１１２ｌ、１１２ｒ間の距離であるレーン幅Ｗｌ（図２Ａ）に応じて幅偏差閾値ＴＨｄｗ及び幅偏差合計閾値ＴＨｄｔｏｔａｌを設定する（図３のＳ７）。これにより、左右のレーンマーク１１２ｌ、１１２ｒにより規定されるレーン幅Ｗｌに合わせて、レーンマーク１１２ｌ、１１２ｒのペアを精度良く認識することが可能となる。

Ｂ．変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。

［Ｂ１．適用対象］
上記実施形態では、走行支援システム１２を車両１０に適用したが（図１）、これに限らず、別の対象に適用してもよい。例えば、走行支援システム１２を航空機等の移動物体に用いることもできる。或いは、走行支援システム１２を、ロボットに適用してもよい。これらの場合、先行車両１０２の代わりに先行する移動物体を用いることとなる。

［Ｂ２．走行支援システム１２の構成］
上記実施形態では、先行車両１０２を検出するため、カメラ４０（カメラ情報Ｉｃ）及びレーダ４２（レーダ情報Ｉｒ）を用いた（図３のＳ１、Ｓ２）。しかしながら、例えば、先行車両１０２を検出する観点からすれば、これに限らない。例えば、先行車両１０２の検出にはカメラ４０及びレーダ４２のいずれか一方のみを用いてもよい。

また、上記実施形態では、先行車両１０２を検出する際、カメラ情報Ｉｃとレーダ情報Ｉｒを別々に用いた（図３のＳ１、Ｓ２）。しかしながら、両者を組み合わせて先行車両１０２を検出してもよい。

［Ｂ３．走行支援ＥＣＵ４４の制御］
図２Ａ〜図２Ｃの例では、レーンマーク１１２ｌ、１１２ｒとして道路の白線（実線及び破線）を想定していた。しかしながら、例えば、走行レーン１１０を規定するレーンマーク１１２ｌ、１１２ｒとしての観点からすれば、これに限らない。例えば、レーンマーク１１２ｌ、１１２ｒは、黄色線、ボッツドッツ（Botts Dots）又はキャッツアイであってもよい。或いは、レーンマーク１１２ｌ、１１２ｒは、ガードレール自体又はガードレールから所定距離に設定される仮想的なマークであってもよい。

上記実施形態では、３ヶ所の基準位置Ｐｒｅｆ（Ｐｒｅｆ１〜Ｐｒｅｆ３）において幅方向の偏差Ｄｗ（Ｄｗ１〜Ｄｗ３）を算出した（図３のＳ１０）。しかしながら、例えば、レーンマーク１１２ｌ、１１２ｒの信頼度Ｄｃを判定する観点からすれば、これに限らない。例えば、基準位置Ｐｒｅｆの数を、１、２又は４以上としてもよい。その場合、基準位置Ｐｒｅｆは、先行車両１０２よりも先の位置に設定してもよい。

上記実施形態では、幅方向の偏差Ｄｗの比較（図３のＳ１２）及び幅偏差合計Ｄｔｏｔａｌの比較の両方を行った（Ｓ１３）。しかしながら、例えば、レーンマーク１１２ｌ、１１２ｒの信頼度Ｄｃを判定する観点からすれば、これに限らない。例えば、偏差Ｄｗの比較及び幅偏差合計Ｄｔｏｔａｌの比較のいずれか一方のみを行ってもよい。或いは、偏差Ｄｗの比較又は合計Ｄｔｏｔａｌの比較の代わりに偏差Ｄｗの平均値の比較を行ってもよい。

上記実施形態では、左右のレーンマーク１１２ｌ、１１２ｒ間の中心位置としてのレーンマーク基準位置Ｐｒｅｆｌｎと、先行車両１０２の中心位置としての先行車両基準位置Ｐｒｅｆｌｖとを比較して幅偏差Ｄｗを算出した（図３のＳ１０）。しかしながら、レーンマーク１１２ｌ、１１２ｒの信頼度Ｄｃを判定する観点からすれば、これに限らない。例えば、左右のレーンマーク１１２ｌ、１１２ｒ間の中心位置から左側又は右側に所定距離ずらした位置をレーンマーク基準位置Ｐｒｅｆｌｎとし、先行車両１０２の中心位置から左側又は右側に前記所定距離ずらした位置を先行車両基準位置Ｐｒｅｆｌｖとしてもよい。

１０…自車 ４０…カメラ（撮像部）
４４…走行支援ＥＣＵ（画像処理装置） ６０…先行車両認識部
６２…レーンマーク認識部 １０２…先行車両
１１２ｌ、１１２ｒ…レーンマーク Ｄｔｏｔａｌ…偏差合計
Ｄｗ…幅方向の偏差 Ｉｍｃ…周辺画像
Ｐｒｅｆ１、Ｐｒｅｆ２、Ｐｒｅｆ３…基準位置
Ｐｒｅｆｌｍ…レーンマーク基準位置 Ｐｒｅｆｌｖ…先行車両基準位置
ＴＨｄｗ…幅偏差閾値
Ｗｌ…レーン幅（レーンマーク間の距離）

Claims (3)

1. 撮像部が撮像した周辺画像から左右のレーンマークを認識するレーンマーク認識部と、
   前記周辺画像から先行車両を認識する先行車両認識部と
   を備える画像処理装置であって、
   前記レーンマーク認識部は、前記左右のレーンマーク間の基準位置と前記先行車両の基準位置との幅方向の偏差自体又は前記偏差に基づく値が閾値内である前記左右のレーンマークを真のレーンマークのペアであると判断する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記レーンマーク認識部は、
   自車の進行方向における複数の位置で前記幅方向の偏差を求め、
   前記幅方向の偏差の合計若しくは平均又は前記複数の位置それぞれにおける前記幅方向の偏差が前記閾値内である前記左右のレーンマークを真のレーンマークのペアと判断する
   ことを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記レーンマーク認識部は、前記左右のレーンマーク間の距離に応じて前記閾値を設定する
   ことを特徴とする画像処理装置。

Images