JP5124875B2 - 車両走行支援装置、車両、車両走行支援プログラム - Google Patents

Description

本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。

車両に搭載されているカメラにより撮像された画像に基づき、この車両が走行している道路における車線、道路鋲などのレーンマークの配置を認識するための技術が提案されている（特許文献１参照）。また、車両からその進行方向を臨んだときに左側および右側のそれぞれにおいて配置が認識されたレーンマークにより挟まれた走行領域から車両が外れないように操舵装置等の動作を制御する技術が提案されている（特許文献２参照）。
特開２００１−０２３０９４号公報 特開２００６−２６４４０５号公報

しかし、左側および右側レーンマークのうち少なくとも一方のレーンマークが途中で認識されなくなった状況において、走行領域の画定および操舵装置等の動作制御が停止されてしまうと、車両の走行が支援されない可能性がある。たとえば、道路の分岐箇所で分岐前道路にある左側および右側レーンマークのそれぞれが異なる分岐後道路に連続している状況で、車両が一の分岐後道路に進入した途端に操舵装置等の動作制御が停止されてしまうと、車両の走行が支援されない可能性がある。

そこで、本発明は、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両の安定な走行を支援する観点から操舵装置等の動作を適当に制御することができる装置等を提供することを解決課題とする。

第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた画像に基づき、前記車両が走行している道路におけるレーンマークの有無および配置を認識し、前記道路の幅方向に離れて配置されている左側および右側レーンマークにより左右が画定される走行領域を認識する第１処理要素と、前記車両が前記第１処理要素により認識された前記走行領域から外れずに走行するように前記車両に搭載されている操舵装置および制動装置のうち一方または両方の動作を制御する第２処理要素とを備えている車両走行支援装置であって、前記第１処理要素が、前記左側および右側レーンマークの前記道路の幅方向の間隔が前記車両から遠くなるにつれて徐々に広がることにより、前記走行領域を画定する観点から不適当な程度に広がっているという第１条件と、前記第１条件が満たされる前後における、前記左側および右側レーンマークのうち前記車両の走行予定道路に沿って伸びる基準レーンマークの曲率が第１閾値以下であること、前記第１条件が満たされる前後における前記曲率の変化率が第２閾値以下であること、および、前記第１条件が満たされる前後における前記基準レーンマークの前記道路の幅方向についてのずれ幅が第３閾値以下であることのうち一部または全部を含む第２条件との両方が満たされている場合、前記基準レーンマークにより一方側が画定され、かつ、前記走行予定道路の幅方向について前記基準レーンマークから離れている仮想レーンマークにより他方側が画定される仮想走行領域を前記走行領域として認識することを特徴とする。

第１発明の車両走行支援装置によれば、第１条件が満たされている場合、すなわち、左側および右側レーンマークの道路幅方向の間隔が車両から遠くなるにつれて徐々に広がることにより、走行領域の画定の観点から不適当な程度に広がっている場合に仮想走行領域が走行領域として設定されうる。「仮想走行領域」とは、左側および右側レーンマークのうち車両の走行予定道路に沿って伸びている「基準レーンマーク」により一方側が画定され、かつ、この走行予定道路の幅方向について基準レーンマークから離れている「仮想レーンマーク」により他方側が画定される領域を意味している。すなわち、車両の走行予定道路の片側にしかレーンマークがないにもかかわらず、この片側レーンマークとしての基準レーンマークとともに走行領域を画定するレーンマークが仮想される。これは、第１条件が満たされている場合、（１）車両の進行方向に伸びる道路が分岐しているために分岐前道路に配置されていた左側および右側レーンマークのそれぞれが異なる分岐後道路に向かって伸びており、かつ、（２）各分岐後道路に向かって伸びている各レーンマークが各道路の片側のレーンマークを継続して構成している蓋然性が高い点に鑑みている。そして、車両が走行領域としての仮想走行領域から外れないように操舵装置および制動装置のうち一方または両方（適宜「操舵装置等」という。）の動作が制御される。これにより、車両が左右両側にレーンマークが配置されていた分岐前道路から左右片側にしかレーンマークが配置されていない分岐後道路に進入するときに、操舵装置等の動作の制御がただちに中断されて車両の走行が支援されなくなる事態が回避されうる。また、第２条件が満たされている場合、すなわち、第１条件が満たされる前後における基準レーンマークの曲率の変化率等に鑑みて、この基準レーンマークが走行領域の左右一方側を画定する基準として信頼するに足る場合に仮想走行領域が走行領域として認識される。そして、前記のように車両が走行領域としての仮想走行領域から外れないように操舵装置等の動作が制御される。以上により、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両の安定な走行を支援する観点から操舵装置等の動作が適当に制御されうる。

なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。

第２発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第１処理要素が前記基準レーンマークの確度を評価し、前記確度が基準値以上であるという第３条件が満たされている場合に前記仮想走行領域を前記走行領域として設定することを特徴とする。

第２発明の車両走行支援装置によれば、第３条件が満たされている場合、すなわち、基準レーンマークの確度が基準値以上である場合にこの基準レーンマークと仮想レーンマークとにより左右両側が画定される仮想走行領域が走行領域として設定される。そして、前記のように車両が走行領域としての仮想走行領域から外れないように操舵装置等の動作が制御される。これにより、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても車両の安定な走行を支援する観点から操舵装置等の動作が適当に制御されうる。

第３発明の車両走行支援装置は、第２発明の車両走行支援装置において、前記第１処理要素が前記車両を基準とする前記基準レーンマークを認識可能な距離と、前記基準レーンマークのエッジ点の個数とのうち一方または両方の関数を前記基準レーンマークの確度として評価することを特徴とする。

第３発明の車両走行支援装置によれば、車両を基準として比較的遠くまで基準レーンマークが認識される場合、または、認識された基準レーンマークのエッジ点の個数が比較的多い場合、基準レーンマークの確度が高く評価される。その一方、車両を基準として比較的近くまでしか基準レーンマークが認識されない場合、または、認識された基準レーンマークのエッジ点の個数が比較的少ない場合、基準レーンマークの認識密度が低く評価される。そして、評価値が高い場合、前記のように車両が走行領域としての仮想走行領域から外れないように操舵装置等の動作が制御される。これにより、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両の安定な走行を支援する観点から操舵装置等の動作が適当に制御されうる。

第４発明の車両は、撮像装置と、操舵装置と、制動装置と、第１発明の車両走行支援装置を備えていることを特徴とする。

第４発明の車両によれば、車両走行支援装置により左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両の安定な走行を支援する観点から操舵装置等の動作が適当に制御されうる。すなわち、道路の分岐箇所で分岐前道路にある左側および右側レーンマークのそれぞれが異なる分岐後道路に連続している状況で、車両が一の分岐後道路に進入した途端に操舵装置等の動作制御が停止されてしまい、車両の走行が支援されなくなる事態が回避されうる。

第５発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。

第５発明の走行支援プログラムによれば、車載のコンピュータを、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両の安定な走行を支援する観点から操舵装置等の動作を適当に制御する車両走行支援装置として機能させることができる。

本発明の車両走行支援装置等の実施形態について図面を用いて説明する。

図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラ、ＣＭＯＳイメージセンサや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４、ヨーレートセンサ１２６およびトルクセンサ１２８等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。トルクセンサ１２８は、特開２００３−１５４９６０号公報に開示されているように、運転者によるステアリングホイールの操作により、ステアリングホイールにステアリング軸等を介して連結されたピニオンに生じる操舵トルクに応じた信号を出力する。操舵装置１４はステアリングホイールの操作により駆動される前輪操舵機構をアクチュエータにより駆動するように構成されている。なお、操舵装置１４により前輪駆動機構に代えてまたは加えて後輪操舵機構が駆動されてもよい。

車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。

車両走行支援装置１０は第１処理要素１１０および第２処理要素１２０を備えている。第１処理要素１１０はカメラ１２を通じて得られた、車両１が走行している道路を示す画像に基づき、車両１が走行している道路におけるレーンマークの有無および配置を認識する。第１処理要素１１０は道路の幅方向に離れて配置されている左側および右側レーンマークにより左右が画定される走行領域を認識する。第１処理要素１１０は左側および右側レーンマークが走行領域を画定するのに不適当な状況において後述する仮想走行領域を走行領域として認識する。第２処理要素１２０は車両１が第１処理要素１１０により認識された走行領域から外れずに走行するように操舵装置１４および制動装置１６のうち一方または両方の動作を制御する。

前記構成の車両１および車両走行支援装置１０の機能について説明する。

まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わす画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）または（ｂ）に示されているような画像（ディジタル画像）が取得される。なお、図４（ａ）は道路が分岐することなく車両１の前方に伸びている状況を表わす画像である一方、図４（ｂ）は道路が車両１の前方で分岐している状況を表わす画像である。

また、第１処理要素１１０により、取得画像に基づき車両座標系（車両１に対して固定されている座標系）または実空間座標系におけるレーンマークの有無および配置が認識される（図３／Ｓ００４）。これにより、画像において輝度が大きく変化するレーンマークのエッジ点の位置が認識される。また、画像座標系から車両座標系への座標変換により、たとえば図４（ａ）および（ｂ）のそれぞれに示されている画像に基づいて図５および図７のそれぞれに示されているような車両座標系におけるエッジ点（黒点）の位置が認識される。車両１の前方および左方向のそれぞれが車両座標系における＋ｘ方向および＋ｙ方向のそれぞれとして定義されている。車両１の左側および右側のそれぞれに配置されているレーンマークが、左側および右側レーンマークのそれぞれとして認識される。ボッツドッツや車線（白線）等のレーンマークは、特開２００６−２６９６０５号公報、特開２００６−３０９４９９号公報または特開２００６−３３１１９３号公報等に開示されている画像処理方法にしたがって認識されうる。

さらに、第１処理要素１１０により、左側および右側レーンマークにより左右が画定される走行領域の認識可否が判定される（図３／Ｓ００６）。左側および右側レーンマークにより画定される走行領域が認識可能であると判定された場合（図３／Ｓ００６‥ＹＥＳ）、当該走行領域が認識される（図３／Ｓ００８）。これにより、たとえば図５に示されている左右両側がレーンマークまたはそのエッジにより画定されている領域（斜線領域）が走行領域として認識される。そして、第２処理要素１２０により車両走行支援制御が実行されることにより、車両１が走行領域から外れずに走行するように操舵装置１４等の動作が制御される（図３／Ｓ０１８）。車両走行支援制御に際して、車速センサ１２２の出力信号に基づいて車両１の速度ｖが算出され、速度ｖおよび所定の時定数τを積算することにより注視点距離Ｌｍが算出される。また、図８に示されているように車両１からその前方（＋ｘ方向）に注視点距離Ｌｍだけ離れた位置において、基準経路上に目標位置ｐが設定される。第１処理要素１１０により認識された走行領域の中心ラインまたは中心ラインから左右いずれかにわずかにオフセットしたラインが基準経路として定義される。さらに、図８に実線で示されているような車両１の現在位置から目標位置ｐまで一定の曲率で変化する経路が目標移動経路として設定される。また、ヨーレートセンサ１２６の出力信号に基づいて車両１のヨーレートが算出され、車速ｖおよびヨーレートに基づき、図８に破線で示されているような車両１の予測移動経路が認識される。さらに、車両１からその前方に注視点距離Ｌｍだけ離れた位置における目標移動経路および予測移動経路のずれＥｍが算出される。そして、車速ｖ、注視点距離Ｌｍおよび当該ずれＥｍに基づき、式（１）にしたがって横加速度補正量Ｇｃｍｐが算出される。

Ｇｃｍｐ＝２Ｅｍ・ｖ²／（Ｌｍ²＋Ｅｍ²） ‥（１）
そして、車両１に横加速度補正量Ｇｃｍｐが生じるように操舵装置１４等の動作が制御される。これにより、車両１が予測移動経路（図８破線参照）ではなく、目標移動経路（図８実線参照）にしたがって走行するように車両１の挙動が制御される。これにより、横位置偏差δｙおよび角度偏差δθが解消されるようにアシストトルクが車両１に生じ、車両１が走行領域から外れないように車両１の走行が支援される。

その一方、左側および右側レーンマークにより画定される走行領域が認識不可能であると判定された場合（図３／Ｓ００６‥ＮＯ）、第１条件が満たされているか否かがさらに判定される（図３／Ｓ０１０）。「第１条件」は、左側および右側レーンマークの道路の幅方向の間隔が車両１から遠くなるにつれて徐々に広がることにより、走行領域を画定する観点から不適当な程度に広がっているという条件である。たとえば、図６（ａ）に示されているように左側および右側レーンマーク（具体的には、各レーンマークのエッジ点により構成される左側ラインおよび右側ライン）のｙ方向の間隔が、車両座標系のｘ座標が大きくなるほど広がっている場合、第１条件が満たされていると判定される。なお、左側および右側レーンマークがなす角度θが、車両座標系のｘ座標が大きくなるほど大きくなっていることが付加的または代替的が第１条件として採用されてもよい。

第１条件が満たされていると判定された場合（図３／Ｓ０１０‥ＹＥＳ）、第１処理要素１１０により第２条件が満たされているか否かが判定される（図３／Ｓ０１２）。「第２条件」は、第１条件が満たされる前後における基準レーンマークの曲率が第１閾値以下であるという条件、当該曲率の変化率が第２閾値以下であるという条件、および、基準レーンマークの道路の幅方向についてのずれ幅が第３閾値以下であるという条件のうち一部または全部である。「基準レーンマーク」は、左側および右側レーンマークのうち、車両１の走行予定道路に沿って伸びているレーンマークを意味する。たとえば、車両１が左側の分岐後道路を走行する予定である場合、図７に示されている左側レーンマークが基準レーンマークとして認識される。なお、車両１の走行予定道路は、車両１に搭載されているナビ装置（図示略）により設定されている推奨ルートに基づいて認識されてもよく、速度センサ１２２およびヨーレートセンサ１２６等の出力に応じた車両１の速度およびヨーレート等に基づいて予測される走行経路に基づいて認識されてもよい。たとえば、時刻ｋにおいて第１条件が満たされていると判定された場合、図６（ｂ）に示されているように時刻ｋ−１までの累積的な過去の画像に基づいて認識された基準レーンマークの曲率等と、時刻ｋの現在の画像に基づいて認識された基準レーンマークの曲率等とが対比される。図６（ｂ）に示されている状況では、過去および現在のそれぞれにおける実空間または車両座標系における基準レーンマークがほぼ直線、すなわち、曲率がほぼ０であり、その変化率もほぼ０であり、かつ、道路の幅方向のずれ幅もほとんどないことから、第２条件は満たされていると判定される。

第２条件が満たされていると判定された場合（図３／Ｓ０１２‥ＹＥＳ）、第１処理要素１１０により第３条件が満たされているか否かが判定される（図３／Ｓ０１４）。「第３条件」は、基準レーンマークの確度が基準値以上であるという条件である。具体的には、図６（ｃ）に示されているように車両１を基準とする基準レーンマークのエッジ点の認識可能距離Ｌおよびエッジ点の個数ｎのうち一方または両方の増加関数が基準レーンマークの確度として認識される。すなわち、基準レーンマークのエッジ点の認識可能距離Ｌが長くなるほど、また、エッジ点の個数ｎが多くなるほど基準レーンマークの確度は高く評価される。

第３条件が満たされていると判定された場合（図３／Ｓ０１４‥ＹＥＳ）、第１処理要素１１０により仮想走行領域が走行領域として認識される（図３／Ｓ０１６）。「仮想走行領域」は基準レーンマークにより一方側が画定され、かつ、車両１の走行予定道路の幅方向について基準レーンマークから離れている仮想レーンマークにより他方側が画定される領域である。これにより、図７に示されているように基準レーンマークまたは左側レーンマーク（実線）により左側が画定され、基準レーンマークから一定間隔だけ右側に離れている仮想レーンマーク（一点鎖線）により左側が画定されている斜線領域が仮想走行領域として認識される。基準レーンマークおよび仮想レーンマークの間隔は、過去に認識された走行領域の道路幅方向の間隔の平均値等が採用されうる。そして、前記のように第２処理要素１２０により、車両走行支援制御が実行され、車両１が走行領域としての仮想走行領域から外れないように操舵装置１４等の動作が制御される（図３／Ｓ０１８）。なお、第１、第２および第３条件のうちいずれかが満たされていないと判定された場合（図３／Ｓ０１０‥ＮＯ，Ｓ０１２‥ＮＯ，Ｓ０１４‥ＮＯ）、走行支援制御が省略される。

前記構成の車両１および車両走行支援装置１０によれば、「第１条件」が満たされている場合、すなわち、左側および右側レーンマークの道路幅方向の間隔が車両から遠くなるにつれて徐々に広がることにより、走行領域の画定の観点から不適当な程度に広がっている場合に仮想走行領域が走行領域として設定されうる（図３／Ｓ０１０‥ＹＥＳ，Ｓ０１６，図６（ａ）および図７参照）。すなわち、車両１の走行予定道路の片側にしかレーンマークがないにもかかわらず、この片側レーンマークとしての基準レーンマークとともに走行領域を画定するレーンマークが仮想される。これは、第１条件が満たされている場合、（１）車両１の進行方向に伸びる道路が分岐しているために分岐前道路に配置されていた左側および右側レーンマークのそれぞれが異なる分岐後道路に向かって伸びており、かつ、（２）各分岐後道路に向かって伸びている各レーンマークが各道路の片側のレーンマークを継続して構成している蓋然性が高い点に鑑みている（図４（ｂ）参照）。また「第２条件」が満たされている場合、すなわち、第１条件が満たされる前後における基準レーンマークの曲率の変化率等に鑑みて、この基準レーンマークが走行領域の左右一方側を画定する基準として信頼するに足る場合に仮想走行領域が走行領域として認識される（図３／Ｓ０１２‥ＹＥＳ，Ｓ０１６，図６（ｂ）参照）。さらに「第３条件」が満たされている場合、すなわち、基準レーンマークの確度が基準値以上である場合にこの基準レーンマークと仮想レーンマークとにより左右両側が画定される仮想走行領域が走行領域として設定される（図３／Ｓ０１４‥ＹＥＳ，Ｓ０１６，図６（ｃ）参照）。そして、車両１が走行領域としての仮想走行領域から外れないように操舵装置１４および制動装置１６のうち一方または両方の動作が制御される（図３／Ｓ０１８，図８参照）。これにより、車両１が左右両側にレーンマークが配置されていた分岐前道路から左右片側にしかレーンマークが配置されていない分岐後道路に進入するときに、操舵装置１４等の動作の制御がただちに中断されて車両１の走行が支援されなくなる事態が回避されうる。すなわち、左側および右側レーンマークにより走行領域の左右両側が画定されるのが不適当な状況においても、車両１の安定な走行を支援する観点から操舵装置１４等の動作が適当に制御されうる。

なお、前記実施形態では第１、第２および第３条件が満たされていることが仮想走行領域の認識要件とされていたが（図３／Ｓ０１０，Ｓ０１２，Ｓ０１４およびＳ０１６参照）、他の実施形態として第１条件、第１および第２条件または第１および第３条件が満たされていることが仮想走行領域の認識要件とされていてもよい。

本発明の車両の構成説明図 本発明の車両走行支援装置の構成説明図 本発明の車両走行支援装置の機能を示すフローチャート （ａ）道路分岐のない状況を表わす画像に関する説明図（ｂ）道路分岐のある状況を表わす画像に関する説明図 レーンマークおよび走行領域の認識方法に関する説明図 （ａ）第１条件に関する説明図（ｂ）第２条件に関する説明図（ｃ）第３条件に関する説明図 仮想レーンマークおよび仮想走行領域の認識方法に関する説明図 車両走行支援制御に関する説明図

符号の説明

１‥車両、１０‥車両走行支援装置、１２‥カメラ（撮像装置）、１４‥操舵装置、１６‥制動装置、１１０‥第１処理要素、１２０‥第２処理要素

Claims (5)

1. 車両に搭載されている撮像装置を通じて得られた画像に基づき、前記車両が走行している道路におけるレーンマークの有無および配置を認識し、前記道路の幅方向に離れて配置されている左側および右側レーンマークにより左右が画定される走行領域を認識する第１処理要素と、
   前記車両が前記第１処理要素により認識された前記走行領域から外れずに走行するように前記車両に搭載されている操舵装置および制動装置のうち一方または両方の動作を制御する第２処理要素とを備えている車両走行支援装置であって、
   前記第１処理要素が、前記左側および右側レーンマークの前記道路の幅方向の間隔が前記車両から遠くなるにつれて徐々に広がることにより、前記走行領域を画定する観点から不適当な程度に広がっているという第１条件と、前記第１条件が満たされる前後における、前記左側および右側レーンマークのうち前記車両の走行予定道路に沿って伸びる基準レーンマークの曲率が第１閾値以下であること、前記第１条件が満たされる前後における前記曲率の変化率が第２閾値以下であること、および、前記第１条件が満たされる前後における前記基準レーンマークの前記道路の幅方向についてのずれ幅が第３閾値以下であることのうち一部または全部を含む第２条件との両方が満たされている場合、前記基準レーンマークにより一方側が画定され、かつ、前記走行予定道路の幅方向について前記基準レーンマークから離れている仮想レーンマークにより他方側が画定される仮想走行領域を前記走行領域として認識することを特徴とする車両走行支援装置。
2. 請求項１記載の車両走行支援装置において、
   前記第１処理要素が前記基準レーンマークの確度を評価し、前記確度が基準値以上であるという第３条件が満たされている場合に前記仮想走行領域を前記走行領域として設定することを特徴とする車両走行支援装置。
3. 請求項２記載の車両走行支援装置において、
   前記第１処理要素が前記車両を基準とする前記基準レーンマークを認識可能な距離と、前記基準レーンマークのエッジ点の個数とのうち一方または両方の関数を前記基準レーンマークの確度として評価することを特徴とする車両走行支援装置。
4. 撮像装置と、操舵装置と、制動装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
5. 車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。