ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーションシステムの構成:
(2)車線案内処理:
(3)既定の規則による案内の画像の生成:
(4)案内画像表示処理:
(5)ふらつき検知処理:
(6)他の実施形態:
(1)ナビゲーションシステムの構成:
図1は、本発明の一実施形態にかかる車線案内システムを含むナビゲーションシステム10の構成を示すブロック図である。ナビゲーションシステム10は、車両に備えられており、CPU,RAM,ROM等を備える制御部20、記録媒体30を備えている。ナビゲーションシステム10は、記録媒体30やROMに記憶されたプログラムを制御部20で実行することができる。記録媒体30には、予め地図情報30aが記録されている。
地図情報30aは、車両の位置や案内対象の施設の特定に利用される情報であり、車両が走行する道路上に設定されたノードの位置等を示すノードデータ,ノード間の道路の形状を特定するための形状補間点の位置等を示す形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置等を示す地物データ等を含んでいる。本実施形態においては、ノードが示す交差点への進入道路の車線構成を示す情報が各リンクデータに対して対応づけられて記録されている。
例えば、あるリンクデータがあるノードへの進入道路を示しており、当該あるノードが示す交差点への進入道路上に3個の車線が存在し、左車線、中央車線、右車線のそれぞれにおいて、直進および左折が可能、直進が可能、右折が可能である場合、これらを示す情報が車線構成を示す情報としてリンクデータに対応づけられている。さらに、本実施形態においては、各車線の区画線の種類を示す情報がリンクデータに対応づけられている。例えば、ある道路上の左車線が左側に存在する実線の区画線と右側に存在する破線の区画線で形成される場合、当該左車線に対して左側に実線の区画線、右側に破線の区画線が存在することを示す情報が対応づけられリンクデータの一部を構成している。
本実施形態における車両は、GPS受信部41と車速センサ42とジャイロセンサ43とカメラ44とヘッドアップディスプレイ45とを備えている。GPS受信部41は、GPS衛星からの電波を受信し、図示しないインタフェースを介して車両の現在地を算出するための信号を出力する。制御部20は、この信号を取得して車両の現在地を取得する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ43は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。制御部20は、この信号を取得して車両の進行方向を取得する。車速センサ42およびジャイロセンサ43等は、車両の走行軌跡を特定するために利用され、本実施形態においては、車両の出発地と走行軌跡とに基づいて現在地が特定され、当該出発地と走行軌跡とに基づいて特定された車両の現在地がGPS受信部41の出力信号に基づいて補正される。
カメラ44は、車両の前方の道路を視野に含むように車両に対して固定された前方カメラ44aと、車両の後方の道路を視野に含むように車両に対して固定された後方カメラ44bとを含む。これらの前方カメラ44aおよび後方カメラ44bは、所定の周期で車両の画像を撮影し、撮影された画像を示す画像情報を生成して出力する。制御部20は、前方カメラ44aおよび後方カメラ44bが出力する画像情報を取得する。
ヘッドアップディスプレイ45は、車両のフロントガラスを通して利用者が視認する実際の前方風景に対して任意の画像を重畳するディスプレイである。本実施形態において、ヘッドアップディスプレイ45は、フロントガラス(またはフロントガラスに設置されたコンバイナ等)に任意の画像を投影し、任意の画像と実際の風景が重畳された状態で利用者が視認できるように構成されていれば良く、その構造は種々の構造を採用可能である。本実施形態においては、フロントガラスの下部に任意の画像を投影することができる。
従って、本実施形態においては、フロントガラス越しに利用者が視認する道路の風景に対して任意の画像を重畳することができる。また、ヘッドアップディスプレイ45が画像をフロントガラスに投影する領域は予め決められた固定の領域であり、画像を表示可能な領域が重畳領域である。すなわち、ヘッドアップディスプレイ45から投射された画像は、フロントガラス越しに視認される前方風景内の重畳領域に重畳される。
制御部20は、図示しないナビゲーションプログラムの機能により図示しないユーザI/F部の入力部を介して運転者による目的地の入力を受け付け、車両の現在地から目的地までの走行予定経路を探索する。また、制御部20は、当該ナビゲーションプログラムの機能により、車両の運転者に対して走行予定経路を指示する経路案内を行うことが可能である。本実施形態においては、当該ナビゲーションプログラムの付加機能として、走行予定経路に従って走行する際に走行することが推奨される推奨車線を案内することが可能であり、当該車線案内は車線案内プログラム21によって実現される。
車線案内プログラム21は、当該案内を実現するため、前方風景画像取得部21aと案内画像生成部21bと画像重畳部21cとを備えている。前方風景画像取得部21aは、車両の前方の風景である前方風景の画像を取得する機能を制御部20に実現させるプログラムモジュールである。本実施形態において、制御部20は、前方カメラ44aが出力する撮影画像の情報を取得することで前方風景の画像を取得する。
本実施形態において、前方カメラ44aの視野には車両の前方の道路と道路の上空とが含まれ、車両が走行している走行車線の左右の領域が含まれる。従って、車両が走行している道路上に、走行車線に隣接する車線が存在する場合には、走行車線と隣接する車線とを含む道路の像と道路の上空の像とを含む前方風景の画像が制御部20によって取得される。
図5Aは、前方カメラ44aによって取得された撮影画像Sの一例を示している。同図5Aに示す撮影画像Sには、車両が走行する走行車線である中央の車線Lcと左右に隣接する車線Ll,車線Lrが含まれている。制御部20は、前方カメラ44aの出力に基づいて、一定期間(例えば100ms)毎に、図5Aに示すような前方風景の画像を取得する。
案内画像生成部21bは、前方風景の一部である重畳領域に含まれる推奨車線の画像の大きさに合わせ、推奨車線内に先端が含まれるように大きさが変化する案内の画像を生成する機能を制御部20に実現させるプログラムモジュールである。本実施形態において,制御部20は、推奨車線の画像を解析するために、走行車線および推奨車線を特定する。具体的には、制御部20は、GPS受信部41,車速センサ42,ジャイロセンサ43の出力信号に基づいて車両の現在地を特定する。
また、制御部20は、地図情報30aを参照し、車両の現在地が存在する道路の車線構成を示す情報に基づいて各車線の区画線を特定する。さらに、制御部20は、後方カメラ44bの撮影画像から車両の左右に存在する車線の区画線を抽出し、線の種類(破線、実線等)を特定する。そして、制御部20は、後方カメラ44bの撮影画像から特定された車両の左右の区画線の種類に基づいて、車線構成が示す情報の中のいずれが走行車線であるのかを特定する。
推奨車線は、車両を支障なく走行させるために選択することが推奨される車線であり、本実施形態においては、走行予定経路に沿って走行するために(右左折や直進等を支障なく行うために)走行すべきである車線が推奨車線となる。そこで、本実施形態において制御部20は、走行予定経路に沿って走行する際に非直進方向に進行する交差点を案内交差点と見なす。また、制御部20は、地図情報30aを参照し、案内交差点に接続された車両の走行道路上の車線構成を示す情報を取得する。
さらに、制御部20は、車線構成を示す情報に基づいて、案内交差点で非直進方向(左折方向や右折方向等)に走行するために走行することが好ましい車線(左折可能車線や右折可能車線)を推奨車線として取得する。なお、本実施形態においては、非直進方向に進行する交差点を案内交差点とし、案内交差点に関する車線案内を行う構成であるが、むろん、走行予定経路に沿って走行する際に直進方向に進行する交差点に関する車線案内、例えば、強制左折車線や強制右折車線以外の車線を推奨車線とする車線案内が行われてもよい。
以上のように、走行予定経路に基づいて推奨車線が特定され、後方カメラ44bの出力に基づいて車両が実際に走行中の走行車線が特定されると、制御部20は、走行車線から見た推奨車線の相対位置を特定することができる。例えば、制御部20は、走行車線と推奨車線とが一致する状態や、推奨車線が走行車線の1個左の車線である状態等を特定することができる。
本実施形態において、推奨車線と走行車線とが一致している場合、車線維持案内を行うために制御部20は、直進方向の矢印を案内の画像として生成する。この場合、矢印の大きさを調整する必要はない。一方、推奨車線と走行車線とが異なる場合、車線変更案内を行うために制御部20は、走行車線から推奨車線に延び、推奨車線の進行方向を指す矢印を案内の画像として生成する。この場合、推奨車線の画像の大きさに基づいて矢印の大きさの調整が行われ得る。
すなわち、前方風景は車両の前方の風景であり、その中で、ヘッドアップディスプレイ45による画像が表示される範囲が重畳領域である。重畳領域内に含まれる車線の大きさは車両の位置や道路の形状等によって変動し得るため、推奨車線と走行車線とが異なる場合、推奨車線の大きさがかなり小さくなる場合もある。そこで、制御部20は、撮影画像内の重畳領域内の像に基づいて、実際の風景の重畳領域に含まれる推奨車線の画像の大きさを特定する。
具体的には、本実施形態において、ヘッドアップディスプレイ45による画像の表示範囲である重畳領域が、実際の風景のどの範囲であるのかが予め特定され、当該重畳領域が前方カメラ44aによる撮影画像内でどの範囲に存在するのかが予め特定されている。このように、実際の風景に対して画像が重畳される重畳領域と一致する領域が撮影画像内で定義可能であるため、本実施形態においては、撮影画像内の当該領域も重畳領域と呼ぶ。図5Aにおいては、撮影画像S内の重畳領域Zを示している。
制御部20は、撮影画像Sから重畳領域Zの画像を抽出することで、前方風景の画像に含まれる重畳領域の画像を特定し、当該重畳領域の画像に含まれる推奨車線の画像を特定する。例えば、走行車線の1個左の車線が推奨車線である場合、制御部20は、重畳領域の画像から区画線を抽出し、車線構成を示す情報に基づいて走行車線の左右の区画線を特定する。さらに、制御部20は、当該走行車線の区画線の左側に存在する車線の画像を推奨車線の画像として特定する。
推奨車線の画像が特定されると、その大きさを評価することができ、その大きさに合わせて案内の画像の大きさ(少なくとも先端の大きさ)を決定することができる。推奨車線の画像の大きさは、案内の画像の大きさを決定できるように評価することができればよく、本実施形態において制御部20は、推奨車線の画像に基づいて仮描画された案内の画像が推奨車線の画像内に含まれるか否かに基づいて推奨車線の画像の大きさを評価する。
具体的には、推奨車線の中央線に平行であり、かつ、進行方向前方に向くように既定の規則によって描画される案内の画像の先端が重畳領域内の推奨車線の風景に含まれるならば、制御部20は、当該既定の規則によって案内の画像を生成する。一方、当該既定の規則によって描画される先端が重畳領域内の推奨車線の風景に含まれないならば、制御部20は、区画線に平行、かつ、進行方向前方に向いた先端が推奨車線の風景に含まれるように案内の画像を生成する。
本実施形態において、既定の規則は、推奨車線の中央線に平行であり、かつ、進行方向前方に向く矢印を案内の画像として描画する規則であり、高い視認性が確保されるように予め規則が決められている(具体的な手法の例は後述)。本実施形態において、通常は、当該既定の規則によって先端が描画され、描画された結果が推奨車線の風景内に重畳表示される。この構成であれば、通常は、既定の規則通りに案内の画像が描画されて表示されるため、推奨車線の中央線に沿って延びる視認性の高い矢印を前方風景に重畳することができる。
一方、既定の規則通りに案内の画像が描画された場合に、先端の少なくとも一部が重畳領域内の推奨車線の風景からはみ出す場合、既定の規則で描画された案内の画像は、視認性が悪い、誤解を与えやすい、などと考えられる。そこで、既定の規則通りに案内の画像が描画された場合に、先端の少なくとも一部が重畳領域内の推奨車線の風景からはみ出す場合、制御部20は、既定の規則と異なる他の規則で案内の画像が生成される。
当該他の規則は、推奨車線と走行車線との間の区画線に平行であり、かつ、進行方向前方に向く矢印を案内の画像として描画する規則である。本実施形態においては、当該他の規則により、推奨車線の画像の大きさに合わせて先端の形状が変化し、推奨車線の風景に矢印の先端が含まれるように案内の画像が生成される(詳細は後述)。この構成によれば、推奨車線から走行車線に向かうのではなく、推奨車線上の走行を継続するような印象を与える案内の画像を生成することができる。
画像重畳部21cは、案内の画像を推奨車線の風景に重畳する機能を制御部20に実現させるプログラムモジュールである。本実施形態において、制御部20は、ヘッドアップディスプレイ45を制御し、案内画像生成部21bの処理によって生成された案内の画像を表示させる。この結果、推奨車線の風景に案内の画像が重ねられた状態で、利用者が当該風景と案内の画像とを視認できるように案内の画像を表示することができる。
以上のような本実施形態によれば、推奨車線と走行車線とが異なる場合に推奨車線を案内する案内の画像が、重畳領域に含まれる推奨車線の画像の大きさに合わせて変化する。また、当該変化は、推奨車線内に案内の画像の先端が含まれるように実施される。従って、重畳領域に含まれる推奨車線の画像が狭い場合には案内の画像が小さくなり、当該重畳領域に含まれる推奨車線の画像が広い場合には案内の画像が大きくなる。この結果、案内の画像を重畳する重畳領域が狭くても視認できるように案内の画像を表示することが可能である。
(2)車線案内処理:
次に、車線案内プログラム21による車線案内処理を説明する。図2は車線案内プログラム21が実行する車線案内処理を示すフローチャートである。制御部20は、走行予定経路が特定された状態で車両が走行を開始すると車線案内処理の実行を開始し、車線案内処理が最後まで実行されると、一定期間毎(例えば、100ms)に再度車線案内処理の実行を開始する。
車線案内処理において、制御部20は、前方風景画像取得部21aの処理により、前方画像を取得する(ステップS100)。すなわち、制御部20は、前方カメラ44aが出力する前方風景の画像を取得し、図示しないRAM等に記録する。次に、制御部20は、案内画像生成部21bの処理により、走行車線および推奨車線を特定する(ステップS105)。すなわち、制御部20は、地図情報30aを参照し、GPS受信部41,車速センサ42,ジャイロセンサ43の出力信号に基づいて車両の現在地を特定する。さらに、制御部20は、後方カメラ44bの出力信号に基づいて車両の左右に存在する車量に最も近い2個の区画線の画像を特定する。
そして、制御部20は、地図情報30aから、車両の現在地が存在する道路の車線構成を示す情報を取得し、取得された情報と、車両の左右に存在する区画線の画像とを比較し、走行車線を特定する。さらに、制御部20は、走行予定経路および車両の現在地に基づいて、車両の前方において最も近い案内交差点を特定する。そして、制御部20は、地図情報30aに含まれる車線構成を示す情報を参照し、当該案内交差点を支障なく通過するために推奨される推奨車線を特定する。
次に、制御部20は、案内画像生成部21bの処理により、推奨車線と走行車線とが異なるか否かを判定する(ステップS110)。すなわち、制御部20は、ステップS105で取得された走行車線と推奨車線とは、車線構成を示す情報に基づいて特定されているため、両車線が車線構成を示す情報で同一の位置に存在する車線であれば両車線は一致し、異なる位置に存在する車線であれば両車線は異なると判定される。
ステップS110において、推奨車線と走行車線とが異なると判定されない場合、すなわち、両車線が一致している場合、制御部20は、案内画像生成部21bおよび画像重畳部21cの処理により、車線維持案内を実行する(ステップS115)。すなわち、走行車線と推奨車線とが一致している場合、車線変更は必要にならないため、制御部20は、走行車線上にまっすぐ延びる矢印を案内の画像として生成する。当該案内の画像は予め定義された固定的な画像であってもよいし、走行車線の画像に基づいて生成されてもよく、種々の構成を採用可能である。
一方、ステップS110において、推奨車線と走行車線とが異なると判定された場合、制御部20は、案内画像生成部21bの処理により車線変更が検知されたか否かを判定する(ステップS120)。すなわち、制御部20は、後方カメラ44bが出力した一定期間の画像から区画線の画像を抽出し、区画線の移動に基づいて車両が車線を跨いで移動した車線変更が発生したか否かを判定する。
ステップS120において、車線変更が検知されたと判定されない場合、すなわち、走行車線から推奨車線への車線変更が必要な場合、制御部20は、案内画像生成部21bの処理により、既定の規則で案内の画像を生成する(ステップS125)。当該処理は後に詳述する。既定の規則で案内の画像を生成する処理が終了すると、推奨車線の中央線に平行な先端を有する矢印であって、走行車線から推奨車線に向けて延びる矢印が案内の画像として生成される。
次に、制御部20は、案内画像生成部21bおよび画像重畳部21cの処理により、当該既定の規則で生成された案内の画像を利用して案内画像表示処理を実行する(ステップS130)。当該処理は後に詳述するが、ここで制御部20は、既定の規則によって描画された案内の画像の先端が重畳領域内の推奨車線の風景に含まれるならば、既定の規則によって生成された案内の画像を利用するように決定する。既定の規則によって描画された案内の画像の先端が重畳領域内の推奨車線の風景からはみ出す場合、他の規則によって生成された案内の画像を利用するように決定する。そして、制御部20は、ヘッドアップディスプレイ45を制御し、決定された案内の画像を表示させる。
一方、ステップS120において、車線変更が検知されたと判定された場合、制御部20は、案内画像生成部21bおよび画像重畳部21cの処理により、車線変更案内を車線維持案内に変更する(ステップS135)。すなわち、制御部20は、直前までステップS125,S130等の処理によって車線変更の案内画像が表示されていた状態から、ステップS115と同等の案内画像が表示される状態に切り替える。むろん、この際、車線変更の過程において車線変更案内のための矢印から車線維持案内のための矢印へ、徐々に変化してもよい。
次に、制御部20は、ふらつき検知処理を実行する(ステップS140)。すなわち、制御部20は、車両が左右に微少量移動するふらつきが発生しているか否かを検知する(詳細は後述)。そして、制御部20は、ふらつきが検知されたか否かを判定し(ステップS145)、ふらつき検知されたと判定されなくなるまでステップS140,S145の判定を繰り返す。すなわち、ふらつきが検知されている間は、処理をループさせ、案内の画像を変化させない。ふらつきが検知されない場合、制御部20は、案内の画像を再描画させるため、車線案内処理を終了し、一定期間後に再度車線案内処理を実行する。
(3)既定の規則による案内の画像の生成:
次に、ステップS125における案内画像の生成を説明する。図3Aは、ステップS125において既定の規則に従って案内の画像を生成する処理である。当該既定の規則においては、重畳領域に含まれる推奨車線の大きさを考慮せず、撮影画像に含まれる推奨車線の画像に基づいて案内の画像を生成する。
当該処理において、制御部20は、案内画像生成部21bの処理により、推奨車線の区画線を特定する(ステップS200)。すなわち、ステップS105において、走行車線から見た推奨車線の位置関係は特定されている(例えば、走行車線の左隣など)ため、制御部20は、前方カメラ44aの出力画像から当該位置関係に存在する推奨車線を特定する。そして、制御部20は、撮影画像から、推奨車線の左右に存在する区画線(の位置)を特定する。
図5Aおよび図6Aは、撮影画像Sの例を示している。図5Aおよび図6Aに示す撮影画像S内には重畳領域Zが示されているが、図3Aに示す既定の規則においては当該重畳領域内の推奨車線の大きさは考慮されない。従って、いずれの例であっても撮影画像Sの全体を解析対象として案内の画像を生成するための処理が行われる。以後においては、図6Aに示す例を利用して図3Aに示す既定の規則を説明する。
図6Bは、説明のために図6Aの重畳領域Zおよびその周辺の画像を抜き出して示す図である。なお、図5Bや図6Bにおいて、実際の風景や撮影画像内に存在しない地物、すなわち、説明のための補助線は一点鎖線で示されている。図6Aに示す例において、推奨車線が走行車線Lcの左側の車線Llである場合、ステップS200において制御部20は、撮影画像Sから図6Bに示す区画線Lpr,Lplを特定する。そして、制御部20は、各区各線の内側の端に相当する線L1,L2の角度と線L1,L2が通る一点を特定するなどして各区画線の位置を特定する。
次に、制御部20は、案内画像生成部21bの処理により、推奨車線および走行車線の中央線を取得する(ステップS205)。ここでは、撮影画像Sに基づいて推奨車線の中央を通る線と走行車線の中央を通る線を特定できればよく、当該中央線は近似的に求められてもよい。中央線を取得するための処理は、種々の処理を採用可能であり、例えば、2カ所の高さH1,H2において、区画線の中央点を特定し、各中央点を結ぶ線を中央線と見なす構成を採用可能である。図6Bに示す例において制御部20は、高さH1において、区画線の端の線L1,L2からの距離が同一の距離Lh1である点を中央点P1とみなし、高さH2において、区画線の端の線L1,L2からの距離が同一の距離Lh2である点を中央点P2とみなす。そして、制御部20は、中央点P1,P2を結ぶ線を中央線Lolとして取得する。同様にして制御部20は、走行車線の中央線Locを取得する。
次に、制御部20は、推奨車線の区画線および中央線と、走行車線の中央線とに基づいて案内の画像を生成する(ステップS210)。制御部20は、予め決められた既定の規則によって案内の画像としての矢印の画像を生成する。既定の規則は、矢印が描画できる規則であれば良く、種々の規則を採用可能である。本実施形態において制御部20は、既定の高さの位置に矢印の先端(三角形の頂点)と三角形の底辺が存在し、推奨車線の中央線に矢印の先端が平行であるように矢印を描画する。
また、制御部20は、走行車線の既定の高さから走行車線の中央線Lorに沿って前方に延びる走行車線側案内線(幅を有する線)を描画する。そして、制御部20は、推奨車線内の矢印の画像と走行車線側案内線とを曲線(例えばスプライン曲線等)によって結合することにより、矢印の画像を生成する。図6Bにはこのようにして描画された画像の例が示されている。この例において、矢印の画像は中央点P1に先端が配置され、中央線Lolに平行な方向に延びるとともに高さH2において矢印の三角形の底辺が形成され、その後、一定幅の線が中央線Lolに沿って位置P3まで延びている。位置P3より進行方向後方には、曲線の結合部Lbが連結され、さらに、結合部Lbの端部には走行車線側案内線Lgが連結されている。
なお、撮影画像Sには推奨車線の左右の区画線が含まれるため、以上のような既定の規則は、図5Bのように重畳領域内の推奨車線の画像が小さくても、その影響を受けずに実行することができる。従って、図5Aのような撮影画像Sから図5Bのような重畳領域が抽出された場合であっても、制御部20は、既定の規則によって案内の画像としての矢印の画像を描画することができる。しかし、この場合、矢印の画像は、推奨車線の中央線等に基づいて生成されるため、重畳領域Zから矢印の画像がはみ出す可能性がある。そこで、このような状況が発生しているか否かを判定して表示を行うために、制御部20は、ステップS130の案内画像表示処理を実行する。
(4)案内画像表示処理:
図4は、ステップS130の案内画像表示処理を示すフローチャートである。案内画像表示処理において、制御部20は、重畳領域内の推奨車線に矢印の先端が含まれるか否かを判定する(ステップS300)。すなわち、制御部20は、図3Aに示す既定の規則で生成された案内の画像を撮影画像S内に重畳した場合に、重畳領域Zの境界と推奨車線の区画線との間に矢印の先端(結合部を除く部分)が含まれ、はみ出していない場合に重畳領域内の推奨車線に矢印の先端が含まれると判定する。
ステップS300において、重畳領域内の推奨車線に矢印の先端が含まれると判定された場合、制御部20は、生成済の画像を重畳表示させる(ステップS305)。すなわち、制御部20は、図3Aに示す既定の規則で生成された案内の画像をヘッドアップディスプレイ45に対して出力し、重畳領域に当該画像を表示させる。この結果、例えば、図6Bに示す重畳領域Z内に示す矢印の画像が車両のフロントガラスに投影され、利用者は、当該矢印の画像と前方の風景とを同時に視認することができる。
一方、ステップS300において、重畳領域内の推奨車線に矢印の先端が含まれると判定されない場合、制御部20は、推奨車線の区画線に平行な先端を有する矢印を重畳領域内に表示するための処理を実行する。本実施形態においては、車両の前方の勾配によって推奨車線の区画線が変化する場合、その変化を推定して矢印の先端の向きを決定する。このために、制御部20は、案内画像生成部21bの処理により、前方に勾配が存在するか否かを判定する(ステップS310)。すなわち、車両の前方に勾配が存在する場合、勾配に応じて推奨車線の区画線の傾きが変化する。
そして、前方風景の画像を解析すれば、車両の前進に伴う区画線の角度の変化を推定することが可能である。図5Cは、前方が登り勾配の道路である場合の撮影画像Sの例を示している。このように、推奨車線の区画線は、勾配に応じて変化する。そして、撮影画像S内の区画線の角度と、車両の車速等に基づいて、案内の画像が表示されるタイミングにおける重畳領域内の区画線の角度を推定することができる。そこで、制御部20は、撮影画像Sから抽出された区画線が直線であるか否かを判定し、直線でなければ車両の前方に勾配が存在すると判定する。むろん、勾配の有無は他の手法で推定されてもよく、例えば、地図情報30aに道路の標高等を示す情報が記録されている場合、制御部20は、当該標高の変化に基づいて勾配の有無を判定してもよい。
ステップS310において、前方に勾配が存在すると判定されない場合、制御部20は、推奨車線の区画線の角度を矢印の先端の角度に設定する(ステップS315)。すなわち、ステップS105において、走行車線から見た推奨車線の位置関係は特定されている(例えば、走行車線の左隣など)ため、制御部20は、前方カメラ44aの出力画像から当該位置関係に存在する推奨車線を特定する。そして、制御部20は、撮影画像から、推奨車線と走行車線との間に存在する区画線を特定し、その角度を矢印の先端の角度に設定する。図5Aに示す撮影画像Sの例であれば、制御部20は、推奨車線Llの右側に存在する区画線の角度を補助線L2の角度α等によって特定し、矢印の先端の角度とみなす。
一方、ステップS310において、前方に勾配が存在すると判定された場合、制御部20は、前方の区画線の角度を取得する(ステップS320)。すなわち、制御部20は、ステップS105において特定された推奨車線の位置に基づいて撮影画像S内の推奨車線を特定する。そして、制御部20は、当該推奨車線の区画線の角度と角度の変化点を取得する。例えば、図5Cに示す例において、制御部20は、区画線の角度β,γと角度の変化点Paとを取得する。
次に、制御部20は、取得された角度から推定される角度を矢印の先端の角度に設定する(ステップS325)。すなわち、制御部20は、推奨車線の区画線の角度と、車両の車速等に基づいて、次に案内の画像が表示されるタイミングにおける推奨車線の位置および角度を推定する。具体的には、車両の車速等に基づいて、次に案内の画像が表示されるタイミングにおいて重畳領域に存在する推奨車線の区画線の角度を推定する。当該推定は、前方における区画線の角度と当該区画線が重畳領域に達した段階での角度とが撮影画像内の位置毎に予め特定され、マップ化されるなどの構成によって実現可能である。
次に案内の画像が表示されるタイミングにおいて重畳領域に存在する推奨車線の区画線の角度が推定されると、制御部20は、当該角度を矢印の先端の角度に設定する。図5Cに示す撮影画像Sの例において、次に案内の画像が表示されるタイミングにおける推奨車線の位置および角度が、角度γに依存しているならば、制御部20は、当該角度γに基づいて推定された角度を矢印の先端の角度とみなす。
次に、制御部20は、設定された角度の先端が推奨車線の画像内に含まれるように先端の画像を生成する(ステップS330)。すなわち、制御部20は、推奨車線と走行車線との間の区画線の位置および角度に基づいて、推奨車線と車両の走行車線との間の区画線に平行であり、かつ、重畳領域内における推奨車線の画像に含まれるように先端の画像を生成する。
このために、制御部20は、重畳領域内の推奨車線の大きさに基づいて区画線に平行な仮想線を設定する。当該仮想線は、当該仮想線を中心にした矢印が重畳領域内の推奨車線内の画像からはみ出さないような位置に設定されればよく、重畳領域内の推奨車線の大きさに基づいて位置が決定される。図5Bは、図5Aに示す撮影画像Sから抽出された重畳領域Zを示しており、同図5Bには仮想線Lvが示されている。当該仮想線Lvの角度は、区画線の角度αと同一であり、位置(横方向の位置)は、重畳領域内の推奨車線の画像の大きさ(例えば、幅W等)によって決められる。
次に、制御部20は、仮想線Lvが中心線となる矢印の先端の画像を生成する。当該矢印の画像の生成は、種々の手法で実行されてよく、例えば、予め定義された2カ所の高さH1,H2において、制御部20が、上方に位置する高さH1に矢印の先端A1を配置し、下方に位置する高さH2に矢印の三角形の底辺A2を配置する。また、制御部20は、矢印の三角形の底辺において区画線側に存在する頂点A3の位置を区画線から特定の距離の位置に設定する。図5Bにおいては、区画線と仮想線Lvとの距離Laの1/2の位置が頂点A3の位置である。さらに、制御部20は、仮想線Lvを中心に対象の位置に三角形の底辺の反対側の頂点を設定する。制御部20は、以上のようにして設定された三角形の頂点を結び、さらに、推奨車線の進行方向後方に向けて仮想線Lvに沿って位置Peまで延びる矢印の先端の画像を生成する。従って、矢印の先端は仮想線Lvおよび推奨車線の区画線に平行になる。
矢印の画像が生成されると、制御部20は、結合部、走行車線側案内線を結合して案内の画像を生成する(ステップS335)。すなわち、制御部20は、走行車線の既定の高さから走行車線の中央線Lorに沿って前方に延びる走行車線側案内線(幅を有する線)を描画する。そして、制御部20は、推奨車線内の矢印の画像と走行車線側案内線とを曲線(例えばスプライン曲線等)によって結合することにより、矢印の画像を生成する。例えば、図5Bに示す例であれば、制御部20は、矢印の画像の後端である位置Peより進行方向後方に、曲線の結合部Lbを連結し、さらに、結合部Lbの端部に走行車線側案内線Lgを連結する。
次に、制御部20は、生成された案内の画像を重畳表示させる(ステップS340)。すなわち、制御部20は、ステップS335で生成された案内の画像をヘッドアップディスプレイ45に対して出力し、重畳領域に当該画像を表示させる。この結果、例えば、図5Bに示す重畳領域Z内に示す矢印の画像が車両のフロントガラスに投影され、利用者は、当該矢印の画像と前方の風景とを同時に視認することができる。
以上の構成によれば、案内の画像である線分全体で、走行車線から推奨車線に移動した後、推奨車線を継続して走行することを促す案内を行うことができる。また、図6Bに示す案内の画像において矢印の先端部分は区画線と非平行であり、中央線に平行である。このような表示が図5Bに示すように推奨車線の画像が小さい場合に実行されると、利用者は、矢印の画像が推奨車線から走行車線への移動を示唆していると感じる場合もある。この場合、推奨車線での走行を継続してよいのか否か利用者に疑義を生じさせてしまう。
しかし、図5Bに示す案内の画像のように、案内の画像の先端が推奨車線と車両の走行車線との間の区画線に平行になるように構成すれば、案内の画像が、推奨車線から走行車線に向かうように指示しているという印象を利用者に対して与えることはない。従って、案内の画像により、推奨車線での走行を継続するように案内することができる。さらに、勾配によって区画線の角度が変化する場合であっても、その変化は予め推定され、その変化に応じた案内の画像が生成される。従って、本実施形態によれば、区画線の変化に追従し(遅れることなく)案内の画像を変化させることができる。
(5)ふらつき検知処理:
図3Bは、ステップS140に示すふらつき検知処理を示すフローチャートである。ふらつき検知処理において、制御部20は、車線変更案内と車線維持案内とが変化したか否かを判定する(ステップS400)。すなわち、制御部20は、前回案内の画像が表示された場合と、その一回前に案内の画像が表示された場合との、一方がステップS115の車線維持案内であり、他方がステップS130の案内画像表示処理(車線変更案内)であった場合、車線変更案内と車線維持案内とが変化したと判定する。
ステップS400において、車線変更案内と車線維持案内とが変化したと判定されない場合、制御部20は、車両の左右変動が無視すべきふらつきではないと見なし、ふらつき非検知に設定する(ステップS405)。一方、ステップS400において、車線変更案内と車線維持案内とが変化したと判定されない場合、制御部20は、区画線の位置・角度の変化が閾値以内であるか否かを判定する(ステップS410)。すなわち、制御部20は、後方カメラ44b(前方カメラ44aでもよい)が一定期間に出力する撮影画像に基づいて車線の区画線を特定し、当該区画線の位置および角度を各撮影画像に基づいて特定する。そして、一定期間にわたる区画線の位置および角度を比較し、その変化が予め決められた閾値以内であるか否かを判定する。
ステップS410において、区画線の位置・角度の変化が閾値以内であると判定されない場合、制御部20は、車両の左右変動が無視すべきふらつきではないと見なし、ステップS405を実行する。一方、ステップS410において、区画線の位置・角度の変化が閾値以内であると判定された場合、制御部20は、車両の左右変動が無視すべきふらつきであると見なし、ふらつき検知に設定する(ステップS415)。
(6)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、車線案内システムは、車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置(例えば、クライアントとサーバ)によって実現されるシステムであっても良い。
車線案内システムを構成する前方風景画像取得部21aと案内画像生成部21bと画像重畳部21cの少なくとも一部が複数の装置に分かれて存在する構成としては、種々の構成が想定される。例えば、サーバによって案内の画像を生成し、ナビゲーションシステムに送信して表示させる構成等であってもよい。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、ふらつき検知処理や前方の勾配に基づく区画線の角度の推定等が省略された構成が採用されてもよい。また、既定の規則によって描画される案内の画像における先端の傾きを、勾配に基づいて推定された区画線の角度によって補正する構成であってもよい。
前方風景画像取得部は、車両の前方の風景である前方風景の画像を取得することができればよい。すなわち、前方風景画像取得部は、カメラ等のセンサによって車両の前方の風景を撮影し、画像として取得することができればよい。なお、当該画像は推奨車線が含まれ得るように取得される。従って、検出範囲に推奨車線となり得る車線が含まれるようにカメラ等のセンサが車両に取り付けられる。車両が走行する走行車線の左右に存在する車線のいずれかが推奨車線となり得る場合、左右の車線の少なくとも一部が画像に含まれるように画像が取得される。
案内画像生成部は、前方風景の一部である重畳領域に含まれる推奨車線の画像の大きさに合わせ、推奨車線内に先端が含まれるように大きさが変化する案内の画像を生成することができればよい。すなわち、前方風景は車両の前方の風景であり、その中の一部が画像等の任意の情報を重畳可能な重畳領域として予め設定される。案内画像生成部は、前方風景の画像に含まれる重畳領域を特定し、当該重畳領域内に含まれる推奨車線の画像を特定する。
推奨車線は、車両を支障なく走行させるために選択することが推奨される車線であり、種々の要素によって特定されてよい。例えば、目的地までの走行予定経路が設定されている場合、当該走行予定経路に沿って走行するために(右左折や直進等を支障なく行うために)特定の車線を走行すべきであれば、当該車線が推奨車線となる。また、道路上の特定の車線で工事や通行止め等が行われている場合、当該特定の車線と異なる車線が推奨車線となる。
推奨車線の画像は種々の手法で特定されてよく、区画線の画像に基づいて推奨車線が特定される構成を採用可能である。例えば、案内画像生成部は、重畳領域内の画像に含まれる区画線を特定し、当該区画線に基づいて車両が走行している走行車線と当該走行車線に対して左右に隣接する車線の画像を特定する。そして、車両が走行している走行車線の左側(または右側)の車線が推奨車線である場合、案内画像生成部は、走行車線の左側(または右側)の車線の画像を推奨車線の画像として特定する。
推奨車線の画像が特定されると、その大きさを評価することができ、その大きさに合わせて案内の画像の大きさ(少なくとも先端の大きさ)を決定することができる。推奨車線の画像の大きさは、案内の画像の大きさを決定できるように評価することができればよく、大きさの連続的な変化が評価されてもよいし、1個以上の閾値と面積との比較等によって大きさの段階的な変化が評価されてもよい。前者であれば、案内の画像の大きさが連続的に(微少な変化単位によって)変化するように構成可能であり、後者であれば案内の画像の大きさが2段階以上に変化するように構成可能である。
なお、推奨車線の画像の大きさは、面積等によって直接的に評価されてもよいし、区画線や中央線の位置等によって間接的に評価されてもよいし、推奨車線の画像に基づいて仮描画された案内の画像が推奨車線の画像内に含まれるか否か等に基づいて間接的に評価されてもよい。
案内の画像の大きさは、案内の画像の先端が推奨車線内に含まれるように変化すればよい。従って、案内の画像の先端のみが変化してもよいし、案内の画像の先端以外の部分が変化してもよい。いずれにしても、重畳領域に含まれる推奨車線の画像の大きさが特定されると、当該推奨車線内の画像の大きさに基づいて、推奨車線内に先端が含まれるように案内の画像が生成される。
画像重畳部は、案内の画像を推奨車線の風景に重畳することができればよい。すなわち、画像重畳部は、推奨車線の風景に重ねられた状態で、利用者が当該風景と案内の画像とを視認できるように案内の画像を表示することができればよい。画像の重畳は、実際の風景を利用して行われてもよいし、ディスプレイ上の風景に対して行われてもよい。前者は,例えば、車両のフロントガラスを通して利用者が視認する実際の前方風景に対して案内の画像が重畳されるヘッドアップディスプレイ等を利用する構成が挙げられる。後者は、ナビゲーションシステムや携帯端末等のディスプレイに前方風景の画像が表示され、さらに当該画像内に案内の画像が重畳される構成等が挙げられる。
案内の画像は、先端が推奨車線の風景に重畳されることによって推奨される車線を示す画像であれば良く、種々の態様が挙げられる。このような案内の画像としては、例えば、先端が任意の形状をした線分が挙げられる。先端の形状は任意であり、推奨車線への車線変更を示す案内の画像を定義するのであれば、例えば、先端の形状が矢印の先端である画像を案内の画像とすることが可能である。
さらに、案内の画像は、利用者に違和感を与えないような形状であることが好ましく、例えば、推奨車線と車両の走行車線との間の区画線に平行である先端を備える画像であってもよい。すなわち、案内の画像によって推奨車線への車線変更を示す場合、走行車線から推奨車線に移動した後、推奨車線を継続して走行することが示唆されることが好ましい。そして、推奨車線内で案内の画像が推奨車線の前後に長い部分を有する場合、区画線と非平行な部分が存在すると、推奨車線での走行を継続してよいのか否か疑義を生じさせてしまう場合がある。
例えば、前方風景内で各車線が消失点に向かって延びている場合に、推奨車線の中央線に平行となるように矢印等の線分が重畳されると、当該矢印等の線分は推奨車線の区画線よりも走行車線側に傾いた線分となる。従って、利用者によっては、このような線分が推奨車線から走行車線への移動を示唆していると感じる場合もある。そこで、案内の画像の先端が、推奨車線と車両の走行車線との間の区画線に平行になるように構成すれば、案内の画像が、推奨車線から走行車線に向かうように指示しているという印象を利用者に対して与えることはない。従って、案内の画像により、推奨車線での走行を継続するように案内することができる。
さらに、案内の画像が、進行方向前方に向いている先端と、車両の走行車線の中央線に平行に延びる走行車線側案内線と、先端と走行車線側案内線とを結ぶ結合線とを備えていてもよい。すなわち、案内の画像が、走行車線側案内線から結合線を経て推奨車線内の先端まで延びる画像である構成であってもよい。この構成によれば、案内の画像である線分全体で走行車線から推奨車線への車線変更を促す案内を行うことができる。
さらに、重畳領域に含まれる推奨車線の画像の大きさを段階的に評価する構成として、既定の規則での描画が可能か否かによって評価する構成を採用してもよい。このような構成としては、例えば、推奨車線の中央線に平行であり、かつ、進行方向前方に向くように既定の規則によって描画される先端が重畳領域内の推奨車線の風景に含まれるならば、既定の規則によって案内の画像が生成され、既定の規則によって描画される先端が重畳領域内の推奨車線の風景に含まれないならば、区画線に平行、かつ、進行方向前方に向いた先端が推奨車線の風景に含まれるように案内の画像が生成される構成であってもよい。
すなわち、通常は、既定の規則によって先端が描画され、描画された結果が推奨車線の風景内に重畳表示される。この構成であれば、通常は、既定の規則通りに案内の画像が描画されて表示されるため、高い視認性の確保など、既定の規則に反映された既定の効果が確実に得られる状態で先端を風景内に重畳表示されることができる。一方、既定の規則通りに案内の画像が描画された場合に、先端の少なくとも一部が重畳領域内の推奨車線の風景からはみ出す場合、既定の規則で描画された案内の画像は、視認性が悪い、誤解を与えやすい、などと考えられる。
そこで、既定の規則通りに案内の画像が描画された場合に、先端の少なくとも一部が重畳領域内の推奨車線の風景からはみ出す場合、既定の規則と異なる他の規則(すなわち、推奨車線の画像の大きさに合わせるための規則)で案内の画像が生成される。このような他の規則としては、種々の規則を採用可能であるが、先端が区画線に平行であり、かつ、進行方向前方に向いている案内の画像を生成する構成を採用してもよい。この構成によれば、推奨車線から走行車線に向かうのではなく、推奨車線上の走行を継続するような印象を与える案内の画像を生成することができる。
さらに、重畳領域に含まれる推奨車線の画像の面積が閾値よりも大きいならば、推奨車線の中央線に平行、かつ、進行方向前方に向いた先端を含む案内の画像が生成され、重畳領域に含まれる推奨車線の画像の面積が閾値以下であるならば、区画線に平行、かつ、進行方向前方に向いた先端を含む案内の画像が生成される構成であってもよい。すなわち、重畳領域に含まれる推奨車線の画像の面積によって、重畳領域に含まれる推奨車線の画像の大きさが評価されてもよい。
そして、推奨車線の中央線に平行、かつ、進行方向前方に向いた先端を含む案内の画像は、先端が区画線と非平行になる。従って、推奨車線の中央線を含むある程度広いスペースがないと、推奨車線の中央線に平行な先端は、推奨車線の画像に重畳された場合に推奨車線から走行車線に向かうような印象を与えかねない。一方、推奨車線の中央線を含むある程度広いスペースが表示される場合、推奨車線の中央線に平行な線は、推奨車線の画像に重畳された場合に推奨車線の延長方向に延びるという印象を与える。そこで、重畳領域に含まれる推奨車線の画像の面積が閾値よりも大きい場合に、案内の画像を、推奨車線の中央線に平行、かつ、進行方向前方に向いた先端を含む画像とすれば、推奨車線を維持する案内を、誤解を与えることなく行うことが可能になる。
推奨車線の画像が狭い場合、推奨車線の中央線に平行な先端は、推奨車線の画像に重畳された場合に推奨車線から走行車線に向かうような印象を与えかねないため、区画線に平行な先端とする。この結果、推奨車線から走行車線に向かうのではなく、推奨車線上の走行を継続するような印象を与える案内の画像を生成することができる。この構成は、例えば、上述の実施形態におけるステップS300を変更することによって実現可能である。具体的には、ステップS300において、制御部20が重畳領域に含まれる推奨車線の画像の面積(例えば、図5Bにおける三角形XYZの面積)を取得し、当該面積が閾値以下である場合にステップS310以降、閾値より大きい場合にステップS305以降の処理を実行する構成によって実現可能である。面積と比較される閾値は予め決められていればよく、先端の方向が中央線に平行であっても利用者に違和感を与えないような大きさを特定するための値として予め決められればよい。
さらに、推奨車線に関する基準線が重畳領域の基準位置よりも内側に存在するならば、推奨車線の中央線に平行、かつ、進行方向前方に向いた先端を含む案内の画像が生成され、記推奨車線に関する基準線が重畳領域の基準位置よりも外側に存在するならば、区画線に平行、かつ、進行方向前方に向いた先端を含む案内の画像が生成される構成であってもよい。
すなわち、重畳領域の大きさが一定である場合、推奨車線の画像が大きければ推奨車線が重畳領域の中央寄りに表示され、推奨車線の画像が小さければ推奨車線が重畳領域の中央から遠くに表示される。そこで、推奨車線の重畳領域内での位置を評価するために基準線を定義すれば、当該基準線が基準位置よりも内側(走行車線の中心線に近づく方向)であるか否かによって推奨車線の画像の大きさを評価することができる。なお、基準線は、重畳領域内の推奨車線の画像の大きさを評価することができればよく、推奨車線の区画線であってもよいし、中央線であってもよい。
この構成は、例えば、上述の実施形態におけるステップS300を変更することによって実現可能である。具体的には、ステップS300において、制御部20が重畳領域に含まれる推奨車線の端の線(例えば、図5Bにおける線Ls)を基準線として特定し、当該基準線が予め決められた基準位置よりも左側に存在する場合にステップS310以降、予め決められた位置よりも右側に存在する場合にステップS305以降の処理を実行する構成によって実現可能である。基準線の位置と比較される基準位置は予め決められていればよく、先端の方向が中央線に平行であっても利用者に違和感を与えないような大きさを特定するための値として予め決められればよい。
さらに、案内画像生成部は、前方風景の画像に基づいて推奨車線と車両の走行車線との間の区画線の角度が変化することが推定される場合、変化後の区画線の位置および角度を区画線の角度が変化する前に予め推定し、推定された区画線に基づいて案内の画像を生成する構成であってもよい。すなわち、前方に勾配が存在する場合、勾配に応じて推奨車線の区画線の傾きが変化する。そして、前方風景の画像を解析すれば、車両の前進に伴う区画線の角度の変化を推定することが可能である。
車両の前進に伴う区画線の角度の変化が推定されると、推定結果に基づいて重畳領域に含まれる推奨車線の画像の大きさも推定することができる。そこで、当該大きさの変化に基づいて案内の画像の大きさの変化を推定することができるため、推定された区画線に基づいて予め案内の画像を生成することも可能である。この構成によれば、区画線の変化に追従し(遅れることなく)案内の画像を変化させることができる。むろん、区画線の角度に追従させて先端の角度を変化させるなど、案内の画像を変化させる構成を採用してもよい。
さらに、本発明のように、重畳領域に含まれる推奨車線の画像の大きさに合わせて推奨車線内に先端が含まれるように案内の画像の大きさを変化させる手法は、プログラムや方法としても適用可能である。また、以上のような車線案内システム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。すなわち、車線案内システムを構成する各手段が複数の実体的な装置に分散して備えられてもよい。各手段が複数の実体的な装置に分散して備えられる場合に、各手段を機能させるために必要なデータを送受信する通信手段が備えられてもよい。さらに、以上のような車線案内システムの少なくとも一部を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、車線案内システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。