JP4762697B2 - 車両走行補助システム - Google Patents

車両走行補助システム Download PDF

Info

Publication number
JP4762697B2
JP4762697B2 JP2005344723A JP2005344723A JP4762697B2 JP 4762697 B2 JP4762697 B2 JP 4762697B2 JP 2005344723 A JP2005344723 A JP 2005344723A JP 2005344723 A JP2005344723 A JP 2005344723A JP 4762697 B2 JP4762697 B2 JP 4762697B2
Authority
JP
Japan
Prior art keywords
road marking
vehicle
road
information
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005344723A
Other languages
English (en)
Other versions
JP2007147521A (ja
Inventor
知章 石川
正樹 中村
総 逢坂
基輝 勘場
元裕 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2005344723A priority Critical patent/JP4762697B2/ja
Publication of JP2007147521A publication Critical patent/JP2007147521A/ja
Application granted granted Critical
Publication of JP4762697B2 publication Critical patent/JP4762697B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、撮像手段により撮像した画像に基づいて車両の走行状態の検出を行う車両走行補助システムに関し、特に、車両の周囲に位置する路面表示の内、車両の走行状態を検出するのに不適当な特定路面表示を除いた路面標示のみを検出することにより、誤認識率や処理負荷の軽減を可能とした車両走行補助システムに関するものである。
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する車両走行補助システムについて提案されている。
そして、そのような車両走行補助システムの中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2004−86363号公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて交差点での運転補助を実行する車両用運転補助装置について記載されている。
更に、従来においては一時停止線等の路面標示に関する情報(位置座標など)を予めDBに格納し、格納されたいずれかの路面標示を走行中の車両からCCDカメラ等で撮像することに基づいて、より正確な自車の現在位置を特定することについても行われている。
特開2004−86363号公報(第8頁〜第10頁、図4)
ここで、前記したようにCCDカメラ等の検出手段によって検出する対象として路面標示を用い、DBから自車位置を特定する場合においては、路面標示に関する情報を予めDBに格納しなければならない。しかしながら、路面標示はその数が非常に多いことから情報量が膨大であり、DBには大きな記憶領域が必要となっていた。更に、DBを車両内に設ける際にはそれらの情報を通信によりセンタから転送する必要があるが、その通信時間も長時間必要となっていた。
また、従来においては制御対象となる一時停止線等の路面標示を一律に直接CCDカメラ等の検出手段によって検出し、検出した制御対象に対する案内や車両の制御を行っていたが、路面標示の中には、路面の所定距離間に連続して複数形成されている同一種別の路面標示(例えば、直進や左折等を示す「矢印」)や文字の種類を判別することが難しい文字列の路面標示(例えば、行き先を示す「○○方面」)等のように、CCDカメラによる検出そのものが困難な路面標示や、CCDカメラで検出した路面標示がDBに格納されたどの路面標示であるのか特定できない路面標示等の自車の走行状態を検出するのに不適当な路面標示もあった。
そして、そのような路面標示に対してカメラで撮像した画像から路面標示の検出を行うこととすると、自車位置等の誤認識が生じる可能性が高かった。また、誤認識の可能性が高い路面標示を含めて全ての路面標示の検出を行うことは、装置の処理負荷が大きくなり、画像処理用の制御部を別途必要とすることとなっていた。それによって、装置全体が高価なシステムとなり、このようなカメラを用いた車両の制御装置の普及を妨げる結果となっていた。
本発明は前記従来における問題点を解消するためになされたものであり、路面上に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を予め検出対象から外すことにより誤認識率を低下させ、一方で必要性のある処理のみを行わせることによって装置の処理負荷を軽減し、安価なシステムにより構成を可能とした車両走行補助システムを提供することを目的とする。
前記目的を達成するため本願の請求項1に係る車両走行補助システムは、車両の現在地を検出する現在地検出手段と、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像に基づいて車両の走行状態を検出する走行状態検出手段と、を有する車両走行補助システムにおいて、路面に形成された路面標示の位置情報を記憶した標示情報記憶手段を備え、前記走行状態検出手段は、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定する路面標示存在判定手段と、前記路面標示存在判定手段によって前記特定路面標示を除く路面標示が存在すると判定された場合に、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示の検出を行う路面標示検出手段と、を有し、路面の所定距離間に連続して複数形成されている同一種別の路面標示の内、一の路面標示を除いた残りの路面標示を前記特定路面標示とすることを特徴とする。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、「車両の走行状態」とは、例えば、走行する車両の現在位置や走行速度、走行するレーンの種類等が該当する。
また、請求項2に係る車両走行補助システムは、車両の現在地を検出する現在地検出手段と、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像に基づいて車両の走行状態を検出する走行状態検出手段と、を有する車両走行補助システムにおいて、路面に形成された路面標示の位置情報を記憶した標示情報記憶手段を備え、前記走行状態検出手段は、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定する路面標示存在判定手段と、前記路面標示存在判定手段によって前記特定路面標示を除く路面標示が存在すると判定された場合に、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示の検出を行う路面標示検出手段と、を有し、文字列から構成される路面標示であって、且つ所定距離以内に他の路面標示が形成された路面標示を前記特定路面標示とすることを特徴とする。
また、請求項3に係る車両走行補助システムは、請求項1又は請求項2に記載の車両走行補助システムおいて、前記標示情報記憶手段は路面に形成された路面標示の内、前記特定路面標示を除く路面標示の位置情報を記憶したことを特徴とする。
また、請求項4に係る車両走行補助システムは、請求項3に記載の車両走行補助システムおいて、路面標示に関する情報を記憶する情報記憶手段と、前記情報記憶手段に記憶された路面標示に関する情報の内、前記特定路面標示を除く路面標示に関する情報を抽出する情報抽出手段と、前記情報抽出手段によって抽出された情報を送信する情報送信手段と、を備えた情報提供センタと、前記情報提供センタから送信された情報を受信する情報受信手段と、前記情報受信手段により受信した情報に基づいて前記標示情報記憶手段に記憶された路面標示の位置情報を更新する情報更新手段と、を有することを特徴とする。
更に、請求項5に係る車両走行補助システムは、請求項1又は請求項2に記載の車両走行補助システムおいて、前記路面標示存在判定手段は、前記標示情報記憶手段に記憶された路面標示の位置情報の内、前記特定路面標示を除く路面標示に関する位置情報を抽出する位置情報抽出手段を備え、前記位置情報抽出手段によって抽出された位置情報に基づいて車両の現在地から所定範囲内に路面に形成された路面標示の内、前記特定路面標示を除く路面標示が存在するか否かを判定することを特徴とする。
前記構成を有する請求項1の車両走行補助システムでは、路面に形成された路面標示の位置情報を記憶し、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定し、特定路面標示を除く路面標示が存在すると判定された場合に、撮像手段により撮像した画像に基づいて車両が走行する路面に形成された路面標示の検出を行うので、車両の走行状態を検出することが困難な特定路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させることができる。
また、処理を行う回数を減らすことによって、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、路面の所定距離間に連続して複数形成されている同一種別の路面標示の内、一の路面標示を除いた残りの路面標示を車両の走行状態の検出に不適当な特定路面標示とするので、車両の走行状態を検出することが困難な互いに近接して配置された同一種別の路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させることができる。
また、請求項2の車両走行補助システムでは、路面に形成された路面標示の位置情報を記憶し、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定し、特定路面標示を除く路面標示が存在すると判定された場合に、撮像手段により撮像した画像に基づいて車両が走行する路面に形成された路面標示の検出を行うので、車両の走行状態を検出することが困難な特定路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させることができる。
また、処理を行う回数を減らすことによって、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、文字列から構成される路面標示であって、且つ所定距離以内に他の路面標示が形成された路面標示を車両の走行状態の検出に不適当な特定路面標示とするので、文字の種類を判別することが難しい文字列の路面標示を予め検出対象から外すことができる。更に、検出が容易な他の路面標示を用いて車両の走行状態の検出を行うことにより、処理負担や誤認識を減少させることが可能となる。
また、請求項3の車両走行補助システムでは、標示情報記憶手段には路面に形成された路面標示の内、特定路面標示を除く路面標示の位置情報を記憶するので、路面表示の検出を行う際に検索対象となる記憶領域に記憶させるデータ量を軽減させることが可能となる。従って、データをインストールする際の時間や、記憶された路面標示に係る検索処理に必要となる時間を短くすることが可能となる。
また、請求項4の車両走行補助システムでは、情報提供センタが情報記憶手段に記憶した路面標示に関する情報の内、特定路面標示を除く路面標示に関する情報が抽出及び送信されることによって、路面標示の位置情報を更新するので、情報提供センタから送信する必要のあるデータ量を減らすことが可能となり、更新を行う際の通信時間を少なくさせ、利用者の作業負担を軽減することが可能となる。
更に、請求項5の車両走行補助システムでは、標示情報記憶手段に記憶された路面標示の位置情報の内、特定路面標示を除く路面標示に関する位置情報を抽出し、抽出された位置情報に基づいて車両の現在地から所定範囲内に路面に形成された路面標示の内、特定路面標示を除く路面標示が存在するか否かを判定するので、車両の走行状態を検出することが困難な特定路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させることができる。
また、必要性のある処理のみを行わせることによって、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
以下、本発明に係る車両走行補助システムについて具体化した第1乃至第3実施形態に基づき図面を参照しつつ詳細に説明する。
(第1実施形態)
先ず、第1実施形態に係る車両走行補助システム1の概略構成について図1を用いて説明する。図1は第1実施形態に係る車両走行補助システム1を示したブロック図である。
図1に示すように第1実施形態に係る車両走行補助システム1は、情報提供センタ2と、ナビゲーション装置3と、ネットワーク4から基本的に構成されている。そして、情報提供センタ2とナビゲーション装置3は、ネットワーク4を介して各種の情報の送受信が可能となるように構成されている。
ここで、ネットワーク4としては、例えばLAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系を使用することができる。そして、放送衛星によるCS放送、BS放送、地上波ディジタルテレビ放送、FM多重放送等を利用する通信系を使用することもできる。更に、高度道路交通システム(ITS)において利用されるノンストップ自動料金支払いシステム(ETC)、狭域通信システム(DSRC)等の通信系を使用することもできる。
また、ナビゲーション装置3は、映像や音声によって走行の案内を行う車両7に配置された車載装置であり、後述するように後方カメラ5や車両ECU(エレクトロニック・コントロール・ユニット)6が接続されている(図2及び図3参照)。尚、ナビゲーション装置3の構成については後に詳細に説明する。
以下に、図1を用いて車両走行補助システム1を構成する情報提供センタ2の構成について説明する。
情報提供センタ2は、図1に示すようにサーバ11と、サーバ11に接続された情報記録部としてのセンタ保存DB(情報記憶手段)12と、センタ通信装置(情報送信手段)13とを備える。また、サーバ11は、サーバ11の全体の制御を行う演算装置及び制御装置としてのCPU15、並びにCPU15が各種の演算処理を行うに当たってワーキングメモリとして使用されるRAM16、後述するようにナビゲーション装置3からの通信に基づいて適当な情報をセンタ保存DB12から選択し、ナビゲーション装置3に対して送信する情報抽出制御等を行うための各種の制御プログラムが記録されたROM17等の内部記憶装置を備えている。また、CPU15に代えてMPU等を使用することができる。
また、センタ保存DB12はナビゲーション装置3に供給する為の地図データやノードデータ等を記憶するセンタ地図DB18の他に、全国の道路の路面上において形成された路面標示に関する情報を格納したセンタ路面標示DB19を備え、サーバ11はナビゲーション装置3から送信された要求に対応した情報をセンタ地図DB18及びセンタ路面標示DB19に基づいて生成し、センタ通信装置13を用いて生成した情報をナビゲーション装置3に提供する。そして、後述するようにナビゲーション装置3は提供された情報に基づいてナビ地図DB41及びナビ路面標示DB42(図2参照)に格納される情報を更新するように構成されている。尚、センタ地図DB18、センタ路面標示DB19に記録された情報はDVDやUSBメモリ等の記録媒体を介してナビゲーション装置3に提供することとしても良い。また、情報提供センタ2は、個人、企業、団体、地方自治体、政府関係機関等のいずれが運営していてもよく、VICS(登録商標:VehicleInformation and CommunicationSystem)センタが運営していてもよい。尚、センタ路面標示DB19については後に図4を用いて詳細に説明する。
次に、車両走行補助システム1を構成するナビゲーション装置3の構成について図2を用いて説明する。図2は第1実施形態に係る車両走行補助システム1の特にナビゲーション装置3を示したブロック図である。また、図3は第1実施形態に係る車両走行補助システム1を利用する車両7の概略構成を示した模式図である。
図2及び図3に示すように、第1実施形態に係るナビゲーション装置3は、ナビゲーションECU(走行状態検出手段、路面標示存在判定手段、路面標示検出手段、情報更新手段)21と、車両7の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ22と、経路案内に関する音声ガイダンスを出力するスピーカ23と、車両7の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)24と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部25と、情報提供センタ2と通信を行う為の通信装置(情報受信手段)26とから構成されている。更に、ナビゲーションECU21には、車両7に対して設置された後方カメラ(撮像手段)5、車両ECU6等が接続されている。
現在地検出部24は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
また、データ記録部25は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納されたナビ地図DB41、路面標示に関する情報が格納されたナビ路面標示DB(標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部25の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
また、ナビ地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置3ではナビ路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、ナビ路面標示DB42については後に図5を用いて詳細に説明する。
また、ナビゲーションECU21は、ナビゲーション装置3の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、情報提供センタ2から受信した情報に基づいてナビ地図DB41及びナビ路面標示DB42を更新するDB更新処理プログラム(図17参照)、後方カメラ5で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との距離や走行するレーンを特定し、運転補助を行う後述の運転支援処理プログラム(図18参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
また、ナビゲーションECU21には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ5、現在地検出部24、データ記録部25及び各周辺機器から取得した情報に基づいて、各種制御を行う。
ここで、GUI制御部51は、ナビ地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ22に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ22に表示させる。
また、ロケーション部52は、現在地検出部24から供給される各情報に基づいて、車両7の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置とナビ路面標示DB42に格納された情報から車両7の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ5によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。また、撮像した画像から検出した路面標示と車両7との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ27、アクセルアクチュエータ28を制御して車両7の駆動制御を行い、又は液晶ディスプレイ22及びスピーカ23により走行の案内を行う。更に、複数車線からなる道路を車両7が走行している場合には、同じく撮像した画像から検出した路面標示の種類(具体的には「矢印」の路面標示の種類)に基づいて、車両7の走行するレーンを特定し、走行の案内を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部25に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ22やスピーカ23を用いて経路の案内を行う。
また、液晶ディスプレイ22には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ5で撮像したBGM画像等が表示される。尚、液晶ディスプレイ22の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
また、スピーカ23は、ナビゲーションECU21からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ23より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置3では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ22及びスピーカ23により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
そして、通信装置26は、前記情報提供センタ2等から送信された路面標示の情報の他、渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を受信する通信手段である。また、第1実施形態に係るナビゲーション装置3は通信装置26を介して情報提供センタ2から受信した情報に基づいてナビ地図DB41及びナビ路面標示DB42に格納された情報を更新する。
一方、後方カメラ5は、例えばCCD等の固体撮像素子を用いたものであり、車両7の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両7の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ22に表示される。また、通常走行中においては、後述のように車両7の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両7から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。更に、複数の車線からなる道路を走行している場合には、「矢印」の路面標示の種類(例えば、直進、左折、右折)によって車両7の走行するレーンを特定することができる。
また、車両ECU6は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両7の電子制御ユニットであり、ブレーキアクチュエータ27、アクセルアクチュエータ28が接続されている。そして、ナビゲーションECU21は、所定の条件を満たした場合に車両ECU6を介してブレーキアクチュエータ27及びアクセルアクチュエータ28に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
次に、図4に基づいて情報提供センタ2のセンタ保存DB12において路面標示に関する情報が記憶されるセンタ路面標示DB19について説明する。図4は第1実施形態に係るセンタ路面標示DB19の記憶領域を示した図である。
図4に示すようにセンタ路面標示DB19の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示に関連付けられた停止線や交差点、コーナ進入口等の走行案内や車両の制御を行う対象となる制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの距離とから構成されている。
ここで、「制御対象物」とは走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、200m以内)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU21は後方カメラ5がナビ路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての距離を間接的に算出し、その距離が所定距離となった場合に車両7の駆動制御や走行の案内を行う。
また、車両7の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ22に表示させ、またスピーカ23から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ27を制御して停止線の手前で車両7が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ22に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ23から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前にナビ地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ27及びアクセルアクチュエータ28を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ27及びアクセルアクチュエータ28を制御して加速、減速制御を行う。
例えば、図4に示すセンタ路面標示DB19の記憶領域に記憶された各路面標示の情報について説明すると、座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)には「矢印(直進)」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)には「矢印(直進)」の路面標示が形成されており、且つその路面標示には59m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x4,y4)には「矢印(直進)」の路面標示が形成されており、且つその路面標示には64m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x5,y5)には「横断歩道」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x6,y6)には「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x7,y7)には「止まれ」の路面標示が形成されており、且つその路面標示には5m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x8,y8)には「停止線」の路面標示が形成されており、且つその路面標示には30m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。更に、座標(x9,y9)には「文字列」の路面標示が形成されており、且つその路面標示には58m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。
そして、前記したセンタ路面標示DB19に記録された各路面標示に関する情報は、ナビゲーション装置3からナビ路面標示DB42の情報更新の要求があった場合に、ナビゲーション装置3に対して送信されるが、その際に全国にある各道路に形成された路面標示の内、車両の走行状態(具体的に第1実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当な路面標示(以下、特定路面標示とする)に関する情報はナビゲーション装置3に対して送信されることがない。
具体的に、車両の走行状態を検出するのに不適当な特定路面標示とは、路面の所定距離間に連続して形成されている路面標示、文字列からなる路面標示、関連付けられている制御対象物との距離がごく近い路面標示等があり、DBの更新を行う際にサーバ11によって判定される(図17のS12)。尚、特定路面標示の詳細に関しては図6〜図11を用いて後に説明する。
例えば、図4に示すセンタ路面標示DB19において「○」が付された路面標示(図4では座標(x1,y1)、(x4,y4)、(x5,y5)、(x6,y6)に位置する路面標示)が車両の走行状態を検出するのに適当とサーバ11によって判定される路面標示であり、「×」が付された路面標示(図4では座標(x2,y2)、(x3,y3)、(x7,y7)、(x8,y8)、(x9,y9)に位置する路面標示)が車両の走行状態を検出するのに不適当と判定される路面標示となる。そして、第1実施形態に係る車両走行補助システム1では、「○」が付された路面標示に関する情報のみを情報提供センタ2からナビゲーション装置3に対して送信するように制御する。それによって、送信を行う際の送信時間が少なくなり、またナビゲーション装置3に記憶させる情報量も軽減させることが可能となる。
続いて、図5を用いてナビゲーション装置3のデータ記録部25において路面標示に関する情報が記憶されるナビ路面標示DB42について説明する。図5は第1実施形態に係るナビ路面標示DB42の記憶領域を示した図である。
図5に示すようにナビ路面標示DB42の記憶領域は、前記図4に示したセンタ路面標示DB19の内、車両の走行状態を検出するのに不適当と判定される特定路面標示を除いた路面標示に関する情報のみが格納されている。そして、格納されている検出に適当な路面標示が車両7の周囲にあると判定された場合のみ後方カメラ5による路面標示の検出を行う。
次に、センタ路面標示DB19に記憶される路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示の判定基準について図6乃至図11を用いて説明する。図6は特定路面標示に該当する路面標示のパターンを示した説明図、図7〜図11は特定路面標示に該当する路面標示の具体例を示した模式図である。
図6に示すように第1実施形態に係る車両走行補助システム1において、走行状態を検出するのに不適当な特定路面標示であると判定される路面標示に該当するパターンは計5パターンある。
先ず、第1のパターンとして、高速道路以外の道路で、同一種別の「矢印」の路面標示が同一リンク上に連続して2個以上形成されている場合には、関連付けられている制御対象物から最も遠い路面標示を除いて検出するのに不適当な特定路面標示であると判定される。これは、近接して配置される同一種別の路面標示の全てを検出することとすると、後方カメラ5で撮像した路面標示が近接するどの路面標示に該当するのかを判別することが困難であり、また全ての路面標示を検出することとするとナビゲーションECU21の処理負荷も増加する為である。更に、基本的に同一リンクには同一種別の「矢印」の路面標示(例えば、直進)が形成されており、その内の一の路面標示のみ検出すれば車両7の走行するレーンを特定することができる為である。
例えば、図7は第1のパターンに該当する路面標示の一例を示したものであり、ノード62、63間のリンク64に相当する路面61上に「矢印(直線)」の路面標示60が4個連続で形成されている。この場合、進行方向に位置する制御対象物である停止線65までの距離が近い順に3個の路面標示60が検出に不適当な特定路面標示66であると判定され、停止線65までの距離が最も遠い路面標示60が検出に適当な路面標示67であると判定される。
次に第2のパターンとして、高速道路で、同一種別の「矢印」の路面標示が25m以内に連続して2個以上形成されている場合には、関連付けられている制御対象物から最も遠い路面標示を除いて検出するのに不適当な特定路面標示であると判定される。これは、近接して配置される同一種別の路面標示の全てを検出することとすると、後方カメラ5で撮像した路面標示が近接するどの路面標示に該当するのかを判別することが困難であり、また全ての路面標示を検出することとするとナビゲーションECU21の処理負荷も増加する為である。更に、基本的に高速道路の25m区間には同一種別の「矢印」の路面標示(例えば、直進)が形成されており、その内の一の路面標示のみ検出すれば車両7の走行するレーンを特定することができる為である。
例えば、図8は第2のパターンに該当する路面標示の一例を示したものであり、25m以内の路面71上に「矢印(直線)」の路面標示70が4個連続で形成されている。この場合、進行方向に位置する制御対象物であるコーナ進入口のノード72までの距離が近い順に3個の路面標示70が検出に不適当な特定路面標示73であると判定され、ノード72までの距離が最も遠い路面標示70が検出に適当な路面標示74であると判定される。
次に第3のパターンとして、複数車線からなる道路(高速道路含む)で、かなや漢字から構成される「文字列(「止まれ」は除く)」の路面標示が横方向(レーン方向)の同位置に2個以上形成されている場合であって、且つ前後50m以内に他の路面標示が存在する場合には、当該「文字列」の路面標示が検出するのに不適当な特定路面標示であると判定される。これは、文字の書体などが各地方によって異なっており、「止まれ」等の一部の文字列を除いて具体的な文字内容(例えば、行き先を示す「○○方面」等)を後方カメラ5で撮像した画像から判別することが困難であり、近接して他の路面標示が形成されている場合には、検出が容易な他の路面標示を用いて検出を行う方が処理負担や誤認識が減少する為である。更に、基本的に文字列の路面標示には近接して「矢印」の路面標示が形成されており、「矢印」の路面標示のみ検出すれば車両7の走行するレーンについても特定することができる為である。
例えば、図9は第3のパターンに該当する路面標示の一例を示したものであり、複数の車線からなる路面75上に「○○方面」の文字列からなる路面標示76と「××方面」の文字列からなる路面標示77とが横方向の同位置に形成されており、且つ前方50m以内に「矢印(左折)」の路面標示78及び「矢印(直進)」の路面標示79が形成されている。この場合、「○○方面」の文字列からなる路面標示76と「××方面」の文字列からなる路面標示77とが検出に不適当な特定路面標示であると判定される。
次に第4のパターンとして、高速道路以外の道路で、停止線の直前10m以内にある「止まれ」の路面標示が検出するのに不適当な特定路面標示であると判定される。これは、制御対象物となる停止線の路面標示との距離が近すぎるので、「止まれ」の路面標示を後方カメラ5で検出した後に制御対象物である前方の停止線に対する案内や車両の制御を行っても意味をなさない(間に合わない)為である。
例えば、図10は第4のパターンに該当する路面標示の一例を示したものであり、路面90上に「止まれ」の路面標示91が形成されており、且つ前方10m以内に停止線の路面標示92が形成されている。この場合、「止まれ」の路面標示91が検出に不適当な特定路面標示であると判定される。
更に第5のパターンとして、高速道路以外の道路で、横断歩道の手前10m以内にある「停止線」の路面標示が検出するのに不適当な特定路面標示であると判定される。これは、車両の走行方向に対して垂直方向に線分を有する停止線を走行中の車両に備え付けられた後方カメラ5で撮像しようとすると、撮像した画像中の制御対象にブレが生じ、正しく認識できない虞があり、近接して走行方向に対して平行方向に線分を有する横断歩道の路面標示が形成されている場合には、検出が容易な横断歩道の路面標示を用いて検出を行う方が処理負担や誤認識が減少する為である。
例えば、図11は第5のパターンに該当する路面標示の一例を示したものであり、路面93上に「停止線」の路面標示94が形成されており、且つ前方10m以内に横断歩道の路面標示95が形成されている。この場合、「停止線」の路面標示94が検出に不適当な特定路面標示であると判定される。
次に、図12乃至図16を用いて車両7の後方カメラ5によって路面標示を撮像した際の車両7と路面標示との距離、及び車両7と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両7が走行する路面80に形成された路面標示の内、特に制御対象物として停止線の路面標示89が対応付けられた「横断歩道有り」の路面標示81を撮像した場合を示すこととする。図12は路面標示81を撮像する車両7を示した上面図、図13は路面標示81を撮像する車両7を示した側面図、図14は図12及び図13の状態における車両7の後方カメラ5によって撮像された撮像画像82を示した模式図である。
後方カメラ5は、図13に示すように車両7の後バンパー83付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ5によって撮像された図14に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
ここで、路面標示には車両7との距離を計測する為の測定開始点が予め複数箇所に定義されており、車両7から最も進行方向側にある測定開始点までの距離を車両7から路面標示までの距離として扱う。例えば、図15(A)は「横断歩道有り」の路面標示81の測定開始点81A〜81Dを示した模式図、図15(B)は「最高速度(20km/h)」の路面標示85の測定開始点85A〜85Dを示した模式図である。
図15(A)及び図15(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に複数個設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU21は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
また、図14に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両7と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図15(A)に示す「横断歩道有り」の路面標示81では測定開始点81Aとの距離が算出される。但し、測定開始点81Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、先ず測定開始点81Bまでの距離を算出し、その後に測定開始点81Aと測定開始点81Bとの距離を用いることによって測定開始点81Aとの距離が間接的に算出される。更に、測定開始点81Bについても特定できなかった場合には測定開始点81Cが用いられ、測定開始点81Cについても特定できなかった場合には測定開始点81Dが用いられる。
また、図15(B)に示す「最高速度(20km/h)」の路面標示85では測定開始点85A及び測定開始点85Bとの距離が算出される。但し、測定開始点85A及び測定開始点85Bが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、測定開始点85C及び測定開始点85Dを用いることによって測定開始点85A及び測定開始点85Bとの距離が間接的に算出される。
一方、前記した方法によって車両7と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両7から検出された路面標示に関連付けられた制御対象物(図5参照)までの距離を算出することが可能である。図16は、車両7の後方カメラ5によって路面標示を撮像した際の車両7から制御対象物までの距離の算出方法について示した模式図である。
図16では、「横断歩道有り」の路面標示81を車両7が後方カメラ5で検出した場合を示すものであり、更に、路面標示81には制御対象物として前方の距離D2にある「停止線」の路面標示89が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示81検出時点での車両7から制御対象物までの距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU21はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両7の走行距離Sを算出する。そして、車両7から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両7から制御対象物までの距離(D2−D1−S)を算出することが可能となる。また、算出された「停止線」の路面標示89までの距離(D2−D1−S)に基づいてブレーキアクチュエータ27を制御することにより、停止線に沿って車両7が停止されるようにブレーキ圧を調整することが可能となる。
以上のように、直接制御対象物を認識することなく、後方カメラ5によって検出された路面標示から前方にある制御対象物までの距離を間接的に算出することにより、より早い段階で正確な制御対象物までの距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
次に、図17に基づいて第1実施形態に係る車両走行補助システム1のナビゲーションECU21が実行するナビ側DB更新処理プログラム及びサーバ11が実行するサーバ側DB更新処理プログラムについて説明する。ここで、DB更新処理プログラムは情報提供センタ2から受信した情報に基づいてナビ地図DB41及びナビ路面標示DB42の更新を行うものである。図17は第1実施形態に係る車両走行補助システム1のナビゲーションECU21が実行するナビ側DB更新処理プログラム及びサーバ11が実行するサーバ側DB更新処理プログラムのフローチャートである。
先ず、ナビゲーションECU21が実行するナビ側DB更新処理について説明すると、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU21はデータ記録部25に格納されたナビ地図DB41及びナビ路面標示DB42を更新するか否かを判定する。ここで、DBの更新は、利用者によって所定の操作が行われた場合、又は前回のDB更新から所定時間経過した場合等に行われると判定される。
そして、ナビ地図DB41及びナビ路面標示DB42の更新を行うと判定された場合(S1:YES)には、情報提供センタ2に対して各DBに記録される情報の更新を要求する指令を送信する(S2)。一方、ナビ地図DB41及びナビ路面標示DB42の更新を行わないと判定された場合(S1:NO)には、当該ナビ側DB更新処理を終了する。
その後、S3では情報提供センタ2から送信されたDB更新の為の地図データ、交差点データ、ノードデータ、道路データ、探索データ、施設データ、検索データ等と、サーバ11によって検出するのに不適当であると判定された特定路面表示を除いた路面標示に関する情報を受信する。
そして、S4では前記S3で受信した情報に基づいてナビ地図DB41及びナビ路面標示DB42に記録された地図データや路面標示に関する情報等を更新する。そして、ナビゲーションECU21は更新された情報に基づいて、目的地への経路探索や誘導経路の案内、及び後述する路面標示の検出や制御対象物に対する制御等を行う(図18のS21〜S32)。尚、このS4が情報更新手段の処理に相当する。
次に、サーバ11が実行するサーバ側DB更新処理について説明すると、先ずS11において、サーバ11は前記S2でナビゲーション装置3から送信されたナビ地図DB41及びナビ路面標示DB42の更新要求に関する指令を受信する。
その後、S12においてセンタ保存DB12を参照し、更新すべき情報を抽出する。その際、特にセンタ路面標示DB19に記憶された路面標示の情報に関しては、車両の走行状態(具体的に第1実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当と判定される特定路面標示を除く路面標示に関する情報を抽出する。ここで、センタ路面標示DB19に記憶される路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示の判定基準は前記図6に示した5つのパターンに該当する路面標示であり、詳細については図6乃至図11を用いて既に説明したので省略する。尚、このS12が情報抽出手段の処理に相当する。
続いて、S13では前記S12において抽出された更新すべき地図データ、交差点データ、ノードデータ、道路データ、探索データ、施設データ、検索データ等と、路面標示に関する情報をそれぞれ送信する。そして、ナビゲーション装置3は送信された情報に基づいて前記したようにナビ地図DB41及びナビ路面標示DB42の更新を行う。
次に、前記構成を有する第1実施形態に係る車両走行補助システム1のナビゲーションECU21が実行する運転支援処理プログラムについて図18に基づき説明する。図18は第1実施形態に係る車両走行補助システム1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両7が路面を走行する際において後方カメラ5により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、図18にフローチャートで示されるプログラムはナビゲーションECU21が備えているROMやRAMに記憶されており、CPUにより実行される。
運転支援処理では、先ずS21において、ナビゲーションECU21は現在地検出部24によって検出した車両7の現在地情報とナビ路面標示DB42(図5参照)に記録された路面標示(前記S12でサーバ11によって検出に不適当と判定された特定路面標示が既に除かれた路面標示)の位置情報に基づいて、車両7の周辺(第1実施形態では車両7の前方2000m〜後方500m)に位置する路面標示の情報をナビ路面標示DB42から読み出す。
次に、S22では前記S21で読み出された路面標示の内、特に車両7の所定範囲(車両7の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両7の所定範囲に位置する路面標示があると判定された場合(S22:YES)には、S23へと移行し、路面標示の画像認識処理を行う。一方、車両7の所定範囲に位置する路面標示がないと判定された場合(S22:NO)には、S21へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS22が路面標示存在判定手段の処理に相当する。
S23の路面標示の画像認識処理では、後方カメラ5によって撮像される車両7の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ5で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S22で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。尚、このS23が路面標示検出手段の処理に相当する。
そして、S24では路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S24:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S22で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S25へと移行する。一方、路面標示が認識されなかったと判定された場合(S24:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S22で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S21へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
S25では前記S23で検出された路面標示と車両7との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図14参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両7と測定開始点の間の距離D1を算出する。
その後、S26では前記S25で算出された車両7と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの距離D2(D2の値は予めナビ路面標示DB42に記憶される。図5参照)から、車両7から検出された路面標示に関連付けられた制御対象物までの距離(D2−D1)を算出する(図16参照)。
更に、S27ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両7の走行距離Sを算出し、前記S26で算出された車両7と制御対象物までの距離(D2−D1)に基づいて、走行中の車両7から制御対象物までの残距離(D2−D1−S)を算出する(図16参照)。
また、S28では前記S27で算出された制御対象物までの残距離(D2−D1−S)に基づいて、車両7が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
そして、車両7が案内又は制御開始地点に到達したと判定された場合(S28:YES)には、制御対象物に対する走行の案内又は車両7の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S29)。ここで、第1実施形態に係る車両走行補助システム1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ22に表示させ、またスピーカ23から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ27を制御して停止線の手前で車両7が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ22に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ23から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前にナビ地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ27及びアクセルアクチュエータ28を制御して加速、減速制御を行う。
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両7が最適な速度で走行している場合においては、ブレーキアクチュエータ27及びアクセルアクチュエータ28の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
そして、S30で制御対象物に対する走行の案内又は車両7の駆動制御が必要であると判定された場合(S30:YES)には、S31で制御対象物の種類に従った走行の案内又は車両7の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
また、特に複数車線からなる道路を車両7が走行している場合には、S23で認識された路面標示の種類(具体的には「矢印」の路面標示の種類(直進・左折・右折))に基づいて、車両7の走行するレーンを特定することも可能であり、特定したレーンに沿った走行の案内を行うことができる。
一方、車両7が案内又は制御開始地点に到達していないと判定された場合(S28:NO)、及び制御対象物に対する走行の案内又は車両7の駆動制御が必要でないと判定された場合(S30:NO)には、S27へと戻り、現在の車両7から制御対象物までの残距離(D2−D1−S)が再び算出される。
続いて、S32では、前記S27で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両7が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S32:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S32:NO)には、S27へと戻り、現在の車両7から制御対象物の位置までの残距離(D2−D1−S)が再び算出される。
以上詳細に説明した通り、第1実施形態に係る車両走行補助システム1では、ナビゲーション装置3のデータ記録部25に格納されたナビ地図DB41及びナビ路面標示DB42を情報提供センタ2から受信したデータに基づいて更新する際に、サーバ11はセンタ路面標示DB19に記憶された路面標示の情報の内、車両の走行状態(具体的に第1実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当と判定される特定路面標示を除く路面標示に関する情報を抽出し(S12)、抽出した情報に基づいてナビ地図DB41及びナビ路面標示DB42に記録された情報の更新を行う(S4)ので、走行状態の検出に適している情報のみを予め情報提供センタ2側で抽出し、ナビゲーション装置3に対して送信する必要のあるデータ量を減らすことが可能となる。従って、ナビゲーション装置3のDBの更新を行う際の通信時間が少なくなり、利用者の作業負担を軽減させ、またナビゲーション装置3に記憶させるデータ量も減少させることが可能となる。そして、記憶させるデータ量が減少することによって、データをインストールする際の時間や、記憶された路面標示に係る検索処理に必要となる時間を短くすることが可能となる。
そして、ナビゲーションECU21は、車両7から所定範囲内に特定路面標示を除く路面標示が存在すると判定された場合(S22:YES)に、後方カメラ5によって撮像された画像から路面標示を認識する(S23)ので、検出に不適当な路面標示については予め検出を行わないようにすることにより、車両の走行状態を検出することが困難な特定路面標示を予め検出対象から外すことができ、路面標示を認識する際の誤認識率を減少させることができる。
更に、必要性のある処理のみを行わせることによって、路面標示の検出におけるナビゲーションECU21の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、第1実施形態に係る車両走行補助システム1では、車両7から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S25〜S27)、制御対象物までの距離が所定距離となったと判定された場合(S28:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S31)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両7の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両7から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ5によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置3の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置3が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
(第2実施形態)
次に、第2実施形態に係る車両走行補助システム100について図19乃至図22に基づいて説明する。尚、以下の説明において上記図1乃至図18の第1実施形態に係る車両走行補助システム1の構成と同一符号は、前記第1実施形態に係る車両走行補助システム1等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る車両走行補助システム100の概略構成は、図19に示すように第1実施形態に係る車両走行補助システム1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る車両走行補助システム1とほぼ同じ制御処理である。
ただし、第1実施形態に係る車両走行補助システム1が、ナビ路面標示DB42(図5参照)の更新を行う際に、車両7の走行状態を検出するのに不適当な特定路面標示を情報提供センタ2側で予め判定して除外することにより、ナビゲーション装置3が特定路面標示に対する検出を行わないように制御するのに対し、第2実施形態に係る車両走行補助システム100では、ナビ路面標示DBの更新を行う際には特定路面標示であるか否かに関わらずセンタ路面標示DB19に格納されている全ての路面標示に関する情報を記録させ、その後にナビゲーション装置101が後方カメラ5で路面表示の検出を行う際に、車両7の走行状態(具体的に第2実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当な特定路面標示をナビゲーション装置101側で判定して特定路面標示に対する検出を行わないように制御する点で前記第1実施形態に係る車両走行補助システム1と異なっている。
先ず、図20を用いて第2実施形態に係るナビゲーション装置101のデータ記録部25において路面標示に関する情報が記憶されるナビ路面標示DB102について説明する。図20は第2実施形態に係るナビ路面標示DB102の記憶領域を示した図である。
図20に示すようにナビ路面標示DB102の記憶領域は、前記図4に示したセンタ路面標示DB19と同じく特定路面標示を含む全ての路面標示に関する情報が格納されている。そして、第2実施形態に係る車両走行補助システム100では車両7の周囲にナビ路面標示DB102に格納された路面標示が存在すると判定された場合に、後方カメラ5で撮像した撮像画像に基づいて路面標示の検出処理が行われるが、格納されている路面標示の内、特に車両の走行状態を検出するのに不適当な特定路面標示が周囲に位置する場合には検出処理が行われないように制御する。
具体的に、車両の走行状態を検出するのに不適当な路面標示とは、路面の所定距離間に連続して形成されている路面標示、文字列からなる路面標示、関連付けられている制御対象物との距離がごく近い路面標示等があり、後方カメラ5に基づいて路面標示の検出を行う際にナビゲーションECU21によって判定される(図22のS123)。尚、不適当と判定される路面標示の詳細に関しては第1実施形態に係る車両走行補助システム1と同様であるので、その説明は省略する。
例えば、図20において「○」が付された路面標示(図20では座標(x1,y1)、(x4,y4)、(x5,y5)、(x6,y6)に位置する路面標示)が車両の走行状態を検出するのに適当とナビゲーションECU21によって判定される路面標示であり、「×」が付された路面標示(図20では座標(x2,y2)、(x3,y3)、(x7,y7)、(x8,y8)、(x9,y9)に位置する路面標示)が車両の走行状態を検出するのに不適当と判定される路面標示となる。そして、第2実施形態に係る車両走行補助システム100では、「○」が付された路面標示のみを後方カメラ5によって検出するように制御する。それによって、ナビゲーション装置101の処理負荷を軽減することが可能となる。
次に、図21に基づいて第2実施形態に係る車両走行補助システム100のナビゲーションECU21が実行するナビ側DB更新処理プログラム及びサーバ11が実行するサーバ側DB更新処理プログラムについて説明する。ここで、DB更新処理プログラムは情報提供センタ2から受信した情報に基づいてナビ地図DB41及びナビ路面標示DB102の更新を行うものである。図21は第2実施形態に係る車両走行補助システム100のナビゲーションECU21が実行するナビ側DB更新処理プログラム及びサーバ11が実行するサーバ側DB更新処理プログラムのフローチャートである。
先ず、ナビゲーションECU21が実行するナビ側DB更新処理について説明すると、先ずS101において、ナビゲーションECU21はデータ記録部25に格納されたナビ地図DB41及びナビ路面標示DB102を更新するか否かを判定する。ここで、DBの更新は、利用者によって所定の操作が行われた場合、又は前回のDB更新から所定時間経過した場合等に行われると判定される。
そして、ナビ地図DB41及びナビ路面標示DB102の更新を行うと判定された場合(S101:YES)には、情報提供センタ2に対して各DBに記録される情報の更新を要求する指令を送信する(S102)。一方、ナビ地図DB41及びナビ路面標示DB102の更新を行わないと判定された場合(S101:NO)には、当該ナビ側DB更新処理を終了する。
その後、S103では情報提供センタ2から送信されたDB更新の為の地図データ、交差点データ、ノードデータ、道路データ、探索データ、施設データ、検索データ等と、サーバ11によって検出するのに不適当であると判定された特定路面表示を除いた路面標示に関する情報を受信する。
そして、S104では前記S103で受信した情報に基づいてナビ地図DB41及びナビ路面標示DB102に記録された地図データや路面標示に関する情報等を更新する。そして、ナビゲーションECU21は更新された情報に基づいて、目的地への経路探索や誘導経路の案内、及び後述する路面標示の検出や制御対象物に対する制御等を行う(図22のS121〜S132)。
次に、サーバ11が実行するサーバ側DB更新処理について説明すると、先ずS111において、サーバ11は前記S102でナビゲーション装置101から送信されたナビ地図DB41及びナビ路面標示DB102の更新要求に関する指令を受信する。
その後、S112においてセンタ保存DB12を参照し、更新すべき情報を抽出する。その際、特にセンタ路面標示DB19に記憶された路面標示の情報に関しては、車両の走行状態を検出するのに不適当と判定される特定路面標示であるか否かに関わらず情報が抽出される。
続いて、S113では前記S112において抽出された更新すべき地図データ、交差点データ、ノードデータ、道路データ、探索データ、施設データ、検索データ等と、路面標示に関する情報をそれぞれ送信する。そして、ナビゲーション装置101は送信された情報に基づいて前記したようにナビ地図DB41及びナビ路面標示DB102の更新を行う。
次に、前記構成を有する第2実施形態に係る車両走行補助システム100のナビゲーションECU21が実行する運転支援処理プログラムについて図22に基づき説明する。図22は第2実施形態に係る車両走行補助システム100における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両7が路面を走行する際において後方カメラ5により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、図22にフローチャートで示されるプログラムはナビゲーションECU21が備えているROMやRAMに記憶されており、CPUにより実行される。
運転支援処理では、先ずS121において、ナビゲーションECU21は現在地検出部24によって検出した車両7の現在地情報とナビ路面標示DB102(図20参照)に記録された路面標示(車両の走行状態を検出するのに不適当と判定される特定路面標示を含む)の位置情報に基づいて、車両7の周辺(第2実施形態では車両7の前方2000m〜後方500m)に位置する路面標示の情報をナビ路面標示DB102から読み出す。
次に、S122では前記S121で読み出された路面標示の内、特に車両7の所定範囲(車両7の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両7の所定範囲に位置する路面標示があると判定された場合(S122:YES)には、S123へと移行する。一方、車両7の所定範囲に位置する路面標示がないと判定された場合(S122:NO)には、S121へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS122が路面標示存在判定手段の処理に相当する。
その後、S123においてナビ路面標示DB102を参照し、車両7の所定範囲に位置する路面標示の内、特に車両の走行状態(具体的に第2実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当と判定される特定路面標示を除き、検出に適当な路面標示に関する情報のみを抽出する(S123)。ここで、ナビ路面標示DB102に記憶される路面標示の内、車両7の走行状態を検出するのに不適当な特定路面標示の判定基準は前記図6に示した5つのパターンに該当する路面標示であり、詳細については図6乃至図11を用いて既に説明したので省略する。尚、このS123が位置情報抽出手段の処理に相当する。
次に、S124では、車両7の所定範囲(車両7の前方30m〜後方20m)に位置する路面標示であって、且つ車両7の走行状態を検出するのに適当な路面標示があるか否かを判定する。そして、走行状態を検出するのに適当な路面標示があると判定された場合(S124:YES)には、S125へと移行し、路面標示の画像認識処理を行う。一方、走行状態を検出するのに適当な路面標示がないと判定された場合(S124:NO)には、S121へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
S125の路面標示の画像認識処理では、後方カメラ5によって撮像される車両7の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ5で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S124で自車の所定範囲に存在すると判定された検出に適当な路面標示の種類と一致するか否かを判定する。尚、このS125が路面標示検出手段の処理に相当する。
そして、S126では路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S126:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S124で自車の周囲に位置すると判定された検出に適当な路面標示の種類と一致すると判定された場合には、S127へと移行する。一方、路面標示が認識されなかったと判定された場合(S126:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S124で自車の周囲に位置すると判定された検出に適当な路面標示の種類と一致しないと判定された場合には、S121へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
S127では前記S125で検出された路面標示と車両7との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図14参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両7と測定開始点の間の距離D1を算出する。
その後、S128では前記S127で算出された車両7と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの距離D2(D2の値は予めナビ路面標示DB102に記憶される。図20参照)から、車両7から検出された路面標示に関連付けられた制御対象物までの距離(D2−D1)を算出する(図16参照)。
更に、S129ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両7の走行距離Sを算出し、前記S128で算出された車両7と制御対象物までの距離(D2−D1)に基づいて、走行中の車両7から制御対象物までの残距離(D2−D1−S)を算出する(図16参照)。
また、S130では前記S129で算出された制御対象物までの残距離(D2−D1−S)に基づいて、車両7が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
そして、車両7が案内又は制御開始地点に到達したと判定された場合(S130:YES)には、制御対象物に対する走行の案内又は車両7の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S131)。ここで、第2実施形態に係る車両走行補助システム100では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ22に表示させ、またスピーカ23から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ27を制御して停止線の手前で車両7が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ22に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ23から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前にナビ地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ27及びアクセルアクチュエータ28を制御して加速、減速制御を行う。
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両7が最適な速度で走行している場合においては、ブレーキアクチュエータ27及びアクセルアクチュエータ28の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
そして、S132で制御対象物に対する走行の案内又は車両7の駆動制御が必要であると判定された場合(S132:YES)には、S133で制御対象物の種類に従った走行の案内又は車両7の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
また、特に複数車線からなる道路を車両7が走行している場合には、S125で認識された路面標示の種類(具体的には「矢印」の路面標示の種類(直進・左折・右折))に基づいて、車両7の走行するレーンを特定することも可能であり、特定したレーンに沿った走行の案内を行うことができる。
一方、車両7が案内又は制御開始地点に到達していないと判定された場合(S130:NO)、及び制御対象物に対する走行の案内又は車両7の駆動制御が必要でないと判定された場合(S132:NO)には、S129へと戻り、現在の車両7から制御対象物までの残距離(D2−D1−S)が再び算出される。
続いて、S134では、前記S129で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両7が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S134:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S134:NO)には、S129へと戻り、現在の車両7から制御対象物の位置までの残距離(D2−D1−S)が再び算出される。
以上詳細に説明した通り、第2実施形態に係る車両走行補助システム100では、車両7から所定範囲内に路面標示が存在すると判定された場合(S122:YES)であって、且つナビゲーションECU21によってナビ路面標示DB102に記憶された路面標示の情報の内、車両の走行状態(具体的に第2実施形態では、制御対象物に対する車両の位置や走行するレーンの種類)を検出するのに不適当と判定される特定路面標示を除く路面標示が存在すると判定された場合(S124:YES)に、ナビ路面標示DB102から抽出された情報に基づいて後方カメラ5によって撮像された画像から路面標示を認識する(S125)ので、検出に不適当な路面標示については予め検出を行わないようにすることにより、認識する際の誤認識率を減少させ、更にナビゲーションECU21の処理負荷も軽減させることができる。
更に、第2実施形態に係る車両走行補助システム100では、車両7から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S127〜S129)、制御対象物までの距離が所定距離となったと判定された場合(S130:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S133)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両7の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両7から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ5によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置101の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置101が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
(第3実施形態)
次に、第3実施形態に係る車両走行補助システム200について図23に基づいて説明する。尚、以下の説明において上記図1乃至図18の第1実施形態に係る車両走行補助システム1の構成と同一符号は、前記第1実施形態に係る車両走行補助システム1等の構成と同一あるいは相当部分を示すものである。
この第3実施形態に係る車両走行補助システム200の概略構成は、第1実施形態に係る車両走行補助システム1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る車両走行補助システム1とほぼ同じ制御処理である。
ただし、第1実施形態に係る車両走行補助システム1が、撮像手段として後方環境を撮像する後方カメラ5を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第3実施形態に係る車両走行補助システム200では、撮像手段として後方カメラ5のほかに車両7の前方環境を撮像する前方カメラ201を設け、後方カメラ5に加えて前方カメラ201で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る車両走行補助システム1と異なっている。
先ず、第3実施形態に係る車両走行補助システム200の概略構成について図23を用いて説明する。図23は第3実施形態に係る車両走行補助システム200の概略構成図である。
図23に示すように、第3実施形態に係る車両走行補助システム1は、車両7に対して設置された前方カメラ201、後方カメラ5、ナビゲーション装置3、車両ECU6等で構成されている。
前方カメラ201は、例えばCCD等の固体撮像素子を用いたものであり、車両7の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両7の前方に設置された信号機、道路標識、路面標示等を撮像する。
尚、前方カメラ201以外の後方カメラ5、ナビゲーション装置3、車両ECU6の各構成に関しては前記した第1実施形態に係る車両走行補助システム1と同様であり、その説明は省略する。
そして、第3実施形態に係る車両走行補助システム200では前方カメラ201で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
例えば、前方カメラ201によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S28〜S31)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両7が停止するようにブレーキアクチュエータ27を制御することが可能となる。
また、前方カメラ201によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S28〜S31)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両7が停止するようにブレーキアクチュエータ27を制御することが可能となる。
また、前方カメラ201によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両7が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ5による画像の認識処理を行うことにより、視野が狭い後方カメラ5を用いた場合であっても路面標示の認識率を向上させることが可能となる。
以上詳細に説明した通り、第3実施形態に係る車両走行補助システム200では、車両7から所定範囲内に路面標示が存在すると判定された場合(S22:YES)に、後方カメラ5によって撮像された画像から路面標示を認識する(S23)とともに、車両7から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S25〜S27)、制御対象物までの距離が所定距離となったと判定された場合(S28:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S31)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。
また、前方カメラ201によって撮像した車両7の前方環境の画像の画像解析に基づいて、現在の車両7の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ201によって路面標示を認識させることにより、視野が狭い後方カメラ5を用いた場合であっても路面標示の認識率を向上させることが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態乃至第3実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
また、第1実施形態乃至第3実施形態では、車両の走行状態を検出するのに不適当な特定路面標示であるか否かの判定は、DBの更新を行う際又は後方カメラ5の撮像画像に基づいて路面標示の検出を行う際にナビゲーションECU21又はサーバ11が行うこととしていたが、予めセンタ路面標示DB19又はナビ路面標示DB42に特定路面標示であるか否かの判定結果に関する情報を持たせるようにしても良い。
第1実施形態に係る車両走行補助システムの概略構成図である。 第1実施形態に係る車両走行補助システムの特にナビゲーション装置を示したブロック図である。 第1実施形態に係る車両走行補助システムを利用する車両の概略構成を示した模式図である。 第1実施形態に係るセンタ路面標示DBの記憶領域を示した図である。 第1実施形態に係るナビ路面標示DBの記憶領域を示した図である。 特定路面標示に該当する路面標示のパターンを示した説明図である。 特定路面標示に該当する第1のパターンの路面標示の具体例を示した模式図である。 特定路面標示に該当する第2のパターンの路面標示の具体例を示した模式図である。 特定路面標示に該当する第3のパターンの路面標示の具体例を示した模式図である。 特定路面標示に該当する第4のパターンの路面標示の具体例を示した模式図である。 特定路面標示に該当する第5のパターンの路面標示の具体例を示した模式図である。 路面標示を撮像する車両を示した上面図である。 路面標示を撮像する車両を示した側面図である。 図12及び図13の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。 (A)は「横断歩道有り」の路面標示の測定開始点を示した模式図、(B)は「最高速度(20km/h)」の路面標示の測定開始点を示した模式図である。 車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの距離の算出方法について示した模式図である。 第1実施形態に係る車両走行補助システムにおけるDB更新処理プログラムのフローチャートである。 第1実施形態に係る車両走行補助システムにおける運転支援処理プログラムのフローチャートである。 第2実施形態に係る車両走行補助システムの概略構成図である。 第2実施形態に係るナビ路面標示DBの記憶領域を示した図である。 第2実施形態に係る車両走行補助システムにおけるDB更新処理プログラムのフローチャートである。 第2実施形態に係る車両走行補助システムにおける運転支援処理プログラムのフローチャートである。 第3実施形態に係る車両走行補助システムの概略構成図である。
符号の説明
1、100、200 車両走行補助システム
2 情報提供センタ
3、101 ナビゲーション装置
5 後方カメラ
6 車両ECU
13 センタ通信装置
19 センタ路面標示DB
21 ナビゲーションECU
22 液晶ディスプレイ
23 スピーカ
24 現在地検出部
26 通信装置
27 ブレーキアクチュエータ
28 アクセルアクチュエータ
42、102 ナビ路面標示DB

Claims (5)

  1. 車両の現在地を検出する現在地検出手段と、
    車両に配置され、車両の周辺を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像に基づいて車両の走行状態を検出する走行状態検出手段と、を有する車両走行補助システムにおいて、
    路面に形成された路面標示の位置情報を記憶した標示情報記憶手段を備え、
    前記走行状態検出手段は、
    前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定する路面標示存在判定手段と、
    前記路面標示存在判定手段によって前記特定路面標示を除く路面標示が存在すると判定された場合に、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示の検出を行う路面標示検出手段と、
    有し、
    路面の所定距離間に連続して複数形成されている同一種別の路面標示の内、一の路面標示を除いた残りの路面標示を前記特定路面標示とすることを特徴とする車両走行補助システム。
  2. 車両の現在地を検出する現在地検出手段と、
    車両に配置され、車両の周辺を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像に基づいて車両の走行状態を検出する走行状態検出手段と、を有する車両走行補助システムにおいて、
    路面に形成された路面標示の位置情報を記憶した標示情報記憶手段を備え、
    前記走行状態検出手段は、
    前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内の路面に形成された路面標示の内、車両の走行状態を検出するのに不適当な特定路面標示を除く路面標示が存在するか否かを判定する路面標示存在判定手段と、
    前記路面標示存在判定手段によって前記特定路面標示を除く路面標示が存在すると判定された場合に、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示の検出を行う路面標示検出手段と、
    を有し、
    文字列から構成される路面標示であって、且つ所定距離以内に他の路面標示が形成された路面標示を前記特定路面標示とすることを特徴とする車両走行補助システム。
  3. 前記標示情報記憶手段は路面に形成された路面標示の内、前記特定路面標示を除く路面標示の位置情報を記憶したことを特徴とする請求項1又は請求項2に記載の車両走行補助システム。
  4. 路面標示に関する情報を記憶する情報記憶手段と、前記情報記憶手段に記憶された路面標示に関する情報の内、前記特定路面標示を除く路面標示に関する情報を抽出する情報抽出手段と、前記情報抽出手段によって抽出された情報を送信する情報送信手段と、を備えた情報提供センタと、
    前記情報提供センタから送信された情報を受信する情報受信手段と、
    前記情報受信手段により受信した情報に基づいて前記標示情報記憶手段に記憶された路面標示の位置情報を更新する情報更新手段と、
    を有することを特徴とする請求項3に記載の車両走行補助システム。
  5. 前記路面標示存在判定手段は、
    前記標示情報記憶手段に記憶された路面標示の位置情報の内、前記特定路面標示を除く路面標示に関する位置情報を抽出する位置情報抽出手段を備え、
    前記位置情報抽出手段によって抽出された位置情報に基づいて車両の現在地から所定範囲内に路面に形成された路面標示の内、前記特定路面標示を除く路面標示が存在するか否かを判定することを特徴とする請求項1又は請求項2に記載の車両走行補助システム。
JP2005344723A 2005-11-29 2005-11-29 車両走行補助システム Expired - Fee Related JP4762697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005344723A JP4762697B2 (ja) 2005-11-29 2005-11-29 車両走行補助システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005344723A JP4762697B2 (ja) 2005-11-29 2005-11-29 車両走行補助システム

Publications (2)

Publication Number Publication Date
JP2007147521A JP2007147521A (ja) 2007-06-14
JP4762697B2 true JP4762697B2 (ja) 2011-08-31

Family

ID=38209085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005344723A Expired - Fee Related JP4762697B2 (ja) 2005-11-29 2005-11-29 車両走行補助システム

Country Status (1)

Country Link
JP (1) JP4762697B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663375A (zh) * 2015-05-29 2017-05-10 华为技术有限公司 交通信息更新方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP2009009368A (ja) * 2007-06-28 2009-01-15 Aisin Aw Co Ltd 路面標示認識システム
JP4924270B2 (ja) * 2007-07-26 2012-04-25 アイシン・エィ・ダブリュ株式会社 道路情報取得装置、道路情報取得方法および道路情報取得プログラム
JP4984152B2 (ja) * 2007-08-31 2012-07-25 アイシン・エィ・ダブリュ株式会社 画像認識システム、サーバ装置、及び画像認識装置
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP2009259215A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
DE102016205866A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
JP7104880B2 (ja) * 2018-04-27 2022-07-22 日野自動車株式会社 運転支援装置及び交通システム
JP7444156B2 (ja) 2021-12-22 2024-03-06 トヨタ自動車株式会社 運転支援装置、車両、運転支援方法及び運転支援プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817631B2 (ja) * 2001-12-10 2006-09-06 アルパイン株式会社 道路表示等検出警告装置
JP3969251B2 (ja) * 2002-08-23 2007-09-05 トヨタ自動車株式会社 車両用運転補助装置
JP2005300342A (ja) * 2004-04-12 2005-10-27 Honda Motor Co Ltd 道路情報表示制御装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663375A (zh) * 2015-05-29 2017-05-10 华为技术有限公司 交通信息更新方法及装置
US10553111B2 (en) 2015-05-29 2020-02-04 Huawei Technologies Co., Ltd. Traffic information update method and apparatus
CN112634643A (zh) * 2015-05-29 2021-04-09 华为技术有限公司 交通信息更新方法及装置
US11205346B2 (en) 2015-05-29 2021-12-21 Honor Device Co., Ltd. Traffic information update method and apparatus

Also Published As

Publication number Publication date
JP2007147521A (ja) 2007-06-14

Similar Documents

Publication Publication Date Title
JP4421549B2 (ja) 運転支援装置
JP4762697B2 (ja) 車両走行補助システム
JP4820712B2 (ja) 路面標示認識システム
JP4915739B2 (ja) 運転支援装置
JP5482167B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP6375754B2 (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
US20100292895A1 (en) Driving support device
JP4886597B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4613881B2 (ja) 駐車案内装置
WO2016159170A1 (ja) 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
US8060300B2 (en) Navigation systems
JP4929997B2 (ja) 運転支援装置
JP6365134B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP4561675B2 (ja) 運転支援装置及びコンピュータプログラム
JP2007240198A (ja) ナビゲーション装置
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP4637302B2 (ja) 路面標示認識システム
JP2008262481A (ja) 車両制御装置
JP4924303B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2008090683A (ja) 車載用ナビゲーション装置
JP2008014760A (ja) ナビゲーション装置
JP2009009368A (ja) 路面標示認識システム
JP2013030006A (ja) 信号機増減検出システム、信号機増減検出装置、信号機増減検出方法及びコンピュータプログラム
JP5573266B2 (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP2009002797A (ja) 車両状態判定装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080909

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4762697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees