JP4485097B2 - ナビゲーション装置 - Google Patents

ナビゲーション装置 Download PDF

Info

Publication number
JP4485097B2
JP4485097B2 JP2001126554A JP2001126554A JP4485097B2 JP 4485097 B2 JP4485097 B2 JP 4485097B2 JP 2001126554 A JP2001126554 A JP 2001126554A JP 2001126554 A JP2001126554 A JP 2001126554A JP 4485097 B2 JP4485097 B2 JP 4485097B2
Authority
JP
Japan
Prior art keywords
unit
vehicle
information
map
map data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001126554A
Other languages
English (en)
Other versions
JP2002046506A (ja
JP2002046506A5 (ja
Inventor
明 石田
芳樹 上山
清美 阪本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001126554A priority Critical patent/JP4485097B2/ja
Publication of JP2002046506A publication Critical patent/JP2002046506A/ja
Publication of JP2002046506A5 publication Critical patent/JP2002046506A5/ja
Application granted granted Critical
Publication of JP4485097B2 publication Critical patent/JP4485097B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
【0002】
本発明は車両の運転支援を行うナビゲーション装置に関し、より特定的には検知した周囲の情報をドライバに提供して運転の支援を行うナビゲーション装置に関する。
【従来の技術】
【0003】
従来より、走行中の車両における周囲の状況をセンサで監視し、他の車両と衝突しそうな場合には、ドライバに警報を出すシステムが開発されている。例えば、特開平11−321494号において、以下のような従来技術が開示されている。
【0004】
まず、カメラから出力される映像信号を画像処理することにより、周囲から車両が近づいてくるかどうかを検知する。もし、接近車両を検知したときには、ブザー音を発生して、運転者に注意を促す。さらに、カメラから出力される映像信号に対して、スーパーインポーズ形式で、衝突する恐れがある車両の映像上に四角枠のマークを付け、ディスプレイ装置上に表示する。そうして、衝突する恐れのある車両を運転者に認識させるようにする。
【発明が解決しようとする課題】
【0005】
しかし、上記の従来例では、ドライバの感覚と警報ブザーのタイミングとを適合させることが配慮されていない。そのため、危険が感じられない場合にも警報ブザーが鳴るなどしてドライバに違和感を与え、ドライバに受け入れられにくいシステムとなっている。また、従来例によれば、自車両に対してどの方向から接近物があり、どのように危険かを瞬間的に理解することが困難である。さらに、ナビゲーションの音声ガイド機能によりルート案内をすると、例えば、ドライバは前方の交差点等に注意を払って、後側方等の領域に関する安全確認が疎かとなる可能性も考えられる。しかし、従来例はこのようなルート案内とドライバの注意力との関連性を何ら考慮していない。
【0006】
そこで、本発明の目的は、車両周囲の外部情報を得て、接近車両の情報等を提供することにより、ドライバに違和感を与えることなく、且つ必要なときに的確な情報を与えるような、安全な走行を支援するためのナビゲーション装置を提供することである。
【課題を解決するための手段および発明の効果】
【0007】
第1の発明は、車両に搭載されて、当該車両外部の状況を収集し、ユーザに対して注意を喚起すべき状況を所定形状のオブジェクトとして地図上に合成表示し、目的地までの誘導案内を行うナビゲーション装置であって、
ユーザからの指示が入力される入力部と、
現在位置を検出する位置検出部と、
地図情報を予め格納する地図データ格納部と、
オブジェクトを地図上に提示するためのオブジェクトモデル提示情報を予め格納するオブジェクトモデル提示情報格納部と、
入力部から入力された指示と、位置検出部が検出した現在位置と、地図データ格納部に格納された地図情報とに基づいて、目的地までの経路を選出する経路選出部と、
装置外部の状況を収集して、監視情報を出力する外部状況監視部と、
外部状況監視部から入力された監視情報に基づいて、装置外部に存在する対象物を認識し、対象物の位置情報を含む外部状況情報を出力する障害物検出部と、
ユーザに対して注意を喚起すべき対象物の位置情報を含む運転支援情報および対応するオブジェクトモデル提示情報に基づいてオブジェクトを生成し、地図画面として地図上に合成する地図データ合成部と、
障害物検出部から入力された前記外部状況情報から認識される自車周辺の車両の内、車種、車速、自車からの距離、運転状態より危険性のある要注意車両か否かを判断するとともに、自車の運転状態と自車が走行する経路から前記要注意車両が自車に危険を及ぼす可能性があるかを判断し、ユーザに対して注意を喚起すべき対象物を選別し、運転支援情報を作成するとともに、経路選出部によって選出された経路と、位置検出部によって検出された現在位置と、地図データ格納部からの地図情報とが入力されて、地図データ合成部によって合成された地図画面を含む誘導案内を生成する誘導部と、
誘導部によって生成された誘導案内をユーザに対して表示する表示部とを備える。
【0008】
上記のように、第1の発明によれば、車両周囲の外部情報を得て、接近車両の情報等を提供することにより、ドライバに違和感を与えることなく、且つ必要なときに的確な情報を与えるような、安全な走行を支援するためのナビゲーション装置を提供することができる。
【0009】
第2の発明は、第1の発明に従属する発明であって、
外部状況監視部は、装置外部の状況を画像として収集する撮像装置を含み、
障害物検出部は、外部状況監視部から入力された画像を含む監視情報に基づいて、装置外部に存在する対象物を画像認識することを特徴とする。
【0010】
上記のように、第2の発明によれば、人間の視覚に近い多様な認識を行うことができるので、車両周囲の外部情報をより多様な形で認識して、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0011】
第3の発明は、第2の発明に従属する発明であって、
障害物検出部は、対象物を画像認識することにより、対象物の種類を判定して、対象物に関する種類情報を含む外部状況情報を出力し、
誘導部は、種類情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする。
【0012】
上記のように、第3の発明によれば、車両等の種類を認識することによって、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0013】
第4の発明は、第2の発明に従属する発明であって、
障害物検出部は、対象物を画像認識することにより、対象物に付された所定のマークを検出して、対象物に関するマーク情報を含む外部状況情報を出力し、
誘導部は、マーク情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする。
【0014】
上記のように、第4の発明によれば、初心者マークやシルバーマークといった要注意マークを認識することによって、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0015】
第5の発明は、第2の発明に従属する発明であって、
障害物検出部は、対象物を画像認識することによって、対象物が有する方向指示器の方向表示を検出して、対象物に関する方向表示情報を含む外部状況情報を出力し、
誘導部は、方向表示情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする。
【0016】
上記のように、第5の発明によれば、車両がどちらに曲がるかを予め表示するための方向指示器の方向表示を認識することによって、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0017】
第6の発明は、第1の発明に従属する発明であって、
誘導部は、車両および対象物の一方または双方の運転状況の変化を予測して要注意状況の有無を判定し、当該要注意状況に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする。
【0018】
上記のように、第6の発明によれば、自車や他車の車線変更、ターンまたは制動などの運転状況の変化を予測して、自車に対して注意が必要な車両を選別することにより、ドライバに違和感を与えることなく、且つ必要なときに的確な情報を与えるような、安全な走行を支援するためのナビゲーション装置を提供することができる。
【0019】
第7の発明は、第6の発明に従属する発明であって、
誘導部は、経路選出部によって選出された経路を分析することにより、運転状況の変化を予測して要注意状況の有無を判定することを特徴とする。
【0020】
上記のように、第7の発明によれば、すぐ先の経路における道幅の減少や道路の屈曲などの経路変化を予め分析しておくことによって、車線のはみ出しなどの他車の運転状況を予測することができるので、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0021】
第8の発明は、第1の発明に従属する発明であって、
誘導部は、ユーザに対して注意を喚起すべき対象物に対応する危険性に関する属性を含む運転支援情報を作成し、
地図データ合成部は、運転支援情報およびオブジェクトモデル提示情報格納部から入力された対応するオブジェクトモデル提示情報に基づいて、危険性に関する属性に対応するオブジェクトを生成することを特徴とする。
【0022】
上記のように、第8の発明によれば、危険性に関する属性に対応して、見やすいオブジェクトを生成することにより、ドライバにその危険性を瞬間的に把握させることができるので、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0023】
第9の発明は、第1の発明に従属する発明であって、
地図データ合成部は、車両に対応する自車オブジェクトと、対象物に対応する他車オブジェクトとを生成することを特徴とする。
【0024】
上記のように、第9の発明によれば、ドライバに対して、自車と他車との位置関係を瞬間的に把握させることができるので、安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0025】
第10の発明は、第9の発明に従属する発明であって、
地図データ合成部は、車両と対象物との位置関係に対応して、自車オブジェクトと他車オブジェクトとが所定の間隔をあけて表示部に表示されるように、地図画面の表示スケールが選ばれることを特徴とする。
【0026】
上記のように、第10の発明によれば、ドライバに対して見やすい形で自車オブジェクトと他車オブジェクトが表示されるので、安全な走行を支援するための的確な情報を与えることができる。
【0027】
第11の発明は、第1の発明に従属する発明であって、
地図データ合成部は、
運転支援情報およびオブジェクトモデル提示情報格納部から入力された対応するオブジェクトモデル提示情報に基づいて、オブジェクトを生成するオブジェクト作成部と、
オブジェクトを地図上に合成するデータ合成部とを含む。
【0028】
上記のように、第11の発明によれば、2次元ないし3次元のオブジェクトを生成して、2次元ないし3次元の地図上に合成することができるので、各種情報をより直感的に表現することで、ドライバの視認性の向上を図り、安全な走行を支援するための的確な情報を与えることができる。
【0029】
第12の発明は、第11の発明に従属する発明であって、
地図データ合成部は、地図データ格納部から入力された2次元データの地図情報に基づいて3次元の地図を作成する三次元地図作成部をさらに含み、
データ合成部は、オブジェクトを三次元地図作成部が作成した地図上に合成することを特徴とする。
【0030】
上記のように、第12の発明によれば、2次元ないし3次元のオブジェクトを生成して、3次元の地図上に合成することができるので、各種情報をより直感的に表現することで、ユーザの視認性の向上を図ることができる。また、2次元データの地図情報に基づいて3次元の地図を作成するので、地図データ格納部において地図を記憶するための記憶媒体の容量を小さくすることができる。
【0031】
第13の発明は、第11の発明に従属する発明であって、
地図データ合成部は、オブジェクト作成部が生成した2次元のオブジェクトを3次元のオブジェクトへ変換する二次元/三次元座標変換部をさらに含み、
データ合成部は、二次元/三次元座標変換部によって変換された3次元のオブジェクトを地図上に合成することを特徴とする。
【0032】
上記のように、第13の発明によれば、2次元のオブジェクトを生成して、2次元または3次元の地図上に合成することができるので、各種情報をより直感的に表現することができる。また、2次元データのオブジェクトモデル提示情報に基づいて3次元のオブジェクトを作成するので、オブジェクトモデル提示情報格納部においてオブジェクトモデル提示情報を記憶するための記憶媒体の容量を小さくすることができる。
【発明の実施の形態】
【0033】
図1は、本発明の一実施形態に係るナビゲーション装置の構成を示すブロック図である。図1において、本ナビゲーション装置は、入力部2と、地図データ格納部3と、地図データ合成部4と、表示器5と、オブジェクトモデル提示情報格納部6と、外部状況監視部7と、障害物検出部8と、位置検出部9と、経路選出部10と、誘導部11とを備えている。
【0034】
入力部2は、ドライバによって操作され、機能選択(処理項目変更、地図切り替え、階層変更等)や、地点設定等を行うために用いられる。この入力部2から出力される指示情報は、経路選出部10に入力される。
【0035】
位置検出部9は、GPS、電波ビーコン受信装置、車速センサ、角速度センサ、絶対方位センサ等で構成されており、車両の現在位置を検出する。そして、位置検出部9から出力される車両の現在位置情報は、経路選出部10および誘導部11へ入力される。
【0036】
外部状況監視部7は、CCDカメラ、レーザレーダ、超音波センサなどで構成されており、車両外部の様々な状況(典型的には、障害物や自車後方の車両)を監視する。外部状況監視部7によって得られた監視情報は、障害物検出部8へ入力される。なお、外部状況監視部7は、他の車両や交通管制センタなどと通信を行って外部の状況を監視してもよい。しかし、そのような場合には、自車以外の装置を含むシステムが要求されるため、コスト高である。したがって、外部状況監視部7は、センサなどで構成されるのが好ましい。また、外部状況監視部7は、カメラ等の撮像装置で構成されていれば、人間の視覚に近い多様な認識を行うことができるので、より好ましい。
【0037】
障害物検出部8は、外部状況監視部7からの監視情報に基づいて、車両を含む障害物の種類、位置、速度などを分析し、後述するような外部状況情報として出力する。ここで、障害物とは、自車の安全な走行に対して障害になる可能性がある物であって、前方にある物のほか、後方から接近する車両や、危険な運転をしている車両など、およそ運転に際して注意を要する全ての物を含む。注意を要する車両の種類などについては後述する。
【0038】
地図データ格納部3は、光ディスク(CD、DVD等)、ハードディスク、SDカードのような半導体メモリカード等で構成され、地形、交差点や道路の接続状況や座標・形状・属性・規制情報などの2次元地図データあるいは3次元地図データが記録されている。この地図データ格納部3に記録された地図データは、地図データ合成部4は、経路選出部10、および誘導部11によって適宜読み出されて利用される。
【0039】
経路選出部10は、入力部2から入力された指示情報の指示に従って、必要となる範囲の地図データを地図データ格納部3から読み込む。そして、経路選出部10は、入力部2から入力された地点情報等の指示情報と、位置検出部9から入力された車両の現在位置情報とに基づいて、出発地や目的地を決定し、出発地から目的地間の最小コスト経路を探索する。経路選出部10から出力された経路情報は、誘導部11へ入力される。
【0040】
誘導部11は、経路選出部10から入力された経路情報と、位置検出部9から入力された車両の位置情報と、地図データ格納部3から入力された地図データと、障害物検出部8から入力された外部状況情報とに基づき、目的地までの誘導案内を行う。当該誘導案内は、表示器5へ入力される。
【0041】
地図データ合成部4は、地図データ格納部3に格納されている地図データと、障害物検出部8から送られてくる情報と、オブジェクトモデル提示情報格納部6に格納されている情報とに基づいて、オブジェクトを地図データ空間内に合成する。
【0042】
表示器5は、表示装置(液晶ディスプレイ、CRTディスプレイ等)やスピーカ等を含み、地図データ合成部4において合成された地図画面を含む誘導案内を表示する。また、当該表示と共に、または当該表示に替えて、案内のための音声を出力してもよい。
【0043】
オブジェクトモデル提示情報格納部6は、地図データ格納部3と同様に、光ディスクやハードディスク等で構成され、障害物検出部8または入力部2から入力された情報に応じて地図上に2次元または3次元のオブジェクトを提示するための情報を格納する。当該情報の内容およびオブジェクトを提示するための方法については、後述する。
【0044】
以上のような図1のナビゲーション装置の構成は、一般的なコンピュータシステムにおいて実現することができる。図2は、一般的なコンピュータシステムにおいて実現された図1におけるナビゲーション装置の構成を示した図である。
【0045】
図2において、本ナビゲーション装置は、CPU342と、ROM343と、RAM344と、出力部345と、入力部346と、位置検出部349と、外部状況監視部348とを備えている。これらは共通のバスまたは外部バスによって結合されている。ここで、ROM343およびRAM344は、外部記憶媒体を用いた記憶装置を含むことができるものとする。
【0046】
図2において、本ナビゲーション装置のCPU342は、ROM343および/またはRAM344に記憶されたプログラムに従って動作する。したがって、図1における地図データ合成部4、障害物検出部8、経路選出部10および誘導部11の各機能は、それぞれ対応するプログラムによって実現される。その場合、本ナビゲーション装置は、典型的には当該ソフトウェア制御のためのプログラムを記憶した記録媒体を実装することになる。もちろん、本装置は、通信回線から伝送されてくるプログラムを利用してもよい。
【0047】
また、典型的には図1における地図データ格納部3は、ROM343に含まれる。もっとも、地図データ格納部3の全部または一部は、RAM344に含まれてもよい。同様に、オブジェクトモデル提示情報格納部は、RAM344に含まれるが、ROM343に含まれてもよい。
【0048】
図3は、本ナビゲーション装置の基本的な処理の流れを表したフローチャートである。図3のステップS51において、経路選出部10は、入力部2から目的地や表示した地図領域がドライバによって指定され、位置検出部9から自車位置が渡されて経路探索を行い、誘導部11に経路探索結果を渡す。
【0049】
ステップS52において、誘導部11は、位置検出部9の自車位置に対応する該当領域の地図表示を行うため、地図データ合成部4に地図データ合成表示を依頼する。さらに、ステップS53において、地図データ合成部4は、地図データ格納部3から地図データを読み込む。
【0050】
次に、サブルーチンステップS54において、誘導部11は、障害物検出部8から外部状況情報を読み込んで、自車の状態(右左折しようとしているか等)や経路探索結果に照らして、運転支援情報の要否および種類を決定する。このサブルーチンステップS54の詳細な処理内容については後述する。
【0051】
サブルーチンステップS55において、地図データ合成部4は、作成された運転支援情報と、オブジェクトモデル提示情報格納部6に格納されている情報とを参照して2次元ないし3次元のオブジェクトを作成し、地図データ格納部3から読み出された地図データと合成する。このサブルーチンステップS55の詳細な処理内容についても後述する。
【0052】
ステップS56において、誘導部11は、誘導案内のための地図画面やオブジェクトが合成された地図画面を表示器5に表示させる。なお、誘導案内は、地図画面とは別に表示されてもよいし、地図画面は、地図データ合成部4が表示器5に表示させてもよい。
【0053】
最後に、ステップS57において、誘導部11は、位置検出部9の自車位置から目的地に到着するまで誘導案内を続行するので、処理はステップS52へ戻る。また、誘導部11は、目的地に到着したと判断した場合には、誘導案内を終了する。
【0054】
図4は、図3のサブルーチンステップS54の詳細な処理を示すフローチャートである。図4のステップS541において、誘導部11は、障害物検出部8から外部状況情報を読み込む。当該外部状況情報は、外部状況監視部7からの監視情報に基づいて、障害物検出部8が適宜作成する。
【0055】
ここで、障害物検出部8が外部状況情報を作成する動作について詳述する。図5は、障害物検出部8が外部状況情報を作成する基本的な処理の流れを表したフローチャートである。なお、外部状況監視部7は、ここではCCDカメラ等の撮像装置で構成されており、画像データを取得するものとする。
【0056】
図5のステップS110において、障害物検出部8は、外部状況監視部7から画像データを受け取る。画像データは、典型的には1枚の静止画であるが、左右に所定の距離だけ間隔をあけて設置されたカメラによって撮像された2枚の静止画であってもよく、さらには所定時間の動画であってもよい。
【0057】
サブルーチンステップS120において、障害物検出部8は、取得した画像データから車線を検出する。なお、車線は、ここでは白線で構成されているものとする。さらに、本サブルーチンステップS120の詳細な処理の流れについて、図6を用いながら説明する。
【0058】
図6のステップS121において、障害物検出部8は、取得した画像内に定められた所定の領域における輝度の最大値を検出する。障害物検出部8は、検出された当該最大値を基準とし、白線の輝度分布を参照して、白線を検出するために最適なしきい値を設定する。
【0059】
ステップS122において、障害物検出部8は、画像データの所定の位置(例えば、画像最左列の中央)から別の所定位置(例えば、画像最右列の中央)まで、設定されたしきい値を超える画素を検索する。最初にしきい値を超えた画素は、白線輪郭として抽出される。こうして、画像内の全ての白線を独立に抽出する。なお、白線の抽出は、SOBELフィルタのようなエッジ抽出フィルタを用い
ることにより、エッジ抽出の手法によって行うこともできる。
【0060】
ステップS123において、障害物検出部8は、抽出された白線輪郭を含む処理領域を設定して、直線近似計算を行う。直線近似には、例えばHOUGH変換と呼ばれるアルゴリズムが用いられる。その結果、全ての白線を直線として得ることができる。
【0061】
ステップS124において、障害物検出部8は、白線に対応する直線のうち、隣り合う2本と、画像の底辺とによって三角形領域を構成する。構成された三角形領域は、それぞれ走行車線を表すことになる。
【0062】
次に、図5のサブルーチンステップS130において、障害物検出部8は、取得した画像データから車両領域を抽出し、対応する固有の車両IDを付ける。したがって、複数の車両領域が抽出される場合には、それぞれに異なる車両IDが付されることになる。さらに、本サブルーチンステップS130の詳細な処理の流れについて、図7を用いながら説明する。
【0063】
図7のステップS131において、障害物検出部8は、前述のステップS124において検出された走行車線内で、エッジ検出を行い、車両が存在する領域を抽出する。典型的には、まず、画像の水平エッジと垂直エッジとを検出する。次に、これらを利用して、車両の上下端に接する水平の接線と、左右端に接する垂直の接線を引く。最後に、これらの接線に囲まれた長方形の領域を抽出する。
【0064】
ステップS132において、障害物検出部8は、抽出された領域に対して、車両の近似モデルをあてはめる。典型的には、図示されない近似モデルデータベースから最も近似するモデルを検索し、検索によって得られたモデルの重心を抽出された領域の重心に合わせてあてはめる。
【0065】
ステップS133において、障害物検出部8は、近似モデル内の車両の輪郭を抽出して、車両領域とする。典型的には、当該車両領域は、車両の輪郭に沿った閉曲線で構成される。
【0066】
ステップS134において、障害物検出部8は、当該車両領域に対して、一意に対応する固有の車両IDを付与する。当該車両IDは、外部状況情報において利用される。
【0067】
次に、図5のステップS140において、障害物検出部8は、車両領域の画像から車両の走行位置や走行車線を判定し、自車との相対距離や相対速度、相対加速度を検出する。なお、レーザレーダなどの能動センサが用いられる場合には、車両の走行位置は容易に判別できるが、カメラが用いられる場合には所定の処理が必要となり、その手法も様々である。ここでは、2台のカメラで物体を撮像し、画像間での特徴点の対応関係から視差を求め、そこから得た視差を三角測量の原理を用いて実距離に変換するステレオ視アルゴリズムを用いる。以下、本サブルーチンステップS140の詳細な処理の流れについて、図8を用いながら説明する。
【0068】
図8のステップS141において、障害物検出部8は、車両の走行車線を検出する。車両の走行車線は、前述のステップS124において検出された走行車線から容易に判別することができる。
【0069】
ステップS142において、障害物検出部8は、2台のカメラの画像において、まず、対応を求めやすい特徴量を抽出する。特徴量としては、エッジや多面体の頂点などが考えられる。次に、抽出された特徴量を用いて、対応点を探索する。対応点探索には、例えば、2枚の画像上での同一の平面を表すエピポーラ線を用いた幾何学的拘束を利用する。こうして得られた対応点の組から、視差dを求め、次式(1)より、距離Dを算出する。
【0070】
D=L*f/d …(1)
但し、上式(1)において、Lはカメラ間の距離を、fは焦点距離をそれぞれ表すものとする。
【0071】
ステップS143において、障害物検出部8は、前述のステップS142において得られた距離Dから、カメラ座標系における対応点の空間座標値を算出し、車両の位置を算出する。算出された車両の位置は、車両IDに対応して典型的には時間と共に、位置履歴として一時記憶される。
【0072】
ステップS144において、障害物検出部8は、前述のステップS143において得られた車両の位置履歴から車両の速度および加速度を算出する。なお、速度および加速度は、必要に応じて誘導部11が算出してもよい。以上のように算出された車両の位置、速度、加速度は、車両IDに対応させて、外部状況情報に含められる。
【0073】
次に、図5のステップS150において、障害物検出部8は、車両領域の画像から車両の種類を判定する。典型的には、障害物検出部8は、図示されない車両データベースに格納された画像と、車両領域の画像とを比較し、マッチングの度合いにより車種を判定する。この際、画像の大きさ等から距離も判別できる場合には、ステップS140の処理は省略することもできる。以上のように判定された車種は、車両IDに対応させて、外部状況情報に含められる。
【0074】
ステップS160において、障害物検出部8は、車両領域の画像から初心者マークなどの要注意マークが車両に付いているかを判定する。ここで、初心者マークやシルバーマークといった要注意マークは、周囲の車両を運転するドライバに対して一定の配慮を要求する効果を有しており、すぐにそれと判別できるように定められた所定の形と色とを有している。したがって、障害物検出部8は、車両領域内で要注意マークの色と同じ色領域を抽出し、予め作成された要注意マークの形状と一意に対応するテンプレートと抽出された色領域の形状とを比較する。その結果、マッチングの度合いにより要注意マークであるか否かを判定することができる。以上のように判定された要注意マークの有無および種類は、車両IDに対応させて、外部状況情報に含められる。
【0075】
ステップS170において、障害物検出部8は、車両領域の画像から車両の方向指示器が指示する方向表示の有無および方向を判定する。ここで、方向指示器も要注意マークと同様の所定の色を有しており、前述のステップS160における処理と同様に、判定することができる。また、所定の時間間隔をあけて撮像された複数の画像から点滅している領域を抽出する処理を行って判定することもできる。以上のように判定された方向指示器の方向表示の有無および方向は、車両IDに対応させて、外部状況情報に含められる。
【0076】
ステップS180において、障害物検出部8は、車両領域の画像が全て抽出されて認識されたか否かを判断する。まだ、抽出されていない車両領域がある場合には、処理はサブルーチンステップS130へ戻る。全て抽出されて認識された場合には、処理は終了する。ただし、図5の処理は、走行中の車両に対する危険を認識するために必要な所定の時間間隔をあけて繰り返し行われることになる。
【0077】
以上のような処理を経て、車両ID毎に外部状況情報が作成され、誘導部11に読み込まれて、図4のステップS541の処理が終了する。
【0078】
次に、ステップS542において、誘導部11は、読み込まれた外部状況情報を参照して、要注意車両が存在するか否かを判断する。要注意車両とは、その車種、速度、自車からの距離、運転状態等に照らし、場合によっては自車に危険を及ぼす可能性のある車両をいう。典型的には、急接近中または車間距離が不十分な車両、方向指示器を出している車両、バイク、初心者マークを付けた車両、蛇行運転する車両、緊急車両などである。
【0079】
このような要注意車両は、外部状況情報に基づいて、容易に判別することができる。例えば、急接近中または車間距離が不十分な車両は、前述した図5のステップS140において得られる自車との相対距離、相対速度、相対加速度の値を所定の計算式やテーブルにあてはめるなどして容易に判別することができる。同様に、蛇行運転する車両も、例えば当該車両の移動ベクトルの変動量を算出し、走行方向に対する横方向のふらつきを検出するなどして容易に判別することができる。また、バイクや緊急車両などはステップS150において、初心者マークなどを付けた車両はステップS160において、方向指示器を出している車両はステップS170において、それぞれ判別することができる。
【0080】
以上のように判別される要注意車両が存在しないと判断された場合には、処理は終了し、図3の処理へ復帰する。存在すると判断された場合には、処理はステップS543へ進む。
【0081】
ステップS543において、誘導部11は、要注意車両に対応する要注意状況が存在するか否かを判断する。要注意状況とは、自車の運転状況(右左折や減速などの挙動)や直近の経路などから予測して、他車が自車に対して危険を及ぼす可能性のある状況をいう。このような要注意状況のうち、要注意車両に対応するものが存在しないと判断された場合には、処理は終了し、図3の処理へ復帰する。存在すると判断された場合には、処理はステップS544へ進む。
【0082】
ここで、要注意状況と要注意車両との対応関係について、例示的に説明する。図9は、要注意状況と要注意車両との関係を模式的に表した表である。本表内の「0」は、基本的に危険性がない場合を表し、「1」は危険性がある場合を表している。なお、本表は、右側通行を遵守しなければならない場合(日本など)を念頭に置いているが、左右を入れ替えれば、左側通行を遵守しなければならない場合にも容易に適用可能である。
【0083】
図9において、縦軸は各種要注意車両の危険性に関する属性を表しており、要注意車両が自車に対して接近中であるか、方向指示器を出しているか、自車線または左車線を走行するバイクか、初心者マークやシルバーマークといった要注意マークを付けているか、蛇行運転しているか、緊急車両かによって区分されている。また、要注意車両が接近中であることを示す区分は、当該要注意車両が自車の走行車線に対して右車線を走行しているか、自車線を走行しているか、左車線を走行しているかの区分に、さらに細分化されている。同様に、要注意車両が方向指示器を出していることを示す区分は、自車線を走行する要注意車両が方向指示器を右方向に出しているか、左方向に出しているかの区分に、さらに細分化されている。
【0084】
また、横軸は各種要注意状況を表しており、自車が車線変更をするか、ターンをするか、制動をかけるか、すぐ先の経路において道幅が減少しているか、道路が屈曲しているかによって区分されている。さらに、それぞれの区分は、車線の変更方向、ターンの方向、制動パターン、減少車線、屈曲方向の別に、さらに細分化されている。
【0085】
なお、すぐ先の経路における道幅の減少または道路の屈曲は、経路選出部10によって選出された経路のうち、現在位置から所定の距離だけ離れた地点において、その道路形状を地図データ格納部3に格納されている地図情報から取得して分析すれば、容易に判断することができる。このように、すぐ先の経路における変化を予め分析しておけば、道幅の減少による車線変更や道路の屈曲による車線のはみ出しなどの他車の運転状況を予測することができる。
【0086】
さらに、自車の車線変更、ターンまたは制動は、自車の現在位置、ハンドル、アクセル、ブレーキなどをリアルタイムでモニターすることにより、予測することができる。また、自車の方向指示器をモニターすることにより、左右方向への自車の挙動を予測することができる。さらに、経路選出部10によって選出された経路を分析することによって、自車の挙動を予測することができる。
【0087】
図9を参照すると、例えば、自車の走行車線に対して右車線を接近する車両があるときに、自車が右へ車線を変更したりターンすることには接触の危険性がある。そこで、該当欄にはそれぞれ1が記載されている。また、経路選出部10によって選出された経路からすぐ先の道路の道幅が減少し、右車線が減少する場合において、右車線を接近する車両があるときには、強引な自車線への変更や接触の危険性がある。同様に、道路が一定の曲率以上で右側に屈曲しているときにも、右車線を高速で走行する車が自車線へはみ出してくる危険性がある。したがって、該当欄にはそれぞれ1が記載されている。
【0088】
さらに、自車線を接近する車両があるときに、自車が左右へターンすることは、それ自体危険ではない。しかし、ターンには減速を伴うのが通常であることから、要注意車両の相対位置、相対速度、相対加速度によっては追突される危険性がある。そこで、該当欄には1が記載されている。また、自車が停止しているときに、自車線を接近する車両があるときには、その相対位置、相対速度、相対加速度によっては追突される危険性がある。しかし、同車線の接近車両は停止するのが通常であるので危険性はない。そこで、該当欄には0が記載されている。
【0089】
次に、自車線または左車線を走行するバイクは、自車が左へターンするときに死角に入りやすく危険性がある。また、自車が停止しているときに、自車の左側のドアを不用意に開けると、左側を走行するバイクと接触事故を起こすこともある。そこで、該当欄には1が記載されている。なお、自車のドアに手をかけたことを検知し、そのときに初めて危険性がある旨の条件が成立するように構成してもよい。
【0090】
また、緊急車両は、道を譲る対象であるとともに、自車に対して危険性を伴うとこともあることなどから、該当欄には全て1が記載されている。もっとも、要注意状況の如何に関わらず、緊急車両を検出したときには常に運転支援情報を作成するように構成してもよい。
【0091】
なお、図9はあくまで危険性が認められると考えられる場合の例示であって、図中に記載されている場合には限定されず、他に各種の要注意状況、要注意車両、またはそれらの組み合わせが考えられる。例えば、方向指示器による方向表示を行わずに車線変更を行ったり、急加速・急減速を繰り返す車両は要注意車両としてもよい。さらに、例えば、障害物検出部8によってナンバープレートや車種を認識し、3ナンバーの車や高級外車であればその旨をドライバに警告したり、盗難車両や緊急手配された車両であれば警察に通報する、といった動作を行うことも考えられる。
【0092】
以上のようにすれば、要注意車両が要注意状況と所定の対応関係にあるか否かを判断することができる。もっとも、図9は、対応関係を説明するための例示にすぎないので、このような要注意車両や要注意状況を類型化して整理したテーブルを参照することがないような判断手法を用いることもできる。
【0093】
すなわち、上述の危険性は、自車や要注意車両の位置、速度、加速度、方向および車線変更の可能性、道路形状、路面の状態などとそれぞれ所定の相関性を有する。したがって、これらの関係を所定の方程式によって記述し、または多様なケースを想定した複雑な条件判断式によって記述することができる。よって、このような方程式または条件判断式に基づいて、要注意車両が要注意状況と所定の対応関係にあるか否かを判断することができる。
【0094】
以上のように、図4の本ステップS543において、誘導部11は、要注意車両に対応する要注意状況が存在するか否かを判断する。
【0095】
次に、ステップS544において、誘導部11は、典型的には要注意車両を地図画面に合成して表示するために用いられる情報として、当該要注意車両に対応する運転支援情報を作成する。
【0096】
図10は、運転支援情報の内容を例示した模式図である。図10において、運転支援情報は、車両ID551と、車種情報552と、車両の色情報553と、自車との相対位置554と、1つ以上の危険性に関する属性555とを含む。車両ID551は、他の車両と区別するために付された固有の識別番号である。車種情報552および色情報553は、障害物検出部8によって認識された外部状況情報に基づいて決定される。なお、車種情報552および色情報553は、画像表示に利用することを目的としているので、省略することもできる。また、ナビゲーション装置が警告を地図画面に合成表示することなく音声等で行う場合には、相対位置554を省略することができる。
【0097】
ここで、誘導部11は、要注意車両の危険性に関する全ての属性のうち、要注意状況との対応関係において危険があると判断された場合(例えば、図9における「1」の場合)のみを選択して、運転支援情報に含まれる危険性に関する属性555とする。
【0098】
この際、前述のステップS543において判断された要注意状況に限って選択の判断を行うわけではない。例えば、自車が減速しながら車線変更してターンをする場合には、対応する要注意状況は、少なくとも3つある。このような場合には、要注意車両に対してそれぞれの要注意状況における危険性に関する属性を判断する。
【0099】
同様に、危険性に関する属性は、対応する車両について1つに限られるわけでない。例えば、初心者マークを付けた車が蛇行運転しながら接近してくる場合には、対応する危険性に関する属性は、少なくとも3つある。このような場合には、特定の要注意車両について複数存在する危険性に関する属性をすべて判断する。
【0100】
以上のように、本ステップS544において、誘導部11は、或る要注意車両について考えられる全ての危険性に関する属性を、発生している全ての要注意状況に照らして判断を行い、対応する運転支援情報を作成する。
【0101】
次に、ステップS545において、誘導部11は、読み込まれた外部状況情報を参照して、他の要注意車両が存在するか否かを判断する。他に要注意車両が存在すると判断された場合には、処理はステップS543へ戻り、全ての要注意車両に対応する運転支援情報が作成されるまで前述の処理が繰り返される。他に要注意車両が存在しないと判断された場合には、処理は終了して、図3の処理へ復帰し、次に、図3のサブルーチンステップS55の処理が実行される。
【0102】
図11は、図3のサブルーチンステップS55の詳細な処理を示すフローチャートである。図11のステップS551において、地図データ合成部4は、前述のサブルーチンステップS54において誘導部11が作成した運転支援情報が存在するか否かを判断する。運転支援情報が存在しない場合には、地図データ合成部4は、サブルーチンステップS55の処理を終了して図3の処理へ復帰する。運転支援情報が存在する場合には、処理はステップS552へ進む。
【0103】
ステップS552において、地図データ合成部4は、或る運転支援情報に対応するオブジェクトモデル提示情報をオブジェクトモデル提示情報格納部6から読み込む。読み込まれるオブジェクトモデル提示情報は、典型的には、要注意車両およびその危険性に関する属性に対応するオブジェクトをそれぞれ表示するための情報である。
【0104】
ステップS553において、地図データ合成部4は、読み込まれたオブジェクトモデル提示情報に対応するオブジェクトを作成し、表示スケールおよび地図表示空間での位置に合わせて、地図と合成する。当該結果は、表示器5によって表示される。
【0105】
ここで、表示スケールは、実際の相対距離に対応して、自車と要注意車両とが表示画面内に適切な間隔または大きさで表示できるように設定される。例えば、本ナビゲーション装置は、4つの表示スケールを有する。第1の表示スケールは、1.6〜50km四方の地図を表示するためのスケールであって、3Dサテライトマップと呼ばれる。第2の表示スケールは、100〜800m四方の地図を表示するためのスケールであって、通常2Dマップと呼ばれる。第3の表示スケールは、25〜100m四方の地図を表示するためのスケールであって、バーチャルシティマップ(サイマップ)と呼ばれる。第4の表示スケールは、25〜50m四方の地図を表示するためのスケールであって、フロントビューマップと呼ばれる。一般的には、自車と要注意車両とが適切な大きさで表示できるのは、サイマップまたはフロントビューマップであるので、状況に応じて適切な表示スケールに切り替える。そうすれば、ドライバに対して見やすい形で、安全な走行を支援するための的確な情報を与えることができる。
【0106】
なお、表示スケールは、上述の4つに限られず、自車と要注意車両とが表示画面内に適切な間隔で表示できるように、連続的に変化させてもよい。以上のように表示スケールが設定されると、作成されたオブジェクトを地図と合成表示する処理が行われるが、その詳細な処理内容については後述する。
【0107】
ステップS554において、地図データ合成部4は、誘導部11が作成した運転支援情報が他に存在するか否かを判断する。他に存在しない場合には、地図データ合成部4は、サブルーチンステップS55の処理を終了し、図3の処理に復帰する。他に存在する場合には、処理はステップS552へ戻り、全ての運転支援情報に対応する表示が行われるまで、一連の処理が繰り返される。
【0108】
さらに、図11のステップS553において、地図データ合成部4が地図画面をどのように生成するかを詳述する。まず、生成される地図画面が2次元景観である場合について説明する。図12は、2次元景観を作成する場合における地図データ合成部4の詳細な構成を示した図である。図12において、地図データ合成部4は、二次元オブジェクト作成部145と、二次元データ合成部146とを含む。
【0109】
二次元オブジェクト作成部145は、オブジェクトモデル提示情報格納部6からのオブジェクト提示情報が入力されて、二次元のオブジェクトを作成する。二次元データ合成部146は、二次元オブジェクト作成部145が作成した二次元のオブジェクトと、地図データ格納部3からの2次元地図データとを入力されて、互いのデータにおける2次元座標データを基に、ドライバに表示すべき地図画像を合成する。図13は、このようにして作成されたデータを表示器5が表示する場合の一例を示した模式図である。
【0110】
図13において、片道2車線の道路として表示された2次元の地図上には、走行中の自車を示す自車オブジェクト301と、後方の要注意車両を示す他車オブジェクト302と、危険性に関する属性に対応する矢印オブジェクト303とが配置されている。なお、他車オブジェクト302の車種および色は、運転支援情報に含まれる情報に適合するように、表示されることが好ましい。また、他車オブジェクト302は、要注意車両であることを強調するための表示形態によって表示されてもよい。強調するための表示形態とは、例えば、赤く表示されたり、点滅したり、色が変わったりといった、およそドライバに注意を喚起することができる表示形態をいう。
【0111】
ここで、後方の要注意車両は、右方向へ方向指示器を出しており、自車もまた右側へ車線変更をしようとしているとする。このような状況においては、図9において前述したように接触の危険がある。そこで、ドライバに後方の要注意車両が右側へ車線変更しようとしていることを知らせるために、図13に示されるような矢印オブジェクト303が表示される。
【0112】
なお、このように右車線を他車が接近中の場合であっても、図9に示されるように、自車が右側へ車線変更し、ターンし、右側の車線が減少し、または道路が右側に屈曲する場合以外は危険性がないことから、前述のように運転支援情報は作成されない。したがって、矢印オブジェクト303は表示されない。
【0113】
また、図14は、表示器5が表示する地図画面の別例を示した模式図である。図14において、道路上には、走行中の自車を示す自車オブジェクト311と、後方の要注意車両を示す他車オブジェクト312と、危険性に関する属性に対応する要注意マークオブジェクト313とが配置されている。ここで、後方の要注意車両は、初心者マークを付けており、自車は例えば左にターンしようとしているとする。このような状況においては、危険性があるので、ドライバに後方の要注意車両が初心者マークを付けていることを知らせるために、図14に示されるような要注意マークオブジェクト313が表示される。
【0114】
さらに、危険性に関する属性に対応するオブジェクトは1つの車両について2つ以上であってもよく、さらには1つの危険性に関する属性について2つ以上のオブジェクトが作成されてもよい。図15は、表示器5が表示する地図画面のさらなる別例を示した模式図である。図15において、道路上には、走行中の自車を示す自車オブジェクト321と、後方の要注意車両を示す他車オブジェクト322と、危険性に関する属性に対応する蛇行マークオブジェクト323および吹き出しオブジェクト324とが配置されている。ここで、後方の要注意車両は、蛇行運転をしており、自車は例えば左にターンしようとしているとする。このような状況においては、危険性があるので、ドライバに後方の要注意車両が蛇行運転をしていることを知らせるために、図15に示されるような蛇行マークオブジェクト323と、注意を喚起するような文字を含む吹き出しオブジェクト324とが表示される。
【0115】
以上のように、自車オブジェクトと他車オブジェクトを配置すれば、ドライバに対して、自車と他車との位置関係を瞬間的に把握させることができる。また、それぞれの危険性に関する属性に対応して、見やすいオブジェクトを生成すれば、ドライバにその危険性を瞬間的に把握させることができる。したがって、ドライバに対して安全な走行を支援するための的確な情報を与えるようなナビゲーション装置を提供することができる。
【0116】
次に、地図データ合成部4において生成される地図画面が、3次元景観である場合について説明する。ここで、生成される地図画面が3次元景観であっても、オブジェクト提示情報から作成されるオブジェクトおよび地図データ格納部3に格納されている地図データは、必ずしも3次元のデータである必要はない。そこでまず、地図データ合成部4が、オブジェクトモデル提示情報格納部6からは3次元のデータが入力され、地図データ格納部3からは2次元の地図データが入力されて、3次元景観の地図画面を生成する場合について説明する。
【0117】
図16は、オブジェクトモデル提示情報格納部6からは3次元のデータが入力され、地図データ格納部3からは2次元の地図データが入力されて、鳥瞰図の地図画面を生成する、地図データ合成部4の詳細な構成について説明したブロック図である。
【0118】
図16において、地図データ合成部4は、地図データ格納部3から2次元の地図データが入力されて鳥瞰図の形の地図データに変形する鳥瞰図データ変形部141と、オブジェクトモデル提示情報格納部6から3次元のデータが入力されて三次元のオブジェクトを作成する三次元オブジェクト作成部142と、鳥瞰図データ変形部141からのデータおよび三次元オブジェクト作成部142からのデータが入力されてそれらを合成する三次元データ合成部143とを含む。
【0119】
鳥瞰図データ変形部141は、地図データ格納部3から2次元の地図データが入力されて、鳥瞰図の形の地図データに変形する。2次元データから鳥瞰図を作成する方法については、例えば、「鳥瞰図地図表示ナビゲーションシステムの開発」(社団法人 自動車技術会 学術講演前刷集962 1996−5)等に開示されている。以下、2次元データから鳥瞰図を作成する方法について説明する。
【0120】
図17は、二次元の地図データに対して透視投影変換を施して鳥瞰図を作成する方法を説明した図である。図17において、V(Vx,Vy,Vz)は視点の座標を表す。S(Sx,Sy)はモニター上の鳥瞰図画像の座標を表す。M(Mx,My,Mz)は2次元地図上の座標を表す。なお、地図データは二次元のデータであるから、Mzは0である。E(Ex,Ey,Ez)は視点座標系で見た点Mの相対位置を表す。θは視線の見下ろし角を表し、φは視線の方向角を表す。DSは視点と画面との間の理論的距離を表す。
【0121】
ここで、視点の座標V(Vx,Vy,Vz)と、視線の見下ろし角θと、視線の方向角φとを定めれば、2次元地図上の座標M(Mx,My,Mz)に対して、鳥瞰図画像の座標S(Sx,Sy)を求めることができる。その算出式は、次式(2)のように表すことができる。
【0122】
【数1】
Figure 0004485097
鳥瞰図データ変形部141は、例えば上式(2)の計算を行って、地図データ格納部3から入力された2次元の地図データを、鳥瞰図の形の地図データに変形する。鳥瞰図の形に変形された3次元の地図データは、三次元データ合成部143へ入力される。
【0123】
また、三次元オブジェクト作成部142は、オブジェクトモデル提示情報格納部6から3次元のデータが入力されて、前述した図11のステップS553における処理を行い、3次元のオブジェクトを作成する。生成されたオブジェクトは、三次元データ合成部143へ入力される。
【0124】
三次元データ合成部143は、入力された3次元地図データおよびオブジェクトのデータを合成する。図18は、このようにして作成されたデータを表示器5が表示する場合の一例を示した図である。
【0125】
図18において、鳥瞰図の形に表示された地図上には、走行中の自車を示す自車オブジェクト331と、後方の要注意車両を示す他車オブジェクト332と、危険性に関する属性に対応する要注意マークオブジェクト333とが配置されている。状況は、図14の場合と同様であるので、説明は省略する。なお、図18において、これらのオブジェクトは2次元のオブジェクトのように見えたとしても、これらは視点が変化することによってその形状が変化するような3次元のオブジェクトを表しているものとする。
【0126】
次に、オブジェクトモデル提示情報格納部6からは3次元のデータが入力され、地図データ格納部3からは2次元の地図データが入力されて、上述のような鳥瞰図とは異なる3次元景観の地図画面が生成される場合について説明する。
【0127】
図19は、オブジェクトモデル提示情報格納部6からは3次元のデータが入力され、地図データ格納部3からは2次元の地図データが入力されて、鳥瞰図とは異なる3次元景観の地図画面を生成する、地図データ合成部4の詳細な構成について説明したブロック図である。
【0128】
図19において、地図データ合成部4は、地図データ格納部3から2次元の地図データが入力されて3次元の地図データを生成する三次元地図データ作成部147と、オブジェクトモデル提示情報格納部6から3次元のデータが入力されて三次元のオブジェクトを作成する三次元オブジェクト作成部142と、三次元地図データ作成部147からのデータおよび三次元オブジェクト作成部142からのデータが入力されてそれらを合成する三次元データ合成部143とを含む。
【0129】
図19において、三次元オブジェクト作成部142と、三次元データ合成部143とは、図16における場合と同様の構成および動作を行う。したがって、これらの説明は省略し、以下、三次元地図データ作成部147の構成および動作について説明する。
【0130】
図20は、三次元地図データ作成部147の詳細な構成を示したブロック図である。図20において、三次元地図データ作成部147は、地図データ格納部3からは2次元の地図データが入力されて、高さおよび幅の情報を付与する高さ・幅情報付与部1471と、高さ・幅情報付与部1471からのデータが入力されて3次元のオブジェクトを作成する3次元ポリゴン作成部1472とを含む。
【0131】
高さ・幅情報付与部1471は、入力された二次元の地図データに含まれるリンクの種類(例えば、側道リンクや高架リンクなど)および分岐ノードの情報を利用し、典型的には所定のパターンをあてはめて、道路等の3次元形状を解析する。解析の結果から、高さ・幅情報付与部1471は、当該道路等の2次元データに対して、高さおよび幅の情報を付与し、3次元の地図データを生成する。
【0132】
3次元ポリゴン作成部1472は、高さ・幅情報付与部1471から3次元の地図データを入力され、一般的なポリゴン作成手法を用いて、3次元のオブジェクトを作成する。以上のように、図19の地図データ合成部4は、鳥瞰図とは異なる3次元景観の地図画面を生成する。
【0133】
図21は、3次元景観の地図画面上に、右側へ車線変更しようとしている要注意車両および変更方向を示す3次元のオブジェクトが表示される場合を例示した図である。図21に示されるように、車線変更をしようとしている車両と変更方向を示す矢印のオブジェクトがそれぞれ表示されることによって、後方の車両が右側へ車線変更しようとしていることを直感的に把握することができる。
【0134】
次に、地図データ合成部4が、オブジェクトモデル提示情報格納部6からは2次元のデータが入力され、地図データ格納部3からは3次元の地図データが入力されて、3次元景観の地図画面を生成する場合について説明する。
【0135】
図22は、オブジェクトモデル提示情報格納部6からは2次元のデータが入力され、地図データ格納部3からは3次元の地図データが入力されて、3次元景観の地図画面を生成する、地図データ合成部4の詳細な構成について説明したブロック図である。
【0136】
図22において、地図データ合成部4は、オブジェクトモデル提示情報格納部6から2次元のデータが入力されて2次元のオブジェクトを作成する二次元オブジェクト作成部145と、二次元のオブジェクトデータが入力されて3次元座標に変換する二次元/三次元座標変換部144と、地図データ格納部3から3次元の地図データが入力され、二次元/三次元座標変換部144からの三次元のオブジェクトが入力されてそれらを合成する三次元データ合成部143とを含む。
【0137】
図22において、二次元オブジェクト作成部145は、オブジェクトモデル提示情報格納部6から2次元のデータが入力されて、前述した図11のステップS553における処理を行い、2次元のオブジェクトを作成する。
【0138】
具体的には、前述のように、オブジェクト提示情報に含まれる2次元の形状情報として、複数の画像ファイルが用意される。図23は、オブジェクト提示情報に含まれる2次元の形状情報として用意された複数の画像ファイルを例示した図である。図23において、複数の画像はそれぞれ、蛇行車画像と、バイク画像と、初心者マーク車画像との種類に分かれている。これらの画像の種類は、各オブジェクト提示情報に対応している。また、各種類の画像にはさらに、遠距離用と、中距離用と、近距離用とに分かれている。
【0139】
まず、二次元オブジェクト作成部145は、オブジェクト提示情報に対応する画像の種類を決定する。次に、二次元オブジェクト作成部145は、決定された画像の種類の中から、遠距離用の画像、中距離用の画像および近距離用の画像のいずれかを選択する。ここで、前述のように、オブジェクト提示情報には形状に関する情報としてオブジェクトの位置を表す位置情報が含まれる。当該位置情報は、3次元座標によって表されている。図23において、遠距離用の画像と、中距離用の画像と、近距離用の画像は、オブジェクトの位置を表す3次元座標と視点座標との距離に従って決定される。したがって、典型的には、二次元オブジェクト作成部145は、オブジェクトの位置を表す3次元座標と視点座標との距離を計算して、当該距離が予め定められたどの距離の範囲に含まれるかを判別する。
【0140】
二次元/三次元座標変換部144は、生成された2次元のオブジェクトにおける2次元座標を、対応する前述した位置情報に基づいて3次元座標に変換する。変換された3次元のオブジェクトデータは、三次元データ合成部143へ入力される。
【0141】
三次元データ合成部143は、地図データ格納部3から3次元の地図データを入力される。三次元データ合成部143は、入力された地図データと、二次元/三次元座標変換部144から入力された3次元のオブジェクトデータとを合成して、3次元景観の地図画面を作成する。作成された3次元景観の地図画面は、表示器5によって表示される。
【0142】
また、以上のような構成によれば、二次元オブジェクト作成部145において作成された2次元のオブジェクトは、二次元/三次元座標変換部144において3次元のデータに変換された後、三次元データ合成部143において3次元の地図データと合成される。しかし、図22の地図データ合成部4は、二次元/三次元座標変換部144が省略され、三次元データ合成部143に替えて二次元/三次元画像合成部が設けられるように構成されてもよい。ここで、二次元/三次元画像合成部は、二次元オブジェクト作成部145において作成された2次元のオブジェクトを3次元景観の地図画面上に貼り付ける形で合成する。具体的には、二次元/三次元画像合成部は、3次元の地図データをスクリーン座標へ変換して3次元景観の地図画面を生成し、2次元のオブジェクトのスクリーン座標を計算して、生成された3次元景観の地図画面に対して2次元データのまま合成する。このように構成すれば、視点の移動に従って、オブジェクトの形が変形することなく、常に画面に対して平行に表示される。したがって、視認性のよいオブジェクト表示を行うことができる。
【0143】
図24は、図22の地図データ合成部4によって作成された3次元景観の地図画面を例示した図である。図24に示されるように、図の中央には、自車を示すオブジェクトが表示され、その右下方へ配置された道路上に蛇行車両を示すオブジェクトが表示されている。表示されている蛇行車両を示すオブジェクトは、前述のように視点座標との距離に従って、画面手前に近づくほど大きく表示されている。したがって、2次元のオブジェクトが用いられる場合であっても、3次元景観上においてドライバに奥行きを感じさせることができる。
【0144】
最後に、地図データ合成部4が、オブジェクトモデル提示情報格納部6からは2次元のデータが入力され、地図データ格納部3からは2次元の地図データが入力されて、3次元景観の地図画面を生成する場合について説明する。
【0145】
このような3次元景観の地図画面を生成する地図データ合成部4は、図22の地図データ合成部4に対して、図16における鳥瞰図データ変形部141または図19における三次元地図データ作成部147をさらに含むように構成すれば、前述と同様の構成部を用いて構成することができる。
【0146】
すなわち、以上のような地図データ合成部4は、オブジェクトモデル提示情報格納部6から2次元のデータが入力されて2次元のオブジェクトを作成する二次元オブジェクト作成部145と、二次元のオブジェクトデータが入力されて3次元座標に変換する二次元/三次元座標変換部144と、地図データ格納部3から2次元の地図データが入力されて鳥瞰図の形の地図データに変形する鳥瞰図データ変形部141または3次元の地図データを生成する三次元地図データ作成部147と、鳥瞰図データ変形部141または三次元地図データ作成部147からの3次元地図データおよび二次元/三次元座標変換部144からの三次元のオブジェクトデータが入力されてそれらを合成する三次元データ合成部143とを含む。このような地図データ合成部4における各構成部の動作は前述と同様であるので、説明を省略する。
【0147】
以上のように、地図データ合成部4がオブジェクトモデル提示情報格納部6から2次元のデータを入力されて3次元景観の地図画面を生成する場合には、オブジェクトモデル提示情報格納部6は、3次元データよりもデータ量の少ない2次元データを格納する。したがって、オブジェクトモデル提示情報格納部6は、一定の容量であれば、3次元データを格納する場合よりも多くの種類のオブジェクトデータを格納することができ、同種のデータを格納する場合であれば、容量を少なくすることができる。
【0148】
さらに、地図データ合成部4がオブジェクトモデル提示情報格納部6から2次元のデータを入力されて3次元景観の地図画面を生成する場合には、ドライバは2次元のオブジェクトが用いられていても、直感的に情報を把握することができる。例えば、ドライバが道路を走行中であって、後方に蛇行車両などが走行している場合には、3次元景観の地図画面において蛇行車両が走行していることを示すオブジェクトが表示されることによって、ドライバは直感的に情報を把握することができる。
【図面の簡単な説明】
【0149】
【図1】 本発明の一実施形態に係るナビゲーション装置の構成を示すブロック図である。
【図2】 一般的なコンピュータシステムにおいて実現された図1におけるナビゲーション装置の構成を示した図である。
【図3】 本ナビゲーション装置の基本的な処理の流れを表したフローチャートである。
【図4】 サブルーチンステップS54の詳細な処理を示すフローチャートである。
【図5】 障害物検出部8が外部状況情報を作成する基本的な処理の流れを表したフローチャートである。
【図6】 サブルーチンステップS120の詳細な処理の流れを表したフローチャートである。
【図7】 サブルーチンステップS130の詳細な処理の流れを表したフローチャートである。
【図8】 サブルーチンステップS140の詳細な処理の流れを表したフローチャートである。
【図9】 要注意状況と要注意車両との関係を模式的に表した表である。
【図10】 運転支援情報の内容を例示した模式図である。
【図11】 サブルーチンステップS55の詳細な処理を示すフローチャートである。
【図12】 2次元景観を作成する場合における地図データ合成部4の詳細な構成を示した図である。
【図13】 表示器5が表示する場合の一例を示した模式図である。
【図14】 表示器5が表示する地図画面の別例を示した模式図である。
【図15】 表示器5が表示する地図画面のさらなる別例を示した模式図である。
【図16】 鳥瞰図の地図画面を生成する、地図データ合成部4の詳細な構成を示した説明したブロック図である。
【図17】 二次元の地図データに対して透視投影変換を施して鳥瞰図を作成する方法を説明した図である。
【図18】 生成された鳥瞰図の地図画面を表示器5が表示する場合の一例を示した図である。
【図19】 鳥瞰図とは異なる3次元景観の地図画面を生成する、地図データ合成部4の詳細な構成について説明したブロック図である。
【図20】 三次元地図データ作成部147の詳細な構成を示したブロック図である。
【図21】 3次元景観の地図画面上に、右側へ車線変更しようとしている要注意車両および変更方向を示す3次元のオブジェクトが表示される場合を例示した図である。
【図22】 オブジェクトモデル提示情報格納部6からは2次元のデータが入力され、地図データ格納部3からは3次元の地図データが入力されて、3次元景観の地図画面を生成する、地図データ合成部4の詳細な構成について説明したブロック図である。
【図23】 オブジェクト提示情報に含まれる2次元の形状情報として用意された複数の画像ファイルを例示した図である。
【図24】 図22の地図データ合成部4によって作成された3次元景観の地図画面を例示した図である。
【符号の説明】
【0150】
2 入力部
3 地図データ格納部
4 地図データ合成部
5 表示器
6 オブジェクトモデル提示情報格納部
7 外部状況監視部
8 障害物検出部
9 位置検出部
10 経路選出部
11 誘導部
141 鳥瞰図データ変形部
142 三次元オブジェクト作成部
143 三次元データ合成部
144 三次元座標変換部
145 二次元オブジェクト作成部
146 二次元データ合成部
147 三次元地図データ作成部
301、311、321、331 自車オブジェクト
302、312、322、332 他車オブジェクト
303 矢印オブジェクト
313、333 要注意マークオブジェクト
323 蛇行マークオブジェクト
324 吹き出しオブジェクト
342 CPU
343 ROM
344 RAM
345 出力部
346 入力部
348 外部状況監視部
349 位置検出部
551 車両ID
552 車種情報
553 色情報
554 相対位置
555 危険性に関する属性
1471 高さ・幅情報付与部
1472 三次元ポリゴン作成部

Claims (13)

  1. 車両に搭載されて、当該車両外部の状況を収集し、ユーザに対して注意を喚起すべき状況を所定形状のオブジェクトとして地図上に合成表示し、目的地までの誘導案内を行うナビゲーション装置であって、
    ユーザからの指示が入力される入力部と、
    現在位置を検出する位置検出部と、
    地図情報を予め格納する地図データ格納部と、
    前記オブジェクトを前記地図上に提示するためのオブジェクトモデル提示情報を予め格納するオブジェクトモデル提示情報格納部と、
    前記入力部から入力された前記指示と、前記位置検出部が検出した前記現在位置と、前記地図データ格納部に格納された前記地図情報とに基づいて、目的地までの経路を選出する経路選出部と、
    装置外部の状況を収集して、監視情報を出力する外部状況監視部と、
    前記外部状況監視部から入力された前記監視情報に基づいて、装置外部に存在する対象物を認識し、前記対象物の位置情報を含む外部状況情報を出力する障害物検出部と、
    ユーザに対して注意を喚起すべき前記対象物の位置情報を含む運転支援情報および対応するオブジェクトモデル提示情報に基づいて前記オブジェクトを生成し、地図画面として前記地図上に合成する地図データ合成部と、
    前記障害物検出部から入力された前記外部状況情報から認識される自車周辺の車両の内、車種、車速、自車からの距離、運転状態より危険性のある要注意車両か否かを判断するとともに、自車の運転状態と自車が走行する経路から前記要注意車両が自車に危険を及ぼす可能性があるかを判断し、ユーザに対して注意を喚起すべき対象物を選別し、前記運転支援情報を作成するとともに、前記経路選出部によって選出された前記経路と、前記位置検出部によって検出された前記現在位置と、前記地図データ格納部からの前記地図情報とが入力されて、前記地図データ合成部によって合成された前記地図画面を含む前記誘導案内を生成する誘導部と、
    前記誘導部によって生成された前記誘導案内をユーザに対して表示する表示部とを備える、ナビゲーション装置。
  2. 前記外部状況監視部は、装置外部の状況を画像として収集する撮像装置を含み、
    前記障害物検出部は、前記外部状況監視部から入力された前記画像を含む前記監視情報に基づいて、装置外部に存在する前記対象物を画像認識することを特徴とする、請求項1に記載のナビゲーション装置。
  3. 前記障害物検出部は、前記対象物を画像認識することにより、前記対象物の種類を判定して、前記対象物に関する種類情報を含む外部状況情報を出力し、
    前記誘導部は、前記種類情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする、請求項2に記載のナビゲーション装置。
  4. 前記障害物検出部は、前記対象物を画像認識することにより、前記対象物に付された所定のマークを検出して、前記対象物に関するマーク情報を含む外部状況情報を出力し、
    前記誘導部は、前記マーク情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする、請求項2に記載のナビゲーション装置。
  5. 前記障害物検出部は、前記対象物を画像認識することによって、前記対象物が有する方向指示器の方向表示を検出して、前記対象物に関する方向表示情報を含む外部状況情報を出力し、
    前記誘導部は、前記方向表示情報に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする、請求項2に記載のナビゲーション装置。
  6. 前記誘導部は、前記車両および前記対象物の一方または双方の運転状況の変化を予測して要注意状況の有無を判定し、当該要注意状況に基づいて、ユーザに対して注意を喚起すべき対象物を選別することを特徴とする、請求項1に記載のナビゲーション装置。
  7. 前記誘導部は、前記経路選出部によって選出された前記経路を分析することにより、前記運転状況の変化を予測して前記要注意状況の有無を判定することを特徴とする、請求項6に記載のナビゲーション装置。
  8. 前記誘導部は、ユーザに対して注意を喚起すべき前記対象物に対応する危険性に関する属性を含む前記運転支援情報を作成し、
    前記地図データ合成部は、前記運転支援情報および前記オブジェクトモデル提示情報格納部から入力された対応するオブジェクトモデル提示情報に基づいて、前記危険性に関する属性に対応するオブジェクトを生成することを特徴とする、請求項1に記載のナビゲーション装置。
  9. 前記地図データ合成部は、前記車両に対応する自車オブジェクトと、前記対象物に対応する他車オブジェクトとを生成することを特徴とする、請求項1に記載のナビゲーション装置。
  10. 前記地図データ合成部は、前記車両と前記対象物との位置関係に対応して、前記自車オブジェクトと前記他車オブジェクトとが所定の間隔をあけて前記表示部に表示されるように、前記地図画面の表示スケールが選ばれることを特徴とする、請求項9に記載のナビゲーション装置。
  11. 前記地図データ合成部は、
    前記運転支援情報および前記オブジェクトモデル提示情報格納部から入力された対応するオブジェクトモデル提示情報に基づいて、前記オブジェクトを生成するオブジェクト作成部と、
    前記オブジェクトを前記地図上に合成するデータ合成部とを含む、請求項1に記載のナビゲーション装置。
  12. 前記地図データ合成部は、前記地図データ格納部から入力された2次元データの地図情報に基づいて3次元の地図を作成する三次元地図作成部をさらに含み、
    前記データ合成部は、前記オブジェクトを前記三次元地図作成部が作成した地図上に合成することを特徴とする、請求項11に記載のナビゲーション装置。
  13. 前記地図データ合成部は、前記オブジェクト作成部が生成した2次元のオブジェクトを3次元のオブジェクトへ変換する二次元/三次元座標変換部をさらに含み、
    前記データ合成部は、前記二次元/三次元座標変換部によって変換された3次元のオブジェクトを前記地図上に合成することを特徴とする、請求項11に記載のナビゲーション装置。
JP2001126554A 2000-04-24 2001-04-24 ナビゲーション装置 Expired - Lifetime JP4485097B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001126554A JP4485097B2 (ja) 2000-04-24 2001-04-24 ナビゲーション装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000122685 2000-04-24
JP2000-122685 2000-04-24
JP2001126554A JP4485097B2 (ja) 2000-04-24 2001-04-24 ナビゲーション装置

Publications (3)

Publication Number Publication Date
JP2002046506A JP2002046506A (ja) 2002-02-12
JP2002046506A5 JP2002046506A5 (ja) 2006-10-19
JP4485097B2 true JP4485097B2 (ja) 2010-06-16

Family

ID=26590661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001126554A Expired - Lifetime JP4485097B2 (ja) 2000-04-24 2001-04-24 ナビゲーション装置

Country Status (1)

Country Link
JP (1) JP4485097B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP3887280B2 (ja) * 2002-07-18 2007-02-28 本田技研工業株式会社 車載表示装置
JP4574157B2 (ja) * 2003-10-17 2010-11-04 富士重工業株式会社 情報表示装置および情報表示方法
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4872188B2 (ja) * 2004-05-26 2012-02-08 日産自動車株式会社 運転支援装置
JP2006031397A (ja) * 2004-07-15 2006-02-02 Alpine Electronics Inc ナビゲーション装置およびナビゲーション方法
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
JP4847051B2 (ja) * 2005-06-09 2011-12-28 クラリオン株式会社 車両周囲監視方法およびシステム
JP4844103B2 (ja) * 2005-11-30 2011-12-28 日産自動車株式会社 潜在的リスク度警報装置および潜在的リスク度警報方法
JP2007206034A (ja) * 2006-02-06 2007-08-16 Denso Corp 車両用地図表示装置
WO2007116552A1 (ja) * 2006-03-31 2007-10-18 Sharp Kabushiki Kaisha 車載用インパネ表示システム、画像データ出力装置
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
WO2008099503A1 (ja) * 2007-02-16 2008-08-21 Pioneer Corporation 運転支援装置、運転支援方法、運転支援プログラム及び記憶媒体
JP4853525B2 (ja) * 2009-02-09 2012-01-11 トヨタ自動車株式会社 移動領域予測装置
JP2016009251A (ja) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 車両用制御装置
JP6886171B2 (ja) * 2016-12-27 2021-06-16 株式会社オゼットクリエイティブ 地図情報作成装置、地図情報作成プログラム及び地図情報作成方法
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
WO2018212090A1 (ja) * 2017-05-15 2018-11-22 キヤノン株式会社 制御装置及び制御方法
JP7160257B2 (ja) * 2017-10-19 2022-10-25 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
JP7008515B2 (ja) * 2018-01-23 2022-02-10 日産自動車株式会社 情報処理方法及び情報処理装置
CN111937055A (zh) * 2018-04-05 2020-11-13 三菱电机株式会社 驾驶辅助装置
WO2021145120A1 (ja) * 2020-01-17 2021-07-22 日立Astemo株式会社 電子制御装置および車両制御システム

Also Published As

Publication number Publication date
JP2002046506A (ja) 2002-02-12

Similar Documents

Publication Publication Date Title
JP4485097B2 (ja) ナビゲーション装置
EP1152218B1 (en) Navigation device
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
JP5004865B2 (ja) 自動車用障害物検知装置
CN109417611A (zh) 图像生成设备、图像生成方法和程序
US20170330463A1 (en) Driving support apparatus and driving support method
EP1696669A1 (en) Vehicle surrounding monitoring device
JP2016218732A (ja) 自動車周辺情報表示システム
JP2009037622A (ja) 画像を評価するための方法および装置
CN101101333A (zh) 用于产生行进车辆的驾驶员辅助信息的设备和方法
JP2015506310A (ja) 認知の不確実性に基づく車両コントロール
JP5898539B2 (ja) 車両走行支援システム
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2009009446A (ja) 車両用情報表示装置
US20230339494A1 (en) Method and device for operating a motorcycle
JP2022020688A (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP5104397B2 (ja) 画像処理装置、画像処理方法
JP2023165721A (ja) 表示制御装置
KR20210127267A (ko) 차량 및 그 제어방법
Gehrig et al. System architecture for an intersection assistant fusing image, map, and gps information
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
JP2002049998A (ja) 運転支援装置
JP5782928B2 (ja) 車両用通信システムおよびこれに用いる情報提供装置
JP5354193B2 (ja) 車両用運転支援装置
US11545032B2 (en) Roadside apparatus and vehicle-side apparatus for road-to-vehicle communication, and road-to-vehicle communication system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100324

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4