JPWO2007129382A1 - ナビゲーション装置およびその方法 - Google Patents

ナビゲーション装置およびその方法 Download PDF

Info

Publication number
JPWO2007129382A1
JPWO2007129382A1 JP2008514329A JP2008514329A JPWO2007129382A1 JP WO2007129382 A1 JPWO2007129382 A1 JP WO2007129382A1 JP 2008514329 A JP2008514329 A JP 2008514329A JP 2008514329 A JP2008514329 A JP 2008514329A JP WO2007129382 A1 JPWO2007129382 A1 JP WO2007129382A1
Authority
JP
Japan
Prior art keywords
image
guidance
vehicle
live
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008514329A
Other languages
English (en)
Other versions
JP4895313B2 (ja
Inventor
貴志 秋田
貴志 秋田
工藤 貴弘
貴弘 工藤
金銅 剛史
剛史 金銅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2007129382A1 publication Critical patent/JPWO2007129382A1/ja
Application granted granted Critical
Publication of JP4895313B2 publication Critical patent/JP4895313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

出発地から目的地まで案内するナビゲーション装置において、表示部(5)は、目的地への案内を示す案内画像を表示する。状況取得部(10)は、車両外部の状況を取得する。実写案内生成部(9)は、車両の前方を撮像した実写画像を用いて、実写案内画像を生成する。地図案内生成部(8)は、地図情報を用いて地図案内画像を生成する。状況判定部(11)は、状況取得部(10)によって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。案内表示制御部(12)は、状況判定部(11)の判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示部(5)に表示させる。

Description

本発明は、ナビゲーション装置に関し、より特定的には、地図情報を用いた地図画像またはカメラなどで撮影した実写画像を利用して出発地から目的地まで案内するナビゲーション装置およびその方法に関するものである。
近年、地図情報を用いて車両の位置周辺の地図画像を車載ディスプレイに表示するとともに、目的地が設定されると、現在位置から目的地までの経路を探索した後、探索された経路に沿って、車両を目的地まで案内するナビゲーション装置が広く普及している。具体的には、ナビゲーション装置は、探索された案内経路を他の道路と異なる色で表示したり、探索された案内経路の道路の表示幅を太くして表示する。これにより、ユーザは、探索された案内経路を他の道路と識別することができる。また、進路変更の必要な交差点などの案内対象交差点から所定距離に車両が到達したとき、案内対象交差点の案内図(例えば、交差点拡大図)が表示される。その結果、ユーザは、経路上の案内対象交差点において、車両が進むべき方向を把握することができる。
また、車載カメラで撮影した車両外部の様子を示す実写画像に案内図形(案内対象交差点において車両が進むべき方向を示す矢印等の図形)を重畳表示して、車両を目的地まで案内する案内画像表示(実写案内)と、地図情報を用いた案内画像表示(地図案内)をユーザの好みに合わせて選択可能であることが記載されている(例えば、特許文献1参照)。
特開平7−63572号公報
しかしながら、上記特許文献1に記載の従来の車載用ナビゲーション装置では、実写画像に案内図形を重畳した案内画像を用いて車両を案内する場合には、その時々の車両外部の状況によって、実写画像に案内図形を重畳した案内画像は、ユーザにとって分かりにくい場合がある。例えば、車両前方の様子を示す実写画像が先行車両等の障害物で遮蔽されている場合や、車両前方の道路がカーブや勾配して車両前方の様子を示す実写画像に案内対象交差点が撮像されない場合、および夜間や雨天時など車両前方の様子が明瞭に撮像されない場合などがある。これらの場合には、案内図形がどの道路または交差点を指しているか分かりづらく、ユーザは曲がるべき交差点を誤認識してしまう場合があった。また、ユーザが、地図情報を用いた案内画像(地図案内)、または実写画像に案内図形を重畳した案内画像(実写案内)のいずれを表示するかの切り替えを行わなければならず、煩わしい操作を必要とした。
それ故に、本発明は、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置およびその方法を提供することを目的とする。
本発明の目的は、以下の構成を備えたナビゲーション装置によって達成される。
本発明は、目的地への案内を示す案内画像を表示する表示部と、車両外部の状況を取得する状況取得部と、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成部と、地図情報を用いて地図案内画像を生成する地図案内生成部と、状況取得部によって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定部の判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示部に表示させる案内表示制御部とを備える。
また、状況取得部は、複数の車両外部の状況を取得する。状況判定部が、状況取得部によって取得された少なくとも1つの車両外部の状況から、地図案内画像を優先して表示すると判定した場合には、案内表示制御部は、地図案内画像を優先して表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を相対的に大きく表示させてもよい。
これにより、ナビゲーション装置は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、車両が所定の区間を移動している間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、状況取得部は、実写画像から、車両外部の状況を取得してもよい。
また、状況取得部は、実写画像における車両の前方方向の障害物による遮蔽度を算出する遮蔽度算出部を含んでいる。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度が閾値未満の場合には、実写案内画像を優先して表示すると判定し、遮蔽度算出部によって算出された遮蔽度が閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。なお、遮蔽度算出部は、実写画像において、案内対象交差点が表示されている領域である交差点領域のうち、前方方向の障害物と重なる領域の割合を遮蔽度として算出してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像した実写画像における車両の前方方向の障害物による遮蔽度を算出して、算出された遮蔽度に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、車両の前方を撮像した実写画像から車両前方を見通せる場合には、実写案内画像を優先して表示すると判定し、車両の前方を撮像した実写画像から車両前方を見通せない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。なお、交差点領域とは、案内対象交差点およびその周辺の所定範囲が含まれる領域である。また、状況判定部は、案内対象交差点判定部の判定結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、案内対象交差点判定部によって案内対象交差点が表示されている領域である領域の全てまたは一部が実写画像に存在すると判定された場合には、実写案内画像を優先して表示すると判定し、案内対象交差点判定部によって案内対象交差点が表示されている領域である領域の全てまたは一部が実写画像に存在しないと判定された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映る場合には、実写案内画像を優先して表示すると判定し、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映らない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の明るさを取得する明るさ取得部を含んでいる。また、状況判定部は、明るさ取得部によって取得された明るさに基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、明るさ取得部によって取得された明るさが閾値以上の場合には、実写案内画像を優先して表示すると判定し、明るさ取得部によって取得された明るさが閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の明るさに応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、昼間など車両外部が明るい場合には、実写案内画像を優先して表示すると判定し、夜間やトンネル内など車両外部が暗い場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の降水を検出する降水検出部を含んでいる。また、状況判定部は、降水検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、降水検出部によって降水が検出されない場合には、実写案内画像を優先して表示すると判定し、降水検出部によって降水が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の降水の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、雨が降っていない場合には、実写案内画像を優先して表示すると判定し、雨天時には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の霧を検出する霧検出部を含んでいる。また、状況判定部は、霧検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、霧検出部によって霧が検出されない場合には、実写案内画像を優先して表示すると判定し、霧検出部によって霧が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の霧の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、霧が発生していない場合には、実写案内画像を優先して表示すると判定し、霧が発生している場合には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、先行車両までの距離を測定する距離測定部を含んでいる。また、状況判定部は、距離測定部よって測定された距離に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、距離測定部によって測定された距離が閾値以上の場合には、実写案内画像を優先して表示すると判定し、距離測定部によって測定された距離が閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両前方の様子を見通すことができるか否かによって先行車両までの距離を測定し、測定された距離に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、測定された距離が閾値以上の場合には、車間距離が長く、車両前方の様子が見通せるので、実写案内画像を優先して表示すると判定し、測定された距離が閾値未満の場合には、車間距離が短く、車両前方の様子が見通せないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両の前方を撮像する撮像部の揺れを検出する揺れ検出部を含んでいる。また、状況判定部は、揺れ検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、揺れ検出部によって検出された揺れの大きさが閾値未満の場合には、実写案内画像を優先して表示すると判定し、揺れ検出部によって検出された揺れの大きさが閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像する撮像部の揺れの検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、走行中の路面が大きな凹凸で、検出された揺れの大きさが閾値未満の場合には、実写画像が揺れて実写画像の視認性が低いので、地図案内画像を優先して表示すると判定し、検出された揺れの大きさが閾値以上の場合には、実写画像の揺れが小さいので、実写案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、走行している道路の属性を取得する道路属性取得部を含んでいる。また、状況判定部は、道路属性取得部によって取得された属性に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、道路の属性に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、案内対象交差点の周辺に目印となる案内対象物を検出する案内対象物検出部を含んでいる。また、状況判定部は、案内対象物検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、案内対象交差点の周辺に目印となる案内対象物の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、実写案内生成部は、状況取得部によって取得された車両外部の状況に応じて表示モードの異なる実写案内画像を生成してもよい。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。また、状況判定部は、実写画像に、案内対象交差点判定部の判定結果に応じて形態の異なる案内図形を重畳することによって実写案内画像を生成してもよい。
これにより、ナビゲーション装置は、優先的に実写案内画像を表示させる場合において、さらに、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、形態の異なる案内図形を重畳した実写案内画像を生成することができる。その結果、案内対象交差点が実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
本発明の目的は、以下のステップを備えたナビゲーション方法によって達成される。
本発明は、車両外部の状況を取得する状況取得ステップと、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成ステップと、地図情報を用いて地図案内画像を生成する地図案内生成ステップと、状況取得ステップによって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定ステップの判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示させる案内表示制御ステップとを備える。
これにより、ナビゲーション方法は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
本発明によれば、上記説明から明らかなように、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じて視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。 図2Aは、第1の実施形態に係る地図DB3に格納される地図情報のうち、ノードデータの一例を示す図である。 図2Bは、第1の実施形態に係る地図DB3に格納される地図情報のうち、補間データの一例を示す図である。 図2Cは、第1の実施形態に係る地図DB3に格納される地図情報のうち、リンクデータの一例を示す図である。 図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。 図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。 図5は、カメラ視野空間の求め方を説明するための図である。 図6は、3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。 図7は、案内図形の形状および配置位置の求め方を説明するための図である。 図8は、第1の実施形態に係る実写案内画像の表示例である。 図9は、第1の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。 図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。 図11Aは、交差点領域について説明するための図である。 図11Bは、重なり領域について、およびその求め方を説明するための図である。 図11Cは、案内対象交差点を右に曲がる場合の、設定される交差点領域について説明するための図である。 図12Aは、案内対象交差点が車載カメラの撮像範囲に存在する場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。 図12Bは、カメラ視野空間に案内対象交差点が存在する場合の、実写画像の表示例である。 図13Aは、案内対象交差点が車載カメラの撮像範囲に存在しない場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。 図13Bは、カメラ視野空間に案内対象交差点が存在しない場合の、実写画像の表示例である。 図14Aは、複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。 図14Bは、複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。 図15は、複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。 図16は、第1の実施形態に係る実写案内画像および地図案内画像を同時に示す表示例である。 図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。 図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。 図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。 図20Aは、第3の実施形態に係る実写案内画像Aの表示例である。 図20Bは、第3の実施形態に係る実写案内画像Bの表示例である。
符号の説明
1 映像取得部
2 測位部
3 地図DB
4 入力部
5 表示部
6 制御部
7 経路探索部
8 地図案内生成部
9 実写案内生成部
10 状況取得部
11 状況判定部
12 案内表示制御部
(第1の実施形態)
図1を参照して、本発明における第1の実施形態に係るナビゲーション装置について説明する。なお、図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。また、各図面において、本発明に関係のない構成要素は省略している。
図1において、ナビゲーション装置は、映像取得部1、測位部2、地図DB3、入力部4、表示部5、および制御部6を備える。
映像取得部1は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal−Oxide Semiconductor)などを利用したカメラで撮像された映像を取得する。映像を取得するカメラは、車両天井部、車両先端部またはルームミラー背面などの場所に設置されて、好ましくは、車両の前方方向を撮像する。なお、車両の前方方向に限らず、車両の左右方向や後方方向などの前方方向以外の車両外部を撮像するものでも構わない。
測位部2は、車両の現在位置、速度、および方位を計測する。例えば、測位部2は、GNSS(Global Navigation Satellite System)受信機、車速センサ、およびジャイロセンサである。GNSS受信機は、例えばGPS(Global Positioning System)受信機であり、衛星からの電波を受信し、それを復調することで受信機の位置を算出する。
地図DB3は、例えばHDD(Hard Disc Drive)またはDVD(Digital Versatile Disc)などで構成される。地図DB3には、道路の形状データおよび交差点の位置データなどの地図情報が予め格納されている。ただし本発明はこれに限らず、地図情報は、図示しない通信手段(例えば、携帯電話)を通じて、センター設備から適宜ダウンロードして地図DB3に格納される構成であってもよい。
ここで、図2を参照して、地図DB3に格納される地図情報について説明する。地図DB3は、例えばノードデータ、補間ノードデータ、およびリンクデータなどを格納している。なお、図2は、地図DB3に格納されている地図情報のうち、本実施形態に関連する地図情報の一部を抜粋した地図情報の一例を示す図である。
図2Aは、交差点や合流地点など複数の方向に道路が分岐する地点(ノード)に関するノードデータである。ノードデータは、ノード毎に、緯度および経度などの位置情報、当該ノードに接続するリンクの数、およびリンクのIDから構成されている。図2Bは、リンク上に存在し、リンクが直線状でない場合など、リンクの形状を表現するための曲折点を示す補間ノードデータである。補間ノードデータは、補間ノード毎に、緯度および経度などの位置情報、および当該補間ノードを示す存在リンクIDから構成される。図2Cは、ノードとノードを結ぶ道路を示すリンクデータである。リンクデータは、リンク毎に、リンクの端点である始点ノードおよび終点ノード、リンクの長さ(単位は、例えばメートルやキロメートルなど)、一般道路や高速道路などを示す道路種別、道路幅、上述の補間ノードの数、および当該補間ノードを示すIDから構成されている。なお、リンクデータには、車線数または通行規制の情報が含まれていてもよい。
次に、図3を参照して、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成される状態について説明する。なお、図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。図3において、ノード(Node15)は、3つのリンクと接続し、さらに、リンクL6で別のノード(Node12)と結ばれている。また、リンクL6には、リンクの形状を形成する補間ノード(CN8およびCN9)が存在する。これにより、地図画像が形成される。なお、リンクが直線道路である場合には、補間ノードが存在しないことは言うまでもない。
入力部4は、例えばリモートコントローラー、タッチパネル、音声入力用のマイクと音声認識エンジンなどで構成され、ユーザの指示を受け付ける。ユーザによって入力される指示は、例えば目的地の設定、探索経路の選択、経路案内の開始などである。
表示部5は、例えばディスプレイで構成され、ユーザに対して情報を表示する。具体的には、目的地への案内を示す案内画像を表示する。また、後述する地図案内生成部8で生成される地図案内画像および/または後述する実写案内生成部9で生成される実写案内画像を含む案内画像を表示部5に表示する。
制御部6は、例えばCPU(Central Processing Unit)で構成される。また、制御部6は、経路探索部7、地図案内生成部8、実写案内生成部9、状況取得部10、状況判定部11、および案内表示制御部12を含んでいる。
経路探索部7は、入力部4から入力された目的地、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報などを参照して、現在位置から目的地に至る最適経路を探索する。
地図案内生成部8は、地図DB3に格納される地図情報を用いて所定領域の案内画像(以下、地図案内画像と称す)を生成する。ここで、所定領域とは、表示部5の表示画面に表示できる領域である。さらに、地図案内生成部8は、地図画像上において、経路探索部7で探索された経路の表示色を他の道路と異なる色に設定する。また、探索された経路は、他の道路より線幅を太く設定されてもよい。
実写案内生成部9は、経路探索部7で探索された案内経路、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報(例えば、道路形状データなど)に基づいて、案内対象交差点での車両の進むべき方向を示す矢印形状の案内図形を作成する。さらに、実写案内生成部9は、映像取得部1によって取得された実写画像に案内図形を重畳した案内画像(以下、実写案内画像と称す)を生成する。
ここで、図4〜図8を参照して、実写案内生成部9における案内図形および実写案内画像の生成方法について説明する。なお、図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。
まず、実写案内生成部9は、地図DB3に格納される地図情報による3次元地図、および映像取得部1によって取得された車両前方の様子を示す実写画像の撮像方向と撮像範囲を定めるパラメータであるカメラ位置、カメラ角(水平角、仰角)、焦点距離、および画像サイズに基づいて、3次元地図におけるカメラ視野空間を求める(ステップS1)。ここで、3次元地図とは、緯度、経度、および高度の位置情報で表される地図である。また、撮像方向と撮像範囲を定めるパラメータは、画角などの他のパラメータを用いて、換算されてもよい。また、3次元地図から高度情報を除いた2次元地図を用いてもよい。
また、カメラ視野空間は、図5に示すような方法で求められる。なお、図5は、カメラ視野空間を説明するための図である。まず、図5において、視点E(カメラ位置)からカメラ角方向に焦点距離fだけ離れた点Fを求める。さらに、点Fに表示部5の表示画面の縦横比に相当する横x縦yの平面(カメラ画面)が視点Eと点Fを結んだベクトルに垂直になるように設定される。次に、視点Eからカメラ画面の4隅の点へと結ぶ半直線によって得られる3次元空間が算出される。また、3次元空間は理論上無限遠まで延びるが、視点Eから適当な距離だけ離れたところで打ち切り、当該空間を視野空間とする。
次に、ステップS2において、実写案内生成部9は、3次元地図において、上述の方法で求められるカメラ視野空間内に存在する道路を検出する(以下、道路検出処理と称す)。なお、図6は、経路探索部7により探索された案内経路上の案内対象交差点を含む3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。具体的には、図6の例のように、視野空間に囲まれた道路(斜線で示した領域)がカメラ視野空間内に存在する道路として検出される。さらに、道路検出処理において、上述した地図DB3に格納されるノードデータ、補間ノードデータ、およびリンクデータに基づいて、検出された道路の形状データや道路幅などが抽出される。
次に、ステップS3において、実写案内生成部9は、道路検出処理により検出された道路のうち、経路探索部7によって探索された案内経路に該当する道路の形状データや道路幅などに基づいて、案内対象交差点での車両の進むべき方向を示す案内図形(矢印)を作成する。なお、図7は、案内図形の形状および配置位置の求め方を説明するための図である。続いて、図7に示す例のように、作成された案内図形は、カメラ視野空間内に存在する道路のうち、案内経路に該当する道路に配置される。なお、案内図形は、図7に示す矢印形状に限らず、例えば単なる折れ線であってもよい。
次に、ステップS4において、実写案内生成部9は、図5に示すカメラ画面を投影面として上記配置された案内図形を透視投影する(投影処理)。これにより、案内図形が投影される投影面が映像取得部1によって取得されるカメラ画面と一致するため、案内図形は、実写画像に表示されている道路(案内経路)上に重畳される(図8参照)。続いて、処理は、終了する。なお、実写画像に案内図形を重畳する際に、白線検知、道路端検知等の周知の画像認識技術を用いて、カメラで撮像された道路の位置を検出し、案内図形の重畳位置を補正するようにしてもよい。
状況取得部10は、車両外部の状況を取得する。取得される車両外部の状況は、例えば車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、および降水(降雨または降雪)および/または霧などの天候などである。なお、状況取得部10によって取得される車両外部の状況の詳細については後述する。
状況判定部11は、状況取得部10で取得された車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。
案内表示制御部12は、車両外部の状況のそれぞれに関して状況判定部11によって判定された判定結果に基づいて、実写案内画像または地図案内画像のどちらを優先して表示部5に表示させるかを制御する。
次に、図9〜図15を参照して、本実施形態のナビゲーション装置の動作の流れについて説明する。なお、図9は、本実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図9において、ユーザが入力部4から目的地を入力して、目的地が設定されたか否かを判定する(ステップS11)。判定の結果、目的地が設定されると(ステップS11でYes)、測位部2が車両の現在位置を検出して、経路探索部7は、現在位置から目的地に至る最適経路を探索する(ステップS12)。また、経路案内が開始されると、測位部2は、所定の時間間隔で車両の現在位置を検出する。続いて、車両の現在位置と最適経路を照合して目的地に到着したか否かを判定する(ステップS13)。判定の結果、目的地に到着していない場合(ステップS13でNo)には、処理は、ステップS14に進む。一方、目的地に到着した場合(ステップS13でYes)には、処理は、終了する。
次に、ステップS14において、制御部6は、車両から案内対象交差点までの距離が所定の距離(例えば、200m)以下か否かを判定する。判定の結果、案内対象交差点までの距離が所定の距離に到達していない場合(ステップS14でNo)には、処理は、ステップS19に進む。一方、案内対象交差点までの距離が所定の距離以下に到達した場合(ステップS14でYes)には、処理は、ステップS15に進む。ステップS15において、状況取得部10は、車両外部の状況を取得する。
次に、状況取得部10によって取得される車両外部の状況の詳細について説明する。まず、状況取得部10が、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度を車両外部の状況として取得する場合を説明する。状況取得部10は、先行車両等の障害物が表示されている領域(以下、先行車両領域と称す)を検出して、検出された領域の面積を遮蔽度として算出する。
ここで、先行車両領域を検出する手法としては、単眼カメラやステレオカメラを用いた公知の手法があり、本実施例においては、どちらであってもよい。例えば、単眼カメラを用いた車両検出手法としては、輝度値を参照する手法(車線上の輝度値を取得して路面上の障害物を検出する手法)や、射影変換画像を利用する手法(2フレーム間で射影変換画像の差分をとって移動物体を検出する手法)、先行車両のエッジを検出する手法(水平方向と垂直方向のエッジを検出して障害物を検出する手法)等がある。また、ステレオカメラを用いた車両検出手法としては、距離画像から先行車両の輪郭を抽出する手法や、ステレオ逆射影変換を用いて高さ情報を持つ物体を検出する手法、道路平面領域を抽出して路上の障害物を検出する手法などがある。さらに、他の検出手法としては、先行車両が存在しない状態で撮影した道路画像データを位置情報と関連付けて図示しない記憶手段に記憶しておき、測位部2の測位結果に基づいて、映像取得部1によって取得された実写画像と、現在の走行位置に対応する道路画像データとの差分をとることによって先行車両を検出することもできる。
上述の手法により、映像取得部1によって取得された実写画像に基づいて、先行車両領域が検出される。具体的には、図10において、斜線で示す領域が検出された先行車両領域である。なお、図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。また、状況取得部10は、検出された先行車両領域の面積を算出し、当該面積を、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度として取得する。なお、車両の前方を撮像した実写画像に複数の先行車両領域が存在する場合には、複数の先行車両領域の面積の総和を算出し、算出された面積を遮蔽度としてもよい。
また、状況取得部10は、車両の前方を撮像した実写画像において、案内対象交差点が表示されている領域(以下、交差点領域と称す)のうち、先行車両領域と重なる領域(以下、重なり領域と称す)を検出し、交差点領域に占める重なり領域の割合を遮蔽度として取得してもよい。ここで、交差点領域とは、図11Aの例のように、案内対象交差点およびその周辺の所定範囲が含まれる点線で囲まれる領域である。また、状況取得部10は、上述の手法により先行車両領域を検出し、交差点領域と先行車両領域との重なり領域を検出する(図11B参照)。これにより、状況取得部10は、交差点領域に占める重なり領域の割合を遮蔽度として取得する。また、交差点領域と先行車両領域の重なり、つまり重なり領域が大きいほど、遮蔽度が大きくなる。なお、交差点領域を設定する際、案内対象交差点において車両が進むべき方向に応じて交差点領域のその周辺の所定範囲の位置を変えるようにしてもよい。例えば、車両が案内対象交差点で右に曲がるときは、交差点領域は案内対象交差点の右側を多く含むように設定される(図11C参照)。
また、状況取得部10は、探索経路上の案内対象交差点が車両の前方を撮像した実写画像に存在するか否かを、車両外部の状況として取得する。案内対象交差点が車両の前方を撮像した実写画像に存在するか否かは、以下のようにして求められる。まず、測位部2が検出した車両の現在位置および地図DB3に格納される地図情報を参照して、探索経路上の案内対象交差点が検出される。次に、上述の図4のステップS1と同様の、カメラ視野空間(撮像範囲)が求められ、3次元地図において、案内対象交差点がカメラ視野空間に存在するか否かが判定される。
具体的には、図12Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。なお、本実施形態では、3次元地図の代わりにリンクおよびノードなどから構成される図を用いて説明する。この場合、検出された案内対象交差点がカメラ視野空間に存在する場合である。したがって、図12Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されるので、状況取得部10は、検出された案内対象交差点が車両の前方を撮像した実写画像に存在することを取得する。なお、交差点領域とは、上述の案内対象交差点およびその周辺の所定範囲が含まれる領域である。
一方、図13Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。この場合、検出された案内対象交差点がカメラ視野空間に存在しない場合である。例えば、車両前方の道路がカーブや勾配していて、検出された案内対象交差点が車両の前方を撮像した実写画像外に存在する場合である。したがって、図13Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されないので、状況取得部10は、案内対象交差点が車両の前方を撮像した実写画像に存在しないことを取得する。
また、状況取得部10は、車外の明るさを車両外部の状況として取得する。車外の明るさは、図示しない照度センサによって取得される。また、車外の明るさは、図示しないデータベースに格納される時刻と明るさの対応関係を参照して取得されてもよい。また、地図DB3に格納される地図情報を参照してトンネル内を走行していることを検出し、検出された結果を考慮して車外の明るさを取得するようにしてもかまわない。また、車外の明るさは、映像取得部1によって取得された実写画像の輝度に基づいて取得されてもよい。
また、状況取得部10は、降水または霧などの天候を車両外部の状況として取得する。降水の有無は、例えばワイパーの動作を検出することによって取得される。また、霧の発生の有無は、映像取得部1によって取得された実写画像の輝度を算出して、実写画像全体が白色であるか否かを判定することにより取得される。なお、降水または霧の有無は、図示しない通信手段を通じて、センター設備から適宜ダウンロードされる構成であってもよい。
図9に戻り、ステップS16において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図14は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
ここで、図14を参照して、状況判定部11における複数の車両外部の状況のそれぞれに関する判定方法およびその判定結果について説明する。車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度において、遮蔽度が閾値未満の場合には、状況判定部11は、実写案内画像を優先して表示する(以下、「実写優先」と称す)と判定する(図14A参照)。この場合、実写画像から車両前方が見通せるので、実写案内画像が有効である。一方、遮蔽度が閾値以上の場合には、状況判定部11は、地図案内画像を優先して表示する(以下、「地図優先」と称す)と判定する(図14B参照)。この場合、先行車両等の障害物によって実写画像から車両前方が見通せないので、実写案内画像は、有効でない。
また、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かにおいて、案内対象交差点が車両の前方を撮像した実写画像に存在する場合には、状況判定部11は、「実写優先」と判定する。この場合、実写画像に案内対象交差点が表示されるので、実写案内画像が有効である。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合には、状況判定部11は、「地図優先」と判定する。この場合、実写画像に案内対象交差点が表示されないので、実写案内画像は、有効でない。
また、車外の明るさにおいて、車外の明るさが閾値以上である場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、夜間やトンネル内など車外の明るさが閾値未満である場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。
また、降水および/または霧などの天候において、降水および霧がない場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、降水および/または霧がある場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。なお、降水に関しての判定条件を降水の有無とするのではなく、単位時間当たりの降水量が閾値以上であるか否かを判定してもかまわない。この場合、例えばワイパーの動作速度を検出して、当該動作速度に基づいて、降水量が算出される。
次に、図9のステップS17において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、降水などの天候について4つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された4つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS17でYes)には、案内表示制御部12は、優先して実写案内画像を表示させると制御して、処理は、ステップS18に進む。ステップS18において、実写案内画像が表示部5に表示される。具体的には、4つの車両外部の状況の判定結果が、図14Aの例のように、すべて「実写優先」となるので、案内表示制御部12は、実写案内生成部9で生成された実写案内画像を表示部5に表示させる。一方、4つの判定結果の少なくとも1つが「地図優先」となった場合(ステップS17でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS19に進む。ステップS19において、地図案内画像が表示部5に表示される。
また、図14Aに示す車両外部の状況から、例えば車両前方にトラックが自車両に接近し、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度が閾値以上となった場合には、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度に関して、状況判定部11は、「地図優先」と判定する(図14B参照)。これにより、判定結果の1つが、「地図優先」となるので、案内表示制御部12は、ステップS17において、優先して地図案内画像を表示させると制御する。その結果、表示部5に表示される案内画像は、優先的に地図案内生成部8で生成された地図案内画像に自動的に切り替えられる。
また、図15は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。図15の例のように、車両外部の状況のそれぞれに重み付けするポイントを設定してもよい。これにより、状況判定部11によって判定された結果に基づいて、実写案内画像または地図案内画像のいずれか一方に設定されたポイントが加算され、案内表示制御部12は、ポイントを多く獲得した方を表示部5に表示させる。具体的には、図15に示す例では、合計ポイントは、実写案内画像が50ポイント、地図案内画像が30ポイントであるので、案内表示制御部12は、優先して実写案内画像を表示部5に表示させる。なお、他の手段を用いて、実写案内画像または地図案内画像のいずれか一方を表示するようにしてもよい。
なお、案内表示制御部12によって実写案内画像または地図案内画像のいずれを優先して表示するかは、上述の4つの車両外部の状況の組み合わせに限らず、例えばいずれかの組み合わせ、もしくはいずれか1つの車両外部の状況のみを用いるようにしてもよい。さらに、上述の4つ車両外部の状況以外に、他の車両外部の状況を用いてもよい。
また、例えばレーダー等を用いて、状況取得部10は、自車両から先行車両までの距離を車両外部の状況として取得してもよい。この場合、自車両から先行車両までの距離が閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、測定された距離が閾値以上の場合には、状況判定部11は、「実写優先」と判定する。一方、測定された距離が閾値未満の場合は、状況判定部11は、「地図優先」と判定する。
また、状況取得部10は、道路幅または道路種別(例えば主要道路・細街路など)など車両走行中の道路の属性を取得してもよい。この場合、取得された道路の属性が案内画像の切り替えを行うための判定条件となる。これにより、取得された道路の属性が地図DB3に視認性のよい3次元CG(コンピュータグラフィックス)のデータが存在する主要道路の場合には、状況判定部11は、「地図優先」と判定する。一方、取得された道路の属性が地図DB3に視認性のよい3次元CGのデータが存在しない細街路の場合には、状況判定部11は、「実写優先」と判定する。また、走行中の道路の属性は、地図DB3に格納される地図情報から取得されてもよいし、映像取得部1によって取得された実写画像から取得されるようにしてもよい。
また、状況取得部10は、案内対象交差点の周辺に目印となる案内対象物を取得してもよい。ここで、目印となる案内対象物とは、信号機や、コンビニエンスストアまたはファミリーレストランなどのランドマークなどである。この場合、案内対象交差点の周辺に目印となる案内対象物が存在するか否かが案内画像の切り替えを行うための判定条件となる。これにより、案内対象交差点の周辺に目印となる案内対象物が存在する場合には、地図案内画像には、ランドマークを重畳して表示することができるので、状況判定部11は、「地図案内」と判定する。一方、目印となる案内対象物が存在しない場合には、状況判定部11は、「実写優先」と判定する。また、目印となる案内対象物は地図DB3から取得されてもよいし、映像取得部1によって取得された実写画像から検出して取得されるようにしてもよい。
また、車両が悪路(道路表面が凹凸の道路)を走行している場合、ジャイロなどを用いて、状況取得部10は、車載カメラの揺れの大きさを取得してもよい。この場合、取得された揺れの大きさが閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、揺れの大きさが閾値以上の場合には、揺れにより実写案内画像の視認性が低下するので、状況判定部11は、「地図優先」と判定する。一方、揺れの大きさが閾値未満の場合には、実写案内画像の視認性に問題がないので、状況判定部11は、「実写優先」と判定する。
また、本実施形態においては、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を優先して表示するとしたが、案内表示制御部12は、表示部5に実写案内画像と地図案内画像の2画面を表示させるようにしてもよい。例えば車両外部の状況に応じていずれか一方を強調して表示し、もう一方を表示画面の端に表示する。なお、図16は、案内表示制御部12が優先して実写案内画像を表示させる(例えば図9のステップS18)場合に、さらにもう1画面に地図案内画像を表示させた状態を示す表示例である。
図16の例のように、実写案内画像を強調して表示するため、実写案内画像が相対的に大きな画面で表示され、地図案内画像は相対的に小さな画面で表示されている。一方、案内表示制御部12が優先して地図案内画像を表示させる(例えば図9のステップS19)場合には、地図案内画像を強調して表示するため、地図案内画像は相対的に大きな画面で表示され、実写案内画像は相対的に小さな画面で表示される。この結果、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を大きく表示させることで、ユーザは、経路上の案内対象交差点において、車両が進むべき方向と探索された案内経路とを把握することができる。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に自動的に切り替えて表示することができる。
なお、本発明では、状況判定部11が、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定しているが、案内表示制御部12が判定するようにしてもよい。例えば、状況取得部10で取得された車両外部の状況が1つの場合には、状況判定部11または案内表示制御部12が判定してもよい。
また、本発明は、案内対象交差点までの距離が所定の距離以下に達した場合に、車両が進行すべき方向を示す案内図形の表示を行ったが、案内図形の代わりに、案内対象交差点に近づいていることを図示しない音声出力部からユーザに音声で通知してもよい。または、車両が進行すべき方向を示す案内図形の表示とともに、案内対象交差点に近づいていることを音声出力部からユーザに音声で通知してもよい。例えば、「200m先、左折です。」等の音声を出力してもよい。さらに、車両位置と案内対象交差点との距離が所定距離になった場合に、音声出力部から音声を出力させてもよい。例えば、「まもなく左方向です。」等の音声を出力してもよい。
(第2の実施形態)
前述した第1の実施形態のナビゲーション装置は、車両外部の状況に応じて実写案内画像または地図案内画像のいずれを優先して表示するかを制御して自動的に切り替えるとしたが、これから説明する第2の実施形態のナビゲーション装置は、実写案内画像または地図案内画像が頻繁に切り替わるのを防止するため、前回案内画像が切り替わった時点から、経過した時間を算出し、算出された経過時間に基づいて、優先して表示されている案内画像を切り替えるか否かを実現する。なお、第2の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図17を参照して、第2の実施形態の動作の流れについて説明する。なお、図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図17において、ステップS21〜ステップS23は、図9のステップS11〜ステップS13と同様の、処理を行う。続いて、ステップS24において、案内表示制御部12は、前回案内画像が切り替わった時点から所定の時間が経過したか否かを判定する。判定の結果、前回案内画像が切り替わった時点から所定の時間が経過している場合(ステップS24でYes)には、図9のステップS14〜ステップS19と同様の、処理が行われる(ステップS26〜ステップS31)。一方、前回案内画像が切り替わった時点から所定の時間が経過していない場合(ステップS24でNo)には、処理は、ステップS25に進む。ステップS25において、現状の優先して表示される案内画像を切り替えないで、現状の優先して表示される案内画像が継続される。
以上のように、本実施形態に係るナビゲーション装置によれば、案内表示制御部12は、前回案内画像が切り替わった時点からの経過時間を考慮しながら、優先して表示される案内画像を切り替えるか否かを制御する。これにより、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
なお、ステップS24において、前回案内画像が切り替わった時点から、所定の時間が経過したか否かを判定したが、経過時間の代わりに車両の移動距離を算出して、前回案内画像が切り替わった時点から車両が所定の距離以上を移動したか否かを判定して、優先して表示される案内画像を切り替えるか否かを制御するようにしてもよい。これにより、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。また、車両が所定の区間を走行している間は、案内画像がさらに切り替わらないようにしてもよい。例えば案内対象交差点の手前50m以内では、案内画像は切り替わらないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
(第3の実施形態)
第3の実施形態のナビゲーション装置は、車両外部の状況に応じて表示モードの異なる実写案内画像を生成することを実現する。ここで、表示モードとは、画像に表示される表示内容である。さらに、優先して実写案内画像が表示される場合、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに応じて、形態の異なる案内図形を重畳した実写案内画像が生成されることを特徴とする。なお、第3の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図18〜図20を参照して、第3の実施形態の動作の流れについて説明する。なお、図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図18において、ステップS41〜ステップS45は、図9のステップS11〜ステップS15と同様の、処理を行う。続いて、ステップS46において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに対して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。
次に、ステップS47において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、車外の明るさ、降水などの天候について3つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された3つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS47でYes)には、処理は、ステップS49に進む。一方、3つの車両外部の状況の判定結果の少なくとも1つが「地図優先」となった場合(ステップS47でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS48に進む。ステップS48において、地図案内画像が表示部5に表示される。
次に、ステップS49において、案内表示制御部12は、状況判定部11によって判定された案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに関する判定に応じて、形態の異なる案内図形を重畳した実写案内画像のいずれを優先して表示させるかを制御する。なお、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かの判定は、上述の案内対象交差点の交差点領域の全部または一部が実写画像に存在するか否かを判定する。判定の結果、案内対象交差点が車両の前方を撮像した実写画像に存在する場合(ステップS49でYes)には、案内表示制御部12は、優先して実写案内画像Aを表示させると制御して、処理は、ステップS50に進む。ステップS50において、実写案内画像Aが表示部5に表示される(図20A参照)。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合(ステップS49でNo)には、案内表示制御部12は、優先して実写案内画像Bを表示させると制御して、処理は、ステップS51に進む。ステップS51において、実写案内画像Bが表示部5に表示される(図20B参照)。なお、図20Aおよび図20Bのそれぞれは、形態の異なる案内図形を重畳した実写案内画像の表示例である。
図20Aは、案内対象交差点が車両の前方を撮像した実写画像に存在する場合に優先して表示される実写案内画像Aの表示例である。実写案内画像Aは、上述の実写案内画像と同様の、案内対象交差点において車両が進むべき方向を示す案内図形を実写画像に重畳表示した案内画像である。一方、図20Bは、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合に優先して表示される実写案内画像Bの表示例である。実写案内画像Bは、案内対象交差点まで車両が進むべき方向を示す案内図形(ガイド表示)を実写画面上の道路に沿って重畳表示し、さらに案内対象交差点において車両が進むべき方向を示す案内図形をガイド表示と異なる矢印(矢印A、矢印B、および矢印C)で重畳表示した案内画像である。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて実写案内画像を優先して表示させる場合において、さらに、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か判定に応じて、形態の異なる案内図形を重畳した実写案内画像を生成することができる。これにより、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
なお、実写案内画像の表示モードは本実施形態に限らない。また、本実施形態においては、地図案内画像と組み合わせた場合について説明したが、実写案内画像のみを表示し、車両外部の状況に応じて実写案内画像における案内図形を変更するようにしてもよい。また、第1の実施形態で説明した2画面同時表示の実施形態または第2の実施形態と、本実施形態とを組み合わせた実施形態であってもよい。
本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲から逸脱することなしに多くの他の改変例及び変形例が可能であることは言うまでもない。
本発明に係るナビゲーション装置は、車両内に設置されるカーナビゲーション装置、または、携帯電話などの移動体端末におけるナビゲーション装置として有用である。
本発明は、ナビゲーション装置に関し、より特定的には、地図情報を用いた地図画像またはカメラなどで撮影した実写画像を利用して出発地から目的地まで案内するナビゲーション装置およびその方法に関するものである。
近年、地図情報を用いて車両の位置周辺の地図画像を車載ディスプレイに表示するとともに、目的地が設定されると、現在位置から目的地までの経路を探索した後、探索された経路に沿って、車両を目的地まで案内するナビゲーション装置が広く普及している。具体的には、ナビゲーション装置は、探索された案内経路を他の道路と異なる色で表示したり、探索された案内経路の道路の表示幅を太くして表示する。これにより、ユーザは、探索された案内経路を他の道路と識別することができる。また、進路変更の必要な交差点などの案内対象交差点から所定距離に車両が到達したとき、案内対象交差点の案内図(例えば、交差点拡大図)が表示される。その結果、ユーザは、経路上の案内対象交差点において、車両が進むべき方向を把握することができる。
また、車載カメラで撮影した車両外部の様子を示す実写画像に案内図形(案内対象交差点において車両が進むべき方向を示す矢印等の図形)を重畳表示して、車両を目的地まで案内する案内画像表示(実写案内)と、地図情報を用いた案内画像表示(地図案内)をユーザの好みに合わせて選択可能であることが記載されている(例えば、特許文献1参照)。
特開平7−63572号公報
しかしながら、上記特許文献1に記載の従来の車載用ナビゲーション装置では、実写画像に案内図形を重畳した案内画像を用いて車両を案内する場合には、その時々の車両外部の状況によって、実写画像に案内図形を重畳した案内画像は、ユーザにとって分かりにくい場合がある。例えば、車両前方の様子を示す実写画像が先行車両等の障害物で遮蔽されている場合や、車両前方の道路がカーブや勾配して車両前方の様子を示す実写画像に案内対象交差点が撮像されない場合、および夜間や雨天時など車両前方の様子が明瞭に撮像されない場合などがある。これらの場合には、案内図形がどの道路または交差点を指しているか分かりづらく、ユーザは曲がるべき交差点を誤認識してしまう場合があった。また、ユーザが、地図情報を用いた案内画像(地図案内)、または実写画像に案内図形を重畳した案内画像(実写案内)のいずれを表示するかの切り替えを行わなければならず、煩わしい操作を必要とした。
それ故に、本発明は、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置およびその方法を提供することを目的とする。
本発明の目的は、以下の構成を備えたナビゲーション装置によって達成される。
本発明は、目的地への案内を示す案内画像を表示する表示部と、車両外部の状況を取得する状況取得部と、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成部と、地図情報を用いて地図案内画像を生成する地図案内生成部と、状況取得部によって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定部の判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示部に表示させる案内表示制御部とを備える。
また、状況取得部は、複数の車両外部の状況を取得する。状況判定部が、状況取得部によって取得された少なくとも1つの車両外部の状況から、地図案内画像を優先して表示すると判定した場合には、案内表示制御部は、地図案内画像を優先して表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を相対的に大きく表示させてもよい。
これにより、ナビゲーション装置は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、車両が所定の区間を移動している間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、状況取得部は、実写画像から、車両外部の状況を取得してもよい。
また、状況取得部は、実写画像における車両の前方方向の障害物による遮蔽度を算出する遮蔽度算出部を含んでいる。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度が閾値未満の場合には、実写案内画像を優先して表示すると判定し、遮蔽度算出部によって算出された遮蔽度が閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。なお、遮蔽度算出部は、実写画像において、案内対象交差点が表示されている領域である交差点領域のうち、前方方向の障害物と重なる領域の割合を遮蔽度として算出してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像した実写画像における車両の前方方向の障害物による遮蔽度を算出して、算出された遮蔽度に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、車両の前方を撮像した実写画像から車両前方を見通せる場合には、実写案内画像を優先して表示すると判定し、車両の前方を撮像した実写画像から車両前方を見通せない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。なお、交差点領域とは、案内対象交差点およびその周辺の所定範囲が含まれる領域である。また、状況判定部は、案内対象交差点判定部の判定結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、案内対象交差点判定部によって案内対象交差点が表示されている領域である交差点領域の全てまたは一部が実写画像に存在すると判定された場合には、実写案内画像を優先して表示すると判定し、案内対象交差点判定部によって案内対象交差点が表示されている領域である交差点領域の全てまたは一部が実写画像に存在しないと判定された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映る場合には、実写案内画像を優先して表示すると判定し、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映らない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の明るさを取得する明るさ取得部を含んでいる。また、状況判定部は、明るさ取得部によって取得された明るさに基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、明るさ取得部によって取得された明るさが閾値以上の場合には、実写案内画像を優先して表示すると判定し、明るさ取得部によって取得された明るさが閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の明るさに応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、昼間など車両外部が明るい場合には、実写案内画像を優先して表示すると判定し、夜間やトンネル内など車両外部が暗い場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の降水を検出する降水検出部を含んでいる。また、状況判定部は、降水検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、降水検出部によって降水が検出されない場合には、実写案内画像を優先して表示すると判定し、降水検出部によって降水が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の降水の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、雨が降っていない場合には、実写案内画像を優先して表示すると判定し、雨天時には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の霧を検出する霧検出部を含んでいる。また、状況判定部は、霧検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、霧検出部によって霧が検出されない場合には、実写案内画像を優先して表示すると判定し、霧検出部によって霧が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の霧の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、霧が発生していない場合には、実写案内画像を優先して表示すると判定し、霧が発生している場合には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、先行車両までの距離を測定する距離測定部を含んでいる。また、状況判定部は、距離測定部よって測定された距離に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、距離測定部によって測定された距離が閾値以上の場合には、実写案内画像を優先して表示すると判定し、距離測定部によって測定された距離が閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両前方の様子を見通すことができるか否かによって先行車両までの距離を測定し、測定された距離に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、測定された距離が閾値以上の場合には、車間距離が長く、車両前方の様子が見通せるので、実写案内画像を優先して表示すると判定し、測定された距離が閾値未満の場合には、車間距離が短く、車両前方の様子が見通せないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両の前方を撮像する撮像部の揺れを検出する揺れ検出部を含んでいる。また、状況判定部は、揺れ検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、揺れ検出部によって検出された揺れの大きさが閾値未満の場合には、実写案内画像を優先して表示すると判定し、揺れ検出部によって検出された揺れの大きさが閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像する撮像部の揺れの検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、走行中の路面が大きな凹凸で、検出された揺れの大きさが閾値未満の場合には、実写画像が揺れて実写画像の視認性が低いので、地図案内画像を優先して表示すると判定し、検出された揺れの大きさが閾値以上の場合には、実写画像の揺れが小さいので、実写案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、走行している道路の属性を取得する道路属性取得部を含んでいる。また、状況判定部は、道路属性取得部によって取得された属性に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、道路の属性に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、案内対象交差点の周辺に目印となる案内対象物を検出する案内対象物検出部を含んでいる。また、状況判定部は、案内対象物検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、案内対象交差点の周辺に目印となる案内対象物の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、実写案内生成部は、状況取得部によって取得された車両外部の状況に応じて表示モードの異なる実写案内画像を生成してもよい。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。また、実写案内生成部は、実写画像に、案内対象交差点判定部の判定結果に応じて形態の異なる案内図形を重畳することによって実写案内画像を生成してもよい。
これにより、ナビゲーション装置は、優先的に実写案内画像を表示させる場合において、さらに、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、形態の異なる案内図形を重畳した実写案内画像を生成することができる。その結果、案内対象交差点が実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
本発明の目的は、以下のステップを備えたナビゲーション方法によって達成される。
本発明は、車両外部の状況を取得する状況取得ステップと、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成ステップと、地図情報を用いて地図案内画像を生成する地図案内生成ステップと、状況取得ステップによって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定ステップと、状況判定ステップの判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示させる案内表示制御ステップとを備える。
これにより、ナビゲーション方法は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
本発明によれば、上記説明から明らかなように、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じて視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
(第1の実施形態)
図1を参照して、本発明における第1の実施形態に係るナビゲーション装置について説明する。なお、図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。また、各図面において、本発明に関係のない構成要素は省略している。
図1において、ナビゲーション装置は、映像取得部1、測位部2、地図DB3、入力部4、表示部5、および制御部6を備える。
映像取得部1は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal−Oxide Semiconductor)などを利用したカメラで撮像された映像を取得する。映像を取得するカメラは、車両天井部、車両先端部またはルームミラー背面などの場所に設置されて、好ましくは、車両の前方方向を撮像する。なお、車両の前方方向に限らず、車両の左右方向や後方方向などの前方方向以外の車両外部を撮像するものでも構わない。
測位部2は、車両の現在位置、速度、および方位を計測する。例えば、測位部2は、GNSS(Global Navigation Satellite System)受信機、車速センサ、およびジャイロセンサである。GNSS受信機は、例えばGPS(Global Positioning System)受信機であり、衛星からの電波を受信し、それを復調することで受信機の位置を算出する。
地図DB3は、例えばHDD(Hard Disc Drive)またはDVD(Digital Versatile Disc)などで構成される。地図DB3には、道路の形状データおよび交差点の位置データなどの地図情報が予め格納されている。ただし本発明はこれに限らず、地図情報は、図示しない通信手段(例えば、携帯電話)を通じて、センター設備から適宜ダウンロードして地図DB3に格納される構成であってもよい。
ここで、図2A、図2Bおよび図2Cを参照して、地図DB3に格納される地図情報について説明する。地図DB3は、例えばノードデータ、補間ノードデータ、およびリンクデータなどを格納している。なお、図2A、図2Bおよび図2Cは、地図DB3に格納されている地図情報のうち、本実施形態に関連する地図情報の一部を抜粋した地図情報の一例を示す図である。
図2Aは、交差点や合流地点など複数の方向に道路が分岐する地点(ノード)に関するノードデータである。ノードデータは、ノード毎に、緯度および経度などの位置情報、当該ノードに接続するリンクの数、およびリンクのIDから構成されている。図2Bは、リンク上に存在し、リンクが直線状でない場合など、リンクの形状を表現するための曲折点を示す補間ノードデータである。補間ノードデータは、補間ノード毎に、緯度および経度などの位置情報、および当該補間ノードを示す存在リンクIDから構成される。図2Cは、ノードとノードを結ぶ道路を示すリンクデータである。リンクデータは、リンク毎に、リンクの端点である始点ノードおよび終点ノード、リンクの長さ(単位は、例えばメートルやキロメートルなど)、一般道路や高速道路などを示す道路種別、道路幅、上述の補間ノードの数、および当該補間ノードを示すIDから構成されている。なお、リンクデータには、車線数または通行規制の情報が含まれていてもよい。
次に、図3を参照して、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成される状態について説明する。なお、図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。図3において、ノード(Node15)は、3つのリンクと接続し、さらに、リンクL6で別のノード(Node12)と結ばれている。また、リンクL6には、リンクの形状を形成する補間ノード(CN8およびCN9)が存在する。これにより、地図画像が形成される。なお、リンクが直線道路である場合には、補間ノードが存在しないことは言うまでもない。
入力部4は、例えばリモートコントローラー、タッチパネル、音声入力用のマイクと音声認識エンジンなどで構成され、ユーザの指示を受け付ける。ユーザによって入力される指示は、例えば目的地の設定、探索経路の選択、経路案内の開始などである。
表示部5は、例えばディスプレイで構成され、ユーザに対して情報を表示する。具体的には、目的地への案内を示す案内画像を表示する。また、後述する地図案内生成部8で生成される地図案内画像および/または後述する実写案内生成部9で生成される実写案内画像を含む案内画像を表示部5に表示する。
制御部6は、例えばCPU(Central Processing Unit)で構成される。また、制御部6は、経路探索部7、地図案内生成部8、実写案内生成部9、状況取得部10、状況判定部11、および案内表示制御部12を含んでいる。
経路探索部7は、入力部4から入力された目的地、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報などを参照して、現在位置から目的地に至る最適経路を探索する。
地図案内生成部8は、地図DB3に格納される地図情報を用いて所定領域の案内画像(以下、地図案内画像と称す)を生成する。ここで、所定領域とは、表示部5の表示画面に表示できる領域である。さらに、地図案内生成部8は、地図画像上において、経路探索部7で探索された経路の表示色を他の道路と異なる色に設定する。また、探索された経路は、他の道路より線幅を太く設定されてもよい。
実写案内生成部9は、経路探索部7で探索された案内経路、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報(例えば、道路形状データなど)に基づいて、案内対象交差点での車両の進むべき方向を示す矢印形状の案内図形を作成する。さらに、実写案内生成部9は、映像取得部1によって取得された実写画像に案内図形を重畳した案内画像(以下、実写案内画像と称す)を生成する。
ここで、図4〜図8を参照して、実写案内生成部9における案内図形および実写案内画像の生成方法について説明する。なお、図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。
まず、実写案内生成部9は、地図DB3に格納される地図情報による3次元地図、および映像取得部1によって取得された車両前方の様子を示す実写画像の撮像方向と撮像範囲を定めるパラメータであるカメラ位置、カメラ角(水平角、仰角)、焦点距離、および画像サイズに基づいて、3次元地図におけるカメラ視野空間を求める(ステップS1)。ここで、3次元地図とは、緯度、経度、および高度の位置情報で表される地図である。また、撮像方向と撮像範囲を定めるパラメータは、画角などの他のパラメータを用いて、換算されてもよい。また、3次元地図から高度情報を除いた2次元地図を用いてもよい。
また、カメラ視野空間は、図5に示すような方法で求められる。なお、図5は、カメラ視野空間を説明するための図である。まず、図5において、視点E(カメラ位置)からカメラ角方向に焦点距離fだけ離れた点Fを求める。さらに、点Fに表示部5の表示画面の縦横比に相当する横x縦yの平面(カメラ画面)が視点Eと点Fを結んだベクトルに垂直になるように設定される。次に、視点Eからカメラ画面の4隅の点へと結ぶ半直線によって得られる3次元空間が算出される。また、3次元空間は理論上無限遠まで延びるが、視点Eから適当な距離だけ離れたところで打ち切り、当該空間をカメラ視野空間とする。
次に、ステップS2において、実写案内生成部9は、3次元地図において、上述の方法で求められるカメラ視野空間内に存在する道路を検出する(以下、道路検出処理と称す)。なお、図6は、経路探索部7により探索された案内経路上の案内対象交差点を含む3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。具体的には、図6の例のように、カメラ視野空間に囲まれた道路(斜線で示した領域)がカメラ視野空間内に存在する道路として検出される。さらに、道路検出処理において、上述した地図DB3に格納されるノードデータ、補間ノードデータ、およびリンクデータに基づいて、検出された道路の形状データや道路幅などが抽出される。
次に、ステップS3において、実写案内生成部9は、道路検出処理により検出された道路のうち、経路探索部7によって探索された案内経路に該当する道路の形状データや道路幅などに基づいて、案内対象交差点での車両の進むべき方向を示す案内図形(矢印)を作成する。なお、図7は、案内図形の形状および配置位置の求め方を説明するための図である。続いて、図7に示す例のように、作成された案内図形は、カメラ視野空間内に存在する道路のうち、案内経路に該当する道路に配置される。なお、案内図形は、図7に示す矢印形状に限らず、例えば単なる折れ線であってもよい。
次に、ステップS4において、実写案内生成部9は、図5に示すカメラ画面を投影面として上記配置された案内図形を透視投影する(投影処理)。これにより、案内図形が投影される投影面が映像取得部1によって取得されるカメラ画面と一致するため、案内図形は、実写画像に表示されている道路(案内経路)上に重畳される(図8参照)。続いて、処理は、終了する。なお、実写画像に案内図形を重畳する際に、白線検知、道路端検知等の周知の画像認識技術を用いて、カメラで撮像された道路の位置を検出し、案内図形の重畳位置を補正するようにしてもよい。
状況取得部10は、車両外部の状況を取得する。取得される車両外部の状況は、例えば車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、および降水(降雨または降雪)および/または霧などの天候などである。なお、状況取得部10によって取得される車両外部の状況の詳細については後述する。
状況判定部11は、状況取得部10で取得された車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。
案内表示制御部12は、車両外部の状況のそれぞれに関して状況判定部11によって判定された判定結果に基づいて、実写案内画像または地図案内画像のどちらを優先して表示部5に表示させるかを制御する。
次に、図9〜図15を参照して、本実施形態のナビゲーション装置の動作の流れについて説明する。なお、図9は、本実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図9において、ユーザが入力部4から目的地を入力して、目的地が設定されたか否かを判定する(ステップS11)。判定の結果、目的地が設定されると(ステップS11でYes)、測位部2が車両の現在位置を検出して、経路探索部7は、現在位置から目的地に至る最適経路を探索する(ステップS12)。また、経路案内が開始されると、測位部2は、所定の時間間隔で車両の現在位置を検出する。続いて、車両の現在位置と最適経路を照合して目的地に到着したか否かを判定する(ステップS13)。判定の結果、目的地に到着していない場合(ステップS13でNo)には、処理は、ステップS14に進む。一方、目的地に到着した場合(ステップS13でYes)には、処理は、終了する。
次に、ステップS14において、制御部6は、車両から案内対象交差点までの距離が所定の距離(例えば、200m)以下か否かを判定する。判定の結果、案内対象交差点までの距離が所定の距離に到達していない場合(ステップS14でNo)には、処理は、ステップS19に進む。一方、案内対象交差点までの距離が所定の距離以下に到達した場合(ステップS14でYes)には、処理は、ステップS15に進む。ステップS15において、状況取得部10は、車両外部の状況を取得する。
次に、状況取得部10によって取得される車両外部の状況の詳細について説明する。まず、状況取得部10が、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度を車両外部の状況として取得する場合を説明する。状況取得部10は、先行車両等の障害物が表示されている領域(以下、先行車両領域と称す)を検出して、検出された領域の面積を遮蔽度として算出する。
ここで、先行車両領域を検出する手法としては、単眼カメラやステレオカメラを用いた公知の手法があり、本実施例においては、どちらであってもよい。例えば、単眼カメラを用いた車両検出手法としては、輝度値を参照する手法(車線上の輝度値を取得して路面上の障害物を検出する手法)や、射影変換画像を利用する手法(2フレーム間で射影変換画像の差分をとって移動物体を検出する手法)、先行車両のエッジを検出する手法(水平方向と垂直方向のエッジを検出して障害物を検出する手法)等がある。また、ステレオカメラを用いた車両検出手法としては、距離画像から先行車両の輪郭を抽出する手法や、ステレオ逆射影変換を用いて高さ情報を持つ物体を検出する手法、道路平面領域を抽出して路上の障害物を検出する手法などがある。さらに、他の検出手法としては、先行車両が存在しない状態で撮影した道路画像データを位置情報と関連付けて図示しない記憶手段に記憶しておき、測位部2の測位結果に基づいて、映像取得部1によって取得された実写画像と、現在の走行位置に対応する道路画像データとの差分をとることによって先行車両を検出することもできる。
上述の手法により、映像取得部1によって取得された実写画像に基づいて、先行車両領域が検出される。具体的には、図10において、斜線で示す領域が検出された先行車両領域である。なお、図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。また、状況取得部10は、検出された先行車両領域の面積を算出し、当該面積を、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度として取得する。なお、車両の前方を撮像した実写画像に複数の先行車両領域が存在する場合には、複数の先行車両領域の面積の総和を算出し、算出された面積を遮蔽度としてもよい。
また、状況取得部10は、車両の前方を撮像した実写画像において、案内対象交差点が表示されている領域(以下、交差点領域と称す)のうち、先行車両領域と重なる領域(以下、重なり領域と称す)を検出し、交差点領域に占める重なり領域の割合を遮蔽度として取得してもよい。ここで、交差点領域とは、図11Aの例のように、案内対象交差点およびその周辺の所定範囲が含まれる点線で囲まれる領域である。また、状況取得部10は、上述の手法により先行車両領域を検出し、交差点領域と先行車両領域との重なり領域を検出する(図11B参照)。これにより、状況取得部10は、交差点領域に占める重なり領域の割合を遮蔽度として取得する。また、交差点領域と先行車両領域の重なり、つまり重なり領域が大きいほど、遮蔽度が大きくなる。なお、交差点領域を設定する際、案内対象交差点において車両が進むべき方向に応じて交差点領域のその周辺の所定範囲の位置を変えるようにしてもよい。例えば、車両が案内対象交差点で右に曲がるときは、交差点領域は案内対象交差点の右側を多く含むように設定される(図11C参照)。
また、状況取得部10は、探索経路上の案内対象交差点が車両の前方を撮像した実写画像に存在するか否かを、車両外部の状況として取得する。案内対象交差点が車両の前方を撮像した実写画像に存在するか否かは、以下のようにして求められる。まず、測位部2が検出した車両の現在位置および地図DB3に格納される地図情報を参照して、探索経路上の案内対象交差点が検出される。次に、上述の図4のステップS1と同様の、カメラ視野空間(撮像範囲)が求められ、3次元地図において、案内対象交差点がカメラ視野空間に存在するか否かが判定される。
具体的には、図12Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。なお、本実施形態では、3次元地図の代わりにリンクおよびノードなどから構成される図を用いて説明する。この場合、検出された案内対象交差点がカメラ視野空間に存在する場合である。したがって、図12Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されるので、状況取得部10は、検出された案内対象交差点が車両の前方を撮像した実写画像に存在することを取得する。なお、交差点領域とは、上述の案内対象交差点およびその周辺の所定範囲が含まれる領域である。
一方、図13Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。この場合、検出された案内対象交差点がカメラ視野空間に存在しない場合である。例えば、車両前方の道路がカーブや勾配していて、検出された案内対象交差点が車両の前方を撮像した実写画像外に存在する場合である。したがって、図13Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されないので、状況取得部10は、案内対象交差点が車両の前方を撮像した実写画像に存在しないことを取得する。
また、状況取得部10は、車外の明るさを車両外部の状況として取得する。車外の明るさは、図示しない照度センサによって取得される。また、車外の明るさは、図示しないデータベースに格納される時刻と明るさの対応関係を参照して取得されてもよい。また、地図DB3に格納される地図情報を参照してトンネル内を走行していることを検出し、検出された結果を考慮して車外の明るさを取得するようにしてもかまわない。また、車外の明るさは、映像取得部1によって取得された実写画像の輝度に基づいて取得されてもよい。
また、状況取得部10は、降水または霧などの天候を車両外部の状況として取得する。降水の有無は、例えばワイパーの動作を検出することによって取得される。また、霧の発生の有無は、映像取得部1によって取得された実写画像の輝度を算出して、実写画像全体が白色であるか否かを判定することにより取得される。なお、降水または霧の有無は、図示しない通信手段を通じて、センター設備から適宜ダウンロードされる構成であってもよい。
図9に戻り、ステップS16において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図14Aおよび図14Bは、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
ここで、図14Aおよび図14Bを参照して、状況判定部11における複数の車両外部の状況のそれぞれに関する判定方法およびその判定結果について説明する。車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度において、遮蔽度が閾値未満の場合には、状況判定部11は、実写案内画像を優先して表示する(以下、「実写優先」と称す)と判定する(図14A参照)。この場合、実写画像から車両前方が見通せるので、実写案内画像が有効である。一方、遮蔽度が閾値以上の場合には、状況判定部11は、地図案内画像を優先して表示する(以下、「地図優先」と称す)と判定する(図14B参照)。この場合、先行車両等の障害物によって実写画像から車両前方が見通せないので、実写案内画像は、有効でない。
また、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かにおいて、案内対象交差点が車両の前方を撮像した実写画像に存在する場合には、状況判定部11は、「実写優先」と判定する。この場合、実写画像に案内対象交差点が表示されるので、実写案内画像が有効である。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合には、状況判定部11は、「地図優先」と判定する。この場合、実写画像に案内対象交差点が表示されないので、実写案内画像は、有効でない。
また、車外の明るさにおいて、車外の明るさが閾値以上である場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、夜間やトンネル内など車外の明るさが閾値未満である場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。
また、降水および/または霧などの天候において、降水および霧がない場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、降水および/または霧がある場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。なお、降水に関しての判定条件を降水の有無とするのではなく、単位時間当たりの降水量が閾値以上であるか否かを判定してもかまわない。この場合、例えばワイパーの動作速度を検出して、当該動作速度に基づいて、降水量が算出される。
次に、図9のステップS17において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、降水などの天候について4つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された4つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS17でYes)には、案内表示制御部12は、優先して実写案内画像を表示させると制御して、処理は、ステップS18に進む。ステップS18において、実写案内画像が表示部5に表示される。具体的には、4つの車両外部の状況の判定結果が、図14Aの例のように、すべて「実写優先」となるので、案内表示制御部12は、実写案内生成部9で生成された実写案内画像を表示部5に表示させる。一方、4つの判定結果の少なくとも1つが「地図優先」となった場合(ステップS17でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS19に進む。ステップS19において、地図案内画像が表示部5に表示される。
また、図14Aに示す車両外部の状況から、例えば車両前方にトラックが自車両に接近し、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度が閾値以上となった場合には、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度に関して、状況判定部11は、「地図優先」と判定する(図14B参照)。これにより、判定結果の1つが、「地図優先」となるので、案内表示制御部12は、ステップS17において、優先して地図案内画像を表示させると制御する。その結果、表示部5に表示される案内画像は、優先的に地図案内生成部8で生成された地図案内画像に自動的に切り替えられる。
また、図15は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。図15の例のように、車両外部の状況のそれぞれに重み付けするポイントを設定してもよい。これにより、状況判定部11によって判定された結果に基づいて、実写案内画像または地図案内画像のいずれか一方に設定されたポイントが加算され、案内表示制御部12は、ポイントを多く獲得した方を表示部5に表示させる。具体的には、図15に示す例では、合計ポイントは、実写案内画像が50ポイント、地図案内画像が30ポイントであるので、案内表示制御部12は、優先して実写案内画像を表示部5に表示させる。なお、他の手段を用いて、実写案内画像または地図案内画像のいずれか一方を表示するようにしてもよい。
なお、案内表示制御部12によって実写案内画像または地図案内画像のいずれを優先して表示するかは、上述の4つの車両外部の状況の組み合わせに限らず、例えばいずれかの組み合わせ、もしくはいずれか1つの車両外部の状況のみを用いるようにしてもよい。さらに、上述の4つ車両外部の状況以外に、他の車両外部の状況を用いてもよい。
また、例えばレーダー等を用いて、状況取得部10は、自車両から先行車両までの距離を車両外部の状況として取得してもよい。この場合、自車両から先行車両までの距離が閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、測定された距離が閾値以上の場合には、状況判定部11は、「実写優先」と判定する。一方、測定された距離が閾値未満の場合は、状況判定部11は、「地図優先」と判定する。
また、状況取得部10は、道路幅または道路種別(例えば主要道路・細街路など)など車両走行中の道路の属性を取得してもよい。この場合、取得された道路の属性が案内画像の切り替えを行うための判定条件となる。これにより、取得された道路の属性が地図DB3に視認性のよい3次元CG(コンピュータグラフィックス)のデータが存在する主要道路の場合には、状況判定部11は、「地図優先」と判定する。一方、取得された道路の属性が地図DB3に視認性のよい3次元CGのデータが存在しない細街路の場合には、状況判定部11は、「実写優先」と判定する。また、走行中の道路の属性は、地図DB3に格納される地図情報から取得されてもよいし、映像取得部1によって取得された実写画像から取得されるようにしてもよい。
また、状況取得部10は、案内対象交差点の周辺に目印となる案内対象物を取得してもよい。ここで、目印となる案内対象物とは、信号機や、コンビニエンスストアまたはファミリーレストランなどのランドマークなどである。この場合、案内対象交差点の周辺に目印となる案内対象物が存在するか否かが案内画像の切り替えを行うための判定条件となる。これにより、案内対象交差点の周辺に目印となる案内対象物が存在する場合には、地図案内画像には、ランドマークを重畳して表示することができるので、状況判定部11は、「地図優先」と判定する。一方、目印となる案内対象物が存在しない場合には、状況判定部11は、「実写優先」と判定する。また、目印となる案内対象物は地図DB3から取得されてもよいし、映像取得部1によって取得された実写画像から検出して取得されるようにしてもよい。
また、車両が悪路(道路表面が凹凸の道路)を走行している場合、ジャイロなどを用いて、状況取得部10は、車載カメラの揺れの大きさを取得してもよい。この場合、取得された揺れの大きさが閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、揺れの大きさが閾値以上の場合には、揺れにより実写案内画像の視認性が低下するので、状況判定部11は、「地図優先」と判定する。一方、揺れの大きさが閾値未満の場合には、実写案内画像の視認性に問題がないので、状況判定部11は、「実写優先」と判定する。
また、本実施形態においては、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を優先して表示するとしたが、案内表示制御部12は、表示部5に実写案内画像と地図案内画像の2画面を表示させるようにしてもよい。例えば車両外部の状況に応じていずれか一方を強調して表示し、もう一方を表示画面の端に表示する。なお、図16は、案内表示制御部12が優先して実写案内画像を表示させる(例えば図9のステップS18)場合に、さらにもう1画面に地図案内画像を表示させた状態を示す表示例である。
図16の例のように、実写案内画像を強調して表示するため、実写案内画像が相対的に大きな画面で表示され、地図案内画像は相対的に小さな画面で表示されている。一方、案内表示制御部12が優先して地図案内画像を表示させる(例えば図9のステップS19)場合には、地図案内画像を強調して表示するため、地図案内画像は相対的に大きな画面で表示され、実写案内画像は相対的に小さな画面で表示される。この結果、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を大きく表示させることで、ユーザは、経路上の案内対象交差点において、車両が進むべき方向と探索された案内経路とを把握することができる。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に自動的に切り替えて表示することができる。
なお、本発明では、状況判定部11が、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定しているが、案内表示制御部12が判定するようにしてもよい。例えば、状況取得部10で取得された車両外部の状況が1つの場合には、状況判定部11または案内表示制御部12が判定してもよい。
また、本発明は、案内対象交差点までの距離が所定の距離以下に達した場合に、車両が進行すべき方向を示す案内図形の表示を行ったが、案内図形の代わりに、案内対象交差点に近づいていることを図示しない音声出力部からユーザに音声で通知してもよい。または、車両が進行すべき方向を示す案内図形の表示とともに、案内対象交差点に近づいていることを音声出力部からユーザに音声で通知してもよい。例えば、「200m先、左折です。」等の音声を出力してもよい。さらに、車両位置と案内対象交差点との距離が所定距離になった場合に、音声出力部から音声を出力させてもよい。例えば、「まもなく左方向です。」等の音声を出力してもよい。
(第2の実施形態)
前述した第1の実施形態のナビゲーション装置は、車両外部の状況に応じて実写案内画像または地図案内画像のいずれを優先して表示するかを制御して自動的に切り替えるとしたが、これから説明する第2の実施形態のナビゲーション装置は、実写案内画像または地図案内画像が頻繁に切り替わるのを防止するため、前回案内画像が切り替わった時点から、経過した時間を算出し、算出された経過時間に基づいて、優先して表示されている案内画像を切り替えるか否かを実現する。なお、第2の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図17を参照して、第2の実施形態の動作の流れについて説明する。なお、図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図17において、ステップS21〜ステップS23は、図9のステップS11〜ステップS13と同様の、処理を行う。続いて、ステップS24において、案内表示制御部12は、前回案内画像が切り替わった時点から所定の時間が経過したか否かを判定する。判定の結果、前回案内画像が切り替わった時点から所定の時間が経過している場合(ステップS24でYes)には、図9のステップS14〜ステップS19と同様の、処理が行われる(ステップS26〜ステップS31)。一方、前回案内画像が切り替わった時点から所定の時間が経過していない場合(ステップS24でNo)には、処理は、ステップS25に進む。ステップS25において、現状の優先して表示される案内画像を切り替えないで、現状の優先して表示される案内画像が継続される。
以上のように、本実施形態に係るナビゲーション装置によれば、案内表示制御部12は、前回案内画像が切り替わった時点からの経過時間を考慮しながら、優先して表示される案内画像を切り替えるか否かを制御する。これにより、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
なお、ステップS24において、前回案内画像が切り替わった時点から、所定の時間が経過したか否かを判定したが、経過時間の代わりに車両の移動距離を算出して、前回案内画像が切り替わった時点から車両が所定の距離以上を移動したか否かを判定して、優先して表示される案内画像を切り替えるか否かを制御するようにしてもよい。これにより、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。また、車両が所定の区間を走行している間は、案内画像がさらに切り替わらないようにしてもよい。例えば案内対象交差点の手前50m以内では、案内画像は切り替わらないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
(第3の実施形態)
第3の実施形態のナビゲーション装置は、車両外部の状況に応じて表示モードの異なる実写案内画像を生成することを実現する。ここで、表示モードとは、画像に表示される表示内容である。さらに、優先して実写案内画像が表示される場合、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに応じて、形態の異なる案内図形を重畳した実写案内画像が生成されることを特徴とする。なお、第3の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図18〜図20Bを参照して、第3の実施形態の動作の流れについて説明する。なお、図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図18において、ステップS41〜ステップS45は、図9のステップS11〜ステップS15と同様の、処理を行う。続いて、ステップS46において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに対して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。
次に、ステップS47において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、車外の明るさ、降水などの天候について3つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された3つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS47でYes)には、処理は、ステップS49に進む。一方、3つの車両外部の状況の判定結果の少なくとも1つが「地図優先」となった場合(ステップS47でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS48に進む。ステップS48において、地図案内画像が表示部5に表示される。
次に、ステップS49において、案内表示制御部12は、状況判定部11によって判定された案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに関する判定に応じて、形態の異なる案内図形を重畳した実写案内画像のいずれを優先して表示させるかを制御する。なお、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かの判定は、上述の案内対象交差点の交差点領域の全部または一部が実写画像に存在するか否かを判定する。判定の結果、案内対象交差点が車両の前方を撮像した実写画像に存在する場合(ステップS49でYes)には、案内表示制御部12は、優先して実写案内画像Aを表示させると制御して、処理は、ステップS50に進む。ステップS50において、実写案内画像Aが表示部5に表示される(図20A参照)。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合(ステップS49でNo)には、案内表示制御部12は、優先して実写案内画像Bを表示させると制御して、処理は、ステップS51に進む。ステップS51において、実写案内画像Bが表示部5に表示される(図20B参照)。なお、図20Aおよび図20Bのそれぞれは、形態の異なる案内図形を重畳した実写案内画像の表示例である。
図20Aは、案内対象交差点が車両の前方を撮像した実写画像に存在する場合に優先して表示される実写案内画像Aの表示例である。実写案内画像Aは、上述の実写案内画像と同様の、案内対象交差点において車両が進むべき方向を示す案内図形を実写画像に重畳表示した案内画像である。一方、図20Bは、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合に優先して表示される実写案内画像Bの表示例である。実写案内画像Bは、案内対象交差点まで車両が進むべき方向を示す案内図形(ガイド表示)を実写画面上の道路に沿って重畳表示し、さらに案内対象交差点において車両が進むべき方向を示す案内図形をガイド表示と異なる矢印(矢印A、矢印B、および矢印C)で重畳表示した案内画像である。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて実写案内画像を優先して表示させる場合において、さらに、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か判定に応じて、形態の異なる案内図形を重畳した実写案内画像を生成することができる。これにより、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
なお、実写案内画像の表示モードは本実施形態に限らない。また、本実施形態においては、地図案内画像と組み合わせた場合について説明したが、実写案内画像のみを表示し、車両外部の状況に応じて実写案内画像における案内図形を変更するようにしてもよい。また、第1の実施形態で説明した2画面同時表示の実施形態または第2の実施形態と、本実施形態とを組み合わせた実施形態であってもよい。
本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲から逸脱することなしに多くの他の改変例及び変形例が可能であることは言うまでもない。
本発明に係るナビゲーション装置は、車両内に設置されるカーナビゲーション装置、または、携帯電話などの移動体端末におけるナビゲーション装置として有用である。
第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図 第1の実施形態に係る地図DB3に格納される地図情報のうち、ノードデータの一例を示す図 第1の実施形態に係る地図DB3に格納される地図情報のうち、補間ノードデータの一例を示す図 第1の実施形態に係る地図DB3に格納される地図情報のうち、リンクデータの一例を示す図 ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図 実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャート カメラ視野空間の求め方を説明するための図 3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図 案内図形の形状および配置位置の求め方を説明するための図 第1の実施形態に係る実写案内画像の表示例 第1の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート 車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図 交差点領域について説明するための図 重なり領域について、およびその求め方を説明するための図 案内対象交差点を右に曲がる場合の、設定される交差点領域について説明するための図 案内対象交差点が車載カメラの撮像範囲に存在する場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図 カメラ視野空間に案内対象交差点が存在する場合の、実写画像の表示例 案内対象交差点が車載カメラの撮像範囲に存在しない場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図 カメラ視野空間に案内対象交差点が存在しない場合の、実写画像の表示例 複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図 複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図 複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図 第1の実施形態に係る実写案内画像および地図案内画像を同時に示す表示例 第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート 第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート 複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図 第3の実施形態に係る実写案内画像Aの表示例 第3の実施形態に係る実写案内画像Bの表示例
符号の説明
1 映像取得部
2 測位部
3 地図DB
4 入力部
5 表示部
6 制御部
7 経路探索部
8 地図案内生成部
9 実写案内生成部
10 状況取得部
11 状況判定部
12 案内表示制御部

Claims (28)

  1. 目的地への案内を示す案内画像を表示する表示部と、
    車両外部の状況を取得する状況取得部と、
    車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成部と、
    地図情報を用いて地図案内画像を生成する地図案内生成部と、
    前記状況取得部によって取得された車両外部の状況に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定する状況判定部と、
    前記状況判定部の判定に基づいて、少なくとも前記実写案内画像または前記地図案内画像を含む前記案内画像を前記表示部に表示させる案内表示制御部とを備えた、ナビゲーション装置。
  2. 前記状況取得部は、複数の車両外部の状況を取得するものであり、
    前記状況判定部が、前記状況取得部によって取得された少なくとも1つの車両外部の状況から、前記地図案内画像を優先して表示すると判定した場合には、
    前記案内表示制御部は、前記地図案内画像を優先して表示させることを特徴とする、請求項1に記載のナビゲーション装置。
  3. 前記案内表示制御部は、前記状況判定部の判定に基づいて、前記実写案内画像または前記地図案内画像のいずれか一方を表示させることを特徴とする、請求項1に記載のナビゲーション装置。
  4. 前記案内表示制御部は、前記状況判定部の判定に基づいて、前記実写案内画像または前記地図案内画像のいずれか一方を相対的に大きく表示させることを特徴とする、請求項1に記載のナビゲーション装置。
  5. 前記案内表示制御部は、優先して表示される前記案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される前記案内画像をさらに切り替えないことを特徴とする、請求項1に記載のナビゲーション装置。
  6. 前記案内表示制御部は、優先して表示される前記案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される前記案内画像をさらに切り替えないことを特徴とする、請求項1に記載のナビゲーション装置。
  7. 前記案内表示制御部は、車両が所定の区間を移動している間は、優先して表示される前記案内画像をさらに切り替えないことを特徴とする、請求項1に記載のナビゲーション装置。
  8. 前記状況取得部は、前記実写画像から、車両外部の状況を取得することを特徴とする、請求項1に記載のナビゲーション装置。
  9. 前記状況取得部は、前記実写画像における車両の前方方向の障害物による遮蔽度を算出する遮蔽度算出部を含み、
    前記状況判定部は、前記遮蔽度算出部によって算出された遮蔽度に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  10. 前記状況判定部は、前記遮蔽度算出部によって算出された遮蔽度が閾値未満の場合には、前記実写案内画像を優先して表示すると判定し、前記遮蔽度算出部によって算出された遮蔽度が閾値以上の場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項9に記載のナビゲーション装置。
  11. 前記遮蔽度算出部は、前記実写画像において、案内対象交差点が表示されている領域である交差点領域のうち、前方方向の障害物と重なる領域の割合を遮蔽度として算出することを特徴とする、請求項9に記載のナビゲーション装置。
  12. 前記状況取得部は、前記実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含み、
    前記状況判定部は、前記案内対象交差点判定部の判定結果に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  13. 前記状況判定部は、前記案内対象交差点判定部によって案内対象交差点が表示されている領域である交差点領域の全てまたは一部が前記実写画像に存在すると判定された場合には、前記実写案内画像を優先して表示すると判定し、前記案内対象交差点判定部によって案内対象交差点領域の全てまたは一部が前記実写画像に存在しないと判定された場合には、地図案内画像を優先して表示すると判定することを特徴とする、請求項12に記載のナビゲーション装置。
  14. 前記状況取得部は、車両外部の明るさを取得する明るさ取得部を含み、
    前記状況判定部は、前記明るさ取得部によって取得された明るさに基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  15. 前記状況判定部は、前記明るさ取得部によって取得された明るさが閾値以上の場合には、前記実写案内画像を優先して表示すると判定し、前記明るさ取得部によって取得された明るさが閾値未満の場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項14に記載のナビゲーション装置。
  16. 前記状況取得部は、車両外部の降水を検出する降水検出部を含み、
    前記状況判定部は、前記降水検出部の検出結果に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  17. 前記状況判定部は、前記降水検出部によって降水が検出されない場合には、前記実写案内画像を優先して表示すると判定し、前記降水検出部によって降水が検出された場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項16に記載のナビゲーション装置。
  18. 前記状況取得部は、車両外部の霧を検出する霧検出部を含み、
    前記状況判定部は、前記霧検出部の検出結果に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  19. 前記状況判定部は、前記霧検出部によって霧が検出されない場合には、前記実写案内画像を優先して表示すると判定し、前記霧検出部によって霧が検出された場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項18に記載のナビゲーション装置。
  20. 前記状況取得部は、先行車両までの距離を測定する距離測定部を含み、
    前記状況判定部は、前記距離測定部よって測定された距離に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  21. 前記状況判定部は、前記距離測定部によって測定された距離が閾値以上の場合には、前記実写案内画像を優先して表示すると判定し、前記距離測定部によって測定された距離が閾値未満の場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項20に記載のナビゲーション装置。
  22. 前記状況取得部は、車両の前方を撮像する撮像部の揺れを検出する揺れ検出部を含み、
    前記状況判定部は、前記揺れ検出部の検出結果に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  23. 前記状況判定部は、前記揺れ検出部によって検出された揺れの大きさが閾値未満の場合には、前記実写案内画像を優先して表示すると判定し、前記揺れ検出部によって検出された揺れの大きさが閾値以上の場合には、前記地図案内画像を優先して表示すると判定することを特徴とする、請求項22に記載のナビゲーション装置。
  24. 前記状況取得部は、走行している道路の属性を取得する道路属性取得部を含み、
    前記状況判定部は、前記道路属性取得部によって取得された属性に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  25. 前記状況取得部は、案内対象交差点の周辺に目印となる案内対象物を検出する案内対象物検出部を含み、
    前記状況判定部は、前記案内対象物検出部の検出結果に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定することを特徴とする、請求項1に記載のナビゲーション装置。
  26. 前記実写案内生成部は、前記状況取得部によって取得された車両外部の状況に応じて表示モードの異なる実写案内画像を生成することを特徴とする、請求項1に記載のナビゲーション装置。
  27. 前記状況取得部は、前記実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含み、
    前記実写案内生成部は、前記実写画像に、前記案内対象交差点判定部の判定結果に応じて形態の異なる案内図形を重畳することによって実写案内画像を生成することを特徴とする、請求項26に記載のナビゲーション装置。
  28. 車両外部の状況を取得する状況取得ステップと、
    車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成ステップと、
    地図情報を用いて地図案内画像を生成する地図案内生成ステップと、
    前記状況取得ステップによって取得された車両外部の状況に基づいて、前記実写案内画像または前記地図案内画像のいずれを優先して表示するかを判定する状況判定ステップと、
    前記状況判定ステップの判定に基づいて、少なくとも前記実写案内画像または前記地図案内画像を含む案内画像を表示させる案内表示制御ステップとを備えた、ナビゲーション方法。
JP2008514329A 2006-04-28 2006-04-28 ナビゲーション装置およびその方法 Active JP4895313B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/309019 WO2007129382A1 (ja) 2006-04-28 2006-04-28 ナビゲーション装置およびその方法

Publications (2)

Publication Number Publication Date
JPWO2007129382A1 true JPWO2007129382A1 (ja) 2009-09-17
JP4895313B2 JP4895313B2 (ja) 2012-03-14

Family

ID=38667504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514329A Active JP4895313B2 (ja) 2006-04-28 2006-04-28 ナビゲーション装置およびその方法

Country Status (5)

Country Link
US (1) US8103442B2 (ja)
EP (1) EP2015023A4 (ja)
JP (1) JP4895313B2 (ja)
CN (1) CN101427101B (ja)
WO (1) WO2007129382A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006010478A1 (de) * 2006-03-07 2007-09-13 Robert Bosch Gmbh Verfahren und Anordnung zur Anzeige von Navigationshinweisen
JP4858212B2 (ja) * 2007-02-16 2012-01-18 トヨタ自動車株式会社 車載ナビゲーション装置
EP2075541A1 (en) * 2007-12-31 2009-07-01 STMicroelectronics Design and Application GmbH Improved vehicle navigation system
DE112008003588B4 (de) * 2008-01-31 2013-07-04 Mitsubishi Electric Corp. Navigationsgerät verwendend Videobilder einer Kamera
JP4946897B2 (ja) * 2008-01-31 2012-06-06 コニカミノルタホールディングス株式会社 距離計測装置
US9459113B2 (en) * 2008-11-21 2016-10-04 GM Global Technology Operations LLC Visual guidance for vehicle navigation system
WO2010095193A1 (ja) * 2009-02-17 2010-08-26 三菱電機株式会社 地図情報処理装置
KR101259598B1 (ko) * 2010-07-30 2013-04-30 주식회사 팬택 로드뷰 제공 장치 및 방법
JP5726201B2 (ja) * 2010-10-19 2015-05-27 三菱電機株式会社 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路
CN102706355A (zh) * 2012-05-18 2012-10-03 北京腾瑞万里科技有限公司 导航方法及移动终端
JP6015228B2 (ja) * 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP6015227B2 (ja) 2012-08-10 2016-10-26 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP5881566B2 (ja) * 2012-09-10 2016-03-09 アルパイン株式会社 ナビゲーション装置およびナビゲーション情報の表示制御方法
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
US9638538B2 (en) 2014-10-14 2017-05-02 Uber Technologies, Inc. Street-level guidance via route path
US9794685B2 (en) * 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
US9971470B2 (en) * 2015-09-30 2018-05-15 Apple Inc. Navigation application with novel declutter mode
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
WO2018066712A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
WO2019008703A1 (ja) * 2017-07-05 2019-01-10 三菱電機株式会社 表示システムおよび表示方法
CN110940348A (zh) * 2018-09-25 2020-03-31 北京四维图新科技股份有限公司 分岔路口方向计算及导航方法、车载导航仪及移动终端
KR20200071854A (ko) * 2018-12-04 2020-06-22 현대자동차주식회사 차량의 멀티미디어 제어 장치 및 방법
CN113196377B (zh) * 2018-12-20 2024-04-12 Ns西日本株式会社 显示光射出装置、平视显示装置、图像显示系统及头盔
JP6981433B2 (ja) * 2019-01-09 2021-12-15 株式会社デンソー 運転支援装置
JP7172880B2 (ja) * 2019-06-27 2022-11-16 トヨタ自動車株式会社 サーバ装置および画像提供方法
CN110926495B (zh) * 2019-12-02 2022-03-15 广州小鹏汽车科技有限公司 一种地图的显示方法、装置和车辆
US11994395B2 (en) * 2020-07-24 2024-05-28 Bayerische Motoren Werke Aktiengesellschaft Method, machine readable medium, device, and vehicle for determining a route connecting a plurality of destinations in a road network, method, machine readable medium, and device for training a machine learning module
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558985B2 (ja) 1992-02-03 1996-11-27 日本電信電話株式会社 地図情報画面逐次自動切り替え方法
JP3160434B2 (ja) * 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
JPH07225126A (ja) 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
JPH07318650A (ja) 1994-05-24 1995-12-08 Mitsubishi Electric Corp 障害物検知装置
JPH1123305A (ja) * 1997-07-03 1999-01-29 Toyota Motor Corp 車両用走行案内装置
US6249720B1 (en) * 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JPH11108684A (ja) 1997-08-05 1999-04-23 Harness Syst Tech Res Ltd カーナビゲーションシステム
US8000897B2 (en) * 1997-10-22 2011-08-16 Intelligent Technologies International, Inc. Intersection collision avoidance techniques
JP3503466B2 (ja) 1998-03-05 2004-03-08 日産自動車株式会社 車両用表示装置
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP4196461B2 (ja) 1999-01-14 2008-12-17 ソニー株式会社 経路案内装置
US6182010B1 (en) * 1999-01-28 2001-01-30 International Business Machines Corporation Method and apparatus for displaying real-time visual information on an automobile pervasive computing client
JP4258585B2 (ja) * 1999-03-19 2009-04-30 株式会社エクォス・リサーチ 目的地設定装置
JP3870409B2 (ja) 2000-08-03 2007-01-17 マツダ株式会社 車両用表示装置
JP2002304117A (ja) 2001-04-09 2002-10-18 Navitime Japan Co Ltd 地図表示装置
JP2003333586A (ja) 2002-05-17 2003-11-21 Pioneer Electronic Corp 撮像装置、撮像装置の制御方法
US20040199303A1 (en) * 2003-04-01 2004-10-07 Nikon Corporation Rental vehicle system, in-vehicle computer system, digital camera system and digital camera
JP2005077214A (ja) * 2003-08-29 2005-03-24 Mitsubishi Electric Corp 道案内システム
DE04773640T1 (de) * 2003-09-30 2007-02-08 Kabushiki Kaisha Kenwood, Hachiouji Führungsrouten-sucheinrichtung und führungsrouten-suchverfahren
JP2005214857A (ja) * 2004-01-30 2005-08-11 Sony Corp ナビゲーション装置、案内画像作成方法
JP3980565B2 (ja) 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
JP2005249504A (ja) 2004-03-03 2005-09-15 Fujitsu Ten Ltd 経路案内装置、経路案内方法および経路案内プログラム
JP2006021632A (ja) 2004-07-07 2006-01-26 Koito Mfg Co Ltd 車両用照明システム
JP2006071619A (ja) * 2004-08-03 2006-03-16 Denso Corp ナビゲーション装置およびプログラム
JP4576922B2 (ja) 2004-08-06 2010-11-10 日産自動車株式会社 車両用走行制御装置
EP1845491A4 (en) * 2005-02-03 2008-02-13 Pioneer Corp Image processing device, image processing method, image processing program and computer readable recording medium
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
US8082098B2 (en) * 2007-03-16 2011-12-20 Sony Corporation Information supplying system, apparatus mounted in vehicle, information supplying server, program, and information processing method
KR101768101B1 (ko) * 2009-10-30 2017-08-30 엘지전자 주식회사 정보 표시 장치 및 그 방법

Also Published As

Publication number Publication date
CN101427101B (zh) 2013-07-17
CN101427101A (zh) 2009-05-06
US8103442B2 (en) 2012-01-24
WO2007129382A1 (ja) 2007-11-15
JP4895313B2 (ja) 2012-03-14
US20090132161A1 (en) 2009-05-21
EP2015023A1 (en) 2009-01-14
EP2015023A4 (en) 2012-09-12

Similar Documents

Publication Publication Date Title
JP4895313B2 (ja) ナビゲーション装置およびその方法
JP4550927B2 (ja) ナビゲーション装置
US11535155B2 (en) Superimposed-image display device and computer program
JP6717742B2 (ja) ナビゲーション命令を表示する装置及び方法
JP4679182B2 (ja) 地図表示方法、地図表示プログラムおよび地図表示装置
US11511627B2 (en) Display device and computer program
JP4432801B2 (ja) 運転支援装置
US20100250116A1 (en) Navigation device
JP2008128827A (ja) ナビゲーション装置およびナビゲーション方法ならびにそのプログラム
US20100245561A1 (en) Navigation device
JP2007198962A (ja) 車両用案内表示装置
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2007121001A (ja) ナビゲーション装置
JP2010515891A (ja) ナビゲーション情報を表示するナビゲーション装置及び方法
WO2007145190A1 (ja) ナビゲーション装置及びナビゲーション方法
JP2007094045A (ja) ナビゲーション装置、ナビゲート方法および車両
JP3876972B2 (ja) 案内画像生成装置、案内画像表示装置、ナビゲーション装置、及びプログラム
JP4787196B2 (ja) 車載用ナビゲーション装置
JP5218607B2 (ja) ナビゲーション装置
WO2009084129A1 (ja) ナビゲーション装置
JP2009236844A (ja) ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム
JP6236954B2 (ja) 運転支援システム、方法およびプログラム
JPWO2007142084A1 (ja) ナビゲーション装置
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
JP2014048079A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111216

R150 Certificate of patent or registration of utility model

Ref document number: 4895313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350