JP4989495B2 - 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体 Download PDF

Info

Publication number
JP4989495B2
JP4989495B2 JP2008002599A JP2008002599A JP4989495B2 JP 4989495 B2 JP4989495 B2 JP 4989495B2 JP 2008002599 A JP2008002599 A JP 2008002599A JP 2008002599 A JP2008002599 A JP 2008002599A JP 4989495 B2 JP4989495 B2 JP 4989495B2
Authority
JP
Japan
Prior art keywords
image
display
time
unit
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008002599A
Other languages
English (en)
Other versions
JP2009162697A (ja
Inventor
雄一 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2008002599A priority Critical patent/JP4989495B2/ja
Publication of JP2009162697A publication Critical patent/JP2009162697A/ja
Application granted granted Critical
Publication of JP4989495B2 publication Critical patent/JP4989495B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Generation (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Storing Facsimile Image Data (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、当該画像処理プログラムを記録した記録媒体に関する。
従来から、ナビゲーション装置が広く普及している。そして、近年におけるナビゲーション装置の技術の発展は目覚しく、エンターテイメント性を向上させる機能や、利用者に対してより分りやすくナビゲートするための機能が備えられている。こうしたナビゲーション装置の中には、これらの機能をさらに発揮させるため、表示面に、単に移動経路画像を表示させるだけでなく、昼夜感や天候感を考慮した目的地点画像や移動経路画像を表示させる技術を備えたものが登場してきている。
かかるナビゲーション装置における表示画像に対する技術としては、３次元仮想画像に対して、昼夜感、天候感、四季感を付加するものがある（特許文献１参照：以下、「従来例１」と呼ぶ）。また、かかる表示画像に対する技術としては、撮影地点周辺の地図情報と、指定された天気状態で撮影された撮影画像と、仮想天気画面とを合成するものもある（特許文献２参照：以下、「従来例２」と呼ぶ）。
特開平９−６２１７９号公報 特開平１１−２１１４８６号公報
上記の従来例１の技術は、３次元仮想画像に対して昼夜感、天候感等を付加するため、実景色である撮影画像を利用した場合と比べて、リアリティという点においては劣ることになる。また、上記の従来例２の技術は、リアリティを向上させるために実景色である撮影画像を利用するが、この撮影画像は指定された天気状態で撮影されたものでなければならないので、予め撮影しておく画像の種類が非常に多くなってしまい、画像データ記憶のために多くの記憶資源が必要となる。
このため、簡易な構成で、昼夜感や天候感を考慮したリアリティ溢れる画像の表示を行うことができる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つに挙げられる。
本発明は、上記の事情を鑑みてなされたものであり、カメラ等で撮影した実景色の撮影画像を利用しつつ、簡易な構成で、リアリティ溢れる画像を表示することができる画像処理装置及び画像処理方法を提供することを目的とする。
請求項１に記載の発明は、画像を表示する表示手段と；撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と；前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出手段と；前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶手段と；前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と；表示用画像を生成する表示画像処理手段と；前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と；を備え、前記表示画像処理手段は、前記判定手段による判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成し、前記判定手段による判定の結果が否定的であった場合には、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、ことを特徴とする画像処理装置である。
請求項１５に記載の発明は、撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と；前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出工程と；前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶工程と；前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と；表示用画像を生成する表示画像処理工程と；前記表示用画像を反映した画像の表示制御を行う表示制御工程と；を備え、前記表示画像処理工程では、前記判定工程における判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成し、前記判定工程における判定の結果が否定的であった場合には、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、ことを特徴とする画像処理方法である。
請求項１６に記載の発明は、請求項１５に記載の画像処理方法を演算手段に実行させる、ことを特徴とする画像処理プログラムである。
請求項１７に記載の発明は、請求項１６に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
以下、本発明の一実施形態を、添付図面を参照して説明する。なお、以下の説明においては、同一の又は同等の要素には同一の符号を付し、重複する説明は省略する。
［第１実施形態］
まず、本発明の第１実施形態について、図１〜図１１を主に参照しつつ説明する。
＜構成＞
図１には、第１実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置１００Ａの概略的な構成がブロック図にて示されている。
この図１に示されるように、ナビゲーション装置１００Ａは、制御ユニット１１０Ａと、撮影画像記憶手段、及び、テクスチャ記憶手段としての記憶装置１２０Ａとを備えている。
また、ナビゲーション装置１００Ａは、音出力ユニット１３０と、表示手段としての表示ユニット１４０と、操作入力手段としての操作入力ユニット１５０とを備えている。
さらに、ナビゲーション装置１００Ａは、位置検出手段の一部としての走行センサインターフェイス部１６０と、計時手段、及び、位置検出手段の一部としてのＧＰＳ（Global Positioning System）受信ユニット１７０と、天気情報取得手段としての外部通信ユニット１８０と、撮影手段としてのカメラユニット１９０とを備えている。
なお、上記の制御ユニット１１０Ａ以外の要素１２０〜１９０は、制御ユニット１１０Ａに接続されている。また、走行センサインターフェイス部１６０は、車両に搭載された走行センサユニット９１０とも接続されている。
制御ユニット１１０Ａは、ナビゲーション装置１００Ａの全体を統括制御する。この制御ユニット１１０Ａの詳細については、後述する。
記憶装置１２０Ａは、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶装置１２０Ａ内には、記憶領域として、ナビゲーション情報記憶領域１２１、画像処理情報記憶領域１２５などが存在する。
ナビゲーション情報記憶領域１２１には、地図情報記憶領域１２２等の記憶領域が含まれている。ここで、地図情報記憶領域１２２には、道路データ、道路ネットワークデータ、背景データ等が記憶されている。これらのデータは、地図情報ＭＰＩとして制御ユニット１１０Ａからの制御により、読み出される。
画像処理情報記憶領域１２５には、様々な画像データ等が記憶されており、制御ユニット１１０Ａからの制御によりアクセスされ、読み込み／書き込みが可能になっている。この画像処理情報記憶領域１２５には、図２に示されるように、撮影画像データベース（以下、「撮影画像ＤＢ」とも記す）記憶領域１２６と、部分画像データベース（以下、「部分画像ＤＢ」とも記す）記憶領域１２７と、テクスチャデータベース（以下、「テクスチャＤＢ」とも記す）記憶領域１２８とが含まれている。
撮影画像ＤＢ記憶領域１２６には、撮影画像データＰＩＤ1〜ＰＩＤNと、画像属性情報テーブルＰＴＢとが記憶されている。
撮影画像データＰＩＤj（ｊ＝１〜Ｎ）は、カメラユニット１９０等で撮影された様々な目的地点や当該目的地点までの移動経路上における通過地点等の画像データである。撮影画像ＤＢ記憶領域１２６に記憶されている撮影画像の例が、図３に示されている。
画像属性情報テーブルＰＴＢは、上記の撮影画像データＰＩＤj（ｊ＝１〜Ｎ）を管理するために利用される。この画像属性情報テーブルＰＴＢには、各撮影画像データＰＩＤjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されている。撮影地点の情報は、撮影画像を撮影した位置であってもよいし、撮影画像に撮影されている被写体の固有名称であってもよい。また、この撮影地点の情報には、撮影した位置や被写体の固有名称に加え、撮影方角も含まれている。
部分画像ＤＢ記憶領域１２７には、上記の撮影画像データＰＩＤjから抽出したマッピング対象画像データＰＭＤjk（ｊ＝１〜Ｎ；ｋ＝１〜Ｐ）と、非マッピング対象画像データＰＮＤjm（ｊ＝１〜Ｎ；ｍ＝１〜Ｑ）とが記憶されている。ここで、マッピング対象画像データＰＭＤjkとは、撮影画像データＰＩＤjに含まれるテクスチャマッピング処理を行う可能性のある部分を抽出したデータであり、例えば、撮影画像データＰＩＤjから、「空」部分、「山」部分、「道路」部分、「地面・土」部分等を抽出した画像データである。
また、非マッピング対象画像データＰＮＤjmとは、撮影画像データＰＩＤjに含まれるテクスチャマッピング処理を行わない部分を抽出したデータであり、例えば、撮影画像データＰＩＤjから、「建物」部分等を抽出した画像データである（図３及び図１５参照）。
なお、以下の説明においては、Ｐ個のマッピング対象画像データＰＭＤj1，…，ＰＭＤjpをまとめてＰＭＤjとも記す。また、Ｑ個の非マッピング対象画像データＰＮＤj1，…，ＰＮＤjQをまとめてＰＮＤjとも記す。
また、Ｎ個の撮影画像データＰＩＤj（ｊ＝１〜Ｎ）、マッピング対象画像データＰＭＤj，非マッピング対象画像データＰＮＤjのうち、特定した１個の画像データのみを表すときは、それぞれ、撮影画像データＰＩＤ、マッピング対象画像データＰＭＤ、非マッピング対象画像データＰＮＤとも記す。
テクスチャＤＢ記憶領域１２８には、上記のマッピング対象画像データＰＭＤjに対してテクスチャマッピング処理を行うためのテクスチャデータ群が記憶されている。このテクスチャデータ群には、地域ごと、季節ごと、時刻ごと、天気ごと等に分類された、複数の「空」部分テクスチャデータＴＸＤ1、「山」部分テクスチャデータＴＸＤ2、「地面・土」部分テクスチャデータＴＸＤ3、…、「道路」部分テクスチャデータＴＸＤRの様々なテクスチャデータが含まれている。本実施形態においては、例えば、地域は「北海道、北東北、…、九州本土、沖縄」、季節は「春、夏、秋、冬」、時刻は「朝、昼、夕、晩、夜」、天気は「晴、曇、雨、雪、雷」のそれぞれに分類されている。
制御ユニット１１０Ａは、テクスチャＤＢ記憶領域１２８にアクセスして、このテクスチャデータ群に含まれる各カテゴリーに分類されたテクスチャデータの内から、所望のテクスチャデータだけを選択する。こうして選択されたテクスチャデータは、選択テクスチャデータＴＸＤ（１個以上のテクスチャデータの集まり）として、制御ユニット１１０Ａにより読み出される。
図１に戻り、音出力ユニット１３０は、例えば、（ｉ）制御ユニット１１０Ａから受信した案内音声データＡＯＤをアナログ信号に変換するＤＡ変換器（Digital to Analog Converter）と、（ii）当該ＤＡ変換器から出力されたアナログ信号を増幅する増幅器と、（iii）増幅されたアナログ信号を音声に変換するスピーカとを備えて構成されている。この音出力ユニット１３０は、制御ユニット１１０Ａによる制御のもとで、車両の進行方向、走行状況、交通状況等の案内音声を出力する。
表示ユニット１４０は、（ｉ）液晶パネル、有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）等の表示デバイスと、（ii）制御ユニット１１０Ａから送出された表示制御データに基づいて、表示ユニット１４０全体の制御を行うグラフィックレンダラ等の表示コントローラと、（iii）表示画像データを記憶する表示画像メモリ等を備えて構成されている。この表示ユニット１４０は、制御ユニット１１０Ａによる制御のもとで、地図情報、ルート情報等のナビゲーション画像、撮影画像、操作ガイダンス情報等を表示する。
操作入力ユニット１５０は、ナビゲーション装置１００Ａの本体部に設けられたキー部、あるいはキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット１４０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。
この操作入力ユニット１５０を利用者が操作することにより、ナビゲーション装置１００Ａの動作内容の設定が行われる。例えば、目的地の設定、情報の検索設定、車両の走行状況の表示設定、カメラユニット１９０による画像の撮影指示等を、利用者が操作入力ユニット１５０を利用して行う。こうした入力内容は、操作入力データＩＰＤとして、操作入力ユニット１５０から制御ユニット１１０Ａへ向けて送られる。
走行センサインターフェイス部１６０は、制御ユニット１１０Ａと車両に搭載された走行センサユニット９１０との間におけるデータ授受に関して利用される。ここで、走行センサユニット９１０は、（ｉ）車両の移動速度を検出する車速センサと、（ii）車両に作用している加速度を検出する加速度センサと、（iii）車両の角速度を検出する角速度センサとを備えている。ここで、車速センサは、車軸や車輪の回転により出力されるパルス信号を検出する。また、加速度センサは、例えば、３次元方向の加速度を検出する。また、角速度センサは、例えば、いわゆるジャイロセンサとして構成され、角速度を検出する。これらの検出結果は、走行センサインターフェイス部１６０を介して、走行センサデータＤＴＤとして制御ユニット１１０Ａへ向けて送られる。
ＧＰＳ受信ユニット１７０は、複数のＧＰＳ衛星からの電波の受信結果に基づいて、車両の現在位置の擬似座標値を算出する。また、ＧＰＳ受信ユニット１７０は、ＧＰＳ衛星から送出された時刻情報に基づいて、現在時刻を計時する。これらの現在位置および現在時刻に関する情報は、ＧＰＳデータＧＰＤとして制御ユニット１１０Ａへ送られる。
外部通信ユニット１８０は、無線通信部を備えており、制御ユニット１１０Ａによる制御のもとで、携帯電話網等の移動通信網を介して、外部と通信する際に使用される。この外部通信ユニット１８０を介して、位置を指定した天気情報の取得要求を天気情報サーバへ送ることにより、指定した位置の所望の時刻における天気情報が取得される。かかる取得された天気情報は、通信データＥＴＤとして、外部通信ユニット１８０から制御ユニット１１０Ａへ向けて送られる。
カメラユニット１９０は、不図示の車載カメラと、データ処理部とを備えて構成されている。車載カメラは、例えば、ルームミラーの裏側に配置される。そして、車載カメラは、制御ユニット１１０Ａからの撮影指令ＳＨＣに従い、車両の進行方向の画像を撮影する。データ処理部は、車載カメラによる撮影結果をデジタル画像データに変換する。こうして撮影されたデジタル画像データは、カメラ画像データＣＩＤとして、カメラユニット１９０から制御ユニット１１０Ａへ向けて送られる。
次に、制御ユニット１１０Ａについて説明する。上述したように、制御ユニット１１０Ａは、ナビゲーション装置１００Ａの全体を統括制御する。この制御ユニット１１０Ａは、図４に示されるように、ナビゲーション処理部１１１Ａと、画像処理部１１２と、表示画像切替部１１３Ａとを備えている。
ナビゲーション処理部１１１Ａは、図５に示されるように、表示制御手段、到達日時予測手段、目的地距離算出手段、通過日時予測手段、及び、通過地距離算出手段としての統括処理部２１１Ａを備えている。また、ナビゲーション処理部１１１Ａは、ナビゲーション画像生成部２１２Ａを備えている。
このように構成されたナビゲーション処理部１１１Ａは、上述した構成要素１２０〜１９０を直接的又は間接的に利用して、利用者にナビゲーション情報を提供する。例えば、ナビゲーション処理に対する操作入力ユニット１５０からの入力結果に沿って、走行センサインターフェイス部１６０を介して得られた走行センサデータＤＴＤ及びＧＰＳ受信ユニット１７０からの出力であるＧＰＳデータＧＰＤを利用して必要なナビゲーション利用情報を適宜読み出す。そして、ナビゲーション処理部１１１Ａは、（ａ）利用者が指定する地域の地図を表示ユニット１４０の表示デバイスに表示するための地図表示、（ｂ）車両が地図上のどこに位置するのか、また、どの方角に向かっているのかを算出し、表示ユニット１４０の表示デバイスに表示して利用者に提示するマップマッチング、（ｃ）現在車両が存在する位置から、利用者が指定する任意の位置である目的地までの最適ルート検索、（ｄ）設定されたルートに沿って目的地まで運転するときに、目的地への到達予想時刻や、進行すべき方向を的確にアドバイスするために行われる、表示ユニット１４０の表示デバイスへの案内表示のための制御、及び、音出力ユニット１３０のスピーカから音声案内を出力するための制御等を行う。以下、ナビゲーション処理部１１１Ａを構成する統括処理部２１１Ａ、ナビゲーション画像生成部２１２Ａについて詳述する。
統括処理部２１１Ａは、利用者が指定した出発地点や目的地点等の情報に基づいて、出発地点から目的地点へ到る走行経路の計画をする「ドライブプランモード」と、車両の走行中に目的地点への走行経路を表示デバイス等で案内する「走行経路案内モード」の両モードにおいて、ナビゲーション処理部１１１Ａの上記の機能を統括処理する。
かかる「ドライブプランモード」の動作に際して、統括処理部２１１Ａは、利用者により操作入力ユニット１５０を利用して入力された出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を受ける。そして、統括処理部２１１Ａは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
引き続き、統括処理部２１１Ａは、記憶装置１２０Ａの撮影画像ＤＢ記憶領域１２６にアクセスして、画像属性情報テーブルＰＴＢを読み取る。統括処理部２１１Ａは、検索した目的地点までの移動経路上に、画像属性情報テーブルＰＴＢに登録されている撮影地点が存在するか否かを調べ、撮影地点が存在する場合には、当該撮影地点を不図示の記憶領域に一時的に記憶する。なお、以下の構成の説明においては、画像属性情報テーブルＰＴＢに、撮影地点として目的地点Ｐ0と、当該目的地点Ｐ0までの移動経路上の通過地点Ｐ1が登録されているものとする。
統括処理部２１１Ａは、当該目的地点Ｐ0に到着する日時と、移動経路上における通過地点Ｐ1を通過する日時を予測する。また、統括処理部２１１Ａは、目的地点Ｐ0に到着する予測日時における天気情報と、通過地点Ｐ1を通過する予測日時における天気情報を、外部通信ユニット１８０から取得する。こうして予測した目的地点Ｐ0と通過地点Ｐ1における日時情報と天気情報は、地点情報とともに表示デバイス等を通じて、利用者に通知される。そして、利用者がこれらの情報に基づいた目的地点Ｐ0や通過地点Ｐ1の撮影画像を表示すべき旨の指示を、操作入力ユニット１５０を利用して行うと、統括処理部２１１Ａは、指定された地点における情報（指定地点、指定日時、指定天気）を、指定日時等情報ＩＮＡとして画像処理部１１２へ向けて送る。また、統括処理部２１１Ａは、当該情報の送付と同時に、表示画像切替部１１３Ａへ向けて、表示ユニット１４０へ送る画像データをナビゲーション画像データＭＰＤから後述する重畳画像データに切替えるべき旨の切替指令ＳＥＣを発行する。
一方、「走行経路案内モード」の動作に際して、統括処理部２１１Ａは、ＧＰＳ受信ユニット１７０からの出力であるＧＰＳデータＧＰＤ等に基づいて、車両と目的地点Ｐ0との間の距離ＤＩＳ１を算出する。そして、統括処理部２１１Ａは、距離ＤＩＳ１が第１所定距離以下となった場合に、目的地点Ｐ0到達時の日時を算出するとともに、目的地点Ｐ0到達時における目的地点Ｐ0の天気情報を取得する。引き続き、統括処理部２１１Ａは、目的地点Ｐ0に関する情報（指定地点、指定日時、指定天気）を、指定日時等情報ＩＮＡとして画像処理部１１２へ向けて送る。また、統括処理部２１１Ａは、当該情報の送付と同時に、表示画像切替部１１３Ａへ向けて、表示ユニット１４０へ送る画像データをナビゲーション画像データＭＰＤから重畳画像データに切替えるべき旨の切替指令ＳＥＣを発行する。
また、「走行経路案内モード」の動作に際して、統括処理部２１１Ａは、車両と通過地点Ｐ1との間の距離ＤＩＳ２を算出する。そして、統括処理部２１１Ａは、距離ＤＩＳ２が第２所定距離以下となった場合に、通過地点Ｐ1通過時の日時を算出するとともに、通過地点Ｐ1通過時における通過地点Ｐ1の天気情報を取得する。引き続き、統括処理部２１１Ａは、通過地点Ｐ1に関する情報（指定地点、指定日時、指定天気）を、指定日時等情報ＩＮＡとして画像処理部１１２へ向けて送る。また、統括処理部２１１Ａは、当該情報送付と同時に、表示画像切替部１１３Ａへ向けて、表示ユニット１４０へ送る画像データをナビゲーション画像データＭＰＤから重畳画像データに切替えるべき旨の切替指令ＳＥＣを発行する。
なお、上記の第１所定距離及び第２所定距離の値は、実験、シミュレーション、経験等に基づいて、予め定められる。
また、統括処理部２１１Ａは、上記の動作モードに関係なく、利用者により操作入力ユニット１５０を利用して入力された画像の撮影指示を操作入力データＩＰＤとして受けるようになっている。統括処理部２１１Ａは、当該指示内容の操作入力データＩＰＤを受けると、撮影指令ＳＨＣをカメラユニット１９０へ発行するとともに、画像処理部１１２へ向けて発行する。
また、統括処理部２１１Ａは、当該撮影指令ＳＨＣの発行と同時に、画像処理部１１２へ向けて撮影日時等情報ＩＮＦを送る。この撮影日時等情報ＩＮＦには、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。ここで、撮影地点の情報は、走行センサインターフェイス部１６０を介して得られた走行センサデータＤＴＤやＧＰＳ受信ユニット１７０からの出力であるＧＰＳデータＧＰＤに基づいて、取得される。撮影日時の情報は、ＧＰＳ受信ユニット１７０からの出力であるＧＰＳデータＧＰＤに基づいて、取得される、また、撮影時天気の情報は、外部通信ユニット１８０からの通信データＥＴＤとして取得される。
ナビゲーション画像生成部２１２Ａは、上記の（ａ）及び（ｄ）の機能を実現するための画像データの生成を行う。このナビゲーション画像生成部２１２Ａは、統括処理部２１１Ａを介してナビゲーション画像の生成に必要な情報ＭＰＦを受け、ナビゲーション画像データＭＰＤを生成する。こうして生成されたナビゲーション画像データＭＰＤは、表示画像切替部１１３Ａへ向けて送られる。以上が、ナビゲーション処理部１１１Ａの構成である。
次に、図４に戻り、画像処理部１１２について説明する。画像処理部１１２は、撮影画像の取得、及び、取得した撮影画像の解析に関する処理を行う。この画像処理部１１２は、図６に示されるように、画像取得部２２０と、画像解析部２３０とを備えている。
画像取得部２２０は、撮影画像の取得に関する処理を行う。この画像取得部２２０は、図７に示されるように、抽出手段としての部分画像抽出部２２１と、属性情報作成部２２２とを備えている。
部分画像抽出部２２１は、ナビゲーション処理部１１１Ａからの撮影指令ＳＨＣを受けると、カメラユニット１９０から送られてくるカメラ画像データＣＩＤの解析処理を開始する。部分画像抽出部２２１は、この解析処理に際し、適切なアルゴリズムにより、カメラ画像データＣＩＤから、前述したマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤとを抽出する。こうして抽出された各画像データは、記憶装置１２０Ａの部分画像ＤＢ記憶領域１２７に書き込まれる。
また、部分画像抽出部２２１は、カメラユニット１９０から送られてくるカメラ画像データＣＩＤを、撮影画像データＰＩＤとして記憶装置１２０Ａの撮影画像ＤＢ記憶領域１２６に書き込む。
属性情報作成部２２２は、ナビゲーション処理部１１１Ａからの撮影日時等情報ＩＮＦを受ける。そして、属性情報作成部２２２は、撮影画像ＤＢ記憶領域１２６にアクセスして、当該撮影日時等情報ＩＮＦの内容を、撮影画像データＰＩＤと対応付ける形式で、画像属性情報テーブルＰＴＢのリストに新規に登録する。
画像解析部２３０は、取得した撮影画像の解析に関する処理を行う。この画像解析部２３０は、図８に示されるように、判定手段としての判定部２３１と、画像選択部２３２と、表示画像処理手段としての表示画像処理部２３３とを備えている。
判定部２３１は、ナビゲーション処理部１１１Ａからの指定日時等情報ＩＮＡを受けるとともに、撮影画像ＤＢ記憶領域１２６にアクセスして画像属性情報テーブルＰＴＢを読み取る。そして、判定部２３１は、画像属性情報テーブルＰＴＢに登録されている撮影画像の撮影地点の情報を参照して、指定日時等情報ＩＮＡに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
引き続き、判定部２３１は、指定日時等情報ＩＮＡに含まれる指定日時と検索された撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報ＩＮＡに含まれる指定天気と検索された撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判定の結果が肯定的であった場合には、判定部２３１は、画像選択部２３２及び表示画像処理部２３３へ向けて、肯定的である旨および指定日時等情報ＩＮＡの内容を含む判定報告ＤＥＣを送る。一方、この判定の結果が否定的であった場合には、判定部２３１は、画像選択部２３２及び表示画像処理部２３３へ向けて、否定的である旨および指定日時等情報ＩＮＡの内容を含む判定報告ＤＥＣを送る。
画像選択部２３２は、判定部２３１における判定の結果が肯定的である旨の判定報告ＤＥＣを受けた場合には、撮影画像ＤＢ記憶領域１２６にアクセスして、指定日時等情報ＩＮＡに含まれる指定地点と一致する撮影画像データＰＩＤを選択して読み出す。こうして読み出された撮影画像データＰＩＤは、表示画像処理部２３３へ向けて送られる。
一方、画像選択部２３２は、当該判定の結果が否定的である旨の判定報告ＤＥＣを受けた場合には、部分画像ＤＢ記憶領域１２７にアクセスして、指定日時等情報ＩＮＡに含まれる指定地点と一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを選択して読み出す。こうして読み出されたマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤは、表示画像処理部２３３へ向けて送られる。
表示画像処理部２３３は、図９に示されるように、画像加工部２３４と、テクスチャマッピング部２３５と、合成部２３６と、切替部２３７とを備えている。
画像加工部２３４は、判定部２３１からの判定の結果が否定的である旨の判定報告ＤＥＣを受けたときに、処理を行う。この画像加工部２３４は、画像選択部２３２から非マッピング対象画像データＰＮＤを受ける。そして、画像加工部２３４は、適切なアルゴリズムにより、非マッピング対象画像データＰＮＤに対して、指定日時等情報ＩＮＡに含まれる指定日時及び指定天気に対応した加工処理を行う。具体的には、非マッピング対象画像データＰＮＤに対して、明るさ、コントラスト、色合い等の補正を行ったり、非マッピング対象画像データＰＮＤに照明光などが検出されれば、時刻によっては照明光を無くす処理等を行う。こうして加工処理された画像データは、加工画像データＳＮＤとして、画像加工部２３４から合成部２３６へ向けて送られる。
テクスチャマッピング部２３５は、上記の画像加工部２３４と同様に、判定部２３１からの判定の結果が否定的である旨の判定報告ＤＥＣを受けたときに、処理を行う。このテクスチャマッピング部２３５は、画像選択部２３２からマッピング対象画像ＰＭＤを受ける。また、テクスチャマッピング部２３５は、テクスチャＤＢ記憶領域１２８にアクセスして、指定日時等情報ＩＮＡに含まれる指定地点、指定日時、指定天気に適合する「空」部分、「山」部分、「道路」部分、「地面・土」部分等のテクスチャデータを、選択テクスチャデータＴＸＤとして取得する。
引き続き、テクスチャマッピング部２３５は、マッピング対象画像ＰＭＤに「空」部分があれば、選択した「空」部分のテクスチャデータを貼り付け、マッピング対象画像ＰＭＤに「山」部分があれば、選択した「山」部分のテクスチャデータを貼り付ける等のテクスチャマッピング処理を行う。こうしてテクスチャマッピング処理された画像データは、テクスチャ処理画像データＳＭＤとして、テクスチャマッピング部２３５から合成部２３６へ向けて送られる。
合成部２３６は、画像加工部２３４からの加工画像データＳＮＤを受けるとともに、テクスチャマッピング部２３５からのテクスチャ処理画像ＳＭＤを受ける。そして、合成部２３６は、これらの画像データを合成して、合成画像データＳＣＤを生成する。
図１０（Ａ）には原画像である撮影画像の例が示され、図１０（Ｂ）及び図１０（Ｃ）には当該撮影画像に対して表示画像処理を行った合成画像の例が示されている。図１０（Ｂ）及び図１０（Ｃ）は、非マッピング対象画像部分に対して指定日時及び指定天気に対応した加工処理を行うとともに、マッピング対象画像部分に対して指定地点、指定日時、指定天気に適合する「空」部分、「山」部分等のテクスチャを貼り付けたものである。なお、この撮影画像は、車載カメラを西の方角に向けて撮影したものとする。
図１０（Ｂ）の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夜」、天気「晴」に適合するように表示画像処理された画像である。この図１０（Ｂ）の合成画像には、時刻が「夜」であるため、撮影画像（図１０（Ａ）参照）に表示されている「山」が表示されていない。
また、図１０（Ｃ）の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夕」、天気「晴」に適合するように表示画像処理された画像である。この図１０（Ｃ）の合成画像には、時刻が「夕」であるため、夕日が表示されている。
こうして生成された合成画像データＳＣＤは、合成部２３６から切替部２３７へ向けて送られる。
切替部２３７は、判定部２３１からの判定の結果が肯定的である旨の判定報告ＤＥＣを受けたときは、画像選択部２３２からの撮影画像データＰＩＤを受け、当該データを表示用画像データＰＰＤとして表示画像切替部１１３Ａへ向けて出力する。一方、切替部２３７は、判定部２３１からの判定の結果が否定的である旨の判定報告ＤＥＣを受けたときは、合成部２３６からの合成画像データＳＣＤを受け、当該データを表示用画像データＰＰＤとして表示画像切替部１１３Ａへ向けて出力する。以上が、画像処理部１１２の構成である。
図４に戻り、表示画像切替部１１３Ａは、表示ユニット１４０の表示デバイスに表示する画像の切替え処理等を行う。この表示画像切替部１１３Ａは、ナビゲーション処理部１１１Ａからのナビゲーション画像データＭＰＤを受けるとともに、画像処理部１１２からの表示用画像データＰＰＤを受ける。表示画像切替部１１３Ａは、通常、ナビゲーション画像データＭＰＤを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。一方、表示画像切替部１１３Ａは、ナビゲーション処理部１１１Ａからの切替指令ＳＥＣを受けたときは、ナビゲーション画像データＭＰＤに表示用画像データＰＰＤを重ねた重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する（図１１参照）。
＜動作＞
次に、上記のように構成されたナビゲーション装置１００Ａの動作について、撮影画像の取得、及び、取得した撮影画像を利用した画像処理の動作に主に着目して説明する。
《撮影画像の取得動作》
まず、カメラユニット１９０を用いた撮影画像の取得処理に関する動作について説明する。
利用者が、操作入力ユニット１５０に画像の撮影指示を入力することにより、撮影画像の取得処理に関する動作が開始する。
こうして操作入力ユニット１５０に画像の撮影指示が入力されると、その旨が操作入力データＩＰＤとしてナビゲーション処理部１１１Ａの統括処理部２１１Ａへ向けて送られる（図５参照）。統括処理部２１１Ａは、当該指示内容の操作入力データＩＰＤを受けると、撮影指令ＳＨＣを、カメラユニット１９０へ発行するとともに、画像処理部１１２の画像取得部２２０（より詳しくは、部分画像抽出部２２１）へ向けて発行する（図６参照）。
また、統括処理部２１１Ａは、この撮影指令ＳＨＣの発行と同時に、画像取得部２２０（より詳しくは、属性情報作成部２２２）へ向けて撮影日時等情報ＩＮＦを送る。この撮影日時等情報ＩＮＦには、撮影画像の撮影が行われるときの撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。
統括処理部２１１Ａからの撮影指令ＳＨＣをカメラユニット１９０が受けると、車載カメラが、車両の前方方向の画像を撮影する。こうして車載カメラで撮影された撮影結果はデジタル画像データに変換され、カメラ画像データＣＩＤとして画像取得部２２０の部分画像抽出部２２１へ向けて送られる（図７参照）。
部分画像抽出部２２１は、統括処理部２１１Ａからの撮影指令ＳＨＣを受けると、カメラユニット１９０から送られてくるカメラ画像データＣＩＤの解析処理を開始する。部分画像抽出部２２１は、この解析処理に際して、適切なアルゴリズムにより、カメラ画像データＣＩＤから、マッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤとを抽出する。こうして抽出されたマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤは、部分画像ＤＢ記憶領域１２７に書き込まれる。
また、部分画像抽出部２２１は、カメラユニット１９０から送られてくるカメラ画像データＣＩＤを、撮影画像データＰＩＤとして撮影画像ＤＢ記憶領域１２６に書き込む。
一方、属性情報作成部２２２は、統括処理部２１１Ａからの撮影日時等情報ＩＮＦを受けると、撮影画像ＤＢ記憶領域１２６にアクセスして、当該撮影日時等情報ＩＮＦの内容を、撮影画像データＰＩＤと対応付ける形式で、画像属性情報テーブルＰＴＢのリストに新規に登録する。これにより、撮影画像の取得時における動作が終了する。
《ドライブプランモード時における動作》
次いで、ドライブプランモード時における取得した撮影画像を利用した画像処理の動作について説明する。
前提として、図２に示される画像処理情報記憶領域１２５には、ドライブプランにおいて検索される移動経路上（目的地点Ｐ0を除く）の撮影画像は記憶されておらず、図３に示される目的地点Ｐ0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルＰＴＢとともに、記憶されているものとする。
利用者が、操作入力ユニット１５０に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
これらのドライブプランに必要な情報は、操作入力データＩＰＤとして統括処理部２１１Ａへ向けて送られる。統括処理部２１１Ａは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
統括処理部２１１Ａは、移動経路の検索後に、撮影画像ＤＢ記憶領域１２６にアクセスして、画像属性情報テーブルＰＴＢを読み出す。そして、統括処理部２１１Ａは、検索した移動経路上に、画像属性情報テーブルＰＴＢに登録されている撮影地点が存在するか否かを調査する。統括処理部２１１Ａは、この調査により、画像属性情報テーブルＰＴＢに登録されている撮影地点の中から、目的地点Ｐ0を見つけ出す。
引き続き、統括処理部２１１Ａは、目的地点Ｐ0に到達する日時を算出するとともに、目的地点Ｐ0に到達する日時における天気情報を外部通信ユニット１８０から取得する。こうして得られた目的地点Ｐ0の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
利用者が、これらの情報に基づいた目的地点Ｐ0の撮影画像を表示すべき指示を、操作入力ユニット１５０を利用して行うと、統括処理部２１１Ａは、その旨を操作入力データＩＰＤとして受ける。統括処理部２１１Ａは、当該内容の操作入力データＩＰＤを受けると、指定された指定地点（目的地点Ｐ0の撮影地点）、指定日時（目的地点Ｐ0に到達する日時）、指定天気（目的地点Ｐ0に到達する日時における天気）を、指定日時等情報ＩＮＡとして画像処理部１１２の画像解析部２３０（より詳しくは、判定部２３１）へ向けて送る。
また、統括処理部２１１Ａは、当該情報の送付と同時に、表示画像切替部１１３Ａへ向けて、表示ユニット１４０へ送る画像データをナビゲーション画像データＭＰＤから重畳画像データに切替えるべき旨の切替指令ＳＥＣを発行する。
なお、画像処理情報記憶領域１２５に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部２１１Ａは、上記の画像解析部２３０へ向けての指定日時等情報ＩＮＡの送付、及び、表示画像切替部１１３Ａへ向けての切替指令ＳＥＣの発行は行わない。
画像解析部２３０の判定部２３１は、統括処理部２１１Ａからの指定日時等情報ＩＮＡを受けると、撮影画像ＤＢ記憶領域１２６にアクセスして画像属性情報テーブルＰＴＢを読み込む。そして、判定部２３１は、画像属性情報テーブルＰＴＢに登録されている撮影画像の撮影地点の情報を参照し、指定日時等情報ＩＮＡに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
次いで、判定部２３１は、指定日時等情報ＩＮＡに含まれる指定日時と撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報ＩＮＡに含まれる指定天気と撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部２３１は、画像選択部２３２と表示画像処理部２３３へ向けて、肯定的である旨の判定報告ＤＥＣを送る。一方、この判定の結果が否定的であった場合には、判定部２３１は、画像選択部２３２と表示画像処理部２３３へ向けて、否定的である旨の判定報告ＤＥＣを送る（図８参照）。なお、この判定報告ＤＥＣには、当該判定結果とともに、指定日時等情報ＩＮＡの内容が含まれている。
画像選択部２３２は、判定報告ＤＥＣの内容が肯定的であるときは、撮影画像ＤＢ記憶領域１２６にアクセスして、指定日時等情報ＩＮＡに含まれる指定地点と一致する撮影画像データＰＩＤを読み出す。一方、画像選択部２３２は、判定報告ＤＥＣの内容が否定的であるときは、部分画像ＤＢ記憶領域１２７にアクセスして、指定日時等情報ＩＮＡに含まれる指定地点と一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。こうして読み出された各画像データは、表示画像処理部２３３へ向けて送られる。
表示画像処理部２３３は、前述した判定報告ＤＥＣの内容が肯定的であるときは、撮影画像データＰＩＤを表示用画像データＰＰＤとして、表示画像切替部１１３Ａへ向けて送る。
一方、判定報告ＤＥＣの内容が否定的であるときは、表示画像処理部２３３の画像加工部２３４が、非マッピング対象画像データＰＮＤに対して指定日時等情報ＩＮＡに含まれる指定日時及び指定天気に対応した加工処理を行うとともに、表示画像処理部２３３のテクスチャマッピング部２３５が、マッピング対象画像データＰＭＤに対して指定日時等情報ＩＮＡに含まれる指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部２３６が、加工処理を行った加工画像データＳＮＤと、テクスチャマッピング処理を行ったマッピング処理画像データＳＭＤとを合成する。合成結果である合成画像データＳＣＤは、表示用画像データＰＰＤとして表示画像切替部１１３Ａへ向けて送られる（図９参照）。
表示画像切替部１１３Ａは、統括処理部２１１Ａからの切替指令ＳＥＣに従い、ナビゲーション画像データＭＰＤに表示用画像データＰＰＤを重ねた重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０の表示デバイスには、前述した図１１に示されるような画像が表示される。
《走行経路案内モード時における動作》
次に、走行経路案内モード時における取得した撮影画像を利用した画像処理の動作について説明する。
前提として、車両は前述したドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、前述したように、画像処理情報記憶領域１２５には、ドライブプランにおいて検索された移動経路上（目的地点Ｐ0を除く）の撮影画像は記憶されておらず、図３に示される目的地点Ｐ0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルＰＴＢとともに、記憶されているものとする。
統括処理部２１１Ａは、車両の走行中、常時、車両と目的地点Ｐ0との間の距離ＤＩＳ１を算出する。そして、統括処理部２１１Ａは、距離ＤＩＳ１が第１所定距離以下となったか否かを判定し、判定の結果が否定的であった場合には、この判定処理が繰り返される。
一方、この判定の結果が肯定的になると、統括処理部２１１Ａは、目的地点Ｐ0到達時の日時を算出するとともに、目的地点Ｐ0到達時における目的地点Ｐ0の天気情報を取得する。そして、統括処理部２１１Ａは、目的地点Ｐ0の地点情報（指定地点）、及び、取得した日時情報（指定日時）と天気情報（指定天気）を、指定日時等情報ＩＮＡとして画像解析部２３０へ向けて送る。また、統括処理部２１１Ａは、表示画像切替部１１３Ａへ向けて、切替指令ＳＥＣを発行する。
指定日時等情報ＩＮＡを受けた画像解析部２３０では、前述した「ドライブプランモード」における動作と同様に、まず、判定部２３１において、撮影画像ＤＢ記憶領域１２６にアクセスして画像属性情報テーブルＰＴＢを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部２３１は、指定日時等情報ＩＮＡに含まれる指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報ＩＮＡに含まれる指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
この判定の結果が肯定的であった場合には、画像解析部２３０の画像選択部２３２が、撮影画像ＤＢ記憶領域１２６にアクセスして、指定地点と撮影地点とが一致する撮影画像データＰＩＤを読み出す。そして、表示画像処理部２３３が、当該撮影画像データＰＩＤを表示用画像データＰＰＤとして、表示画像切替部１１３Ａへ向けて送る。
一方、判定部２３１における判定の結果が否定的であった場合には、画像選択部２３２が、部分画像ＤＢ記憶領域１２７にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。そして、表示画像処理部２３３が、非マッピング対象画像データＰＮＤに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データＰＭＤに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部２３３は、これらの処理画像データを合成し、合成結果である合成画像データＳＣＤを表示用画像データＰＰＤとして、表示画像切替部１１３Ａへ向けて送る。
表示画像切替部１１３Ａは、統括処理部２１１Ａからの切替指令ＳＥＣに従い、ナビゲーション画像データＭＰＤに表示用画像データＰＰＤを重ねた重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０の表示デバイスには、前述した図１１に示されるような画像が表示される。
なお、上記の説明では、画像処理情報記憶領域１２５には、ドライブプランにおいて検索された移動経路上（目的地点Ｐ0を除く）の撮影画像は記憶されていないとしたが、画像処理情報記憶領域１２５内に、検索された移動経路上の通過地点Ｐ1の撮影画像が存在すれば、統括処理部２１１Ａは、車両の走行中、常時、車両と通過地点Ｐ1との間の距離ＤＩＳ２を算出する。
そして、統括処理部２１１Ａは、距離ＤＩＳ２が第２所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点Ｐ1通過時の日時を算出するとともに、通過地点Ｐ1通過時における通過地点Ｐ1の天気情報を取得する。そして、統括処理部２１１Ａは、通過地点Ｐ1の地点情報（指定地点）、及び、取得した日時情報（指定日時）と天気情報（指定天気）を、指定日時等情報ＩＮＡとして画像解析部２３０へ向けて送る。また、統括処理部２１１Ａは、表示画像切替部１１３Ａへ向けて、切替指令ＳＥＣを発行する。
画像解析部２３０と表示画像切替部１１３Ａは、前述した目的地点Ｐ0の撮影画像に対するのと同様に処理を行う。この結果、通過地点Ｐ1の撮影画像に対して表示画像処理を施した表示用画像をナビゲーション画像に重畳させた重畳画像が、表示ユニット１４０に表示される。
また、この通過地点Ｐ1の撮影画像に対する処理動作においては、車両が当該通過地点Ｐ1を通過した際には、統括処理部２１１Ａからの切替指令ＳＥＣにより、表示ユニット１４０に表示される画像が、重畳画像から、ナビゲーション画像に切替る。
以上説明したように、本第１実施形態では、統括処理部２１１Ａが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルＰＴＢに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部２１１Ａは、目的地点Ｐ0等が撮影地点として画像属性情報テーブルＰＴＢに登録されている場合には、当該目的地点Ｐ0に到着する日時を予測するとともに、当該目的地点Ｐ0に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報（指定地点、指定日時、指定天気）は、指定日時等情報ＩＮＡとして画像処理部１１２へ向けて送られる。
画像処理部１１２では、判定部２３１が、画像属性情報テーブルＰＴＢを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部２３１は、指定日時等情報ＩＮＡに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報ＩＮＡに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
この判定の結果が否定的であった場合には、画像選択部２３２が、部分画像ＤＢ記憶領域１２７にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。そして、表示画像処理部２３３が、非マッピング対象画像データＰＮＤに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データＰＭＤに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部２３３は、これらの処理画像データを合成し、合成結果である合成画像データＳＣＤを表示用画像データＰＰＤとして、表示画像切替部１１３Ａへ向けて送る。
表示画像切替部１１３Ａは、統括処理部２１１Ａからの切替指令ＳＥＣに従い、ナビゲーション画像データＭＰＤに表示用画像データＰＰＤを重ねた重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０には、目的地点Ｐ0の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
また、本第１実施形態では、車両の走行経路案内時に、統括処理部２１１Ａは、車両と目的地点Ｐ0との間の距離ＤＩＳ１を算出する。そして、統括処理部２１１Ａは、距離ＤＩＳ１が第１所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット１４０には、目的地点Ｐ0の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
また、本第１実施形態では、１つの撮影地点に対して撮影画像データＰＩＤが１個存在すれば、表示画像処理部２３３における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データＰＩＤを減らすことができ、ハードディスク資源等を有効活用することができる。
また、本第１実施形態では、カメラユニット１９０の車載カメラが車両の前方を撮影し、カメラ画像データＣＩＤを取得する。そして、画像取得部２２０における処理により、撮影画像データＰＩＤ等が記憶装置１２０Ａに保存される。これらの画像は、前述した処理により表示ユニット１４０に表示されることがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
したがって、本第１実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
［第２実施形態］
次に、本発明の第２実施形態について、図１２〜図１７を主に参照しつつ説明する。
＜構成＞
図１２には、第２実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置１００Ｂの概略的な構成がブロック図にて示されている。以下、上記の第１実施形態に係るナビゲーション装置１００Ａとの相違点に主に着目して、ナビゲーション装置１００Ｂの構成を説明する。
この図１２に示されるように、ナビゲーション装置１００Ｂは、ナビゲーション装置１００Ａと比べて、制御ユニット１１０Ａに代えて制御ユニット１１０Ｂを備える点と、記憶装置１２０Ａに代えて撮影画像記憶手段、部分画像記憶手段、テクスチャ記憶手段、及び、３次元モデル情報記憶手段としての記憶装置１２０Ｂを備える点とが異なっている。
制御ユニット１１０Ｂは、ナビゲーション装置１００Ｂの全体を統括制御する。この制御ユニット１１０Ｂの詳細については、後述する。
記憶装置１２０Ｂは、記憶装置１２０Ａと比べて、ナビゲーション情報記憶領域１２１内に、地図情報記憶領域１２２に代えて３次元地図モデル情報（「３Ｄ情報」）記憶領域１２３が含まれている点が異なっている。ここで、３Ｄ情報記憶領域１２３には、３次元の道路データ、道路ネットワークデータ、構造物データ、背景データ等が記憶されている。
次に、制御ユニット１１０Ｂについて説明する。上述したように、制御ユニット１１０Ｂは、ナビゲーション装置１００Ｂの全体を統括制御する。この制御ユニット１１０Ｂは、図１３に示されるように、第１実施形態における制御ユニット１１０Ａと比べて、ナビゲーション処理部１１１Ａに代えてナビゲーション処理部１１１Ｂを備える点と、表示画像切替部１１３Ａに代えて画像形状変形手段としての画像形状変形部１１３Ｂを備える点とが異なっている。
ナビゲーション処理部１１１Ｂは、図１４に示されるように、第１実施形態におけるナビゲーション処理部１１１Ａと比べて、統括処理部２１１Ａに代えて統括処理部２１１Ｂを備える点と、ナビゲーション画像生成部２１２Ａに代えてナビゲーション画像生成部２１２Ｂを備える点とが異なっている。
統括処理部２１１Ｂは、第１実施形態における統括処理部２１１Ａと同様に、ドライブプランモード」と、「走行経路案内モード」の両モードにおいて、ナビゲーション処理部１１１Ｂの機能を統括処理する。この統括処理部２１１Ｂは、統括処理部２１１Ａと比べて、３Ｄ情報記憶領域１２３に記憶されているデータ等に基づいた情報ＭＴＦを、ナビゲーション画像生成部２１２Ｂへ向けて送る点が異なっている。
ナビゲーション画像生成部２１２Ｂは、第１実施形態におけるナビゲーション画像生成部２１２Ａと比べて、統括処理部２１１Ｂを介して３次元のナビゲーション画像の生成に必要な情報ＭＴＦを受け、３次元のナビゲーション画像データ（以下、「３Ｄナビゲーション画像データ」とも記す）ＭＴＤを生成する点が異なっている。こうして生成された３次元のナビゲーション画像データＭＴＤは、画像形状変形部１１３Ｂへ向けて送られる。
図１３に戻り、画像形状変形部１１３Ｂは、ナビゲーション処理部１１１Ｂからの３Ｄナビゲーション画像データＭＴＤを受けるとともに、画像処理部１１２からの表示用画像データＰＰＤを受ける。そして、画像形状変形部１１３Ｂは、ナビゲーション処理部１１１Ｂからの切替指令ＳＥＣを受けると、３Ｄナビゲーション画像における表示用画像に対応する領域を選び出す。引き続き、画像形状変形部１１３Ｂは、表示用画像に対して当該領域に適合する変形を行い、当該領域に、変形させた表示用画像を貼り付ける。こうして生成された画像データ（以下、当該画像データを「３Ｄ重畳画像データ」とも記す）は、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力される。
＜動作＞
次に、上記のように構成されたナビゲーション装置１００Ｂの動作について、撮影画像を利用した画像処理の動作に主に着目して説明する。
なお、撮影画像の取得における動作は、第１実施形態において説明した《撮影画像の取得動作》と同様であるため、省略する。
《ドライブプランモード時における動作》
まず、ドライブプランモード時における撮影画像を利用した画像処理の動作について説明する。
前提として、図２に示される画像処理情報記憶領域１２５には、ドライブプランにおいて検索される移動経路上（目的地点Ｐ2を除く）の撮影画像は記憶されておらず、図１５に示される目的地点Ｐ2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルＰＴＢとともに、記憶されているものとする。
第１実施形態におけるナビゲーション装置１００Ａと同様に、利用者が、操作入力ユニット１５０に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
これらのドライブプランに必要な情報は、ナビゲーション処理部１１１Ｂの統括処理部２１１Ｂへ向けて送られる。そして、統括処理部２１１Ｂは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
統括処理部２１１Ｂは、移動経路の検索後に、撮影画像ＤＢ記憶領域１２６にアクセスして、検索した移動経路上に、画像属性情報テーブルＰＴＢに登録されている撮影地点が存在するか否かを調査する。統括処理部２１１Ｂは、この調査により、画像属性情報テーブルＰＴＢに登録されている複数の撮影地点の中から、目的地点Ｐ2を見つけ出す。
引き続き、統括処理部２１１Ｂは、目的地点Ｐ2に到達する日時を予測するとともに、目的地点Ｐ2に到達する日時における天気情報を、外部通信ユニット１８０から取得する。こうして得られた目的地点Ｐ2の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
利用者が、これらの情報に基づいた目的地点Ｐ2の撮影画像を表示すべき指示を、操作入力ユニット１５０を利用して行うと、統括処理部２１１Ｂがその旨を操作入力データＩＰＤとして受ける。統括処理部２１１Ｂは、当該内容の操作入力データＩＰＤを受けると、指定位置（目的地点Ｐ2）、指定日時（目的地点Ｐ2に到達する日時）、指定天気（目的地点Ｐ2に到達する日時における天気）を、指定日時等情報ＩＮＡとして判定部２３１へ向けて送る。
また、統括処理部２１１Ｂは、当該情報の送付と同時に、画像形状変形部１１３Ｂへ向けて、切替指令ＳＥＣを発行する。
なお、画像処理情報記憶領域１２５に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部２１１Ｂは、上記の画像解析部２３０へ向けての指定日時等情報ＩＮＡの送付、及び、画像形状変形部１１３Ｂへ向けての切替指令ＳＥＣの発行は行わない。
判定部２３１は、統括処理部２１１Ｂからの指定日時等情報ＩＮＡを受けると、画像属性情報テーブルＰＴＢに登録されている撮影地点の情報を参照し、指定日時等情報ＩＮＡに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
次いで、判定部２３１は、指定日時と撮影日時とが許容範囲内で一致するとともに、指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部２３１は、画像選択部２３２と表示画像処理部２３３へ向けて、肯定的である旨の判定報告ＤＥＣを送る。一方、この判定の結果が否定的であった場合には、判定部２３１は、画像選択部２３２と表示画像処理部２３３へ向けて、否定的である旨の判定報告ＤＥＣを送る。なお、この判定報告ＤＥＣには、当該判定結果とともに、指定日時等情報ＩＮＡが含まれている。
画像選択部２３２は、判定報告ＤＥＣの内容が肯定的であるときは、撮影画像ＤＢ記憶領域１２６にアクセスして、指定地点と一致する撮影画像データＰＩＤを読み出す。一方、画像選択部２３２は、判定報告ＤＥＣの内容が否定的であるときは、部分画像ＤＢ記憶領域１２７にアクセスして、指定地点と一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。こうして読み出された画像データは、表示画像処理部２３３へ向けて送られる。
表示画像処理部２３３は、前述した判定報告ＤＥＣの内容が肯定的であるときは、撮影画像データＰＩＤを表示用画像データＰＰＤとして、画像形状変形部１１３Ｂへ向けて送る。
一方、判定報告ＤＥＣの内容が否定的であるときは、画像加工部２３４が、非マッピング対象画像データＰＮＤに対して指定日時及び指定天気に対応した加工処理を行うとともに、テクスチャマッピング部２３５が、マッピング対象画像データＰＭＤに対して指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部２３６が、加工処理を行った加工画像データＳＮＤと、テクスチャマッピング処理を行ったマッピング処理画像データＳＭＤとを合成し、合成結果である合成画像データＳＣＤを表示用画像データＰＰＤとして、画像形状変形部１１３Ｂへ向けて送る。
画像形状変形部１１３Ｂは、通常は、ナビゲーション処理部１１１Ｂから送られてくる３Ｄナビゲーション画像データＭＴＤを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。このときは、例えば、図１６に示されるような画像が、表示ユニット１４０に表示されている。画像形状変形部１１３Ｂは、統括処理部２１１Ｂからの切替指令ＳＥＣを受けると、３Ｄナビゲーション画像データＭＴＤと表示用画像データＰＰＤを基にして３Ｄ重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０の表示デバイスには、例えば、図１７に示されるような画像が表示される。
なお、上記の指定地点、指定日時、指定天気のそれぞれ、「東京○△ビル」、「１０月２５日、１６時」、「曇」となっており、図１７に示される画像には、地域「東京」、季節「秋」、時刻「夕」、天気「曇」に適合するように表示画像処理が、非マッピング対象画像である「建物」部分とマッピング対象画像である「空」部分に対して施されている。
《走行経路案内モード時における動作》
次に、走行経路案内モード時における撮影画像を利用した画像処理の動作について説明する。
前提として、第１実施形態の場合と同様に、車両はドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、画像処理情報記憶領域１２５には、ドライブプランにおいて検索された移動経路上（目的地点Ｐ2を除く）の撮影画像は記憶されておらず、図１５に示される目的地点Ｐ2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルＰＴＢとともに、記憶されているものとする。
統括処理部２１１Ｂは、車両と目的地点Ｐ2との間の距離ＤＩＳ１を算出する。そして、統括処理部２１１Ｂは、距離ＤＩＳ１が第１所定距離以下となったか否かを判定し、この判定の結果が否定的であった場合には、この判定処理が繰り返される。
一方、この判定の結果が肯定的になると、統括処理部２１１Ｂは、目的地点Ｐ2到達時の日時を算出するとともに、目的地点Ｐ2到達時における目的地点Ｐ2の天気情報を取得する。そして、統括処理部２１１Ｂは、目的地点Ｐ2の地点情報（指定地点）、及び、取得した日時情報（指定日時）と天気情報（指定天気）を、指定日時等情報ＩＮＡとして画像解析部２３０へ向けて送る。また、統括処理部２１１Ｂは、画像形状変形部１１３Ｂへ向けて、切替指令ＳＥＣを発行する。
指定日時等情報ＩＮＡを受けた画像解析部２３０では、判定部２３１において、画像属性情報テーブルＰＴＢに登録されている撮影画像の中から、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部２３１は、指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
この判定の結果が肯定的であった場合には、画像選択部２３２が、撮影画像ＤＢ記憶領域１２６にアクセスして、指定地点と撮影地点とが一致する撮影画像データＰＩＤを読み出す。そして、表示画像処理部２３３が、当該撮影画像データＰＩＤを表示用画像データＰＰＤとして、画像形状変形部１１３Ｂへ向けて送る。
一方、判定部２３１における判定の結果が否定的であった場合には、画像選択部２３２が、部分画像ＤＢ記憶領域１２７にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。そして、表示画像処理部２３３が、非マッピング対象画像データＰＮＤに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データＰＭＤに対しては、指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、表示画像処理部２３３は、これらの処理画像データを合成し、合成結果である合成画像データＳＣＤを表示用画像データＰＰＤとして、画像形状変形部１１３Ｂへ向けて送る。
画像形状変形部１１３Ｂは、統括処理部２１１Ｂからの切替指令ＳＥＣに従い、３Ｄナビゲーション画像データＭＴＤと表示用画像データＰＰＤを基にして３Ｄ重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０の表示デバイスには、例えば、図１７に示されるような画像が表示される。
なお、上記の説明では、画像処理情報記憶領域１２５には、ドライブプランにおいて検索された移動経路上（目的地点Ｐ2を除く）の撮影画像は記憶されていないとしたが、画像処理情報記憶領域１２５内に、検索された移動経路上の通過地点Ｐ3の撮影画像が存在すれば、統括処理部２１１Ｂは、車両の走行中、常時、車両と通過地点Ｐ3との間の距離ＤＩＳ２を算出する。
そして、統括処理部２１１Ｂは、距離ＤＩＳ２が第２所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点Ｐ3通過時の日時を算出するとともに、通過地点Ｐ3通過時における通過地点Ｐ3の天気情報を取得する。そして、統括処理部２１１Ｂは、通過地点Ｐ3の地点情報（指定地点）、及び、取得した日時情報（指定日時）と天気情報（指定天気）を、指定日時等情報ＩＮＡとして画像解析部２３０へ向けて送る。また、統括処理部２１１Ｂは、画像形状変形部１１３Ｂへ向けて、切替指令ＳＥＣを発行する。
画像解析部２３０と画像形状変形部１１３Ｂは、前述した目的地点Ｐ2の撮影画像に対するのと同様に処理を行う。この結果、通過地点Ｐ3の撮影画像に対して表示画像処理を施した表示用画像と３Ｄナビゲーション画像とを基にして作成された３Ｄ重畳画像が、表示ユニット１４０に表示される。
また、この通過地点Ｐ3の撮影画像に対する処理動作においては、車両が当該通過地点Ｐ3を通過した際には、統括処理部２１１Ｂからの切替指令ＳＥＣにより、表示ユニット１４０に表示される画像が、３Ｄ重畳画像から３Ｄナビゲーション画像に切替る。
以上説明したように、本第２実施形態では、統括処理部２１１Ｂが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルＰＴＢに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部２１１Ｂは、目的地点Ｐ2等が撮影地点として画像属性情報テーブルＰＴＢに登録されている場合には、当該目的地点Ｐ2に到着する日時を予測するとともに、当該目的地点Ｐ2に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報（指定地点、指定日時、指定天気）は、指定日時等情報ＩＮＡとして画像処理部１１２へ向けて送られる。
画像処理部１１２では、判定部２３１が、画像属性情報テーブルＰＴＢを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部２３１は、指定日時等情報ＩＮＡに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報ＩＮＡに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
この判定の結果が否定的であった場合には、画像選択部２３２が、部分画像ＤＢ記憶領域１２７にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データＰＭＤと非マッピング対象画像データＰＮＤを読み出す。そして、表示画像処理部２３３が、非マッピング対象画像データＰＮＤに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データＰＭＤに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部２３３は、これらの処理画像データを合成し、合成結果である合成画像データＳＣＤを表示用画像データＰＰＤとして、画像形状変形部１１３Ｂへ向けて送る。
画像形状変形部１１３Ｂは、統括処理部２１１Ｂからの切替指令ＳＥＣに従い、３Ｄナビゲーション画像データＭＴＤと表示用画像データＰＰＤを基にして３次元重畳画像データを作成し、当該画像データを、表示画像データＩＭＤとして表示ユニット１４０へ向けて出力する。これにより、表示ユニット１４０には、目的地点Ｐ2の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む３次元の画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる３次元の画像を利用者に提供することができる。
また、本第２実施形態では、車両の走行経路案内時に、統括処理部２１１Ｂは、車両と目的地点Ｐ2との間の距離ＤＩＳ１を算出する。そして、統括処理部２１１Ｂは、距離ＤＩＳ１が第１所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット１４０には、目的地点Ｐ2の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む３次元の画像が表示される。このため、撮影画像から、リアリティ溢れる３次元の画像を利用者に提供することができる。
また、本第２実施形態では、１つの撮影地点に対して撮影画像データＰＩＤが１個存在すれば、表示画像処理部２３３における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データＰＩＤを減らすことができ、ハードディスク資源等を有効活用することができる。
また、本第２実施形態では、カメラユニット１９０の車載カメラが車両の前方を撮影し、カメラ画像データＣＩＤを取得する。そして、画像取得部２２０における処理により、撮影画像データＰＩＤ等が記憶装置１２０Ｂに保存される。これらの画像は、前述した処理により表示ユニット１４０に表示されことがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
したがって、本第２実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
例えば、上記の第１及び第２実施形態では、車載カメラは１個であり、車両の前方方向を撮影することとした。これに対して、車載カメラが撮影する方向は、いかなる方向であってもよいし、車載カメラの数は何個であってもよい。
また、第１実施形態においては、前方カメラ、後方カメラ、あるいは全方位カメラを使用することにより、立体画像や３６０度パノラマビュー画像を表示ユニット１４０に表示させるものであってもよい。
また、上記の第１及び第２実施形態では、撮影画像データＰＩＤj（ｊ＝１〜Ｎ）は、カメラユニット１９０が撮影した画像データであるとしたが、撮影画像データＰＩＤjは工場出荷時において予め記憶されているものや、利用者がデジタルカメラ等で撮影したものであってもよい。また、この撮影画像データＰＩＤjは、インターネットなどのネットワークを介した配送の形態で取得したものであってもよい。
また、上記の第１及び第２実施形態では、画像属性情報テーブルＰＴＢには、各撮影画像データＰＩＤjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されているとした。これに対して、画像属性情報テーブルＰＴＢには、上記の要素に加え、テクスチャデータと対応付けるための、地域、季節、時刻、天気を登録してもよい。
また、上記の第１及び第２実施形態では、計時手段としてＧＰＳ受信ユニット１７０を採用したが、制御ユニット内にリアルタイムクロック（ＲＴＣ：Real Time Clock）を備えるようにし、このＲＴＣが計時手段をして機能してもよい。
また、上記の第１及び第２実施形態では、車両に搭載されるナビゲーション装置に本発明を適用したが、携帯電話装置や家庭内で使用する映像装置、さらには、高速道路のサービスエリアや公共施設等に設置されている地域情報サービスに利用される映像装置等にも本発明を適用することができる。
なお、上記の実施形態における制御ユニット１１０Ａ，１１０Ｂの一部又は全部を中央処理装置（ＣＰＵ：Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、読出専用メモリ（ＲＯＭ：Read Only Memory）、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における処理の一部又は全部を実行するようにしてもよい。このプログラムはハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配送の形態で取得されるようにしてもよい。
本発明の第１実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。 図１の画像処理情報記憶領域の構成を示す図である。 撮影画像の例（その１）である。 図１の制御ユニットの構成を示すブロック図である。 図４のナビゲーション処理部の構成を示すブロック図である。 図４の画像処理部の構成を示すブロック図である。 図６の画像取得部の構成を示すブロック図である。 図６の画像解析部の構成を示すブロック図である。 図８の表示画像処理部の構成を示すブロック図である。 図３の撮影画像に対して表示画像処理を行った表示用画像の例である。 表示デバイスに表示される重畳画像の例である。 本発明の第２実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。 図１２の制御ユニットの構成を示すブロック図である。 図１３のナビゲーション処理部の構成を示すブロック図である。 撮影画像の例（その２）である。 表示デバイスに表示される３次元ナビゲーション画像の例である。 表示デバイスに表示される３次元重畳画像の例である。
符号の説明
１００Ａ，１００Ｂ … ナビゲーション装置（画像処理装置）
１１３Ｂ … 画像形状変形部（画像形状変形手段）
１２０Ａ … 記憶装置（撮影画像記憶手段、テクスチャ記憶手段）
１２０Ｂ … 記憶装置（撮影画像記憶手段、テクスチャ記憶手段、３次元
モデル情報記憶手段）
１４０ … 表示ユニット（表示手段）
１５０ … 操作入力ユニット（操作入力手段）
１６０ … 走行センサインターフェイス部（位置検出手段の一部）
１７０ … ＧＰＳ受信ユニット（計時手段、位置検出手段の一部）
１８０ … 外部通信ユニット（天気情報取得手段）
１９０ … カメラユニット（撮影手段）
２１１Ａ，２１１Ｂ … 統括処理部（表示制御手段、到達日時予測手段、目的地距離
算出手段、通過日時予測手段、通過地距離算出手段）
２２１ … 部分画像抽出部（抽出手段）
２３１ … 判定部（判定手段）
２３３ … 表示画像処理部（表示画像処理手段）

Claims (17)

  1. 画像を表示する表示手段と；
    撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と；
    前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出手段と；
    前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶手段と；
    前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と；
    表示用画像を生成する表示画像処理手段と；
    前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と；を備え、
    前記表示画像処理手段は、
    前記判定手段による判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成し、
    前記判定手段による判定の結果が否定的であった場合には、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、
    ことを特徴とする画像処理装置。
  2. 前記撮影地点の情報は、前記撮影画像を撮影した位置である、ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記撮影地点の情報は、前記撮影画像に撮影されている被写体の固有名称情報である、ことを特徴とする請求項１に記載の画像処理装置。
  4. 日時を計時する計時手段を更に備え、
    前記計時手段による計時結果が前記指定日時として前記表示画像処理手段に通知される、
    ことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
  5. 前記指定地点の前記指定日時における天気情報を取得する天気情報取得手段を更に備え、
    前記天気情報取得手段により取得された前記指定地点の前記指定日時における天気情報が、前記指定天気として前記表示画像処理手段に通知される、
    ことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
  6. 操作入力が行われる操作入力手段を更に備え、
    前記操作入力手段への入力より指定された地点、日時及び天気の少なくとも１つに対応する入力内容が、前記指定地点、前記指定日時及び前記指定天気の少なくとも１つとして前記表示画像処理手段に通知される、
    ことを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
  7. 前記指定地点の画像の３次元モデル情報を記憶する３次元モデル情報記憶手段と；
    前記３次元モデル情報に基づいて生成された画像における前記撮影画像に対応する領域に、前記対応する領域の形状に適合させる変形を、前記表示用画像に対して施して、前記領域に貼り付ける画像形状変形手段と；
    を更に備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
  8. 移動体に搭載される、ことを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
  9. 周辺画像を取得する撮影手段を更に備え、
    前記撮影手段による撮影結果が、前記撮影画像として前記撮影画像記憶手段に記憶される、
    ことを特徴とする請求項８に記載の画像処理装置。
  10. 前記移動体の現在位置を検出する位置検出手段を更に備え、
    前記位置検出手段による検出結果が、前記指定地点として前記表示画像処理手段に通知される、ことを特徴とする請求項８又は９に記載の画像処理装置。
  11. 前記移動体の目的地点の到達日時を予測する到着日時予測手段を更に備え、
    前記到着日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項１０に記載の画像処理装置。
  12. 前記移動体と前記目的地点との間の距離を算出する目的地距離算出手段を更に備え、
    前記表示制御手段は、前記目的地距離算出手段による算出結果が第１所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 前記移動体の目的地点までの移動経路上における通過地点の通過日時を予測する通過日時予測手段を更に備え、
    前記通過日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項１０〜１２のいずれか一項に記載の画像処理装置。
  14. 前記移動体の今後の移動経路上に前記通過地点が存在する場合に、前記移動体と前記通過地点との間の距離を算出する通過地距離算出手段を更に備え、
    前記表示制御手段は、前記通過地距離算出手段による算出結果が第２所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
    ことを特徴とする請求項１３に記載の画像処理装置。
  15. 撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と；
    前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出工程と；
    前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶工程と；
    前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と；
    表示用画像を生成する表示画像処理工程と；
    前記表示用画像を反映した画像の表示制御を行う表示制御工程と；を備え、
    前記表示画像処理工程では、
    前記判定工程における判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成し、
    前記判定工程における判定の結果が否定的であった場合には、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、
    ことを特徴とする画像処理方法。
  16. 請求項１５に記載の画像処理方法を演算手段に実行させる、ことを特徴とする画像処理プログラム。
  17. 請求項１６に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。
JP2008002599A 2008-01-09 2008-01-09 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体 Expired - Fee Related JP4989495B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008002599A JP4989495B2 (ja) 2008-01-09 2008-01-09 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008002599A JP4989495B2 (ja) 2008-01-09 2008-01-09 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体

Publications (2)

Publication Number Publication Date
JP2009162697A JP2009162697A (ja) 2009-07-23
JP4989495B2 true JP4989495B2 (ja) 2012-08-01

Family

ID=40965469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008002599A Expired - Fee Related JP4989495B2 (ja) 2008-01-09 2008-01-09 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体

Country Status (1)

Country Link
JP (1) JP4989495B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5793856B2 (ja) * 2010-12-10 2015-10-14 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、情報処理システム、プログラム、記録媒体
KR20130063605A (ko) * 2011-12-07 2013-06-17 현대자동차주식회사 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치
US9299065B2 (en) 2012-02-17 2016-03-29 Blackberry Limited Intelligent downloading of message attachments to mobile devices
JP2016166794A (ja) * 2015-03-10 2016-09-15 パイオニア株式会社 画像作成装置、画像作成方法、画像作成装置用プログラム、および、画像作成システム
CN110111562B (zh) * 2019-04-01 2021-04-09 北京交通大学 一种城市交通宏观区域边界控制方法
JP7296261B2 (ja) * 2019-06-21 2023-06-22 パナソニックホールディングス株式会社 監視装置、及び、監視方法
JP7289154B2 (ja) * 2020-07-21 2023-06-09 株式会社ユピテル システム、プログラム、撮像装置、及び、ソフトウェア

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211486A (ja) * 1998-01-26 1999-08-06 Nissan Motor Co Ltd ナビゲーション装置
JP3836278B2 (ja) * 1999-10-01 2006-10-25 パイオニア株式会社 ナビゲーション装置
JP2001099666A (ja) * 1999-10-01 2001-04-13 Kenwood Corp 車載用ナビゲーション装置
JP2003123095A (ja) * 2001-10-17 2003-04-25 Taito Corp ビデオゲーム機における天候表示方法
JP2007258965A (ja) * 2006-03-22 2007-10-04 Casio Comput Co Ltd 画像表示装置
JP2007285907A (ja) * 2006-04-18 2007-11-01 Pioneer Electronic Corp 地図表示装置、地図表示方法、及び地図表示プログラム

Also Published As

Publication number Publication date
JP2009162697A (ja) 2009-07-23

Similar Documents

Publication Publication Date Title
US11604077B2 (en) Systems and method for using visual landmarks in initial navigation
JP4989495B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体
US9256983B2 (en) On demand image overlay
KR101147748B1 (ko) 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법
US10291898B2 (en) Method and apparatus for updating navigation map
US20110288763A1 (en) Method and apparatus for displaying three-dimensional route guidance
JP2015084229A (ja) カメラ姿勢決定方法、及び実環境物体認識方法
US20080319655A1 (en) Method for Generating an Enhanced Map
JP4834071B2 (ja) ナビゲーションシステム、方法、コンピュータプログラム及び可読媒体
JPH09292833A (ja) ナビゲーション装置
JP2003216982A (ja) 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2001082969A (ja) ナビゲーション装置
JP2011215412A (ja) 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム
US9411822B2 (en) System and method of generating and using open sky data
JP6207715B2 (ja) ナビゲーションシステム、画像サーバ、携帯端末、ナビゲーション支援方法、およびナビゲーション支援プログラム
EP3827222B1 (en) Method and device for navigating two or more users to a meeting location
WO2015019917A1 (ja) ユーザの位置を基準にローカルな観光情報を検索する方法
JPH11271074A (ja) 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
JP6345381B2 (ja) 拡張現実システム
JP2010146429A (ja) 画像収集装置、サーバ装置及び画像収集配信システム
JP2005070220A (ja) 地図提供装置、携帯端末、地図提供方法、地図表示方法、地図提供プログラム、および地図表示プログラム
KR100774591B1 (ko) 네비게이션 시스템 및 이를 이용한 네비게이션 방법
JP2000346658A (ja) 車載情報装置
JPWO2010032282A1 (ja) サーバ装置、移動端末装置、交差点案内システム及び交差点案内方法
WO2007088915A1 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120404

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4989495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees