JP4920541B2

JP4920541B2 - 情報提供装置

Info

Publication number: JP4920541B2
Application number: JP2007250470A
Authority: JP
Inventors: 裕史塚原; 弘利岩崎
Original assignee: Denso IT Laboratory Inc
Current assignee: Denso IT Laboratory Inc
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2012-04-18
Anticipated expiration: 2027-09-27
Also published as: JP2009080712A

Description

本発明は、ドライブ中におけるデータを記録する情報提供装置に関し、特に、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置に関する。

従来から、カーナビゲーションシステム（以下、カーナビとも言う）において、デジタルカメラで撮影した画像をカーナビ画面で鑑賞することができるものや、パーソナルコンピュータ上でカーナビの走行履歴と画像とをアルバム風に処理し、かつホームページに公開することを支援する機能を有するものが存在する。また、ドライブシーンを記録するものとして、ドライブレコーダが存在するが、ドライブレコーダは事故などの大きな加速度がクルマに生じた時点の映像のみを記録し、後で閲覧できるものである。

ここで、連続的にドライブシーンを記録した場合、何時間にもわたるドライブ映像の中から特に興味があるシーンを高速に提示してもらいたいという要求がある。特に、眺めの良いシーンは思い出としての価値が高いと考えられ、これらのシーンを高速に抽出し提示してもらいたいという要求がある。
特開２００２−１８１５６７号公報（要約）

しかし、上述したように、ドライブアルバム的な機能を有するカーナビが存在するが、これは文字通りアルバムとして走行記録を残すということを支援するのみであり、そもそもドライブ全体にわたって継続的に撮影した映像あるいは画像を閲覧することをサポートするドライブレコーダ的なものではない。また、上述したようなドライブレコーダでは、一般に危険なシーン以外の平常時におけるシーンのデータは捨てられてしまう。すなわち、景色や眺めが良いシーンを検出して残すというようなことができない。

このことから、上記要求を満たすために、興味のあるシーンや眺めの良いシーンをドライバが運転中に意識的にマークして残すようにすることは考えられるが、注意が散漫になり、運転における安全性を阻害する可能性があり問題がある。また、このようなポイント（マーク）を残すことに意識を集中すると、ドライブそのものを楽しむということをも阻害してしまうというも問題がある。また、景色の良いシーンでは、その景色を楽しんでいるために、ポイントを記録すること自体が忘れられる傾向にあり、後になってから、そのシーンを検索したいと思うものである。また、あらかじめ眺めの良いシーンのサンプル画像を用意し、これらの画像とドライブ映像の各フレームの類似度を計算し、類似度が高いシーンを抽出することが考えられるが、これは非常に計算コストが高く、長時間のドライブデータに対して効率よく行うことは困難である。

また、上記要求を満たすものとして、海などの眺望の良い地点を抽出する装置が上記特許文献１に開示されている。この装置では、所定の場所における景色評価値を設定し、それらの中でもっとも評価値が高い点を求めている。しかし、この方法も上記と同様、大量のデータの中から最適なものを求めるにはコストが高く、長時間のドライブデータに対しては、評価すべき点が多すぎ、そのまま適用しても計算量的に困難である。

本発明は、上記問題を解決するためのものであり、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる情報提供装置を提供することを目的とする。

上記目的を達成するために、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、前記処理に基づいて前記特徴地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記特徴地点周辺の前記車両の位置情報に基づいてあらかじめ地図上に格子状に定められた複数の格子点のうち、最も近い格子点をドライブデータ点として決定し、前記ドライブデータ点を中心とした地図上の複数の所定の方向についての開度計算を行い、その結果を用いて各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。ここで、位置情報とは、例えば車両自身における緯度及び経度の情報であり、以下においても同様である。

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、取得された情報であって、前記特徴地点周辺の前記車両の位置情報に基づいてあらかじめ地図上に格子状に定められた複数の格子点のうち、最も近い格子点をドライブデータ点として決定し、前記ドライブデータ点を中心とした地図上の複数の所定の方向についての開度計算を行い、その結果を用いて各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

また、本発明の情報提供装置において、各特徴地点における前記地形の特徴を示す特徴度が、各特徴地点における見渡し具合を示す開度であることは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。

また、本発明の情報提供装置において、前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、前記処理手段が、スムージングされた前記標高データを用いて処理を行うことは、本発明の好ましい態様である。この構成により、より適切な見渡しの良い地点を取得することができる。

また、本発明の情報提供装置において、前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、前記格納手段が、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、前記処理手段が格納された前記標高データを用いて前記処理を行うことは、本発明の好ましい態様である。この構成により、独立して見渡しの良い地点を取得することができる。

また、本発明によれば、地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

また、本発明によれば、車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、前記地図を表示する表示手段と、前記車両の周囲を撮像する撮像手段と、撮像された前記車両の周囲の画像を格納する格納手段と、前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、備える情報提供装置が提供される。この構成により、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

また、本発明の情報提供装置において、前記表示制御手段が、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させることは、本発明の好ましい態様である。この構成により、ダイジェストとしての画像を提供することができる。ここで、サムネイル画像とは、例えば各地点周辺の画像のうちそれらを代表する画像を言う。

本発明の情報提供装置は、上記構成を有し、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができる。

以下、本発明の実施の形態に係る情報提供装置について説明する。まず、本発明の実施の形態に係る情報提供装置の一例について図１を用いて説明する。図１に示すように、情報提供装置は、通信部１００、制御部１０１、スムージング部１０２（上述するスムージング手段に相当）、特徴抽出部１０３（上述する処理手段に相当）、データ編集処理部１０４、データ配信処理部１０５、見渡し度計算部１０６（上述する地形評価手段に相当）、画像処理部１０７（上述する画像評価手段、立体角算出手段に相当）、最適化処理部１０８（上述する取得手段に相当）、表示処理部１０９（上述する表示制御手段に相当）、ディスプレイ１１０（上述する表示手段に相当）、ドライブログデータ格納部１１１（上述する格納手段に相当）、ＤＥＭ（Digital Elevation Model）データ格納部１１２、カメラ１１３（上述する撮像手段に相当）、ＧＰＳ（Global Positioning System）１１４（上述する測定手段に相当）、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７から構成されている。

なお、情報提供装置の構成要素はこれに限られるものではなく、またカメラ１１３、ＧＰＳ１１４、映像撮像部１１５、車載ＬＡＮ通信部１１６、ドライブログ記録部１１７を除いた構成であってもよい。この場合の情報提供装置は、自宅などに置かれるＰＣなどでもよく、そのＰＣとドライブログ記録部１１７とを接続可能とすることにより、映像データや位置情報などを取得することができ、上述した情報提供装置と同様の処理を行うことができる。

通信部１００は、情報提供装置の外部との通信を行うものであり、例えば後述する最適化処理部１０８による処理結果（景色の良い地点における切り出されたサムネイル画像や映像、他のドライブデータなど）を外部のサーバなどへアップするために送信するものである。これにより、他の者がサーバへアクセスすることにより、ある走行ルート上における景色の良い地点の映像などを閲覧することが可能となる。制御部１０１は、車載情報装置全体の動作を制御するものである。

例えば、制御部１０１は、後述する表示処理部１０９によってディスプレイ１１０に表示されたアイコンなどのマークやサムネイル画像が選択された場合に、選択されたマークの近傍又は選択されたサムネイル画像に写る場所の近傍でのドライブ映像をドライブログデータ格納部１１１から読み出し、再生させる。スムージング部１０２は、後述するように、入力された標高データのノイズを除去するスムージングを行い、具体的には、入力された標高データに対して、例えばメディアンフィルタによるショットノイズ排除や、例えば移動平均平滑化による微小揺らぎ除去を行うものである。なお、スムージング部１０２はショットノイズなどの排除を行うが、このようなノイズの排除に限られず、例えば計算負荷を軽減するために量子化した際の量子化ノイズを除去するようにしてもよい。また、スムージング部１０２は、後述するように、特徴抽出部１０３による処理がスムージングされた標高データを対象としない場合にはスムージング処理をする必要はない。

特徴抽出部１０３は、スムージングされた標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点（大局的極大点）を求めるための処理を行う。具体的には、特徴抽出部１０３は、後述するように、スムージング部１０２によって処理されたデータに対して、極値点検出や大局的特徴抽出（微小ピーク除去）を行うものである。なお、特徴抽出部１０３による処理の対象は、スムージングされた標高データに限られず、スムージングされていない標高データであってもよい。データ編集処理部１０４は、映像データそのものの上にここが景色の良い（見渡しの良い、眺望の良い、眺めの良いとも言う）場所であるということを指し示すものである。データ配信処理部１０５は、通信部１００が処理結果などを送信する際の送信制御を行うものである。

見渡し度計算部１０６は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点における地形の特徴を示す特徴度（例えば、見渡し具合を示す開度）の計算の処理を行うものであり、例えば開度計算による地形評価計算を行うものである。画像処理部１０７は、特徴抽出部１０３の処理に基づく特徴地点における車両の位置情報（緯度及び経度）に基づいて、各特徴地点周辺における画像を取得し、取得された各画像を複数の部分画像に分割し、分割された部分画像と所定の参照部分画像との類似度を計算し、所定の参照部分画像に対して類似度の高い部分画像の画像全体における割合を計算する画像評価計算の処理を行うものである。

また、画像処理部１０７は、車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された各所定の形状における立体角に基づいて可視領域の立体角を求めるものである。すなわち、画像処理部１０７は、空領域計算による画像評価計算を行ったり、可視領域の立体角の計算を行ったりするものである。

ここで、立体角とは、錐体の頂点から見た広がりを表す量を言い、錐体の頂点を中心とする半径１の球の球面を切り取ったときの面積で表したものである。最適化処理部１０８は、特徴抽出部１０３などによる処理に基づいて特徴地点を取得（抽出）するものであり、具体的には、特徴抽出部１０３、見渡し度計算部１０６、画像処理部１０７などによって処理された結果に基づいて景色が良い地点を、例えば降順にソートして取得（抽出）するものである。

表示処理部１０９は、図１７に示すように、表示手段に表示される地図上の該当する位置に、最適化処理部１０８によって取得（抽出）された特徴地点を示すマークであって、マークを指示することにより該当する特徴地点周辺の画像を表示させることが可能なマーク又は特徴地点周辺の画像を表示させるものである。具体的には、ドライブログデータ格納部１１１に格納されたドライブログの中から選択されたドライブログのコース概要をディスプレイ１１０に表示させたり、最適化処理部１０８によって抽出されたドライブルート上の景色の良い地点に、アイコンなどのマークやドライブ映像から切り出したその地点付近のサムネイル画像などを生成し、ディスプレイ１１０に表示させたりするものである。

なお、ドライブ映像からサムネイル画像を切り出し、例えばドライブログデータ格納部１１１に格納するのは制御手段１０１であるが、他の構成要素が行ってもよい。ドライブログデータ格納部１１１は、後述するカメラ１１３による映像データやＧＰＳ１１４による車両の位置の情報など（後述する車両関連情報）を格納するものである。ＤＥＭデータ格納部１１２は、標高データを地図上に並べたＤＥＭデータをあらかじめ格納しておくものである。

カメラ１１３は、車載情報装置が搭載された車両内外の様子を撮像し、映像撮像部１１５はカメラ１１３によって撮像された映像や画像をドライブログ記録部１１７に引き渡す。ＧＰＳ１１４は、車載情報装置が搭載された車両の位置、速度、向き、車両の現在居る標高などの車両関連情報を測定するものである。車載ＬＡＮ通信部１１６は、ＧＰＳ１１４によって測定された車両関連情報を取得し、ドライブログ記録部１１７に引き渡す。ドライブログ記録部１１７は、映像撮像部１１５から取得した映像や画像のデータ、車載ＬＡＮ通信部１１６から取得した車両関連情報などを同期してドライブログデータ格納部１１１に格納するものである。

次に、本発明の情報提供装置における見渡しの良い地点を抽出する処理フローの一例について図２を用いて説明する。なお、ここではスムージング処理を含めたフローについて説明するが、上述したようにスムージング処理を含めないフローであってもよい。図２に示すように、ＧＰＳ１１４からデータ（標高データ｛ｈ（ｔ_i）｝）が入力されると（ステップＳ２０１）、ドライブログデータ格納部１１１に格納される。ここで、入力される標高データについて図３ａ、図３ｂを用いて説明する。図３ａは車両が走行したドライブルートを示しており、横軸が経度、縦軸が緯度となっている。ドライブルート上のそれぞれの時点での標高データを示したものが図３ｂである。図３ａに示すＡ、Ｂ、Ｃは、図３ｂに示すＡ、Ｂ、Ｃにそれぞれ対応している。図３ｂは横軸が時間、縦軸が標高となっている。後述するスムージング部１０２によってスムージングされると、図３ｂのノイズが除去される。

スムージング部１０２は、格納された標高データに対してスムージングを行う（ステップＳ２０２）。スムージングについては後述する。標高データにスムージングがなされると、特徴抽出部１０３は、スムージングされた標高データに基づいて特徴点抽出を行う（ステップＳ２０３）。特徴点抽出については後述する。

特徴点抽出がなされると、見渡し度計算部１０６や画像処理部１０７が、より精度を上げるために見渡し度計算を行う（ステップＳ２０４）。見渡し度計算については後述する。見渡し度計算がなされると、最適化処理部１０８が見渡し度計算された結果に基づいて見渡しの良い地点を抽出する最適化処理を行う（ステップＳ２０５）。なお、この処理フローでは、より精度を上げるために見渡し度計算のステップＳ２０４が存在するが、より単純に最適化処理を行う場合には、見渡し度計算のステップＳ２０４を省略することが可能である。

次に、上述したスムージングについて説明する。上述したスムージングは図４のステップＳ４０２及びＳ４０３に相当する部分である。ステップＳ４０２では、ショットノイズ排除を行う。ショットノイズ排除では、例えばメディアンフィルタによって入力された標高データのノイズを排除する。ステップＳ４０３では、微小揺らぎ除去を行う。微小揺らぎ除去では、ショットノイズ排除のステップＳ４０２においてノイズが排除された標高データに対して、例えば移動平均平滑化によって平滑化を行う。

次に、上述した特徴点抽出について説明する。上述した特徴点抽出は図４のステップＳ４０４及びＳ４０５に相当する部分である。ステップＳ４０４では、極値点検出を行う。具体的な極値点の検出について図５ａ、図５ｂを用いて説明する。図５ａ、図５ｂに示すように、時点ｔ_i-1、時点ｔ_i、時点ｔ_i+1における標高データをそれぞれｈ（ｔ_i-1）、ｈ（ｔ_i）、ｈ（ｔ_i+1）とした場合、ｈ（ｔ_i-1）＜ｈ（ｔ_i）かつｈ（ｔ_i）＞ｈ（ｔ_i+1）若しくはｈ（ｔ_i-1）＞ｈ（ｔ_i）かつｈ（ｔ_i）＜ｈ（ｔ_i+1）の場合には、ｈ（ｔ_i）が極値点となる。

ステップＳ４０５では、大局的特徴抽出を行う。大局的特徴抽出では、例えば微小ピーク除去によってわずかなピークとなっている部分を除去する。ここで、微小ピーク除去の具体的な処理フローの一例を示す図６を用いて説明する。まず、極値点検出で検出された極値データｈ（ｔ_i）が入力され（ステップＳ６０１）、極値強度値Ｉ₀が入力される（ステップＳ６０２）。次に、極値強度計算がなされる（ステップＳ６０３）。ここで、極値強度Ｉ（ｈ（ｔ_i））は以下の式（１）によって計算される。

その後、計算された極値強度の最小極大点検出を行う（ステップＳ６０４）。ここで、極値強度の最小極大点Ｉ_min及び極値強度を最小にするｉ_minを以下の式（２）及び（３）によって求める。

次に、求められたＩ_minがＩ₀より大きいか否かが判断される（ステップＳ６０５）。Ｉ_minがＩ₀より大きい場合には大局的極大点として出力される（ステップＳ６０９）。一方、Ｉ_minがＩ₀より小さい場合、極値除去及び非極値除去を行う（ステップＳ６０６、Ｓ６０７）。ここで、極値除去について図７ａを用い、非極値除去について図７ｂを用いて説明する。Ｉ_minがＩ₀より小さい場合には、図７ａに示すように極値ｈ（ｔ_i）が除去され、また、図７ｂに示すようにｈ（ｔ_i+1）が非極値の場合にはｈ（ｔ_i+1）は除去される。そして、極値がまだ存在するか否かを判断し（ステップＳ６０８）、まだ存在する場合にはステップＳ６０３に戻り、極値が存在しない場合には大局的極大点を出力する（ステップＳ６０９）。

次に、上述した見渡し度計算について説明する。上述した見渡し度計算は図４のステップＳ４０６及びＳ４０７に相当する部分である。なお、この例では、見渡し度計算に地形評価計算のステップと画像評価計算のステップとが含まれるが、必ずしも双方を行う必要はなく、片方のみでも構わない。地形評価計算のステップと画像評価計算のステップを含む処理の場合には、地形上の開度Ｋ、画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。なお、所定の関数はこれに限られるものではない。

ステップＳ４０６では、地形評価計算を行う。地形評価計算では、例えば開度計算を行う。ここで、開度計算の具体的な処理フローの一例を示す図８を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔ_i）が入力される（ステップＳ８０１）。その後、見渡し度計算部１０６は、入力された大局的極大値データ（ｈ（ｔ_i）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ８０２）。

大局的極大値データｈ（ｔ_i）が存在する場合、見渡し度計算部１０６は、ｉに関して繰り返し処理を起動する（ステップＳ８０３）。その後、大局的極大値位置周辺のドライブデータ（ｘ（ｔ_i）、ｙ（ｔ_i））が入力される（ステップＳ８０４）。ｘ（ｔ_i）、ｙ（ｔ_i）は緯度、経度をそれぞれ表す。ここで、見渡し度計算部１０６は、図９に示すように、入力されるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理（ドライブデータ点をＤＥＭ点とする処理）を行う。このドライブデータ点から落とされた最近隣ＤＥＭ点をドライブデータ点として以下処理する。これにより、あらかじめ地図上に格子状に配置された標高データであるＤＥＭデータを有効に用いることができ、処理負荷を低減できる。

見渡し度計算部１０６は、最近隣ＤＥＭ点をドライブデータ点とした各ドライブデータに関して繰り返し処理を起動する（ステップＳ８０５）。その後、ドライブデータ周辺のＤＥＭデータが入力される（ステップＳ８０６）。入力されると、見渡し度計算部１０６は、ドライブデータ点を中心とした各方向（ｄ）についての開度計算処理（各方向についての繰り返し処理）を起動する（ステップＳ８０７）。そして、見渡し度計算部１０６は、各方向に対して、仰角の最大、最小値を計算する（ステップＳ８０８）。

ここで、仰角の最大、最小値について図１０を用いて説明する。図１０は、ドライブデータ点を基準としたある方向における仰角の最大値及び最小値を示すものであり、横軸をドライブデータ点からの距離（Ｌメートル）、縦軸を各点における標高とするものである。なお、Ｌの値は、例えば１００などであるがこれに限られるものではない。図１０に示すように、ドライブデータ点から最も標高の高い点及び最も標高の低い点へ向けて直線を引くことにより、見渡し計算部１０６は、その直線と縦軸との間のそれぞれの角度を仰角の最大値φ_d（方向付き地上開度）及び仰角の最小値Ψ_d（方向付き地下開度）として計算する（ステップＳ８０９）。そして、見渡し度計算部１０６は、各方向についての方向付き地上開度及び地下開度の計算が終了（各方向の繰り返し処理が終了）したか否かを判断する（ステップＳ８１０）。

終了していない場合にはステップＳ８０７以降を繰り返し、終了している場合には、見渡し度計算部１０６は、ドライブデータ点における地上開度及び地下開度を計算する（ステップＳ８１１）。ここで、地上開度は以下の式（４）、地下開度は以下の式（５）によって算出されるが、これらの式に限られるものではない。式（４）、（５）では８方向すべてにおける平均をとっているが、例えば片側の４方向のみの平均をとることによって算出するようにしてもよい。また、平均値をとらずに、進行方向に対して垂直方向で右にカーブしている場合には、進行方向左側の方向付き開度の最大値、左にカーブしている場合には進行方向右側の方向付き開度の最大値としてもよい。

そして、見渡し度計算部１０６は、各ドライブデータについての地上開度及び地下開度の算出が終了（各ドライブデータの繰り返し処理が終了）したか否かを判断し（ステップＳ８１２）、処理が終了していなければステップＳ８０５に戻り、処理が終了していれば終了する。

次に、上述した見渡し度計算のうちのステップＳ４０７について説明する。ステップＳ４０７では、画像評価計算を行う。画像評価計算では、例えば空領域計算を行う。ここで、空領域計算の具体的な処理フローの一例を示す図１１を用いて説明する。まず、大局的特徴抽出のステップＳ４０５において抽出された大局的極大値データｈ（ｔ_i）が入力される（ステップＳ１１０１）。その後、画像処理部１０７は、入力された大局的極大値データ（ｈ（ｔ_i）｜ｉ∈Λ）が存在するか否か、すなわちΛが空か（φか）否かを判断する（ステップＳ１１０２）。

大局的極大値データｈ（ｔ_i）が存在する場合、画像処理部１０７は、ｉに関して繰り返し処理を起動する（ステップＳ１１０３）。その後、大局的極大値位置周辺の画像フレーム（Ｐ（ｔ_bi）｜ｂ∈Ｍ（ｉ））が入力される（ステップＳ１１０４）。画像処理部１０７は、各画像フレームについて繰り返し処理（空領域計算処理）を起動する（ステップＳ１１０５）。画像処理部１０７は、図１２ａに示す画像フレーム１２００を図１２ｂに示すように複数の部分画像に分割する（ステップＳ１１０６）。

画像処理部１０７は、空領域参照部分画像１２０１と他の部分画像との類似度を計算する（ステップＳ１１０７）。類似度を計算する方法として、例えば部分画像間の対応するピクセル同士で差分をとって、所定値以下であれば類似度が高いとする方法や、ピクセル同士ではなく部分画像全体同士で差分をとって、所定値以下であれば類似度が高いとする方法などがある。

画像処理部１０７は、計算された類似度に基づいてクラスタリングを行う（ステップＳ１１０８）。ここでのクラスタリングは、例えばｎＭＤＳ（non-Metric Multidimentional Scaling）によるものである。ｎＭＤＳによると、図１３に示すような２次元の座標上にそれぞれの部分画像に対応するマーク１３００が配置される。図１３に示すように、空領域参照部分画像１２０１と類似度の高い部分画像に対応するマークは、空領域に属する部分画像群１３０１に含まれる。

画像処理部１０７は、上述したクラスタリングによって、空領域参照部分画像１２０１が属するクラスタを特定する（ステップＳ１１０９）。この際、例えば混合ガウス分布モデルでフィットさせる。画像処理部１０７は、空領域のクラスタに属する部分画像の面積の割合を計算し、保存する（ステップＳ１１１０）。最適化処理部１０８は、例えば、画像処理部１０７によって計算された空領域のクラスタに属する部分画像の面積の割合が多いほど見渡しが良いと判断する。画像処理部１０７は、各画像フレームについての処理が終了（各画像フレームの繰り返し処理が終了）したか否かを判断する（ステップＳ１１１１）。処理が終了していなければステップＳ１１０５に戻り、処理が終了していれば終了する。

上述したように、地形評価計算及び画像評価計算の双方を含めた処理の場合には、それぞれのステップで地形上での開度Ｋと画像フレームにおける空領域の面積（又は空領域の面積の割合）Ｌをそれぞれ計算し、それらを変数とする所定の関数、例えばｆ（Ｋ、Ｌ）＝ａ×Ｋ＋ｂ×Ｌが最大となる地点を抽出する。ここで、ａ、ｂは定数である。

上述してきた内容は、主として標高データに基づいて見渡しの良い場所を抽出する処理フローについてのものであった。以下では、主として海岸線や湖沿いなどの地点における可視領域の立体角に基づいて見渡しの良い場所を抽出する処理フローの一例について説明する。

ここで、可視領域の立体角の計算アルゴリズムについて図１４を用いて説明する。なお、以下では海岸線における可視領域の立体角の計算について説明する。まず、車両の位置を示す特徴点（ｘ（ｔ_i）、ｙ（ｔ_i））が入力される（ステップＳ１４０１）。なお、例えば上述したような標高データの差分をとり、その差分が一定時間以上所定の値を超えない場合、地図データベースを参照して海岸線などに車両が位置する（存在する）と判断した場合に、特徴点が入力されるようにしてもよい。

特徴点が入力された後、パラメータが入力される（ステップＳ１４０２）。パラメータが入力されると、画像処理部１０７は、入力された各特徴点についての繰り返し処理を起動する（ステップＳ１４０３）。画像処理部１０７は、まず可視水面領域を計算する（ステップＳ１４０４）。すなわち、例えば図１５ａに示す特徴点（ｘ（ｔ_i）、ｙ（ｔ_i））における可視円が図１５ｂに示されており、地図データベースを参照することによって海領域と可視円との交差領域（可視円内における海領域）を求める。

可視水面領域が計算されると、画像処理部１０７は可視水面領域を、例えば微小三角形へ分割する（ステップＳ１４０５）。具体的には、ポリゴンへの変換方法を用いて微小三角形に分割する。なお、ここでは三角形に分割しているがこれに限られるものではなく、四角形などであっても可能である。分割された後、画像処理部１０７は、可視領域立体角初期化を行う（ステップＳ１４０６）。具体的には立体角Ω＝０とする。

可視領域立体角の初期化がされた後、画像処理部１０７は各微小三角形について微小立体角の計算を行う処理（各微小三角形について繰り返し処理）を起動する（ステップＳ１４０７）。画像処理部１０７は、微小三角形の微小立体角ｄΩを計算する（ステップＳ１４０８）。微小三角形の微小立体角の計算については後述する。画像処理部１０７は、計算された微小三角形の微小立体角の加算（可視領域立体角更新：Ω＋ｄΩ）を行う（ステップＳ１４０９）。画像処理部１０７は各微小三角形の繰り返し処理が終了したか否かを判断し（ステップＳ１４１０）、繰り返し処理が終了していなければステップＳ１４０７へ戻り、繰り返し処理が終了していれば終了する。

ここで、微小三角形の微小立体角ｄΩの計算について図１６を用いて説明する。図１６に示すように、地球の中心をＯ（オー）とし、地球表面上のある特徴点をＱ（キュー）とし、Ｑを含む微小面積をｄＳ、Ｑにおける面Ｓの法線ベクトルをｄＳｖとし、ＯからＱへのベクトルをｒｖとした場合、ｄΩはｒｖとｄＳｖとの内積によって算出される。そして、面Ｓにおける立体角ΩはｄΩを積分することによって求められる。なお、内積とは、２つのベクトルの単位座標ベクトルに関する成分どうしの積の和を言う。例えば、ベクトルａ、ｂがあって、２つのなす角をθとするとき、内積は｜ａ｜｜ｂ｜cosθの値である。

本発明に係る情報提供装置は、連続的に記録された大量のドライブ映像の中から景色の良いシーンを低い計算コストで抽出することができ、景色の良いシーンのみを効率的に閲覧させることができるため、データの参照、加工、及び流通を行い、眺めの良い地点の情報を提供する情報提供装置などに有用である。

本発明の実施の形態に係る情報提供装置の構成の一例を示す構成図である。本発明の実施の形態に係る情報提供装置における見渡しの良い地点を抽出する処理フローの一例を示すフローチャートである。本発明の実施の形態における車両が走行したドライブルートを示した図である。本発明の実施の形態におけるドライブルート上のそれぞれの時点での標高データを示した図である。本発明の実施の形態におけるスムージング、特徴点抽出、見渡し度計算の詳細な内容を示すフローチャートである。本発明の実施の形態における極値点の検出について説明するための図である。本発明の実施の形態における極値点の検出について説明するための他の図である。本発明の実施の形態における微小ピーク除去の具体的な処理フローの一例を示すフローチャートである。本発明の実施の形態の微小ピーク除去における極値除去について説明するための図である。本発明の実施の形態の微小ピーク除去における非極値除去について説明するための図である。本発明の実施の形態における開度計算の具体的な処理フローの一例を示すフローチャートである。本発明の実施の形態におけるドライブデータ点を最近隣のＤＥＭデータの格子点（ＤＥＭ点）上に落とす処理を説明するための図である。本発明の実施の形態における仰角の最大、最小値について説明するための図である。本発明の実施の形態における空領域計算の具体的な処理フローの一例を示すフローチャートである。本発明の実施の形態における空領域計算処理で用いられる画像フレームを示す図である。本発明の実施の形態における画像フレームを複数の部分画像に分割した画像フレームを示す図である。本発明の実施の形態における類似度に基づくクラスタリングについて説明するための図である。本発明の実施の形態における可視領域の立体角の計算アルゴリズムの一例を示すフローチャートである。本発明の実施の形態における可視水面領域の計算について説明するための図である。本発明の実施の形態における可視水面領域の計算について説明するための他の図である。本発明の実施の形態における微小三角形の微小立体角ｄΩの計算について説明するための図である。本発明の実施の形態における表示処理部によって表示される表示の一例を示す図である。

符号の説明

１００通信部
１０１制御部
１０２スムージング部（スムージング手段）
１０３特徴抽出部（処理手段）
１０４データ編集処理部
１０５データ配信処理部
１０６見渡し度計算部（地形評価手段）
１０７画像処理部（画像評価手段、立体角算出手段）
１０８最適化処理部（取得手段）
１０９表示処理部（表示制御手段）
１１０ディスプレイ（表示手段）
１１１ドライブログデータ格納部（格納手段）
１１２ＤＥＭデータ格納部
１１３カメラ（撮像手段）
１１４ＧＰＳ（測定手段）
１１５映像撮像部
１１６車載ＬＡＮ通信部
１１７ドライブログ記録部
１２００画像フレーム
１２０１空領域参照部分画像
１３００部分画像に対応するマーク
１３０１空領域に属する部分画像群

Claims

地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
前記処理に基づいて前記特徴地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記特徴地点を示すマークであって、前記マークを指示することにより該当する前記特徴地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記特徴地点周辺の前記車両の位置情報に基づいてあらかじめ地図上に格子状に定められた複数の格子点のうち、最も近い格子点をドライブデータ点として決定し、前記ドライブデータ点を中心とした地図上の複数の所定の方向についての開度計算を行い、その結果を用いて各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
前記地形評価手段によって計算される前記特徴度に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記画像評価手段によって計算される前記割合に基づいて見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
取得されたデータであって、前記車両の走行ルート上の各地点における標高を示す標高データ及び前記各地点周辺の画像のデータを格納する格納手段と、
前記標高データを用いて、周辺の地点と比べて標高の高い地点であって、所定値以上の標高差がある特徴地点を求めるための処理を行う処理手段と、
取得された情報であって、前記特徴地点周辺の前記車両の位置情報に基づいてあらかじめ地図上に格子状に定められた複数の格子点のうち、最も近い格子点をドライブデータ点として決定し、前記ドライブデータ点を中心とした地図上の複数の所定の方向についての開度計算を行い、その結果を用いて各特徴地点における地形の特徴を示す特徴度の計算の処理を行う地形評価手段と、
取得された情報であって、前記処理手段の前記処理に基づく前記特徴地点における前記車両の位置情報に基づいて、各特徴地点周辺における画像を取得し、取得された各前記画像を複数の部分画像に分割し、分割された前記部分画像と所定の参照部分画像との類似度を計算し、前記所定の参照部分画像に対して類似度の高い部分画像の前記画像全体における割合を計算する画像評価計算の処理を行う画像評価手段と、
前記地形評価手段によって計算される前記特徴度と、前記画像評価手段によって計算される前記所定の参照部分画像の前記割合とを変数とする所定の関数が最大となるような見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
各特徴地点における前記地形の特徴を示す特徴度は、各特徴地点における見渡し具合を示す開度である請求項２又は４に記載の情報提供装置。
前記格納手段に格納された前記標高データのノイズを除去するスムージングを行うスムージング手段を更に備え、
前記処理手段は、スムージングされた前記標高データを用いて処理を行う請求項１から５のいずれか１つに記載の情報提供装置。
前記表示手段と、前記車両の走行ルート上の各地点における標高を示す標高データを含む車両情報を測定する測定手段と、前記車両の周囲を撮像する撮像手段とを更に備え、
前記格納手段は、測定された前記車両情報及び撮像された前記車両の周囲の画像を関連付けて格納し、
前記処理手段は格納された前記標高データを用いて前記処理を行う請求項１から６のいずれか１つに記載の情報提供装置。
地図を表示手段に表示させるとともに、車両の走行ルート内で見渡しの良い地点を示す情報提供装置であって、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
車両の走行ルート内で見渡しの良い地点を地図上に示す情報提供装置であって、
前記地図を表示する表示手段と、
前記車両の周囲を撮像する撮像手段と、
撮像された前記車両の周囲の画像を格納する格納手段と、
前記車両の走行ルート上の各地点における可視領域の可視水面領域を求め、求められた前記可視水面領域を複数の所定の形状に分割し、分割された各所定の形状における立体角を算出し、算出された前記各所定の形状における立体角に基づいて前記可視領域の立体角を求める立体角算出手段と、
求められた各地点における前記可視領域の前記立体角に基づいて、見渡しの良い地点を取得する取得手段と、
前記表示手段に表示される前記地図上の該当する位置に、取得された前記見渡しの良い地点を示すマークであって、前記マークを指示することにより該当する前記見渡しの良い地点周辺の画像を表示させることが可能な前記マークを表示させる表示制御手段とを、
備える情報提供装置。
前記表示制御手段は、前記各地点周辺の画像を用いて前記車両の走行ルートにおけるサムネイル画像を生成し、表示させる請求項１から９のいずれか１つに記載の情報提供装置。