JP5520279B2 - 情報表示装置及び情報取得装置 - Google Patents

Description

本発明は、道路周辺に存在する対象物に関する情報を提供するシステムに関する。

車両に搭載したカメラにより車両前方の画像を撮影し、その撮影画像に経路案内情報を合成して表示装置に表示するナビゲーション装置が提案されている。例えば特許文献１に記載のカーナビゲーション装置は、車両に搭載したカメラを用いて周辺の画像を撮影し、画像処理により撮影画像中の特徴物を抽出し、その特徴物を利用した経路案内を行う。

一方、カーナビゲーション装置や歩行者が所持する携帯端末などにサーバとの通信機能を設け、カーナビゲーション装置などが撮影した周辺画像をサーバにアップロードして、多数の利用者の利用できるようにするシステムが提案されている。例えば、特許文献２は、上記のようにしてサーバに収集された画像を利用して、携帯端末装置へ道案内を提供する手法を記載している。

しかし、特許文献１は、撮影画像から抽出した特徴物を自車の経路案内に利用することしか記載していない。一方、特許文献２は、利用者が撮影した画像自体をサーバへ集めて利用することしか記載していない。

特開２００５−２４９５０４号公報 特開２００５−７７２１４号公報

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、地図データに含まれないような道路周辺の対象物の情報を抽出し、他の利用者に提供することにより、他の利用者の走行を支援することを目的とする。

請求項１に記載の発明は、情報表示装置であって、撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得手段と、地図情報が記憶された記憶手段から当該地図情報を取得する地図情報取得手段と、前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、前記実画像取得手段によって取得された前記実画像と前記地図情報と前記地図情報に含まれないオブジェクトに関する前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において表示する表示手段と、を備え、前記表示手段は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする。

請求項７に記載の発明は、地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示方法であって、前記撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、前記記憶手段から地図情報を取得する地図情報取得工程と、前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得工程と、前記実画像取得工程によって取得された前記実画像と前記地図情報取得工程によって取得された前記地図情報と前記オブジェクト情報取得工程によって取得された前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において前記表示手段に表示する表示工程と、を有し、前記表示工程は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする。

請求項８に記載の発明は、地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示プログラムであって、前記撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、前記記憶手段から地図情報を取得する地図情報取得工程と、前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得工程と、前記実画像取得工程によって取得された前記実画像と前記地図情報取得工程によって取得された前記地図情報と前記オブジェクト情報取得工程によって取得された前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において前記表示手段に表示する表示工程と、を前記情報表示装置に実行させ、前記表示工程は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする。

実施例に係る情報提供システムの概略構成を示すブロック図である。 情報提供処理の概略を示す図である。 撮影画像及び表示画像の例である。 オブジェクト情報及びリクエスト情報の例を示す。 オブジェクトの強調表示の例を示す。 アップロード処理のフローチャートである。 ダウンロード処理のフローチャートである。 変形例に係るリクエスト情報及びオブジェクト情報の例を示す。

１ サーバ
２ 車両
５ ネットワーク
１１ サーバＤＢ
１２、２２ 制御部
１３、２３ 通信部
２０ ナビゲーション装置
２１ 地図ＤＢ
２４ 画像処理部
２５ 表示装置
２６ 入力部
２７ カメラ

本発明の１つの好適な実施形態では、情報表示装置は、現在位置を示す情報を取得する現在位置取得手段と、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得手段と、撮影手段により撮影された実画像を取得する実画像取得手段と、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示手段と、を備える。

上記の情報表示装置は、ＧＰＳなどを利用して現在位置を取得する。また、情報表示装置は、オブジェクト情報を記憶したサーバなどから、位置情報及び特徴情報を含むオブジェクト情報を、現在位置に基づいて取得する。さらに、情報表示装置は、カメラなどを利用して実画像を取得する。そして、表示手段は、取得したオブジェクト情報に該当するオブジェクトを実画像中で強調した状態で表示装置などに表示する。これにより、情報表示装置は、他の利用者がサーバに提供したオブジェクト情報を取得し、そのオブジェクトを実画像中で強調して表示することができる。よって、利用者は、地図データに含まれていないようなオブジェクトを、走行中の目印や経路案内における案内情報として利用することができる。

上記の情報表示装置の一態様では、前記情報表示装置は移動体に搭載され、前記オブジェクト情報は、前記移動体又は前記移動体とは異なる他の移動体が取得した実画像を解析することにより生成される。この態様では、情報表示装置は例えば車両などの移動体に搭載され、他の移動体が実画像の解析により生成したオブジェクト情報を取得して利用することができる。

上記の情報表示装置の他の一態様は、オブジェクトの特徴を入力する入力手段をさらに備え、前記表示手段は、前記取得したオブジェクト情報に該当するオブジェクトのうち、前記入力手段により入力された特徴に該当するオブジェクトを強調して表示する。この態様では、情報表示装置の利用者が入力した特徴に合致するオブジェクトが実画像中で強調表示される。よって、利用者が求めているオブジェクトを識別しやすい状態で表示することができる。

上記の情報表示装置の他の一態様では、前記オブジェクト情報取得手段は、前記オブジェクト情報を記憶する記憶手段を有するサーバ装置に、前記現在位置を含むリクエスト情報を送信するリクエスト送信手段と、前記記憶手段に記憶されたオブジェクト情報のうち、前記送信された現在位置を示す情報に基づいて前記サーバ装置により特定されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする。この態様では、現在位置を基準としてサーバ装置により特定されたオブジェクトが提供され、実画像中で強調表示される。

上記の情報表示装置の他の一態様では、前記情報表示装置は移動体に搭載され、前記オブジェクト情報取得手段は、移動体を特定する移動体特定情報を前記サーバ装置へ送信する移動体特定情報送信手段と、前記記憶手段に記憶されたオブジェクト情報のうち、前記移動体特定情報により特定される移動体により生成されたオブジェクト情報を前記サーバ装置から取得する手段と、を備える。この態様では、利用者は、オブジェクト情報の提供主を特定することにより、ある利用者により提供されたオブジェクト情報を確実に取得することができる。

本発明の他の実施形態では、情報表示装置によって実行される情報表示方法は、現在位置を示す情報を取得する現在位置取得工程と、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得工程と、撮影手段により撮影された実画像を取得する実画像取得工程と、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示工程と、を有する。

この方法によっても、情報表示装置は、他の利用者がサーバに提供したオブジェクト情報を取得し、そのオブジェクトを実画像中で強調して表示することができる。よって、利用者は、地図データに含まれていないようなオブジェクトを、走行中の目印や経路案内における案内情報として利用することができる。

本発明の他の実施形態では、コンピュータを備える情報表示装置において実行される情報表示プログラムは、現在位置を示す情報を取得する現在位置取得手段、位置情報及び特徴情報を含むオブジェクト情報を、前記現在位置に基づいて取得するオブジェクト情報取得手段、撮影手段により撮影された実画像を取得する実画像取得手段、前記位置情報及び前記特徴情報に基づいて、取得したオブジェクト情報に該当するオブジェクトを前記実画像中で強調して表示する表示手段、として前記コンピュータを機能させる。

このプログラムをコンピュータ上で実行することにより、上記の情報表示装置を実現することができる。なお、このプログラムは、記憶媒体に記憶した状態で好適に取り扱うことができる。

本発明の他の実施形態では、情報取得装置は、実画像を撮影する撮影手段と、現在位置を取得する現在位置取得手段と、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成手段と、を備える。

上記の情報取得装置は、カメラなどにより実画像を撮影するとともに、ＧＰＳなどを利用して現在位置を取得する。そして、現在位置及び実画像に基づいて、オブジェクト情報を生成する。これにより、情報取得装置は、地図データに含まれていないようなオブジェクトについても特徴情報などを含むオブジェクト情報を生成することができる。

上記の情報取得装置の一態様では、前記オブジェクト情報生成手段は、画像処理により前記実画像に含まれるオブジェクトを抽出し、当該オブジェクトの特徴を抽出して前記特徴情報とする特徴情報生成手段と、前記現在位置に基づいて、前記オブジェクトの位置を算出して前記位置情報とする位置情報生成手段と、を備える。この態様では、オブジェクトの特徴を示す特徴情報と、オブジェクトの位置を示す位置情報とが生成され、オブジェクト情報に含められる。

上記の情報取得装置の他の一態様では、前記オブジェクト情報生成手段は、画像処理により前記実画像に含まれるオブジェクトを抽出し、当該オブジェクトの特徴を抽出して前記特徴情報とする特徴情報生成手段と、前記現在位置及び進行方向を前記位置情報とする位置情報生成手段と、を備える。この態様では、オブジェクトの特徴を示す特徴情報に加え、情報取得装置の位置及び進行方向が位置情報としてオブジェクト情報に含められる。オブジェクト情報を取得したサーバなどは、情報取得装置の現在位置及び進行方向に基づいて、オブジェクトの位置を算出することができる。

上記の情報取得装置の他の一態様では、前記情報取得装置は移動体に搭載され、前記オブジェクト情報は、当該オブジェクト情報を生成した移動体を特定する移動体特定情報を含む。この態様では、オブジェクト情報を生成した移動体の特定情報がオブジェクト情報に含められるので、オブジェクト情報を利用する側は、オブジェクト情報を生成した移動体を特定してオブジェクト情報を取得することが可能となる。

本発明の他の実施形態では、情報取得装置により実行される情報取得方法は、実画像を撮影する撮影工程と、現在位置を示す情報を取得する現在位置取得工程と、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成工程と、を有する。この方法によっても、地図データに含まれていないようなオブジェクトについても特徴情報などを含むオブジェクト情報を生成することができる。

本発明の他の実施形態では、コンピュータを備える情報取得装置により実行される情報取得プログラムは、実画像を撮影する撮影手段、現在位置を示す情報を取得する現在位置取得手段、取得した現在位置及び撮影された実画像に基づいて、位置情報及び特徴情報を含むオブジェクト情報を生成し、記憶部に記憶するオブジェクト情報生成手段、として前記コンピュータを機能させる。

このプログラムをコンピュータ上で実行することにより、上記の情報提供装置を実現することができる。なお、このプログラムは、記憶媒体に記憶した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［システム構成］
図１に、本発明の実施例に係る情報提供システムの概略構成を示す。なお、以下に説明する実施例は、本発明を車両のナビゲーション装置に適用した例である。

図１に示すように、情報提供システムは、サーバ１と、複数の車両２により構成される。サーバ１は、本実施例により利用者に提供される情報を管理する役割を有し、ネットワーク５を通じて複数の車両２と通信可能に構成されている。ネットワーク５の一例はインターネットである。なお、図１においては説明の便宜上２つの車両を示しているが、実際には多数の車両２がサーバ１と通信することになる。

サーバ１は、サーバデータベース（以下、データベースを「ＤＢ」と記す。）１１と、制御部１２と、通信部１３とを備える。サーバＤＢ１１は、地図情報と、複数の車両からアップロードされたオブジェクト情報とを記憶している。なお、オブジェクト情報については後述する。

制御部１２は、車両２が生成したオブジェクト情報をネットワーク５を介して受信し、サーバＤＢ１１へ記憶する。また、制御部１２は、車両からのリクエストに応じて、サーバＤＢ１１内からオブジェクト情報を抽出し、リクエストを行った車両２へネットワーク５を介して送信する。

通信部１３は、複数の車両２との間で、ネットワーク５を介してオブジェクト情報やリクエストを送受信するための通信処理を実行する。

車両２は、カメラ２７と、ナビゲーション装置２０とを備える。カメラ２７は、車両２に搭載され、通常は車両２の進行方向を撮影する位置に設置される。なお、カメラ２７が撮影する画像は、動画であっても、静止画であってもよい。カメラ２７は、撮影した画像の画像データをナビゲーション装置２０へ出力する。

ナビゲーション装置２０は、地図ＤＢ２１と、制御部２２と、通信部２３と、画像処理部２４と、表示装置２５と、入力部２６と、を備える。地図ＤＢ２１は、ナビゲーション装置２０による地図表示や経路案内などの処理に必要な地図情報を記憶している。

通信部２３は、ネットワーク５を通じてサーバ１と通信するための通信処理を実行する。通常、通信部２３は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ１と通信する。但し、本実施例では、通信の方法は特定のものに限定されない。

画像処理部２４は、カメラ２７が取得した撮影画像の画像データを取得し、画像認識処理及び画像解析処理（以下、まとめて「画像処理」とも呼ぶ。）を実行して、撮影画像に含まれるオブジェクトを特定するとともに、オブジェクトの特徴情報を生成する。

表示装置２５は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。入力部２６は、例えば表示装置２５上に設けられたタッチパネルなどにより構成され、利用者による指定、指示などの入力を受け取る。

制御部２２は、ナビゲーション装置２０による表示や経路案内などのナビゲーション実行時に各構成要素を制御するほか、後述するオブジェクト情報の生成、アップロード処理などを実行する。

ナビゲーション装置２０は、撮影画像を利用したナビゲーションを実行する。具体的には、ナビゲーション装置２０は、車両２の走行中にカメラ２７により進行方向前方の画像を撮影し、撮影画像を表示装置２５に表示する。これに加えて、ナビゲーション装置２０は、その現在位置の周辺にあるオブジェクトに関連する情報を撮影画像に合成して表示装置２５に表示する。なお、「オブジェクト」とは、撮影画像に含まれる建物などの構造物、道路案内標識、看板などの各種の対象物を指す。また、ルート案内の実行中であれば、ナビゲーション装置２０は、交差点の右左折などの案内情報を撮影画像上に合成して表示装置２５に表示する。なお、以下の説明では、カメラ２７により撮影された画像を「撮影画像」と呼び、撮影画像に上記のような情報を合成して生成され、表示装置２５に表示される画像を「表示画像」と呼ぶ。

撮影画像を利用したナビゲーションの例を図３を参照して説明する。図３（ａ）に撮影画像の例を示し、図３（ｂ）に表示画像の例を示す。カメラ２７が図３（ａ）に示す撮影画像を取得した場合、ナビゲーション装置２０は、地図ＤＢ２１に記憶された地図情報を参照し、現在位置の周辺にあるオブジェクトを検索する。いま、図３（ａ）に示す撮影画像５１中の建物の名称が「Ｘビル」であり、交差点名称が「Ｙ交差点」であるという情報が地図ＤＢ２１に記憶された地図情報に含まれているとすると、ナビゲーション装置２０は、図３（ｂ）に示すように、表示画像５２において吹き出し４１、４２により、それらの名称を表示する。なお、図３（ａ）の例では、撮影画像５１中の３つの看板４３〜４５は地図ＤＢ２１中の地図情報には含まれていないため、図３（ｂ）において吹き出しによる表示は行われない。

以上の構成において、制御部２２は本発明の現在位置取得手段、オブジェクト情報取得手段、移動体特定情報送信手段、リクエスト送信手段、位置情報生成手段及び特徴情報生成手段として機能する。また、表示装置２５は表示手段として機能し、入力部２６は入力手段として機能する。

［情報提供処理］
次に、本実施例による情報提供処理について説明する。情報提供処理は、車両２がサーバ１へオブジェクト情報をアップロードする処理（アップロード処理）と、車両２がサーバ１からオブジェクト情報をダウンロードする処理（ダウンロード処理）とを含む。

なお、以下の説明においては、便宜上、サーバ１へオブジェクト情報を提供する車両を「アップロード車両２ａ」と呼び、サーバ１からオブジェクト情報を取得する車両を「ダウンロード車両２ｂ」と呼ぶ。但し、車両２は基本的に全て同様に構成され、１つの車両２はアップロード処理を行うときにはアップロード車両として動作し、ダウンロード処理を行うときにはダウンロード車両として動作する。つまり、物理的に構成が異なるアップロード専用車両とダウンロード専用車両が存在するというわけではない。

図２において、まず、アップロード車両２ａは、走行中にカメラ２７を用いて進行方向の画像を撮影し、撮影画像中に含まれるオブジェクトに関するオブジェクト情報を生成してサーバ１へ送信する（ステップＳ１）。これがアップロード処理に相当する。

いま、アップロード車両２ａが走行中に撮影した撮影画像が図３（ａ）であるとすると、ナビゲーション装置２０は、撮影画像の画像認識処理により、３つの看板４３、４４及び４５を１つのオブジェクトとして抽出する。また、ナビゲーション装置２０は、画像解析処理により各看板４３〜４５の大きさ、色、看板の表示内容（看板に描かれた文字、記号など）を解析し、看板４３〜４５の特徴情報を生成する。いま、看板４３の矢印の背景が赤色であり、看板４５の背景が白であると仮定すると、ナビゲーション装置２０は３枚の看板４３〜４５からなるオブジェクトに対して「大型看板」、「赤色部分」、「白色全体」、「矢印」、「ＧＳ」、「Ｃａｆｅ」などの特徴を特徴情報として生成する。

なお、この処理は、主として画像処理部２４が既知の手法を用いて実行することができる。例えば、画像処理部２４は、撮影画像の輝度、色などに基づいて、撮影画像中の所定割合以上の面積を有する領域をオブジェクトとして抽出することができる。また、当該オブジェクトの構成領域の大きさ、色などを分析したり、予め用意された文字、記号などのテンプレートとのマッチングを行ったりすることにより、オブジェクトの特徴情報を生成することができる。なお、本実施例では、オブジェクトの抽出及び特徴情報を生成のためのアルゴリズムは特定のものに限定されるものではない。

こうしてオブジェクトが抽出され、その特徴情報が生成されると、ナビゲーション装置２０は、オブジェクト情報を生成する。オブジェクト情報の例を図４（ａ）に示す。オブジェクト情報は、オブジェクト位置情報と、特徴情報と、車両ＩＤとを含む。

オブジェクト位置情報は、オブジェクトの位置を示す情報であり、緯度及び経度で示される。ナビゲーション装置２０は、撮影画像を撮影した時点におけるアップロード車両２ａの現在位置及び進行方向を取得し、それらに基づいて、オブジェクトの位置を算出する。オブジェクトの位置情報の算出方法はいくつか考えられる。最も単純な方法は、車両の現在位置から進行方向へ所定距離移動した地点をオブジェクトの位置と決定する方法である。本実施例のナビゲーション装置２０では、上記のように、撮影画像を利用したナビゲーションを行うため、一般的に撮影画像が車両２の前方の所定距離（例えば１０〜３０ｍ程度）の位置を中心に撮影するようにカメラ２７の方向や倍率などが設定される。よって、１０〜３０ｍ程度の所定距離を予め決定し、単純にアップロード車両２ａの現在位置から進行方向に所定距離だけ移動した地点をオブジェクトの位置と決定することができる。また、他の方法としては、カメラ２７の撮影範囲（画角）、ズーム度合いなどの設定値と、撮影画像中のオブジェクトの位置、大きさなどに基づいて、アップロード車両２ａの現在位置とオブジェクトとの距離を算出し、現在位置、進行方向及びその距離からオブジェクトの位置を算出することもできる。なお、本実施例では、アップロード車両２ａの現在位置に基づいてオブジェクトの位置を決定する手法は、特定の手法に限定されるものではない。

特徴情報は、前述のように、撮影画像の解析により得られる、オブジェクトの特徴を示す情報である。車両ＩＤは、車両２を識別するＩＤであり、車両毎に一意に付与される。

ナビゲーション装置２０は、位置情報、特徴情報及び車両ＩＤを含むオブジェクト情報を生成し、サーバ１へ送信する。なお、ナビゲーション装置２０は、アップロード車両２ａの走行中に繰り返し撮影画像を取得し、上記のようにオブジェクト情報を生成してサーバ１へアップロードする。具体的に、ナビゲーション装置２０は、所定時間毎又は所定距離毎に画像を撮影してオブジェクト情報を生成してもよい。また、ナビゲーション装置２０は、地図ＤＢ２１に記憶されている地図情報に基づいて、交差点、建物が集中している地点など、有益な情報として利用できるオブジェクトが存在する可能性の高い地点で画像を撮影してオブジェクト情報を生成するようにしてもよい。

ナビゲーション装置２０は、撮影画像からオブジェクトを抽出する際に、予め決められた抽出レベルに従う。「抽出レベル」とは、撮影画像に含まれる多数のもの（以下、「撮影物」と呼ぶ。）のうち、オブジェクトとして抽出するものの基準を示す。例えば、抽出レベルとしては、撮影物の大きさ、色、形状、文字・記号を含むか否か、撮影画像中の位置などを予め規定することができる。抽出レベルを低く設定すれば、多数のオブジェクトが抽出されるが、その分、それほど重要でない撮影物もオブジェクトとして抽出されることになり、ナビゲーション装置２０による画像処理の負荷やサーバ１で記憶するデータ量が不必要に増大するという不具合がある。よって、抽出レベルを適切なレベルに設定する必要がある。実際には、抽出レベルの設定により、１の撮影画像から複数のオブジェクトが抽出される場合もあり、１つもオブジェクトが抽出されない場合もある。

撮影画像から抽出されたオブジェクトが、地図ＤＢ２１に記憶された地図情報に既に含まれている場合もある。例えば、図３（ｂ）の例で説明したように、「Ｘビル」は地図ＤＢ２１中の地図情報に含まれているが、図３（ａ）に示す撮影画像５１の画像処理によってオブジェクトとして抽出される。この場合、地図情報に含まれているオブジェクトについては重複した情報となるため、１つの方法としては、ナビゲーション装置２０は地図情報に含まれているオブジェクトについてオブジェクト情報の生成を行わないこととしてもよい。また、別の方法としては、地図情報に含まれているオブジェクトであっても、オブジェクト情報を生成しサーバ１へアップロードすることとしてもよい。通常、地図情報に含まれているオブジェクトであっても、その外観上の特徴までは地図情報には含まれていない場合が多い。この点、撮影画像の画像処理により得られたオブジェクトの特徴情報は、そのオブジェクトの外観上の特徴を示すものであり、地図情報に含まれている情報とは別に利用価値がある場合があるからである。

ナビゲーション装置２０において、利用者がオブジェクトのジャンルを限定できるようにしてもよい。例えば、撮影物としては建物、看板、道路標識などが撮影されるが、そのうちの看板のみをオブジェクトとして抽出するように利用者が設定してもよい。

図２に戻り、アップロード車両２ａからオブジェクト情報が送信されると、サーバ１はこれを受信し、サーバＤＢ１１に記憶する（ステップＳ２）。多数の車両２からオブジェクト情報を取得することにより、サーバＤＢ１１には、通常の地図情報には含まれないオブジェクトについても、オブジェクト情報が蓄積されていく。図４（ｃ）はサーバＤＢ１１内のオブジェクト情報の例を示す。図示のように、各オブジェクト情報は、位置情報に含まれるオブジェクトの位置及び車両ＩＤに対応付けられた形で特徴情報が記憶される。同一の地点で複数のアップロード車両２ａからオブジェクト情報がアップロードされれば、同一の位置について、異なる車両ＩＤを有する複数のオブジェクト情報が記憶されることになる。

ダウンロード車両２ｂの利用者は、現在位置周辺のオブジェクト情報を取得したい場合、サーバ１へリクエスト情報を送信することによりリクエストを行う（ステップＳ３）。図４（ｂ）に例示するように、リクエスト情報は、リクエストを行うダウンロード車両２ｂの現在位置情報と進行方向情報とを含む。

サーバ１は、ダウンロード車両２ｂからリクエスト情報を受信すると、サーバＤＢ１１を参照し、リクエスト情報に含まれる現在位置情報及び進行方向情報に基づいて、オブジェクト情報を抽出し、ダウンロード車両２ｂへ送信する（ステップＳ４）。基本的には、サーバ１は、リクエスト情報に含まれる現在位置情報及び進行方向情報に基づいて、ダウンロード車両２ｂの現在位置から進行方向へ所定距離以内に存在するオブジェクトのオブジェクト情報を抽出する。この際、サーバ１は、ダウンロード車両２ｂが走行している道路上にあるオブジェクト、及び、その道路から所定距離以内に存在するオブジェクトのみを抽出することとしてもよい。これは、道路から離れたオブジェクトを提供してもあまり有益とは言えないからである。

また、サーバ１は、進行方向には数ｋｍ以内、それ以外の方向には数百ｍ以内に存在するオブジェクトを抽出するというように、オブジェクトを抽出する範囲を進行方向に広く、それ以外の方向には狭く設定してもよい。また、サーバ１は、ダウンロード車両２ｂの現在位置が交差点の手前である場合には、その交差点において進行可能な全方向へ所定距離以内に存在するオブジェクトを全て抽出することとしてもよい。

ダウンロード車両２ｂは、リクエスト情報に対応するオブジェクト情報をサーバ１から受信する（ステップＳ５）。そして、ダウンロード車両２ｂは、受信したオブジェクト情報に含まれる特徴情報を利用して、表示画像中の対応するオブジェクトを強調表示する（ステップＳ６）。

ダウンロード車両２ｂのナビゲーション装置２０は、前述のように、撮影画像を利用したナビゲーションを実行している。よって、ナビゲーション装置２０は、受信したオブジェクト情報中の特徴情報を用いて、表示画像中の対応するオブジェクトを強調して表示する。例えば、アップロード車両２ａが図４（ａ）に例示するオブジェクト情報をサーバ１にアップロードし、図３（ａ）に示す地点に近づいたダウンロード車両２ｂがリクエストを発して図４（ａ）に例示するオブジェクト情報を受信したと仮定する。この場合、ナビゲーション装置２０は図５（ａ）に例示する表示画像５３を表示装置２５に表示する。

図３（ｂ）に示す表示画像５２と比較すると理解されるように、図５（ａ）の表示画像５３においては、３枚の看板４３〜４５からなるオブジェクトが破線４７により強調表示されている。さらに、その特徴情報である「大型看板」、「３枚看板」、「矢印」などの文字を示す吹き出し４６により、３枚の看板４３〜４５からなるオブジェクトが強調表示されている。なお、強調表示の手法としては、図５（ａ）のようにオブジェクトを示す破線を表示する、吹き出しを表示することの他、オブジェクトを指し示す矢印を表示する、表示画像中におけるオブジェクトの表示色を部分的又は全体的に変更する、などの種々の方法を採用することができる。即ち、強調表示は、撮影画像中のオブジェクトが表示されている状態で、さらにそのオブジェクトを強調するために追加の表示を行う手法と、撮影画像中のオブジェクトの輝度、色などを変化させて強調する手法とを含む。

なお、本実施例では、サーバ１はアップロード車両２ａが生成したオブジェクト情報をサーバＤＢ１１に記憶するのであって、アップロード車両２ａが撮影した画像を受信して記憶するわけではない。また、ダウンロード車両２ｂは、カメラ２７により撮影した撮影画像をベースにして、サーバ１から取得したオブジェクト情報を利用してオブジェクトを強調表示するのであって、サーバ１から画像自体を取得するわけではない。よって、サーバ１が記憶するデータ量が必要以上に膨大となることはなく、車両２とサーバ１との通信データ量も少ない。

また、本実施例では、ダウンロード車両２ｂは、経路案内中であるか否かを問わず、オブジェクト情報をサーバ１から取得することができる。ダウンロード車両２ｂは、経路案内中でない場合でも、取得したオブジェクト情報を利用して対応するオブジェクトを強調表示することができる。また、ダウンロード車両２ｂは、経路案内中である場合は、取得したオブジェクト情報の特徴情報を経路案内（例えば右左折の指示）に利用することもできる。

［オブジェクト指定］
次に、ダウンロード車両２ｂにおけるオブジェクト指定について説明する。上記のステップＳ６において、ダウンロード車両２ｂは、サーバ１からダウンロードしたオブジェクト情報を利用して表示画像におけるオブジェクトの強調表示を行う。この際、ダウンロード車両２ｂにおいて、利用者がオブジェクトを指定できるように構成することができる。なお、このオブジェクト指定機能は必須機能ではなく、オプション機能とすることが好ましい。

具体的には、利用者は、ダウンロード車両２ｂのナビゲーション装置２０の入力部２６を用いてオブジェクトのジャンル、特徴などを指定する。ダウンロード車両２ｂは、サーバ１から受信したオブジェクト情報のうち、利用者が指定したジャンルや特徴に合致するオブジェクトを強調表示する。

例えば、利用者がオブジェクトのジャンルとして「看板」を指定した場合、ダウンロード車両２ｂは、サーバ１からダウンロードしたオブジェクト情報のうち、看板に関連する特徴情報を有するオブジェクトを抽出し、強調表示を行う。また、利用者がオブジェクトの特徴情報として「看板」、「ＧＳ」を指定した場合、ダウンロード車両２ｂは、サーバ１からダウンロードしたオブジェクト情報から、これらの特徴情報を含むオブジェクト情報を抽出し、例えば図５（ｂ）に示すように、「看板」、「ＧＳ」を含む吹き出し４８による強調表示を行う。

このように、ダウンロード車両２ｂにおいてオブジェクトを指定可能とすると、ダウンロード車両２ｂの利用者は、他人から聞いた特徴に基づいて、その特徴に該当するオブジェクトを容易に発見できるようになる。例えば、友人宅を訪問する場合に、「Ｃ駅を超えたら、ガソリンスタンドの看板を右に曲がる」と聞いた場合、その利用者は、Ｃ駅を通過したあたりでサーバ１へリクエストを送信し、その際のリクエスト情報にオブジェクト指定情報として「看板」、「ＧＳ」を含める。すると、ダウンロード車両２ｂは、サーバ１からダウンロードしたオブジェクト情報のうち、特徴情報に「看板」、「ＧＳ」が含まれるものを抽出し、図５（ｂ）に例示するようにそのオブジェクトを強調表示する。これにより、利用者は、友人に聞いた情報に基づいて、該当するオブジェクトを容易に見つけることができる。

なお、上記のように、利用者がオブジェクトの指定を行った場合には、ダウンロード車両２ｂは、指定に該当するオブジェクトのみを強調表示し、他のオブジェクトに関する強調表示を行わないようにしてもよい。また、ダウンロード車両は、指定に該当するオブジェクトのみでなく、他のオブジェクトも強調表示してもよい。その場合には、ダウンロード車両２ｂは、指定に該当するオブジェクトが他のオブジェクトよりも目立つように、高い強調度合いで強調表示することが好ましい。

［アップロード処理］
次に、アップロード処理について詳しく説明する。図６は、アップロード処理のフローチャートである。アップロード処理のうちアップロード車両２ａ側の処理は、アップロード車両２ａの制御部２２が、予め用意されたプログラムを実行し、画像処理部２４などを制御することにより実現される。また、サーバ１側の処理は、サーバの制御部１２が予め用意されたプログラムを実行することにより実現される。

なお、図６におけるステップ番号は、図２におけるステップ番号と関連付けされている。例えば、図６におけるステップＳ１−１、Ｓ１−２などは、図２におけるステップＳ１の処理に含まれる。

車両２がアップロード処理を実行するか否かは、基本的に利用者の設定により決まる。利用者がアップロード処理を実行するように設定している場合には、制御部２２は、アップロード処理を実行する。

まず、制御部２２は、利用者からの入力により抽出レベルを設定する（ステップＳ０−１）。前述のように、抽出レベルとは、撮影画像に含まれる撮影物のうち、オブジェクトとして抽出するものの基準を示す。例えば、利用者は、抽出レベルとして撮影物の大きさ、色、形状、文字・記号を含むか否かなどを設定する。

次に、制御部２２は、利用者からの入力によりジャンルを設定する（ステップＳ０−２）。即ち、利用者は、必要に応じて、抽出すべきオブジェクトのジャンルを設定する。例えば、利用者は、ジャンルとして「建物」、「看板」、「道路標識」などを設定することができる。

次に、制御部２２はカメラ２７を制御して車両前方の撮影画像を撮影させ、画像処理部２４はカメラ２７から撮影画像を取得し、画像処理を行ってオブジェクトを抽出する（ステップＳ１−１）。

次に、制御部２２は、ナビゲーション装置２０の自立センサやＧＰＳ受信機の出力に基づいて、車両２の現在位置及び進行方法を取得し、それらに基づいて、抽出されたオブジェクトの位置情報を算出する（ステップＳ１−２）。

次に、画像処理部２４は、オブジェクトの特徴情報を生成し（ステップＳ１−３）、制御部２２は、車両ＩＤを取得する（ステップＳ１−４）。なお、車両ＩＤは車両に唯一に付与されたＩＤであり、通常はナビゲーション装置２０に記憶されている。

そして、制御部２２は、オブジェクト位置情報、特徴情報及び車両ＩＤを含むオブジェクト情報を生成し（ステップＳ１−５）、通信部２３によりサーバ１へ送信する（ステップＳ１−６）。

サーバ１では、制御部１２は通信部１３を通じてオブジェクト情報を受信し（ステップＳ２−１）、サーバＤＢ１１へ記憶する（ステップＳ２−２）。こうして、アップロード処理は終了する。多数の車両２がアップロード車両２ａとして動作し、サーバ１へオブジェクト情報をアップロードすることにより、図４（ｃ）に示すようにサーバＤＢ１１には多数の地点のオブジェクト情報が蓄積されていく。

［ダウンロード処理］
次に、ダウンロード処理について詳しく説明する。図７は、ダウンロード処理のフローチャートである。ダウンロード処理のうちダウンロード車両２ｂ側の処理は、ダウンロード車両２ｂの制御部２２が、予め用意されたプログラムを実行し、表示部２５などを制御することにより実現される。また、サーバ１側の処理は、サーバの制御部１２が予め用意されたプログラムを実行することにより実現される。なお、図７におけるステップ番号も図２におけるステップ番号と関連付けされている。

まず、ダウンロード車両２ｂの制御部２２は、サーバ１へリクエスト情報を送信する（ステップＳ３）。リクエスト情報は、図４（ｂ）に示すように、ダウンロード車両２ｂの現在位置及び進行方向を含む。

サーバ１では、通信部１３がリクエスト情報を受信する（ステップＳ４−１）。そして、制御部１２がサーバＤＢ１１を参照して、ダウンロード車両２ｂの現在位置周辺のオブジェクト情報を抽出し（ステップＳ４−２）、通信部１３を通じてダウンロード車両２ｂへ送信する（ステップＳ４−３）。

ダウンロード車両２ｂでは、通信部２３がサーバ１からオブジェクト情報を受信する（ステップＳ５−１）。また、制御部２２が自車のカメラ２７を制御して車両前方を撮影し、撮影画像を取得する（ステップＳ６−１）。

次に、制御部２２は、利用者によりオブジェクトの指定がなされたか否かを判定する（ステップＳ６−２）。オブジェクトの指定がなされた場合（ステップＳ６−２；Ｙｅｓ）、制御部２２はその指定内容を取得し（ステップＳ６−３）、指定内容に該当するオブジェクトを抽出する（ステップＳ６−４）。そして、制御部２２は、サーバ１から受信したオブジェクトであって、撮影画像に含まれるものを強調表示する（ステップＳ６−５）。なお、ステップＳ６−２でオブジェクトの指定がなされた場合には、その指定に合致するオブジェクトのみが強調表示される。こうして、ダウンロード処理が終了する。

［変形例１］
上記のダウンロード処理において、ダウンロード車両２ｂは、オブジェクト情報の提供を受ける車両を特定することができる。具体的には、図８（ａ）に示すように、リクエスト情報に車両ＩＤ又はグループＩＤを含める。なお、グループＩＤとは、予め決められた複数の車両により構成されたグループを識別するＩＤであり、１つのグループＩＤには、そのグループを構成する複数の車両のＩＤが対応付けられている。

サーバ１は、車両ＩＤを含むリクエスト情報を受信した場合、サーバＤＢ１１を参照し、その車両ＩＤが示す車両からアップロードされたオブジェクト情報を抽出する。また、サーバ１は、グループＩＤを含むリクエスト情報を受信した場合、そのグループＩＤに属する車両ＩＤが示す車両からアップロードされたオブジェクト情報を抽出する。これにより、ダウンロード処理を実行する利用者は、取得するオブジェクト情報の提供主を、ある特定の利用者又はある特定のグループ員に限定することができる。

なお、車両ＩＤ又はグループＩＤを含むリクエスト情報を受信した場合、サーバ１は、それらＩＤに合致する車両からのオブジェクト情報のみをダウンロード車両２ｂへ送信することとしてもよいが、それらに加えて他のオブジェクト情報もダウンロード車両２ｂへ送信することとしてもよい。

［変形例２］
上記の実施例では、アップロード処理において、アップロード車両２ａは、オブジェクト情報に含める位置情報として、オブジェクト位置情報、即ちオブジェクト自身の位置情報を生成していた。その代わりに、アップロード車両２ａは、図８（ｂ）に示すように、自車の位置を示す車両位置情報と進行方向情報をオブジェクト情報に含めてサーバ１へ送信してもよい。その場合、サーバ１は、オブジェクト情報に含まれる車両位置情報と進行方向情報に基づいてオブジェクト位置情報を算出し、サーバＤＢ１１に記憶すればよい。

［変形例３］
上記のオブジェクト指定においては、ダウンロード車両２ｂが、サーバ１から受信したオブジェクト情報のうち、指定に合致するオブジェクトを抽出して強調表示を行っている。その代わりに、ダウンロード車両２ｂからのリクエスト情報にオブジェクト指定を含めることとしてもよい。この場合、ダウンロード車両２ｂは、図８（ｃ）に例示するように、オブジェクト指定情報を含むリクエスト情報をサーバ１へ送信する。サーバ１は、リクエスト情報に含まれるオブジェクト指定情報に合致するオブジェクト情報のみをダウンロード車両２ｂへ送信する。

［変形例４］
上記のダウンロード処理においては、リクエスト情報中にリクエスト車両２ｂの現在位置及び進行方向が含まれる。これに加えて、ダウンロード車両２ｂが経路案内中である場合には、図８（ｄ）に示すように、リクエスト情報中に案内経路を示す案内経路情報を含めてサーバ１へ送信することとしてもよい。この場合、サーバ１は、リクエスト情報に含まれる案内経路情報によりダウンロード車両２ｂのその後の走行ルートがわかるので、その走行ルートに沿って存在するオブジェクトを抽出してダウンロード車両２ｂへ送信することができる。よって、ダウンロード車両２ｂは、案内経路に沿った有益なオブジェクト情報を取得することが可能となる。

本発明は、撮影画像に含まれるオブジェクトに関する情報を撮影画像と合成して表示することにより利用者に情報を提供する車載用ナビゲーション装置や端末装置に利用することができる。

Claims (9)

1. 撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得手段と、
   地図情報が記憶された記憶手段から当該地図情報を取得する地図情報取得手段と、
   前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
   前記実画像取得手段によって取得された前記実画像と前記地図情報と前記地図情報に含まれないオブジェクトに関する前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において表示する表示手段と、を備え、
   前記表示手段は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする情報表示装置。
2. 前記移動体の現在位置を示す情報を取得する現在位置取得手段、を備え、
   前記オブジェクト情報取得手段は、更に、ネットワークを介して、前記現在位置周辺に位置し、前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得し、
   前記表示手段は、前記オブジェクト情報取得手段によって取得されたオブジェクト情報に該当するオブジェクトを前記実画像にて強調表示することを特徴とする請求項１に記載の情報表示装置。
3. 前記情報表示装置は移動体に搭載され、
   前記オブジェクト情報は、前記移動体又は前記移動体とは異なる他の移動体が取得した実画像を解析することにより生成されることを特徴とする請求項２に記載の情報表示装置。
4. オブジェクトの特徴を入力する入力手段をさらに備え、
   前記表示手段は、前記取得されたオブジェクト情報に該当するオブジェクトのうち、前記入力手段により入力された特徴に該当するオブジェクトを強調して表示することを特徴とする請求項２又は３に記載の情報表示装置。
5. 前記オブジェクト情報取得手段は、
   前記オブジェクト情報を記憶する記憶部を有するサーバ装置に、前記現在位置を含むリクエスト情報を送信するリクエスト送信手段と、
   前記記憶部に記憶されたオブジェクト情報のうち、前記リクエスト情報に基づいて前記サーバ装置により特定されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする請求項２乃至４のいずれか一項に記載の情報表示装置。
6. 前記情報表示装置は移動体に搭載され、
   前記オブジェクト情報取得手段は、
   移動体を特定する移動体特定情報を前記サーバ装置へ送信する移動体特定情報送信手段と、
   前記記憶部に記憶されたオブジェクト情報のうち、前記移動体特定情報により特定される移動体により生成されたオブジェクト情報を前記サーバ装置から取得する手段と、を備えることを特徴とする請求項５に記載の情報表示装置。
7. 地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示方法であって、
   前記撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、
   前記記憶手段から地図情報を取得する地図情報取得工程と、
   前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得工程と、
   前記実画像取得工程によって取得された前記実画像と前記地図情報取得工程によって取得された前記地図情報と前記オブジェクト情報取得工程によって取得された前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において前記表示手段に表示する表示工程と、を有し、
   前記表示工程は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする情報表示方法。
8. 地図情報が記憶された記憶手段と、撮影手段と、表示手段とを備える情報表示装置により実行される情報表示プログラムであって、
   前記撮影手段により撮影された移動体の進行方向の実画像を取得する実画像取得工程と、
   前記記憶手段から地図情報を取得する地図情報取得工程と、
   前記地図情報に含まれないオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得工程と、
   前記実画像取得工程によって取得された前記実画像と前記地図情報取得工程によって取得された前記地図情報と前記オブジェクト情報取得工程によって取得された前記オブジェクト情報とに基づいて、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを前記実画像において前記表示手段に表示する表示工程と、を前記情報表示装置に実行させ、
   前記表示工程は、前記地図情報に含まれるオブジェクトに関するオブジェクト情報と前記地図情報に含まれないオブジェクトに関するオブジェクト情報とを表示態様を替えて表示することを特徴とする情報表示プログラム。
9. 請求項８に記載の情報表示プログラムを記憶したことを特徴とする記憶媒体。

Images