JPH11271074A

JPH11271074A - 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体

Info

Publication number: JPH11271074A
Application number: JP10071790A
Authority: JP
Inventors: Yoshiharu Maeda; 芳晴前田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 1999-10-05

Abstract

(57)【要約】【課題】本発明は、目印画像照合装置及び目印画像照
合方法及び及びプログラム記憶媒体に関し、地図上に表
現された場所と現実世界の場所とを照合することを目的
とする。【解決手段】目印画像照合装置１００は、車両の現在
位置を推定する現在位置推定部１と、車両の周囲の画像
を撮影する画像撮影部５と、目印画像を格納する目印画
像データベースシステム６と、画像撮影部５によって撮
影された画像と、現在位置推定部１により推定された現
在位置に関連する目印画像であって目印画像データベー
スシステム６に格納された目印画像とを照合する画像照
合部７とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、目印画像照合装置
及び目印画像照合方法及びプログラム記憶媒体に関し、
特に、地図上に表現された場所と現実世界の場所とを照
合する目印画像照合装置及び目印画像照合方法及びプロ
グラム記憶媒体に関する。

【０００２】

【従来の技術】ナビゲーションシステムは、車両や歩行
者が目的地点に移動する際の現在位置推定や移動経路誘
導等のために用いられる。従来のナビゲーションシステ
ムは、ＣＤ−ＲＯＭやＤＶＤ等の記憶媒体に記録された
道路地図データと、ナビゲーションシステムを搭載した
機器の地図上の現在位置（推定現在位置）を推定する手
段と、推定現在位置と道路地図データとを照合する手段
と、出発地点と目的地点との間の経路を計画する手段
と、計画した経路に従って運転者を案内する手段と、道
路地図データ等の大量のデータを検索する手段と、ディ
スプレイや音声を用いて出力する手段等により構成され
る。

【０００３】このような構成により、従来のナビゲーシ
ョンシステムは、運転者が目的地点に向かって車両を運
転している場面において、車両の推定現在位置を画面の
地図上で表示し、計画された経路に従って交通案内を行
い、運転者の運転を支援することができる。

【０００４】従来のナビゲーションシステムの本質的な
機能は、現在位置を推定する（推定現在位置を得る）手
段と、推定現在位置と道路地図データとを照合する手段
とにある。現在位置を推定する手段には、人工衛生から
の電波を用いるＧＰＳ（Global Positioning System ）
及びＤ−ＧＰＳ（Differential GPS）、車両に搭載され
たジャイロセンサと車速センサとを利用して走行距離及
び走行方向を積算していく自律航行法、予め道路に位置
を特定する機能を有する装置を設置しておく方法等があ
る。推定現在位置と道路地図データとを照合する手段に
は、いわゆるマップマッチング法がある。これは、例え
ば、一般的には車両は道路上を走行するというルールを
利用して、推定現在位置を道路地図データの道路上に重
ね合わせ、車両が不自然な位置に存在しないようにする
ものである。

【０００５】一方、ナビゲーションシステムとは異なる
が、車両にカメラを搭載して車両の周囲（前方、側方、
後方）を撮影し、得られた画像データを利用する技術が
知られている。この技術は、車両の自動運転を実現する
ために道路、他の車両、障害物等を認識すること、自車
両の周囲を走行中の他の車両や歩行者を認識することに
より事故回避の支援を行うこと、道路標識を認識するこ
とで道路標識に従った移動経路の誘導を行うこと等を目
的としている。

【０００６】また、ナビゲーションシステムとは異なる
が、車両にカメラを搭載して道路及びその周囲を撮影す
ることにより、道路地図データの収集を行う技術も知ら
れている。

【０００７】

【発明が解決しようとする課題】前述のように、運転者
がナビゲーションシステムを利用して現実世界の現在位
置を認識する過程は、順に、第１にナビゲーションシス
テムが地図上の推定現在位置を得て、第２にナビゲーシ
ョンシステムが推定現在位置と道路地図データとを照合
し、第３にナビゲーションシステムが照合結果を画像や
音声を介して運転者に報告し、第４に運転者が周囲を見
て現実世界における現在位置を確認する、というもので
ある。

【０００８】即ち、ナビゲーションシステムの本質は、
第１の現在位置の推定過程及び第２の推定現在位置と道
路地図データとの照合過程にある。第３の照合結果の報
告過程は、運転者とナビゲーションシステムとのインタ
フェースである。第４の運転者による現実世界における
現在位置の確認過程は、ナビゲーションシステムではな
く、運転者が行うべきものである。

【０００９】従って、従来、ナビゲーションシステム
は、この第１の推定過程及び第２の照合過程における各
々の精度を向上することにより、運転者による現在位置
の認識を支援しようとしている。また、第３の報告過程
を改良することにより、情報の判りやすさを向上した
り、車両の運転等運転者の作業になるべく支障をきたさ
ないようにしている。

【００１０】しかし、従来のナビゲーションシステム
は、運転者にとって最も重要な過程である第４の確認過
程についての支援は行っていない。即ち、第４の確認過
程についての処理を行う装置は存在しなかった。従っ
て、従来、ナビゲーションシステムから得られる情報と
現実世界との照合は、運転者自身が行わなければならな
かった。

【００１１】具体的には、例えば、運転者がナビゲーシ
ョンシステムにより経路誘導されている場合において、
目印のある交差点を曲がるように案内されることがあ
る。目印としては、特定のガソリンスタンドやコンビニ
エンスストア等がある。

【００１２】この場合、運転者は、車両を運転しなが
ら、同時に周囲を見渡して目印を自分で見つけ出さなけ
ればならない。また、例えば、目的地点に近づいた場合
でも、運転者自身で目的地点を特定する目印を探さなけ
ればならない。このように、運転者が運転中に周囲の目
印を探すことは視線を不必要に前方からそらすことにな
る。このため、初心者には容易でない、安全性を損なう
可能性がある、目印を見落とす可能性がある、等の理由
で好ましくない。

【００１３】一方、前述のように、ナビゲーションシス
テムとは無関係に車両にカメラを搭載して画像データを
得る技術が知られている。しかし、これらは車両の自動
運転や道路地図データの収集を目的とするものであっ
て、ナビゲーションシステムの第４の確認過程について
の支援に何らの貢献をしようとするものではない。

【００１４】本発明は、地図上に表現された場所と現実
世界の場所とを照合する目印画像照合装置を提供するこ
とを目的とする。また、本発明は、地図上に表現された
場所と現実世界の場所とを照合する目印画像照合方法を
提供することを目的とする。

【００１５】また、本発明は、地図上に表現された場所
と現実世界の場所とを照合する目印画像照合装置を実現
するプログラム記憶媒体を提供することを目的とする。

【００１６】

【課題を解決するための手段】図１は本発明の原理構成
図であり、本発明による目印画像照合装置１００の構成
を示す。本発明の目印画像照合装置１００は、当該車両
の現在位置を推定する現在位置推定部１と、当該車両の
周囲の画像を撮影する画像撮影部５と、目印画像を格納
する目印画像データベースシステム６と、画像撮影部５
によって撮影された画像と目印画像データベースシステ
ム６に格納された目印画像であって現在位置推定部１に
より推定された現在位置に関連する目印画像とを照合す
る画像照合部７とを備える。

【００１７】本発明の目印画像照合装置１００によれ
ば、現在位置推定部１により推定された現在位置を用い
て現実世界との照合を行う。即ち、推定された現在位置
を目印画像データベースシステム６内の当該現在位置に
関連する目印画像で代表させ、現実世界における位置を
画像撮影部５により撮影した当該車両の周囲の画像で代
表させ、画像照合部７が両者を照合する。これにより、
データ上の位置と現実世界の位置とを照合することがで
きる。従って、目印画像照合装置１００は、地図上の情
報と現実世界との照合を運転者自身が行う必要をなく
し、運転者にとって最も重要な現実世界での現在位置の
確認を支援することができる。

【００１８】

【発明の実施の形態】最初に、図２を参照して、以下の
説明を判りやすくするために、本発明の目印画像照合装
置１００が使用される代表的な場面について説明する。

【００１９】図２において、本発明の目印画像照合装置
１００が車両１０１に搭載される。車両１０１を運転者
１０２が運転して、道路１０４上を矢印方向に走行中で
ある。道路１０４に面して、ある特定の目印１０３（例
えば、有名なガソリンスタンドのマーク）が存在する。
ここでは、目印１０３は「星印」であるとする。目印１
０３は、例えば、運転者１０２の目的地点への経路の途
中に存在し、目印１０３を現実世界における位置の確認
に用いるとする。

【００２０】目印画像照合装置１００は、運転者１０２
に対して、目印１０３が存在することを案内し、かつ、
当該目印１０３の現実世界における位置を特定しこれを
案内する。このために、目印画像照合装置１００は、現
在位置推定部１により推定された現在位置の近傍（例え
ば、１００ｍ乃至２００ｍ先）の目印１０３を画像撮影
部５によって撮影し、現実世界の目印１０３の画像を得
る。一方、目印画像照合装置１００は、現在位置推定部
１により推定された現在位置に関連する（例えば、１０
０ｍ乃至２００ｍ先）目印画像を目印画像データベース
システム６から読み出して、これと現実世界の目印１０
３の画像とを、画像照合部７によって照合する。画像照
合部７は、照合に成功すると（双方の画像が一致する
と）、（図３の出力装置９を介して）運転者１０２に対
して、「現実世界において当該目印１０３が例えば１０
０ｍ先に存在することを確認した」ことを案内する。

【００２１】従って、運転者１０２は、車両１０１を運
転しながら目印１０３を自分で見つける必要がない。即
ち、現在の位置から少し先にある現実世界の目印１０３
を直ちに容易に発見できる。また、何らかの理由で当該
目印１０３が運転者１０２の視野に無くとも、その位置
を容易に予測して、この予測に基づいた運転をすること
ができる。これにより、運転者１０２が運転中に周囲の
目印１０３を探すために視線を不必要に前方からそらす
ことがないので、初心者の障害とならず有効な支援がで
き、安全性を損なうことや目印１０３を見落とすことを
防止できる。

【００２２】なお、従来は、前述のように、運転者１０
２は目印１０３のある交差点を曲がるようにナビゲーシ
ョンシステムにより案内される。しかし、運転者１０２
は、車両１０１を運転しながら、同時に周囲を見渡して
目印１０３を自分で見つけ出さなければならなかった。

【００２３】図３は目印画像照合装置構成図であり、本
発明の適用される目印画像照合装置１００の構成を示
す。目印画像照合装置１００は、現在位置推定部１、地
図データベースシステム２、地図照合部３、経路計画部
４、画像撮影部５、目印画像データベースシステム６、
画像照合部７、入力装置８及び出力装置９を備える。

【００２４】現在位置推定部１は当該目印画像照合装置
１００の搭載された車両１０１の現在位置を推定する。
現在位置推定部１については図５を参照して後述する。
地図データベースシステム２は地図データを格納する。
地図データベースシステム２については図６を参照して
後述する。地図照合部３は現在位置推定部１により推定
された現在位置と地図データベースシステム２に格納さ
れた地図上の位置とを照合することにより地図データ上
における推定現在位置を得る。地図照合部３については
図７を参照して後述する。

【００２５】経路計画部４は、所定のデータを用いて、
当該車両１０１の移動経路を計画する。所定のデータと
しては、入力装置８により指定された条件、地図データ
ベースシステム２に格納された地図データ、及び、ＶＩ
ＣＳ(Vehicle Information and Communication System)
情報のような交通情報がある。入力装置８により指定さ
れる条件としては、出発地点、経由地点（例えば、経由
する道路、観光地等）、目的地点等がある。移動経路の
計画の手段としては、周知のグラフにおける頂点間の最
短経路問題手法（例えば、Dijkstra法等）が用いられ
る。計画された移動経路は出力装置９に出力される。

【００２６】目印画像照合装置１００は、以上に説明し
た現在位置推定部１、地図データベースシステム２、地
図照合部３及び経路計画部４からなるナビゲーションシ
ステムに、以下に説明する画像撮影部５、目印画像デー
タベースシステム６及び画像照合部７を付加したもので
ある。従って、目印画像照合装置１００は、ナビゲーシ
ョンシステムとしての機能と画像照合処理を行う目印画
像照合装置としての機能を併せ持つ。

【００２７】本発明による画像照合処理を行わない場合
でも、目印画像照合装置１００は、現在位置推定部１等
により、ナビゲーションシステムとしての処理を実行す
ることができる。この場合、画像撮影部５、目印画像デ
ータベースシステム６及び画像照合部７は動作しない。
本発明による画像照合処理を行う場合、目印画像照合装
置１００は、ナビゲーションシステムとしての処理を実
行し、かつ、画像撮影部５、目印画像データベースシス
テム６及び画像照合部７による画像照合処理をも実行す
る。

【００２８】画像撮影部５は当該車両１０１の周囲の画
像を撮影する。画像撮影部５については図８を参照して
後述する。目印画像データベースシステム６は予め定め
られた目印画像を格納する。目印画像データベースシス
テム６については図９及び図１０を参照して後述する。
画像照合部７は、画像撮影部５によって撮影された画像
データと、目印画像データベースシステム６に格納され
た目印画像であって地図照合部３により得た推定現在位
置に関連する目印画像とを照合する。画像照合部７につ
いては図１１を参照して後述する。

【００２９】入力装置８は、運転者１０２が種々のデー
タを当該目印画像照合装置１００に入力するためのもの
である。即ち、運転者１０２は、入力装置８から、地図
データベースシステム２の格納する地図データの表示の
指示、運転者１０２が移動しようとしている目的位置、
当該目的位置への移動経路の条件等を入力する。目的位
置は、表示された地図データ上の位置の入力により、又
は、ランドマークの入力により指定される。

【００３０】出力装置９は、運転者１０２に対して、種
々の情報を表示する。即ち、地図データベースシステム
２の格納する地図データ、地図照合部３における照合結
果（推定現在位置）、経路計画部４の計画した移動経
路、画像撮影部５の撮影した画像（カメラ画像）、目印
画像データベースシステム６に格納される目印画像、画
像照合部７における画像照合の結果（現実世界の位置）
等を表示する。

【００３１】例えば、地図データ、カメラ画像、目印画
像は、出力装置９の表示画面を適宜画面分割して表示さ
れる。推定現在位置及び移動経路は地図データに重ねて
表示される。現実世界の位置は、地図データに重ねて、
又は、地図データとは別に表示される。出力装置９は例
えば液晶表示装置からなり、音声出力用として当該車両
１０１に備えられたオーディオ装置も利用する。

【００３２】図４は目印画像照合装置構成図であり、本
発明の適用される目印画像照合装置１００のハードウェ
アの構成を示す。目印画像照合装置１００は、ＣＰＵ８
１、メモリ８２、記憶装置８３、入力装置８、出力装置
９、カメラ５２、ＧＰＳ受信機１１、車速センサ１２、
ジャイロセンサ１３及びその他のセンサ１５を備える。
これらはバス８４を介して相互に接続される。

【００３３】カメラ５２は画像撮影部５を構成する。Ｇ
ＰＳ受信機１１、車速センサ１２、ジャイロセンサ１３
及びその他のセンサ１５は現在位置推定部１を構成す
る。記憶装置８３は、例えば半導体メモリ、ＣＤ−ＲＯ
Ｍ、ＤＶＤ等の補助記憶装置からなる。記憶装置８３上
には、地図データベースシステム２及び目印画像データ
ベースシステム６が構築される。メモリ８２は半導体メ
モリからなる主メモリである。メモリ８２上には、現在
位置推定部１、地図データベースシステム２、地図照合
部３、経路計画部４、画像撮影部５、目印画像データベ
ースシステム６、画像照合部７を構成するプログラムが
格納される。これらのプログラムはＣＰＵ８１上で実行
され、これらのプログラムとＣＰＵ８１とで現在位置推
定部１等の各処理部を構成する。

【００３４】図５は現在位置推定部説明図であり、現在
位置推定部１の周知の構成を示す。現在位置推定部５
は、ＧＰＳ受信機１１、車速センサ１２、ジャイロセン
サ１３（及びその他のセンサ１５）のセンサ類と、位置
方位算出手段１４とからなる。位置方位算出手段１４
は、各センサ１１乃至１３からの検出信号を用いて、当
該目印画像照合装置１００を搭載している車両１０１の
地図上での現在の位置を算出する（推定する）。

【００３５】例えば、位置方位算出手段１４は、周知の
方法により、ＧＰＳ受信機１１によりＧＰＳ衛星からの
電波を受信して、現在位置を推定する。また、位置方位
算出手段１４は、周知の方法により、車速センサ１２及
びジャイロセンサ１３を用いて、各々、車両１０１の走
行距離及び走行方位を求め、これらの双方を用いて現在
位置を推定する（自律航行法）。トンネル内においては
ＧＰＳ衛星からの電波を受信できない等の理由から、位
置方位算出手段１４は、通常、ＧＰＳ受信機１１、車速
センサ１２、ジャイロセンサ１３を併用して、正確な現
在位置の推定を行う。

【００３６】現在位置は座標で表示される。座標は緯度
及び経度を用いて記述される。位置方位算出手段１４の
推定した車両１０１の現在位置は、地図照合部３及び画
像照合部７に送出される。当該現在位置は、地図照合部
３において推定現在位置の算出に用いられ、画像照合部
７において当該現在位置に関連する目印画像を取得する
ために用いられる。

【００３７】図６は地図データベースシステム説明図で
あり、地図データベースシステム２の周知の構成を示
す。地図データベースシステム２は、記憶装置２１、地
図データベース２２及び検索手段２３からなる。

【００３８】地図データベース２２は当該地図データベ
ースシステム２の内容である地図データを格納する。地
図データはＣＤ−ＲＯＭ、ＤＶＤ又は半導体メモリ等の
媒体に格納されて予め提供される。地図データベース２
２は、例えば、ＣＤ−ＲＯＭ等、これらに格納された地
図データ、ＣＤ−ＲＯＭ等の読み出し装置及びドライバ
からなる。

【００３９】検索手段２３は地図データの検索を行う。
即ち、検索手段２３はＣＤ−ＲＯＭ等上の地図データベ
ース２２を検索し、地図データを出力する。この検索は
入力装置８からの検索条件に従って行われる。入力装置
８からの検索条件は、例えば出発地点、目的地点、経由
地点等の検索用データである。検索用データは、例えば
全国、関東地方、神奈川県、川崎市等の表示範囲の指
定、地図の縮尺の指定、地図の表示の方向（北を画面の
上にする等）の指定、有名な観光地や建造物の指定等で
ある。

【００４０】検索手段２３による検索結果である地図デ
ータは出力装置９に表示される。運転者１０２は、出力
装置９へ出力された地図データを見ながら入力装置８か
らの検索条件の入力を繰り返して、所望の地図データを
検索結果として得て出力装置９に表示させる。

【００４１】記憶装置２１は、当該地図データベースシ
ステム２の利用時に発生した各種の情報を記憶する。例
えば、入力装置８からの指示入力に従って地図データベ
ース２２を検索することにより地図データ上において特
定された目的地や経由地点が、当該地図データと共に記
憶される。

【００４２】地図データベースシステム２は、地図照合
部３、経路計画部４、目印画像データベースシステム
６、出力装置９へ地図データを出力する。地図データベ
ースシステム２から送出された地図データは、地図照合
部３において推定現在位置の算出に用いられ、経路計画
部４において移動経路の作成に用いられ、目印画像デー
タベースシステム６においてこれと連携して目印画像の
取得に用いられ、出力装置９においてその表示画面に表
示される。

【００４３】図７は地図照合部説明図であり、地図照合
部３の構成を示す。地図照合部３は、画像位置判定手段
３１、マップマッチング手段３２、統合部３３からな
る。マップマッチング手段３２は、周知の方法により、
現在位置推定部１により得た現在位置と地図データベー
スシステム２からの地図データとを照合し、「走行中の
車両１０１は地図の道路１０４上にある」というルール
を利用して、車両１０１の推定現在位置を地図データベ
ースシステム２の当該地図データ上において求める（マ
ッチングする）。

【００４４】なお、従来のナビゲーションシステムにお
いては、地図照合部３はマップマッチング手段３２のみ
からなり、画像位置判定手段３１及び統合部３３は設け
られておらず、マップマッチング手段３２でのマッチン
グの結果が出力装置９に出力されていた。画像位置判定
手段３１は、本発明に従い画像照合部７を設けたことに
伴い、画像照合部７と地図照合部３との照合結果の調整
（一致）のために設けられる。統合部３３は、画像位置
判定手段３１を設けたことに伴い、これとマップマッチ
ング手段３２との双方の出力である現在位置の調整（一
致）のために設けられる。

【００４５】画像位置判定手段３１は、画像照合部７に
おいて現在位置に関連する目印画像データが現実世界の
画像（カメラ画像）と照合できた場合、当該目印画像が
現実世界に存在することを確認したと判定し、現実世界
における位置は当該現在位置に関連する位置であると判
定する。例えば、現在位置から１００ｍ先に存在すると
されている目印画像とカメラ画像とが照合できた場合、
当該現在位置の１００ｍ先に当該目印画像が存在するこ
とを確認したことになる。このために、画像照合部７か
ら画像位置判定手段３１に対して、画像照合の成功／不
成功が通知され、成功した場合には更に当該照合に成功
した現在位置（又は現在位置に関連する位置）が通知さ
れる。

【００４６】統合部３３は、マップマッチング手段３２
及び画像位置判定手段３１における処理の結果を統合し
て、出力装置９に送出する。これにより、当該処理結果
は画像や音声を介して、運転者１０２に伝えられる。

【００４７】当該目印画像照合装置１００がナビゲーシ
ョンシステムとしてのみ動作している場合、統合部３３
は、マップマッチング手段３２において求めた推定現在
位置を、そのまま出力装置９に出力する。一方、当該目
印画像照合装置１００が画像照合処理を行っている場
合、統合部３３は、画像照合部７において照合に成功し
た場合に、マップマッチング手段３２において求めた推
定現在位置を、画像位置判定手段３１の受け取った照合
に成功した現在位置（又は現在位置に関連する位置）に
より修正して、正しい（現実世界と一致する）位置を得
る。

【００４８】なお、運転者１０２にから見ると、統合部
３３による出力装置９への出力は、ナビゲーションシス
テムのそれと同様に見える。即ち、推定現在位置を示し
ているように見えるのみである。但し、実際には、画像
照合部７における照合により、現実世界の位置に一致す
るように正確に修正されている。従って、本発明の目印
画像照合装置１００はナビゲーションシステムとしても
運転者１０２を正確に支援できる。

【００４９】図８は画像撮影部説明図であり、画像撮影
部５の構成を示す。画像撮影部５は、画像記録部５１、
カメラ５２、カメラ制御部５３からなる。画像撮影部５
は、カメラ５２を用いて、当該車両１０１の周囲の画像
を撮影する。画像撮影部５の出力は目印画像データベー
スシステム６及び画像照合部７に送出される。

【００５０】カメラ５２は、例えばＣＣＤカメラからな
り、車両１０１の所定の位置に上下方向及び水平方向に
回転可能に設けられる。カメラ５２は、その撮影した画
像（カメラ画像）を目印画像データベースシステム６、
画像照合部７及び出力装置９に送出する。これらはリア
ルタイムのカメラ画像である。即ち、現実世界における
現在位置に関連する（例えば、現在位置の１００ｍ先に
存在する）カメラ画像である。このリアルタイムのカメ
ラ画像は、目印画像データベースシステム６において目
印画像データの検索に用いられ、画像照合部７において
画像照合処理に用いられ、出力装置９においてリアルタ
イムの表示に用いられる。

【００５１】後述するように、目印画像照合装置１００
における目印画像データの検索は、通常は画像照合部７
から検索手段６３への検索依頼によって行われる。この
検索で得られる目印画像データが、画像照合の基準とさ
れる。従って、これは、与えられた目印画像に一致する
現実世界の画像を現実世界から探索する処理の一部であ
る。

【００５２】しかし、また、本発明では、リアルタイム
のカメラ画像を用いて、目印画像データの検索を行うこ
とができる。この検索は、出力装置９に映されたリアル
タイムのカメラ画像を見た運転者１０２が入力装置８へ
所定の指示入力をすることにより行われる。リアルタイ
ムのカメラ画像について後述のカメラ５２の状態情報を
用いた逆演算を行って得た画像が、目印画像データベー
スシステム６の検索に用いられる。検索の結果である目
印画像データが画像照合部７に送られ、当該リアルタイ
ムのカメラ画像と照合される。照合の結果が一致すれ
ば、当該リアルタイムのカメラ画像が目印画像であるこ
とが確認される。

【００５３】この場合の画像照合の基準は、リアルタイ
ムのカメラ画像である。従って、これは、与えられた現
実世界の画像に一致する目印画像をデータベースから探
索する処理の一部である。このように、本発明の目印画
像照合装置１００によれば、任意のカメラ画像を用い
て、現実世界における任意の地点における現在位置の特
定を行うことができる。

【００５４】カメラ制御部５３はカメラ５２の方向やズ
ーム等を制御する。具体的には、例えば、カメラ５２の
上下方向の角度φ、カメラ５２の水平方向の角度θ、カ
メラ５２から当該カメラ画像までの距離ｄ、ズームＺを
制御する。これらの角度φ、角度θ、距離ｄ及びズーム
Ｚをカメラ５２又は当該カメラ画像の状態情報という。
なお、例えば、角度φは当該車両１０１の水平方向（例
えば、車軸又は道路１０４の路面）を基準線とし、これ
とカメラ５２のＣＣＤの受光面の垂線が作る角度であ
る。また、角度θは当該車両１０１の進行（直進）方向
を基準線とし、これとカメラ５２のＣＣＤの受光面の垂
線が作る角度である。

【００５５】カメラ制御部５３はカメラ５２の状態情報
を目印画像データベースシステム６及び画像照合部７に
送出する。これらはリアルタイムのカメラ画像について
の状態情報である。あるカメラ画像についての状態情報
が判れば、当該カメラ画像であるマーク等の本来の大き
さや形状を、周知の逆演算により容易に算出することが
できる。カメラ５２の状態情報は、前述のリアルタイム
のカメラ画像と共に、目印画像データベースシステム６
において目印画像データの検索に用いられ、画像照合部
７において画像照合処理に用いられる。

【００５６】画像記録部５１は、カメラ５２が撮影した
画像（カメラ画像）の内の記録する必要のある画像を取
り出して記録する。この記録は入力装置８からの指示に
従って行われる。運転者１０２は、カメラ５２から出力
装置９に映されたリアルタイムのカメラ画像を見て、保
存したい場合に入力装置８から保存を指示する。これに
より、その時点で出力装置９に表示されているカメラ画
像が画像記録部５１に保存される。なお、この時、カメ
ラ制御部７２から得られる当該カメラ画像についての状
態情報を同時に格納するようにしても良い。

【００５７】この保存されたカメラ画像は、後に、運転
者１０２の入力装置８からの指示により、画像記録部５
１から目印画像データベースシステム６に送られ、目印
画像データベース６２に目印画像として登録される。こ
れにより、運転者１０２は自分の選択による目印画像デ
ータベースシステム６を作成する（カスタマイズする）
ことができる。

【００５８】図９は目印画像データベースシステム説明
図であり、目印画像データベースシステム６の構成を示
す。目印画像データベースシステム６は、登録削除手段
６１、目印画像データベース６２、検索手段６３からな
る。

【００５９】目印画像データベース６２は特定の位置と
関連付けられた目印画像データを格納するデータベース
である。目印画像データベース６２は図１０に示すよう
なデータ構造とされ、複数の目印画像データを当該目印
画像データの属性データと共に格納する。目印画像デー
タベース６２は、半導体メモリ、ＣＤ−ＲＯＭＤＶＤ
登録の媒体に格納され予め提供される。また、運転者１
０２によりこれらの媒体に新たな目印画像データを登録
し、不要な目印画像データを削除することが可能とされ
る。従って、これらの媒体はデータの書き込み及び消去
可能な記憶媒体である必要がある。目印画像データベー
ス６２は、例えば半導体メモリ、これに格納された目印
画像データ、半導体メモリの読み出し／書き込み制御装
置及びドライバ等からなる。

【００６０】登録削除手段６１は、目印画像データベー
ス６２に対して新しい目印画像データを登録する登録手
段であり、また、既に目印画像データベース６２に登録
されている目印画像データの内の不要になったものを削
除する削除手段である。登録削除手段６１による登録及
び削除は、入力装置８からの指示入力に従って実行され
る。新たに登録される目印画像データは、例えば、画像
撮影部５からのカメラ画像（及びその状態情報）であ
る。このカメラ画像は、カメラ５２が撮影して、画像記
録部５１に記録してあった画像である。

【００６１】検索手段６３は、入力装置８、地図データ
ベースシステム２、画像照合部７からの検索依頼を受け
て、当該検索条件に基づいて目印画像データベース６２
を検索する。検索結果である目印画像データは、目印画
像データベース６２から画像照合部７及び出力装置９に
出力される。この目印画像データは、画像照合部７にお
いて画像照合に用いられ、出力装置９においてその表示
画面に表示される。

【００６２】図１０は目印画像データベースの一例説明
図であり、目印画像データベース６２のデータ構造を示
す。目印画像データベース６２を構成する個々の目印画
像データは、目印画像（照合用画像）の画像データと、
これに関連付けられた各種の属性情報からなる。属性情
報としては、名称、位置情報、地図との連携及びその他
の属性がある。目印画像の画像データはイメージデータ
として格納される。属性情報は文字データとして格納さ
れる。

【００６３】目印画像（目印１０３）としては、例え
ば、有名なガソリンスタンドやコンビニエンスストアの
マークのように店舗を特定できるマーク、一般にある特
定の物や場所を示すものとして有名なマーク（例えば、
病院の十字のマーク）、道路標識に用いられるマーク
（例えば、法定のマーク）、道路標識に用いられる字体
の文字、当該運転者１０２が特に入力したマーク等があ
る。

【００６４】名称は、当該目印画像がどのようなマーク
であるのかを示し、当該マークの付された建物等の名前
（通称や俗称）を示す。例えば、「星印」が有名なガソ
リンスタンドＡのチェーン店であるならば、その旨が示
される。

【００６５】位置情報は、当該目印画像に対応する現実
世界の場所が複数存在するか、ある特定の位置のみか、
移動可能か、指定された地域に限定されるか等を示す。
例えば、当該目印画像が有名な「ガソリンスタンドＡ」
のチェーン店のマーク（図中の「星印」）であれば、全
国的に「複数存在」する。当該目印画像がある特定の
「病院」のマーク（図中の「十字」）であれば、住所や
座標によって「特定の位置」に一意に定まる。当該目印
画像がある特定の「車両」のマーク（図中の「矢印」）
であれば、「移動可能」である。当該目印画像が運転者
１０２の登録した特殊なマーク（図中の「Ｘ印」）であ
れば、位置情報が「不明」である場合もある。当該目印
画像が交通標識における特定の「文字」、例えば「静
岡」等であれば、「複数存在」し、存在する２地域が限
定」される。なお、このように、運転者１０２は「Ｘ
印」のような特殊なマークでも自由に目印画像を登録で
きる。

【００６６】位置情報には、当該マークの存在する位置
を表す座標（現実世界における緯度及び経度）が付加さ
れる。この座標が格納されていると、これにより当該目
印画像は地図データベース２２と関連を持つ。ガソリン
スタンドＡのマークは複数存在するので、複数（例え
ば、数百個）の座標のデータが格納される。特定の病院
のマークは１個のみであるので、１個の座標のデータが
格納される。車両のマークは移動可能であり、また、特
殊なマークの位置情報は不明であるので、これらの座標
データは意味を持たず格納されない。交通標識は複数存
在するので、複数の座標のデータが格納される。

【００６７】位置情報に座標が付加されている場合、現
在位置推定部１において求められた座標で表される現在
位置との比較から、両者の位置の異同を知ることができ
る。この比較の結果、両者の位置の相違が予め定められ
た所定の値（例えば、数百ｍ）以下の場合、当該位置情
報に座標が付加されている目印画像は、当該現在位置に
関連するものであると判定される。従って、与えられた
現在位置を用いて目印画像データベース６２を検索する
ことにより、現在位置に関連する目印画像データを得る
ことができる。例えば、車両１０１が走行して目印画像
の位置情報の座標に近づくと、目印画像データベース６
２の検索により当該目印画像が検索結果として得られ
る。

【００６８】地図との連携は、当該目印画像が地図デー
タベース２２に格納される地図データとの関連を有する
か否かを示す。例えば、関連を有する場合には、「関連
あり」とされる。更に、関連を有する場合には、地図デ
ータベース２２上においてどのように表現されているか
を示す。例えば、地図データベース２２上において座標
で表示されていれば「座標検索可」とされ、地図データ
ベース２２上の特定の地域（例えば、県名で指定）のみ
について照合に用いるマークであることが指定されてい
れば「地域指定」とされる。

【００６９】その他の属性は当該目印画像についての種
々の属性情報からなり、例えば、「登録日時」「用途」
「意味」「ユーザ登録」登録のデータを含む。その他の
属性はこれら以外にも種々の属性情報を含む。

【００７０】「登録日時」は当該目印画像が登録された
日時を示す。「登録日時」は、当該目印画像が目印画像
データベース６２に予め登録されたものである場合に
は、図１０に示す「星印」のように記述されず、一方、
運転者１０２により登録されたのである場合にはその日
時が記述される。「登録日時」は、登録削除手段６１に
より、当該目印画像の目印画像データベース６２への登
録時に自動的に登録される。

【００７１】「用途」は当該目印画像の用途を示す。
「用途」は、当該目印画像が画像照合部７における画像
照合即ち位置の特定（後述の第１の使用方法）に用いら
れる場合には「照合」とされ、当該目印画像がそれを用
いた位置の探索（後述の第２の使用方法）に用いられる
場合には「探索」とされ、当該目印画像が前記の双方に
用いられる場合又は使用目的を運転者１０２がその都度
決定する場合には「任意」とされる。「用途」は、当該
目印画像の目印画像データベース６２への登録時に、運
転者１０２により登録される。

【００７２】「意味」は当該目印画像の持つ意味を示
す。「用途」は、当該目印画像がマークである場合には
「マーク」とされ、文字である場合にはその文字の持つ
意味、例えば「地名」とされる。「意味」は、当該目印
画像の目印画像データベース６２への登録時に、運転者
１０２により登録される。

【００７３】「ユーザ登録」は当該目印画像データが運
転者１０２の登録したデータか否かを示す。「ユーザ登
録」は、当該目印画像が目印画像データベース６２に予
め登録されたものである場合には、図１０に示す「星
印」のように記述されず、一方、運転者１０２により登
録されたのである場合には「ユーザ登録」とされる。
「ユーザ登録」は、登録削除手段６１により、当該目印
画像の目印画像データベース６２への登録時に自動的に
登録される。

【００７４】検索手段６３による目印画像データベース
６２の検索は、入力装置８、地図データベースシステム
２及び画像照合部７からの検索依頼により、例えば、以
下のように行われる。

【００７５】運転者１０２は、所望の目印画像データを
得るために、入力装置８からの入力により検索依頼を行
う。このために、目印画像データベース６２に格納され
ている目印画像が先頭から順に出力装置９に表示され、
これを見た運転者１０２が所望の目印画像を入力装置８
から選択入力する。これにより選択された目印画像デー
タは、例えば、画像照合部７に送られ、当該画像照合処
理の終了まで目画像データバッファ７２に保持される。
また、これにより選択された目印画像データは、例え
ば、登録削除手段６１により削除される。また、運転者
１０２は、所望の目印画像データを得るために、入力装
置８からの指示入力により地図データベースシステム２
を介して検索依頼を行う。このために、地図データベー
ス２２に格納されている地図データが入力装置８からの
指示入力により出力装置９に表示され、これを見た運転
者１０２が所望の目印画像の存在する（存在しそうな）
地図データ上の位置（例えば、有名なガソリンスタンド
の表示のある位置）を入力装置８から選択入力する。こ
の場合、地図データベースシステム２から検索手段６３
に対して、当該地図データ上の位置を表す座標が送られ
る。検索手段６３は、当該座標を用いて目印画像データ
ベース６２を検索して、当該座標を有する目印画像デー
タを得る。この目印画像データは、例えば、画像照合部
７に送られ、当該画像照合処理の終了まで目画像データ
バッファ７２に保持される。

【００７６】画像照合部７は、通常の画像照合処理に用
いる目印画像データを得るために、検索依頼を行う。即
ち、画像照合部７からの検索依頼を受けた検索手段６３
が目印画像データベース６２を検索し、その検索結果が
目印画像データベース６２から画像照合部７へ返され
る。この検索は、画像照合処理の間、随時繰り返され、
その都度新たな目印画像データが画像照合部７へ返され
る。

【００７７】図１１は画像照合部説明図であり、画像照
合部７の構成を示す。画像照合部７は、目印画像データ
ベースシステム６からの目印画像データと、画像撮影部
５からのカメラ画像とを照合する。画像照合部７は、目
印画像データ取得手段７１、目印画像データバッファ７
２、画像データ処理手段７３及び画像照合手段７４から
なる。

【００７８】目印画像データ取得手段７１は、所定の条
件に従って、目印画像データベースシステム６から目印
画像データを取得する。即ち、目印画像データ取得手段
７１が目印画像データベースシステム６に検索依頼を行
い、目印画像データベースシステム６が検索を行い、そ
の結果を目印画像データバッファ７２に返す。目印画像
データの取得の条件は、入力装置８、現在位置推定部
１、経路計画部４のいずれかから与えられる。

【００７９】取得される目印画像データは、例えば、運
転者１０２が入力装置８から指定した特定の目印画像デ
ータである。このために、目印画像データベース６２に
格納されている目印画像が出力装置９に表示され、これ
を見た運転者１０２が入力装置８から所望の目印画像を
入力装置８から指定する。この場合、この目印画像デー
タを用いて探索を行うのであるから、当該目印画像は当
該画像照合処理の終了まで目画像データバッファ７２に
保持される。

【００８０】また、取得される目印画像データは、例え
ば、現在位置推定部１の推定した現在位置に関連する目
印画像データ、又は、経路計画部４の計画した計画経路
上の位置に関連する目印画像データである。前者の目印
画像データを用いる場合には現在位置を明確にでき、後
者の目印画像データを用いる場合にはより先行した位置
について知ることができる。これらの場合、この目印画
像データは、画像照合処理の間、随時繰り返し取得さ
れ、その都度新たな目印画像データが目画像データバッ
ファ７２に保持される。

【００８１】目印画像データバッファ７２は目印画像デ
ータ取得手段７１により目印画像データベースシステム
６から取得した目印画像データを格納する。この目印画
像データがその時点での照合の対象（現実世界において
探すべきもの）である。なお、実際は、後述するよう
に、取得した目印画像データについての画像データ処理
を実行し、その結果得た目印画像データを保持する。

【００８２】画像データ処理手段７３は、画像撮影部５
により撮影されたカメラ画像を一旦保持し、このカメラ
画像について所定の前処理を実行し、前処理されたカメ
ラ画像を画像照合手段７４に出力する。

【００８３】この前処理は、画像撮影部５からのカメラ
画像を目印画像データと照合するために必要な３次元の
画像処理であって、予備的な補正処理又は変換処理であ
る。この前処理のために、画像撮影部５におけるカメラ
制御部５３からのカメラ５２の状態情報が用いられる。
この前処理によって、前処理されたカメラ画像は、カメ
ラ５２の状態による影響を排除してそのまま目印画像デ
ータと単純に照合できる画像とされる。

【００８４】なお、画像撮影部５からのカメラ画像につ
いて前処理を行って目印画像と照合可能な画像を得るよ
りも、目印画像について前処理を行ってカメラ画像と照
合可能な画像を得る方が、処理結果が正確（現在位置を
正しく求めることになる）でＣＰＵ８１の負担も小さ
い。そこで、実際は、この前処理は目印画像データバッ
ファ７２によりこれに保持された目印画像について行わ
れる。このために、画像撮影部５から当該カメラ画像に
ついての状態情報が目印画像データバッファ７２に送ら
れる。なお、これにより、画像データ処理手段７３と目
印画像データバッファ７２とで処理を分担できるので、
処理の高速化も図ることができる。

【００８５】以上の理由で、画像データ処理手段７３
は、画像撮影部５からのカメラ画像を保持し、当該カメ
ラ画像の中から周知の画像処理技術により照合の対象と
なる図形を抽出する。即ち、当該カメラ画像からノイズ
や周囲の不要な画像を除去し、諧調処理やエッジ検出等
により、照合の対象となる図形を抽出する。これによ
り、例えば「星印」の目印１０３が得られる。

【００８６】また、目印画像データバッファ７２は、保
持している目印画像について、前記状態情報を用いた補
正処理を行う。このために、目印画像データベースシス
テム６から目印画像データバッファ７２に対して、目印
画像データとして、当該目印画像と共にその目印画像を
撮影した際におけるカメラの状態情報が与えられる。こ
のカメラの状態情報は、目印画像データベースシステム
６において、例えば「その他の属性」の一部として格納
される。

【００８７】目印画像データバッファ７２は、画像撮影
部５から与えられた当該カメラ画像についての状態情報
と、目印画像データベースシステム６から与えられた当
該目印画像についての状態情報とを比較する。そして、
両者の角度φ、角度θ、距離ｄ及びズームＺについての
差分を求め、これを用いて当該目印画像を補正する。即
ち、目印画像を、当該カメラ画像と同一の状態情報とな
る状態で、撮影して得た画像と同一の画像とする。

【００８８】画像照合手段７４は、目印画像データバッ
ファ７２内の目印画像データと画像データ処理手段７３
からの前処理されたカメラ画像とを照合する。この照合
処理は、特に画像認識等の処理を必要とせず、単純に目
印画像データと前処理されたカメラ画像との一致／不一
致のみを判断する（両者の画像を重ねる）処理である。
即ち、目印画像データの画素の各々と前処理されたカメ
ラ画像の画素の各々とを比較すれば良いのみである。

【００８９】従って、この照合処理は、ＣＰＵ８１の負
担をあまり大きくすることなく、かつ、高速で行うこと
ができる。これにより、パターン認識のような複雑な処
理を不要にでき、画像照合の期間中に当該目印画像の存
在する位置を車両１０１が行き過ぎてしまい照合に失敗
することを殆ど防止できる。

【００９０】なお、目印画像データの画素の各々と前処
理されたカメラ画像の画素の各々とが完全に一致しなく
ても、照合に成功したものとして良い。照合の対象であ
る全画素数の所定の割合、例えば９０％程度が一致した
ら、照合に成功したものとして良い。

【００９１】画像照合手段７４における照合処理の結果
は、画像照合手段７４から出力装置９及び地図照合部３
に出力される。出力装置９は、音声等の所定の手段によ
って、当該照合処理の結果を運転者１０２に知らせる。
この運転者１０２への通知は、「目印１０３が１００ｍ
先にあります」という案内ではなく、「目印１０３が１
００ｍ先にありました」又は「目印１０３の１００ｍ手
前にいます」という確認の形式とされる。これにより、
運転者１０２は、現実世界での自己の車両１０１の位置
を、目印画像に相当するマーク等を探すことなく、直ち
に認識することができる。

【００９２】地図照合部３は、当該画像照合処理の結果
に従って、統合部３３によりマップマッチング手段３２
の算出した推定現在位置を訂正して、出力装置９に出力
する。なお、当該照合処理の結果を現在位置推定部１に
送出して、現在位置を訂正しても良い。

【００９３】図１２は画像照合処理フローであり、画像
照合部７の実行する処理を示す。画像照合部７が、運転
者１０２により画像照合を行う旨の指示入力があったか
否かを調べる（ステップ１）。画像照合を行わない場
合、画像照合処理を終了する。終了の場合でも通常のナ
ビゲーションシステムとしての処理を行うことができ
る。なお、実際は、運転者１０２が車両１０１のエンジ
ンを始動すると、画像照合を行わない旨の入力がない限
り、画像照合を行うように設定される。

【００９４】画像照合を行う場合、画像照合部７の目印
画像データ取得手段７１が、目印画像データベースシス
テム６から目印画像データを取得して、これを目印画像
データバッファ７２に保持する（ステップ２）。

【００９５】画像照合部７の画像データ処理手段７３
が、画像撮影部５からカメラ画像を取得し、取得したカ
メラ画像について所定の前処理を実行する（ステップ
３）。なお、実際は、前述のように、取得したカメラ画
像についての状態情報に基づいて、目印画像データバッ
ファ７２に保持された目印画像データが補正される。

【００９６】画像照合部７の画像照合手段７４が、目印
画像データバッファ７２に保持されている目印画像デー
タと取得したカメラ画像とを照合する（ステップ４）。
画像照合部７が、画像照合手段７４における照合が成功
したか否かを調べる（ステップ５）。

【００９７】照合が成功した場合、画像照合部７からの
照合成功の通知に従って出力装置９が所定の処理を行っ
て運転者１０２に現実世界において目印画像である目印
１０３が存在したこと及びその位置を知らせ（ステップ
６）、この後、ステップ１以下を繰り返す。

【００９８】照合が失敗した場合、画像照合部７が画像
照合を継続するか否かを調べる（ステップ７）。画像照
合を継続する場合、ステップ３以下を繰り返す。画像照
合を継続しない場合、画像照合部７が、一旦画像照合を
中断し（ステップ８）、この後、ステップ１以下を繰り
返す。

【００９９】図３に戻って、本発明の目印画像照合装置
１００の実行する目印画像照合処理について、図１３を
参照しつつ、詳細に説明する。目印画像照合装置１００
の実行する目印画像照合処理はその使用方法により、少
し異なる。

【０１００】第１の使用方法は、最も通常の使用方法で
あって、目印画像照合装置１００の本来の使用方法であ
る目印画像照合装置１００による照合である。即ち、運
転者１０２が経路誘導されている場合において、現在位
置推定部１により現在位置が求められる。この時、目印
画像データベースシステム６から当該現在位置に関連す
る目印画像を取り出し、一方、現実世界から画像撮影部
５によりカメラ画像を得る。この両者の照合に成功すれ
ば、地図データ上の位置と現実世界の位置との照合を行
うことができる。

【０１０１】第２の使用方法は、本発明の目印画像照合
装置１００に特有の使用方法であって、目印画像照合装
置１００による探索である。即ち、目印画像照合装置１
００は、地図と現実世界との照合に限らず、車両１０１
により移動しながら周囲から任意の物についての探索を
行う。運転者１０２は探索の対象物Ａを特定できる目印
画像を目印画像データベースシステム６に予め登録す
る。運転者１０２が車両１０１により移動しながら、カ
メラ画像を得て目印画像と照合する。これにより、任意
の対象物Ａを車両１０１の周囲の環境の中から探索する
ことができ、また、任意の対象物Ａについての情報を収
集することができる。

【０１０２】いずれの使用方法による場合でも、照合の
対象物は移動しても固定されていても良く、また、予め
目印画像データベースシステム６に登録されていても運
転者１０２が自身で登録しても良い。

【０１０３】まず、第１の使用方法による場合における
目印画像照合装置１００の実行する処理について説明す
る。運転者１０２が車両１０１のエンジンを始動する
と、目印画像照合装置１００が自動的に起動されて、そ
の出力装置９に画像照合処理及びナビゲーション処理の
初期画面（メニュー画面）が表示される。運転者１０２
はこの初期画面を見て、入力装置８から画像照合処理の
実行の指示を入力する。なお、前述のように、画像照合
処理を行わない場合でも、通常のナビゲーションシステ
ムとしての処理を実行することができる。

【０１０４】次に、出力装置９に所定の入力画面が表示
される。この入力画面を見た運転者１０２は、入力装置
８から、目的位置、当該目的位置への移動経路の条件等
を入力する。これらのデータを用いて、経路計画部４が
車両１０１の移動経路を計画する。計画された移動経路
は随時出力装置９に出力される。移動経路の途中に、
「星印」からなる目印１０３が存在する。

【０１０５】ここで、「星印」からなる目印１０３は当
初から目印データベースシステム６に登録されており、
一方、「十字」からなる目印１０３及び「Ｘ印」からな
る目印１０３は、ユーザ登録のデータであり、目印デー
タベースシステム６に未だ登録されていないものとす
る。

【０１０６】次に、運転者１０２が車両１０１の運転を
開始する。この走行開始に応じて、現在位置推定部１は
車両１０１の現在位置を推定する。地図照合部３は現在
位置推定部１により推定された現在位置と地図データベ
ースシステム２に格納された地図上の位置とを照合する
ことにより推定現在位置を得る。一方、走行開始に応じ
て、画像撮影部５は車両１０１の周囲の画像を撮影して
いる。

【０１０７】しばらく車両１０１が走行すると、現在位
置推定部１により推定された現在位置が目印１０３の位
置に近づく。即ち、目印１０３の位置が推定現在位置と
関連する位置となり、図１３に示すような位置関係とな
る。

【０１０８】そこで、画像照合部７は、目印画像データ
ベースシステム６から、推定現在位置と関連する位置に
ある「星印」からなる目印１０３の目印画像を取得し
て、これを目印画像データバッファ７２に保持する。ま
た、画像照合部７は、画像撮影部５からカメラ画像を取
得する。画像照合部７は、画像撮影部５からのカメラ画
像と、目印画像データベースシステム６から取得した推
定現在位置に関連する目印画像とを照合する。

【０１０９】例えば、図１３に示すように、最初に得た
カメラ画像が「十字」からなる目印１０３であるとする
と、これと「星印」からなる目印１０３の目印画像との
照合は失敗する。そこで、照合を継続して、「Ｘ印」か
らなる目印１０３のカメラ画像を取得し、再度目印画像
との照合を行うが、これも失敗する。そこで、更に照合
を継続して、「星印」からなる目印１０３のカメラ画像
を取得し、再度目印画像との照合を行う。この照合は成
功するので、画像照合部７は、出力装置９を介して運転
者１０２に対して、当該目印１０３の現実世界での位置
が例えば１００ｍ先であることを案内する。運転者１０
２は現在の位置から少し先にある現実世界の目印１０３
を発見できる。

【０１１０】この後、画像照合部７は、目印画像データ
ベースシステム６から、車両１０１の走行により更新さ
れた推定現在位置と関連する新たな目印１０３の目印画
像を取得して、照合を繰り返す。

【０１１１】なお、照合の失敗を繰り返している間に、
車両１０１の走行により、保持していいる「星印」から
なる目印１０３の目印画像の推定現在位置に車両１０１
が近づき過ぎた（又は、行き過ぎた）場合、画像照合部
７は、照合を継続することなく一旦中断する。そして、
画像照合部７は、更新された推定現在位置と関連する新
たな目印１０３の目印画像を取得して、照合を繰り返
す。

【０１１２】次に、第２の使用方法による場合における
目印画像照合装置１００の実行する処理について説明す
る。前述のように走行中に、例えば珍しいマークである
「Ｘ印」からなる目印１０３のカメラ画像を運転者１０
２が画像記録部５１に記録させ、これを更に登録削除手
段６１により目印画像データベース６２に登録する。

【０１１３】その後、日時を経て、運転者１０２が、先
に登録した珍しいマークである「Ｘ印」からなる目印１
０３を目的地として、再度車両１０１を運転する。運転
者１０２は画像照合部７に「Ｘ印」からなる目印１０３
の目印画像を取得させる。具体的には、運転者１０２に
よる入力装置８から目印画像データ取得手段７１への指
示入力により、目印画像データ取得手段７１が目印画像
データベースシステム６を検索して、「Ｘ印」からなる
目印１０３の目印画像を取得して、これを目印画像デー
タバッファ７２に保持する。

【０１１４】一方、画像照合部７は、画像撮影部５から
カメラ画像を取得し、取得したカメラ画像について所定
の前処理を実行する後、当該カメラ画像と、「Ｘ印」か
らなる目印１０３の目印画像とを照合する。

【０１１５】例えば、前述の図１３に示すように、最初
に得たカメラ画像が「十字」からなる目印１０３である
とすると、これと「Ｘ印」からなる目印１０３の目印画
像との照合は失敗する。そこで、照合を継続して、「Ｘ
印」からなる目印１０３のカメラ画像を取得し、再度目
印画像との照合を行う。この照合は成功するので、画像
照合部７は、出力装置９を介して運転者１０２に対し
て、当該目印１０３の現実世界での位置が例えば１００
ｍ先であることを案内する。運転者１０２は現在の位置
から少し先にある現実世界の「Ｘ印」からなる目印１０
３を発見でき、目的地に到達することができる。なお、
この後、画像照合部７は目的地に到達したので画像照合
処理を終了する。

【０１１６】また、第２の使用方法による場合、目印画
像照合装置１００は、以下のような処理を行うことがで
きる。例えば、図１０に示すように、「静岡」なる文字
を目印画像として取得して、これを目印画像データバッ
ファ７２に保持する。画像撮影部５からのカメラ画像が
「静岡」との照合に成功した場合、その都度、当該カメ
ラ画像を得た地点の座標を目印画像データベース６２の
位置情報に付加する。これにより、「静岡」なる文字を
含む交通標識の存在する位置についての情報を自動的に
収集することができる。

【０１１７】「静岡」に代えて、「レストラン」の文字
や有名なガソリンスタンドのマークとすれば、同様の処
理によって、レストランやガソリンスタンドの存在する
位置についての情報を自動的に収集することができる。

【０１１８】以上、本発明をその実施の態様により説明
したが、本発明はその主旨の範囲において種々の変形が
可能である。例えば、現在位置推定部１において推定し
た現在位置に代えて、地図照合部３において求めた地図
上の推定現在位置に関連する目印画像を、画像照合部７
におけるカメラ画像との照合に用いても良い。

【０１１９】また、車両１０１は自動車に限られず、オ
ートバイ、船舶、航空機等の移動体であれば本発明を適
用することができる。地図データは道路地図のデータに
限られず、海図等の地理的なデータであれば本発明を適
用することができる。

【０１２０】また、本発明は、以上に述べた処理を目印
画像照合装置であるコンピュータに実現させるプログラ
ムを格納したプログラム記憶媒体を提供する。従って、
当該プログラム記憶媒体も本発明の技術的範囲に属する
ものである。

【０１２１】

【発明の効果】以上説明したように、本発明によれば、
目印画像照合装置において、現実世界を撮影して得たカ
メラ画像と目印画像データベースシステムに格納された
目印画像データとを照合することによって、現実世界に
おける位置と地図データ上における推定現在位置との照
合を行うことができるので、現実世界と地図上の情報と
の照合を運転者自身で行う必要性をなくすことができ、
かつ、運転者にとって最も重要な現実世界での位置確認
を支援することができ、結果として、従来のナビゲーシ
ョンシステムでは不可能であった現実世界と地図データ
との照合を自動的に行うことができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】目印画像照合装置説明図である。

【図３】目印画像照合装置構成図である。

【図４】目印画像照合装置構成図である。

【図５】現在位置推定部説明図である。

【図６】地図データベースシステム説明図である。

【図７】地図照合部説明図である。

【図８】画像撮影部説明図である。

【図９】目印画像データベースシステム説明図である。

【図１０】目印画像データベースの一例説明図である。

【図１１】画像照合部説明図である。

【図１２】画像照合処理フローである。

【図１３】目印画像照合処理説明図である。

【符号の説明】

１現在位置推定部２地図データベースシステム３地図照合部４経路計画部５画像撮影部６目印画像データベースシステム７画像照合部８入力装置９出力装置１００目印画像照合装置１０１車両１０２運転者１０３目印１０４道路

Claims

【特許請求の範囲】

【請求項１】当該車両の現在位置を推定する現在位置
推定部と、当該車両の周囲の画像を撮影する画像撮影部と、目印画像を格納する目印画像データベースシステムと、前記画像撮影部によって撮影された画像と、前記目印画
像データベースシステムに格納された目印画像であって
前記現在位置推定部により推定された前記現在位置に関
連する目印画像とを照合する画像照合部とを備えること
を特徴とする目印画像照合装置。
【請求項２】前記目印画像データベースシステムは、複数の目印画像を格納する目印画像データベースと、前記画像撮影部の撮影した画像を前記目印画像データベ
ースに登録する登録手段とを備えることを特徴とする請
求項１に記載の目印画像照合装置。
【請求項３】当該目印画像照合装置は、更に、所定の入力を行う入力装置と、所定のデータを用いて経路を計画する経路計画部とを備
え、前記画像照合部は、前記入力装置、現在位置推定部又は
経路計画部からの指示入力に従って、前記目印画像デー
タベースシステムから目印画像を取得する目印画像デー
タ取得手段を備えることを特徴とする請求項１に記載の
目印画像照合装置。
【請求項４】当該目印画像照合装置は、更に、地図データを格納する地図データベースシステムと、前記現在位置推定部により推定された前記現在位置と前
記地図データベースシステムに格納された地図上の位置
とを照合することにより、地図データ上における推定現
在位置を得る地図照合部とを備え、前記画像照合部における照合の結果に従って、前記地図
照合部における推定現在位置を修正することを特徴とす
る目印画像照合装置。
【請求項５】当該車両の現在位置を推定し、目印画像を格納する目印画像データベースシステムに格
納された目印画像であって前記推定された現在位置に関
連する目印画像を取得し、当該車両の周囲の画像を撮影し、前記推定された現在位置に関連する目印画像と前記撮影
された画像とを照合することを特徴とする目印画像照合
方法。
【請求項６】当該車両の現在位置を推定する処理と、前記推定された現在位置と地図データを格納する地図デ
ータベースシステムに格納された地図上の位置とを照合
することにより、地図データ上における推定現在位置を
得る処理と、当該車両の周囲の画像を撮影する処理と、前記撮影された画像と、目印画像を格納する目印画像デ
ータベースシステムに格納された目印画像であって前記
推定現在位置に関連する目印画像とを照合する処理とを
目印画像照合装置であるコンピュータに実現させるプロ
グラムを格納したことを特徴とするプログラム記憶媒
体。