JPH09218955A

JPH09218955A - 位置認識方法及び装置

Info

Publication number: JPH09218955A
Application number: JP8026421A
Authority: JP
Inventors: Hiroko Sato; 裕子佐藤; Shinji Wakizaka; 新路脇坂
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-02-14
Filing date: 1996-02-14
Publication date: 1997-08-19

Abstract

(57)【要約】【課題】現在位置の環境の悪影響が少ない位置認識方法
及び装置を得る。【解決手段】画像入力装置１０１で周囲の風景を撮影し
て得た画像データに基づいて立体画像作成部１０３で立
体画像データを作成し、データベース検索部１１０は立
体画像データと３次元地図データを照合し、両者が略一
致したところを現在位置として２次元道路地図データを
検索して表示装置１１２に表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像位置認識方法
に係り、特にＣＣＤカメラなどの画像入力装置で静止画
像データを取り込み、該静止画像データと地図データを
照合することにより現在位置を確認する位置認識方法及
び装置に関する。

【０００２】

【従来の技術】現在位置を知るためのナビゲーション装
置として、ＣＤ−ＲＯＭに格納された地図データを用い
て走行距離センサーと地磁気による方位センサーにより
現在位置を求めて液晶ディスプレイなどの表示装置に表
示するものが提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の走行距離センサーと地磁気による方位センサ
ーにより現在位置を求めるナビゲーション装置は、建物
の中や地下街などに入ると方位センサーが正常に働かな
くなり、該ナビゲーション装置が正常に機能しなくなる
という問題があった。

【０００４】本発明の目的は、このような従来の問題を
解決するものであり、現在位置の環境の悪影響が少ない
位置認識方法及び装置を提案することにある。

【０００５】

【課題を解決するための手段】本発明は、周囲の風景を
撮影して得た静止画像データに基づいて立体画像データ
を作成し、予め用意した３次元地図データと前記立体画
像データを照合して該３次元地図データとの整合状態か
ら撮影位置を地図上の現在位置として認識することを特
徴とする。

【０００６】また、本発明は、周囲の風景を撮影して得
た静止画像データに基づいて立体画像データを作成する
と共に文字データを抽出し、予め用意した３次元地図デ
ータと前記立体画像データ及び文字データを照合して該
３次元地図データとの整合状態から撮影位置を地図上の
現在位置として認識することを特徴とする。

【０００７】また、本発明は、周囲の風景を撮影して得
た静止画像データに基づいて立体画像データを作成し、
現在位置の地名データを入力し、予め用意した３次元地
図データと前記立体画像データ及び地名データを照合し
て該３次元地図データとの整合状態から撮影位置を地図
上の現在位置として認識することを特徴とする。

【０００８】具体的には、前記静止画像データは、ソリ
ッド形式の立体画像データに変換する。

【０００９】また、前記現在位置は、２次元地図上に表
示する。

【００１０】また、前記立体画像データは、俯仰角度調
整を行なった後に３次元地図データと照合する。

【００１１】また、前記３次元地図データは、属性デー
タとして文字データを含むことを特徴とする。

【００１２】また、前記地名データは、音声入力するこ
とを特徴とする。

【００１３】また、本発明は、周囲の風景を静止画像デ
ータとして入力する画像入力装置と、入力された静止画
像データから立体画像データを作成する立体画像作成手
段と、３次元地図データを格納した３次元地図データベ
ースと、前記立体画像データと３次元地図データを比較
照合する検索手段と、立体画像データと整合した３次元
地図データに基づいて現在位置を表示する表示手段を備
えたことを特徴とする。

【００１４】具体的には、前記立体画像作成部は静止画
像データに基づいてソリッド形式の立体画像データを作
成することを特徴とする。

【００１５】また、前記３次元地図データベースは、３
次元地図データにリンクして属性データを格納している
ことを特徴とする。

【００１６】また、前記画像データから看板や標識など
の文字部分を抜き出して文字コードデータを作成する文
字認識手段を設け、前記検索手段は、文字コードと立体
画像データに基づいて３次元地図データを照合すること
を特徴とする。

【００１７】また、現在位置を示すキーワードとなる音
声入力される地名データを文字コードに変換する音声認
識手段を設け、前記検索手段は、文字コードと立体画像
データに基づいて３次元地図データを照合するようにし
たことを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明の一実施形態を図面
を参照して説明する。図１は、本発明になる位置認識シ
ステムの一実施形態を示すブロック図である。図面にお
いて、１０１は、周囲の風景を撮影することにより静止
画像データ信号に変換して取り込むＣＣＤカメラやディ
ジタルスチルカメラなどの画像入力装置である。１０２
は、前記画像入力装置１０１で取り込んだアナログの静
止画像データをディジタル画像データに変換するための
ディジタルデータ変換部である。１０３は、ディジタル
データ変換部１０２で変換して得たディジタル画像デー
タを基にしてソリッド形式の立体画像データを作図する
立体画像作成部である。１０４は、前記ディジタルデー
タ変換部１０２で得たディジタル画像データから看板や
標識などの文字部分を抜き出して認識し、認識した文字
を文字コードに変換して出力する文字認識処理部であ
る。１０５は、前記文字認識処理部１０４が文字認識の
ために参照する文字データを格納している大規模文字デ
ータベースである。１０６は、音声を拾って音声データ
信号に変換するためのマイクロフォンである。１０７
は、前記マイクロフォン１０６から得られる音声データ
を認識して、認識した音声を文字コードに変換して出力
する音声認識処理部である。１０８は、前記音声認識処
理部１０７が音声認識するために参照する音声データを
格納した音声データベースである。１０９は、３次元地
図データを予め格納した３次元地図データベースであ
る。そして、１１０は、前記文字認識処理部１０４及び
音声認識処理部１０７から出力された文字コードによっ
て構成されるキーワードと、立体画像作成部１０３から
出力された立体画像データ及び３次元地図データベース
１０９からの３次元地図データに基づいて現在位置を検
索するデータベース検索部である。１１１は、現在位置
を確認するための２次元道路地図データを格納している
２次元道路地図データベースであり、１１２は現在位置
を表示するための表示装置である。

【００１９】このような位置確認システムにおける情報
処理の流れの概要を図２を用いて説明する。

【００２０】先ず、周囲の風景を静止画像データとして
取り込むために、画像入力装置１０１で周囲の風景（静
止画像）を静止画像データ信号に変換して取り込む（ス
テップ２０１）。この実施形態では、画像入力装置１０
１は、固定焦点式のレンズをもつＣＣＤカメラを使用す
るようにしたが、これに限られるものではない。ディジ
タルデータ変換部１０２は、取り込んだ静止画像データ
をビットマップデータ形式のディジタル画像データに変
換し（ステップ２０２）、このディジタル画像データを
立体画像作成部１０３と文字認識処理部１０４に転送す
る。

【００２１】立体画像作成部１０３は、先ず、風景静止
画像をディジタル化したディジタル画像データを建物や
木，山，看板，標識，信号などの輪郭だけを表示するソ
リッド形式の立体画像データに変換し（ステップ２０
３）、そして、検索（照合）するために適したソリッド
形式の立体画像となるように俯仰角調整を行なう（ステ
ップ２０４）。

【００２２】文字認識処理部１０４は、ディジタルデー
タ変換部１０２から転送されてきたディジタル画像デー
タ２から、看板や標識などの文字部分を切り出す（ステ
ップ２０５）。そして、切り出した文字から文字形状を
分析し、文字データベース１０５の文字データと照合し
て単語レベルで認識し、これを文字コードとして出力す
る（ステップ２０６）。

【００２３】立体画像を俯仰調整するために必要な地上
から画像入力装置（カメラ）１０１までの高さや、デー
タベース検索のときのキーワードとなる地名などのデー
タは、マイクロフォン１０６を用いて音声入力する（ス
テップ２０７）。音声はマイクロフォン１０６によって
音声データに変換して取り込む。音声認識処理部１０６
は、取り込んだ音声データを音声認識してキーワードと
地上から画像入力装置１０１までの高さに分け（ステッ
プ２０８）、それぞれを文字コードとして出力する（ス
テップ２０９，２１０）。詳細については、後述する。

【００２４】データベース検索部１１０は、画像データ
における看板や標識などから切り出してステップ２０６
で認識した文字の文字コードと、音声入力されたデータ
に基づいてステップ２０９で出力されるカメラの高さを
示す文字コード及びステップ２１０で出力される地名を
示す文字コードを入力し、先ず、これらの文字コードか
ら３次元地図データベース１０９を検索してデータベー
スの範囲を特定し、その後、該３次元地図データベース
１０９の前記特定の範囲の３次元地図データと前記立体
画像作成部１０３からの立体画像データとの重畳照合を
行なう（ステップ２１１）。立体画像データと３次元地
図データが略一致（整合）したならば該位置を現在位置
とし、この現在位置を含む２次元道路地図データを２次
元道路地図データベース１１１から検索して現在位置マ
ークと共に表示部１１２上に表示する（ステップ２１
２）。

【００２５】このようなシステムの構成と処理の流れに
おいて、各々の処理部の動作について説明する。

【００２６】先ず、立体画像作成部１０３におけるディ
ジタル画像データからソリッド形式の立体画像データへ
の変換方法について、図３を用いて説明する。ディジタ
ル化された画像データをソリッド形式の画像データに変
換するには、画像の輪郭抽出処理を行なう。画像は、本
来、２次元の連続関数と考えられ、ｆ（ｘ，ｙ）を画像
の濃度を表す関数とする。輪郭の抽出処理は基本的には
微分処理であるが、ディジタル画像では微分を差分にお
き換えて考えることができるので、例えば、輪郭抽出の
式としてよく知られているラプラシアンの式により、エ
ッジを検出する（ステップ３０１）。図４は、変換前の
原画とラプラシアン変換後の画像の例を示している。ラ
プラシアン変換式は下記の式（１）で表される。

【００２７】 ∇²ｆ(i,j)＝ｆ(i,j+1)＋ｆ(i,j-1)＋ｆ(i+1,j)＋ｆ(i-1,j)−４ｆ(i,j) ………（１）この∇²ｆ(i,j)の値により、輪郭抽出対象点であるかど
うかを判定する（ステップ３０２）。このようにして輪
郭抽出処理を行ない、輪郭抽出処理で不十分な線を補正
することにより（ステップ３０３）、ソリッド形式の画
像データに変換する（ステップ３０４）。なお、この実
施形態は、輪郭抽出の一例としてラプラシアンの式を用
いてエッジ検出を行ない、ソリッド形式の画像データに
変換したが、式はこれに限られるものではない。

【００２８】次に、ソリッド形式の立体画像データと３
次元地図データとの検索（照合）を説明する前に、３次
元地図データベース１０９の構造について説明する。

【００２９】３次元地図データベース１０９の３次元地
図データは、図５（１）に示すような座標列による多角
形形状の図形によって表されるベクトルデータであり、
図５（２）に示すような形式で格納されている。また、
３次元地図データとリンクして属性データが付加されて
いる。この属性データには、地名や看板及び標識等の文
字情報等のデータが含まれている。

【００３０】３次元地図データベース１０９の３次元地
図データとソリッド形式の立体画像データを比較照合す
るときは、先ず、図６に示すように、画像入力装置（カ
メラ）１０１から撮影対象物の風景画像の角度となる俯
仰角αを計測し、音声によって地上からカメラまでの凡
その高さ情報ｈを入力する。次に、音声入力によって入
力された町や市の名称や画像データから文字認識によっ
て取り込んだ文字情報から３次元地図データの属性デー
タを検索し、該当する地図データの範囲を特定する。特
定された幾つかのデータベースのうち、ある単位毎に３
次元地図データとソリッド形式の立体画像データを図７
に示すように重ね合わせて照合する検索（重畳検索）を
行なう。このソリッド形式の立体画像（データ）を少し
ずつずらして検索を行っていき、略一致したときにその
中央の座標値を読み取り、属性データに含まれている位
置情報を参照して撮影位置である現在位置を特定し、２
次元道路地図データベース１１１から現在位置を示す２
次元道路地図データを抽出し、現在位置マークを合成し
て表示装置１１２上に表示する。なお、この実施形態に
おいては、３次元地図データベース１０９と２次元道路
地図データベース１１１を分けたが、一緒のデータベー
スとすることもできる。

【００３１】このような位置認識方法及び装置によれ
ば、図８に示すように、周囲の風景をカメラで撮影して
得た画像データと地図データを照合して撮影位置（現在
位置）を認識し、該現在位置を含む２次元道路地図８０
１と該現在位置を点滅矢印マーク８０２で表示する画像
を表示装置１１２に表示させることにより、現在位置を
容易に確認できるようにすることができる。

【００３２】

【発明の効果】本発明は、周囲の風景を撮影して得た画
像データを地図データと照合して現在位置を認識するの
で、建物中や地下街などで現在位置がわからなくなって
も撮影できる環境であれば、容易に現在位置を確認する
ことができる。

【図面の簡単な説明】

【図１】本発明になる位置認識システムのブロック図で
ある。

【図２】図１に示した位置認識システムにおける情報処
理フローチャートである。

【図３】図１に示した位置認識システムにおける立体画
像作成部が実行する立体画像作成処理のフローチャート
である。

【図４】ラプラシアン変換の例を示す画像である。

【図５】図１に示した位置認識システムにおける３次元
地図データベースの構成図である。

【図６】図１に示した位置認識システムにおける立体画
像の俯仰角調整説明図である。

【図７】図１に示した位置認識システムのデータベース
検索部が実行する重畳検索を説明する図である。

【図８】図１に示した位置認識システムの使用形態を示
す斜視図である。

【符号の説明】

１０１…画像入力装置、１０３…立体画像作成部、１０
５…大規模文字データベース、１０８…音声データベー
ス、１０９…３次元地図データベース、１１０…データ
ベース検索部、１１１…２次元道路地図データベース、
１１２…表示装置。

Claims

【特許請求の範囲】

【請求項１】周囲の風景を撮影して得た静止画像データ
に基づいて立体画像データを作成し、予め用意した３次
元地図データと前記立体画像データを照合して該３次元
地図データとの整合状態から撮影位置を地図上の現在位
置として認識することを特徴とする位置認識方法。
【請求項２】請求項１において、前記静止画像データを
ソリッド形式の立体画像データに変換することを特徴と
する位置認識方法。
【請求項３】請求項１において、前記現在位置を２次元
地図上に表示することを特徴とする位置認識方法。
【請求項４】請求項１において、前記立体画像データの
俯仰角度調整を行なった後に３次元地図データと照合す
ることを特徴とする位置認識方法。
【請求項５】周囲の風景を撮影して得た静止画像データ
に基づいて立体画像データを作成すると共に文字データ
を抽出し、予め用意した３次元地図データと前記立体画
像データ及び文字データを照合して該３次元地図データ
との整合状態から撮影位置を地図上の現在位置として認
識することを特徴とする位置認識方法。
【請求項６】請求項５において、前３次元地図データ
は、属性データとして文字データを含むことを特徴とす
る位置認識方法。
【請求項７】請求項５において、前記現在位置を２次元
地図上に表示することを特徴とする位置認識方法。
【請求項８】周囲の風景を撮影して得た静止画像データ
に基づいて立体画像データを作成し、現在位置の地名デ
ータを入力し、予め用意した３次元地図データと前記立
体画像データ及び地名データを照合して該３次元地図デ
ータとの整合状態から撮影位置を地図上の現在位置とし
て認識することを特徴とする位置認識方法。
【請求項９】請求項８において、前記地名データを音声
入力することを特徴とする位置認識方法。
【請求項１０】請求項８において、前３次元地図データ
は、属性データとして文字データを含むことを特徴とす
る位置認識方法。
【請求項１１】請求項８において、前記現在位置を２次
元地図上に表示することを特徴とする位置認識方法。
【請求項１２】周囲の風景を静止画像データとして入力
する画像入力装置と、入力された静止画像データから立
体画像データを作成する立体画像作成手段と、３次元地
図データを格納した３次元地図データベースと、前記立
体画像データと３次元地図データを比較照合する検索手
段と、立体画像データと整合した３次元地図データに基
づいて現在位置を表示する表示手段を備えたことを特徴
とする位置認識装置。
【請求項１３】請求項１２において、前記立体画像作成
部は静止画像データに基づいてソリッド形式の立体画像
データを作成することを特徴とする位置認識装置。
【請求項１４】請求項１２または請求項１３において、
前記３次元地図データベースは、３次元地図データにリ
ンクして属性データを格納していることを特徴とする位
置認識装置。
【請求項１５】請求項１２または請求項１４において、
前記画像データから看板や標識などの文字部分を抜き出
して文字コードデータを作成する文字認識手段を設け、
前記検索手段は、文字コードと立体画像データに基づい
て３次元地図データを照合することを特徴とする位置認
識装置。
【請求項１６】請求項１２において、現在位置を示すキ
ーワードとなる音声入力される地名データを文字コード
に変換する音声認識手段を設け、前記検索手段は、文字
コードと立体画像データに基づいて３次元地図データを
照合することを特徴とする位置認識装置。