JP3706907B2 - 携帯者の現在位置および方位推定方法 - Google Patents
携帯者の現在位置および方位推定方法 Download PDFInfo
- Publication number
- JP3706907B2 JP3706907B2 JP2002043844A JP2002043844A JP3706907B2 JP 3706907 B2 JP3706907 B2 JP 3706907B2 JP 2002043844 A JP2002043844 A JP 2002043844A JP 2002043844 A JP2002043844 A JP 2002043844A JP 3706907 B2 JP3706907 B2 JP 3706907B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- carrier
- wearer
- azimuth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、携帯者の現在位置および方位推定方法に関し、特に詳細には、携帯者の視線の画像を撮影する画像撮影装置が携帯者（歩行者）の身体に装着され、記憶装置に実環境を撮影した画像の集合が蓄積され、その各蓄積画像の撮影位置が既知であって各蓄積画像のすべての画素に対応する方位が既知であり、装置携帯者のある時点での位置と方位が何らかの方法によって得られているとき、装置携帯者の複合的な位置と方位の推定する携帯者の現在位置および方位推定方法に関するものである。
【０００２】
【従来の技術】
この種の携帯者の現在位置および方位推定に関する技術については、例えば、特開２００１−２７２２４７号公報に記載されている「携帯型複合測位装置および現在位置推定方法」が知られている。ここに記載の方法は、ＧＰＳ（Global Positioning System）受信機と歩数計、方位センサー等を結合、複合させた携帯型の位置・方位を推定する方法である。
【０００３】
また、学術論文では、『「パノラマ画像群を位置合わせに用いたライブ映像上への注釈提示とその実時間システム」、電子情報通信学会論文誌、（D-II）Vol. J84-D-II No.10, October 2001, pp. 2293-2301』に記載されているものが公知となっている。この学術論文に記載されているシステムによる方法では、利用者視点のカメラから得られる画像を、事前に実環境中で撮影された位置・方位が既知である画像（パノラマ画像）のデータベースと照合することによって、利用者の絶対位置と絶対方位を推定する。
【０００４】
【発明が解決しようとする課題】
ところで、上記の従来の技術においては、携帯者の絶対位置を推定するための情報として、ＧＰＳ信号を受信できる屋外環境においては、ＧＰＳ信号（経度緯度の位置情報）を利用することができ、そのままで位置を推定できるが、ＧＰＳ信号は遮蔽されている屋内環境において利用することが難しく、したがって、例えば室内環境においては、携帯者の現在の位置を推定することが困難であるいという問題点がある。
【０００５】
また、利用者（携帯者）の視点から得られる画像と事前に撮影された位置・方位が既知である画像を照合することによって、絶対位置・方位を推定する方法を利用すると、屋内環境においても利用できるが、広範囲な環境で位置・方位を推定するためには、位置・方位が既知である画像を、事前に大量に撮影しておく必要があり、利用者（携帯者）の視点画像を得るカメラから得られる画像と、事前に撮影された画像との照合のための画像処理には、高い処理コストが必要である問題点がある。
【０００６】
本発明は、このような問題点を解決するためになされたものであり、本発明の目的は、ＧＰＳ信号が遮蔽されるような屋内環境において携帯者の絶対位置と絶対方位を、事前に撮影された位置・方位が既知である画像データベースとの照合に基づいて行う位置および方位推定において、より少ない枚数の画像データベースの照合による低い処理コストで、位置推定を可能にする携帯者の現在位置および方位推定方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記のような問題を解決するため、基本的な構成として、本発明による携帯者の現在位置および方位推定方法は、画像撮影手段が携帯者の身体に装着され、記憶手段に実環境を撮影した画像の集合が蓄積されていて、各蓄積画像の撮影位置が既知であり、各蓄積画像のすべての画像に対応する方位が既知であり、携帯者のある時点での位置と方位が何らかの方法によって得られているとき、歩行動作検出手段によって計測された前記の時点からの携帯者の歩数と事前に設定された携帯者の歩幅の二つから移動距離を推定し、前記の時点での携帯者の位置から前記の推定された移動距離で到達可能な位置で撮影された蓄積画像を、前記撮影位置と方位が既知である蓄積画像の集合からすべて取り出し、前記携帯者の身体に装着された画像撮影装置から得られる入力画像と各蓄積画像との照合を行い、十分に良好な照合結果が存在するとき、最も良好な照合結果を与える蓄積画像の撮影地点が携帯者の現在位置であると推定し、携帯者の方位を前記照合結果によって前記入力画像が当てはまる蓄積画像上の部位に対応する方位であると推定する。
【０００８】
本発明による携帯者の現在位置および方位推定方法においては、歩行動作検出手段により歩行動作が検出された時点でのみ、画像撮影手段から得られる最新の画像との照合を行い、必要な照合処理の回数を節約する。これにより、低い処理コストで、位置および方位の推定が可能となる。
【０００９】
また、本発明の携帯者の現在位置および方位推定方法においては、最後に携帯者の位置と方位が取得された時点から、歩行動作検出手段により歩行動作が検出された時点までの、画像撮影手段の撮影視点方位の相対的な回転角度を計測できる相対回転角計測手段を用いて得られる回転角度を用いて、歩行動作が検出された時点で画像撮影手段が向いている方位を推定し、前記画像撮影手段から得られる画像と前記の携帯者が到達可能な位置で撮影された蓄積画像の集合の各画像と照合するときに、照合すべき方位の候補となる範囲を前記の推定された現在の方位に基づいて削減し、各画像の照合の処理回数を節約する。
【００１０】
また、本発明による携帯者の現在位置および方位推定方法においては、携帯者が絶対方位計測手段を腰部に装着しており、前記絶対方位計測手段が利用可能な場所に関する情報が記憶手段に蓄積されているとき、前記携帯者の位置と方位が取得された時点で得られている携帯者の位置で前記絶対方位計測手段が利用可能であることが、前記の蓄積されている情報から判定できるとき、前記絶対方位計測手段によって計測される携帯者の現在の絶対方位を用いて、歩行動作検出手段が歩行動作を検出するとき、携帯者が移動可能な範囲を前記の計測された絶対方位に基づいて限定し、照合すべき前記蓄積画像の集合を削減し、各画像の照合の処理回数を節約する。
【００１１】
また、本発明の携帯者の現在位置および方位推定方法においては、局所的に利用可能な位置計測手段が携帯者に装着されており、記憶手段に前記位置計測手段が利用可能な場所が蓄積されているとき、推定される携帯者の到達可能範囲内に前記位置計測手段の利用可能な位置が含まれているとき、携帯者に装着されている前記位置計測手段を作動させる。これにより、前記位置計測手段によって消費される電力と位置推定演算に要する計算コストを節約する。
【００１２】
さらに、本発明による携帯者の現在位置および方位推定方法においては、前記位置計測手段によって現在位置が得られたとき、前記の入力画像と蓄積画像の集合との照合において、照合すべき蓄積画像の集合を限定し、前記の照合の対象とする蓄積画像の枚数を削減し、必要となる照合の回数を節約する。
【００１３】
このような本発明による携帯者の現在位置および方位推定方法によると、従来、歩行動作検出手段を用いず、画像の集合だけで携帯者の位置と方位を推定する場合、膨大な枚数の画像の照合が必要となるが、歩行動作検出手段によって携帯者の移動計測することで、移動経路上では画像を照合する必要性をなくして、結果として必要となる画像の照合の処理を削減することができる。
【００１４】
また、移動距離演算手段により推定される携帯者の移動距離を用いることで、照合すべき画像の集合を限定することができ、これにより、演算処理のコストを削減することができる。また、歩行動作検出手段により、歩行動作が検出された時にのみ、携帯者の位置・方位演算を実行することにより、演算処理のコストを削減することができる。
【００１５】
さらに、歩行絶対方位演算手段によって推定される携帯者の歩行による移動方向を用いることにより、到達可能な位置を限定することができ、そのため、照合すべき画像の集合を限定することができ、これにより、さらに演算処理のコストを削減することができる。
【００１６】
【発明の実施の形態】
以下、本発明を実施する場合の形態について、図面を参照して具体的に説明する。本発明による携帯者の現在位置および方位推定方法を実施する場合は、図１に示すように、携帯者の頭部方位とおおむね同一の光軸方向になるように携帯者に装着された画像撮影手段１と、携帯者の歩行動作を検出する歩行動作検出手段２、画像撮影手段１の相対的な回転角度を計測する相対回転角計測手段４、携帯者の腰部に装着された絶対方位計測手段３、限定された条件の下で携帯者の現在位置を計測できる位置計測手段１４、演算処理手段１２、演算処理手段に対して外部から設定情報等を入力するための入力手段１１と記憶手段１３から成る携帯可能な装置を備えるものとする。
【００１７】
演算処理手段１２には、３つの処理モジュール（位置・方位演算手段５、移動距離演算手段６、絶対方位演算手段７としての歩行絶対方位演算手段７Ａおよび画像絶対方位演算手段７Ｂ）が組み込まれており、記憶手段１３には、実環境に関して３つの情報のデータベース（画像情報データベース８、地図情報データベース９、付加情報データベース１０）が格納されている。
【００１８】
画像情報データベース８には、撮影地点と方位が既知である画像の集合が格納されており、位置を検索キーにして所望の位置とその周辺で撮影された画像の集合が取り出せる。地図情報データベース９には、携帯者が移動する可能性のある場所の地図が格納されており、地点間の歩行移動に要する移動距離を引き出すことができる。また、地図情報データベース９には、絶対方位計測手段３が利用可能となる場所の情報が格納されているものとする。また、付加情報データベース１０には、画像データベース８に格納された各画像と結び付けられた付加情報が格納されている。
【００１９】
ここの備えられた装置においては、ある時刻Ｔにおける携帯者の位置と方位が何らかの方法で得られているとき、次のように動作することで、装置の携帯者の現在位置および方位を推定する。
【００２０】
画像撮影手段１から得られた画像は、位置・方位演算手段５へ入力される。歩行動作検出手段２は、携帯者の歩行動作を検出したとき、そのイベントは移動距離演算手段６へ入力され、移動距離演算手段６は、時刻Ｔを基準として、その歩行動作の回数（すなわち歩数）を数え、入力手段１１等を通して設定されている携帯者に固有の情報（歩幅など）を考慮して歩行動作による移動距離を推定し、推定された移動距離は、位置・方位演算手段５へ入力される。
【００２１】
絶対方位計測手段３が計測した携帯者による歩行動作の方位は、歩行絶対方位演算手段７Ａへ入力される。歩行絶対方位演算手段７Ａでは、時刻Ｔにおける携帯者の位置と地図情報データベース９のデータに基づいて、絶対方位計測手段３が利用可能であるとき、計測された絶対方位が、位置・方位演算手段５へ入力される。絶対方位計測手段３が利用可能でないときには、データ無しという情報が位置・方位演算手段５へ入力される。
【００２２】
画像撮影手段１の相対回転角度を計測する相対回転角計測手段４が計測した相対回転角度は、画像絶対方位演算手段７Ｂへ入力される。画像絶対方位演算手段７Ｂは、入力された相対回転角度の時系列データと時刻Ｔにおける携帯者の方位に基づいて、現在時刻における画像撮影手段１の絶対方位を推定する。推定された絶対方位は、位置・方位演算手段５へ入力される。
【００２３】
位置・方位演算手段５では、時刻Ｔにおける携帯者の位置と方位が把持されており、画像撮影手段１から入力された最新の画像と、移動距離演算手段６から入力された時刻Ｔを基準とした移動距離、歩行絶対方位演算手段７Ａから入力された最新の絶対方位（時刻Ｔにおける携帯者の位置によってはデータが無しの場合もある）、画像絶対方位演算手段７Ｂから入力された画像撮影手段１の最新の絶対方位が得られている。これらを用いて、以下のようにして、携帯者の最新の位置と方位を推定する。
【００２４】
時刻Ｔにおける携帯者の位置と、移動距離演算手段６から得られた移動距離から、画像情報データベース８と地図情報データベース９のデータを参照することにより、携帯者が到達可能な地点で撮影された画像の集合を取り出す。画像撮影手段１から入力された画像と取り出された画像の集合との照合処理（画像間の位置合わせ）を行うが、この際に、画像絶対方位演算手段７Ｂから入力された画像撮影手段１の絶対方位に基づいて、照合すべき範囲を限定する。得られた画像間の照合結果が十分に良好な結果が得られた場合には、取り出された画像の集合から最も良好な画像間の照合結果を与える画像の撮影地点と、照合結果が示す方位を、携帯者の現在位置と方位であると推定し、時刻Ｔを画像撮影手段１から得られた画像が撮影された時刻で更新する。
【００２５】
さらに、具体的に、本発明による携帯者の現在位置および方位推定方法を実施する場合についての一形態について、使用する装置の構成、およびその動作について、図２と図３、図４に基づいて詳細に説明する。
【００２６】
図２は、図１と同様な構成について、実際に実装するシステム構成として示している。また、図２を参照すると、歩行動作検出手段２としての加速度センサー１０２から得られた加速度データは、歩行動作検出・計数プログラム１０６Ａへ入力され、そこで、事前に入力装置１１１を介して設定されている携帯者固有の情報を考慮して、歩行動作（携帯者の一歩分）が検出され、その回数（すなわち歩数）が計数される。
【００２７】
このような過程で得られた歩数データは、移動距離推定プログラム１０６Ｂへ入力され、そこで、事前に入力装置１１１を介して設定されている携帯者固有の情報（歩幅等）を考慮して、移動距離が推定される。推定された移動距離は、画像間照合プログラム１０５Ａへ入力される。歩行動作が検出されるごとに、推定された移動距離は画像間照合プログラム１０５Ａへ入力される。
【００２８】
相対回転角センサー１０４から得られた相対回転角データは、カメラ絶対方位推定プログラム１０７Ａへ入力され、前回推定された絶対方位を考慮して、最新の絶対方位が累積的に推定される。前回推定された絶対方位が存在しないとき、位置・方位決定プログラム１０５Ｂから絶対方位が得られるまで待機する。前記累積的に推定された絶対方位は画像間照合プログラム１０５Ａへ入力される。
【００２９】
絶対方位計測手段３としての磁気方位センサー１０３から得られる携帯者の絶対方位データは、歩行絶対方位推定プログラム１０７Ｂへ入力される。歩行絶対方位推定プログラム１０７Ｂにおいては、位置・方位決定プログラム１０５Ｂから入力された最新の位置が存在するとき、位置・方位情報データベース１０９に蓄積されている情報に基づいて、入力された最新の位置情報を用いて、磁気方位センサー１０３から得られる絶対方位データが信頼できるか否かを判別する。最新の位置が存在しないときには、位置・方位決定プログラム１０５Ｂから絶対位置が入力されるまで待機する。磁気方位センサー１０３から得られる絶対方位データが信頼できる場合、この絶対方位が画像間照合プログラム１０５Ａへ入力される。信頼されない場合、カメラ絶対方位推定プログラム１０７Ａから絶対方位が入力されているとき、この絶対方位が画像間照合プログラム１０５Ａへ入力される。なお、絶対方位が入力されていないとき、絶対方位出力選択プログラムは待機する。
【００３０】
図２に示した画像間照合プログラム１０５Ａによる処理は、図３に示す実行ステップの流れとして実現され得る。実行ステップＳ２００では、位置・方位決定プログラム１０５Ｂまたは入力装置１１１から現在位置・方位が入力されていないとき、入力されるまで待機する（Ｓ２０７）。現在位置・方位が入力されたとき実行ステップＳ２０１へ進む。実行ステップＳ２０１において、移動距離推定プログラム１０６Ｂから移動距離が入力されていないとき、入力されるまで待機する（Ｓ２０８）。
【００３１】
移動距離が入力されたとき、実行ステップＳ２０２へ進む。実行ステップＳ２０２において、現在位置と前記入力された移動距離に基づいて携帯者が到達可能な範囲を推定し、この範囲内で撮影されているパノラマ画像をパノラマ画像群データベース１０８から取り出して、パノラマ画像の集合として把持し、実行ステップＳ２０３へ進む。実行ステップＳ２０３においては、カメラ１０１から画像が入力されていないとき、入力されるまで待機する（Ｓ２０９）。
【００３２】
画像が入力されたとき、実行ステップＳ２０４へ進む。実行ステップＳ２０４において、歩行絶対方位推定プログラム１０７Ｂから絶対方位が入力されていないとき、現在の絶対方位は変化していないとみなし、実行ステップＳ２０５へ進む。歩行絶対方位推定プログラム１０７Ｂから絶対方位が入力されているとき、現在の絶対方位を入力された絶対方位に変化したとみなして（Ｓ２１０）、実行ステップＳ２０５へ進む。実行ステップ２０５では、現在の絶対方位に基づいて、実行ステップＳ２０２で取り出されたパノラマ画像の集合のそれぞれのパノラマ画像について、照合する候補となりうる範囲を限定して、実行ステップＳ２０６へ進む。
【００３３】
実行ステップＳ２０６においては、実行ステップＳ２０２で取り出されたパノラマ画像の集合を、実行ステップＳ２０５で制限された範囲において、カメラ１０１から入力された画像とそれぞれのパノラマ画像との画像間の照合を行う。
カメラ１０１から画像が画像間照合プログラム１０５Ａに入力されたとき、位置・方位決定プログラム１０５Ｂから携帯者の位置情報がすでに入力されていて、移動距離推定プログラム１０６Ｂから移動距離が入力されているとき、パノラマ画像群データベース１０８に登録されている画像の集合と照合される。前記で移動距離推定プログラム１０６Ｂから移動距離が入力されていないとき、待機する。位置・方位決定プログラム１０５Ｂから携帯者の位置情報が一度も入力されていないとき、移動距離推定プログラム１０６Ｂからの入力を待たずに、前記パノラマ画像群データベース１０８に登録されている画像の集合と照合される。
【００３４】
この過程において、前記した移動距離推定プログラム１０６Ｂから入力される移動距離を用いて、位置・方位決定プログラム１０５Ｂにおいて最後に推定された現在位置から移動可能な範囲に存在するパノラマ画像群を、パノラマ画像群データベース１０８と位置・方位情報データベース１０９に蓄積されている情報に基づいて選び出し、前記選び出されたパノラマ画像の集合を画像間照合の対象とする。前記歩行絶対方位推定プログラム１０７Ｂから携帯者の絶対方位が入力されているとき、この絶対方位から、パノラマ画像群データベース１０８と位置・方位情報データベース１０９に蓄積されている情報に基づいて、画像間照合プログラム１０５Ａにおいて照合すべきパノラマ画像の範囲を限定する。選び出されたパノラマ画像の集合と限定された照合すべき範囲に基づいて、画像間の照合を実行し、それぞれの照合結果と前記カメラ１０１から入力された画像が位置・方位決定プログラム１０５Ｂへ入力される。
【００３５】
位置・方位決定プログラム１０５Ｂにおいては、図４に示すように、処理を進めて、入力された前記カメラ１０１から入力された画像と各パノラマ画像との照合結果に基づいて、位置・方位情報データベース１０９に蓄積された情報も鑑みて、最も良好な照合結果が十分に信頼できるとき、この結果に対応する携帯者の位置と方位を次のように決定する。最も良好な照合結果を与えるパノラマ画像の撮影地点が携帯者の現在位置であると推定する。最も良好な照合結果に基づいて、前記カメラ１０１から入力された画像の中心位置が現在位置であり、対応するパノラマ画像上の位置があらわす方位が携帯者の方位である。決定された位置と方位は、画像照合プログラム１０５Ａと歩行絶対方位推定プログラム１０７Ｂ、出力画像・音声生成プログラム１９９へ入力される。
【００３６】
決定された位置と方位、前記最も良好な結果を与えるパノラマ画像と、このパノラマ画像に結び付けられた情報が提示情報データベース１１０に蓄積されているとき、提示情報が前記カメラ１０１から入力された画像上に提示されるべき位置が、前記最も良好な照合結果に基づいて計算され、提示情報とその位置、前記カメラ１０１から得られた画像が出力画像・音声生成プログラム１９９へ入力される。
【００３７】
出力画像・音声生成プログラム１９９においては、図５において概略的に示すように、また、図１２において概略的に示すように、位置・方位決定プログラム１０５Ｂから入力された提示情報とその位置に基づいて、カメラ１０１から入力された画像上に重ね合わせられ、生成された画像がディスプレー１９７（図１１）へ入力される。位置・方位決定プログラム１０５Ｂから入力された提示情報に、音声で表現すべき音声情報が含まれているとき、その音声情報がイヤホン１９８（図１１）へ入力される。
【００３８】
実施例１において、パノラマ画像群の撮影位置・方位の情報は、図６に示すような形式で位置・方位情報データベース１０９に格納されている。図６の下部に示すように、認識番号（画像ＩＤ）が各パノラマ画像に振られており、それに基づいて、撮影位置と方位が取り出せる。各パノラマ画像の撮影地点から歩行によって移動可能な移動可能先となるパノラマ画像の画像ＩＤとその移動方位、歩行に要する距離が各パノラマ画像の画像ＩＤごとに格納されている。例えば、図６に示す例によると、パノラマ画像Ｐ１の撮影位置から移動可能な移動先の移動可能先ＩＤは、Ｐ２，Ｐ３，Ｐ４の３つであり、それぞれの移動方向と歩行による移動に要する距離は１８０度、２．０ｍ、２９５度、３．０ｍ、９０度、５．０ｍである。
【００３９】
移動距離推定プログラム１０６Ｂから入力された移動距離と現在位置に基づいて、図７に示すように、到達可能範囲における照合すべきパノラマ画像群を限定する。図６に示した位置・方位情報データベース１０９に格納された情報より、現在位置と移動距離から、到達可能なパノラマ画像を絞り込む。今、移動距離推定プログラム１０６Ｂから入力された移動距離が１．８ｍ〜３．６ｍであるときには、この距離で到達可能なパノラマ画像はＰ２とＰ３だけであるので、照合すべき画像を２つに限定することができる。
【００４０】
本発明の第２の実施例として、局所的に位置を計測可能装置が利用可能であるときの動作について、図８を参照して説明する。
【００４１】
図２のシステム構成においてデジタル信号送受信機４００が更に追加された図８に示すシステム構成において、デジタル信号送受信機４００は、到達距離の短い微弱な電波信号を発信して、この信号に対して応答する信号を受信することにより、携帯者の位置を限定する装置である。
【００４２】
デジタル信号送受信機４００は、応答する信号を感知するとき、その信号から推定される位置範囲が画像間照合プログラム４０２へ入力される。
【００４３】
この場合において、画像間照合プログラム４０２の処理の流れは、図９に示すように、実行ステップＳ２０２の処理を実行する場合において、現在位置から移動距離で到達可能な範囲に、デジタル信号送受信機４００に応答し得る基地局が存在することが位置・方位情報データベース１０９から分かるとき、信号を送信する実行ステップＳ９０１が並行して実行される。そして、Ｓ２０４、Ｓ２１０までは、前述の場合と同様にして、画像間照合プログラム１０５Ａと同様に処理を行い、以下、次の実行ステップ９００において、デジタル信号送受信機４００が応答信号を受信した結果として、推定された現在位置が入力されたとき、位置・方位情報データベース１０９を参照して、デジタル信号送受信機４００から入力された現在位置とその一定範囲内に含まれていないパノラマ画像を実行ステップＳ２０２で取得されていたパノラマ画像の集合から削除する（Ｓ９０２）。以下、同様に画像間照合プログラム１０５Ａとまったく同様に動作する。
【００４４】
本発明の第３の実施例として、図２に示した第２の実施例の機能ブロック図において、コンピュータ１１２と記憶装置１１３をネットワーク接続された携帯者が携帯しない装置へと分離した装置の構成が考えられる。図１０にその構成図を示す。画像間照合プログラム１０５Ａと位置・方位決定プログラム１０５Ｂ、歩行動作検出・計数プログラム１０６Ａ、移動距離推定プログラム１０６Ｂ、カメラ絶対方位推定プログラム１０７Ａ、歩行絶対方位推定プログラム１０７Ｂ、出力画像・音声生成プログラム１９９をコンピュータ１１２Ａとコンピュータ１１２Ｂに分離して配置することで、携帯者が携帯すべきコンピュータ１１２Ａに要求される性能を下げることが可能となり、結果としてより軽量なコンピュータですませることができる。なお、携帯者が装置を装着している様子を、図１１に示している。
【００４５】
【発明の効果】
以上に説明したように、本発明による携帯者の現在位置および方位推定方法によると、従来、歩行動作検出手段を用いず、画像の集合だけで携帯者の位置と方位を推定する場合、膨大な枚数の画像の照合が必要であったが、これに対して、本発明では、歩行動作検出手段によって携帯者の移動計測することで、移動経路上では画像を照合する必要性をなくして、結果として必要となる画像の照合の処理を削減することができる。また、移動距離演算手段によって推定される携帯者の移動距離を用いることで、照合すべき画像の集合を限定することができるので、演算処理コストを削減することができる。
【００４６】
更には、歩行動作検出手段によって歩行動作が検出された時にのみ、携帯者の位置・方位演算を実行することによって、演算処理コストを削減することができる。歩行絶対方位演算手段によって推定される携帯者の歩行による移動方向を用いることによって、到達可能な位置を限定することができるので、照合すべき画像の集合を限定することができ、演算処理コストを削減することができる。
【図面の簡単な説明】
【図１】本発明による携帯者の位置・方位計測装置を示す機能ブロック図である。
【図２】第１の実施例による携帯者の位置・方位計測装置とその応用例を示す機能ブロック図である。
【図３】画像間照合プログラム１０５Ａの流れ図である。
【図４】位置・方位決定プログラム１０５Ｂの流れ図である。
【図５】携帯者の位置と方位の推定方法を説明する第１の模式図である。
【図６】パノラマ画像群データベース１０８と撮影位置・方位データベース１０９に格納されている情報の一例を説明する図である。
【図７】画像間照合プログラム１０５Ａが移動距離推定プログラム１０６Ｂからの入力に基づいて照合すべきパノラマ画像群を限定している模式図である。
【図８】第２の実施例による携帯者の位置・方位計測装置とその応用例を示す機能ブロック図である。
【図９】図８における画像間照合プログラム４０２の流れ図である。
【図１０】第３の実施例による携帯者の位置・方位計測装置の機能ブロック図である。
【図１１】携帯者が装置を装着している様子を示す模式図である。
【図１２】携帯者の位置と方位の推定方法を説明する第２の模式図である。
【符号の説明】
１…画像撮像手段、
２…歩行動作検出手段、
３…絶対方位計測手段、
４…相対回転角計測手段、
５…位置・方位演算手段、
６…移動距離演算手段、
７Ａ…歩行絶対方位演算手段、
７Ｂ…画像絶対方位演算手段、
８…画像情報データベース
９…地図情報データベース、
１０…付加情報データベース
１１…入力手段、
１２…演算処理手段、
１３…記憶手段
【発明の属する技術分野】
本発明は、携帯者の現在位置および方位推定方法に関し、特に詳細には、携帯者の視線の画像を撮影する画像撮影装置が携帯者（歩行者）の身体に装着され、記憶装置に実環境を撮影した画像の集合が蓄積され、その各蓄積画像の撮影位置が既知であって各蓄積画像のすべての画素に対応する方位が既知であり、装置携帯者のある時点での位置と方位が何らかの方法によって得られているとき、装置携帯者の複合的な位置と方位の推定する携帯者の現在位置および方位推定方法に関するものである。
【０００２】
【従来の技術】
この種の携帯者の現在位置および方位推定に関する技術については、例えば、特開２００１−２７２２４７号公報に記載されている「携帯型複合測位装置および現在位置推定方法」が知られている。ここに記載の方法は、ＧＰＳ（Global Positioning System）受信機と歩数計、方位センサー等を結合、複合させた携帯型の位置・方位を推定する方法である。
【０００３】
また、学術論文では、『「パノラマ画像群を位置合わせに用いたライブ映像上への注釈提示とその実時間システム」、電子情報通信学会論文誌、（D-II）Vol. J84-D-II No.10, October 2001, pp. 2293-2301』に記載されているものが公知となっている。この学術論文に記載されているシステムによる方法では、利用者視点のカメラから得られる画像を、事前に実環境中で撮影された位置・方位が既知である画像（パノラマ画像）のデータベースと照合することによって、利用者の絶対位置と絶対方位を推定する。
【０００４】
【発明が解決しようとする課題】
ところで、上記の従来の技術においては、携帯者の絶対位置を推定するための情報として、ＧＰＳ信号を受信できる屋外環境においては、ＧＰＳ信号（経度緯度の位置情報）を利用することができ、そのままで位置を推定できるが、ＧＰＳ信号は遮蔽されている屋内環境において利用することが難しく、したがって、例えば室内環境においては、携帯者の現在の位置を推定することが困難であるいという問題点がある。
【０００５】
また、利用者（携帯者）の視点から得られる画像と事前に撮影された位置・方位が既知である画像を照合することによって、絶対位置・方位を推定する方法を利用すると、屋内環境においても利用できるが、広範囲な環境で位置・方位を推定するためには、位置・方位が既知である画像を、事前に大量に撮影しておく必要があり、利用者（携帯者）の視点画像を得るカメラから得られる画像と、事前に撮影された画像との照合のための画像処理には、高い処理コストが必要である問題点がある。
【０００６】
本発明は、このような問題点を解決するためになされたものであり、本発明の目的は、ＧＰＳ信号が遮蔽されるような屋内環境において携帯者の絶対位置と絶対方位を、事前に撮影された位置・方位が既知である画像データベースとの照合に基づいて行う位置および方位推定において、より少ない枚数の画像データベースの照合による低い処理コストで、位置推定を可能にする携帯者の現在位置および方位推定方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記のような問題を解決するため、基本的な構成として、本発明による携帯者の現在位置および方位推定方法は、画像撮影手段が携帯者の身体に装着され、記憶手段に実環境を撮影した画像の集合が蓄積されていて、各蓄積画像の撮影位置が既知であり、各蓄積画像のすべての画像に対応する方位が既知であり、携帯者のある時点での位置と方位が何らかの方法によって得られているとき、歩行動作検出手段によって計測された前記の時点からの携帯者の歩数と事前に設定された携帯者の歩幅の二つから移動距離を推定し、前記の時点での携帯者の位置から前記の推定された移動距離で到達可能な位置で撮影された蓄積画像を、前記撮影位置と方位が既知である蓄積画像の集合からすべて取り出し、前記携帯者の身体に装着された画像撮影装置から得られる入力画像と各蓄積画像との照合を行い、十分に良好な照合結果が存在するとき、最も良好な照合結果を与える蓄積画像の撮影地点が携帯者の現在位置であると推定し、携帯者の方位を前記照合結果によって前記入力画像が当てはまる蓄積画像上の部位に対応する方位であると推定する。
【０００８】
本発明による携帯者の現在位置および方位推定方法においては、歩行動作検出手段により歩行動作が検出された時点でのみ、画像撮影手段から得られる最新の画像との照合を行い、必要な照合処理の回数を節約する。これにより、低い処理コストで、位置および方位の推定が可能となる。
【０００９】
また、本発明の携帯者の現在位置および方位推定方法においては、最後に携帯者の位置と方位が取得された時点から、歩行動作検出手段により歩行動作が検出された時点までの、画像撮影手段の撮影視点方位の相対的な回転角度を計測できる相対回転角計測手段を用いて得られる回転角度を用いて、歩行動作が検出された時点で画像撮影手段が向いている方位を推定し、前記画像撮影手段から得られる画像と前記の携帯者が到達可能な位置で撮影された蓄積画像の集合の各画像と照合するときに、照合すべき方位の候補となる範囲を前記の推定された現在の方位に基づいて削減し、各画像の照合の処理回数を節約する。
【００１０】
また、本発明による携帯者の現在位置および方位推定方法においては、携帯者が絶対方位計測手段を腰部に装着しており、前記絶対方位計測手段が利用可能な場所に関する情報が記憶手段に蓄積されているとき、前記携帯者の位置と方位が取得された時点で得られている携帯者の位置で前記絶対方位計測手段が利用可能であることが、前記の蓄積されている情報から判定できるとき、前記絶対方位計測手段によって計測される携帯者の現在の絶対方位を用いて、歩行動作検出手段が歩行動作を検出するとき、携帯者が移動可能な範囲を前記の計測された絶対方位に基づいて限定し、照合すべき前記蓄積画像の集合を削減し、各画像の照合の処理回数を節約する。
【００１１】
また、本発明の携帯者の現在位置および方位推定方法においては、局所的に利用可能な位置計測手段が携帯者に装着されており、記憶手段に前記位置計測手段が利用可能な場所が蓄積されているとき、推定される携帯者の到達可能範囲内に前記位置計測手段の利用可能な位置が含まれているとき、携帯者に装着されている前記位置計測手段を作動させる。これにより、前記位置計測手段によって消費される電力と位置推定演算に要する計算コストを節約する。
【００１２】
さらに、本発明による携帯者の現在位置および方位推定方法においては、前記位置計測手段によって現在位置が得られたとき、前記の入力画像と蓄積画像の集合との照合において、照合すべき蓄積画像の集合を限定し、前記の照合の対象とする蓄積画像の枚数を削減し、必要となる照合の回数を節約する。
【００１３】
このような本発明による携帯者の現在位置および方位推定方法によると、従来、歩行動作検出手段を用いず、画像の集合だけで携帯者の位置と方位を推定する場合、膨大な枚数の画像の照合が必要となるが、歩行動作検出手段によって携帯者の移動計測することで、移動経路上では画像を照合する必要性をなくして、結果として必要となる画像の照合の処理を削減することができる。
【００１４】
また、移動距離演算手段により推定される携帯者の移動距離を用いることで、照合すべき画像の集合を限定することができ、これにより、演算処理のコストを削減することができる。また、歩行動作検出手段により、歩行動作が検出された時にのみ、携帯者の位置・方位演算を実行することにより、演算処理のコストを削減することができる。
【００１５】
さらに、歩行絶対方位演算手段によって推定される携帯者の歩行による移動方向を用いることにより、到達可能な位置を限定することができ、そのため、照合すべき画像の集合を限定することができ、これにより、さらに演算処理のコストを削減することができる。
【００１６】
【発明の実施の形態】
以下、本発明を実施する場合の形態について、図面を参照して具体的に説明する。本発明による携帯者の現在位置および方位推定方法を実施する場合は、図１に示すように、携帯者の頭部方位とおおむね同一の光軸方向になるように携帯者に装着された画像撮影手段１と、携帯者の歩行動作を検出する歩行動作検出手段２、画像撮影手段１の相対的な回転角度を計測する相対回転角計測手段４、携帯者の腰部に装着された絶対方位計測手段３、限定された条件の下で携帯者の現在位置を計測できる位置計測手段１４、演算処理手段１２、演算処理手段に対して外部から設定情報等を入力するための入力手段１１と記憶手段１３から成る携帯可能な装置を備えるものとする。
【００１７】
演算処理手段１２には、３つの処理モジュール（位置・方位演算手段５、移動距離演算手段６、絶対方位演算手段７としての歩行絶対方位演算手段７Ａおよび画像絶対方位演算手段７Ｂ）が組み込まれており、記憶手段１３には、実環境に関して３つの情報のデータベース（画像情報データベース８、地図情報データベース９、付加情報データベース１０）が格納されている。
【００１８】
画像情報データベース８には、撮影地点と方位が既知である画像の集合が格納されており、位置を検索キーにして所望の位置とその周辺で撮影された画像の集合が取り出せる。地図情報データベース９には、携帯者が移動する可能性のある場所の地図が格納されており、地点間の歩行移動に要する移動距離を引き出すことができる。また、地図情報データベース９には、絶対方位計測手段３が利用可能となる場所の情報が格納されているものとする。また、付加情報データベース１０には、画像データベース８に格納された各画像と結び付けられた付加情報が格納されている。
【００１９】
ここの備えられた装置においては、ある時刻Ｔにおける携帯者の位置と方位が何らかの方法で得られているとき、次のように動作することで、装置の携帯者の現在位置および方位を推定する。
【００２０】
画像撮影手段１から得られた画像は、位置・方位演算手段５へ入力される。歩行動作検出手段２は、携帯者の歩行動作を検出したとき、そのイベントは移動距離演算手段６へ入力され、移動距離演算手段６は、時刻Ｔを基準として、その歩行動作の回数（すなわち歩数）を数え、入力手段１１等を通して設定されている携帯者に固有の情報（歩幅など）を考慮して歩行動作による移動距離を推定し、推定された移動距離は、位置・方位演算手段５へ入力される。
【００２１】
絶対方位計測手段３が計測した携帯者による歩行動作の方位は、歩行絶対方位演算手段７Ａへ入力される。歩行絶対方位演算手段７Ａでは、時刻Ｔにおける携帯者の位置と地図情報データベース９のデータに基づいて、絶対方位計測手段３が利用可能であるとき、計測された絶対方位が、位置・方位演算手段５へ入力される。絶対方位計測手段３が利用可能でないときには、データ無しという情報が位置・方位演算手段５へ入力される。
【００２２】
画像撮影手段１の相対回転角度を計測する相対回転角計測手段４が計測した相対回転角度は、画像絶対方位演算手段７Ｂへ入力される。画像絶対方位演算手段７Ｂは、入力された相対回転角度の時系列データと時刻Ｔにおける携帯者の方位に基づいて、現在時刻における画像撮影手段１の絶対方位を推定する。推定された絶対方位は、位置・方位演算手段５へ入力される。
【００２３】
位置・方位演算手段５では、時刻Ｔにおける携帯者の位置と方位が把持されており、画像撮影手段１から入力された最新の画像と、移動距離演算手段６から入力された時刻Ｔを基準とした移動距離、歩行絶対方位演算手段７Ａから入力された最新の絶対方位（時刻Ｔにおける携帯者の位置によってはデータが無しの場合もある）、画像絶対方位演算手段７Ｂから入力された画像撮影手段１の最新の絶対方位が得られている。これらを用いて、以下のようにして、携帯者の最新の位置と方位を推定する。
【００２４】
時刻Ｔにおける携帯者の位置と、移動距離演算手段６から得られた移動距離から、画像情報データベース８と地図情報データベース９のデータを参照することにより、携帯者が到達可能な地点で撮影された画像の集合を取り出す。画像撮影手段１から入力された画像と取り出された画像の集合との照合処理（画像間の位置合わせ）を行うが、この際に、画像絶対方位演算手段７Ｂから入力された画像撮影手段１の絶対方位に基づいて、照合すべき範囲を限定する。得られた画像間の照合結果が十分に良好な結果が得られた場合には、取り出された画像の集合から最も良好な画像間の照合結果を与える画像の撮影地点と、照合結果が示す方位を、携帯者の現在位置と方位であると推定し、時刻Ｔを画像撮影手段１から得られた画像が撮影された時刻で更新する。
【００２５】
さらに、具体的に、本発明による携帯者の現在位置および方位推定方法を実施する場合についての一形態について、使用する装置の構成、およびその動作について、図２と図３、図４に基づいて詳細に説明する。
【００２６】
図２は、図１と同様な構成について、実際に実装するシステム構成として示している。また、図２を参照すると、歩行動作検出手段２としての加速度センサー１０２から得られた加速度データは、歩行動作検出・計数プログラム１０６Ａへ入力され、そこで、事前に入力装置１１１を介して設定されている携帯者固有の情報を考慮して、歩行動作（携帯者の一歩分）が検出され、その回数（すなわち歩数）が計数される。
【００２７】
このような過程で得られた歩数データは、移動距離推定プログラム１０６Ｂへ入力され、そこで、事前に入力装置１１１を介して設定されている携帯者固有の情報（歩幅等）を考慮して、移動距離が推定される。推定された移動距離は、画像間照合プログラム１０５Ａへ入力される。歩行動作が検出されるごとに、推定された移動距離は画像間照合プログラム１０５Ａへ入力される。
【００２８】
相対回転角センサー１０４から得られた相対回転角データは、カメラ絶対方位推定プログラム１０７Ａへ入力され、前回推定された絶対方位を考慮して、最新の絶対方位が累積的に推定される。前回推定された絶対方位が存在しないとき、位置・方位決定プログラム１０５Ｂから絶対方位が得られるまで待機する。前記累積的に推定された絶対方位は画像間照合プログラム１０５Ａへ入力される。
【００２９】
絶対方位計測手段３としての磁気方位センサー１０３から得られる携帯者の絶対方位データは、歩行絶対方位推定プログラム１０７Ｂへ入力される。歩行絶対方位推定プログラム１０７Ｂにおいては、位置・方位決定プログラム１０５Ｂから入力された最新の位置が存在するとき、位置・方位情報データベース１０９に蓄積されている情報に基づいて、入力された最新の位置情報を用いて、磁気方位センサー１０３から得られる絶対方位データが信頼できるか否かを判別する。最新の位置が存在しないときには、位置・方位決定プログラム１０５Ｂから絶対位置が入力されるまで待機する。磁気方位センサー１０３から得られる絶対方位データが信頼できる場合、この絶対方位が画像間照合プログラム１０５Ａへ入力される。信頼されない場合、カメラ絶対方位推定プログラム１０７Ａから絶対方位が入力されているとき、この絶対方位が画像間照合プログラム１０５Ａへ入力される。なお、絶対方位が入力されていないとき、絶対方位出力選択プログラムは待機する。
【００３０】
図２に示した画像間照合プログラム１０５Ａによる処理は、図３に示す実行ステップの流れとして実現され得る。実行ステップＳ２００では、位置・方位決定プログラム１０５Ｂまたは入力装置１１１から現在位置・方位が入力されていないとき、入力されるまで待機する（Ｓ２０７）。現在位置・方位が入力されたとき実行ステップＳ２０１へ進む。実行ステップＳ２０１において、移動距離推定プログラム１０６Ｂから移動距離が入力されていないとき、入力されるまで待機する（Ｓ２０８）。
【００３１】
移動距離が入力されたとき、実行ステップＳ２０２へ進む。実行ステップＳ２０２において、現在位置と前記入力された移動距離に基づいて携帯者が到達可能な範囲を推定し、この範囲内で撮影されているパノラマ画像をパノラマ画像群データベース１０８から取り出して、パノラマ画像の集合として把持し、実行ステップＳ２０３へ進む。実行ステップＳ２０３においては、カメラ１０１から画像が入力されていないとき、入力されるまで待機する（Ｓ２０９）。
【００３２】
画像が入力されたとき、実行ステップＳ２０４へ進む。実行ステップＳ２０４において、歩行絶対方位推定プログラム１０７Ｂから絶対方位が入力されていないとき、現在の絶対方位は変化していないとみなし、実行ステップＳ２０５へ進む。歩行絶対方位推定プログラム１０７Ｂから絶対方位が入力されているとき、現在の絶対方位を入力された絶対方位に変化したとみなして（Ｓ２１０）、実行ステップＳ２０５へ進む。実行ステップ２０５では、現在の絶対方位に基づいて、実行ステップＳ２０２で取り出されたパノラマ画像の集合のそれぞれのパノラマ画像について、照合する候補となりうる範囲を限定して、実行ステップＳ２０６へ進む。
【００３３】
実行ステップＳ２０６においては、実行ステップＳ２０２で取り出されたパノラマ画像の集合を、実行ステップＳ２０５で制限された範囲において、カメラ１０１から入力された画像とそれぞれのパノラマ画像との画像間の照合を行う。
カメラ１０１から画像が画像間照合プログラム１０５Ａに入力されたとき、位置・方位決定プログラム１０５Ｂから携帯者の位置情報がすでに入力されていて、移動距離推定プログラム１０６Ｂから移動距離が入力されているとき、パノラマ画像群データベース１０８に登録されている画像の集合と照合される。前記で移動距離推定プログラム１０６Ｂから移動距離が入力されていないとき、待機する。位置・方位決定プログラム１０５Ｂから携帯者の位置情報が一度も入力されていないとき、移動距離推定プログラム１０６Ｂからの入力を待たずに、前記パノラマ画像群データベース１０８に登録されている画像の集合と照合される。
【００３４】
この過程において、前記した移動距離推定プログラム１０６Ｂから入力される移動距離を用いて、位置・方位決定プログラム１０５Ｂにおいて最後に推定された現在位置から移動可能な範囲に存在するパノラマ画像群を、パノラマ画像群データベース１０８と位置・方位情報データベース１０９に蓄積されている情報に基づいて選び出し、前記選び出されたパノラマ画像の集合を画像間照合の対象とする。前記歩行絶対方位推定プログラム１０７Ｂから携帯者の絶対方位が入力されているとき、この絶対方位から、パノラマ画像群データベース１０８と位置・方位情報データベース１０９に蓄積されている情報に基づいて、画像間照合プログラム１０５Ａにおいて照合すべきパノラマ画像の範囲を限定する。選び出されたパノラマ画像の集合と限定された照合すべき範囲に基づいて、画像間の照合を実行し、それぞれの照合結果と前記カメラ１０１から入力された画像が位置・方位決定プログラム１０５Ｂへ入力される。
【００３５】
位置・方位決定プログラム１０５Ｂにおいては、図４に示すように、処理を進めて、入力された前記カメラ１０１から入力された画像と各パノラマ画像との照合結果に基づいて、位置・方位情報データベース１０９に蓄積された情報も鑑みて、最も良好な照合結果が十分に信頼できるとき、この結果に対応する携帯者の位置と方位を次のように決定する。最も良好な照合結果を与えるパノラマ画像の撮影地点が携帯者の現在位置であると推定する。最も良好な照合結果に基づいて、前記カメラ１０１から入力された画像の中心位置が現在位置であり、対応するパノラマ画像上の位置があらわす方位が携帯者の方位である。決定された位置と方位は、画像照合プログラム１０５Ａと歩行絶対方位推定プログラム１０７Ｂ、出力画像・音声生成プログラム１９９へ入力される。
【００３６】
決定された位置と方位、前記最も良好な結果を与えるパノラマ画像と、このパノラマ画像に結び付けられた情報が提示情報データベース１１０に蓄積されているとき、提示情報が前記カメラ１０１から入力された画像上に提示されるべき位置が、前記最も良好な照合結果に基づいて計算され、提示情報とその位置、前記カメラ１０１から得られた画像が出力画像・音声生成プログラム１９９へ入力される。
【００３７】
出力画像・音声生成プログラム１９９においては、図５において概略的に示すように、また、図１２において概略的に示すように、位置・方位決定プログラム１０５Ｂから入力された提示情報とその位置に基づいて、カメラ１０１から入力された画像上に重ね合わせられ、生成された画像がディスプレー１９７（図１１）へ入力される。位置・方位決定プログラム１０５Ｂから入力された提示情報に、音声で表現すべき音声情報が含まれているとき、その音声情報がイヤホン１９８（図１１）へ入力される。
【００３８】
実施例１において、パノラマ画像群の撮影位置・方位の情報は、図６に示すような形式で位置・方位情報データベース１０９に格納されている。図６の下部に示すように、認識番号（画像ＩＤ）が各パノラマ画像に振られており、それに基づいて、撮影位置と方位が取り出せる。各パノラマ画像の撮影地点から歩行によって移動可能な移動可能先となるパノラマ画像の画像ＩＤとその移動方位、歩行に要する距離が各パノラマ画像の画像ＩＤごとに格納されている。例えば、図６に示す例によると、パノラマ画像Ｐ１の撮影位置から移動可能な移動先の移動可能先ＩＤは、Ｐ２，Ｐ３，Ｐ４の３つであり、それぞれの移動方向と歩行による移動に要する距離は１８０度、２．０ｍ、２９５度、３．０ｍ、９０度、５．０ｍである。
【００３９】
移動距離推定プログラム１０６Ｂから入力された移動距離と現在位置に基づいて、図７に示すように、到達可能範囲における照合すべきパノラマ画像群を限定する。図６に示した位置・方位情報データベース１０９に格納された情報より、現在位置と移動距離から、到達可能なパノラマ画像を絞り込む。今、移動距離推定プログラム１０６Ｂから入力された移動距離が１．８ｍ〜３．６ｍであるときには、この距離で到達可能なパノラマ画像はＰ２とＰ３だけであるので、照合すべき画像を２つに限定することができる。
【００４０】
本発明の第２の実施例として、局所的に位置を計測可能装置が利用可能であるときの動作について、図８を参照して説明する。
【００４１】
図２のシステム構成においてデジタル信号送受信機４００が更に追加された図８に示すシステム構成において、デジタル信号送受信機４００は、到達距離の短い微弱な電波信号を発信して、この信号に対して応答する信号を受信することにより、携帯者の位置を限定する装置である。
【００４２】
デジタル信号送受信機４００は、応答する信号を感知するとき、その信号から推定される位置範囲が画像間照合プログラム４０２へ入力される。
【００４３】
この場合において、画像間照合プログラム４０２の処理の流れは、図９に示すように、実行ステップＳ２０２の処理を実行する場合において、現在位置から移動距離で到達可能な範囲に、デジタル信号送受信機４００に応答し得る基地局が存在することが位置・方位情報データベース１０９から分かるとき、信号を送信する実行ステップＳ９０１が並行して実行される。そして、Ｓ２０４、Ｓ２１０までは、前述の場合と同様にして、画像間照合プログラム１０５Ａと同様に処理を行い、以下、次の実行ステップ９００において、デジタル信号送受信機４００が応答信号を受信した結果として、推定された現在位置が入力されたとき、位置・方位情報データベース１０９を参照して、デジタル信号送受信機４００から入力された現在位置とその一定範囲内に含まれていないパノラマ画像を実行ステップＳ２０２で取得されていたパノラマ画像の集合から削除する（Ｓ９０２）。以下、同様に画像間照合プログラム１０５Ａとまったく同様に動作する。
【００４４】
本発明の第３の実施例として、図２に示した第２の実施例の機能ブロック図において、コンピュータ１１２と記憶装置１１３をネットワーク接続された携帯者が携帯しない装置へと分離した装置の構成が考えられる。図１０にその構成図を示す。画像間照合プログラム１０５Ａと位置・方位決定プログラム１０５Ｂ、歩行動作検出・計数プログラム１０６Ａ、移動距離推定プログラム１０６Ｂ、カメラ絶対方位推定プログラム１０７Ａ、歩行絶対方位推定プログラム１０７Ｂ、出力画像・音声生成プログラム１９９をコンピュータ１１２Ａとコンピュータ１１２Ｂに分離して配置することで、携帯者が携帯すべきコンピュータ１１２Ａに要求される性能を下げることが可能となり、結果としてより軽量なコンピュータですませることができる。なお、携帯者が装置を装着している様子を、図１１に示している。
【００４５】
【発明の効果】
以上に説明したように、本発明による携帯者の現在位置および方位推定方法によると、従来、歩行動作検出手段を用いず、画像の集合だけで携帯者の位置と方位を推定する場合、膨大な枚数の画像の照合が必要であったが、これに対して、本発明では、歩行動作検出手段によって携帯者の移動計測することで、移動経路上では画像を照合する必要性をなくして、結果として必要となる画像の照合の処理を削減することができる。また、移動距離演算手段によって推定される携帯者の移動距離を用いることで、照合すべき画像の集合を限定することができるので、演算処理コストを削減することができる。
【００４６】
更には、歩行動作検出手段によって歩行動作が検出された時にのみ、携帯者の位置・方位演算を実行することによって、演算処理コストを削減することができる。歩行絶対方位演算手段によって推定される携帯者の歩行による移動方向を用いることによって、到達可能な位置を限定することができるので、照合すべき画像の集合を限定することができ、演算処理コストを削減することができる。
【図面の簡単な説明】
【図１】本発明による携帯者の位置・方位計測装置を示す機能ブロック図である。
【図２】第１の実施例による携帯者の位置・方位計測装置とその応用例を示す機能ブロック図である。
【図３】画像間照合プログラム１０５Ａの流れ図である。
【図４】位置・方位決定プログラム１０５Ｂの流れ図である。
【図５】携帯者の位置と方位の推定方法を説明する第１の模式図である。
【図６】パノラマ画像群データベース１０８と撮影位置・方位データベース１０９に格納されている情報の一例を説明する図である。
【図７】画像間照合プログラム１０５Ａが移動距離推定プログラム１０６Ｂからの入力に基づいて照合すべきパノラマ画像群を限定している模式図である。
【図８】第２の実施例による携帯者の位置・方位計測装置とその応用例を示す機能ブロック図である。
【図９】図８における画像間照合プログラム４０２の流れ図である。
【図１０】第３の実施例による携帯者の位置・方位計測装置の機能ブロック図である。
【図１１】携帯者が装置を装着している様子を示す模式図である。
【図１２】携帯者の位置と方位の推定方法を説明する第２の模式図である。
【符号の説明】
１…画像撮像手段、
２…歩行動作検出手段、
３…絶対方位計測手段、
４…相対回転角計測手段、
５…位置・方位演算手段、
６…移動距離演算手段、
７Ａ…歩行絶対方位演算手段、
７Ｂ…画像絶対方位演算手段、
８…画像情報データベース
９…地図情報データベース、
１０…付加情報データベース
１１…入力手段、
１２…演算処理手段、
１３…記憶手段
Claims (5)
- 画像撮影手段が携帯者の身体に装着され、記憶手段に実環境を撮影した画像の集合が蓄積されていて、各蓄積画像の撮影位置が既知であり、各蓄積画像のすべての画像に対応する方位が既知であり、携帯者のある時点での位置と方位が何らかの方法によって得られているとき、
歩行動作検出手段によって計測された前記の時点からの携帯者の歩数と事前に設定された携帯者の歩幅の二つから移動距離を推定し、
前記の時点での携帯者の位置から前記の推定された移動距離で到達可能な位置で撮影された蓄積画像を、前記撮影位置と方位が既知である蓄積画像の集合からすべて取り出し、
前記携帯者の身体に装着された画像撮影装置から得られる入力画像と各蓄積画像との照合を行い、十分に良好な照合結果が存在するとき、最も良好な照合結果を与える蓄積画像の撮影地点が携帯者の現在位置であると推定し、
携帯者の方位を前記照合結果によって前記入力画像が当てはまる蓄積画像上の部位に対応する方位であると推定する
携帯者の現在位置および方位推定方法であって、
歩行動作検出手段により歩行動作が検出された時点でのみ、画像撮影手段から得られる最新の画像との照合を行い、必要な照合処理の回数を節約する
ことを特徴とする携帯者の現在位置および方位推定方法。 - 請求項１記載の携帯者の現在位置および方位推定方法において、
最後に携帯者の位置と方位が取得された時点から、歩行動作検出手段により歩行動作が検出された時点までの、画像撮影手段の撮影視点方位の相対的な回転角度を計測できる相対回転角計測手段を用いて得られる回転角度を用いて、歩行動作が検出された時点で画像撮影手段が向いている方位を推定し、
前記画像撮影手段から得られる画像と前記の携帯者が到達可能な位置で撮影された蓄積画像の集合の各画像と照合するときに、照合すべき方位の候補となる範囲を前記の推定された現在の方位に基づいて削減し、各画像の照合の処理回数を節約する
ことを特徴とする携帯者の現在位置および方位推定方法。 - 請求項１記載の携帯者の現在位置および方位推定方法において、
携帯者が絶対方位計測手段を腰部に装着しており、前記絶対方位計測手段が利用可能な場所に関する情報が記憶手段に蓄積されているとき、前記携帯者の位置と方位が取得された時点で得られている携帯者の位置で前記絶対方位計測手段が利用可能であることが、前記の蓄積されている情報から判定できるとき、前記絶対方位計測手段によって計測される携帯者の現在の絶対方位を用いて、歩行動作検出手段が歩行動作を検出するとき、携帯者が移動可能な範囲を前記の計測された絶対方位に基づいて限定し、照合すべき前記蓄積画像の集合を削減し、各画像の照合の処理回数を節約する
ことを特徴とする携帯者の現在位置および方位推定方法。 - 請求項１記載の携帯者の現在位置および方位推定方法において、
局所的に利用可能な位置計測手段が携帯者に装着されており、記憶手段に前記位置計測手段が利用可能な場所が蓄積されているとき、推定される携帯者の到達可能範囲内に前記位置計測手段の利用可能な位置が含まれているとき、携帯者に装着されている前記位置計測手段を作動させ、前記位置計測手段によって消費される電力と位置推定演算に要する計算コストを節約する
ことを特徴とする携帯者の現在位置および方位推定方法。 - 請求項４記載の携帯者の現在位置および方位推定方法において、前記位置計測手段によって現在位置が得られたとき、前記の入力画像と蓄積画像の集合との照合において、照合すべき蓄積画像の集合を限定し、前記の照合の対象とする蓄積画像の枚数を削減し、必要となる照合の回数を節約する
ことを特徴とする携帯者の現在位置および方位推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043844A JP3706907B2 (ja) | 2002-02-20 | 2002-02-20 | 携帯者の現在位置および方位推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043844A JP3706907B2 (ja) | 2002-02-20 | 2002-02-20 | 携帯者の現在位置および方位推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003240593A JP2003240593A (ja) | 2003-08-27 |
| JP3706907B2 true JP3706907B2 (ja) | 2005-10-19 |
Family
ID=27783468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002043844A Expired - Lifetime JP3706907B2 (ja) | 2002-02-20 | 2002-02-20 | 携帯者の現在位置および方位推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3706907B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9378558B2 (en) | 2013-09-11 | 2016-06-28 | Ricoh Company, Ltd. | Self-position and self-orientation based on externally received position information, sensor data, and markers |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006035476A1 (ja) * | 2004-09-27 | 2006-04-06 | Mitsubishi Denki Kabushiki Kaisha | 位置特定サーバ及び移動体端末 |
| JP2010151658A (ja) * | 2008-12-25 | 2010-07-08 | Zhencheng Hu | 移動体位置測定装置及び移動体位置測定方法 |
| JP5255595B2 (ja) * | 2010-05-17 | 2013-08-07 | 株式会社エヌ・ティ・ティ・ドコモ | 端末位置特定システム、及び端末位置特定方法 |
| US8634852B2 (en) * | 2011-01-04 | 2014-01-21 | Qualcomm Incorporated | Camera enabled headset for navigation |
| JP2013054318A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示装置 |
| JP6676082B2 (ja) * | 2018-01-18 | 2020-04-08 | 光禾感知科技股▲ふん▼有限公司 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
| JP7429049B2 (ja) * | 2021-04-23 | 2024-02-07 | 株式会社コンピュータサイエンス研究所 | 歩行者位置特定システム及び歩行者位置特定ソフトウェア |
-
2002
- 2002-02-20 JP JP2002043844A patent/JP3706907B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9378558B2 (en) | 2013-09-11 | 2016-06-28 | Ricoh Company, Ltd. | Self-position and self-orientation based on externally received position information, sensor data, and markers |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003240593A (ja) | 2003-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4236372B2 (ja) | 空間情報利用システムおよびサーバシステム | |
| US8538688B2 (en) | User generated pedestrian and indoor shortcut routes for navigation systems | |
| KR100897436B1 (ko) | 지리정보 확인시스템의 제어방법 및 이동단말기 | |
| JP2017535792A (ja) | 地球磁場を用いた自己位置推定とマップ作成の同時実行 | |
| EP3168571A1 (en) | Utilizing camera to assist with indoor pedestrian navigation | |
| JP2010537300A (ja) | ターゲットに関するデータを移動体装置へ送信する方法および装置 | |
| JP2007520830A (ja) | コンテンツを捕捉する機会を特定するための方法及び装置 | |
| JP5858754B2 (ja) | 撮影装置、表示方法及びプログラム | |
| JP3968429B2 (ja) | 位置情報処理装置 | |
| JP2007121528A (ja) | 地図作成更新システムおよび地図作成更新方法 | |
| KR101413605B1 (ko) | 네비게이션 시스템 및 방법 | |
| JP2020086659A (ja) | 情報処理システム、プログラム、及び情報処理方法 | |
| JP3706907B2 (ja) | 携帯者の現在位置および方位推定方法 | |
| JP2007098555A (ja) | 位置指示方法とこの方法を実現するための指示装置及びプログラム | |
| TWM560099U (zh) | 運用擴增實境技術之室內精確導航系統 | |
| KR101573289B1 (ko) | 위치 측정 방법 및 이를 이용한 휴대 단말기 | |
| CN113063421A (zh) | 导航方法及相关装置、移动终端、计算机可读存储介质 | |
| CN107193820A (zh) | 位置信息获取方法、装置及设备 | |
| JPH10239055A (ja) | 携帯型情報収集装置 | |
| KR20090064673A (ko) | 위치 식별 태그의 위치를 이용한 위치 측정 단말 및 위치측정 방법 | |
| KR20050058810A (ko) | 전자지도를 위한 영상 처리 시스템 및 방법 | |
| JP4059154B2 (ja) | 情報送受信装置、情報送受信用プログラム | |
| KR100956114B1 (ko) | 촬상장치를 이용한 지역 정보 제공 장치 및 방법 | |
| JPWO2010032282A1 (ja) | サーバ装置、移動端末装置、交差点案内システム及び交差点案内方法 | |
| JP2010171664A (ja) | 携帯情報端末、情報表示制御方法、及び、情報表示制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050705 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3706907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |