JPWO2006001129A1 - 情報処理装置および方法、プログラム、並びに情報処理システム - Google Patents

情報処理装置および方法、プログラム、並びに情報処理システム Download PDF

Info

Publication number
JPWO2006001129A1
JPWO2006001129A1 JP2006528397A JP2006528397A JPWO2006001129A1 JP WO2006001129 A1 JPWO2006001129 A1 JP WO2006001129A1 JP 2006528397 A JP2006528397 A JP 2006528397A JP 2006528397 A JP2006528397 A JP 2006528397A JP WO2006001129 A1 JPWO2006001129 A1 JP WO2006001129A1
Authority
JP
Japan
Prior art keywords
recognition
positioning
information
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006528397A
Other languages
English (en)
Inventor
村田 誠
誠 村田
児嶋 環
環 児嶋
趙 文武
文武 趙
龍 青山
龍 青山
ブライアン クラークソン
ブライアン クラークソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2006001129A1 publication Critical patent/JPWO2006001129A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85Markov-related models; Markov random fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • G06V20/39Urban scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本発明は細かい粒度での位置認識を精度よく行うことができるようにする情報処理装置および方法、プログラム、並びに情報処理システムに関する。携帯端末にはGPSモジュールなどの他にカメラが設けられている。位置認識モデル構成フェーズでは、カメラで撮影された画像列から位置認識モデルが作成され、作成された位置認識モデルがGPSモジュールなどにより得られた位置情報と対応付けて記憶される。位置認識フェーズでは、GPSモジュールによりグローバルエリア上の現在位置が認識され、その認識結果から選択される位置認識モデルと、そのとき撮影された画像列に基づいて、ローカルエリア上の現在位置が認識される。本発明は、ノートブック型のパーソナルコンピュータ、PDA、携帯電話機などの携帯型の端末に適用することができる。

Description

本発明は、情報処理装置および方法、プログラム、並びに情報処理システムに関し、特に、細かい粒度での位置認識を精度よく行うことができるようにする情報処理装置および方法、プログラム、並びに情報処理システムに関する。
一般に普及しているインフラ型の位置認識技術には、例えば、GPS(Global Positioning System)やPHS(Personal Handyphone System)(登録商標)を用いるものがある。
GPSを用いた位置認識は、捕捉した衛星からの情報を利用することにより行われ、PHSを用いた位置認識は、基地局からの情報を利用することにより行われる。
これらの位置認識により、GPSモジュールやPHSモジュールを搭載した携帯型デバイスは、ユーザの位置(デバイス自身の位置)を数m〜数十m程度の粒度で特定することができる。例えば、自宅にいる/学校にいる/会社にいる/ある交差点にいる、といった粒度で、ユーザの位置を知ることができる。
ところで、特許文献1には、GPSにより算出された位置情報と、撮影した画像の特徴情報から特定された位置情報とを用いることによって現在位置を特定する技術が開示されている。これにより、単に、GPSにより取得された位置情報だけを用いる場合や、撮影した画像の特徴情報から特定された位置情報だけを用いる場合に較べて、位置認識の精度を高めることができるものである。
特開平9−190413号公報
しかしながら、GPSやPHSを用いた位置認識の場合、位置認識の粒度が数m〜数十m程度であることから、ユーザが自宅にいることまでは認識できても、リビング、キッチン、ダイニング等の、自宅のどの部屋にいるのかまでは認識することができない。
同様に、ユーザが会社にいることまでは認識できても、会社の何階にいるのか、どの部屋にいるのか、までは認識することができず、また、屋外であれば、ユーザがある交差点にいることまでは認識できても、交差点を渡る前なのか、渡った後なのか、といったことまでは認識することができない。
すなわち、ユーザの現在の状況に近い、レベルの細かい粒度の位置までは特定することができないという課題があった。
上述した特許文献1に開示されている技術を用いることによっても、「A事業所の会議室」などのように細かい位置までを特定することができるが(番号[0023]、[0024]段落)、これは、画像による位置認識結果が、GPSにより取得された位置情報により重み付けがされて(総合的に判定されて)得られるものであり(例えば図8)、画像の特徴を用いた位置認識がいきなり行われることから、例えば、他の情報を用いておおよその現在位置を推測し、それに応じて認識に用いるデータ(機器に用意されるモデル等)を適応的に変化させて位置認識を行う場合に較べて、位置認識の精度が悪いものとなるおそれがある。
一方、特許文献1にもあるように、撮影した画像から位置認識を行うためには、ユーザは、認識用のモデルなどのデータを例えば学習によりデバイスに予め用意しておく必要がある。従って、位置認識をさせるための前提となる、学習などに要するユーザの負担が大きく、しかも、ユーザが初めて訪れた場所(位置)では認識用のデータがデバイスに用意されていないことから位置認識ができない。
本発明はこのような状況に鑑みてなされたものであり、細かい粒度での位置認識を精度よく行うことができるようにするものである。また、ユーザが初めて訪れたような場所であっても、撮影した画像列から位置認識を行うことができるようにするものである。
本発明の第1の情報処理装置は、測位を行う測位手段と、測位手段による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得手段と、取得手段により取得された認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識手段とを備えることを特徴とする。
本発明の第1の情報処理装置は、センサからの出力に基づいて認識用データを作成する作成手段をさらに備えるようにすることができる。
本発明の第1の情報処理装置は、作成手段により作成された認識用データを、前記測位手段の測位により得られた位置情報と対応付けて記憶する記憶手段をさらに備えるようにすることができる。この場合、取得手段は、測位手段による測位により得られた位置情報に基づいて、認識用データを記憶手段から取得する。
本発明の第1の情報処理装置は、認識用データを他の装置に送信する送信手段をさらに備えるようにすることができる。
本発明の第1の情報処理装置は、他の装置から位置情報を受信する受信手段と、位置情報に基づき認識用データを検索する検索手段とをさらに備えるようにすることができる。この場合、送信手段は、検索手段により検索された認識用データを他の装置に送信する。
取得手段は、測位手段の測位により得られた位置情報に対応する認識用データが記憶手段により記憶されていない場合、他の装置から認識用データを取得するようにすることができる。
取得手段は、所定の時間ごとに認識用データを取得するようにすることができる。
測位手段の測位により得られる位置情報は、所定の位置座標で表され、認識用データに対応付けられて記憶手段に記憶される位置情報は、所定の位置座標範囲で表される場合に、取得手段は、測位手段の測位により得られた位置座標が、所定の位置座標範囲を超えているとき、他の装置から認識用データを取得するようにすることができる。
測位手段は、GPSとPHSを用いた測位を行い、GPSを用いて得られる位置と、PHSを用いて得られる位置のうち、信頼度の高い方の位置を測位結果として選択するようにすることができる。
センサは、カメラの撮像素子、または複数の光センサからなるようにすることができる。
本発明の第1の情報処理方法は、測位を行う測位ステップと、測位ステップの処理による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得ステップと、取得ステップの処理により取得された認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識ステップとを含むことを特徴とする。
本発明の第1のプログラムは、測位を行う測位ステップと、測位ステップの処理による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得ステップと、取得ステップの処理により取得された認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の情報処理システムは、第1の情報処理装置と第2の情報処理装置からなる情報処理システムであって、そのうちの第1の情報処理装置は、測位を行う測位手段と、測位手段の測位により得られた位置情報を、位置認識を行うための認識用データを位置情報と対応付けて記憶する第2の情報処理装置に送信する送信手段と、送信手段により送信された位置情報に基づいて検索され、第2の情報処理装置から送信されてきた認識用データを受信する受信手段と、受信手段により受信された認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識手段とを備え、第2の情報処理装置は、第1の情報処理装置から送信されてきた位置情報を受信する受信手段と、受信手段により受信された位置情報に基づいて認識用データを検索する検索手段と、検索手段により検索された認識用データを第1の情報処理装置に送信する送信手段とを備えることを特徴とする。
本発明の第2の情報処理装置は、送信される情報に基づいて測位を行う測位手段と、所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得手段と、取得手段により取得された認識用データを用いて、センサからの出力に基づく位置認識を行う位置認識手段と、測位手段による測位により得られた位置と、位置認識手段により認識された位置のそれぞれの信頼度を測定する信頼度測定手段と、信頼度測定手段により測定された信頼度に応じて、位置を表す情報を出力する位置出力手段とを備えることを特徴とする。
本発明の第2の情報処理方法は、送信される情報に基づいて測位を行う測位ステップと、所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得ステップと、取得ステップの処理により取得された認識用データを用いて、センサからの出力に基づく位置認識を行う位置認識ステップと、測位ステップの処理による測位により得られた位置と、位置認識ステップの処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと、信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情報を出力する位置出力ステップとを含むことを特徴とする。
本発明の第2のプログラムは、送信される情報に基づいて測位を行う測位ステップと、所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得ステップと、取得ステップの処理により取得された認識用データを用いて、センサからの出力に基づく位置認識を行う位置認識ステップと、測位ステップの処理による測位により得られた位置と、位置認識ステップの処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと、信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情報を出力する位置出力ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の第1の情報処理装置および方法、並びにプログラムにおいては、測位が行われ、測位により得られた位置情報に基づいて、位置認識を行うための認識用データが取得される。また、取得された認識用データと、所定のセンサからの出力とを用いて位置認識が行われる。
本発明の情報処理システムにおいては、測位が行われ、測位により得られた位置情報が、位置認識を行うための認識用データを位置情報と対応付けて記憶する第2の情報処理装置に送信される。また、送信された位置情報に基づいて検索され、第2の情報処理装置から送信されてきた認識用データが受信され、受信された認識用データと、所定のセンサからの出力とを用いて位置認識が行われる。さらに、第1の情報処理装置から送信されてきた位置情報が受信され、受信された位置情報に基づいて認識用データが検索され、検索された認識用データが第1の情報処理装置に送信される。
本発明の第2の情報処理装置および方法、並びにプログラムにおいては、送信される情報に基づいて測位が行われ、所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データが取得される。認識用データを用いて、センサからの出力に基づく位置認識が行われ、測位により得られた位置と、認識された位置の信頼度が測定され、測定された信頼度に応じて、位置を表す情報が出力される。
本発明によれば、細かい粒度での現在位置の認識が可能になる。
さらに、本発明によれば、ユーザが初めて訪れた場所であっても位置認識が可能になる。
本発明を適用した携帯端末を用いて行われる位置認識について示す図である。 位置認識の具体例について示す図である。 位置認識の具体例について示す他の図である。 HMMの共有について示す図である。 携帯端末のハードウェア構成例を示すブロック図である。 図5の情報処理部の機能構成例を示すブロック図である。 図6の登録管理部の詳細な構成例を示すブロック図である。 HMMの例を示す図である。 クラスタリングとHMMの作成について示す図である。 クラスタリングとHMMの作成について示す他の図である。 クラスタリングとHMMの作成について示すさらに他の図である。 図6の位置認識部の詳細な構成例を示すブロック図である。 信頼度に基づく測位結果の選択について示す図である。 図12の認識部の詳細な機能構成例を示す図である。 ビタビアルゴリズムについて示す図である。 位置認識モデル構成処理について説明するフローチャートである。 位置認識処理について説明するフローチャートである。 位置認識処理について説明する、図17に続くフローチャートである。 図17のステップS27,S31、および図18のステップS38において行われる認識処理について説明するフローチャートである。 携帯端末の形状の例について示す図である。 携帯端末の形状の他の例について示す図である。 携帯端末の形状のさらに他の例について示す図である。 携帯端末の形状の他の例について示す図である。 携帯端末の形状の例について示す他の図である。 携帯端末の形状の他の例について示す他の図である。 携帯端末の形状のさらに他の例について示す他の図である。 携帯端末の形状の他の例について示す他の図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
1 携帯端末, 11 情報処理部, 12 GPSモジュール, 13 PHSモジュール, 14 無線LANモジュール, 15 カメラ, 31 測位制御部, 32 登録管理部, 33 位置認識モデルDB, 34 撮影制御部, 35 位置認識部, 36 通信制御部, 51 クラスタリング部, 52 登録部, 53 モデル作成部, 61 信頼度判定部, 62 モデル取得部, 63 認識部, 64 認識結果取得部, 71 画像選択部, 72 特徴ベクトル算出部, 73 特徴ベクトル記憶部, 74 マッチング処理部
以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明を適用した携帯端末を用いて行われる位置認識について示す図である。
携帯端末には、GPSモジュール、PHSモジュールなどの測位デバイスの他に、CCD(Charge Coupled Device)などよりなるカメラが設けられている(後述する図5)。
この携帯端末においては、GPSモジュールやPHSモジュールによりグローバルエリア上のユーザ(携帯端末自身)の現在位置が認識され、その認識結果から選択される位置認識モデルと、カメラにより撮影された画像列に基づいて、ローカルエリア上のユーザの現在位置が認識される。図1の上段はグローバルエリア上での位置認識を示し、下段はローカルエリア上での位置認識を示している。
ここで、グローバルエリア上の位置とは、GPSモジュールやPHSモジュールにより取得される緯度経度情報により特定される地図上の位置をいう。GPSモジュールやPHSモジュールにより取得される緯度経度情報の精度は数m〜数十m程度であるから、GPSモジュールやPHSモジュールによる位置認識だけでは、「〜駅」付近、「自宅」付近、「オフィス」付近といった、ユーザのおおよその現在位置しか認識することができない。
また、ローカルエリア上の位置とは、「自宅」内のリビング、キッチン、ダイニング、寝室等の「自宅」内のさらに細かい粒度の位置、同様に、「オフィス」内の何階、どの会議室、ユーザの机の前等の「オフィス」内のさらに細かい粒度の位置をいう。
携帯端末においては、このようなローカルエリア上の細かい粒度の位置までが認識される。
携帯端末による位置認識は、基本的には、位置認識モデル構成フェーズと位置認識フェーズからなる。位置認識モデル構成フェーズは、カメラで撮影された画像列から位置認識を行うときに用いられるデータである位置認識モデル(例えば、HMM(Hidden Markov Model)のパラメータ、特徴抽出により得られる特徴ベクトルなどの特徴量)を作成するためのフェーズであり、位置認識フェーズは、位置認識モデルを用いることによって位置認識を実際に行うフェーズである。
位置認識モデル構成フェーズにおいては、携帯端末に設けられているカメラにより、例えば、1秒間に15フレームなどの所定のフレームレートで撮影が繰り返し行われ、ユーザの移動先毎の風景が撮影される。
図1に示すように、ユーザが普段、「五反田」駅の近くにある「オフィス」で仕事をしている場合、「自宅」の画像列、「自宅」から「五反田」まで、および「五反田」から「オフィス」までの移動中の風景の画像列、並びに「オフィス」での画像列が携帯端末により撮影される。図1において、S1乃至S5で示される四角は電車の駅を表し、そのうちのS3は「五反田駅」を、S5は「品川駅」を表している。
このようにして撮影された画像列から、位置認識モデルが携帯端末により作成される。
作成された位置認識モデルは携帯端末に記憶され、位置認識フェーズで利用可能となる。
従って、移動先で撮影が繰り返し行われることから、様々な場所に行けば行くほど多くのモデルが作成され、認識可能な位置が増えることになる。
なお、作成された位置認識モデルは、その作成の元になった画像列の撮影時にGPSモジュールやPHSモジュールにより認識された緯度経度(緯度経度により特定される位置を含むクラスタ(クラスタについては後述する))と対応付けて携帯端末に記憶される。
図1には、「自宅」内やその近傍をユーザが移動したときに撮影された画像列から作成されたモデルであるHome HMM(下段左側)、「五反田」の駅構内やその近傍をユーザが移動したときに撮影された画像列から作成されたモデルであるGotanda HMM(下段中央)、「オフィス」内やその近傍をユーザが移動したときに撮影された画像列から作成されたモデルであるOffice HMM(下段右側)が携帯端末により作成され、それぞれの緯度経度情報と対応付けて携帯端末に記憶されていることが示されている。
後に詳述するように、例えば、携帯端末により作成され、管理されるHMMの各状態(State)は、撮影された各画像(実際には各画像の特徴量)に対応する。このようなモデル(HMM)が位置認識フェーズにおいて用いられる。
位置認識フェーズにおいては、まず、GPSモジュールやPHSモジュールによりグローバルエリア上の現在位置を表す緯度経度情報が取得され、取得された緯度経度情報に基づいて、現在位置に最も近い位置のモデルとして記憶されているHMM(現在位置を含むクラスタに対応して記憶されているHMM)が、位置認識モデル構成フェーズにおいて作成されたHMMの中から選択される。
そして、選択されたHMMが用いられ、現在位置の風景をカメラで撮影することによって得られた画像列に基づいてローカルエリア上のユーザの現在位置が認識される。
ここで、図2および図3を参照して、位置認識フェーズにおいて行われる処理の具体例について説明する。
図2に示すように、例えば、図1のHome HMM,Gotanda HMM,Office HMMの3つのHMMが携帯端末に記憶されているものとする。図2の例においては、Home HMMの各状態は画像1乃至N1にそれぞれ対応し、Gotanda HMMの各状態は画像101乃至N2にそれぞれ対応している。また、Office HMMの各状態は画像201乃至N3にそれぞれ対応している。
これらのHome HMM,Gotanda HMM,Office HMMには、それぞれ、HMM作成のために用いられた画像の撮影時(位置認識モデル構成フェーズ時)に、GPSモジュールやPHSモジュールに行われた測位の結果から決定されたクラスタが対応付けられている。
このような状態で、位置認識フェーズにおいては、まず、GPSモジュールやPHSモジュールによりユーザのグローバルエリア上の現在位置の測位が行われ、測位結果の緯度経度より特定される現在位置を含むクラスタに対応付けられているHMMが、いま、ローカルエリア上の位置認識で用いるHMMとして選択される。
図2の例においては、GPSモジュールやPHSモジュールにより得られた現在位置を含むクラスタに対応付けられているHMMはHome HMMであり、白抜き矢印の先に示すように、Home HMM,Gotanda HMM,Office HMMの3つのHMMの中から、いま、ローカルエリア上の位置認識で用いるHMMとしてHome HMMが選択されている。
図2の白抜き矢印の先に示すように、Home HMMの各状態は画像1乃至N1に対応しており、このうちの画像1乃至5には「リビング」、画像6乃至10には「玄関」、画像11乃至15には「寝室」、画像16乃至20には「廊下」、…の名前が設定されている。すなわち、Home HMMは、位置認識モデル構成フェーズ時に、「リビング」で撮影された画像、「玄関」で撮影された画像、「寝室」で撮影された画像、および、「廊下」で撮影された画像、…から作成されたHMMである。なお、「リビング」等の場所の名前は、例えば、位置認識モデル構成フェーズ時に、撮影された画像を見たユーザにより設定されたものである。
図2に示すように、GPSモジュールやPHSモジュールによる測位結果からHome HMMが選択された後、選択されたHome HMMの画像列(Home HMMの各状態に対応する画像列)と、いま撮影された画像列とのマッチングが図3に示すように行われる。図3のHome HMMは、図2のHome HMMと同じものであり、その上の4つの画像301乃至304からなる画像列が、いま撮影された認識用の画像列である。
画像301乃至304はいま撮影されたものであるから、画像301乃至304の並び(後述するように、実際には、画像301乃至304の特徴量の時系列)と同じ並びのHome HMMの画像列に設定されている名前が、現在の、ユーザのローカルエリア上の位置の名前となる。
図3に示すように認識用の画像列が4つの画像301乃至304からなる場合、例えば、Home HMMの先頭から4つずつ画像が選択され、選択されたHMMの4つの画像の並びと、認識用の画像の並びとのマッチングが行われる。図3の例においては、まず、Home HMMの画像1乃至4の並びと、認識用の画像である画像301乃至304の並びとのマッチングが行われ、次に、1画像だけずらして選択されるHome HMMの画像2乃至5と、認識用の画像である画像301乃至304とのマッチングが行われる。同様に、画像301乃至304とのマッチングの対象になるHome HMMの画像が1つずつ順次ずらして選択され、選択されたHome HMMの画像と、認識用の画像である画像301乃至304とのマッチングが行われる。
マッチングにより、認識用の画像である画像301乃至304の並びとのマッチ度が高く、画像301乃至304の並びと同じ並びであると判断されたHome HMMの画像が、例えば、画像1乃至4である場合、ローカルエリア上のユーザの現在位置は、図3の白抜き矢印の先に示すように、その、画像1乃至4に設定されている名前の「リビング」として認識されることになる。
同様にして、例えば、ユーザが、現在、「オフィス」の会議室にいる場合、GPSモジュールやPHSモジュールによる緯度経度情報から図1のOffice HMMが選択され、選択されたOffice HMMの画像列から選択された所定の画像列と、いま、カメラにより撮影された認識用の画像列とのマッチング結果に基づいて、その会議室にいることが認識される。
このように、携帯端末においては、GPSモジュールやPHSモジュールによる上位の位置認識と、その位置認識の結果から選択されるHMMと、撮影した画像列を用いて行われる下位の位置認識との、いわば階層的な位置認識が行われることになる。
これにより、撮影した画像列にも基づいて位置認識が行われることから、GPSモジュールやPHSモジュールだけを用いた場合には不可能な、細かい粒度の位置までを認識することができる。
また、GPSモジュールやPHSモジュールによる上位の位置認識の結果に基づいて、下位の位置認識で用いるHMMを絞り込むことができることから、全てのモデルを対象として位置認識を行う場合などに較べて認識精度を高めることができる。
さらに、細かい粒度での位置の認識が可能であることから、図2に示すように、HMMを構成する画像に名前を設定しておくことで、ユーザは、そのときの自分自身の状況に応じた情報を携帯端末に提示させることができる。
例えば、ユーザが、自宅のリビングでの予定を外出先で携帯端末に登録しておき、その後、自宅のリビングに着いたときに「リビングでは予定があります」などのメッセージを携帯端末に出力させるなどの、ローカルエリア上の現在位置に応じた情報を提示させることができる。携帯端末においては、現在位置がリビングであることが認識されたとき、登録されていた予定が読み出され、その提示が行われる。
なお、認識した現在位置の名前をユーザに提示する必要がなく、携帯端末の内部でのみ現在位置を識別することができればよい場合、この名前の設定は不要となる。すなわち、携帯端末の内部ではそれぞれの位置が所定の識別情報で識別され、識別された位置に応じた処理が行われる。
ところで、以上の階層的な位置認識を行わせるためには、ユーザは、位置認識モデルを携帯端末に予め記憶させておく必要があり、そのためには、携帯端末を持って様々な場所に移動する必要がある。
従って、ユーザが過去に訪れたことのないところでは位置認識ができないことになるが、これを可能なものとするため、同様の機能を有する携帯端末を有しているユーザの間で位置認識モデルが共有されるようにしてもよい。
図4は、位置認識モデルの共有について示す図である。
例えば、図4のユーザAが、携帯端末を持って「品川駅S5構内」やその近傍を移動した場合、ユーザAの携帯端末では上述したようにして「品川駅S5構内」の位置認識モデルである品川駅構内HMMが作成される。作成された品川駅構内HMMは、GPSモジュールやPHSモジュールにより取得された品川駅S5の緯度経度情報とともにネットワーク上の所定のサーバにユーザAの携帯端末からアップロードされ、緯度経度情報及び、キーワードとしての地名、施設名等に対応付けられて登録される。なお、GPSモジュールやPHSモジュールによる測位には、数メートルから数十メートル程度の誤差が生じるため、緯度経度情報は図示のようにある程度の範囲を持たせて登録されることが望ましい。図4の例においては、品川駅構内HMM、五反田駅HMM、渋谷駅構内HMMのそれぞれと対応付けられている緯度・経度情報には、基準位置に対して±2秒の範囲が与えられ、サーバに登録されている。
これにより、品川駅構内HMMは、サーバにアクセスしてきた他の携帯端末のユーザとの間で共有のものとなる。
一方、品川駅S5を初めて訪れたユーザBの携帯端末には品川駅構内HMMが記憶されていないことから、ユーザBは、品川駅S5構内でのローカルエリア上の位置認識はもとより、品川駅S5に関する情報などを提示させることができない。
このとき、ユーザBの携帯端末において、検索キーワードとして「品川駅」が入力されることにより、あるいは、GPSモジュールやPHSモジュールにより取得された緯度経度情報(品川駅S5の緯度経度情報)がサーバに送信されることにより、ユーザAの携帯端末により登録された品川駅構内HMMがサーバからダウンロードされる。これにより、ユーザBの携帯端末においても品川駅S5構内の位置認識が可能になる。
ユーザBの携帯端末への位置認識モデルのダウンロードは、ユーザBがサーバに対して手動で位置認識モデルの要求を送信することにより行われてもよいが、ユーザBの携帯端末の位置や時間の遷移に応じて自動で行われてもよい。
例えば、ユーザBが品川駅構内を出て、新たな目的地に向かう場合、ユーザBを品川駅からナビゲートするためには新たな位置認識モデルが必要になる。既に品川駅構内のHMMを取得したユーザBの携帯端末は、品川駅構内HMMと対応付けて登録されている緯度経度の範囲内、すなわち、東経139度44分30秒±2秒、北緯35度37分30秒±2秒の範囲内にいるときには、引き続き品川駅構内HMMを利用して位置認識を行う。しかし、ユーザBがこの範囲内を出た場合、すなわち、GPSモジュールやPHSモジュールを用いて測位される現在位置が、保持する品川駅構内HMMによる認識可能範囲を超えた場合、もはや位置認識を行うことができない。そこで、ユーザBの携帯端末は、サーバに対して現在位置の緯度経度情報を送信して、新たなHMMのダウンロードを行う。この一連の処理は、ユーザBが目的地に到達するまで適宜繰り返される。
あるいは、保持するHMMと、測位される緯度経度情報との比較を行うことなく、所定時間間隔でサーバに対して緯度経度情報を送信し、HMMのダウンロードを繰り返すようにすることもできる。
また、ユーザAの携帯端末において作成された位置認識モデルのサーバへのアップロードも、以下の如く、当該位置認識モデルを持たないユーザのリクエストに応じて自動で行われてもよい。
まず、ユーザBの携帯端末から品川駅構内HMMの要求を受信したサーバが、ネットワーク上の複数の端末に対して、ユーザBの携帯端末の緯度経度情報と対応付けたHMM要求を転送する。受信した端末において、緯度経度情報を手がかりにHMMの検索が行われ、要求されたHMMを保持するユーザAの携帯端末から、品川駅構内HMMがサーバに送信される。ユーザAから品川駅構内HMMを取得したサーバは、HMMと緯度経度情報とを対応付けて登録するとともに、品川駅構内HMMを、ユーザBの携帯端末に対して送信する。
これにより、サーバは、位置認識モデルが手動でアップロードされるのを待つことなく、ユーザの要求に応じて即座に位置認識モデルを取得することができる。
このように同様の機能を有する携帯端末を有しているユーザの間で位置認識モデルが共有されるようにすることにより、ある場所を初めて訪れたユーザであっても、ローカルエリア上の位置認識を自分の携帯端末に行わせることができ、現在位置に応じた情報を提示させることができる。
以上のような携帯端末の動作についてはフローチャートを参照して後述する。
図5は、階層的な位置認識を行う携帯端末1のハードウェア構成例を示すブロック図である。
図5に示すように、携帯端末1は、例えば、その断面が六角形となる筐体により形成される。筐体の大きさは、ユーザが片手で把持可能な程度の大きさとされる。
携帯端末1の全体を制御する情報処理部11には、例えば、GPSモジュール12、PHSモジュール13、無線LAN(Local Area Network)モジュール14、およびカメラ15が接続される。
情報処理部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成され、例えば、GPSモジュール12やPHSモジュール13を制御してグローバルエリア上の現在位置を認識する処理や、カメラ15により撮影された画像列に基づいてローカルエリア上の現在位置を認識する処理などを行う。
GPSモジュール12は、捕捉した衛星から送信されてくる情報を受信し、それを情報処理部11に出力する。PHSモジュール13は、通信を行っている基地局から送信されてくる情報を受信し、それを情報処理部11に出力する。無線LANモジュール14は、例えば、近傍に設置されているアクセスポイントを介して外部のネットワークに接続し、ネットワーク上のサーバ(図4のサーバ)に対して位置認識モデルをアップロードしたり、サーバから位置認識モデルをダウンロードしたりする。
カメラ15は撮影した画像列を情報処理部11に出力する。カメラ15は、レンズが表面に現れる形で携帯端末1に内蔵して設けられるようにしてもよいし、ユーザにより携帯端末1がカバンの中やポケットの中にしまわれた場合でも周囲を撮影することができるように、携帯端末1の筐体とは別筐体のものとして設けられるようにしてもよい。また、カメラ15のレンズには、後述するように広角のレンズや魚眼レンズが用いられるようにしてもよい。
図6は、図5の情報処理部11の機能構成例を示すブロック図である。
図6の各機能部の少なくとも一部は、情報処理部11のCPUにより所定のプログラムが実行されることで実現される。
測位制御部31は、GPSモジュール12やPHSモジュール13を制御し、それらの測位デバイスから供給されてくる情報に基づいてグローバルエリア上の緯度経度情報を取得する。測位制御部31により得られた緯度経度情報は、そのときのフェーズが位置認識モデル構成フェーズである場合には登録管理部32に出力され、位置認識フェーズである場合には位置認識部35に出力される。
登録管理部32は、撮影制御部34から供給されてくる画像列に基づいて位置認識モデルであるHMMを作成し、作成したHMMと、測位制御部31から供給されてくる緯度経度情報をクラスタリングして得られるクラスタの情報を対応付けて位置認識モデルDB(Data Base)33に記憶させる。また、登録管理部32は、HMMとクラスタの情報を通信制御部36にも出力する。
位置認識モデルDB33は、登録管理部32により作成されたHMMを記憶する。記憶されているHMMは、適宜、位置認識部35により読み出され、位置認識に用いられる。
撮影制御部34は、カメラ15による撮影を制御し、そのときのフェーズが位置認識モデル構成フェーズである場合には得られた画像列を登録管理部32に出力し、位置認識フェーズである場合には位置認識部35に出力する。
図3を参照して説明したように、携帯端末1により行われるマッチングは、例えば、認識用の画像列と、HMMの各状態に対応する画像から選択された画像列との特徴量の時系列(時間的変化)を見ることで行われる。このように、時間的変化を見るだけであるから、認識用の画像や、HMMを作成するための画像には高い解像度は求められず、カメラ15により撮影され、撮影制御部34により得られた画像は、例えば、32×24(横×縦)画素の低い解像度の画像に変換されて登録管理部32や位置認識部35に出力されるようにしてもよい。
また、対応する画素の画素値の変化が大きすぎる場合、画素値の変化が比較的小さい場合に較べて、マッチングの精度が落ちることから、カメラ15のレンズには、魚眼レンズなどの、より広角のレンズが用いられる。1つの画像の解像度(例えば32×24)が同じであるとすると、狭い画角のレンズで撮影するよりも、広い画角のレンズで撮影した方が、カメラ15の向きを変えたときの画素値の変化を抑えることができ、これにより、判定精度を高めることができる。なお、上述した図1乃至図4において、1フレームの画像の絵には円が描かれ、円の中に被写体である風景の絵が描かれているが、このことは、それぞれの画像が、画角の広いレンズで撮影されたものであり、それに写っている風景が歪んでいることを表している。
図6の説明に戻り、位置認識部35は、測位制御部31から供給されてくる緯度経度情報に基づいて、現在位置を含むクラスタに対応付けられているHMMを位置認識モデルDB33から読み出し、読み出したHMMと、撮影制御部34から供給されてくる画像列に基づいてローカルエリア上の現在位置を認識する。位置認識部35により認識されたローカルエリア上の現在位置の情報は、例えば、現在位置に応じて所定の情報を提示する処理を行うアプリケーションに提供される。
また、位置認識部35は、ユーザが初めて訪れた場所であることから、現在位置を含むクラスタに対応付けられているHMMが位置認識モデルDB33に記憶されていない場合、緯度経度情報を通信制御部36に出力し、現在位置を含むクラスタのHMMをサーバからダウンロードさせる。位置認識モデルDB33からHMMが取得された場合と同様に、そのようにしてサーバから取得されたHMMに基づいて、位置認識部35によりローカルエリア上の現在位置の認識が行われる。
通信制御部36は、無線LANモジュール14を制御し、登録管理部32から供給されてきたHMMとクラスタの情報をサーバにアップロードする。また、通信制御部36は、位置認識部35から供給されてきた緯度経度情報に基づいて、緯度経度情報により表される現在位置を含むクラスタに対応付けられているHMMをサーバからダウンロードし、それを位置認識部35に出力する。
図7は、図6の登録管理部32の詳細な機能構成例を示すブロック図である。
登録管理部32は、例えば、クラスタリング部51、登録部52、およびモデル作成部53から構成される。
クラスタリング部51は、測位制御部31から供給されてくる緯度経度情報により表される現在位置のクラスタリングを行い、現在位置が属するクラスタの情報を登録部52に出力する。登録部52に供給されるクラスタの情報には、所定の範囲をとるクラスタの基準となる位置の情報や、その範囲に関する情報などが含まれる。
登録部52は、クラスタリング部51から供給されてくるクラスタの情報と、モデル作成部53から供給されてくるHMMを対応付けて位置認識モデルDB33に記憶させるとともに、それらの情報を通信制御部36からネットワーク上のサーバに送信させる。
モデル作成部53は、撮影制御部34から供給されてくる画像列に基づいてHMMを作成し、作成したHMMを登録部52に出力する。なお、あるクラスタに対応するものとしてHMMが既に作成されている場合、モデル作成部53は、撮影制御部34から供給されてくる画像列に基づいてそのHMMの学習(更新)を行う。学習結果のHMMは登録部52を介して位置認識モデルDB33に供給され、記憶される。
ここで、モデル作成部53によるHMMの作成について説明する。
モデル作成部53は、位置認識モデル構成フェーズ時にカメラ15により取り込まれた画像列のうち、HMMの作成に不要であると考えられる画像を省き、不要ではないと考えられる画像からHMMを作成する。
例えば、モデル作成部53は、下式(1)に基づいて、今回取得された画像Zと、不要なものではないとして最後に選択した画像xiとの比較を行い、これらの2つの画像間の非類似度または時間間隔に、予め定められた閾値以上の差がある場合、その、今回取得された画像Zを認識用の画像として選択する。
Figure 2006001129
ここで、DmaxはD(xi-1,Z)の最大値である。関数Dは、後述する下式(3)で定義される。また、ρは画像xi-1、および画像Zの受付に必要となるパーセンテージ変化であり、βは適応速度を調整するためのファクタである。これらのρ,βには所定の値が設定される。さらに、ti-1は画像xi-1が取得された時刻であり、tZは画像Zが取得された時刻である。
このように、2つの画像間の非類似度や時間間隔に基づいて画像を選択することにより、同一、または、ほぼ同一の画像が連続して選択されることを防止することができ、限られた記憶容量の中で、マッチング処理で利用可能な情報を効率的に多く含む、より大きなHMMを生成することが可能になる。
図8は、モデル作成部53により作成されるHMMの例を示す図である。
図8に示すように、位置認識モデル構成フェーズ時に撮影され、不要なものではないとして選択されたN個の画像が各状態にそれぞれ対応するように構成されたHMMが作成される。すなわち、携帯端末1において用いられるモデルは、例えば、部分的にラベル付けされたデータから期待値最大化法(Expectation-Maximization)等を用いて推定されるパラメータよりなるものではなく、HMMの各状態を、位置認識モデル構成フェーズ時に得られたそれぞれの画像に直接対応させたものである。
また、その遷移パラメータとして、図8の下方に示すように、予め定められた値が設定される。図8の遷移パラメータのグラフにおいて、縦軸は遷移確率であり、横軸は画像間(状態間)の時間的な距離である。例えば、図8に示すように、距離が大きくなるに従って、遷移確率が0に近づくようなガウス分布に基づいて算出された値が設定される。これにより、遷移パラメータの最適化処理を行う必要がなく、処理負担を軽減させることができる。
このように、通常のように学習を行わずに、遷移パラメータとして予め定めたものを使用するのは、HMMの各状態に対応する画像は時系列的に順次取得されたものであり、ある状態(図8の場合、状態4)から、時間的に遠い状態に遷移する可能性は小さいか、またはゼロであると考えられるためである。
図9乃至図11は、以上の構成を有する登録管理部32によるクラスタリングと、HMMの作成について示す図である。なお、図9乃至図11に示すグローバルエリアは、図1において鳥瞰していたものを真上から示したものである。
いま、上述したように、ユーザは、普段「五反田」の近くにある「オフィス」で仕事をし、週末には、駅S2の近くにあるデパートメントストアによく出かけるものとする。また、ユーザは、携帯端末1を常に持ち歩いているものとする。
この場合、周囲の撮影と、GPSモジュール12などによる測位が繰り返し行われることから、測位により得られた位置をグローバルエリア上にプロットした場合、図9に示すように、例えば、駅S1の近くにある自宅、五反田駅S3の近くにあるオフィス、駅S2の近くにあるデパートメントストアのそれぞれの位置をほぼ中心としてプロットの位置が集中する。また、これらのプロットの位置で撮影された画像列が集まる。
ここで、クラスタリング部51は、図9に示すようなプロットに対して所定の手法を用いてクラスタリングを行い、図10の点線の円で示すような、位置P1を中心としたHomeクラスタ、位置P2を中心としたDepartment Storeクラスタ、位置P3を中心としたOfficeクラスタを生成する。なお、各クラスタの名前に含まれる「Home」、「Department Store」、「Office」は説明の便宜上付してあるものである。
このようにして生成されたクラスタの中心位置(位置P1、位置P2、位置P3)を表す情報などが、各クラスタの情報として登録部52に出力される。
一方、モデル作成部53は、図9の各プロットの位置で撮影された画像列に基づいて、クラスタリング部51により生成された各クラスタ内で位置認識を行うときに用いるHMMを上述したようにして作成し、作成したHMMを登録部52に出力する。
登録部52は、クラスタリング部51により生成されたクラスタの情報と、モデル作成部53により作成されたそれぞれのクラスタ内で用いるHMMを対応付けて位置認識モデルDB33に登録する。クラスタの名前(撮影場所の名前)やHMMの画像の名前がユーザにより設定された場合、その名前もクラスタの情報に含まれる。
これにより、図11に示すように、Homeクラスタに対しては、そこに含まれるプロットの位置で撮影された画像列から作成されたHome HMMが対応付けられ、Department Storeクラスタに対しては、そこに含まれるプロットの位置で撮影された画像列から作成されたDepartment Store HMMが対応付けられる。また、Officeクラスタに対しては、そこに含まれるプロットの位置で撮影された画像列から作成されたOffice HMMが対応付けられる。
図12は、図6の位置認識部35の詳細な機能構成例を示すブロック図である。
位置認識部35は、例えば、信頼度判定部61、モデル取得部62、認識部63、および認識結果取得部64から構成される。
信頼度判定部61は、測位制御部31から供給されてくる情報に基づいて、GPSモジュール12やPHSモジュール13による測位結果の信頼度の判定を行い、より信頼できる方の測位結果(緯度経度情報)をモデル取得部62に出力する。
例えば、測位制御部31からは、GPSモジュール12により捕捉された衛星の数などの情報や、PHSモジュール13により受信されている基地局からの電波の状況に関する情報などが供給されてくるため、信頼度判定部61は、これらの情報に基づいて測位結果の信頼度の判定を行う。
また、信頼度判定部61は、撮影された画像列に基づいて認識部63により推測されたグローバルエリア上の測位結果の信頼度も判定する。例えば、撮影された画像列に基づいて認識部63により推測された測位結果が、GPSモジュール12やPHSモジュール13による測位結果よりも信頼できるものである場合、その認識部63による測位結果が現在位置としてモデル取得部62に出力される。
図13は、信頼度に基づく測位結果の選択の例について示す図である。
例えば、図13に示すように、最大を100として、GPSモジュール12による測位結果の信頼度が90、PHSモジュール13による測位結果の信頼度が70、センサ型位置認識エンジン(センサであるカメラ15により撮影された画像列から位置を推測する認識部63)による測位結果の信頼度が65である場合、信頼度の最も高いGPSモジュール12の測位結果が選択され、階層型位置認識エンジンによる位置認識に用いられる。この階層型位置認識エンジンは、図12のモデル取得部62、認識部63等による、上述した階層的な位置認識を行うエンジンである。
このように、以降の処理で用いられる測位結果が信頼度に基づいて選択されることから、より精度の高い位置認識が可能となる。
例えば、基地局からの電波の受信が困難な都市部から比較的離れた場所では、PHSモジュール13による測位結果の信頼度が下がるため、GPSモジュール12による測位結果が採用されることになる。また、衛星からの電波の受信が困難な建物や電車の中などでは、GPSモジュール12による測位結果の信頼度が下がるため、PHSモジュール13による測位結果が採用されることになる。
図12の説明に戻り、モデル取得部62は、信頼度判定部61から供給されてくる緯度経度情報により表される現在位置を含むクラスタに対応付けてられているHMMを位置認識モデルDB33から読み出す(取得する)。例えば、図11において、GPSモジュール12により得られた緯度経度情報により、グローバルエリア上の現在位置がHomeクラスタ内であるとして認識された場合、Homeクラスタに対応付けられているHome HMMが位置認識モデルDB33から読み出される。
また、モデル取得部62は、現在位置を含むクラスタに対応付けてられているHMMが位置認識モデルDB33に記憶されていない場合、信頼度判定部61から供給されてくる緯度経度情報を通信制御部36に出力し、現在位置を含むクラスタのHMMをサーバからダウンロードさせる。通信制御部36によりサーバからダウンロードされたHMMはモデル取得部62により取得される。
以上のようにしてモデル取得部62により取得されたHMMは認識部63に出力される。
例えば、現在位置を含むクラスタに対応付けてられているHMMがサーバからも取得できない場合、信頼度判定部61から供給されてきた現在位置の情報(GPSモジュール12やPHSモジュール13により測位された位置情報)や、撮影された画像列から認識部63により直接認識された現在位置の情報がそのまま認識結果取得部64に供給され、現在位置として採用される。
認識部63は、モデル取得部62から供給されてきたHMMと、撮影制御部34から供給されてきた画像列に基づいてローカルエリア上の現在位置の認識を行い、認識結果を認識結果取得部64に出力する。
図14は、図12の認識部63の詳細な機能構成例を示す図である。
認識部63は、画像選択部71、特徴ベクトル算出部72、特徴ベクトル記憶部73、マッチング処理部74から構成される。
画像選択部71は、位置認識フェーズ時に撮影制御部34から供給されてきた画像のうち、不要であると考えられる画像を省き、ローカルエリア上の位置認識に用いる画像を選択する。画像選択部71による画像の選択は、例えば、モデル作成部53による画像の選択のアルゴリズムと同じアルゴリズムで行われる。
従って、位置認識モデル構成フェーズ時と位置認識フェーズ時とで、全く同じ風景が撮影された場合、位置認識モデル構成フェーズ時にモデル作成部53により選択される画像(HMMを作成するための画像)と、位置認識フェーズ時に画像選択部71により選択される画像(位置認識を行うための認識用の画像)は同じものになる。これにより、不要な画像を省きつつ、位置認識フェーズ時のローカルエリア上の位置認識が可能になる。
画像選択部71により選択された画像は特徴ベクトル算出部72に出力される。
特徴ベクトル算出部72は、画像選択部71から供給されてきた画像の特徴を表す特徴ベクトル(特徴量)を算出し、算出した特徴ベクトルを特徴ベクトル記憶部73に記憶させる。
例えば、特徴ベクトル算出部72は、画像選択部71から供給されてきた画像xiと、画像選択部71により過去に選択された画像{x1,…,xM}とのそれぞれの距離を求め、その求めた各距離を要素とする特徴ベクトルを取得する。すなわち、下式(2)で表されるM次元の特徴ベクトルが得られる。
Figure 2006001129
なお、D(x,y)は例えば下式(3)で表されるが、2つの画像x,y間の差を表すことができるものであれば他の任意の関数を用いることができる。式(3)において、HWはセンサ番号(カメラ15に設けられるCCDの画素)の高さ方向および幅方向の最大値である。また、lは画像のピクセル位置、cは色チャネル番号(通常1、2、3はそれぞれ赤、緑、青を示す)を表す。
Figure 2006001129
特徴ベクトル記憶部73は、例えば、サーキュラバッファ(Circular Buffer)により構成され、予め定められた数の特徴ベクトルを、特徴ベクトル算出部72から供給されてきた順序で記憶する。特徴ベクトル記憶部73に記憶される特徴ベクトルの順序は、認識用の画像が撮影された時間的な順序に対応する。
すなわち、特徴ベクトル記憶部73に記憶されている内容は、特徴ベクトルを時系列的に並べたものであり、そのうちの最新の特徴ベクトルを「現在」とすると、その「現在」に至るまでの時間的な状況の遷移を表すことになる。このように所定の数の特徴ベクトルにより表される「現在」に至るまでの状況の遷移が、HMMの各状態に対応する画像により表される「過去」の状況の遷移とマッチングされる。
マッチング処理部74は、モデル取得部62から供給されてきたHMMによるビタビ時系列マッチを行い、特徴ベクトル記憶部73に記憶されている特徴ベクトルの時系列と、HMMの状態(状態を表す画像から求めれた特徴ベクトルの時系列)とのマッチ度を算出する。
ここで、マッチング処理部74により行われるビタビ時系列マッチ(ビタビアルゴリズム)について説明する。
ビタビアルゴリズムは、以下のような最大化問題への解を提供する。下式(4)において、siはi番目の画像xiに対応する状態を表し、s* iは最適化された状態を表す。
Figure 2006001129
ビタビアルゴリズムによって、図15に示すように、特徴ベクトル記憶部73に記憶されている特徴ベクトルの行列Hとして表される画像と、モデル取得部62から供給されてきたHMMの状態を表す画像をマッチさせる最適状態系列が決定され、その最適状態系列に沿って求められる確率が、画像間のマッチ度として取得される。図15の例においては、太線矢印で示す{S1,S1,S2,S3,S3,S2,S3,S4,S4}の系列が最適状態系列として決定されている。
以上においては、ビタビ時系列マッチによりマッチ度が求められるとしたが、当然、他の方法によりマッチ度が求められるようにすることも可能である。なお、以上のようなビタビ時系列マッチについては、本出願人による特願2004−191308号に、さらにその詳細が開示されている。
図12の説明に戻り、また、認識部63は、必要に応じて、撮影制御部34から供給されてきた画像列に基づいて逆にグローバルエリア上の現在位置の認識を行い、認識結果を信頼度判定部61に出力する。グローバルエリア上の現在位置の認識においては、適宜、位置認識モデルDB33に記憶されているHMM等が用いられる。
認識結果取得部64は、認識部63から供給されてくるローカルエリア上の現在位置の情報や、モデル取得部62から供給されてくるグローバルエリア上の現在位置の情報を取得し、取得した情報を所定のアプリケーションに提供する。認識結果取得部64から提供されたローカルエリア上の現在位置の情報に基づいて、ユーザの位置に応じた情報の提供などが行われる。
次に、以上のような構成を有する携帯端末1の動作についてフローチャートを参照して説明する。
始めに、図16のフローチャートを参照して、位置認識モデル構成フェーズのときに携帯端末1により行われる位置認識モデル構成処理について説明する。
ステップS1において、情報処理部11の撮影制御部34は、カメラ15による撮影を行い、得られた画像列を登録管理部32のモデル作成部53に出力する。撮影は、例えば1秒間に15フレームなどのレートで連続して行われる。
この撮影は、ユーザからの指示があるまで繰り返されるようにしてもよいし、或いは、まだ撮影したことのない場所でのみ撮影が行われ、撮影したことのある場所に移動したときに撮影が終了されるようにしてもよい。現在位置が撮影したことのない場所であるか、撮影したことのある場所であるかの判断は、例えば、GPSモジュール12やPHSモジュール13による測位結果と、位置認識モデルDB33に記憶されている情報に基づいて行われる。基本的には、この撮影とステップS2以降の処理は並行して行われる。
ステップS2において、測位制御部31は、GPSモジュール12やPHSモジュール13を制御し、それらの測位デバイスから供給されてくる情報に基づいてグローバルエリア上の現在位置の認識を行う。測位制御部31により得られた緯度経度情報は登録管理部32のクラスタリング部51に出力される。
ステップS3において、クラスタリング部51は、測位制御部31から供給されてきた緯度経度情報により表される現在位置のクラスタリングを行い、現在位置を含むクラスタの情報を登録部52に出力する。
モデル作成部53は、ステップS4において、撮影制御部34から供給されてきた画像列に基づいてHMMを作成し、作成したHMMを登録部52に出力する。ここでは、上述したように、撮影制御部34から供給されてきた画像のうちの所定の画像の選択や、選択された画像をそれぞれの状態に対応させることなどが行われる。なお、HMMの作成は、後から所定のタイミングで行われるようにしてもよい。この場合、撮影された画像列と、撮影位置の情報が対応付けて位置認識モデルDB33などの所定の記憶部に保存されることになる。
ステップS5において、必要に応じて登録部52はクラスタなどの名前の登録を行う。
例えば、登録部52は、携帯端末1に設けられる図示せぬ表示部に、撮影されたばかりの画像を表示し、その風景に名前を設定させる。
ステップS6において、登録部52は、クラスタリング部51から供給されてくるクラスタの情報と、モデル作成部53から供給されてくるHMMを対応付けて位置認識モデルDB33に記憶させる。
また、登録部52は、ステップS7において、クラスタの情報とHMMを通信制御部36からサーバにアップロードさせる。
以上の処理によりHMMがクラスタと対応付けられて位置認識モデルDB33に記憶される。また、HMMがサーバ上で共有のものとされる。
次に、図17および図18のフローチャートを参照して、位置認識フェーズのときに携帯端末1により行われる位置認識処理について説明する。
ステップS21において、情報処理部11の撮影制御部34は、カメラ15による撮影を行い、得られた画像列を位置認識部35の認識部63に出力する。ここでの撮影は、例えば、現在位置を認識することができるだけのフレーム数の画像が得られるまで繰り返し行われる。
ステップS22において、測位制御部31は、GPSモジュール12やPHSモジュール13を制御し、それらの測位デバイスから供給されてくる情報に基づいてグローバルエリア上の現在位置の認識を行う。測位制御部31により得られた緯度経度情報は位置認識部35の信頼度判定部61に出力される。
信頼度判定部61は、ステップS23において、GPSモジュール12により受信されている衛星からの電波の状況などに基づいてGPSモジュール12による測位結果の信頼度を算出し、算出した信頼度が所定の閾値以上であるか否かを判定する。
ステップS23において、信頼度判定部61は、GPSモジュール12による測位結果の信頼度が閾値以上であると判定した場合、GPSモジュール12による測位結果の緯度経度情報をモデル取得部62に出力し、ステップS24に進む。
モデル取得部62は、ステップS24において、信頼度判定部61から供給されてきた緯度経度情報により表される現在位置を含むクラスタを位置認識モデルDB33を対象として検索する。
ステップS25において、モデル取得部62は、現在位置を含むクラスタがあると判定した場合、ステップS26に進み、そのクラスタに対応付けて記憶されているHMMを位置認識モデルDB33から取得する。モデル取得部62により取得されたHMMは認識部63に出力される。
ステップS27において、認識部63は認識処理を行う。認識部63による認識処理については図19のフローチャートを参照して説明する。認識部63による認識結果は認識結果取得部64に出力される。
認識結果取得部64は、ステップS28において、認識部63による認識結果であるローカルエリア上の現在位置の情報を取得し、所定のアプリケーションなどに提供して処理を終了させる。
一方、ステップS23において、信頼度判定部61は、GPSモジュール12による測位結果の信頼度が閾値未満であると判定した場合、ステップS29に進み、次に、基地局からの電波の受信状況などに基づいて、PHSモジュール13による測位結果の信頼度が所定の閾値以上であるか否かを判定する。
ステップS29において、信頼度判定部61は、PHSモジュール13の測位結果の信頼度が閾値以上であると判定した場合、PHSモジュール13による測位結果の緯度経度情報をモデル取得部62に出力し、ステップS30に進む。
ステップS30において、モデル取得部62は、信頼度判定部61から供給されてきた緯度経度情報により表される現在位置を含むクラスタを位置認識モデルDB33を対象として検索し、ステップS25に進み、それ以降の処理を行う。
すなわち、現在位置を含むクラスタが位置認識モデルDB33に記憶されている場合、それに対応付けられているHMMが位置認識モデルDB33から読み出され、読み出されたHMMが用いられてローカルエリア上の現在位置の認識が行われる。
一方、信頼度判定部61は、ステップS29において、PHSモジュール13による測位結果の信頼度も所定の閾値未満であると判定した場合、ステップS31に進む。ステップS31においては、ステップS27と同様、認識部63により認識処理が行われる。すなわち、この場合、撮影された画像列から、グローバルエリア上のまたはローカルエリア上の現在位置が直接認識されることになる。
ステップS32において、信頼度判定部61は、撮影された画像列から認識部63により直接認識された現在位置の信頼度が閾値以上であるか否かを判定し、閾値以上であると判定した場合、ステップS28に進む。ステップS28においては、撮影された画像列から直接認識された現在位置の情報が認識結果取得部64により取得され、処理が終了される。
認識部63は、ステップS32において、撮影された画像列から直接認識した現在位置の信頼度が閾値未満であると判定した場合、ステップS33に進む。ステップS33においては、現在位置が認識不能であるとして所定のエラー処理が行われ、処理は終了される。例えば、初めて訪れた場所が、PHSの基地局からの電波の受信状況が悪い郊外であり、かつ衛星からの電波の受信状況も悪い建物の中などである場合にはエラー処理が行われることになる。
一方、ステップS25において、モデル取得部62は、GPSモジュール12による測位結果の現在位置、または、PHSモジュール13による測位結果の現在位置を含むクラスタが位置認識モデルDB33に記憶されていないと判定した場合、それらの現在位置を表す緯度経度情報を通信制御部36に出力し、ステップS34(図18)に進む。
ステップS34において、通信制御部36は、モデル取得部62から供給されてきた緯度経度情報をネットワークを介してサーバに送信する。
また、通信制御部36は、ステップS35において、送信した緯度経度情報により表される現在位置を含むクラスタの情報がサーバに登録されているか否かを判定し、登録されていないと判定した場合、ステップS36に進む。この場合、GPSモジュール12による測位結果、または、PHSモジュール13による測位結果がモデル取得部62から認識結果取得部64に供給され、現在位置の認識結果として取得される。その後、処理は終了される。
通信制御部36は、ステップS35において、現在位置を含むクラスタの情報がサーバに登録されていると判定した場合、ステップS37に進み、そのクラスタに対応付けて登録されているHMMをダウンロードする。通信制御部36によりダウンロードされたHMMは、モデル取得部62を介して認識部63に出力される。
認識部63は、ステップS38において、ステップS27と同様、認識処理を行う。ここでの認識処理において用いられるHMMはサーバからダウンロードされたものである。認識部63による認識結果は認識結果取得部64により取得され、処理が終了される。
次に、図19のフローチャートを参照して、図17のステップS27,S31、および図18のステップS38において行われる認識処理について説明する。
ステップS61において、認識部63の画像選択部71(図14)は、撮影制御部34から供給されてきた画像の中からローカルエリア上の位置認識に用いる画像を選択し、そのように選択した画像からなる認識用の画像列を特徴ベクトル算出部72に出力する。
ステップS62において、特徴ベクトル算出部72は、画像選択部71から供給されてきた画像の特徴を表す特徴ベクトルを算出し、算出した特徴ベクトルを特徴ベクトル記憶部73に記憶させる。これにより、特徴ベクトル記憶部73には特徴ベクトルの時系列が記憶される。
ステップS63において、マッチング処理部74は、モデル取得部62から供給されてきたHMMによるビタビ時系列マッチを行い、特徴ベクトル記憶部73に記憶されている特徴ベクトルの時系列と、HMMの状態(状態を表す画像から求めれた特徴ベクトルの時系列)とのマッチ度を算出する。
マッチング処理部74は、ステップS64において、マッチ度の算出結果に基づいて、マッチ度の最も高いHMMの画像列に設定されている識別情報や名前を、ローカルエリア上の現在位置の認識結果として認識結果取得部64に出力する。その後、処理は、図17のステップS27,S31、または図18のステップS38に戻り、それ以降の処理が行われる。
以上の処理によりローカルエリア上の現在位置が認識されることから、次のようなシナリオでの携帯端末1の利用が可能となる。
例えば、ユーザが図11の駅S2の近くにあるデパートメントストアの洋服店Aを前回訪れたとき、気に入った洋服を見つけていたが、そのときは購入せずに次回購入することを携帯端末1を用いてメモにとっていたとする(写真を撮る、テキストでメモを残していたとする)。この場合、ユーザが洋服店Aを次に訪れ、洋服店Aにいることが携帯端末1により認識されることに応じて、そのメモが提示されることになる。
これにより、ユーザは、洋服店Aで洋服を購入することを思い出すことができる。なお、ユーザにより入力されたメモは、洋服店Aの位置を識別する情報とともに、携帯端末1のシステム内にファイルとして保存されている。
また、GPSモジュール12による測位結果とPHSモジュール13による測位結果が信頼度に応じて切り替えられるようにしたことから、さらに、初めて訪れた場所であっても、そこでの位置認識を行うためのHMMがサーバからダウンロードされるようにしたことから(サーバにそのHMMが登録されている場合)、次のようなシナリオでの携帯端末1の利用が可能である。
例えば、図11の品川駅S5に訪れたことのないユーザが品川駅S5構内で友人と待ち合わせをしているものとする。
このユーザが有する携帯端末1においては、GPSモジュール12またはPHSモジュール13によって緯度経度情報が定期的に取得されているが、品川駅S5構内ではGPSモジュール12による衛星からの電波の受信が困難になるので(航法メッセージを捕捉できなくなるので)、GPSモジュール12から携帯端末1のシステム(情報処理部11)に信頼度が下がったことが通知される。
これに応じて、携帯端末1のシステムは、GPSモジュール12の信頼度と、PHSモジュール13の信頼度を比較する。PHSの場合、例えば品川駅S5構内でも基地局からの電波が届いているので、信頼度は高く、グローバルエリア上の測位結果としてPHSモジュール13からの出力が用いられる。
携帯端末1のシステムは、PHSモジュール13による測位結果である緯度経度情報を用いて、品川駅S5を含むクラスタを位置認識モデルDB33から探すが、ユーザが品川駅S5を訪れたことがないため、クラスタが存在しない。
この場合、携帯端末1のシステムは、ネットワーク上のサーバにHMMのリクエストを送り(PHSモジュール13により認識された緯度経度情報を送信し)、そのサーバに他のユーザの携帯端末により作成されたHMMが存在する場合、そのHMMをダウンロードし、品川駅S5構内での位置認識に用いる。
その結果、ユーザは、自分が品川駅S5構内の東口に向かっているのか、西口に向かっているのかなどを、携帯端末1によるナビゲーションによって確認することができ、慣れない場所でも友人との待ち合わせを行うことができる。
なお、HMMは、上述の位置認識エンジンの場合にはHMMのパラメータや特徴ベクトルであって、後から写真や動画として復元することが不可能であるため、それらのデータから個人情報(例えば、どこに行って、何を買ったかなど)を抽出することはできない。従って、HMMの送受信を行う限りにおいては、プライバシー保護の観点からも、データをシェアするリスクは非常に少ないといえる。また、データサイズも数10KBから数MBであるため、データ転送を容易に行うことが可能である。
このような特性を活かして、さらに次のようなシナリオでの携帯端末1の利用が可能である。
例えば、あるユーザが初めて訪れた白馬駅でのナビゲーションを想定する。
当然、このユーザの携帯端末1には、白馬駅の位置認識モデルは存在しない。そこで、このユーザはサーバに対して、白馬駅の位置認識モデルであるHMMの送信を要求したが、サーバにはまだ白馬駅のHMMが登録されていなかった。
この場合、ユーザの携帯端末1は、無線LANなどの無線通信手段を用いて、同報通信(Broadcast)を行い、ネットワーク上の複数の端末に対して白馬駅のHMMのリクエストを送信する。携帯端末1からのリクエストを受信した、携帯端末1の周囲の端末の中に、既に白馬駅のHMMを保有する白馬駅周辺の住人の携帯端末2が含まれていたとすると、当該携帯端末2において、携帯端末1からリクエストと共に送信された白馬駅の位置情報に基づき、携帯端末2が保持する認識モデルの中から白馬駅のHMMの検索が行われる。そして、白馬駅のHMMを保有する旨の返答を携帯端末1に対して行う。
携帯端末2からの返答を受信した携帯端末1は、携帯端末2とアドホックモードで接続し、携帯端末2から、白馬駅のHMMのダウンロードを行う。
このように、ナビゲーションが必要なときに所望の位置認識モデルがサーバに登録されていない場合でも、いわゆるPeer to Peer方式で位置認識モデルを共有すること、すなわち、直接個人間で位置認識モデルの授受を行うことが可能である。
携帯端末1において、上述のような、他の端末からHMMを取得する処理を繰り返すことで、白馬駅からさらに他の目的地へのナビゲーションを実現することができる。
例えば、ユーザが白馬駅を出て、新たな目的地に向かう場合、ユーザを白馬駅からナビゲートするためには新たなHMMが必要になる。既に白馬駅のHMMを取得したユーザの携帯端末1は、白馬駅HMMと対応付けて登録されている緯度経度の範囲内にいるときには、引き続き白馬駅HMMを利用して位置認識を行う。しかし、ユーザがこの範囲内を出た場合、すなわち、GPSモジュールやPHSモジュールを用いて測位される現在位置が、保持する白馬駅HMMによる認識可能範囲を超えた場合、もはや位置認識を行うことができない。そこで、ユーザの携帯端末1は、周囲の端末に対して現在位置の緯度経度情報を送信して、新たなHMMのリクエストを行う。この一連の処理は、ユーザが目的地に到達するまで適宜繰り返される。
あるいは、保持するHMMと、測位される緯度経度情報との比較を行うことなく、所定時間間隔で周囲の端末に対してHMMのリクエストを繰り返すようにすることもできる。
以上においては、携帯端末1の形状は、図5に示すように断面が六角形のものであるとしたが、当然、これに限られない。
図20A乃至D、および図21A乃至Dは、携帯端末1の形状の他の例を示す図である。
例えば、図20AおよびBに示すように、携帯端末1はノートブック型のパーソナルコンピュータであってもよい。この場合、カメラ15は、例えば、図20Aに示すようにパーソナルコンピュータを開いたときにその上端にくるような位置や、図20Bに示すようにヒンジの部分に設けられる。
図20Cは、小型のビデオカメラのような形状の携帯端末1を示し、図20Dは、バッジのように洋服などに貼り付けることのできる形状を有する携帯端末1を示している。
また、図21Aは、ネックストラップ型の携帯端末1を示し、図21Bは、バルーン型の携帯端末1を示している。バルーン型の携帯端末1は、例えば、風船のようなものに内蔵されて実現される。
図21Cは、ショルダーバッグのように肩に斜めに掛けて用いるベルト状の携帯端末1を示し、図21Dはヘッドセット型の携帯端末1を示している。
このように、携帯端末1を様々な形状のものとすることができる。
また、以上においては、HMMに基づく位置認識を行うようにしたが、本発明は他のアルゴリズムに基づく位置認識の場合でも適用可能である。他の例として、例えば、ニューラルネットワーク、パーセプトロン、SVM(Support Vector Machine)等を位置認識モデルとして用いることも可能である。
さらに、以上においては、GPSとともに携帯端末1に内蔵される測位デバイスはPHSであるとしたが、数百mの範囲毎に基地局が設置され、それらの基地局から送信されてくる情報に基づいて測位を行うことができる機能を有するものであれば、どのようなものであってもよい。
また、以上においては、階層型の位置認識が、ユーザに所定の情報を提示するために用いられるとしたが、この位置認識は、このためだけに用いられるに限られず、例えば、乗用車などに搭載されるナビゲーションシステムに用いられるようにしてもよい。
これにより、例えば、高架の高速道路に並行して、その下にある一般道路を走行しているような場合でも、その状況に即した形で一般道路を走行していることをナビゲーションすることができる。すなわち、単に、GPSによる測位結果だけに基づいてナビゲーションする場合、実際には一般道路を走行している場合であっても、高速道路を走行しているかのように地図上では表示され、ナビゲーションされることがあるが、このような誤ったナビゲーションを防止することができる。
なお、乗用車などのナビゲーションシステムにおいては、例えば、VICS(Vehicle Information and Communication System)すなわち、道路交通情報通信システムを利用して、位置認識モデルリアルタイムで取得することが考えられる。この場合、位置認識モデルの取得は、道路上の所定の位置に設置されたビーコンの受信エリア内に乗用車が到達したときに自動的に行われてもよいし、FM音声放送局の放送波に多重化されて送信される位置認識モデルを、所定時間間隔で受信するようにしてもよい。
以上においては、クラスタにHMMが対応付けられており、GPSモジュール12やPHSモジュール13による測位結果に基づいて選択されたクラスタに対応付けられているHMMがローカルエリア上の位置認識に用いられるとしたが、GPSモジュール12やPHSモジュール13による位置認識モデル構成フェーズ時の測位結果である緯度経度に対して、直接、HMMが対応付けられているようにしてもよい。この場合、位置認識フェーズ時には、例えば、GPSモジュール12等による測位により得られた現在位置に最も近い緯度経度が対応付けられているHMMが選択され、それがローカルエリア上の位置認識に用いられる。
また、以上においては、CCDなどの撮像素子を有するカメラ15により撮影された画像(例えば、撮影された画像を低解像度化したもの)に基づいて、HMMの作成やローカルエリア上の位置認識が行われるとしたが、上述したように、これらの処理で用いる画像は解像度の低いものでよいことから、CCDなどの撮像素子に替えて、複数の光センサからなる光センサアレイがカメラ15に設けられるようにしてもよい。
例えば、5×5個の光センサアレイが撮像素子に替えて設けられることによっても、それぞれの光センサの出力の時間的変化からマッチ度を計算することは可能である。また、配列する光センサの数によっては、CCDを駆動させる場合に較べて消費電力を抑えることが可能になる。従って、以上の説明において、カメラ15により撮影される「画像」には、CCDにより得られた光学情報の他、それぞれの光センサにより得られた光学情報も含まれる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、そのソフトウェアを実行させる装置は、例えば、図22に示すようなパーソナルコンピュータにより構成される。
図22において、CPU101は、ROM102に記憶されているプログラム、または、記憶部108からRAM103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、ネットワークを介しての通信処理を行う通信部109が接続されている。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア111が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
この記録媒体は、図22に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(登録商標)(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims (16)

  1. 測位を行う測位手段と、
    前記測位手段による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得手段と、
    前記取得手段により取得された前記認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識手段と
    を備えることを特徴とする情報処理装置。
  2. 前記センサからの出力に基づいて前記認識用データを作成する作成手段をさらに備える ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記作成手段により作成された前記認識用データを、前記測位手段の測位により得られた位置情報と対応付けて記憶する記憶手段をさらに備え、
    前記取得手段は、前記測位手段による測位により得られた位置情報に基づいて、前記認識用データを前記記憶手段から取得する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記認識用データを他の装置に送信する送信手段をさらに備える
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記他の装置から位置情報を受信する受信手段と、
    前記位置情報に基づき前記認識用データを検索する検索手段と
    をさらに備え、
    前記送信手段は、前記検索手段により検索された前記認識用データを前記他の装置に送信する
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記取得手段は、前記測位手段の測位により得られた位置情報に対応する前記認識用データが前記記憶手段により記憶されていない場合、他の装置から前記認識用データを取得する
    ことを特徴とする請求項3に記載の情報処理装置。
  7. 前記取得手段は、所定の時間ごとに前記認識用データを取得する
    ことを特徴とする請求項1に記載の情報処理装置。
  8. 前記測位手段の測位により得られる位置情報は、所定の位置座標で表され、
    前記認識用データに対応付けられて前記記憶手段に記憶される位置情報は、所定の位置座標範囲で表される場合に、
    前記取得手段は、前記測位手段の測位により得られた位置座標が、前記所定の位置座標範囲を超えているとき、前記他の装置から前記認識用データを取得する
    ことを特徴とする請求項3に記載の情報処理装置。
  9. 前記測位手段は、GPSとPHSを用いた測位を行い、GPSを用いて得られる位置と、PHSを用いて得られる位置のうち、信頼度の高い方の位置を測位結果として選択する
    ことを特徴とする請求項1に記載の情報処理装置。
  10. 前記センサは、カメラの撮像素子、または複数の光センサからなる
    ことを特徴とする請求項1に記載の情報処理装置。
  11. 測位を行う測位ステップと、
    前記測位ステップの処理による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得ステップと、
    前記取得ステップの処理により取得された前記認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識ステップと
    を含むことを特徴とする情報処理方法。
  12. 測位を行う測位ステップと、
    前記測位ステップの処理による測位により得られた位置情報に基づいて、位置認識を行うための認識用データを取得する取得ステップと、
    前記取得ステップの処理により取得された前記認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識ステップと
    を含む処理をコンピュータに実行させるプログラム。
  13. 第1の情報処理装置と第2の情報処理装置からなる情報処理システムにおいて、
    前記第1の情報処理装置は、
    測位を行う測位手段と、
    前記測位手段の測位により得られた位置情報を、位置認識を行うための認識用データを位置情報と対応付けて記憶する前記第2の情報処理装置に送信する送信手段と、
    前記送信手段により送信された位置情報に基づいて検索され、前記第2の情報処理装置から送信されてきた前記認識用データを受信する受信手段と、
    前記受信手段により受信された前記認識用データと、所定のセンサからの出力とを用いて位置認識を行う位置認識手段と
    を備え、
    前記第2の情報処理装置は、
    前記第1の情報処理装置から送信されてきた前記位置情報を受信する受信手段と、
    前記受信手段により受信された前記位置情報に基づいて前記認識用データを検索する検索手段と、
    前記検索手段により検索された前記認識用データを前記第1の情報処理装置に送信する送信手段と
    を備えることを特徴とする情報処理システム。
  14. 送信される情報に基づいて測位を行う測位手段と、
    所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得手段と、
    前記取得手段により取得された前記認識用データを用いて、前記センサからの出力に基づく位置認識を行う位置認識手段と、
    前記測位手段による測位により得られた位置と、前記位置認識手段により認識された位置のそれぞれの信頼度を測定する信頼度測定手段と、
    前記信頼度測定手段により測定された信頼度に応じて、位置を表す情報を出力する位置出力手段と
    を備えることを特徴とする情報処理装置。
  15. 送信される情報に基づいて測位を行う測位ステップと、
    所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得ステップと、
    前記取得ステップの処理により取得された前記認識用データを用いて、前記センサからの出力に基づく位置認識を行う位置認識ステップと、
    前記測位ステップの処理による測位により得られた位置と、前記位置認識ステップの処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと、
    前記信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情報を出力する位置出力ステップと
    を含むことを特徴とする情報処理方法。
  16. 送信される情報に基づいて測位を行う測位ステップと、
    所定のセンサからの出力に基づく位置認識を行うときに用いる認識用データを取得する取得ステップと、
    前記取得ステップの処理により取得された前記認識用データを用いて、前記センサからの出力に基づく位置認識を行う位置認識ステップと、
    前記測位ステップの処理による測位により得られた位置と、前記位置認識ステップの処理により認識された位置のそれぞれの信頼度を測定する信頼度測定ステップと、
    前記信頼度測定ステップの処理により測定された信頼度に応じて、位置を表す情報を出力する位置出力ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2006528397A 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム Pending JPWO2006001129A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2004191307 2004-06-29
JP2004191307 2004-06-29
JP2004291392 2004-10-04
JP2004291392 2004-10-04
PCT/JP2005/008689 WO2006001129A1 (ja) 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム

Publications (1)

Publication Number Publication Date
JPWO2006001129A1 true JPWO2006001129A1 (ja) 2008-04-17

Family

ID=35781665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006528397A Pending JPWO2006001129A1 (ja) 2004-06-29 2005-05-12 情報処理装置および方法、プログラム、並びに情報処理システム

Country Status (6)

Country Link
US (1) US7739033B2 (ja)
EP (1) EP1762822A4 (ja)
JP (1) JPWO2006001129A1 (ja)
KR (1) KR101174531B1 (ja)
CN (1) CN101010560B (ja)
WO (1) WO2006001129A1 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333820B2 (en) 2001-07-17 2008-02-19 Networks In Motion, Inc. System and method for providing routing, mapping, and relative position information to users of a communication network
US7082365B2 (en) 2001-08-16 2006-07-25 Networks In Motion, Inc. Point of interest spatial rating search method and system
US7486958B2 (en) * 2001-09-05 2009-02-03 Networks In Motion, Inc. System and method for maintaining an online point-of-interest directory
US7271742B2 (en) * 2002-03-01 2007-09-18 Networks In Motion, Inc. Method and apparatus for sending, retrieving and planning location relevant information
US8290505B2 (en) 2006-08-29 2012-10-16 Telecommunications Systems, Inc. Consequential location derived information
US8918073B2 (en) 2002-03-28 2014-12-23 Telecommunication Systems, Inc. Wireless telecommunications location based services scheme selection
US7565155B2 (en) * 2002-04-10 2009-07-21 Networks In Motion Method and system for dynamic estimation and predictive route generation
US8666397B2 (en) 2002-12-13 2014-03-04 Telecommunication Systems, Inc. Area event handling when current network does not cover target area
US7256711B2 (en) * 2003-02-14 2007-08-14 Networks In Motion, Inc. Method and system for saving and retrieving spatial related information
US9344850B2 (en) * 2003-08-08 2016-05-17 Telecommunication Systems, Inc. Method and system for collecting, synchronizing, and reporting telecommunication call events
US20080126535A1 (en) 2006-11-28 2008-05-29 Yinjun Zhu User plane location services over session initiation protocol (SIP)
AU2005292243B2 (en) * 2004-10-01 2011-03-10 Telecommunication Systems, Inc. Off board navigation solution
AU2006220547B2 (en) 2005-03-07 2010-12-02 Telecommunication Systems, Inc. Method and system for identifying and defining geofences
WO2007067754A2 (en) * 2005-12-07 2007-06-14 Networks In Motion, Inc. Telecommunication device for address guidance
US8208605B2 (en) 2006-05-04 2012-06-26 Telecommunication Systems, Inc. Extended efficient usage of emergency services keys
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
JP4942177B2 (ja) * 2006-11-20 2012-05-30 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8144920B2 (en) 2007-03-15 2012-03-27 Microsoft Corporation Automated location estimation using image analysis
JP4379493B2 (ja) 2007-06-07 2009-12-09 ソニー株式会社 撮像装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8600674B1 (en) * 2007-08-15 2013-12-03 University Of South Florida Using pattern recognition in real-time LBS applications
US8099238B2 (en) 2007-11-14 2012-01-17 Telecommunication Systems, Inc. Stateful, double-buffered dynamic navigation voice prompting
EP2235556A1 (en) * 2007-12-11 2010-10-06 Qualcomm Incorporated Gnss method and receiver with camera aid
US8903430B2 (en) 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
JP2009230255A (ja) * 2008-03-19 2009-10-08 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置、情報提供方法および情報提供処理プログラム
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
JP5412795B2 (ja) * 2008-11-04 2014-02-12 日本電気株式会社 情報提供システム、情報提供方法、情報提供サーバおよびコンピュータプログラム
US8311339B2 (en) * 2008-11-05 2012-11-13 Palo Alto Research Center Incorporated Method to robustly match images with similar body and head pose from image sequence
US8311556B2 (en) * 2009-01-22 2012-11-13 Htc Corporation Method and system for managing images and geographic location data in a mobile device
US9299231B2 (en) * 2009-02-26 2016-03-29 Tko Enterprises, Inc. Image processing sensor systems
US9740921B2 (en) 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
CN101616225B (zh) * 2009-08-06 2011-05-18 陈新琴 一种为数码相片提供地理信息标签的终端服务方法
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
WO2011049998A2 (en) * 2009-10-21 2011-04-28 Randall Winslow Electronic badge apparatus
JP5396305B2 (ja) * 2010-02-23 2014-01-22 日本電信電話株式会社 位置算出装置、方法及びプログラム
US20130308822A1 (en) * 2010-09-23 2013-11-21 Telefonica S.A. Method and system for calculating the geo-location of a personal device
CN102054166B (zh) * 2010-10-25 2016-04-27 北京理工大学 一种新的用于户外增强现实系统的场景识别方法
WO2012086821A1 (ja) * 2010-12-20 2012-06-28 日本電気株式会社 測位装置、測位方法
US8682321B2 (en) 2011-02-25 2014-03-25 Telecommunication Systems, Inc. Mobile internet protocol (IP) location
WO2013048551A1 (en) 2011-09-30 2013-04-04 Telecommunication Systems, Inc. Unique global identifier for minimizing prank 911 calls
JP6051509B2 (ja) 2011-10-31 2016-12-27 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
US9297881B2 (en) * 2011-11-14 2016-03-29 Microsoft Technology Licensing, Llc Device positioning via device-sensed data evaluation
US9423266B2 (en) 2012-01-26 2016-08-23 Telecommunication Systems, Inc. Navigational lane guidance
US8965057B2 (en) * 2012-03-02 2015-02-24 Qualcomm Incorporated Scene structure-based self-pose estimation
US9544260B2 (en) 2012-03-26 2017-01-10 Telecommunication Systems, Inc. Rapid assignment dynamic ownership queue
US9307372B2 (en) 2012-03-26 2016-04-05 Telecommunication Systems, Inc. No responders online
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
US8930139B2 (en) 2012-06-21 2015-01-06 Telecommunication Systems, Inc. Dynamically varied map labeling
WO2014028712A1 (en) 2012-08-15 2014-02-20 Telecommunication Systems, Inc. Device independent caller data access for emergency calls
US9020191B2 (en) * 2012-11-30 2015-04-28 Qualcomm Incorporated Image-based indoor position determination
US9456301B2 (en) 2012-12-11 2016-09-27 Telecommunication Systems, Inc. Efficient prisoner tracking
CN103064980A (zh) * 2013-01-15 2013-04-24 广东欧珀移动通信有限公司 基于移动终端及gps查询景点信息的方法和系统
US8983047B2 (en) 2013-03-20 2015-03-17 Telecommunication Systems, Inc. Index of suspicion determination for communications request
US9408034B2 (en) 2013-09-09 2016-08-02 Telecommunication Systems, Inc. Extended area event for network based proximity discovery
US9516104B2 (en) 2013-09-11 2016-12-06 Telecommunication Systems, Inc. Intelligent load balancer enhanced routing
US9479897B2 (en) 2013-10-03 2016-10-25 Telecommunication Systems, Inc. SUPL-WiFi access point controller location based services for WiFi enabled mobile devices
EP2889635A1 (en) * 2013-12-24 2015-07-01 Televic Healthcare NV Localisation system
CN105217147B (zh) * 2015-10-08 2018-04-17 青岛澳柯玛超低温冷冻设备有限公司 一种低温保存箱
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
JP6399127B2 (ja) * 2017-03-08 2018-10-03 日本電気株式会社 システム管理装置、システム管理方法、プログラム、情報処理システム
US10534092B2 (en) * 2017-06-01 2020-01-14 Tesla, Inc. Technologies for vehicle positioning
CN110044348A (zh) * 2019-03-15 2019-07-23 广东康云科技有限公司 一种三维室内导航系统及其实现方法
CN110569819A (zh) * 2019-09-16 2019-12-13 天津通卡智能网络科技股份有限公司 一种公交车乘客再识别方法
JP7424269B2 (ja) * 2020-10-23 2024-01-30 トヨタ自動車株式会社 位置把握システム、位置把握方法及び位置把握プログラム
CN113361901B (zh) * 2021-06-02 2024-04-19 湖南中车时代通信信号有限公司 一种列车调度指挥信息的设置方法、系统及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001305210A (ja) * 2000-04-25 2001-10-31 Matsushita Electric Works Ltd 位置検出装置
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004077273A (ja) * 2002-08-19 2004-03-11 Sony Corp 位置移動支援方法および位置移動支援システム
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190413A (ja) * 1996-01-08 1997-07-22 Ricoh Co Ltd 情報処理装置
US6115481A (en) * 1998-10-22 2000-09-05 Centrak, Llc User modifiable land management zones for the variable application of substances thereto
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6388688B1 (en) * 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
DE10007813A1 (de) * 2000-02-21 2001-09-06 Becker Gmbh Navigationssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Navigationssystems
DE10012471A1 (de) * 2000-03-15 2001-09-20 Bosch Gmbh Robert Navigationssystem
IL151526A0 (en) * 2000-03-30 2003-04-10 Cellguide Ltd Locating a mobile unit
US6462674B2 (en) * 2000-04-18 2002-10-08 Mazda Motor Corporation Communication apparatus and its current position communication method, navigation apparatus for a vehicle and its information communication method, computer program product, and computer-readable storage medium
JP3833486B2 (ja) * 2000-04-19 2006-10-11 富士写真フイルム株式会社 撮像装置
KR100386752B1 (ko) * 2000-04-24 2003-06-09 김석배 실영상을 이용한 차량 항법 시스템
JP4236372B2 (ja) 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
US6587783B2 (en) * 2000-10-05 2003-07-01 Siemens Corporate Research, Inc. Method and system for computer assisted localization, site navigation, and data navigation
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
SE519884C2 (sv) * 2001-02-02 2003-04-22 Scalado Ab Metod för zoomning och för att framställa en zoomningsbar bild
US6657184B2 (en) * 2001-10-23 2003-12-02 Agilent Technologies, Inc. Optical navigation upon grainy surfaces using multiple navigation sensors
JP2003162217A (ja) * 2001-11-26 2003-06-06 Nec Corp 地図情報表示システム、携帯無線端末及びサーバー
DE10316208A1 (de) * 2002-04-12 2003-11-20 Samsung Electro Mech Navigationssystem und Navigationsverfahren
KR100777458B1 (ko) * 2002-04-16 2007-11-21 삼성전자주식회사 영상기록장치에 착탈 가능한 위치정보출력장치 및 이를구비한 영상기록장치
JP3949007B2 (ja) * 2002-05-30 2007-07-25 アルパイン株式会社 ナビゲーション装置
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
US20040004663A1 (en) * 2002-07-02 2004-01-08 Lightsurf Technologies, Inc. Imaging system providing automatic organization and processing of images based on location
JP2004053351A (ja) * 2002-07-18 2004-02-19 Fujitsu Ten Ltd ナビゲーション装置
DE10248534B4 (de) 2002-10-14 2013-04-11 T-Mobile Deutschland Gmbh Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes
US7015831B2 (en) * 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
WO2005124594A1 (en) * 2004-06-16 2005-12-29 Koninklijke Philips Electronics, N.V. Automatic, real-time, superimposed labeling of points and objects of interest within a view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001305210A (ja) * 2000-04-25 2001-10-31 Matsushita Electric Works Ltd 位置検出装置
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004077273A (ja) * 2002-08-19 2004-03-11 Sony Corp 位置移動支援方法および位置移動支援システム
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム

Also Published As

Publication number Publication date
US20080019564A1 (en) 2008-01-24
KR101174531B1 (ko) 2012-08-16
CN101010560B (zh) 2012-08-08
US7739033B2 (en) 2010-06-15
EP1762822A4 (en) 2011-06-29
CN101010560A (zh) 2007-08-01
WO2006001129A1 (ja) 2006-01-05
EP1762822A1 (en) 2007-03-14
KR20070026673A (ko) 2007-03-08

Similar Documents

Publication Publication Date Title
KR101174531B1 (ko) 정보 처리 장치 및 방법
US8538688B2 (en) User generated pedestrian and indoor shortcut routes for navigation systems
US7941272B2 (en) Downloading map segment(s) to a cell phone based upon its GPS coordinates and mobility
US9467845B1 (en) Cellular system information sharing
CN103563404A (zh) 用于收集并提供地图图像的系统和方法
JP2016534340A (ja) 軌跡を使用する位置推定のための方法および装置
CN101221562A (zh) 网络地图服务平台的数据更新方法及其系统
WO2021185375A1 (zh) 一种分享数据的方法及设备
US11809522B2 (en) AI-based, semi-supervised interactive map enrichment for radio access network planning
CN107484120A (zh) 基于第三方应用程序的智能导游方法、导游装置及设备
CN104937914B (zh) 信息处理设备、信息处理方法以及介质
CN105891772A (zh) 一种用于导航的方法和设备
RU2540844C2 (ru) Способ и устройство для выбора приемника
JP2019139346A (ja) 画像認識装置、画像認識システム及びプログラム
JPWO2010032282A1 (ja) サーバ装置、移動端末装置、交差点案内システム及び交差点案内方法
KR20200083157A (ko) 사용자에게 현실 공간에 기반한 게임을 추천하는 방법 및 장치
KR100647773B1 (ko) 휴대 단말기와 이동통신 시스템 및 이를 이용한 서비스제공방법
JP2001005994A (ja) 画像処理装置および画像処理方法
KR102078286B1 (ko) 전자 지리정보를 활용한 자가촬영사진지원 카메라 시스템
CN114071003B (zh) 一种基于光通信装置的拍摄方法和系统
KR20200004135A (ko) 증강현실 기반의 모델하우스 가상이미지 제공방법
US20230224577A1 (en) Electronic device and server for determining user&#39;s position-related information
WO2023005865A1 (zh) 一种室内地图构建方法以及相关装置
US20220156498A1 (en) Electronic device correcting meta information of image and operating method thereof
CN117606475A (zh) 一种基于vslam的头戴室内导览装置及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110419