JPWO2012090890A1 - 情報処理システム，情報処理方法及び情報処理プログラム - Google Patents

情報処理システム，情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JPWO2012090890A1
JPWO2012090890A1 JP2012550914A JP2012550914A JPWO2012090890A1 JP WO2012090890 A1 JPWO2012090890 A1 JP WO2012090890A1 JP 2012550914 A JP2012550914 A JP 2012550914A JP 2012550914 A JP2012550914 A JP 2012550914A JP WO2012090890 A1 JPWO2012090890 A1 JP WO2012090890A1
Authority
JP
Japan
Prior art keywords
feature information
imaging device
imaging
map
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012550914A
Other languages
English (en)
Inventor
仙田　修司
修司 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012090890A1 publication Critical patent/JPWO2012090890A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本発明は、ユーザ端末の周辺画像から抽出した画像特徴の情報に基づいて、高い精度で、かつ容易にユーザの現在位置を推定することを目的とする。本発明は、地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報とを関連付けて記憶するデータベースと、撮像により取得した画像から特徴情報を抽出する抽出手段と、データベースを参照して抽出済の特徴情報から、撮像装置が存在する地図上の位置を推定する推定手段と、撮像装置の推定現在位置を表示する表示手段と、撮像中に撮像装置の撮像方向が、抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、所定量変更された場合に、再度、新たな特徴情報の抽出を行なうよう制御する制御手段と、を含む。推定手段は、新特徴情報の抽出が行なわれると、新特徴情報と抽出済特徴情報とを組み合わせて、撮像装置の地図上の位置を再推定する。

Description

本発明は、撮像の位置及び方向を推定する情報処理技術に関する。
非特許文献１に記載の技術では、３次元地図データと、その３次元地図データの各地点で撮像できるランドマーク画像とをデータベースに格納しており、実際に全方位カメラを用いて撮像した画像と、データベースのランドマーク画像とのマッチングを行なっている。つまり、非特許文献１に記載の技術は、一度に大量の画像データを取り込み、大規模データベースを用いて現在位置情報を算出し、ユーザに提供していた。
薄，中川，佐藤，横矢，"ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定"，日本ＶＲ学会論文誌，Ｖｏｌ．１３，Ｎｏ．２，ｐｐ．１６１−１７０，２００８
しかしながら、一般的にユーザが、自身の現在位置を知りたい場合、その個人によって知りたい位置情報の精度及び結果を求める速度が異なる。たとえば、遅くてもよいから高い精度の位置情報を求めるユーザもいれば、粗い精度でもよいからより早く位置情報を得たいと考えるユーザもいる。ところが、上述した非特許文献１に記載の技術は、そのような多様な要望に応えることはできず、一律に対応しており、ユーザフレンドリーな技術とはいえない。非特許文献１に記載の技術を利用しつつユーザに対する位置情報提供を高速化するには、サーバやデータベースの能力を上げる必要があり、対応が困難である。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係るシステムは、
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含み、
前記推定手段は、前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する。
上記目的を達成するため、本発明に係る方法は、
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
を含む。
上記目的を達成するため、本発明に係るプログラム記録媒体が格納する情報処理プログラムは、
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
をコンピュータに実行させる。
本発明は、撮像画像から位置情報を導き出していち早くユーザに提供することができる。本発明は、より精度の高い位置情報が欲しいユーザに対しては、追加的な特徴情報を取得して、段階的に、高い精度の位置情報及びその表示を提供することができる。本発明は、ユーザ端末の周辺画像から抽出した画像の特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置を推定することができる。
本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係るユーザ端末及び位置推定サーバのやり取りを示すシーケンス図である。 本発明の第２実施形態に係るユーザ端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る位置／方向推定サーバの処理手順を示すフローチャートである。 本発明の第２実施形態に係るユーザ端末の推定現在位置／方向を表示する表示画面の一例を示す図である。 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第４実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第４実施形態に係る投票部の投票方法を説明する図である。 本発明の第４実施形態に係る特徴情報データベースのデータを示す図である。
［発明を実施するための形態］
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
（第１実施形態）
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。
図１は、本実施形態に係る情報処理システム１００の構成を示すブロック図である。
図１に示すように、情報処理システム１００は、撮像装置１０１と、抽出部１０３と、推定部１０５と、判定部１０７と、制御部１０９と、表示部１１５と、データベース１１７とを含み、撮像装置１０１の現在位置を推定する。
データベース１１７は、地図上の位置と、地図上の位置において撮像装置１０１で撮像可能な画像中の特徴情報とを関連付けて記憶する。抽出部１０３は、撮像装置１０１を用いた撮像によって取得した画像１２１から特徴情報１３１〜１３３を抽出する。推定部１０５は、データベース１１７を参照して、抽出部１０３によって抽出した特徴情報１３１〜１３３から、撮像装置１０１が存在する地図上の位置を推定する。
表示部１１５は、推定部１０５が推定した撮像装置１０１の推定存在位置１５１を表示する。表示部１１５は、推定部１０５が推定した撮像装置１０１の推定存在位置１５１を地図画像上１４１に表示しても良い。
判定部１０７は、撮像装置１０１による撮像中に、撮像装置１０１の撮像方向が、抽出部１０３で特徴情報１３１〜１３３を抽出した抽出済画像１２１を撮像した方向から所定量変更されたか否か判定する。
制御部１０９は、撮像装置１０１の撮像方向が所定量変更されたと、判定部１０７により判定されると、再度、新たな特徴情報１３４の抽出を行なうよう抽出部１０３を制御する。推定部１０５は、新たな特徴情報１３４の抽出が行なわれた場合に、新たな特徴情報１３４と抽出済の特徴情報１３１〜１３３とを組み合わせて、撮像装置１０１が存在する地図上の位置の再推定を行なう。表示部１１５は、推定部１０５が再推定した撮像装置１０１の推定存在位置１５１を表示する。表示部１１５は、推定部１０５が再推定した撮像装置１０１の推定存在位置１５１を地図画像上１４１に表示しても良い。
以上の構成及び動作により、本実施形態によれば、撮像装置１０１の周辺画像から抽出した特徴情報に基づいて、ユーザの現在位置を、高い精度で、かつ容易に推定することができる。
（第２実施形態）
本発明の第２実施形態としての情報処理システム２００について、図２を用いて説明する。
図２は、本発明の第２実施形態に係る情報処理システム２００の構成を示すブロック図である。図２に示すように、情報処理システム２００は、ユーザ端末２１０と、位置／方向推定サーバ２２０とを含む。ユーザ端末２１０は、撮像装置２０１と、抽出部２０３と、判定部２０７と、制御部２０９と、受信部２１４と、表示部２１５と、記憶部２１６とを含む。
位置／方向推定サーバ２２０は、推定部２０５と、特徴情報データベース２１７とを含む。
撮像装置２０１は、撮像処理を行ない、撮像画像２２１を取得する。抽出部２０３は、撮像画像２２１から特徴情報２３１〜２３３を抽出し、位置／方向推定サーバ２２０の推定部２０５に送信する。ここで、特徴情報とは、撮像した画像に含まれる図形の形状及びその位置を表わす情報を含む。
特徴情報データベース２１７は、地図上の位置と、その位置を中心とする方向と、地図上の位置においてその方向に向いて撮像可能な画像に含まれる特徴情報とを対応付けて記憶する。
推定部２０５は、抽出部２０３によって抽出された特徴情報を受信し、特徴情報データベース２１７を参照して、撮像装置２０１が存在する地図上の位置と、撮像装置２０１が撮像時に向いていた撮像方向とを推定する。
受信部２１４は、撮像装置２０１の推定現在位置２５１及び推定撮像方向２５２を受信すると、表示部２１５又は記憶部２１６に通知する。
表示部２１５は、受信部２１４から取得した撮像装置２０１の推定現在位置２５１及び推定撮像方向２５２を地図画像２４１上に表示する。
判定部２０７は、撮像装置２０１による撮像中に、撮像装置２０１の撮像方向が、抽出済画像２２１を撮像した方向から所定量変更されたか否か判定する。たとえば、判定部２０７は、最初に撮像した画像（基準画像）の中心を原点とした座標軸を設定し、新たに撮像した画像の中心点の座標が、原点からどれだけずれているかに応じて、撮像方向の変更量を判定しても良い。またたとえば、判定部２０７は、撮像装置２０１に内蔵された電子方位磁石により、一定の角度（たとえば１０度）方向の変化を検知した場合に、撮像方向が所定量変更されたと判定してもよい。また、判定部２０７は、基準画像と新たに撮像した画像（新画像）とを比較して、基準画像に含まれていない画像領域が、新画像に一定の割合（たとえば１０％）の増加を検知した場合に、撮像方向が所定量変更されたと判定してもよい。
その他、判定部２０７は、画像間の変形マッチングを用いた手法や、撮像装置の動きをオプティカルフローや加速度センサで求めてそれを積算する手法などを利用して撮像方向の変更量を判定しても良い。
制御部２０９は、撮像装置２０１の撮像方向が所定量変更されたと、判定部２０７により判定されると、再度、新たな特徴情報２３４の抽出を行なうよう、抽出部２０３を制御する。そして、推定部２０５は、新たな特徴情報２３４の抽出が行なわれた場合に、新たな特徴情報２３４と抽出済の特徴情報２３１〜２３３とを組み合わせることで、撮像装置２０１が存在する地図上の位置、及び撮像方向の再推定を行なう。
なお、判定部２０７は、撮像装置のズームイン又はズームアウトにより、基準画像に撮像されている対象の大きさの画像全体に占める割合が、一定の割合（画像全体の１０％）以上変化したか否かを判定してもよい。その場合、制御部２０９は、撮像装置２０１によるズームイン又はズームアウトによる撮像画像の変化が所定量を超えている場合に、新たな特徴情報の抽出を行なうよう抽出部２０３を制御しても良い。
受信部２１４は、再推定された撮像装置２０１の地図上の位置、及び撮像方向を推定部２０５より受信し、表示部２１５又は記憶部に通知する。
表示部２１５は、再推定された撮像装置２０１の地図上の位置及び撮像方向を地図画像２４１上に表示する。
推定存在位置／方向の推定尤度が一定以上になった場合、あるいはユーザの指示に応じて、記憶部２１６は推定存在位置／方向を記憶する。
図３は、本実施形態におけるユーザ端末２１０と、位置／方向推定サーバ２２０とのやり取りを示すシーケンス図である。ステップＳ３０１で、撮像装置２０１は、撮像を行ない、撮像画像を取得する。抽出部２０３は、ステップＳ３０３で、撮像画像の特徴情報２３１〜２３３を抽出し、ステップＳ３０５で、抽出した特徴情報を位置／方向推定サーバ２２０の推定部２０５に送信する。
ステップＳ３０７において、推定部２０５は、受信した特徴情報と、特徴情報データベース２１７に記憶された地図上の位置及びこれに関連付けて記憶した特徴情報とから、撮像装置２０１の地図上の位置／方向を推定する。ステップＳ３０９で、推定部２０５は、推定した撮像装置２０１の地図上の位置／方向をユーザ端末２１０の受信部２１４に送信する。
表示部２１５は、受信部２１４から撮像装置２０１の地図上の位置／方向を取得すると、ステップＳ３１３において、ユーザ端末２１０の推定現在位置／方向を示した画像を表示する。
ステップＳ３１５において、判定部２０７は、特徴情報を抽出した抽出済画像を撮像した方向から、撮像方向が所定量変更されたか否かを判定する。所定量変更されたと判定された場合には、ステップＳ３１７で、制御部２０９は、新たな撮像画像から新たな特徴情報の抽出を行なうよう抽出部２０３を制御する。ステップＳ３１９において、抽出部２０３は、新たな特徴情報を位置／方向推定サーバに送信する。ステップＳ３２１で、推定部２０５は、特徴情報データベース２１７に記憶された特徴情報を参照し、ステップＳ３２３で、既に抽出した特徴情報と、新たな特徴情報とを組合わせて撮像装置２０１の地図上の位置／方向を再推定する。推定部２０５は、ステップＳ３２５において再推定した撮像装置２０１の地図上の位置／方向をユーザ端末２１０の受信部２１４に送信する。
表示部２１５は、再推定された撮像装置２０１の地図上の位置／方向を受信部２１４から取得すると、ステップＳ３２７で、ユーザ端末２１０の推定現在位置及び方向を示した画像を表示する。
図４Ａは、本実施形態におけるユーザ端末２１０の処理手順を示すフローチャートである。現在位置／方向推定処理の開始に伴い、ステップＳ４０１において、撮像装置２０１は撮像を開始する。次に、ステップＳ４０５で、抽出部２０３は、撮像画像２２１から特徴情報を抽出し、ステップＳ４０７で、特徴情報を位置／方向推定サーバ２２０に送信する。次に、ステップＳ４０９で、受信部２１４は、位置／方向推定サーバ２２０からユーザ端末２１０の推定現在位置／方向を受信すると、ステップＳ４１１で、表示部２１５は、受信部２１４から取得したユーザ端末２１０の推定現在位置／方向を表示する。
ステップＳ４１３において、判定部２０７は、撮像装置２０１の撮像方向が所定量変更されたか否かを判定する。撮像方向が所定量変更されたと判定した場合には、ステップＳ４０５に進み、制御部２０９は抽出部２０３を制御して、新たな特徴情報の抽出を行なう。ステップＳ４１５で、制御部２０９は、撮像装置２０１の現在位置／方向の推定処理を終了すると、ステップＳ４１７に進む。
ステップＳ４１７において、ユーザ端末の記憶部２１６は、ユーザ端末２１０の推定現在位置／方向を保存する。次に、ステップＳ４１９に進み、撮像装置２０１が撮像処理を終了すると、ユーザ端末２１０は、位置／方向の推定処理を終了する。
図４Ｂは、本実施形態における位置／方向推定サーバ２２０の処理手順を示すフローチャートである。ステップＳ４２１で、推定部２０５は、ユーザ端末２１０の抽出部２０３から撮像画像２２１の特徴情報２３１〜２３３を受信する。ステップＳ４２３で、推定部２０５は、受信した特徴情報に一致する特徴情報を特徴情報データベース２１７内で検索し、記憶された特徴情報と、撮像装置２０１の地図上の位置／方向を推定する。なお、推定部２０５は、新たな特徴情報を受信する度に、位置／方向の推定を繰り返す。
図５は、推定現在位置／方向を表示する表示画像５４１ａ及び５４１ｂを示す図である。
表示画像５４１ａ及び５４１ｂは、ユーザ端末２１０の推定現在位置／方向を表示する画像である。
表示画像５４１ａは、撮像装置２０１の推定現在位置／方向を地図上に表示した画像である。表示画像５４１ａ像は、撮像装置２０１の推定現在位置５５１ａを、推定の尤度に対応させて円の大小により表わす。そこで、表示部２１５は、撮像装置２０１の推定現在位置が推定部２０５により絞り込めまれていない場合には、推定現在位置５５１ａのように大きな円で表示する。
次に、表示画像５４１ａは、撮像装置２０１の推定撮像方向を、推定の尤度に対応させて扇状の開角の広狭により表わす。そこで、表示部２１５は、撮像装置２０１の推定撮像方向が推定部２０５により絞り込まれていない場合には、５５２ａのように扇状の開角を広く表示する。
撮像装置２０１の推定現在位置／方向が推定部２０５により絞り込まれている場合には、表示部２１５は、表示画像５４１ｂのように、撮像装置２０１の推定現在位置５５１ｂを小さい円で表わし、撮像装置２０１の推定撮像方向５５２ｂを狭い開角の扇状で表わす。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した画像の特徴情報に基づいて、高い精度で、かつ容易にユーザ端末の現在位置及び撮像方向を推定することができる。
具体的には、本発明の第２実施形態は、撮像装置の撮影方向などの変化を検出し、新しい特徴情報を繰り返し抽出して位置推定に追加的に用いるため、結果として、カメラの１回の撮影範囲を超えた広範囲な領域を位置推定に用いることができる。これによって、パノラマ画像での照合と同様に、広い範囲を入力して、位置／方向の推定が可能となるので、本発明第２実施形態は高精度の位置／方向の推定を実現できる。また、本発明第２実施形態は、カメラの変位に合わせて新しく撮像した画像領域のみを処理して新たな特徴情報のみをサーバに送信する。このため、パノラマ画像を作成する場合に比べて、本発明第２実施形態は一度に処理しなければならない情報量及び端末サーバ間の通信量を削減することができる。その結果、本発明第２実施形態は応答速度を高速化することができる。さらに、本発明第２実施形態は、位置／方向の推定結果をユーザに提示することで、ユーザがさらに精度を上げるべきと考えた場合のみ、カメラ撮影を継続することができる。このため、本発明第２実施形態は、徐々に位置／方向の推定精度を向上させることができるので、不必要に長時間の撮影を行うことがない。
（第３実施形態）
本発明の第３実施形態としての情報処理システムについて、図６を用いて説明する。図６は、本実施形態の情報処理システム６００の構成を示すブロック図である。
情報処理システム６００の構成は、第２実施形態の構成と同様に位置／方向推定サーバ２２０を含む。ただし、ユーザ端末６１０は、第２実施形態についての図２の構成に加えて、静止体抽出部６０６を含む。
静止体抽出部６０６は、画像内の運動体を撮像した第１画像領域と、静止体を撮像した第２画像領域とを区別し、第２画像領域のみを抽出部２０３に提供する。その他の構成及び動作は、第２実施形態と同様であるので、説明を省略する。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した撮像画像に含まれる運動体を除いた特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置／方向を推定することができる。
（第４実施形態）
本発明の第４実施形態としての情報処理システム７００について、図７を用いて説明する。図７は、本実施形態の情報処理システム７００の構成を示すブロック図である。
情報処理システム７００は、第２実施形態の構成と同様に、ユーザ端末２１０を含む。ただし、位置／方向推定サーバ７２０は、比較部７６１と、投票部７６２とを含む推定部７０５を有する。
比較部７６１は、特徴情報データベース２１７に記憶された地図上の位置及び特徴情報と、抽出部２０３に抽出された画像の特徴情報とを比較する。また、投票部７６２は、抽出部２０３により抽出された特徴情報に類似しており、特徴情報データベース２１７に記憶された地図上の位置及び特徴情報を検索する。投票部７６２は、当該検索の結果見つけられた特徴情報に対して投票する。投票部７６２は、抽出された特徴情報全てについて投票を繰り返す。
図８は、投票部７６２による投票を示した図である。
画像特徴情報８００は、画像特徴情報ｆ１〜ｆ４を抽出したものである。特徴情報データベース２１７は、地図上の位置ｐと、該位置に関連付けて記憶された撮像可能な画像中の特徴情報ｆと、撮像方向ｄとを一つの組として、撮像装置２０１の地図上の位置及び撮像方向を推定するための投票候補８１１〜８ｎｎを記憶する。投票箱８２１及び８２２は地図上の位置ｐについて投票を受け付け、投票箱８３１乃至８３３は撮像方向ｄについて投票を受け付ける。
投票部７６２による投票は、地図上の位置ｐ、及び撮像方向ｄに対して行なわれ、画像特徴情報ｆｎと組み合わせて特徴情報データベース２１７に記憶された投票候補８１１〜８ｎｎへの投票により、撮像装置２０１の推定現在位置及び方向が推定される。
具体的な投票の流れを説明する。画像特徴情報８００の特徴情報ｆ１の樹木は、図６の特徴情報２３１に対応し、ｆ２の鳥居は２３２に、ｆ３のビルは２３３に、ｆ４の駅は２３４に対応する。投票部７６２は、特徴情報ｆ１と組合わせて８１１〜８１３に記憶されている位置ｐ１に２票、ｐ２に１票をそれぞれ投票する。投票部７６２は、特徴情報ｆ２〜ｆ４についても同様に投票を行ない、位置ｐ１に３票、ｐ２に２票を投票する。
同様に、投票部７６２は、特徴情報ｆ２〜ｆ４と組合わせて８１１〜８１８に記憶されている方向ｄについても投票を行ない、ｄ１に４票、ｄ２に３票、ｄ３に１票を投票する。
投票結果によれば、ｐ１に５票、ｐ２に３票が投票され、ｐ１が最多得票である。推定部７０５は、撮像装置２０１の地図上の位置を最多得票数のｐ１と推定する。同様に、ｄ１に４票、ｄ２に３票、ｄ３に１票が投票部７６２により投票される。推定部７０５は、撮像装置２０１の推定撮像方向を最多得票数のｄ１と推定する。また、撮像装置２０１の位置及び撮像方向を推定する投票候補には、撮像高度などの他の情報を追加して良い。
なお、表示部２１５は、投票数に応じて、ユーザ端末２１０の推定現在位置ｐ１の表示２５１の円の大きさを変更しても良い。また、表示部２１５は、撮像方向の表示２５２の扇状の開角の広さを変更しても良い。
図９は、地図上の位置ｐのデータベースを表示したものである。
ｐ１〜ｐｎは、地図上の位置の経度・緯度を表示したものである。ｐ１の経度はＥ１３９°７４′、緯度はＮ３５°６４′である。この地図上の位置と関連付けて記憶された特徴情報は、ＡＢＣ本社ビルである。ｐ２以降も、データベースは、経度及び緯度、さらに、この位置と関連付けて記憶された特徴情報を記憶している。
なお、撮像方向は、北を０度として時計回りに３６０度の数字で表示しても良いし、方位で表示しても良い。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した撮像画像に含まれる運動体を除いた特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置及び方向を推定する技術を提供することができる。
（他の実施形態）
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバも、本発明の範疇に含まれる。
［実施形態の他の表現］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含み、
前記推定手段は、前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する、
情報処理システム。
（付記２）
前記データベースは、前記地図上の位置と、該位置を中心とする方向と、前記地図上の位置において該方向に向いて撮像可能な画像に含まれる特徴情報とを対応付けて記憶し、
前記推定手段は、前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、さらに、前記撮像装置が撮像時に向いていた方向を推定する
付記１に記載の情報処理システム。
（付記３）
前記抽出手段は、前記撮像画像内において、運動体を撮像した第１画像領域と、静止体を撮像した第２画像領域とを区別し、前記第２画像領域においてのみ特徴情報を抽出する、
付記１又は２に記載の情報処理システム。
（付記４）
前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、推定された前記撮像装置の地図上の位置の尤度に応じて変更する、
付記１乃至３のいずれか１項に記載の情報処理システム。
（付記５）
前記推定手段は、
前記データベースに記憶された地図上の位置及び該位置に関連付けて記憶された撮像可能な画像中の特徴情報と、前記抽出手段で抽出した前記撮像画像の特徴情報とを比較する比較手段と、
抽出した前記撮像画像の特徴情報に類似する特徴情報を検索し、検索の結果見つけられた特徴情報に関連付けられて記憶された前記地図上の位置に対する投票を、前記抽出した特徴情報の全てについて繰り返す投票手段と、
を含み、
前記投票手段による投票結果に応じて、前記撮像装置の地図上の位置を推定する、
付記１乃至４のいずれか１項に記載の情報処理システム。
（付記６）
前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、前記投票数に応じて変更する、
付記５に記載の情報処理システム。
（付記７）
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
を含む情報処理方法。
（付記８）
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
をコンピュータに実行させる情報処理プログラムを格納したプログラム記録媒体。
（付記９）
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、前記データベースを参照して、抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、を有するサーバと通信を行ない、撮像装置の現在位置を推定する情報処理装置であって、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含む情報処理装置。
以上、実施形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年１２月２７日に出願された日本出願特願２０１０−２９１０７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、撮像の位置及び方向を推定する情報処理技術に関する。
非特許文献１に記載の技術では、３次元地図データと、その３次元地図データの各地点で撮像できるランドマーク画像とをデータベースに格納しており、実際に全方位カメラを用いて撮像した画像と、データベースのランドマーク画像とのマッチングを行なっている。 つまり、非特許文献１に記載の技術は、一度に大量の画像データを取り込み、大規模データベースを用いて現在位置情報を算出し、ユーザに提供していた。
薄, 中川, 佐藤, 横矢, "ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定", 日本VR学会論文誌, Vol. 13, No. 2, pp. 161-170, 2008
しかしながら、一般的にユーザが、自身の現在位置を知りたい場合、その個人によって知りたい位置情報の精度及び結果を求める速度が異なる。たとえば、遅くてもよいから高い精度の位置情報を求めるユーザもいれば、粗い精度でもよいからより早く位置情報を得たいと考えるユーザもいる。 ところが、上述した非特許文献１に記載の技術は、そのような多様な要望に応えることはできず、一律に対応しており、ユーザフレンドリーな技術とはいえない。 非特許文献１に記載の技術を利用しつつユーザに対する位置情報提供を高速化するには、サーバやデータベースの能力を上げる必要があり、対応が困難である。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係るシステムは、
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を、地図画像上に表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含み、
前記推定手段は、前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する。
上記目的を達成するため、本発明に係る方法は、
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第２表示ステップと、
を含む。
上記目的を達成するため、本発明に係る情報処理プログラムは、
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第２表示ステップと、
をコンピュータに実行させる。
本発明は、撮像画像から位置情報を導き出していち早くユーザに提供することができる。本発明は、より精度の高い位置情報が欲しいユーザに対しては、追加的な特徴情報を取得して、段階的に、高い精度の位置情報及びその表示を提供することができる。本発明は、ユーザ端末の周辺画像から抽出した画像の特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置を推定することができる。
本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係るユーザ端末及び位置推定サーバのやり取りを示すシーケンス図である。 本発明の第２実施形態に係るユーザ端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る位置／方向推定サーバの処理手順を示すフローチャートである。 本発明の第２実施形態に係るユーザ端末の推定現在位置／方向を表示する表示画面の一例を示す図である。 本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第４実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第４実施形態に係る投票部の投票方法を説明する図である。 本発明の第４実施形態に係る特徴情報データベースのデータを示す図である。
［発明を実施するための形態］
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
（第１実施形態）
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。
図１は、本実施形態に係る情報処理システム１００の構成を示すブロック図である。
図１に示すように、情報処理システム１００は、撮像装置１０１と、抽出部１０３と、推定部１０５と、判定部１０７と、制御部１０９と、表示部１１５と、データベース１１７とを含み、撮像装置１０１の現在位置を推定する。
データベース１１７は、地図上の位置と、地図上の位置において撮像装置１０１で撮像可能な画像中の特徴情報とを関連付けて記憶する。抽出部１０３は、撮像装置１０１を用いた撮像によって取得した画像１２１から特徴情報１３１〜１３３を抽出する。推定部１０５は、データベース１１７を参照して、抽出部１０３によって抽出した特徴情報１３１〜１３３から、撮像装置１０１が存在する地図上の位置を推定する。
表示部１１５は、推定部１０５が推定した撮像装置１０１の推定存在位置１５１を地図画像上１４１に表示する。
判定部１０７は、撮像装置１０１による撮像中に、撮像装置１０１の撮像方向が、抽出部１０３で特徴情報１３１〜１３３を抽出した抽出済画像１２１を撮像した方向から所定量変更されたか否か判定する。
制御部１０９は、撮像装置１０１の撮像方向が所定量変更されたと、判定部１０７により判定されると、再度、新たな特徴情報１３４の抽出を行なうよう抽出部１０３を制御する。推定部１０５は、新たな特徴情報１３４の抽出が行なわれた場合に、新たな特徴情報１３４と抽出済の特徴情報１３１〜１３３とを組み合わせて、撮像装置１０１が存在する地図上の位置の再推定を行なう。表示部１１５は、推定部１０５が再推定した撮像装置１０１の推定存在位置１５１を地図画像上１４１に表示する。
以上の構成及び動作により、本実施形態によれば、撮像装置１０１の周辺画像から抽出した特徴情報に基づいて、ユーザの現在位置を、高い精度で、かつ容易に推定することができる。
（第２実施形態）
本発明の第２実施形態としての情報処理システム２００について、図２を用いて説明する。
図２は、本発明の第２実施形態に係る情報処理システム２００の構成を示すブロック図である。図２に示すように、情報処理システム２００は、ユーザ端末２１０と、位置／方向推定サーバ２２０とを含む。ユーザ端末２１０は、撮像装置２０１と、抽出部２０３と、判定部２０７と、制御部２０９と、受信部２１４と、表示部２１５と、記憶部２１６とを含む。
位置／方向推定サーバ２２０は、推定部２０５と、特徴情報データベース２１７とを含む。
撮像装置２０１は、撮像処理を行ない、撮像画像２２１を取得する。抽出部２０３は、撮像画像２２１から特徴情報２３１〜２３３を抽出し、位置／方向推定サーバ２２０の推定部２０５に送信する。 ここで、特徴情報とは、撮像した画像に含まれる図形の形状及びその位置を表わす情報を含む。
特徴情報データベース２１７は、地図上の位置と、その位置を中心とする方向と、地図上の位置においてその方向に向いて撮像可能な画像に含まれる特徴情報とを対応付けて記憶する。
推定部２０５は、抽出部２０３によって抽出された特徴情報を受信し、特徴情報データベース２１７を参照して、撮像装置２０１が存在する地図上の位置と、撮像装置２０１が撮像時に向いていた撮像方向とを推定する。
受信部２１４は、撮像装置２０１の推定現在位置２５１及び推定撮像方向２５２を受信すると、表示部２１５又は記憶部２１６に通知する。
表示部２１５は、受信部２１４から取得した撮像装置２０１の推定現在位置２５１及び推定撮像方向２５２を地図画像２４１上に表示する。
判定部２０７は、撮像装置２０１による撮像中に、撮像装置２０１の撮像方向が、抽出済画像２２１を撮像した方向から所定量変更されたか否か判定する。たとえば、判定部２０７は、最初に撮像した画像（基準画像）の中心を原点とした座標軸を設定し、新たに撮像した画像の中心点の座標が、原点からどれだけずれているかに応じて、撮像方向の変更量を判定しても良い。またたとえば、判定部２０７は、撮像装置２０１に内蔵された電子方位磁石により、一定の角度（たとえば１０度）方向の変化を検知した場合に、撮像方向が所定量変更されたと判定してもよい。また、判定部２０７は、基準画像と新たに撮像した画像（新画像）とを比較して、基準画像に含まれていない画像領域が、新画像に一定の割合（たとえば１０％）の増加を検知した場合に、撮像方向が所定量変更されたと判定してもよい。
その他、判定部２０７は、画像間の変形マッチングを用いた手法や、撮像装置の動きをオプティカルフローや加速度センサで求めてそれを積算する手法などを利用して撮像方向の変更量を判定しても良い。
制御部２０９は、撮像装置２０１の撮像方向が所定量変更されたと、判定部２０７により判定されると、再度、新たな特徴情報２３４の抽出を行なうよう、抽出部２０３を制御する。そして、推定部２０５は、新たな特徴情報２３４の抽出が行なわれた場合に、新たな特徴情報２３４と抽出済の特徴情報２３１〜２３３とを組み合わせることで、撮像装置２０１が存在する地図上の位置、及び撮像方向の再推定を行なう。
なお、判定部２０７は、撮像装置のズームイン又はズームアウトにより、基準画像に撮像されている対象の大きさの画像全体に占める割合が、一定の割合（画像全体の１０％）以上変化したか否かを判定してもよい。その場合、制御部２０９は、撮像装置２０１によるズームイン又はズームアウトによる撮像画像の変化が所定量を超えている場合に、新たな特徴情報の抽出を行なうよう抽出部２０３を制御しても良い。
受信部２１４は、再推定された撮像装置２０１の地図上の位置、及び撮像方向を推定部２０５より受信し、表示部２１５又は記憶部に通知する。
表示部２１５は、再推定された撮像装置２０１の地図上の位置及び撮像方向を地図画像２４１上に表示する。
推定存在位置／方向の推定尤度が一定以上になった場合、あるいはユーザの指示に応じて、記憶部２１６は推定存在位置／方向を記憶する。
図３は、本実施形態におけるユーザ端末２１０と、位置／方向推定サーバ２２０とのやり取りを示すシーケンス図である。ステップＳ３０１で、撮像装置２０１は、撮像を行ない、撮像画像を取得する。抽出部２０３は、ステップＳ３０３で、撮像画像の特徴情報２３１〜２３３を抽出し、ステップＳ３０５で、抽出した特徴情報を位置／方向推定サーバ２２０の推定部２０５に送信する。
ステップＳ３０７において、推定部２０５は、受信した特徴情報と、特徴情報データベース２１７に記憶された地図上の位置及びこれに関連付けて記憶した特徴情報とから、撮像装置２０１の地図上の位置／方向を推定する。ステップＳ３０９で、推定部２０５は、推定した撮像装置２０１の地図上の位置／方向をユーザ端末２１０の受信部２１４に送信する。
表示部２１５は、受信部２１４から撮像装置２０１の地図上の位置／方向を取得すると、ステップＳ３１３において、ユーザ端末２１０の推定現在位置／方向を示した画像を表示する。
ステップＳ３１５において、判定部２０７は、特徴情報を抽出した抽出済画像を撮像した方向から、撮像方向が所定量変更されたか否かを判定する。所定量変更されたと判定された場合には、ステップＳ３１７で、制御部２０９は、新たな撮像画像から新たな特徴情報の抽出を行なうよう抽出部２０３を制御する。ステップＳ３１９において、抽出部２０３は、新たな特徴情報を位置／方向推定サーバに送信する。ステップＳ３２１で、推定部２０５は、特徴情報データベース２１７に記憶された特徴情報を参照し、ステップＳ３２３で、既に抽出した特徴情報と、新たな特徴情報とを組合わせて撮像装置２０１の地図上の位置／方向を再推定する。推定部２０５は、ステップＳ３２５において再推定した撮像装置２０１の地図上の位置／方向をユーザ端末２１０の受信部２１４に送信する。
表示部２１５は、再推定された撮像装置２０１の地図上の位置／方向を受信部２１４から取得すると、ステップＳ３２７で、ユーザ端末２１０の推定現在位置及び方向を示した画像を表示する。
図４Ａは、本実施形態におけるユーザ端末２１０の処理手順を示すフローチャートである。現在位置／方向推定処理の開始に伴い、ステップＳ４０１において、撮像装置２０１は撮像を開始する。次に、ステップＳ４０５で、抽出部２０３は、撮像画像２２１から特徴情報を抽出し、ステップＳ４０７で、特徴情報を位置／方向推定サーバ２２０に送信する。次に、ステップＳ４０９で、受信部２１４は、位置／方向推定サーバ２２０からユーザ端末２１０の推定現在位置／方向を受信すると、ステップＳ４１１で、表示部２１５は、受信部２１４から取得したユーザ端末２１０の推定現在位置／方向を表示する。
ステップＳ４１３において、判定部２０７は、撮像装置２０１の撮像方向が所定量変更されたか否かを判定する。撮像方向が所定量変更されたと判定した場合には、ステップＳ４０５に進み、制御部２０９は抽出部２０３を制御して、新たな特徴情報の抽出を行なう。ステップＳ４１５で、制御部２０９は、撮像装置２０１の現在位置／方向の推定処理を終了すると、ステップＳ４１７に進む。
ステップＳ４１７において、ユーザ端末の記憶部２１６は、ユーザ端末２１０の推定現在位置／方向を保存する。次に、ステップＳ４１９に進み、撮像装置２０１が撮像処理を終了すると、ユーザ端末２１０は、位置／方向の推定処理を終了する。
図４Ｂは、本実施形態における位置／方向推定サーバ２２０の処理手順を示すフローチャートである。ステップＳ４２１で、推定部２０５は、ユーザ端末２１０の抽出部２０３から撮像画像２２１の特徴情報２３１〜２３３を受信する。ステップＳ４２３で、推定部２０５は、受信した特徴情報に一致する特徴情報を特徴情報データベース２１７内で検索し、記憶された特徴情報と、撮像装置２０１の地図上の位置／方向を推定する。なお、推定部２０５は、新たな特徴情報を受信する度に、位置／方向の推定を繰り返す。
図５は、推定現在位置／方向を表示する表示画像５４１ａ及び５４１ｂを示す図である。
表示画像５４１ａ及び５４１ｂは、ユーザ端末２１０の推定現在位置／方向を表示する画像である。
表示画像５４１ａは、撮像装置２０１の推定現在位置／方向を地図上に表示した画像である。表示画像５４１ａ像は、撮像装置２０１の推定現在位置５５１ａを、推定の尤度に対応させて円の大小により表わす。そこで、表示部２１５は、撮像装置２０１の推定現在位置が推定部２０５により絞り込めまれていない場合には、推定現在位置５５１ａのように大きな円で表示する。
次に、表示画像５４１ａは、撮像装置２０１の推定撮像方向を、推定の尤度に対応させて扇状の開角の広狭により表わす。そこで、表示部２１５は、撮像装置２０１の推定撮像方向が推定部２０５により絞り込まれていない場合には、５５２ａのように扇状の開角を広く表示する。
撮像装置２０１の推定現在位置／方向が推定部２０５により絞り込まれている場合には、表示部２１５は、表示画像５４１ｂのように、撮像装置２０１の推定現在位置５５１ｂを小さい円で表わし、撮像装置２０１の推定撮像方向５５２ｂを狭い開角の扇状で表わす。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した画像の特徴情報に基づいて、高い精度で、かつ容易にユーザ端末の現在位置及び撮像方向を推定することができる。
具体的には、本発明の第２実施形態は、撮像装置の撮影方向などの変化を検出し、新しい特徴情報を繰り返し抽出して位置推定に追加的に用いるため、結果として、カメラの１回の撮影範囲を超えた広範囲な領域を位置推定に用いることができる。これによって、パノラマ画像での照合と同様に、広い範囲を入力して、位置／方向の推定が可能となるので、本発明第２実施形態は高精度の位置／方向の推定を実現できる。また、本発明第２実施形態は、カメラの変位に合わせて新しく撮像した画像領域のみを処理して新たな特徴情報のみをサーバに送信する。このため、パノラマ画像を作成する場合に比べて、本発明第２実施形態は一度に処理しなければならない情報量及び端末サーバ間の通信量を削減することができる。その結果、本発明第２実施形態は応答速度を高速化することができる。さらに、本発明第２実施形態は、位置／方向の推定結果をユーザに提示することで、ユーザがさらに精度を上げるべきと考えた場合のみ、カメラ撮影を継続することができる。このため、本発明第２実施形態は、徐々に位置／方向の推定精度を向上させることができるので、不必要に長時間の撮影を行うことがない。
（第３実施形態）
本発明の第３実施形態としての情報処理システムについて、図６を用いて説明する。図６は、本実施形態の情報処理システム６００の構成を示すブロック図である。
情報処理システム６００の構成は、第２実施形態の構成と同様に位置／方向推定サーバ２２０を含む。ただし、ユーザ端末６１０は、第２実施形態についての図２の構成に加えて、静止体抽出部６０６を含む。
静止体抽出部６０６は、画像内の運動体を撮像した第１画像領域と、静止体を撮像した第２画像領域とを区別し、第２画像領域のみを抽出部２０３に提供する。その他の構成及び動作は、第２実施形態と同様であるので、説明を省略する。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した撮像画像に含まれる運動体を除いた特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置／方向を推定することができる。
（第４実施形態）
本発明の第４実施形態としての情報処理システム７００について、図７を用いて説明する。図７は、本実施形態の情報処理システム７００の構成を示すブロック図である。
情報処理システム７００は、第２実施形態の構成と同様に、ユーザ端末２１０を含む。ただし、位置／方向推定サーバ７２０は、比較部７６１と、投票部７６２とを含む推定部７０５を有する。
比較部７６１は、特徴情報データベース２１７に記憶された地図上の位置及び特徴情報と、抽出部２０３に抽出された画像の特徴情報とを比較する。また、投票部７６２は、抽出部２０３により抽出された特徴情報に類似しており、特徴情報データベース２１７に記憶された地図上の位置及び特徴情報を検索する。投票部７６２は、当該検索の結果見つけられた特徴情報に対して投票する。投票部７６２は、抽出された特徴情報全てについて投票を繰り返す。
図８は、投票部７６２による投票を示した図である。
画像特徴情報８００は、画像特徴情報ｆ１〜ｆ４を抽出したものである。特徴情報データベース２１７は、地図上の位置ｐと、該位置に関連付けて記憶された撮像可能な画像中の特徴情報ｆと、撮像方向ｄとを一つの組として、撮像装置２０１の地図上の位置及び撮像方向を推定するための投票候補８１１〜８ｎｎを記憶する。投票箱８２１及び８２２は地図上の位置ｐについて投票を受け付け、投票箱８３１乃至８３３は撮像方向ｄについて投票を受け付ける。
投票部７６２による投票は、地図上の位置ｐ、及び撮像方向ｄに対して行なわれ、画像特徴情報ｆｎと組み合わせて特徴情報データベース２１７に記憶された投票候補８１１〜８ｎｎへの投票により、撮像装置２０１の推定現在位置及び方向が推定される。
具体的な投票の流れを説明する。画像特徴情報８００の特徴情報ｆ１の樹木は、図６の特徴情報２３１に対応し、ｆ２の鳥居は２３２に、ｆ３のビルは２３３に、ｆ４の駅は２３４に対応する。投票部７６２は、特徴情報ｆ１と組合わせて８１１〜８１３に記憶されている位置ｐ１に２票、ｐ２に１票をそれぞれ投票する。投票部７６２は、特徴情報ｆ２〜ｆ４についても同様に投票を行ない、位置ｐ１に３票、ｐ２に２票を投票する。
同様に、投票部７６２は、特徴情報ｆ２〜ｆ４と組合わせて８１１〜８１８に記憶されている方向ｄについても投票を行ない、ｄ１に４票、ｄ２に３票、ｄ３に１票を投票する。
投票結果によれば、ｐ１に５票、ｐ２に３票が投票され、ｐ１が最多得票である。推定部７０５は、撮像装置２０１の地図上の位置を最多得票数のｐ１と推定する。同様に、ｄ１に４票、ｄ２に３票、ｄ３に１票が投票部７６２により投票される。推定部７０５は、撮像装置２０１の推定撮像方向を最多得票数のｄ１と推定する。また、撮像装置２０１の位置及び撮像方向を推定する投票候補には、撮像高度などの他の情報を追加して良い。
なお、表示部２１５は、投票数に応じて、ユーザ端末２１０の推定現在位置ｐ１の表示２５１の円の大きさを変更しても良い。また、表示部２１５は、撮像方向の表示２５２の扇状の開角の広さを変更しても良い。
図９は、地図上の位置ｐのデータベースを表示したものである。
ｐ１〜ｐｎは、地図上の位置の経度・緯度を表示したものである。ｐ１の経度はE139°74′、緯度はN35°64′である。この地図上の位置と関連付けて記憶された特徴情報は、ＡＢＣ本社ビルである。ｐ２以降も、データベースは、経度及び緯度、さらに、この位置と関連付けて記憶された特徴情報を記憶している。
なお、撮像方向は、北を０度として時計回りに３６０度の数字で表示しても良いし、方位で表示しても良い。
以上の構成及び動作により、本実施形態によれば、撮像装置の周辺画像から抽出した撮像画像に含まれる運動体を除いた特徴情報に基づいて、高い精度で、かつ容易にユーザの現在位置及び方向を推定する技術を提供することができる。
（他の実施形態）
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
[実施形態の他の表現]
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を、地図画像上に表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含み、
前記推定手段は、前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する、
情報処理システム。
（付記２）
前記データベースは、前記地図上の位置と、該位置を中心とする方向と、前記地図上の位置において該方向に向いて撮像可能な画像に含まれる特徴情報とを対応付けて記憶し、
前記推定手段は、前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、さらに、前記撮像装置が撮像時に向いていた方向を推定する
付記１に記載の情報処理システム。
（付記３）
前記抽出手段は、前記撮像画像内において、運動体を撮像した第１画像領域と、静止体を撮像した第２画像領域とを区別し、前記第２画像領域においてのみ特徴情報を抽出する、
付記１又は２に記載の情報処理システム。
（付記４）
前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、推定された前記撮像装置の地図上の位置の尤度に応じて変更する、
付記１乃至３のいずれか１項に記載の情報処理システム。
（付記５）
前記推定手段は、
前記データベースに記憶された地図上の位置及び該位置に関連付けて記憶された撮像可能な画像中の特徴情報と、前記抽出手段で抽出した前記撮像画像の特徴情報とを比較する比較手段と、
抽出した前記撮像画像の特徴情報に類似する特徴情報を検索し、検索の結果見つけられた特徴情報に関連付けられて記憶された前記地図上の位置に対する投票を、前記抽出した特徴情報の全てについて繰り返す投票手段と、
を含み、
前記投票手段による投票結果に応じて、前記撮像装置の地図上の位置を推定する、
付記１乃至４のいずれか１項に記載の情報処理システム。
（付記６）
前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、前記投票数に応じて変更する、
付記５に記載の情報処理システム。
（付記７）
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第２表示ステップと、
を含む情報処理方法。
（付記８）
撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
前記第１推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第１表示ステップと、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
前記第２推定ステップで推定された前記撮像装置の推定現在位置を、地図画像上に表示する第２表示ステップと、
をコンピュータに実行させる情報処理プログラム。
（付記９）
地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、前記データベースを参照して、抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、を有するサーバと通信を行ない、撮像装置の現在位置を推定する情報処理装置であって、
前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
前記推定手段で推定された前記撮像装置の推定現在位置を、地図画像上に表示する表示手段と、
前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
を含む情報処理装置。
以上、実施形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年１２月２７日に出願された日本出願特願２０１０−２９１０７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1. 地図上の位置と、該位置において撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶するデータベースと、
    前記撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する抽出手段と、
    前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する推定手段と、
    前記推定手段で推定された前記撮像装置の推定現在位置を表示する表示手段と、
    前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記抽出手段で前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定手段と、
    前記判定手段により前記撮像装置の撮像方向が所定量変更されたと判定した場合に、再度、前記抽出手段による新たな特徴情報の抽出を行なうよう制御する制御手段と、
    を含み、
    前記推定手段は、前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する、
    情報処理システム。
  2. 前記データベースは、前記地図上の位置と、該位置を中心とする方向と、前記地図上の位置において該方向に向いて撮像可能な画像に含まれる特徴情報とを対応付けて記憶し、
    前記推定手段は、前記データベースを参照して、前記抽出手段によって抽出した抽出済の前記特徴情報から、さらに、前記撮像装置が撮像時に向いていた方向を推定する
    請求項１に記載の情報処理システム。
  3. 前記抽出手段は、前記撮像画像内において、運動体を撮像した第１画像領域と、静止体を撮像した第２画像領域とを区別し、前記第２画像領域においてのみ特徴情報を抽出する、
    請求項１又は２に記載の情報処理システム。
  4. 前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、推定された前記撮像装置の地図上の位置の尤度に応じて変更する、
    請求項１乃至３のいずれか１項に記載の情報処理システム。
  5. 前記推定手段は、
    前記データベースに記憶された地図上の位置及び該位置に関連付けて記憶された撮像可能な画像中の特徴情報と、前記抽出手段で抽出した前記撮像画像の特徴情報とを比較する比較手段と、
    抽出した前記撮像画像の特徴情報に類似する特徴情報を検索し、検索の結果見つけられた特徴情報に関連付けられて記憶された前記地図上の位置に対する投票を、前記抽出した特徴情報の全てについて繰り返す投票手段と、
    を含み、
    前記投票手段による投票結果に応して、前記撮像装置の地図上の位置を推定する、
    請求項１乃至４のいずれか１項に記載の情報処理システム。
  6. 前記表示手段は、前記推定手段によって推定された前記撮像装置の地図上の位置の表示を、前記投票数に応じて変更する、
    請求項５に記載の情報処理システム。
  7. 撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
    地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
    前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
    前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
    前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
    前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
    前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
    を含む情報処理方法。
  8. 撮像装置を用いた撮像によって取得した撮像画像から特徴情報を抽出する第１抽出ステップと、
    地図上の位置と、該位置において前記撮像装置で撮像可能な画像中の特徴情報と、を関連付けて記憶したデータベースを参照して、前記第１抽出ステップによって抽出した抽出済の前記特徴情報から、前記撮像装置が存在する地図上の位置を推定する第１推定ステップと、
    前記第１推定ステップで推定された前記撮像装置の推定現在位置を表示する第１表示ステップと、
    前記撮像装置による前記撮像中に、前記撮像装置の撮像方向が、前記第１抽出ステップで前記特徴情報を抽出した抽出済画像を撮像した方向から所定量変更されたか否か判定する判定ステップと、
    前記判定ステップにより前記撮像装置の撮像方向が所定量変更されたと判定した場合に、新たな特徴情報の抽出を行なう第２抽出ステップと、
    前記新たな特徴情報の抽出が行なわれた場合に、前記新たな特徴情報と抽出済の特徴情報とを組み合わせて、前記撮像装置が存在する地図上の位置を再推定する第２推定ステップと、
    前記第２推定ステップで推定された前記撮像装置の推定現在位置を表示する第２表示ステップと、
    をコンピュータに実行させる情報処理プログラムを格納したプログラム記録媒体。
JP2012550914A 2010-12-27 2011-12-16 情報処理システム，情報処理方法及び情報処理プログラム Pending JPWO2012090890A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010291070 2010-12-27
JP2010291070 2010-12-27
PCT/JP2011/079962 WO2012090890A1 (ja) 2010-12-27 2011-12-16 情報処理システム，情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2012090890A1 true JPWO2012090890A1 (ja) 2014-06-05

Family

ID=46382994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012550914A Pending JPWO2012090890A1 (ja) 2010-12-27 2011-12-16 情報処理システム，情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20130279755A1 (ja)
JP (1) JPWO2012090890A1 (ja)
WO (1) WO2012090890A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956655B (zh) * 2014-01-31 2018-06-22 奥林巴斯株式会社 摄像装置
US20160335275A1 (en) * 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
JP6435049B2 (ja) * 2015-07-15 2018-12-05 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
JP7311461B2 (ja) 2020-05-21 2023-07-19 Kddi株式会社 連携装置、方法及びプログラム
WO2023162013A1 (ja) * 2022-02-22 2023-08-31 日本電気株式会社 通報支援システム、通報支援方法、及びコンピュータ読み取り可能な記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191339A (ja) * 2002-12-13 2004-07-08 Sharp Corp 位置情報検索方法、位置情報検索装置、位置情報検索端末、及び、位置情報検索システム
JP5149744B2 (ja) * 2008-09-10 2013-02-20 株式会社デンソーアイティーラボラトリ 画像検索装置、画像検索システム、画像検索方法およびプログラム
KR101884337B1 (ko) * 2012-04-26 2018-08-01 삼성전자주식회사 영상 인식 방법 및 장치

Also Published As

Publication number Publication date
WO2012090890A1 (ja) 2012-07-05
US20130279755A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6683127B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN110136200B (zh) 基于影像的电子设备定位
JP7282851B2 (ja) 装置、方法及びプログラム
CN105283775B (zh) 移动机器人以及音源位置推定系统
WO2016199605A1 (ja) 画像処理装置および方法、並びにプログラム
WO2013180840A1 (en) Pose estimation based on peripheral information
WO2012090890A1 (ja) 情報処理システム，情報処理方法及び情報処理プログラム
JP5837848B2 (ja) 画像処理装置、画像処理システム、画像処理方法
JP2012160904A (ja) 情報処理装置、情報処理方法、プログラム、及び撮像装置
WO2014112138A1 (ja) 情報処理装置、情報処理システム及び情報処理プログラム
US11566896B2 (en) Surveying system with image-based measuring
JPWO2012164685A1 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
JP2016212784A (ja) 画像処理装置、画像処理方法
EP2577504B1 (en) Methods and arrangements for augmented reality
JP2011039974A (ja) 画像検索方法およびシステム
CN112907671B (zh) 点云数据生成方法、装置、电子设备及存储介质
JP5837404B2 (ja) 画像処理装置、画像処理方法
CN112561952A (zh) 用于为目标设置可呈现的虚拟对象的方法和系统
WO2016071896A1 (en) Methods and systems for accurate localization and virtual object overlay in geospatial augmented reality applications
JP2016038790A (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
JP2019046278A (ja) 情報処理装置、制御方法、コンピュータプログラム、記憶媒体、及びモデル作成装置
JP2015153324A (ja) 情報検索装置、情報検索方法及び情報検索プログラム
JP5634925B2 (ja) 整備情報表示装置、整備情報表示方法、及びプログラム
CN106951553A (zh) 一种地址定位方法和装置