JP6913708B2 - 情報処理システム、情報処理装置、情報処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、プログラム及び記憶媒体に関する。

屋内移動体が移動中に自己位置を認識する技術がある（特許文献１）。

特開平６−４１２７号公報

特許文献１の技術では、位置が既知の照明装置を用いて相対的な位置関係より屋内移動体の自己位置を認識しており、天井に設置された照明器具が常に最低１個視野に入るように撮影しなければならないという制約があり、自由度が低い。

本発明の情報処理システムは、ユーザによって撮影された撮影画像から特徴量を抽出する抽出手段と、複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する検索手段と、前記検索手段による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定手段と、を有する。

本発明によれば、自由度高く、ユーザの位置を推定することができる。

図１は、情報処理システムのシステム構成の一例を示す図である。 図２は、サーバのハードウェア構成の一例を示す図である。 図３は、実施形態１の処理の概要を説明する図である。 図４は、画像登録処理の一例を示すフローチャートである。 図５は、特徴量のインデックス化の一例を示す図である。 図６は、位置推定処理の一例を示すフローチャートである。 図７は、Ｓ６０３及びＳ６０４の処理を説明する図である。 図８は、撮影場所にいる確率の補正について説明する図である。 図９は、実施形態２の処理の概要を説明する図である。 図１０は、更新タイミング出力処理の一例を示すフローチャートである。 図１１は、更新タイミング検知処理の一例を示すフローチャートである。 図１２は、登録画像更新処理の一例を示すフローチャート（その１）である。 図１３は、登録画像更新処理の一例を示すフローチャート（その２）である。 図１４は、登録画像更新処理の一例を示すフローチャート（その３）である。 図１５は、確認画面の一例を示す図である。 図１６は、登録画像更新処理の一例を示すフローチャート（その４）である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、情報処理システムのシステム構成の一例を示す図である。情報処理システムは、携帯端末１００と、サーバ１２０と、を含む。携帯端末１００と、サーバ１２０とは、ネットワーク１１０を介して通信可能となっている。

図２は、サーバ１２０のハードウェア構成の一例を示す図である。サーバ１２０は、ハードウェア構成として、ＣＰＵ２０１と、記憶部２０２と、表示部２０３と、入力部２０４と、通信部２０５と、を含む。ＣＰＵ２０１は、サーバ１２０の全体の処理を制御する。記憶部２０２は、プログラムと、携帯端末１００から送られてきたデータと、ＣＰＵ２０１がプログラムに基づき処理を実行する際に用いるデータと、を記憶する。表示部２０３は、ＣＰＵ２０１の処理の結果等を表示する。入力部２０４は、ユーザの操作指示をＣＰＵ２０１に入力する。通信部２０５は、サーバ１２０をネットワーク１１０に接続する。ＣＰＵ２０１が記憶部２０２に記憶されているプログラムに基づき処理を実行することにより、サーバ１２０の機能及び後述する図４、図６、図１０−図１４、図１６のフローチャートの処理が実現される。記憶部２０２は、記憶媒体の一例である。
携帯端末１００のハードウェア構成もサーバ１２０のハードウェア構成と同様である。携帯端末１００のＣＰＵが携帯端末１００の記憶部に記憶されているプログラムに基づき処理を実行することにより、携帯端末１００の機能が実現される。

図３は、実施形態１の処理の概要を説明する図である。大規模な屋内では確立されたユーザの位置把握技術が存在しない。そこで、実施形態１では、図３の〇で示されるように、屋内において所定の撮影場所（撮影ポイント）が設けられており、情報処理システムは、それぞれの撮影ポイントで撮影された複数の撮影画像をユーザの位置の推定に用いる登録画像としてその撮影ポイントの情報（撮影場所情報）と共に事前に登録しておく。撮影場所情報は、緯度経度情報等でもよいし、「ビル３階区画Ａ」のようにユーザが認識可能な情報でもよい。そして、情報処理システムは、移動体であるユーザの位置を認識する際にはユーザから撮影画像が送られてくると、複数の登録画像の中から撮影画像に類似する登録画像を検索し、検索した登録画像と共に登録されている撮影場所情報で示される撮影ポイントにユーザがいると推定し、推定結果を出力する。

図４は、画像登録処理の一例を示すフローチャートである。電源が投入されると、ＣＰＵ２０１は、画像登録処理を開始する。ここで、携帯端末１００のユーザは、撮影ポイントで撮影し、登録用に撮影場所情報を入力する。なお、撮影場所情報は、緯度経度情報を取得してこの緯度経度情報を自動的に入力してもよく、又は撮影された画像内に上記のような「ビル３階区画Ａ」のような場所を示す情報が移りこんでいれば文字認識技術等を用いて文字を抽出して自動入力してもよい。携帯端末１００は、入力された撮影場所情報及び撮影画像をサーバ１２０に送信する。Ｓ４０１において、ＣＰＵ２０１は、携帯端末１００より撮影場所情報及び撮影画像を受信したか否を判定する。ＣＰＵ２０１は、携帯端末１００より撮影場所情報及び撮影画像を受信したと判定すると、Ｓ４０２に進み、携帯端末１００より撮影場所情報及び撮影画像を受信していないと判定すると、Ｓ４０１の処理を繰り返す。Ｓ４０２において、ＣＰＵ２０１は、撮影画像より特徴量を抽出する。実施形態１では、ＣＰＵ２０１は、撮影画像よりＡＫＡＺＥ特徴量を抽出する。より具体的に説明すると、ＣＰＵ２０１は、撮影画像より撮影画像の特徴的な場所（特徴点）を複数、抽出し、それぞれの特徴点が保持している局所特徴量を取得する。Ｓ４０３において、ＣＰＵ２０１は、携帯端末１００より受信した撮影場所情報に関連付けてＳ４０２で抽出した特徴量をインデックス化する。図５（ａ）は、特徴量のインデックス化の一例を示す図である。Ｓ４０２において、ＣＰＵ２０１は、例えば、撮影場所Ａの一つの撮影画像から複数の特徴量を抽出する。そして、Ｓ４０３において、ＣＰＵ２０１は、撮影場所Ａの一つの撮影画像から抽出した複数の特徴量をインデックス化された特徴量空間へマッピングする。図５では、特徴量空間を２次元で表しているがＡＫＡＺＥ特徴量の場合であれば例えば６４次元である。サーバ１２０は、携帯端末１００より登録要求を受信する度に、Ｓ４０２及びＳ４０３の処理を繰り返す。インデックス化された特徴量は、記憶部２０２に記憶される。図５（ｂ）は各特徴量と撮影場所情報との関連付けを示す図である。「〇」印は「撮影場所Ａ」に関連付けられ、「△」印は「撮影場所Ｂ」に関連付けられ、「□」印は「撮影場所Ｃ」と関連付けられている。上述のように、関連付けられる撮影場所情報は緯度経度等でもよい。このように、画像登録処理では、複数の撮影ポイントにおいて、撮影された画像から特徴量を抽出してインデックス化して記憶部２０２に記憶しておくが、各撮影ポイントにおいては、撮影する画像は１つには限らない。同じ撮影ポイントでいくつかの方向を撮影してそれぞれインデックス化しておいてもよい。更には、撮影する画像は、360度カメラ画像や全天球カメラ画像であってもよい。

図６は、位置推定処理の一例を示すフローチャートである。電源が投入されると、ＣＰＵ２０１は、位置推定処理を開始する。ここで、携帯端末１００のユーザは、例えば、定期的に周りの風景を撮影し、撮影画像をサーバ１２０に送信する。Ｓ６０１において、ＣＰＵ２０１は、携帯端末１００より撮影画像を受信したか否かを判定する。ＣＰＵ２０１は、携帯端末１００より撮影画像を受信したと判定すると、Ｓ６０２に進み、撮影画像を受信していないと判定すると、Ｓ６０１の処理を繰り返す。Ｓ６０２において、ＣＰＵ２０１は、撮影画像（検索用の撮影画像）より特徴量を抽出する。実施形態１では、ＣＰＵ２０１は、検索用の撮影画像よりＡＫＡＺＥ特徴量を抽出する。Ｓ６０３において、ＣＰＵ２０１は、インデックス化され記憶部２０２に記憶された特徴量（登録済み特徴量）からＳ６０２で抽出した検索用の撮影画像の特徴量に似た特徴量を検索する。Ｓ６０４において、ＣＰＵ２０１は、Ｓ６０３の検索結果からユーザが各撮影場所にいる確率を計算する。図７は、Ｓ６０３及びＳ６０４の処理を説明する図である。Ｓ６０３において、ＣＰＵ２０１は、検索用の撮影画像の特徴量ごとに、インデックス化された登録済み特徴量の中から最も距離が近い特徴量を検索する。Ｓ６０４において、ＣＰＵ２０１は、検索用の撮影画像の複数の特徴量のそれぞれに類似する登録済み特徴量がどの撮影場所の登録済み特徴量かを求め、求めた撮影場所の内、同じ撮影場所の数の和を、全体の撮影場所の数の和で除することで、各撮影場所にユーザがいる確率として求める。例えば、図７の例では、ＣＰＵ２０１は、検索用の撮影画像から３つの特徴量を抽出している。ＣＰＵ２０１は、検索の結果、３つの特徴量のうち、１つの特徴量が撮影場所Ａの登録済み特徴量に近く、２つの特徴量が撮影場所Ｂの登録済み特徴量に近いと判断する。ＣＰＵ２０１は、求めた撮影場所の内、撮影場所Ａの数の和である１を全体の撮影場所の数の和である３で除することで、撮影場所Ａにユーザがいる確率として約３３％を求める。また、ＣＰＵ２０１は、求めた撮影場所の内、撮影場所Ｂの数の和である２を全体の撮影場所の数の和である３で除することで、撮影場所Ｂにユーザがいる確率として約６６％を求める。

図６の説明に戻る。Ｓ６０５において、ＣＰＵ２０１は、ユーザが現在いると推定した場所について補正する。図８は、撮影場所にいる確率の補正について説明する図である。ＣＰＵ２０１は、Ｓ６０４で求めた各撮影場所にいる確率を、直前にユーザがいたと推定した場所に基づき、補正する。より具体的に説明すると、ＣＰＵ２０１は、ユーザがいると推定した場所であっても、屋内の地図情報等に基づき、直前にユーザがいたと推定した場所から物理的に移動が不可能な場合、ユーザがいる確率を低く補正する。図８では、ＣＰＵ２０１が、Ｓ６０４の処理の結果、撮影場所Ｅにいる確率を４０％と求めている。しかし、直前にユーザがいたと推定した場所が、撮影場所Ｂであり、撮影場所Ｂと撮影場所Ｅとの間には、所定の大きさ以上の部屋があり、通り抜けできないことが地図情報に基づき判断した場合、撮影場所Ｅにいる確率を４０％から低く補正する。推定した確率より低く補正すればよく、所定の式を適用して例えば確率１０％等に算出する。なお、図８では四角マーク内に示した４０％が今回算出された確率を示しており、丸マークの内に示した確率の値は、その前に算出された時の各撮影場所での確率の値を示している。図８の場合は上述の通り撮影場所Ｂは確率が６６％で最も高いため、ユーザは直前に撮影場所Ｂにいたと推定できる。このように撮影画像を用いて繰り返し処理が行われる。また、ＣＰＵ２０１は、Ｓ６０４で求めた各撮影場所にいる確率を、直前にユーザがいる場所を推定してからの経過時間に基づき、補正する。より具体的に説明すると、ＣＰＵ２０１は、ユーザがいると推定した場所であっても、直前にユーザがいる場所を推定してからの経過時間に基づき、前回、ユーザがいると推定した場所から物理的に移動が不可能な場合、ユーザがいる確率を低く補正する。ＣＰＵ２０１は、Ｓ６０４で求めた各撮影場所にいる確率を、前回、ユーザがいると推定した場所と、前回、ユーザがいる場所を推定してからの経過時間と、に基づき、補正してもよい。なお、補正については低くするだけでなく一定のルールで高く補正するようにしてもよい。

図６の説明に戻る。Ｓ６０６において、ＣＰＵ２０１は、補正した結果、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値以上か否かを判定する。ＣＰＵ２０１は、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値以上の場合は、Ｓ６０７に進み、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値未満の場合は、Ｓ６０８に進む。Ｓ６０７において、ＣＰＵ２０１は、ユーザがいる確率が一番高い撮影場所を、ユーザの推定位置として出力する。例えば、ＣＰＵ２０１は、撮影画像を送信してきた携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの推定位置を表示部２０３に表示する。Ｓ６０８において、ＣＰＵ２０１は、ユーザの位置推定が不能である旨を出力する。例えば、ＣＰＵ２０１は、撮影画像を送信してきた携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの位置推定が不能である旨を表示部２０３に表示する。

以上、実施形態１の情報処理システムによれば、特定の対象物（特許文献１では照明器具）を常に最低１個カメラの視野に入るように設置しなくてもユーザの位置を推定することができる。即ち、自由度高く、ユーザの位置を推定することができる。

実施形態１の変形例１を説明する。図１では、情報処理システムに含まれる携帯端末１００は１台を例に説明を行ったが、携帯端末は１台に限られない。複数の携帯端末が情報処理システムに含まれてもよい。以下の実施形態２及び実施形態３でも同様である。

実施形態１の変形例２を説明する。サーバ１２０のハードウェア構成として、表示部２０３及び入力部２０４は必須の構成要素ではない。例えば、表示部２０３がない場合、Ｓ６０７において、ＣＰＵ２０１は、撮影画像を送信してきた携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの推定位置を所定の管理者端末、又は携帯端末１００に送信する。なお、ＣＰＵ２０１は、表示部２０３がある場合であっても、設定に応じて、撮影画像を送信してきた携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの推定位置を所定の管理者端末に送信、又は携帯端末１００に送信してもよい。携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの推定位置を受信した、管理者端末、又は携帯端末１００は、自装置の表示部に携帯端末１００を識別する識別情報と共に、携帯端末１００のユーザの推定位置を表示する。すなわち、表示部２０３と、所定の管理者端末の表示部と、携帯端末１００の表示部とは、ユーザの推定位置を出力する手段の例であり、ユーザの推定位置を出力できる手段を備えていればどのようなものでもよい。

実施形態１の変形例３を説明する。サーバ１２０は、単体の装置で構成されていなくてもよい。すなわち、サーバ１２０の機能を提供できれば、サーバ１２０は、複数のサーバ、いわゆるクラウドサーバ、で構成されていてもよい。以下の実施形態２及び実施形態３でも同様である。

実施形態１の変形例４を説明する。上述したフローチャートの処理の一部、又はすべては携帯端末１００のＣＰＵが行ってもよい。例えば、図４のフローチャートにおいて、携帯端末１００のＣＰＵは、撮影を行い、撮影画像から特徴量を抽出し、抽出した特徴量と撮影場所情報をサーバ１２０に送信してもよい。この場合、携帯端末１００からサーバ１２０に送信するデータ量は削減される。以下の実施形態２及び実施形態３でも同様である。

実施形態１の変形例５を説明する。撮影画像から抽出する特徴量は、ＡＫＡＺＥ特徴量に限られず、例えば、ＳＩＦＴ特徴量であってもよい。すなわち、類似画像の検索に利用される特徴量であればどのような特徴量であってもよい。なお、ＳＩＦＴ特徴量の場合、特徴量空間は１２８次元となる。以下の実施形態２及び実施形態３でも同様である。

実施形態１の変形例６を説明する。Ｓ６０３において、ＣＰＵ２０１は、検索用の撮影画像の特徴量ごとに、インデックス化された登録済み特徴量の中から最も距離が近い登録済み特徴量を検索する際に、その特徴量間の距離も求める。そして、Ｓ６０４において、ＣＰＵ２０１は、ＣＰＵ２０１は、検索用の撮影画像の複数の特徴量のそれぞれに類似する登録済み特徴量がどの撮影場所の登録済み特徴量かを求め、求めた撮影場所の内、同じ撮影場所の数の和を、全体の撮影場所の数の和で除することで、各撮影場所にユーザがいる確率として求める。この際、ＣＰＵ２０１は、Ｓ６０３で求めた距離に基づき、インデックス化された特徴量空間の登録済み特徴量と検索用の撮影画像の特徴量との距離が近いほど確率が高くなるよう重みづけを行い、各撮影場所にユーザがいる確率を求める。

実施形態１の変形例７を説明する。時間帯毎に撮影画像を用意して、図４に示した画像登録処理を、時間帯毎に行ってもよい。この場合、図６の位置推定処理に関して、携帯端末１００は、撮影画像と共に、時間帯の情報をサーバ１２０に送信する。このような構成とすることで、時間帯毎に日の当たり方等で風景が異なる場合も、ユーザの位置をより正確に推定することができる。

実施形態１の変形例８を説明する。屋内ではなく、屋外におけるユーザの位置推定に上述した技術を利用してもよい。以下の実施形態２及び実施形態３でも同様である。

＜実施形態２＞
実施形態２では、実施形態１と異なる点について主に説明する。図９は、実施形態２の処理の概要を説明する図である。実施形態２では、屋内にビーコン端末が複数設定されている（図９の例では、ビーコン端末９０、９１、９２、９３）。複数のビーコン端末それぞれは、それぞれの固有情報を含むビーコン信号を設定された範囲内に発信する。なお、図示しないが、各ビーコンが設置されている場所と該当するビーコンの固有情報とは別途その対応関係が記憶部に記憶され、適宜参照される。

図１０は、更新タイミング出力処理の一例を示すフローチャートである。電源が投入されると、ＣＰＵ２０１は、更新タイミング出力処理を開始する。ここで、携帯端末１００は、撮影画像をサーバ１２０に送信する際に、ビーコン端末からビーコン信号を受信していた場合、ビーコン信号情報も共にサーバ１２０に送信する。Ｓ１００１において、ＣＰＵ２０１は、更新タイミング検知処理を実行する。

図１１は、更新タイミング検知処理の一例を示すフローチャートである。Ｓ１１０１において、ＣＰＵ２０１は、携帯端末１００から送信されてきたデータの中に、ビーコン信号情報が含まれているか否かを判定する。ＣＰＵ２０１は、ビーコン信号情報が含まれていると判定した場合、Ｓ１１０２に進み、ビーコン信号情報が含まれていないと判定した場合、Ｓ１１０７に進む。Ｓ１１０２において、ＣＰＵ２０１は、撮影場所情報に対応する画像が登録画像として登録されているか否かを判定する。より具体的に説明すると、ＣＰＵ２０１は、携帯端末１００から送信されてきたデータの中の撮影画像からＡＫＡＺＥ特徴量を抽出し、抽出した撮影画像の特徴量が、事前に撮影されインデックス化して登録された登録済み特徴量として存在するか、検索する。ＣＰＵ２０１は、撮影場所情報に対応する画像が登録画像として登録されていると判定した場合、Ｓ１１０３に進み、撮影場所情報に対応する画像が登録画像として登録されていないと判定した場合、Ｓ１１０７に進む。なお、検索する際には抽出した撮影画像の特徴量と登録済み特徴量とが一致している必要はなく、所定の類似範囲に入っていればよい。
Ｓ１１０３において、ＣＰＵ２０１は、Ｓ１１０２の検索の結果、見つけた特徴量と、携帯端末１００から送信されてきたデータの中の撮影画像から抽出した特徴量と、を照合する。Ｓ１１０４において、ＣＰＵ２０１は、照合の結果に基づき、特徴量同士の一致率を求める。Ｓ１１０５において、ＣＰＵ２０１は、一致率が閾値未満か否かを判定する。ＣＰＵ２０１は、一致率が閾値未満であると判定した場合、Ｓ１１０６に進み、一致率が閾値以上であると判定した場合、Ｓ１１０７に進む。Ｓ１１０６において、ＣＰＵ２０１は、登録画像の更新のタイミングを検知したことを返す。Ｓ１１０７において、ＣＰＵ２０１は、登録画像の更新のタイミングを検知していないことを返す。特徴量同士の一致率は、画像の類似度の一例である。

図１０の説明に戻る。Ｓ１００２において、ＣＰＵ２０１は、登録画像の更新のタイミングを検知したか否かを判定する。ＣＰＵ２０１は、更新タイミング検知処理の結果、登録画像の更新のタイミングを検知したことが返ってきた場合、登録画像の更新のタイミングを検知したと判定し、登録画像の更新のタイミングを検知していないことが返ってきた場合、登録画像の更新のタイミングを検知していないと判定する。ＣＰＵ２０１は、登録画像の更新のタイミングを検知したと判定した場合、Ｓ１００３に進み、登録画像の更新のタイミングを検知していないと判定した場合、Ｓ１００１に戻る。Ｓ１００３において、ＣＰＵ２０１は、撮影場所情報と共に、撮影場所情報に対応して登録されている画像を撮り直す旨を出力する。例えば、ＣＰＵ２０１は、撮影場所情報と共に、撮影場所情報に対応して登録されている画像を撮り直す旨の情報を表示部２０３に表示する。Ｓ１００３の処理は、登録画像の更新のタイミングを出力する処理の一例である。

以上、実施形態２の情報処理システムによれば、登録画像の更新のタイミングを出力することができる。

実施形態２の変形例１を説明する。携帯端末１００は、ビーコン端末が発信するビーコン信号から撮影場所情報を取得せず、撮影場所に設定された所定の端末が送信するＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）から撮影場所情報を取得してもよい。また、携帯端末１００は、屋内であっても、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等からの衛星信号が取得できる場合、ＧＰＳ等から撮影場所を特定し、特定した撮影場所を示す撮影場所情報を取得してもよい。すなわち、ビーコン信号情報等は、撮影場所情報を取得する例であり、携帯端末１００は、撮影場所情報を取得できればどのような手段でもよい。以下の実施形態３でも同様である。

実施形態２の変形例２を説明する。Ｓ１１０４において、ＣＰＵ２０１は、特徴量同士の一致率を求めたが、撮影画像と、撮影場所情報に対応する登録画像との画像同士を比較してもよい。そして、Ｓ１１０５において、ＣＰＵ２０１は、画像同士の比較の結果に基づき、画像同士の類似度が閾値未満か否かを判定してもよい。すなわち、ＣＰＵ２０１が、特徴量の一致率を求め、一致率が閾値未満か否かを判定する処理や、画像同士の類似度を求め、類似度が閾値未満か否かを判定する処理等は、例えば、経年変化により撮影場所のポスターが剥がれたりポスターが色あせたりして、撮影場所の風景等が変化していないかを判定する処理の例である。ＣＰＵ２０１が、撮影場所の風景等が変化したことを検知、又は判定することができればどのような処理であってもよい。以下の実施形態３でも同様である。

実施形態２の変形例３を説明する。変形例３は、撮影場所の風景等が変化したことを検知、又は判定する処理の例である。画像の一致率が閾値未満であった場合、ＣＰＵ２０１は、撮影場所情報と、画像の一致率が閾値未満であった旨の情報と、を関連付けて記憶部２０２に記憶してもよい。ユーザが通るルート及び撮影場所が決まっている場合、ＣＰＵ２０１は、一致率が閾値未満とはならないであろう撮影場所情報を特定できる。ＣＰＵ２０１は、特定した撮影場所情報に基づき、記憶部２０２を検索し、撮影場所情報に対応して、画像の一致率が閾値未満であった旨の情報が記憶されていた場合、撮影場所の風景等が変化したことを検知したとして、登録する画像を撮り直す旨を出力するようにしてもよい。同様に、画像の一致率が閾値以上であった場合、ＣＰＵ２０１は、撮影場所情報と、画像の一致率が閾値以上であった旨の情報と、を関連付けて記憶部２０２に記憶してもよい。ユーザが通るルート及び撮影場所が決まっている場合、ＣＰＵ２０１は、一致率が閾値未満とはならないであろう撮影場所情報を特定できる。ＣＰＵ２０１は、特定した撮影場所情報に基づき、記憶部２０２を検索し、撮影場所情報に対応して、画像の一致率が閾値以上であった旨の情報が記憶されていない場合、撮影場所の風景等が変化したことを検知したとして、登録する画像を撮り直す旨を出力するようにしてもよい。

実施形態２の変形例４を説明する。変形例４は、撮影場所の風景が変更したことを検知、又は判定する処理の例である。画像の一致率が閾値未満であった場合、ＣＰＵ２０１は、撮影場所情報と、画像の一致率が閾値未満であった旨の情報と、を関連付けて記憶部２０２に記憶してもよい。ユーザが通るルート及び撮影場所が決まっている場合、ＣＰＵ２０１は、ユーザが通るルートにおける複数の撮影場所情報のうち、記憶部２０２に画像の一致率が閾値未満であった旨の情報と関連付けて記憶されている撮影場所情報の数をカウントする。そして、ＣＰＵ２０１は、カウントした数を、ユーザが通るルートの複数の撮影場所情報の数で除した値を求め、求めた値が閾値以上となったか否かを判定する。ＣＰＵ２０１は、求めた値が閾値以上となったと判定した場合、撮影場所の風景等が変化したことを検知したとして、登録する画像を撮り直す旨を出力するようにしてもよい。同様に、画像の一致率が閾値以上であった場合、ＣＰＵ２０１は、撮影場所情報と、画像の一致率が閾値以上であった旨の情報と、を関連付けて記憶部２０２に記憶してもよい。ユーザが通るルート及び撮影場所が決まっている場合、ＣＰＵ２０１は、ユーザが通るルートにおける複数の撮影場所情報のうち、記憶部２０２に画像の一致率が閾値以上であった旨の情報と関連付けて記憶されている撮影場所情報の数をカウントする。そして、ＣＰＵ２０１は、カウントした数を、ユーザが通るルートの複数の撮影場所情報の数で除した値を求め、求めた値が閾値未満となったか否かを判定する。ＣＰＵ２０１は、求めた値が閾値未満となったと判定した場合、撮影場所の風景等が変化したことを検知したとして、登録する画像を撮り直す旨を出力するようにしてもよい。

実施形態２の変形例５を説明する。Ｓ１００３において、ＣＰＵ２０１は、撮影場所情報と共に、撮影場所情報に対応して登録されている画像を撮り直す旨を、所定の管理者端末、又は携帯端末１００に送信するようにしてもよい。撮影場所情報と共に、撮影場所情報に対応して登録されている画像を撮り直す旨を受信した、管理者端末、又は携帯端末１００は、自装置の表示部に撮影場所情報と共に、撮影場所情報に対応して登録されている画像を撮り直す旨を表示する。すなわち、表示部２０３と、所定の管理者端末の表示部と、携帯端末１００の表示部とは、撮影場所情報と撮影場所情報に対応して登録されている画像を撮り直す旨とを出力する手段の例であり、撮影場所情報と撮影場所情報に対応して登録されている画像を撮り直す旨とを出力できる手段を備えていればどのようなものでもよい。

＜実施形態３＞
実施形態３では、実施形態１及び実施形態２と異なる点について主に説明する。図１２及び図１３は、登録画像更新処理の一例を示すフローチャートである。ここで、携帯端末１００は、撮影画像をサーバ１２０に送信する際に、ビーコン端末からビーコン信号を受信していた場合、ビーコン信号の情報も共にサーバ１２０に送信する。また、携帯端末１００は、ビーコン信号を受信していない場合、撮影画像のみをサーバ１２０に送信する。Ｓ１２０１において、ＣＰＵ２０１は、携帯端末１００から送信されてきたデータの中に、ビーコン信号情報が含まれているか否かを判定する。ＣＰＵ２０１は、ビーコン信号情報が含まれていると判定した場合、Ｓ１２０２に進み、ビーコン信号情報が含まれていないと判定した場合、Ｓ１３０１に進む。Ｓ１２０２からＳ１２０５までの処理は、実施形態２の図１１のＳ１１０２からＳ１１０５までの処理と同様であるため、説明を省略する。Ｓ１２０５において、ＣＰＵ２０１は、一致率が閾値未満か否かを判定する。ＣＰＵ２０１は、一致率が閾値以上であると判定した場合、Ｓ１２０６に進み、一致率が閾値未満であると判定した場合、Ｓ１２０１に戻る。Ｓ１２０６において、ＣＰＵ２０１は、撮影画像を撮影場所情報に対応する登録画像として追加する。Ｓ１２０６の処理が終了すると、ＣＰＵ２０１は、Ｓ１２０１に戻る。

図１３を説明する。Ｓ１３０１からＳ１３０３までの処理は、実施形態１の図６のＳ６０２からＳ６０４までの処理と同様であるため、説明を省略する。Ｓ１３０４において、ＣＰＵ２０１は、Ｓ１３０３で求めた確率を補正する。ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、前回、ユーザがいると推定した場所に基づき、補正する。より具体的に説明すると、ＣＰＵ２０１は、ユーザがいると推定した場所であっても、屋内の地図情報等に基づき、前回、ユーザがいると推定した場所から物理的に移動が不可能な場合、ユーザがいる確率を低く補正する。また、ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、前回、ユーザがいる場所を推定してからの経過時間に基づき、補正する。より具体的に説明すると、ＣＰＵ２０１は、ユーザがいると推定した場所であっても、前回、ユーザがいる場所を推定してからの経過時間に基づき、前回、ユーザがいると推定した場所から物理的に移動が不可能な場合、ユーザがいる確率を低く補正する。ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、前回、ユーザがいると推定した場所と、前回、ユーザがいる場所を推定してからの経過時間と、に基づき、実施形態２と同様に補正してもよい。

Ｓ１３０５において、ＣＰＵ２０１は、補正した結果、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所の確率が閾値以上か否かを判定する。ＣＰＵ２０１は、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値以上の場合は、Ｓ１３０６に進み、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値未満の場合は、Ｓ１２０１に戻る。Ｓ１３０６において、ＣＰＵ２０１は、撮影画像を、ユーザがいる確率が一番高い撮影場所の登録画像として追加する。

図１４及び図１６は、登録画像更新処理の他の例を示すフローチャートである。Ｓ１４０１からＳ１４０５までの処理は、図１２のＳ１２０１からＳ１２０５までの処理と同様であるため、説明を省略する。Ｓ１４０５において、ＣＰＵ２０１は、一致率が閾値未満か否かを判定する。ＣＰＵ２０１は、一致率が閾値以上であると判定した場合、Ｓ１４０６に進み、一致率が閾値未満であると判定した場合、Ｓ１４０１に戻る。Ｓ１４０６において、ＣＰＵ２０１は、ユーザによって撮影された撮影画像を、撮影場所情報で示される撮影場所に対応させて表示すると共に、この撮影画像を撮影場所情報で示される撮影場所の登録画像として追加するか否かをユーザに確認させる確認画面１５０１を表示部２０３に表示する。図１５は、確認画面１５０１を表示する一例を示す図である。図１５の例では、屋内の撮影場所情報で示される撮影場所として撮影場所（１）で撮影された撮影画像が確認画面１５０１に表示されている。また、確認画面１５０１には、この撮影画像を登録画像として追加する場合に、ユーザが選択するＹＥＳボタン１５０２と、この撮影画像を登録画像として追加しない場合に、ユーザが選択するＮＯボタン１５０３と、が表示されている。Ｓ１４０７において、ＣＰＵ２０１は、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加すると判定すると、Ｓ１４０８に進み、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加しないと判定すると、Ｓ１４０１に戻る。ＣＰＵ２０１は、確認画面１５０１において、ＹＥＳボタン１５０２が選択されると、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加すると判定する。ＣＰＵ２０１は、確認画面１５０１において、ＮＯボタン１５０３が選択されると、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加しないと判定する。Ｓ１４０８において、ＣＰＵ２０１は、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加する。

図１６を説明する。Ｓ１６０１からＳ１６０５までの処理は、Ｓ１３０１からＳ１３０５までの処理と同様であるため、説明を省略する。Ｓ１６０５において、ＣＰＵ２０１は、補正した結果、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所の確率が閾値以上か否かを判定する。ＣＰＵ２０１は、複数の撮影場所のうち、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値以上の場合は、Ｓ１６０６に進み、ユーザがいる確率が一番高い撮影場所のユーザがいる確率が閾値未満の場合は、Ｓ１４０１に戻る。Ｓ１６０６において、ＣＰＵ２０１は、ユーザによって撮影された撮影画像を、ユーザがいる確率が一番高い撮影場所に対応させて表示すると共に、この撮影画像をユーザがいる確率が一番高い撮影場所の登録画像として追加するか否かをユーザに確認させる確認画面１５０１を表示部２０３に表示する。Ｓ１６０７において、ＣＰＵ２０１は、撮影画像をユーザがいる確率が一番高い撮影場所の登録画像として追加すると判定すると、Ｓ１６０８に進み、撮影画像をユーザがいる確率が一番高い撮影場所の登録画像として追加ないと判定すると、Ｓ１４０１に戻る。ＣＰＵ２０１は、確認画面１５０１において、ＹＥＳボタン１５０２が選択されると、撮影画像をユーザがいる確率が一番高い撮影場所の登録画像として追加すると判定する。ＣＰＵ２０１は、確認画面１５０１において、ＮＯボタン１５０３が選択されると、撮影画像をユーザがいる確率が一番高い撮影場所の登録画像として追加しないと判定する。Ｓ１６０８において、ＣＰＵ２０１は、撮影画像を、ユーザがいる確率が一番高い撮影場所の登録画像として追加する。

以上、実施形態３の情報処理システムによれば、ユーザが移動中に撮影した撮影画像で登録画像を更新することができる。

実施形態３の変形例１を説明する。Ｓ１３０４において、ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、ユーザがいると推定した複数の場所の順序性に基づき、補正するようにしてもよい。図８を用いてより具体的に説明すると、ＣＰＵ２０１は、ｔ０の時刻でユーザが撮影場所Ａにいると判定し、ｔ０から時間が進んだ次のｔ１の時刻でユーザが撮影場所Ｇにいると判定し、ｔ１から時間が進んだ次のｔ２の時刻でユーザが撮影場所Ｃにいると判定した場合、屋内の地図情報に基づき、ｔ１のときにいたのは撮影場所Ｂであると修正し、撮影場所Ｇの登録画像として追加した撮影画像を削除し、撮影場所Ｂの登録画像として撮影画像を追加する。

実施形態３の変形例２を説明する。Ｓ１３０４において、ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、撮影場所情報から判断できる撮影場所からの移動距離に基づき、補正するようにしてもよい。より具体的には、ＣＰＵ２０１は、ビーコン端末が発信するビーコン信号等から取得した撮影場所情報から判断できる撮影場所からＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ）技術を用いて、撮影場所からの移動距離を取得するようにしてもよい。そして、ＣＰＵ２０１は、Ｓ１３０３で求めた各撮影場所にいる確率を、撮影場所情報から判断できる撮影場所からの移動距離に基づき、補正する。

実施形態３の変形例３を説明する。Ｓ１４０６において、ＣＰＵ２０１は、確認画面１５０１を表示部２０３に表示したが、これに限られない。ＣＰＵ２０１は、確認画面１５０１を所定の管理者端末に送信、又は携帯端末１００に送信してもよい。確認画面１５０１を受信した、所定の管理者端末、又は携帯端末１００は、確認画面１５０１を各々の端末に表示し、ユーザによってＹＥＳボタン１５０２が選択されたか、ＮＯボタン１５０３が選択されたかの情報をサーバ１２０に送信する。ＣＰＵ２０１は、所定の管理者端末、又は携帯端末１００から受信した情報に基づき、撮影画像を撮影場所情報で示される撮影場所の登録画像として追加するか否かを判定するようにしてもよい。また、問い合わせの手段は、確認画面１５０１に限られない。サーバ１２０が音声出力部を有していれば、ＣＰＵ２０１は、音声出力部を介して、音声によって、撮影画像を該当する撮影場所の登録画像として追加するか否か、問い合わせてもよい。すなわち、問い合わせは、ユーザがいると推定された場所の登録画像として、撮影画像を追加するかを問い合わせできればどのようなものであってもよい。同様に、ＹＥＳ、ＮＯの選択も、ボタンに限られない。サーバ１２０が音声入力部を有していれば、ＣＰＵ２０１は、音声入力部を介して入力された選択に係る音声に基づいて、ＹＥＳなのか、ＮＯなのかを判定するようにしてもよい。すなわち、ＹＥＳ、ＮＯの選択は、ユーザがいると推定された場所の登録画像として、撮影画像を追加するか否か、どちらが選択されたか判別できるものであればどのようなものであってもよい。Ｓ１６０６の確認画面表示においても同様である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、任意の実施形態及び変形例を任意に組み合わせて実施してもよい。

１００ 携帯端末
１１０ ネットワーク
１２０ サーバ
２０１ ＣＰＵ
２０２ 記憶部

Claims (10)

1. ユーザによって撮影された撮影画像から特徴量を抽出する抽出手段と、
   複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する検索手段と、
   前記検索手段による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定手段と、
   を有する情報処理システム。
2. 前記推定手段による推定の結果を出力する出力手段を更に有する請求項１に記載の情報処理システム。
3. 前記推定手段は、前記検索手段による検索の結果から、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定する請求項１又は２に記載の情報処理システム。
4. 前記推定手段は、前記検索手段による検索の結果と、直前に前記ユーザがいる場所を推定してからの経過時間と、に基づき、前記複数の場所のうち前記ユーザがいる場所を推定する請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記検索手段は、インデックス化された前記複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記抽出手段は、ユーザによって撮影された屋内の撮影画像から特徴量を抽出し、
   前記検索手段は、屋内の複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する請求項１乃至５のいずれか１項に記載の情報処理システム。
7. ユーザによって撮影された撮影画像から特徴量を抽出する抽出手段と、
   屋内の複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する検索手段と、
   前記検索手段による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定手段と、
   を有する情報処理装置。
8. ユーザによって撮影された撮影画像から特徴量を抽出する抽出工程と、
   屋内の複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出工程により抽出された特徴量に類似する特徴量を検索する検索工程と、
   前記検索工程による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定工程と、
   を含む情報処理方法。
9. コンピュータを、
   ユーザによって撮影された撮影画像から特徴量を抽出する抽出手段と、
   複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前
   記抽出手段により抽出された特徴量に類似する特徴量を検索する検索手段と、
   前記検索手段による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定手段と、
   して機能させるためのプログラム。
10. コンピュータを、
    ユーザによって撮影された撮影画像から特徴量を抽出する抽出手段と、
    複数の場所のそれぞれで撮影された複数の撮影画像から抽出された複数の特徴量から前記抽出手段により抽出された特徴量に類似する特徴量を検索する検索手段と、
    前記検索手段による検索の結果に基づき、前記複数の場所のそれぞれに前記ユーザがいる確率を求め、確率が閾値以上の場所を前記ユーザがいる場所と推定し、且つ、当該推定した場所が直前にユーザがいたと推定した場所との位置関係から物理的に移動が不可能な場合、前記ユーザがいる場所と推定した場所に前記ユーザがいる確率を低くする補正をして前記複数の場所のうち前記ユーザがいる場所を推定する推定手段と、
    して機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images