JP6890103B2 - 測位システム、測位方法、およびプログラム - Google Patents

Description

本発明は、測位システム、測位方法、およびプログラムに係り、特に、屋内において移動端末を測位するための測位システム、測位方法、およびプログラムに関する。

従来より、ＧＰＳに代表される端末装置の位置を計測する技術が広く用いられている。また、屋内での端末装置の位置計測に対するニーズも存在する。

このニーズに対応する技術として、一定間隔で電波や音波または光信号を発信するビーコン装置からの信号を、位置計測を行う端末装置で受信し、その信号強度や到達時間から受信装置の位置を計測する技術や、インターネット通信に利用されている無線ＬＡＮ基地局の電波を流用することで専用の電波ビーコン装置の設置を不要とする技術、端末装置がビーコン信号を発信し、既知の場所に設置された単数または複数のアンテナ・マイク・カメラ等で該信号を受信することで端末装置の位置を計測する技術等が存在する。

また、ビーコン信号ではなく画像を利用する方法として、位置を測定する端末装置で撮影した風景写真と、既知の場所から撮影した風景写真との幾何学的関係を算出することによって端末装置の位置を推定する技術が存在する（非特許文献１）。

また、風景写真との幾何学的関係の算出にかかわる処理を簡易化するために測位を行う範囲にマーカーを設置する方法も存在する（非特許文献２）。

「ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定」、特定非営利活動法人 日本バーチャルリアリティ学会、日本バーチャルリアリティ学会論文誌 13(2) , 2008, 161-170. "Structured Visual Markers for Indoors Pathfinding", KALKUSCH M, Proc. of the First IEEE International Augmanted Reality Toolkit Workshop (ART02), Darmstadt, Germany, 2002.

しかし、ビーコン装置を利用する技術においては、ビーコン装置の設置及び運用にコストがかかり、ビーコン装置の設置場所も必要になる、という問題があった。

また、端末装置からビーコン信号を発信する技術においては、アンテナ・マイク・カメラ等の受信側設備の設置および運用にコストがかかる、という問題があった。

また、インターネット通信に利用されている無線ＬＡＮ基地局の電波を流用することで専用の電波ビーコン装置の設置を不要とする技術においては、ビーコン装置の設置および運用コストを必要としないが、測位を目的として設計・設置されたのではない無線ＬＡＮ基地局からの信号は、屋内測位に適切な信号強度分布を形成できず、高精度な測位を実現することが困難である、という問題があった。

また、画像を利用する技術においても、マーカーを設置する方式では、マーカーの設置にコストがかかり、また、マーカーの設置がそぐわない場所も存在する、という問題があった。

端末装置で撮影した風景写真と、既知の場所から撮影した風景写真との幾何学的関係を算出することによって端末装置の位置を推定する技術では、上記の技術に伴う課題は解消されている。

しかし、システムとして実装する場合には端末装置で写真を撮影する必要があり、歩行者向けの屋内測位への適応のためには眼鏡型カメラ等の一般的でないウェアラブルデバイスが必要となる、という問題があった。

また、眼鏡型カメラ等の一般的でないウェアラブルデバイスを利用せずに、一般的に普及しているカメラを備えたスマートフォンやカメラ付携帯電話端末を利用するシステムも想定できる。

このようなシステムを実現しようとする場合、当業者は、端末装置のユーザがカメラを構えて撮影した風景写真、屋内写真、又はこれらの写真から抽出した特徴データ等を用いて、非特許文献１に記載の様に、あらかじめ作成された位置参照用データベースを参照し、なんらかの幾何学計算処理を行って端末装置の位置を推定する方法を想到し得る。

しかし、このような方法では、端末装置のユーザが能動的に端末装置を撮影に適した姿勢に構えて撮影を行う必要があるため、ユーザにとっての簡便性に欠ける、という問題がある。

また、カメラの位置および姿勢を算出する幾何学計算は処理負荷の大きい処理であり、計算能力に限りのある携帯端末上で行うのに向かない、という問題がある。当該処理を端末装置と通信回線で接続されたサーバ装置で行うこともできるが、多数のユーザからの処理がサーバ装置に集中するシステム構成においては、サーバ装置で行う計算処理も処理負荷が大きいことは好ましくない。

本発明は上記の点に鑑みてなされたものであり、ユーザが存在する位置を簡便かつ高速に推定することができる測位システム、測位方法、およびプログラムを提供することを目的とする。

本発明に係る測位システムは、ユーザが存在する位置を推定する測位システムであって、天井の画像を取得する天井画像取得部と、前記取得された前記天井の画像を用いて、前記天井が存在する位置を、前記ユーザが存在する位置として推定する推定部と、を含み、前記天井の画像は、前記ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、前記ユーザが使用する際に天井を向く面にカメラを有する前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に前記カメラにより撮影されたものである。

また、本発明に係る測位方法は、ユーザが存在する位置を推定する測位システムにおける測位方法であって、前記ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、前記ユーザが使用する際に天井を向く面にカメラを有する前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に、前記カメラにより天井の画像を撮影し、天井画像取得部が、前記移動端末で撮影した前記天井の画像を取得し、推定部が、前記取得された前記天井の画像を用いて、前記天井が存在する位置を、前記ユーザが存在する位置として推定する。

本発明に係る測位システム及び測位方法によれば、ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、当該ユーザが使用する際に天井を向く面にカメラを有する当該移動端末が当該ユーザにより使用されるために手で把持されたことを検出した場合に、当該カメラにより天井の画像を撮影する。

そして、天井画像取得部が、当該移動端末で撮影した当該天井の画像を取得し、推定部が、取得された当該天井の画像を用いて、当該天井が存在する位置を、当該ユーザが存在する位置として推定する。

このように、ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、当該ユーザが使用する際に天井を向く面にカメラを有する当該移動端末が当該ユーザにより使用されるために手で把持されたことを検出した場合に、当該カメラにより天井の画像を撮影して取得された当該天井の画像を用いて、当該天井が存在する位置を、当該ユーザが存在する位置として推定することにより、ユーザが存在する位置を簡便かつ高速に推定することができる。

また、本発明に係る測位システムは、前記天井の画像の特徴量を抽出する特徴抽出部と、所定の空間を分割した複数の小領域の各々について、前記小領域に対応する天井の画像の特徴量と、前記小領域の前記空間における位置とを格納する特徴記憶部と、を更に含み、前記推定部は、前記取得された前記天井の画像の特徴量と、前記複数の小領域の各々に対応する天井の画像の特徴量とを比較することにより、前記天井が存在する位置を推定し、推定された前記位置を前記ユーザが存在する位置とすることができる。

また、本発明に係る測位システムは、時系列で前記取得された前記天井の画像と、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域との組み合わせに基づいて、時系列で前記取得された前記天井の画像のうち、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域の前記天井の画像との類似度が、予め定めた値より低い前記天井の画像の特徴量を、前記特徴記憶部に格納される、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域の前記天井の画像の特徴量として更新する特徴更新部と、を更に含むことができる。

また、本発明に係る測位システムに係る前記複数の小領域は、隣接する小領域同士が部分的に重複するように前記所定の空間を分割して得られるようにすることができる。

また、本発明に係る測位システムの前記推定部は、更に、前記天井の画像が撮影された際の撮影方向と前記天井との角度、及び前記天井の高さを用いて、推定した前記ユーザが存在する位置の補正を行うことができる。

また、本発明に係る測位システムの前記天井画像取得部は、前記天井の画像と共に床の画像を取得し、前記推定部は、前記天井の画像及び前記床の画像を用いて、前記天井及び前記床が存在する位置を、前記ユーザが存在する位置として推定し、前記床の画像は、前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に、前記移動端末の床を向く面に有するカメラにより撮影されたものであるとすることができる。

本発明に係るプログラムは、上記の測位システムの各部として機能させるためのプログラムである。

本発明の測位システム、測位方法、およびプログラムによれば、ユーザが存在する位置を簡便かつ高速に推定することができる。

本発明の実施の形態に係る測位システム１０の構成を示す概略図である。 本発明の実施の形態に係る移動端末１００及び測位装置２００の構成を示すブロック図である。 本発明の実施の形態に係る天井の画像を切り取った例を示す図である。 本発明の実施の形態に係る天井の画像の局所特徴の抽出の例を示すイメージ図である。 本発明の実施の形態に係る屋内地図を複数の小領域に分割した例を示すイメージ図である。 本発明の実施の形態に係るユーザが移動した小領域の例を示すイメージ図である。 本発明の実施の形態に係る移動端末１００の位置推定処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る測位装置２００の測位処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る人の顔が写り込んだ場合の例を示すイメージ図ある。 本発明の実施の形態に係る屋内地図を重複する複数の小領域に分割した例を示すイメージ図である。

以下、本発明の実施の形態について図面を用いて説明する。

＜本発明の実施の形態に係る測位システムの原理＞
まず、本発明の実施形態の原理について説明する。

本実施形態では、ユーザが少なくとも一方の手で把持するスマートフォンやタブレット端末等の移動端末のカメラにより撮影された天井の写真と、予め取得した天井の画像と、からユーザの位置の推定を行う。

また、本実施形態では、ユーザが測位をするためのアクションを行うことなく、移動端末を取り出して使用する際に自然に行う動作を利用して測位を行うために、当該動作を行う際に取得できる天井の画像を利用する。

ここで、画像等のコンテンツ全体の特徴である「大域特徴」に対して、コンテンツの一部分の特徴を「局所特徴」と呼ぶ。大域特徴の例としては画像の色ヒストグラムやＦＦＴによる周波数特徴などの特徴量がある。また、画像の局所特徴であり、離散的な画素の集合であるデジタル画像において、画像を特徴づける「特徴点」と、その特徴点を含む画像の一部分の画素集合から抽出される「局所特徴量」を合わせて「画像局所特徴」と呼ぶ。「特徴点」とは、画像を特徴づける画像局所特徴を構成する画素である。

また、ある画像に含まれる全ての「大域特徴」および「画像局所特徴」の集合を、該画像の「画像特徴」と呼ぶ。本実施形態においては「大域特徴」は利用しないため「画像局所特徴」の集合が「画像特徴」である。

また、「特徴量」は、コンテンツの特徴を距離演算可能な表現型とした多次元ベクトルであり、「局所特徴量」は、コンテンツ（画像）の一部分の特徴を距離演算可能な表現型とした多次元ベクトルのことである。画像局所特徴においては一般に特徴点を中心とした一定数の画素から抽出される多次元ベクトルが局所特徴量である。

図３のように、カメラを天井に向けて歩いて撮影した動画から静止画を切り出すと、各天井の画像からは、画像局所特徴を抽出することが可能である。例えば、図４は、駅構内における天井の画像の例である。

図４のように、回転や拡大縮小、明度変化にロバストな局所特徴を抽出することができる。本実施形態では、これらの天井の画像から抽出される局所特徴を、位置情報と紐付けて予め格納したデータベースを予め用意しておく。

そして、移動端末から送られる天井の画像をクエリとして、当該天井の画像の局所特徴量が類似する天井の画像検索を、上記データベースを用いて行う。

また、本実施形態では、無線ＬＡＮやＢＬＥビーコン等の設置を行う必要が無い。

また、進行方向の写真を使う場合には特徴点（又は特徴平面）の３次元位置幾何学計算の処理が重く時間がかかるが、天井の写真であれば、撮影位置を最類似写真位置とみなすことができる。

このため、本実施形態によれば、ユーザが存在する位置を簡便かつ高速に推定することができる。

＜本発明の実施の形態に係る測位システムの構成＞
図１を参照して、本発明の実施の形態に係る測位システム１０の構成について説明する。図１は、本発明の実施の形態に係る測位システム１０の構成を示す概略図である。

測位システム１０は、移動端末１００と、測位装置２００と、基地局３００とを備え、移動端末１００と、測位装置２００とは、インターネット等のネットワーク４００で接続されている。

基地局３００は、移動端末１００と、任意の無線通信規格により実現される無線通信により接続されている。例えば、基地局３００は、無線ＬＡＮ規格におけるアクセスポイント、ＬＴＥにおけるｅＮｏｄｅＢ等の無線通信における基地局である。

移動端末１００は、ユーザが使用する際に少なくとも一方の手で把持され、ＣＰＵと、ＲＡＭと、後述する位置推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図２に示すように、移動端末１００は、センサ１１０と、画像取得部１２０と、カメラ１３０と、通信部１４０と、エリア取得部１５０と、出力部１６０とを備えて構成される。また、移動端末１００は、ユーザが使用する際に天井を向く表示面にカメラ１３０を有する。

センサ１１０は、移動端末１００の姿勢を検出するためのセンサである。

具体的には、センサ１１０は、移動端末１００の姿勢に関するセンサ情報を取得する重力センサや、加速度センサ等であり、取得したセンサ情報をセンサ取得部１２１に渡す。

画像取得部１２０は、天井の画像を取得する。

具体的には、画像取得部１２０は、センサ取得部１２１と、把持検出部１２２と、撮影制御部１２３とを備えて構成される。

センサ取得部１２１は、センサ１１０により得られたセンサ情報を定期的に取得し、取得したセンサ情報を把持検出部１２２に渡す。

把持検出部１２２は、移動端末１００がユーザにより使用されるために手で把持されたことを検出する。

具体的には、把持検出部１２２は、まず、移動端末１００がユーザによるアプリケーション等の操作が可能な起動状態にあるか、スリープ等の休止状態にあるかの情報を移動端末１００から取得する。これは、移動端末１００を把持するユーザが手を動かした結果得られた情報を用いて測位を行うために、ユーザが移動端末１００を使用中であるか否かを判断する必要があるからである。要は、ユーザは測位を行うために必要となるデータを取得するための動作も、測位を行うという動作も行うことなく、ユーザが移動端末の測位を目的とせず普通に使用するだけで、測位を完了させるためである。

そして、把持検出部１２２は、移動端末１００が起動状態にある場合に、センサ情報に基づいて、移動端末１００のカメラ１３０を有する表示面が天井を向いているか否かを検出する。

より具体的には、把持検出部１２２は、３軸加速度センサないし重力センサの出力情報から得られる重力加速度のベクトル方向に基づいて得られる移動端末１００のカメラ１３０を有する表示面の法線方向が、カメラ１３０が天井の画像特徴を抽出することができる程度の、直上方向を含む予め定めた範囲に含まれる場合に、移動端末１００の表示面が天井を向いていることを検出する。

これにより、カメラ１３０の撮影方向が直上方向に近いことを検出できれば、より天井を広く撮影することができるため、より精度よく位置推定を行うことができる。

なお、把持検出部１２２は複数回の方向検出を繰り返して、移動端末１００のカメラ１３０を有する表示面の法線方向と直上方向とのなす角が所定の値よりも小さい場合に、天井を向いていることを検出する構成としてもよい。

把持検出部１２２は、移動端末１００が起動状態にあり、かつ、移動端末１００のカメラ１３０を有する表示面が天井を向いている場合に、移動端末１００がユーザにより使用されるために手で把持されたことを検出する。一方、それ以外の場合には、移動端末１００がユーザにより使用されるために手で把持されたことを検出しない。なお、把持状態が継続する場合には、測位を更新するために、一定時間ごとに撮影制御部１２３に撮影指示を渡すことが好ましい。

そして、把持検出部１２２は、検出結果を撮影制御部１２３に渡す。

撮影制御部１２３は、把持検出部１２２により得られた検出結果が、移動端末１００がユーザにより使用されるために手で把持されたことを検出したことを示す場合に、カメラ１３０に対して撮影指示を送り、カメラ１３０により撮影された天井の画像を取得する。

そして、取得した天井の画像を、通信部１４０に渡す。

カメラ１３０は、撮影制御部１２３から撮影指示を受けると、天井を撮影する。そして、カメラ１３０は、撮影した天井の画像を、撮影制御部１２３に渡す。

通信部１４０は、撮影制御部１２３により得られた天井の画像と、エリア取得部１５０から受け取ったエリア情報とを、測位装置２００に送信する。

また、エリア取得部１５０は、移動端末が有する通信機能に用いられる電波等を利用して大まかなエリアを絞り込んでもいい。

出力部１６０は、通信部１４０が受信した測位結果に含まれるユーザの位置を出力する。

例えば、出力部１６０は、移動端末１００の表示面のディスプレイに表示された地図に、現在の位置としてマークを付ける、位置座標を表示する等の方法により、ユーザの現在の位置を表示する。

測位装置２００は、ＣＰＵと、ＲＡＭと、後述する測位処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図２に示すように、測位装置２００は、通信部２１０と、天井画像取得部２２０と、特徴抽出部２３０と、推定部２４０と、特徴記憶部２５０と、履歴記憶部２６０と、時系列判定部２７０と、特徴更新部２８０とを備えて構成される。

通信部２１０は、移動端末１００から、天井の画像と、エリア情報とを受信する。そして、通信部２１０は、受信した天井の画像と、エリア情報とを、天井画像取得部２２０に渡す。

また、通信部２１０は、推定部２４０により得られた測位結果を、移動端末１００に送信する。

天井画像取得部２２０は、通信部２１０から、天井の画像と、エリア情報とを取得する。ここで、天井の画像は、ユーザが使用する際に少なくとも一方の手で把持される移動端末１００であって、かつ、当該ユーザが使用する際に天井を向く面にカメラ１３０を有する当該移動端末１００が当該ユーザにより使用されるために手で把持されたことを検出した場合に当該カメラ１３０により撮影されたものである。

そして、天井画像取得部２２０は、天井の画像を特徴抽出部２３０に、エリア情報を推定部２４０に渡す。

特徴抽出部２３０は、天井の画像の局所特徴を抽出する。

具体的には、特徴抽出部２３０は、天井画像取得部２２０により得られた天井の画像から、ＳＩＦＴ（参考文献１）等の技術を用いて局所特徴を抽出する。ＳＩＦＴに限定されるものではなく、これに続けて数多く実用化されている撮影条件の変化に対して頑強な局所特徴であればなんでもよい。
［参考文献１］Distinctive Image Features from Scale-Invariant Keypoints LOWE David G. IJCV, 2004, 91-110.

そして、特徴抽出部２３０は、天井の画像から抽出した局所特徴を、推定部２４０及び履歴記憶部２６０に渡す。

特徴記憶部２５０は、移動端末１００の特徴抽出部２３０で抽出した単数または複数の局所特徴をキーとした類似検索を行う対象として、予め撮影した天井の写真群から、予め抽出した局所特徴群と、それぞれの局所特徴の抽出元となった天井の写真を含む小領域を特定できる情報とを格納する。

具体的には、まず、予め撮影した屋内の複数の天井の写真の各々から、局所特徴を抽出して、局所特徴の集合を求めると共に、局所特徴の集合に含まれる局所特徴の各々について、当該局所特徴が抽出された天井の画像の撮影位置とを紐付ける。

ここで、撮影位置の情報としては、既知の座標を基準としてローラー距離計等により撮影場所を特定した情報、基準点から一定速度で移動しながら天井に向けた動画を撮影し、当該動画から静止画像を抽出し、速度に基づいて算出した撮影位置の情報等、簡易的な方法で与えられるものでよい。

また、撮影場所間のトポロジー的位置関係が正しければ絶対座標が厳密に正しくない撮影位置の情報の付与であってもかまわない。

次に、所定の空間、例えば、図５に示すように、屋内地図を、複数の小領域に分割（図５の右下）し、局所特徴の集合に含まれる局所特徴の各々について、当該局所特徴が抽出された天井の画像の撮影位置に対応する小領域を紐付けたインデックスを特徴記憶部２５０に格納する。

ここで、１つの小領域に対して、複数の局所特徴が紐付けられていてもよい。

本実施の形態では、特徴記憶部２５０は、エリア毎に、局所特徴の集合に含まれる局所特徴の各々について、当該エリアの屋内地図を分割した複数の小領域のうち、当該局所特徴が抽出された天井の画像の撮影位置に対応する小領域を紐付けたインデックスを格納する。

また、インデックスを作成した時点で局所特徴の少ない小領域や類似検索で混同しやすい小領域を抽出することができるので、その天井にマーカー画像等を設置する運用方法も採用することができる。ここで、局所特徴の少ない小領域として、局所特徴点の数が一定以下の小領域を抽出すればよい。また、類似検索で混同しやすい小領域については、全ての特徴点をその特徴量に基づいてクラスタ分類し、小領域毎に、小領域に紐付けられた局所特徴から、クラスタ頻度ベクトルを作成し、小領域のペアについて、クラスタ頻度ベクトル間の距離を計算することにより抽出することができる。

また、特徴記憶部２５０に、局所特徴の集合について、局所特徴をリーフとするＫ−Ｍｅａｎｓ木インデックスが格納されていてもよい。

このインデックスは、局所特徴の最類似検索を高速に行うことを目的とするものである。なお、Ｋ−Ｍｅａｎｓ木以外のＫＤ木等、他のインデックス構造であってもよい。

推定部２４０は、取得された天井の画像の局所特徴と、複数の小領域の各々に対応する天井の画像の局所特徴とを比較することにより、当該天井が存在する位置を推定し、推定された位置をユーザが存在する位置とする。

具体的には、推定部２４０は、まず、天井画像取得部２２０により得られたエリア情報に基づいて、当該移動端末１００の存在するエリアを絞り込む。

エリア情報には、基地局３００の位置を示す情報と、無線通信の通信方法とが含まれているため、推定部２４０は、基地局３００の位置を中心として、無線通信の通信方法により定まる基地局３００から伝送距離を半径とした円に含まれるエリアを、絞り込むエリアとする。当該半径は、例えば、無線通信規格の１つであるＩＥＥＥ８０２．１１ｎでは２５０ｍ、基地局３００がフェムトセル基地局であれば２００ｍ等というように決定する。

次に、推定部２４０は、取得された天井の画像から抽出される単数または複数の局所特徴の各々について、特徴記憶部２５０に格納された局所特徴の集合のうち、当該局所特徴とそれぞれの特徴量の類似度が最も高い局所特徴を求める。

ここで、類似度は、例えば、利用する局所特徴量に応じて多次元ユークリッド距離やハミング距離等を用いる。

そして、推定部２４０は、取得された天井の画像から抽出される局所特徴の各々について、最も類似度の高い局所特徴に紐付けて特徴記憶部２５０に格納された当該エリアの小領域を取得し、小領域毎に、取得された天井の画像から抽出される局所特徴と最も類似度の高い局所特徴の数をカウントし、カウント数が最も高い小領域の位置を、ユーザが存在する位置として推定する。なお、最も類似度の高い局所特徴の数が、小領域に対応する天井の画像との類似度となる。

推定部２４０は、推定したユーザが存在する位置を推定結果として、通信部２１０及び履歴記憶部２６０に渡す。

履歴記憶部２６０は、推定部２４０により推定されたユーザが存在する位置に対応する小領域と、特徴抽出部２３０が抽出した当該ユーザが存在する位置における天井の画像から抽出された局所特徴とを紐付けて格納する。また、履歴記憶部２６０は、推定部２４０によりユーザが存在する位置を推定する際に得られた、ユーザが存在する位置の小領域に対応する天井の画像との類似度を格納する。

時系列判定部２７０は、履歴記憶部２６０に格納されている複数の天井の画像の局所特徴が、時系列で格納されているか否かを判定する。

具体的には、時系列判定部２７０は、履歴記憶部２６０に格納されている、ユーザが存在する位置に対応する小領域について、それぞれの小領域が隣接している場合に、隣接している小領域に対応する局所特徴が時系列で格納されていると判定する。

時系列判定部２７０は、更に、時系列で格納されている、隣接している小領域に基づいて、図６に示すように、ユーザが移動する小領域を抽出する。

そして、時系列判定部２７０は、判定結果を特徴更新部２８０に渡す。

特徴更新部２８０は、時系列で取得された天井の画像と、推定部２４０により推定された移動端末１００の位置との組み合わせに基づいて、時系列で取得された天井の画像のうち、推定部２４０により推定された移動端末１００の位置に対応する小領域の天井の画像との類似度が、予め定めた値より低い天井の画像の局所特徴を、推定部２４０により推定された移動端末１００の位置に対応する天井の画像の局所特徴として更新する。

具体的には、特徴更新部２８０は、時系列判定部２７０により得られた判定結果に基づき、時系列で取得された複数の天井の画像について、推定部２４０によりユーザが存在する位置を推定する際に得られた、小領域に対応する天井の画像との類似度を、履歴記憶部２６０から取得する。

次に、特徴更新部２８０は、取得された類似度が予め定めた値よりも低い場合に、当該天井の位置に対応する特徴記憶部２５０に格納された小領域に対応する天井の画像の局所特徴を、取得された当該天井の画像の局所特徴に更新する。

つまり、ある小領域の位置を、ユーザが存在する位置として推定したときに取得された天井の画像について、特徴記憶部２５０に格納された、当該小領域に対応する天井の画像との類似度が予め定めた値よりも低い場合、取得された天井の画像の局所特徴と、当該天井の位置に対応する特徴記憶部２５０に格納された小領域に対応する天井の画像の局所特徴とが類似していないため、特徴記憶部２５０に格納された天井の画像の局所特徴が正確でない可能性が高い。

そこで、当該小領域の位置を、ユーザが存在する位置として推定したときに取得された天井の画像の局所特徴で更新する。

ここで、特徴更新部２８０による更新処理は、履歴記憶部２６０に局所特徴と位置とが一定数以上蓄積された場合や、所定の時間が経過する毎に開始される。

すなわち、屋内における天井が、改装、イベント等により変化があった場合でも、ユーザにより変化があった天井が撮影されれば、自動的に特徴記憶部２５０の情報を更新することができる。

なお、人手により更新処理が開始されることも可能である。

＜本発明の実施の形態に係る測位システムの作用＞
図７は、本発明の実施の形態に係る測位システム１０における移動端末１００の位置推定処理ルーチンを示すフローチャートである。

センサ取得部１２１にセンサ情報が入力されると、移動端末１００において、図７に示す位置推定処理ルーチンが実行される。

まず、ステップＳ１００において、エリア取得部１５０が、通信部１４０により取得した信号から、基地局３００のＩＤ、エリアＩＤ等の基地局３００の位置を示すエリア情報を取得する。

ステップＳ１１０において、センサ取得部１２１は、センサ１１０により得られたセンサ情報を取得する。

ステップＳ１２０において、把持検出部１２２は、移動端末１００の起動状態と、センサ情報とに基づいて、移動端末１００がユーザにより使用されるために手で把持されたことの検出を行う。

ステップＳ１３０において、把持検出部１２２は、上記ステップＳ１２０において、移動端末１００がユーザにより使用されるために手で把持されたことが検出された否かを判定する。

移動端末１００がユーザにより使用されるために手で把持されたことを検出しなかった場合（ステップＳ１３０のＮＯ）、ステップＳ１１０に戻る。

一方、移動端末１００がユーザにより使用されるために手で把持されたことを検出した場合（ステップＳ１３０のＹＥＳ）、ステップＳ１４０において、撮影制御部１２３は、カメラ１３０に対して撮影指示を送り、カメラ１３０により撮影された天井の画像を取得する。

ステップＳ１５０において、通信部１４０は、撮影制御部１２３により得られた天井の画像と、エリア取得部１５０から受け取ったエリア情報とを、測位装置２００に送信する。

ステップＳ１６０において、通信部１４０は、測位装置２００から、ユーザの位置を含む測位結果を受信する。

ステップＳ１７０において、出力部１６０は、通信部１４０が受信した測位結果に含まれるユーザの位置を出力する。

図８は、本発明の実施の形態に係る測位システム１０における測位装置２００の測位処理ルーチンを示すフローチャートである。

通信部２１０に天井の画像が受信されると、測位装置２００において、図８に示す測位処理ルーチンが実行される。

まず、ステップＳ２００において、天井画像取得部２２０は、通信部２１０から、天井の画像と、エリア情報とを取得する。

ステップＳ２１０において、特徴抽出部２３０は、天井の画像の単数または複数の特徴点とその局所特徴からなる局所特徴を抽出する。

ステップＳ２２０において、推定部２４０は、抽出された天井の画像の単数または複数の局所特徴の各々と、取得したエリア情報に対応して特徴記憶部２５０に格納された、複数の小領域の各々に対応する天井の画像の局所特徴とを、それぞれの特徴量同士で比較することにより、最も類似する局所特徴が含まれる小領域をそれぞれ検出し、天井の画像の単数または複数の局所特徴に最も類似する局所特徴を最も多く含んだ小領域を得る。

ステップＳ２３０において、推定部２４０は、上記ステップＳ２２０により得られた最も類似する局所特徴を最も多く含んだ小領域を、取得された天井の位置として推定し、推定された位置をユーザが存在する位置とする。

ステップＳ２４０において、通信部２１０は、上記ステップＳ２３０により得られた測位結果を、移動端末１００に送信する。

ステップＳ２５０において、測位装置２００は、推定部２４０により推定されたユーザが存在する位置である小領域と、特徴抽出部２３０が抽出した天井の画像の局所特徴とを紐付けて履歴記憶部２６０に格納する。

ステップＳ２６０において、時系列判定部２７０は、履歴記憶部２６０に格納されている複数の天井の画像の局所特徴が、時系列で格納されているか否かを判定する。

時系列で格納されている場合（ステップＳ２６０のＹＥＳ）、ステップＳ２７０において、特徴更新部２８０は、時系列で取得された複数の天井の画像について、推定部２４０によりユーザが存在する位置を推定する際に得られた、小領域に対応する天井の画像との類似度を、履歴記憶部２６０から取得する。

ステップＳ２８０において、特徴更新部２８０は、上記ステップＳ２７０により時系列で取得された天井の画像と、推定部２４０により推定されたユーザが存在する位置である小領域との組み合わせに基づいて、時系列で取得された天井の画像のうち、推定部２４０により推定されたユーザが存在する位置に対応する小領域の天井の画像との類似度が、予め定めた値より低い天井の画像の局所特徴を、特徴記憶部２５０に格納される、推定部２４０により推定されたユーザが存在する位置に対応する小領域の天井の画像の局所特徴として更新し、処理を終了する。

一方、更新処理を開始する必要が無い場合（ステップＳ２６０のＮＯ）、処理を終了する。

以上説明したように、本発明の実施形態に係る測位装置によれば、ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、当該ユーザが使用する際に天井を向く面にカメラを有する当該移動端末が当該ユーザにより使用されるために手で把持されたことを検出した場合に、当該カメラにより天井の画像を撮影して取得された当該天井の画像を用いて、当該天井が存在する位置を、当該ユーザが存在する位置として推定することにより、ユーザが存在する位置を簡便かつ高速に推定することができる。

また、スマートフォンやタブレット端末等の移動端末を自然な姿勢で利用する際に、動画通信やユーザ自身を撮影する、いわゆる自撮りを目的として移動端末の画面側に備えられているカメラによって写真を撮影することで、画像を用いた測位に必要な写真を、ユーザが能動的に写真を撮影するという負担なしに取得することができる。

また、天井の写真はユーザに対して平面座標上同一の位置情報を持つため、従来の画像による測位技術で撮影した画像の局所特徴の三次元座標上の位置を幾何学的に計算してカメラの位置および向きを算出するという負荷の高い幾何学的計算を行わず、高速な処理によって、ユーザが存在する位置を推定することができる。

また、天井の写真から画像局所特徴を抽出し、利用することで、マーカー等の設置も必要としないため、低コストにユーザが存在する位置を推定することができる。

また、移動端末が一般に具備している重力センサ又は加速度センサを利用することにより、カメラの向きが直上に近い範囲での写真撮影を確実にし、移動端末の傾きによる測位のズレを減少させることができるため、ユーザが存在する位置を精度良く推定することができる。

また、予め撮影した複数の天井の画像を、小領域に集約することで、位置の推定における検索の適合率を高めると共に、検索処理負荷を低減させることができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述の実施形態においては、移動端末１００と測位装置２００とを含む測位システムとして記載したが、測位装置２００の各部を移動端末に備える構成としても良い。この場合、エリア情報が変わる度に、サーバから特徴記憶部の情報を取得する構成としてもよい。

また、測位装置の各部を基地局に備える構成としてもよい。移動端末と接続している基地局が自己のエリアについて特徴記憶部を有していれば、公衆ネットワークを介することも無いので、高速に測位処理を行うことができる。また、ハンドオーバが行われても、スムーズに測位を行うことができる。

また、上述の実施形態では、撮影制御部１２３は、一定時間毎にカメラ１３０から画像を取得しておき、把持が検出されたタイミングの画像を天井の画像として用いる構成としてもよい。

また、移動端末１００は、天井の画像と共に床の画像を測位装置に送信する構成としてもよい。この場合、移動端末１００は、ユーザが使用する際に天井を向く表示面にカメラ１３０を有すると共に、ユーザが使用する際に床を向く、表示面の反対側の面にカメラを有する構成とし、当該床の画像は、移動端末１００がユーザにより使用されるために手で把持されたことを検出した場合に、移動端末１００の表示面の反対側の面に有するカメラ（図示しない）により撮影されたものであるとする構成としてもよい。

そして、天井画像取得部２２０は、天井の画像と共に床の画像を取得し、推定部２４０は、天井の画像を用いて、当該天井が存在する位置を推定すると共に、床の画像を用いて、当該床が存在する位置を推定し、それぞれの推定結果に基づいて、ユーザが存在する位置を推定する構成としてもよい。

このような構成により、異なる天井に似た特徴がある場合でも、ユーザが存在する位置を精度良く推定することができる。

また、天井に特徴の少ない建築物等の屋内や、天井がない屋外であっても、床に特徴がある場所であれば、ユーザが存在する位置を精度良く推定することができる。例えば、遊園地等の広い場所での位置を推定することができる。当該遊園地のテーマに沿ったイメージや、キャラクターのシンボルが描かれた床等の多数の特徴のある床が想定されるからである。

また、上述の実施形態において、特徴抽出部２３０は、取得した天井の画像そのものから局所特徴を抽出したが、ユーザが移動端末を把持している場合、取得した天井の画像に、ユーザの顔等の天井以外の物体が写り込む場合が想定される（図９の左図）。

そこで、天井以外の物体が写り込む場合を想定して、当該天井の画像にマスク画像（図９の中図）を用意してマスキング処理を行った画像から、局所特徴を抽出するように構成してもよい（図９の中図）。

また、当該天井の画像の局所特徴を抽出して、人の顔が写り込んでいるか否かを判定し、人の顔が写り込んでいる場合に、マスキング処理を行った画像から局所特徴の抽出を行うように構成してもよい。

また、複数の小領域は、隣接する小領域同士が部分的に重複するように所定の空間を分割して得られるように構成してもよい。すなわち、図５のように複数の小領域が互いに排反なものではなく、図１０のようにグリッドに分けた領域を跨ぐような複数の小領域に分割してもよい。

このような構成により、互いに排反な小領域の片側の境界付近にユーザが位置することにより生じる誤差が大きくなってしまうことを防止することができる。

また、特徴記憶部２５０は、カメラの画角や、昼と夜等の撮影条件の違いに応じて、撮影条件毎に、各局所特徴に対して小領域を紐付けたインデックスを格納し、推定部２４０は、天井画像取得部２２０が取得した天井の画像の撮影条件に応じたインデックスを用いて、当該天井が存在する位置を推定し、推定された位置をユーザが存在する位置とする構成としてもよい。

この場合、取得した天井の画像の撮影条件を、移動端末１００から取得する構成としてもよい。

このような構成により、予め取得した天井の画像の特徴と、測位に用いられる天井の画像の特徴との適合率の低下を防ぐことができるため、測位精度を向上させることができる。

また、推定部２４０は、天井の画像が撮影された際の撮影方向と当該天井との角度、及び当該天井の高さを用いて、推定した前記ユーザが存在する位置の補正を行うように構成してもよい。

天井の画像を撮影する際、移動端末１００の表示面が天井や床と平行であればユーザが存在する位置は正しく推定されているため、推定部２４０により推定された位置の補正は不要である。

しかし、移動端末１００の表示面が天井や床と平行でない場合、ユーザの位置の真上以外の天井の画像が撮影されてしまうため、誤差を生じる。

そこで、移動端末１００のカメラの撮影方向の傾きと天井の高さを追加のパラメータとすることで、測位された位置に対して傾きに応じた補正を施す。

天井の高さは、例えば、移動端末１００と天井の間、床と天井の間等の距離を用いる。また、天井の高さは、測位を行うタイミングで推定された高さでも、事前に推定された高さでもよい。

なお、この場合、幾何学計算法や加重類似度計算法等、種々の計算方法に基づいて、補正する量を算出する。

また、この場合、推定部２４０は、天井画像取得部２２０が取得した天井の画像の局所特徴のうち、最も類似する特徴記憶部２５０に格納された局所特徴と特徴量間の類似度が最も大きくなる２つの局所特徴の、天井の画像における特徴点の座標間のベクトルと、特徴記憶部２５０に格納されたそれぞれ対応する局所特徴の特徴点の事前に撮影されて当該特徴点が抽出されたときの写真における座標間のベクトルとの内積を取ることによって、当該天井の画像と当該予め撮影された写真との相対的向きを算出し、これをもって取得した天井の画像の撮影方向を推定してもよい。

このような構成により、ユーザが存在する位置を精度良く推定することができる。

また、特徴更新部２８０は、時系列で取得した天井の画像と、当該天井の位置に対応する小領域について特徴記憶部２５０に格納された天井の画像との類似度が予め定めた値よりも低い場合であって、当該小領域に隣接する２以上の小領域において、時系列で取得した天井の画像と、特徴記憶部２５０に格納された天井の画像との類似度が全て予め定めた値以上である場合に、特徴記憶部２５０に格納された当該小領域に対応する天井の画像の局所特徴を、時系列で取得した天井の画像のうち、当該小領域の位置をユーザの位置として推定部２４０により推定したときに取得された天井の画像の局所特徴に更新してもよい。上記のような場合には、より更新の必要性があると考えられるためである。

このような構成により、建物等の環境の変化によって天井の画像の局所特徴の更新が必要な場所を運用者が把握し、測位精度の低下を修正することができる。また、自動的に格納された当該小領域に対応する天井の画像の局所特徴の更新を行うことができるため、測位精度の低下を防ぐことができる。

また、特徴更新部２８０は、複数の移動端末１００の各々について、当該移動端末１００のユーザの位置を推定する際に得られた当該小領域に対応する類似度が所定の値よりも低い場合に、当該小領域について更新必要スコアを加算し、更新必要スコアが予め定めた値を超えた小領域について、当該小領域に対応する天井の画像の局所特徴を更新してもよい。

また、特徴更新部２８０は、時系列で取得した天井の画像と、当該天井の位置に対応する小領域について特徴記憶部２５０に格納された天井の画像との類似度が予め定めた値よりも低い場合であって、当該小領域に隣接する２以上の小領域において、時系列で取得した天井の画像と、特徴記憶部２５０に格納された天井の画像との類似度が全て予め定めた値以上である場合に、当該小領域について更新必要スコアを加算し、更新必要スコアが予め定めた値を超えた小領域について、当該小領域に対応する天井の画像の局所特徴を更新しても良い。

また、特徴記憶部２５０は、推定部２４０が、天井の画像が撮影された際の撮影方向と当該天井との角度、及び天井の高さを用いて、推定したユーザが存在する位置の補正を行う構成を採用する場合において、当該天井の高さを、インデックス作成時にＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等により推定する構成としてもよい。

また、特徴記憶部２５０を用意する際に、例えば、ＳＩＦＴ、ＫＡＺＥ、ＳＵＲＦ等の複数種類の局所特徴を事前に取得しておき、建物等の空間の性質に応じて適切な局所特徴を選択するようにする構成としてもよい。

例えば、複数種類の局所特徴でインデックスを作成し、シミュレーションによって空間に最適な局所特徴を決定しておく。

このような構成により、空間によって最適な局所特徴の種類が異なることによる精度の低い局所特徴の取得を回避することができるため、ユーザが存在する位置を精度良く推定することができる。

また、インデックスする特徴量をクラスタ分類し、クラスタをターム、グリッドをドキュメントとみなして各クラスタのｉｄｆを計算し、類似度計算をｔｆ・ｉｄｆで行うようにしてもよい。

また、上記の実施形態では、移動端末１００としてスマートフォンやタブレット端末を例に挙げたが、移動端末はこれに限定されるものではない。

例えば、ヘッドホンや眼鏡、ネックレス等のウェアラブルデバイスもユーザが存在する位置を捉えることができる移動端末である。すなわち、ウェアラブルデバイスにカメラを備え、天井の画像を用いて、ユーザが存在する位置を測位する構成としてもよい。

また、掃除ロボット、荷物運搬台車等、ローラー距離計等の自己位置測定手段を備えた建物内を通行する機器にカメラを備え、特徴記憶部２５０を随時更新する構成としてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 測位システム
１００ 移動端末
１１０ センサ
１２０ 画像取得部
１２１ センサ取得部
１２２ 把持検出部
１２３ 撮影制御部
１３０ カメラ
１４０ 通信部
１５０ エリア取得部
１６０ 出力部
２００ 測位装置
２１０ 通信部
２２０ 天井画像取得部
２３０ 特徴抽出部
２４０ 推定部
２５０ 特徴記憶部
２６０ 履歴記憶部
２７０ 時系列判定部
２８０ 特徴更新部
３００ 基地局
４００ ネットワーク

Claims (8)

1. ユーザが存在する位置を推定する測位システムであって、
   天井の画像を取得する天井画像取得部と、
   前記取得された前記天井の画像を用いて、前記天井が存在する位置を、前記ユーザが存在する位置として推定する推定部と、
   を含み、
   前記天井の画像は、前記ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、前記ユーザが使用する際に天井を向く面にカメラを有する前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に前記カメラにより撮影されたものである
   測位システム。
2. 前記天井の画像の特徴量を抽出する特徴抽出部と、
   所定の空間を分割した複数の小領域の各々について、前記小領域に対応する天井の画像の特徴量と、前記小領域の前記空間における位置とを格納する特徴記憶部と、
   を更に含み、
   前記推定部は、
   前記取得された前記天井の画像の特徴量と、前記複数の小領域の各々に対応する天井の画像の特徴量とから、前記天井が存在する位置を推定し、推定された前記位置を前記ユーザが存在する位置とする
   請求項１記載の測位システム。
3. 時系列で前記取得された前記天井の画像と、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域との組み合わせに基づいて、時系列で前記取得された前記天井の画像のうち、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域の前記天井の画像との類似度が、予め定めた値より低い前記天井の画像の特徴量を、前記特徴記憶部に格納される、前記推定部により推定された前記ユーザが存在する位置に対応する前記小領域の前記天井の画像の特徴量として更新する特徴更新部と、
   を更に含む請求項２記載の測位システム。
4. 前記複数の小領域は、隣接する小領域同士が部分的に重複するように前記所定の空間を分割して得られる
   請求項２又は３記載の測位システム。
5. 前記推定部は、更に、前記天井の画像が撮影された際の撮影方向と前記天井との角度、及び前記天井の高さを用いて、推定した前記ユーザが存在する位置の補正を行う
   請求項１〜４の何れか１項記載の測位システム。
6. 前記天井画像取得部は、前記天井の画像と共に床の画像を取得し、
   前記推定部は、前記天井の画像及び前記床の画像を用いて、前記天井及び前記床が存在する位置を、前記ユーザが存在する位置として推定し、
   前記床の画像は、前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に、前記移動端末の床を向く面に有するカメラにより撮影されたものである
   請求項１乃至５の何れか１項記載の測位システム。
7. ユーザが存在する位置を推定する測位システムにおける測位方法であって、
   前記ユーザが使用する際に少なくとも一方の手で把持される移動端末であって、かつ、前記ユーザが使用する際に天井を向く面にカメラを有する前記移動端末が前記ユーザにより使用されるために手で把持されたことを検出した場合に、前記カメラにより天井の画像を撮影し、
   天井画像取得部が、前記移動端末で撮影した前記天井の画像を取得し、
   推定部が、前記取得された前記天井の画像を用いて、前記天井が存在する位置を、前記ユーザが存在する位置として推定する
   測位方法。
8. コンピュータを、請求項１乃至６の何れか１項記載の測位システムの各部として機能させるためのプログラム。

Images