JP6580286B2

JP6580286B2 - 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法

Info

Publication number: JP6580286B2
Application number: JP2019500108A
Authority: JP
Inventors: 健宮本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-02-16
Filing date: 2017-02-16
Publication date: 2019-09-25
Anticipated expiration: 2037-02-16
Also published as: CN110268438A; DE112017006794T5; CN110268438B; US20190362517A1; JPWO2018150515A1; WO2018150515A1

Description

本発明は、屋内で端末の位置を推定するための画像データベースを生成する画像データベース構築装置と、画像データベースを用いて端末の位置を推定する位置及び傾き推定装置と、画像データベース構築方法に関する。

例えば、特定の対象に付加情報を重畳表示するＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）を使ったアプリケーションなどを開発する場合、端末の位置情報のみでは不十分であり、端末の傾きの情報が必要である。また、このようなアプリケーションでは、端末の位置情報としても、正確な位置を推定する必要がある。

端末の正確な位置と傾きを求める方法として、従来、予め登録した画像を用いる方法があった（例えば、非特許文献１参照）。これは、屋内の全ての画像と位置及び傾き情報と紐付けて画像データとし、この画像データを蓄積してデータベースとして用意し、端末の位置を推定する場合は、端末位置で撮影した画像をデータベース中の全ての画像と照合することで最も似ている画像を探索してその画像の位置と傾きを出力するものである。

Esra Ataer-Cansizoglu, Yuichi Taguchi, Srikumar Ramlingam,and Yohei Miki : Calibration of Non-Overlapping Cameras Using an External SLAM System, Image Processing (ICIP), 2016 IEEE International Conference on 25-28 Sept 2016

しかしながら、従来の位置と傾きを推定する方法では、屋内の全ての画像の中から、撮影した画像に類似するものを照合するため、次のような課題があった。すなわち、第一の課題としてリアルタイム性の悪化があった。これはデータベースに格納する画像データの数が多いほど計算コストがかかり、リアルタイム性が悪化する。第二の課題として、同一シーンの識別が困難な点があった。例えば、異なる位置の似たシーン、すなわち、異なる位置であるが、被写体の形状が類似するような画像データがデータベースに格納されている場合、不正確な照合結果が得られてしまう可能性があった。

なお、端末の位置を求める手段としては、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）といった衛星測位システムを用いることも考えられる。しかしながら、このような衛星測位システムを用いて屋内での測位は困難であり、かつ、端末の正確な位置を求めるための測位精度が不十分である。従って、屋内における位置及び傾きを推定する装置に適用するのは困難である。特に、ビルといった多層階で類似する画像データが存在する場合、衛星測位システムを用いた方法では、高さ方向の測位精度が不十分であるため、正確な照合結果が得られず、このような点からも衛星測位システムを用いて屋内の端末の位置と傾きを推定するのは困難である。

この発明は、かかる問題を解決するためになされたもので、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベース構築装置及び画像データベース構築装置を提供することを目的とする。

この発明に係る画像データベース構築装置は、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出部と、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えたものである。

また、この発明に係る位置及び傾き推定装置は、撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影対象物の画像を取得する画像取得部と、画像取得部で取得した画像と、画像データベースに格納された画像のうち、領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えたものである。

この発明に係る画像データベース構築装置は、撮影画像と撮影画像の取得位置及び傾きと、領域情報とを関連付け、関連付けられた画像情報を画像データベースとして生成するようにしたものである。これにより、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。

また、この発明に係る位置及び傾き推定装置は、画像データベースに格納された画像のうち、領域検出部で検出された領域と同一の領域に属する画像のみを照合するようにしたものである。これにより、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。

この発明の実施の形態１の画像データベース構築装置の構成図である。この発明の実施の形態１の画像データベース構築装置のハードウェア構成図である。この発明の実施の形態１の画像データベース構築装置を適用する部屋の説明図である。この発明の実施の形態１の画像データベース構築装置の動作を示すフローチャートである。この発明の実施の形態１の画像データベース構築装置で生成される画像データベースの一例を示す説明図である。従来の画像データベースの説明図である。この発明の実施の形態１の位置及び傾き推定装置の構成図である。この発明の実施の形態１の位置及び傾き推定装置のハードウェア構成図である。この発明の実施の形態１の位置及び傾き推定装置の動作を示すフローチャートである。この発明の実施の形態２の画像データベース構築装置の構成図である。この発明の実施の形態２の画像データベース構築装置のハードウェア構成図である。この発明の実施の形態２の画像データベース構築装置を適用する部屋の説明図である。この発明の実施の形態２の画像データベース構築装置の動作を示すフローチャートである。この発明の実施の形態２の画像データベース構築装置で生成される画像データベースの一例を示す説明図である。この発明の実施の形態２の位置及び傾き推定装置の構成図である。この発明の実施の形態２の位置及び傾き推定装置のハードウェア構成図である。この発明の実施の形態２の位置及び傾き推定装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本実施の形態による画像データベース構築装置の構成図である。
図示の画像データベース構築装置は、領域検出部１、センサ情報取得部２、位置関係計算部３、画像データベース生成部４を備える。領域検出部１は、屋内の複数の領域のうち、どの領域に位置するかを領域情報として検出する処理部である。センサ情報取得部２は、画像取得部２ａと距離測定部２ｂと備えた情報取得部である。画像取得部２ａは、屋内の画像を取得する装置であり、距離測定部２ｂは、撮影画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を測定する処理部である。位置関係計算部３は、センサ情報取得部２で取得した撮影画像と距離情報とに基づいて、各撮影画像の取得位置と傾きを算出する算出部である。画像データベース生成部４は、位置関係計算部３で算出した撮影画像の取得位置及び傾きと、センサ情報取得部２で取得した撮影画像と、領域検出部１で検出した領域情報とを画像情報として関連付け、この画像情報を画像データベース５として生成する処理部である。

図２は、図１に示した画像データベース構築装置のハードウェア構成図である。図２において、画像データベース構築装置１００は、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩＤｅｎｔｉｆｉｃａｔｉｏｎ）受信機１０１、カメラ１０２、距離センサ１０３、計算機１０４を備える。ＲＦＩＤ受信機１０１は、屋内の複数の領域毎に設けられたＲＦＩＤタグ１０５と通信を行い、どのＲＦＩＤタグ１０５を認識したかを検知する受信機である。カメラ１０２はカラー画像を取得する装置である。距離センサ１０３は、距離画像（各ピクセルに対応する距離を画像化したもの）を取得する装置である。計算機１０４は、ＲＦＩＤ受信機１０１、カメラ１０２及び距離センサ１０３からのデータを取得し、これらデータに基づいて図１の画像データベース５を生成するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。

図２におけるＲＦＩＤ受信機１０１は図１における領域検出部１を構成し、カメラ１０２は画像取得部２ａを、距離センサ１０３は距離測定部２ｂを構成している。計算機１０４は、位置関係計算部３と画像データベース生成部４の機能を実現している。これら機能の実現は、位置関係計算部３と画像データベース生成部４とに対応したソフトウェアを計算機１０４のプロセッサが実行することにより構成されるものである。

図１の画像データベース構築装置を図２のような構成とした場合、図１の領域検出部１〜画像データベース生成部４は次のような機能を有する。領域検出部１は、ＲＦＩＤタグ１０５と通信を行ってその属性（どの領域であるか）を認識する。センサ情報取得部２は複数のカラー画像と、これらのカラー画像に対応する距離情報のペアを取得する。位置関係計算部３は、センサ情報取得部２で取得した情報をつなぎ合わせて、３次元の点群データを作成すると共に、各カラー画像と距離情報のペアの取得位置及び傾きを推定する。画像データベース生成部４は、位置関係計算部３で推定された撮影画像の取得位置及び傾きと、撮影画像と、領域情報とを画像情報として関連付け、この画像情報を画像データベース５として生成する。

次に、実施の形態１の画像データベース構築装置の動作について説明する。
図３は、二つの部屋を上から見た状態を示している。それぞれの部屋（部屋１、部屋２）は各領域に対応するもので、各部屋の出入り口付近に第１のＲＦＩＤタグ１０５ａと第２のＲＦＩＤタグ１０５ｂが設けられている。このような二つの部屋の画像データベース構築の動作を図４のフローチャートを用いて説明する。

まず、図３における部屋１のデータを点線１１０に示すように取得するとして説明する。領域検出部１にて第１のＲＦＩＤタグ１０５ａを認識する（領域検出ステップ：ステップＳＴ１）。その後、センサ情報取得部２の画像取得部２ａで部屋１のカラー画像を取得すると共に（情報取得ステップ：ステップＳＴ２）、距離測定部２ｂで距離画像を取得する（情報取得ステップ：ステップＳＴ３）。次いで、位置関係計算部３により、センサ情報取得部２で取得したデータをつなぎ合わせ、カラー画像の取得と距離画像の測定を行う装置の位置と傾きを計算する（算出ステップ：ステップＳＴ４）。ここで求める位置と傾きの一例としては、測定開始時点の位置と傾きを基準とした値である。カラー画像と距離情報のペアを繋ぎ合わせる方法の一例としては、画像の特徴となる点を用いる方法（例えば、文献：Taguchi, Y, Jian, Y-D, Ramlingam, S: Point-Plane SLAM for Hand-Held 3D Sensors, Robotics and Automation（ICRA），2014 IEEE International Conference on 6-10 May 2013に記載されている方法）がある。以上、ステップＳＴ２〜ステップＳＴ４の処理を一つの部屋に対して行った後、測定を終了する（ステップＳＴ５−ＹＥＳ）。さらに、位置関係計算部３にて、センサの位置と傾きを、ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔなどを用いて高精度化する（ステップＳＴ６）。その後は、全ての部屋の測定が終了したかを判定し（ステップＳＴ７）、終了していない場合はステップＳＴ１に戻って上記の処理を繰り返し、全ての部屋の測定が終了した場合は、画像データベース構築の動作を終了する。この場合、まだ部屋２の測定が行われていないため、ステップＳＴ７では「ＮＯ」となり、図３の点線１１１に示すようにそれぞれの位置でカラー画像と距離情報を取得して、ステップＳＴ２〜ステップＳＴ６の処理を行う。

このような方法で、部屋１と部屋２とについて測定すると、図５に示すデータベースが画像データベース生成部４によって作成される（画像データベース生成ステップ）。図５に示す通り、ＲＦＩＤ毎に、画像、距離情報、位置及び傾きのペアが登録されている。比較のため、従来のデータベースを図６に示す。図６のデータベースに比べて、本実施の形態の画像データベース構築装置によるデータベースはＲＦＩＤ毎に画像がグループ化されている。

次に、実施の形態１の位置及び傾き推定装置について説明する。
図７は、位置及び傾き推定装置の構成図である。本実施の形態の位置及び傾き推定装置は、領域検出部１、画像取得部２ａ、データベース照合部１１、位置及び傾き推定部１２を備える。領域検出部１及び画像取得部２ａは、画像データベース構築装置における領域検出部１及び画像取得部２ａと同様であるが、位置及び傾き推定装置の推定対象となる端末に設けられているものである。データベース照合部１１は、画像取得部２ａで取得した画像と、画像データベース５に格納された画像のうち、領域検出部１で検出された領域情報と同一の領域情報を有する画像のみを照合し、いずれかの画像を特定する処理部である。位置及び傾き推定部１２は、データベース照合部１１で特定された画像の位置と傾きを推定結果として出力する処理部である。画像データベース５は、画像データベース構築装置で生成されたデータベースである。

図８は、図７に示した位置及び傾き推定装置のハードウェア構成図である。図８において、位置及び傾き推定装置２００は、ＲＦＩＤ受信機１０１、カメラ１０２、計算機２０１を備える。ＲＦＩＤ受信機１０１及びカメラ１０２は画像データベース構築装置１００におけるＲＦＩＤ受信機１０１及びカメラ１０２と同様である。計算機２０１は、ＲＦＩＤ受信機１０１及びカメラ１０２からのデータを取得し、これらデータに基づいて端末の位置と傾きを推定するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。

図８におけるＲＦＩＤ受信機１０１は図７における領域検出部１を構成し、カメラ１０２は画像取得部２ａを構成している。計算機２０１は、データベース照合部１１と位置及び傾き推定部１２の機能を実現している。これら機能の実現は、データベース照合部１１と位置及び傾き推定部１２とに対応したソフトウェアを計算機２０１のプロセッサが実行することにより構成されるものである。

図７の位置及び傾き推定装置を図８のような構成とした場合、図７の領域検出部１〜位置及び傾き推定部１２は次のような機能を有する。領域検出部１は、ＲＦＩＤタグ１０５と通信を行ってその属性（どの領域であるか）を認識する。画像取得部２ａは端末位置から撮影されたカラー画像を取得する。データベース照合部１１は、画像取得部２ａで取得されたカラー画像と領域検出部１で検出された領域情報とに基づいて画像データベース５の照合を行い、位置及び傾き推定部１２は、データベース照合部１１の照合結果の画像の位置と傾きとを推定結果として出力する。

次に、実施の形態１の位置及び傾き推定装置の動作を図９のフローチャートを用いて説明する。
ユーザがＲＦＩＤタグ１０５とＲＦＩＤ受信機１０１とを接触させてＲＦＩＤタグ１０５の読み取りを行い（ステップＳＴ１１）、端末が位置する部屋の情報を入力する。なお、この入力はユーザが手入力でＲＦＩＤ受信機１０１（データベース照合部１１）に入力しても良いし、ＲＦＩＤ受信機１０１からのＲＦＩＤタグ１０５の情報を直接部屋の情報としてＲＦＩＤ受信機１０１（データベース照合部１１）に与えるようにしても良い。なお、ここでは、端末は図３に示す第１のＲＦＩＤタグ１０５ａの部屋１に入ったとする。このような状態で、画像取得部２ａにより部屋１内の画像データを取得すると（ステップＳＴ１２）、データベース照合部１１は、画像データベース５中のデータと照合する（ステップＳＴ１３）。ここでは、図５に示した画像データベース中、ＲＦＩＤ（１）の画像とのみ照合を行う。そして、ＲＦＩＤ（１）のカラー画像の中から、ステップＳＴ１２で取得した画像と最も類似するものを抽出する。次いで、位置及び傾き推定部１２は、ステップＳＴ１３で抽出された画像に付与されている端末の距離情報＋端末の位置ｔと傾きＲに基づいて端末の位置と傾きを推定する（ステップＳＴ１４）。

このように、実施の形態１の位置及び傾き推定装置によれば、第１の効果として、計算時間の削減がある。本実施の形態では、画像データベース５との照合は特定された領域に対応した画像データのみである。従って、従来に比べて、画像の照合枚数を削減することができる。例えば、上記例では、照合はＲＦＩＤ（１）の画像とのみ行われ、ＲＦＩＤ（２）の画像とは照合しないため、計算時間を削減することができる。第２の効果として、類似シーンの識別性向上がある。例えば、図３に示す部屋１と部屋２とが同様の模様の内装であった場合でも、部屋１と部屋２とを識別して照合を行うため、正確に端末位置の推定を行うことができる。

なお、上記画像データベース構築装置及び位置及び傾き推定装置では、領域の特定手段としてＲＦＩＤを用いたが、例えばビーコン等、領域を一意に特定することのできる手段であれば同様に用いることができる。

以上説明したように、実施の形態１の画像データベース構築装置によれば、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出部と、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。

また、実施の形態１の画像データベース構築装置によれば、複数の領域は、領域検出部で検出する領域と一対一に関連付けられているようにしたので、領域を容易かつ確実に特定することができる。

また、実施の形態１の画像データベース構築装置によれば、領域検出部はＲＦＩＤを用いて領域を検出するようにしたので、領域を容易かつ確実に特定することができる。

また、実施の形態１の位置及び傾き推定装置によれば、撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、複数の領域のうちのどの領域に属するかを検出する領域検出部と、撮影対象物の画像を取得する画像取得部と、画像取得部で取得した画像と、画像データベースに格納された画像のうち、領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えたので、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。

また、実施の形態１の位置及び傾き推定装置によれば、複数の領域は、領域検出部で検出する領域と一対一に関連付けられているようにしたので、領域を容易かつ確実に特定することができる。

また、実施の形態１の位置及び傾き推定装置によれば、領域検出部はＲＦＩＤを用いて領域を検出するようにしたので、領域を容易かつ確実に特定することができる。

また、実施の形態１の画像データベース生成方法によれば、実施の形態１に記載の画像データベース構築装置を用いた画像データベース構築方法であって、撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出ステップと、撮影された画像の撮影対象物と撮影画像の取得位置との距離を示す距離情報を取得する情報取得ステップと、距離情報に基づいて、撮影された画像の撮影位置及び傾きを算出する算出ステップと、撮影された画像の撮影位置及び傾きと、撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成ステップであって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成ステップとを備えたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。

実施の形態２．
実施の形態２は、屋内の複数の位置で得られた信号の値に基づいてグルーピングを行って画像データベースを生成する画像データベース構築装置と、画像データベース構築装置で構築された画像データベースを用いて位置と傾きを推定する位置及び傾き推定装置である。

図１０は、実施の形態２による画像データベース構築装置の構成図である。図示の画像データベース構築装置は、領域検出部１ａ、センサ情報取得部２、位置関係計算部３、画像データベース生成部４ａを備える。ここで、センサ情報取得部２及び位置関係計算部３は、実施の形態１と同様の構成であるため、ここでの説明は省略する。領域検出部１ａは、屋内の複数の位置における設定された信号の値を領域に対応した値として測定する処理部である。画像データベース生成部４ａは、位置関係計算部３で計算された各撮影画像の位置と傾きの算出情報を、領域検出部１ａで測定された信号の値を用いてグルーピングし、このグルーピングされた撮影画像とその撮影画像の取得位置及び傾きと、信号の値とを関連付け、関連付けられた画像情報を画像データベース５ａとして生成する処理部である。

図１１は、図１０に示した画像データベース構築装置のハードウェア構成図である。図１１において、画像データベース構築装置１００ａは、無線ＬＡＮ受信機１０６、カメラ１０２、距離センサ１０３、計算機１０４ａを備える。無線ＬＡＮ受信機１０６は、屋内の複数の領域毎に設けられた無線ＬＡＮのアクセスポイント１０７と通信を行い、その信号強度（ＲＳＳＩ：ＲｅｃｅｉｖｅｄＳｉｇｎａｌＳｔｒｅｎｇｔｈＩｎｄｉｃａｔｏｒ）を測定するための受信機である。カメラ１０２及び距離センサ１０３は実施の形態１の画像データベース構築装置１００におけるカメラ１０２及び距離センサ１０３と同様の構成である。計算機１０４ａは、無線ＬＡＮ受信機１０６、カメラ１０２及び距離センサ１０３からのデータを取得し、これらデータに基づいて図１０の画像データベース５ａを生成するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。

図１１における無線ＬＡＮ受信機１０６は図１０における領域検出部１ａを構成し、カメラ１０２は画像取得部２ａを、距離センサ１０３は距離測定部２ｂを構成している。計算機１０４ａは、位置関係計算部３と画像データベース生成部４ａの機能を実現している。これら機能の実現は、位置関係計算部３と画像データベース生成部４ａに対応したソフトウェアを計算機１０４ａのプロセッサが実行することにより構成されるものである。

次に、実施の形態２の画像データベース構築装置の動作について説明する。
図１２は、二つの部屋を上から見た状態を示している。部屋１にはアクセスポイント１０７ａとアクセスポイント１０７ｂが設置され、部屋２にはアクセスポイント１０７ｃとアクセスポイント１０７ｄが設置されている。このような二つの部屋の画像データベース構築の動作を図１３のフローチャートを用いて説明する。

まず、図１２における部屋１のデータを点線１１２のように取得するとして説明する。図１３のフローチャートにおいて、ステップＳＴ２１〜ステップＳＴ２３は、実施の形態１の図４におけるステップＳＴ２〜ステップＳＴ４と同様であるため、ここでの説明は省略する。実施の形態２では、領域検出部１ａにより、部屋１内の複数の位置でアクセスポイント１０７との通信を行い、そのアクセスポイント１０７からの信号強度（ＲＳＳＩ）を測定する（領域検出ステップ：ステップＳＴ２４）。これにより、それぞれの位置で、その位置におけるアクセスポイント１０７ａ〜１０７ｄに対応した信号強度を求めることができる。以上、ステップＳＴ２１〜ステップＳＴ２４の処理を一つの部屋に対して行った後、測定を終了する（ステップＳＴ２５−ＹＥＳ）。さらに、位置関係計算部３にて、センサの位置と傾きを、ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔなどを用いて高精度化する（ステップＳＴ２６）。次に、画像データベース生成部４ａは、ステップＳＴ２４で求めた信号強度を元に、カラー画像と、距離情報のグルーピングを行う（画像データベース生成ステップ：ステップＳＴ２７）。グルーピング方法の一例としては、Ｋ−ｍｅａｎｓ法や、ＳｐｅｃｔｒａｌＣｌｕｓｔｅｒｉｎｇなどの、教師なし学習の方法がある。

その後は、全ての部屋の測定が終了したかを判定し（ステップＳＴ２８）、終了していない場合はステップＳＴ２１からの処理を繰り返し、全ての部屋の測定が終了した場合は、画像データベース構築の動作を終了する。この場合、部屋２の測定が行われていないため、ステップＳＴ２８では「ＮＯ」となり、図１２の点線１１３に示すようにそれぞれの位置でカラー画像と距離情報を取得して、ステップＳＴ２１〜ステップＳＴ２７の処理を行う。

このような方法で、部屋１と部屋２とについて測定し、その測定結果を画像データベース生成部４ａによってデータベース化すると、図１４に示す画像データベースが作成される（画像データベース生成ステップ）。図１４に示す通り、信号毎に、画像、距離情報、位置及び傾きのペアが登録されている。ここで信号１及び信号２とは、図１２に示す部屋１と部屋２とに対応した信号であるが、部屋の大きさやアクセスポイント１０７の数によって必ずしも部屋に対応していない場合もある。例えば、部屋が広くアクセスポイント１０７が数多く存在する場合は、一つの部屋で複数のグループが形成される場合がある。

次に、実施の形態２の位置及び傾き推定装置について説明する。
図１５は、位置及び傾き推定装置の構成図である。本実施の形態の位置及び傾き推定装置は、領域検出部１ａ、画像取得部２ａ、データベース照合部１１ａ、位置及び傾き推定部１２ａ、画像データベース５ａを備える。画像取得部２ａ及び領域検出部１ａは、画像データベース構築装置における画像取得部２ａ及び領域検出部１ａと同様である。データベース照合部１１ａは、画像取得部２ａで取得した画像と、画像データベース５ａに格納された画像のうち、領域検出部１ａで検出された信号の値と同一の信号の値を有する画像のみを照合し、いずれかの画像を特定する処理部である。位置及び傾き推定部１２ａは、データベース照合部１１ａで特定された画像の位置と傾きを推定結果として出力する処理部である。また、画像データベース５ａは、画像データベース構築装置１００ａで生成されたデータベースである。

図１６は、図７に示した位置及び傾き推定装置のハードウェア構成図である。図１６において、位置及び傾き推定装置２００ａは、無線ＬＡＮ受信機１０６、カメラ１０２、計算機２０１ａを備える。無線ＬＡＮ受信機１０６及びカメラ１０２は、図１１に示した画像データベース構築装置１００ａの無線ＬＡＮ受信機１０６及びカメラ１０２と同様である。計算機２０１ａは、無線ＬＡＮ受信機１０６及びカメラ１０２からのデータを取得し、これらデータに基づいて端末の位置と傾きを推定するための装置であり、例えばパーソナルコンピュータやスマートフォンで構成されている。

図１６における無線ＬＡＮ受信機１０６は図１５における領域検出部１ａを構成し、カメラ１０２は画像取得部２ａを構成している。計算機２０１ａは、データベース照合部１１ａと位置及び傾き推定部１２ａの機能を実現している。これら機能の実現は、データベース照合部１１ａと位置及び傾き推定部１２ａとに対応したソフトウェアを計算機２０１ａのプロセッサが実行することにより構成されるものである。

図１５の位置及び傾き推定装置を図１６のような構成とした場合、図１５の画像取得部２ａ〜位置及び傾き推定部１２ａは次のような機能を有する。画像取得部２ａは端末位置から撮影されたカラー画像を取得する。領域検出部１ａは、各アクセスポイント１０７との信号強度を求める。データベース照合部１１ａは、画像取得部２ａで取得されたカラー画像と領域検出部１ａで測定された信号強度とに基づいて画像データベース５ａの照合を行い、位置及び傾き推定部１２ａは、データベース照合部１１の照合結果の画像の位置と傾きとを推定結果として出力する。

次に、実施の形態２の位置及び傾き推定装置の動作を図１７のフローチャートを用いて説明する。
領域検出部１ａがその位置における各アクセスポイントからの信号強度を検出すると（ステップＳＴ３１）、データベース照合部１３ａは、先ず、信号強度に基づく画像データベース５ａの照合を行う（ステップＳＴ３２）。また、画像取得部２ａで画像が取得される（ステップＳＴ３３）と、データベース照合部１３ａは、ステップＳＴ３２の照合結果の中から画像の照合を行う（ステップＳＴ３４）。すなわち、データベース照合部１３ａは、先ず、領域検出部１ａからの信号強度に基づいて端末の位置を大まかに推定し、次に、この大まかな推定結果に対応した画像データと照合を行う。例えば、ステップＳＴ３２による照合では信号１であった場合、図１４に示す画像データベース５ａ中、信号１の画像とのみ照合を行う。そして、信号１のカラー画像の中から、ステップＳＴ３３で取得した画像と最も類似するものを抽出する。次いで、位置及び傾き推定部１４は、ステップＳＴ３４で抽出された画像に付与されている端末の距離情報＋端末の位置ｔと傾きＲに基づいて端末の位置と傾きを推定する（ステップＳＴ３５）。

このように、実施の形態２の位置及び傾き推定装置によれば、第１の効果として、計算時間の削減がある。本実施の形態では、画像データベース５ａとの照合は特定された信号に対応した画像データのみである。従って、従来に比べて、画像の照合枚数を削減することができる。例えば、上記例では、図１４に示す信号１に対応する複数のカラー画像と、画像取得部２ａで取得した画像とを照合する。信号２に対応するカラー画像とは画像照合しないため、計算時間の削減が見込まれる。第２の効果として、類似シーンの識別性向上がある。例えば、図１２に示す部屋１と部屋２とが同様の模様の内装であった場合でも、各アクセスポイントからの信号強度によってユーザの位置を大まかに判断する前処理を行うため、正確に端末位置の推定を行うことができる。

なお、上記の画像データベース構築装置及び位置及び傾き推定装置では、領域検出部１ａが検出する信号の値としてＲＳＳＩを用いたが、これに限定されるものではなく、ビーコンとの信号強度、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）の信号強度、アクセスポイントへの距離（ＴｏＦ：ＴｉｍｅｏｆＦｌｉｇｈｔ）及び地磁気センサの測定値のうち、いずれか一つを用いてもよい。

以上説明したように、実施の形態２の画像データベース構築装置によれば、領域検出部は、複数の位置において、設定された信号の値を領域に対応した値として測定し、画像データベース生成部は、算出部で算出した画像の取得位置及び傾きを、領域検出部で測定された信号の値を用いてグルーピングし、信号の値と、グルーピングされた画像の取得位置及び傾きと、画像とを画像情報として関連付け、画像情報を画像データベースとして生成するようにしたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることのできる画像データベースを提供することができる。

また、実施の形態２の画像データベース構築装置によれば、領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを設定された信号の値として測定するようにしたので、信号測定のために特別な装置を必要とせず、領域を容易かつ確実に特定することができる。

また、実施の形態２の位置及び傾き推定装置によれば、領域検出部は、複数の位置において、設定された信号の値を領域に対応した値として測定すると共に、画像データベースは、信号の値を用いてグルーピングされており、データベース照合部は、画像データベースに格納された画像のうち、領域検出部で検出された信号の値と同一の画像のみを照合するようにしたので、画像の位置と傾きを推定する際に、リアルタイム性を向上させ、かつ、正確な位置及び傾きの推定結果を得ることができる。

また、実施の形態２の位置及び傾き推定装置によれば、領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを設定された信号の値として測定するようにしたので、信号測定のために特別な装置を必要とせず、領域を容易かつ確実に特定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

以上のように、この発明に係る画像データベース構築装置と位置及び傾き推定装置並びに画像データベース構築方法は、予め登録した画像を用いて端末の位置と傾きを求める構成に関するものであり、特定の対象に付加情報を重畳表示するアプリケーションに用いるのに適している。

１，１ａ領域検出部、２センサ情報取得部、２ａ画像取得部、２ｂ距離測定部、３位置関係計算部、４，４ａ画像データベース生成部、５，５ａ画像データベース、６信号測定部、１１，１１ａデータベース照合部、１２，１２ａ位置及び傾き推定部１、１００，１００ａ画像データベース構築装置、１０１ＲＦＩＤ受信機、１０２カメラ、１０３距離センサ、１０４，１０４ａ，２０１，２０１ａ計算機、１０５ＲＦＩＤタグ、１０６無線ＬＡＮ受信機、１０７アクセスポイント、２００，２００ａ位置及び傾き推定装置。

Claims

撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出部と、
前記撮影された画像の撮影対象物と前記撮影画像の取得位置との距離を示す距離情報を取得する情報取得部と、
前記距離情報に基づいて、前記撮影された画像の撮影位置及び傾きを算出する算出部と、
前記撮影された画像の撮影位置及び傾きと、前記撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成部であって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成部とを備えた画像データベース構築装置。
前記複数の領域は、前記領域検出部で検出する領域と一対一に関連付けられていることを特徴とする請求項１記載の画像データベース構築装置。
領域検出部はＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を用いて前記領域を検出することを特徴とする請求項２記載の画像データベース構築装置。
前記領域検出部は、複数の位置において、設定された信号の値を前記領域に対応した値として測定し、
前記画像データベース生成部は、前記算出部で算出した前記画像の取得位置及び傾きを、前記領域検出部で測定された信号の値を用いてグルーピングし、前記信号の値と、前記グルーピングされた前記画像の取得位置及び傾きと、当該画像とを画像情報として関連付け、当該画像情報を画像データベースとして生成することを特徴とする請求項１記載の画像データベース構築装置。
前記領域検出部は、ＲＳＳＩ（ＲｅｃｅｉｖｅｄＳｉｇｎａｌＳｔｒｅｎｇｔｈＩｎｄｉｃａｔｏｒ）、ビーコンとの信号強度、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）の信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを前記設定された信号の値として測定することを特徴とする請求項４記載の画像データベース構築装置。
撮影位置と傾きの情報を持った画像を複数の領域でグルーピングした画像情報を格納する画像データベースと、
複数の領域のうちのどの領域に属するかを検出する領域検出部と、
撮影対象物の画像を取得する画像取得部と、
前記画像取得部で取得した画像と、前記画像データベースに格納された画像のうち、前記領域検出部で検出された同一の領域に属する画像のみを照合するデータベース照合部と、
前記データベース照合部で、照合結果の画像の位置と傾きを推定結果として出力する位置及び傾き推定部とを備えた位置及び傾き推定装置。
前記複数の領域は、前記領域検出部で検出する領域と一対一に関連付けられていることを特徴とする請求項６記載の位置及び傾き推定装置。
前記領域検出部はＲＦＩＤを用いて領域を検出することを特徴とする請求項６記載の位置及び傾き推定装置。
前記領域検出部は、複数の位置において、設定された信号の値を前記領域に対応した値として測定すると共に、
前記画像データベースは、前記信号の値を用いてグルーピングされており、
前記データベース照合部は、前記画像データベースに格納された画像のうち、前記領域検出部で検出された信号の値と同一の画像のみを照合することを特徴とする請求項６記載の位置及び傾き推定装置。
前記領域検出部は、ＲＳＳＩ、ビーコンとの信号強度、ＵＷＢの信号強度、アクセスポイントへの距離及び地磁気センサの測定値のうち、いずれか一つを前記設定された信号の値として測定することを特徴とする請求項９記載の位置及び傾き推定装置。
請求項１に記載の画像データベース構築装置を用いた画像データベース構築方法であって、
撮影された画像が複数の領域のうちのどの領域に属するかを検出する領域検出ステップと、
前記撮影された画像の撮影対象物と前記撮影画像の取得位置との距離を示す距離情報を取得する情報取得ステップと、
前記距離情報に基づいて、前記撮影された画像の撮影位置及び傾きを算出する算出ステップと、
前記撮影された画像の撮影位置及び傾きと、前記撮影された画像とを画像情報として関連付けた画像データベースを生成する画像データベース生成ステップであって、同じ領域に属する画像の画像情報をグルーピングして画像データベースを生成する画像データベース生成ステップとを備えた画像データベース構築方法。