JP7448748B2 - 位置検出システム、及び位置検出方法 - Google Patents

Description

本発明は、撮像位置を検出する位置検出システム、及び位置検出方法に関する。

従来、建物内などにおいて、人間の位置を検出する方法は、各種検討されている。例えば、ビーコン、無線タグ、ｗｉｆｉ（ワイファイ）電波、地磁気、ＩＭＥＳ（Indoor MESsaging System）、ＰＨＳ（Personal Handy-phone System）等の通信端末技術や、この組合せでの構成が多い（例えば、特許文献１参照）。

特開２０１１－２１４８３４号公報

しかしながら、上述した人間の位置を検出する方法には、共通する欠点として、人間の各々が携帯する自身の位置を示す専用機器を常時携帯する必要があり、又は電波あるいは光学的に位置検出を行う位置検出センサなどの専用機器を建物内に配置する必要があり、装置コストがかかるという問題がある。

上述の課題を鑑み、本発明は、位置を検出するための専用機器を用いることなく、屋内にいる人間の位置を検出することができる位置検出システム、及び位置検出方法を提供することを目的とする。

上述の課題を解決するために、本発明の一態様は、建物内で撮像された対象画像を取得する画像取得部と、建物内における位置を特定する特定画像と、当該特定画像を撮像した撮像位置に関する情報と、前記特定画像に含まれるサインが設置された位置を示す設置位置情報と、が対応づけられたデータを記憶する建物内識別データサーバと、前記対象画像が撮像された撮像位置を検出する位置検出部とを備え、前記位置検出部は、前記対象画像に含まれるサインに応じた特定画像を前記建物内識別データサーバから抽出し、抽出した特定画像に対応する撮像位置を、対象画像が撮像された撮像位置として検出するものであり、前記対象画像から複数のサインが得られる場合に、複数のサインのそれぞれの設置された位置に基づいて、当該複数のサインのそれぞれを同時に見渡すことが可能な位置を、撮像位置として特定する。

また、本発明の一態様は、上述の位置検出システムにおいて、前記位置検出部は、前記建物内識別データサーバを用いて、前記対象画像に対応する前記特定画像を前記建物内識別データサーバから抽出し、抽出した前記特定画像の大きさと、前記対象画像の大きさと、を比較して、前記撮像位置を特定する。

また、本発明の一態様は、前記位置検出部により検出された撮像位置を示す情報を、前記対象画像を識別する情報とともに記憶する位置情報記憶部を更に備えることを特徴とする位置検出システムである。

また、本発明の一態様は、画像取得部で建物内において撮像された対象画像を取得し、位置検出部で前記対象画像が撮像された撮像位置を検出する、位置検出方法であって、前記位置検出部は、建物内における位置を特定する特定画像と、当該特定画像を撮像した撮像位置に関する情報と、前記特定画像に含まれるサインが設置された位置を示す設置位置情報と、が対応づけられたデータを記憶する建物内識別データサーバを参照し、前記特定画像に対応するサインの設置位置情報を踏まえ、前記対象画像に含まれるサインに基づいて前記特定画像の撮像位置を検出する位置検出方法である。

本発明によれば、位置を検出するための専用機器を用いることなく、屋内にいる人間の位置を検出することができる。

実施形態の位置検出システム１の構成例を示すブロック図である。 実施形態のカメラ１２が屋内を撮像する例を示すイメージ図である。 実施形態のカメラ１２により撮像された屋内画像の一例を示す図である。 実施形態の建物内サインデータサーバ１１に記憶されるデータベースの一例を示す図である。 実施形態の位置検出システム１が位置を検出する処理の流れについて説明するシーケンスチャートである。

以下、本発明の実施形態による位置検出装置、位置検出システム、及び位置検出方法を説明する。
図１は、実施形態の位置検出システム１の構成例を示すブロック図である。位置検出システム１は、位置検出装置１０、建物内サインデータサーバ１１、及びカメラ１２の各々を備えている。ここで、建物内サインデータサーバ１１は、「建物内識別データサーバ」の一例である。
なお、本実施形態においては、位置検出システム１にはカメラ１２が複数台備えられている場合を例示したが、位置検出システム１には少なくとも一台のカメラ１２が備えられていればよい。
また、位置検出装置１０、建物内サインデータサーバ１１、及びカメラ１２の各々は、それぞれインターネットやローカルエリアネットワークなどを含む情報通信網５００に接続され、相互にデータの送受信を行う。建物内サインデータサーバ１１は、建物内に設置されたオンプレミス（on-premises）によるサーバ装置であってもよいし、情報通信網５００に接続された外部のクラウドコンピューティングによるサーバ装置であってもよい。

本実施形態では、カメラ１２の各々は、建物内を移動することが可能なカメラである。カメラ１２は、例えば、建物内にいる人間が携帯する携帯機器（スマートフォンなど含む）に備えられた撮像装置である。例えば、カメラ１２は、スマートフォンを持つ人間がいる位置から撮像された建物内の風景を示す撮像画像を、スマートフォンに備えられた通信機能を介して位置検出装置１０に送信する。また、カメラ１２は、建物内を巡回する巡回ロボットに備え付けられた３６０度カメラや、警備員の肩あるいは頭部などに備えられた撮像装置であってもよい。カメラ１２は、巡回ロボットや警備員がいる位置から撮像された建物内の風景を示す撮像画像を、巡回ロボットや警備員の撮像装置に備えられた通信機能を介して位置検出装置１０に送信する。

位置検出装置１０は、画像取得部１０１、識別画像抽出部１０２、位置検出部１０３、画像記憶部１０４、及び位置情報記憶部１０５の各々を備えている。
画像取得部１０１は、建物内においてカメラ１２の各々が撮像する撮像画像（「屋内画像」の一例）を、それぞれのカメラ１２から情報通信網５００を介して取得する。そして、画像取得部１０１は、カメラ１２の各々から取得した撮像画像を、位置検出部１０３に対して出力するともに、画像記憶部１０４に対して、カメラ１２のカメラ識別情報とタイムスタンプとを付加して書き込んで記憶させる。

識別画像抽出部１０２は、画像取得部１０１から供給される撮像画像から、建物内における位置を特定する識別情報を含む識別画像を抽出する。ここで識別情報とは、建物内における位置を特定する情報であって、例えば、建物内における看板、目印等の何らかの印を含むサイン、床、天井、壁、柱など外観、形状、模様、符号等である。ここで、外観には建物内における看板等に記載された文字や記号を含む。以下の説明では、このような識別情報を含む識別子のことを「サイン」と称する。

このような識別子としてのサインは、建物の管理者等により意図的に設けられた特徴的な模様や形状、或いは文字や２次元バーコードのような情報を含むものであってもよいし、意図的ではなく、建物を案内したり建物内の部屋や場所を識別したりする目的で一般的に設置されているものであってもよい。つまり、意図的である無しに関わらず、建物内に設けられた何らかの構造物であってよい。

位置検出部１０３は、画像取得部１０１により取得された撮像画像における撮像位置を、識別画像抽出部１０２により取得された識別画像を用いて検出する。位置検出部１０３は、例えば、識別画像に基づいて、建物内サインデータサーバ１１のデータベースを参照する。当該データベースには、建物内における位置を特定する様々なサインを含む撮像画像が、その画像の撮像位置に関する情報とともに記憶されている。
位置検出部１０３は、例えば、データベースから識別画像に似た特徴を有する画像を抽出し、抽出した画像に対応づけられている撮像位置に関する情報に基づいて、識別画像の撮像位置を特定する。そして、位置検出部１０３は、特定した識別画像の撮像位置を、画像取得部１０１により取得された撮像画像における撮像位置として検出する。
位置検出部１０３は、検出した撮像位置を示す情報を、位置情報記憶部１０５に対して、撮像画像を示す情報を付加して書き込んで記憶させる。この、位置検出部１０３が検出した撮像位置が、カメラ１２の屋内位置であり、カメラ１２を持つ（カメラ１２が搭載されたスマートフォンを所持する）人間の建物内における位置と推定される。

画像記憶部１０４は、画像取得部１０１により取得された撮像画像を、カメラ１２のカメラ識別情報とタイムスタンプとを対応させた情報を記憶する。
位置情報記憶部１０５は、位置検出部１０３により検出された撮像位置を、撮像画像を示す情報と対応させた情報を記憶する。

ここで、画像取得部１０１により取得される画像について、図２、及び図３を用いて説明する。
図２は、実施形態のカメラ１２が屋内を撮像する例を示すイメージ図である。
図３は、実施形態のカメラ１２により撮像された屋内画像の一例を示す図である。
図２に示すように、建物にいる人間がスマートフォンのカメラ１２により建物内の風景を撮像する。

図３に示すように、カメラ１２により撮像された画像には、サインＭ１～Ｍ４のように、部屋番号を示すプレートや床の模様など、建物における位置を特定する情報が含まれている。

本実施形態では、建物内の様々な箇所において撮像された画像を用いて、事前に学習させた学習済みモデル（位置検出モデル）を作成し、当該モデルを用いて画像の撮像位置を検出する。これにより、カメラ１２により撮像され画像に含まれる、建物の様々な場所における位置を特定するサインを手掛かりとして、カメラ１２の撮像位置を特定することが可能となる。

図１に戻り、建物内サインデータサーバ１１は、建物内における位置を一意に特定し得る様々なサインを含む画像が、その画像の撮像位置に関する情報とともに記憶するサーバ装置である。ここでの撮像位置に関する情報には、建物内における様々なサイン毎に、設置場所に関する情報や、サインが含まれる撮像画像、及びそのサインが含まれる撮像画像が撮像された撮像位置に関する情報が含まれる。設置場所に関する情報には、設置角度や設置方向等の設置態様、大きさ（サイズ）、等の情報が含まれる。

図４は、実施形態の建物内サインデータサーバ１１に記憶されるデータベースの一例を示す図である。
図４に示すように、データベースには、サイン番号、設置場所情報、設置角度、サインサイズ、サイン画像情報の各項目が含まれる。
サイン番号の項目には、サインを一意に識別する識別番号が記憶される。
設置場所情報の項目には、サインが設置される場所に関する情報が記憶され、この例では、設置対象物、部屋番号、及び位置座標の各項目を有する。設置対象物にはサインが設置されている対象物として、例えば、サインが壁に設置されている場合には「壁」、サインが床に設けられている場合には「床」などの情報が記憶される。また、部屋番号には、サインが設置されている部屋の番号が記憶される。また、設置位置座標には、サインが設置されている位置座標が記憶される。

設置角度の項目には、サインが設置されている態様として、サインと、そのサインが設置されている設置対象物との間の設置角度が記憶されている。例えば、サイン１０１が設置対象の壁に対して、水平角ａ度、垂直角ｂ度に設置されている場合、（水平角ａ度、垂直角ｂ度）というような情報が記憶される。
サインサイズの項目には、サインの大きさが記憶される。この例では、サインサイズとして、サインの（Ｗ（幅）、Ｈ（高さ）、Ｄ（奥行き））が記憶される。

サイン画像情報の項目には、サインが含まれる画像、及びその画像の撮像位置に関する情報が記憶される。この例では、サイン画像情報には撮像位置座標、撮像角度、及び撮像画像がそれぞれ記憶される。撮像位置座標には撮像画像撮像された場所の位置座標が記憶される。撮像角度には、例えば、サインの正面における撮像位置の水平及び垂直の各々の方向に対する角度が記憶される。撮像角度は、例えば、サインが設置された位置と同じ高さから、カメラ１２のレンズをサインの正面に平行にした状態で撮像された画像の場合、撮像角度は（水平０（ゼロ）度、垂直０度）となる。撮像角度は、例えば、カメラ１２の撮像角度を検出するセンサを設けることで取得することが可能である。例えば、スマートフォンにより撮像された場合、撮像時の撮像角度をスマートフォンのジャイロセンサで検出することで、撮像角度を取得できる。
撮像画像の項目にはサインが撮像された画像が記憶される。

図４に示すように、サイン１０１は、設置位置座標（ｘ、ｙ、ｚ）にある部屋番号「○階会議室２－Ａ」の壁に、設置角度（水平角ａ度、垂直角ｂ度）で設置された「会議室２－Ａ」と記されたプレートである。また、サイン１０１の撮像画像は、撮像位置座標（ｘｘ、ｙｙ、ｚｚ）から撮像角度（水平角ａａ度、垂直角ｂｂ度）で撮像された画像である。

サイン１０２は、設置位置座標（ｘ、ｙ、ｚ）にある部屋番号「○階会議室２－Ｂ」の壁に、設置角度（水平角ａ度、垂直角ｂ度）で設置された「会議室２－Ｂ」と記されたプレートである。また、サイン１０２の撮像画像は、撮像位置座標（ｘｘ、ｙｙ、ｚｚ）から撮像角度（水平角ａａ度、垂直角ｂｂ度）で撮像された画像である。

サイン１０３は、設置位置座標（ｘ、ｙ、ｚ）にある部屋番号「○階会議室２－Ａ」の床に、設置角度（水平角ａ度、垂直角ｂ度）で設置されたドット柄のカーペットである。また、サイン１０３の撮像画像は、撮像位置座標（ｘｘ、ｙｙ、ｚｚ）から撮像角度（水平角ａａ度、垂直角ｂｂ度）で撮像された画像である。

サイン１０４は、設置位置座標（ｘ、ｙ、ｚ）にある部屋番号「○階会議室２－Ｂ」の床に、設置角度（水平角ａ度、垂直角ｂ度）で設置された斜線模様のカーペットである。また、サイン１０４の撮像画像は、撮像位置座標（ｘｘ、ｙｙ、ｚｚ）から撮像角度（水平角ａａ度、垂直角ｂｂ度）で撮像された画像である。

すでに述べたように、識別画像抽出部１０２は、画像取得部１０１から供給される撮像画像から識別画像を抽出する。具体的には、識別画像抽出部１０２は、図３に示すような撮像画像から、サインＭ１～Ｍ４をそれぞれ抽出する。
位置検出部１０３は、識別画像抽出部１０２からの識別画像に基づいて、図４に示すようなデータベースを参照し、識別画像と似た画像を抽出する。具体的には、識別画像抽出部１０２は、サインＭ１を含む識別画像に基づいて、データベースに記憶されたサイン１０１の画像を抽出する。
ここで、サインＭ１を含む識別画像とは、例えば、図３に示すような撮像画像であって、識別画像抽出部１０２により、撮像画像にサインＭ１の部分が識別子として抽出された画像である。
位置検出部１０３は、抽出したデータベースのサイン１０１の画像に対応付けられている情報に基づいてカメラ１２の撮像位置を特定する。

位置検出部１０３は、図３に示すような撮像画像から、カメラ１２の撮像位置を特定する場合、サインＭ１～Ｍ４をそれぞれ示す識別画像の各々を用いて、総合的に撮像位置を検出するようにしてよい。例えば、サインＭ１～Ｍ４が同時に写り込んでいることから、各々の設置位置に基づいて、サインＭ１～Ｍ４の各々を同時に見渡すことが可能な位置を特定するようにしてもよい。

また、位置検出部１０３は、識別画像に示されるサインの形状を、データベースに記憶されたサイン画像の形状と比較して、撮像位置を特定するようにしてもよい。例えば、データベースに記憶されたサイン１０１の画像では、プレートの形状が左右の辺の長さが等しい長方形形状であり、識別画像に示されるサインの形状は右側の辺が左側の辺に対して短い台形形状であった場合、位置検出部１０３は、データベースに記憶された撮像位置よりも、正面方向からみて左側に位置する場所から撮像されたと判定することが可能である。

また、位置検出部１０３は、識別画像に示されるサインの大きさを、データベースに記憶されたサイン画像の大きさと比較して、撮像位置を特定するようにしてもよい。例えば、データベースに記憶されたサイン１０１の画像より、識別画像のほうがプレートの大きさが小さく撮像されている場合、位置検出部１０３は、データベースに記憶された撮像位置よりも、サイン１０１の設置位置から離れた位置から撮像されたと判定することが可能である。この場合、データベースに記憶される画像と、カメラ１２により撮像される画像のレンズ倍率とが一定の比率となるように予め定めておく。又は、データベースに、撮像が送に対応づけてレンズ倍率を記憶させ、カメラ１２により画像を取得する際に、レンズ倍率を示す情報も取得するようにする。

図５は、実施形態の位置検出システム１が位置を検出する処理の流れについて説明するシーケンスチャートである。
まず、カメラ１２は、建物内において、建物内の風景を撮像する（ステップＳ１０１）。
カメラ１２は、撮像した撮像画像を位置検出装置１０に送信する（ステップＳ１０２）。
画像取得部１０１は、カメラ１２により撮像された撮像画像を取得する（ステップＳ１０３）。画像取得部１０１は、取得した画像を識別画像抽出部１０２に出力する。位置検出部１０３は、識別画像抽出部１０２から供給された識別画像に基づいて、建物内サインデータサーバ１１を参照する（ステップＳ１０５）。

位置検出部１０３は、データベースから識別画像に似た画像を抽出し（ステップＳ１０６）、抽出した画像に対応づけて記憶された情報を取得する（ステップＳ１０７）。
位置検出部１０３は、データベースから取得した情報に基づいて、撮像画像の撮像位置として検出する（ステップＳ１０８）。
位置検出部１０３は、検出した撮像位置を、撮像画像を識別する情報に対応づけて位置情報記憶部１０５に記憶させる（ステップＳ１０９）。

以上説明したように、実施形態の位置検出装置１０は、建物内で撮像された画像を、撮像位置を検出する対象を示す対象画像として取得する画像取得部１０１と、対象画像から、建物内における位置を特定する識別情報を含む識別画像を抽出する識別画像抽出部１０２と、識別画像に基づいて、対象画像が撮像された撮像位置を検出する位置検出部１０３とを備える。これにより、実施形態の位置検出装置１０は、識別画像抽出部１０２が抽出した特徴に基づいて、建物内のその特徴がある位置を撮像可能な場所を撮像位置と特定することができ、ビーコン、無線タグ、ｗｉｆｉ電波、地磁気、ＩＭＥＳ、ＰＨＳ等の位置を検出するための専用機器を用いることなく、屋内にいる人間が屋内の様子を撮像するだけでその人間のいる位置を検出することができる。

また、実施形態の位置検出装置１０では、位置検出部１０３は、建物内における位置を特定する特定画像に、当該特定画像を撮像した撮像位置に関する情報が付されたデータベース例えば、建物内サインデータサーバ１１に記憶されるデータベース）を用いて、識別画像に対応する応じた特定画像を前記データベースから抽出し、抽出した特定画像に対応する撮像位置を、対象画像が撮像された撮像位置として検出する。これにより、実施形態の位置検出装置１０は、データベースに記憶された画像の情報に基づいて、より精度よく撮像位置を検出することが可能となる。

また、実施形態の位置検出装置１０では、位置検出部１０３により検出された撮像位置を示す情報を撮像画像を識別する情報とともに記憶する位置情報記憶部１０５を備える。これにより、同じカメラ１２により撮像された撮像画像とその撮像位置を時系列に並べることで、特定のカメラ１２（を携帯する人間）の移動履歴を把握することが可能である。

なお、上述した例では、建物内サインデータサーバ１１のデータベースが、位置検出装置１０の外部に設けられた場合を例示して説明したが、これに限定されない。データベースは位置検出装置１０の内部に設けられていてもよい。この場合、位置検出装置１０は、データベースを記憶する記憶部（不図示）を備える。このような構成とすることで、位置検出装置１０は、情報通信網５００を介さずに撮像位置を検出することができるため、通信負担の低減を図ることが可能となる。

また、図１における位置検出システム１、及び位置検出装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、カメラ１２の撮像位置を検出する制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…位置検出システム
１０…位置検出装置
１１…建物内サインデータサーバ（建物内識別データサーバの一例）
１２…カメラ
１０１…画像取得部
１０２…識別画像抽出部
１０３…位置検出部
１０４…画像記憶部
１０５…位置情報記憶部

Claims (3)

1. 建物内で撮像された対象画像を取得する画像取得部と、
   建物内における位置を特定する特定画像と、当該特定画像を撮像した撮像位置に関する情報と、前記特定画像に含まれるサインが設置された位置を示す設置位置情報と、が対応づけられたデータを記憶する建物内識別データサーバと、
   前記対象画像が撮像された撮像位置を検出する位置検出部と
   を備え、
   前記位置検出部は、前記対象画像に含まれるサインに応じた特定画像を前記建物内識別データサーバから抽出し、抽出した特定画像に対応する撮像位置を、対象画像が撮像された撮像位置として検出するものであり、前記対象画像から複数のサインが得られる場合に、複数のサインのそれぞれの設置された位置に基づいて、当該複数のサインのそれぞれを同時に見渡すことが可能な位置を、撮像位置として特定する
   ことを特徴とする位置検出システム。
2. 前記位置検出部により検出された撮像位置を示す情報を、前記対象画像を識別する情報とともに記憶する位置情報記憶部
   を更に備える
   ことを特徴とする請求項１に記載の位置検出システム。
3. 画像取得部で建物内において撮像された対象画像を取得し、
   位置検出部で前記対象画像が撮像された撮像位置を検出する、位置検出方法であって、
   前記位置検出部は、建物内における位置を特定する特定画像と、当該特定画像を撮像した撮像位置に関する情報と、前記特定画像に含まれるサインが設置された位置を示す設置位置情報と、が対応づけられたデータを記憶する建物内識別データサーバを参照し、
   前記対象画像が撮像された撮像位置を検出し、
   前記撮像位置を検出することは、
   前記対象画像に含まれるサインに応じた特定画像を前記建物内識別データサーバから抽出し、抽出した特定画像に対応する撮像位置を、対象画像が撮像された撮像位置として検出することを含むとともに、前記対象画像から複数のサインが得られる場合に、複数のサインのそれぞれの設置された位置に基づいて、当該複数のサインのそれぞれを同時に見渡すことが可能な位置を、撮像位置として特定することを含む
   ことを特徴とする位置検出方法。

Images