WO2020202530A1 - 画像による移動体測位システム - Google Patents

Abstract

提案する、画像による移動体測位システムは、屋内で移動する移動体１を上方から撮像可能とするカメラ３で撮像した映像データを画像解析して求めた映像データ内における移動体１の画像内位置情報に対し、カメラ３の絶対位置情報を用いて移動体１の絶対位置情報を求め、対象となる移動体１が所持する無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報と先ほど求めた移動体１の絶対位置情報とに基づいて移動体１の判別を行う。その結果、複数の移動体１がほぼ同一方向に移動しているような映像データの場合であっても、測位の対象である特定の無線端末２を所持している移動体１を適切に判別できる。この特定した移動体１の所持する無線端末２は、移動体絶対位置算出部５１が映像データの画像解析より求めた測位精度が高い絶対位置情報を入手できる。

Description

画像による移動体測位システム

本発明は、屋内で移動する移動体の位置を測定する移動体測位システムに関する。特に、比較的に測位精度が高くない、ビーコン等を用いた無線交信によるものと、測位精度が高い、移動体を含む映像データの画像解析によるものを組み合わせた移動体測位システムに関する。

人や車を移動体とする、屋外での移動体測位システムでは、ＧＰＳ（Ｇｌｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）と呼ばれる衛星を用いた測位技術が、よく利用されている。これは、３つの衛星と交信し、それらとの距離から受信端末としての無線端末の位置を算出するというものである。ただし、この衛星による測位技術は、衛星からの電波が届かない屋内、地下街などでは利用できない。

一方、屋内での測位技術としては、例えば、電波や音波等を送信する固定された装置である無線交信機器を利用した方法がよく知られている。この無線交信機器は、広い意味で、ビーコンと総称されているものである。無線交信機器による屋内測位技術としては、具体的には、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）ビーコンによる方法やＷｉ-Ｆｉ等の無線ＬＡＮによる方法がよく知られている。前者は、無線交信機器として電波を送信するビーコン送信機を用いる。後者は、無線交信機器としてＷｉ-Ｆｉ等の無線ＬＡＮのアクセスポイントが用いる。いずれの方法も、無線端末と絶対位置情報の分かっている無線交信機器である、ビーコン送信機やアクセスポイントとの交信状況に基づいて、１点測位や３点測位などにより、無線端末の位置を推定するものである。一般に、無線交信機器から送信された電波の、受信された電波強度により無線端末の位置を推定するものである。無線端末として、ＢＬＥ通信機能や無線ＬＡＮ機能を有するスマートフォンであれば、これらの実現が可能である。なお、ここで、広く知られているＢｌｕｅｔｏｏｔｈは、登録商標として登録されているものである。

その他の屋内での測位技術としては、歩行者自律航法ＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ　Ｄｅａｄ　Ｒｅｃｋｏｎｉｎｇ）と呼ばれる方法がある。この方法は、無線端末としてのスマートフォンなどに搭載されたセンサ、例えば、加速度計、および、方位計を利用するものである。方位計は、例えば、地磁気または角速度を検出して実現するものが知られている。このＰＤＲと呼ばれる方法は、現在の位置からの相対的な、移動方向や移動量をセンサにより測定する方法であるため、測定誤差が蓄積されるという問題がある。そのため、絶対位置情報を用いて位置補正を行う必要がある。

ここで説明した、無線交信機器を利用した方法や歩行者自律航法ＰＤＲと呼ばれる方法も、いずれもスマートフォンなどの無線端末を用いた無線交信により、無線端末に対する屋内での測位を実現するものである。そして、これら無線交信による屋内での測位精度は、例えば、１ｍから数ｍ程度であるとされている。無線交信に用いる代表的な電波の場合であれば、周辺の影響を受けやすいために十分な測位精度が得られないことがある。例えば、無線交信機器と無線端末との間に人や物が存在すると、電波の反射や吸収によって、測位精度に影響が出る場合があることが知られている。

そこで、より高い精度で移動体が所持する無線端末の位置を推定する、従来の移動体測位システムが提案されている（例えば、特許文献１参照）。この従来の移動体測位システムは、比較的に測位精度が高くない、ビーコン等を用いた無線交信によるものと、測位精度が高い、移動体を含む映像データの画像解析によるものを組み合わせて実現するものである。具体的には、この従来の移動体測位システムは、カメラの映像データに対して画像解析して得られた、移動体の位置と移動方向を検出し、前述したＰＤＲ機能を有する無線端末から得られた、位置と移動方向を照合し、その照合結果に基づいて、カメラ画像の画像解析結果である位置情報を無線端末の位置情報として利用するというものである。

しかしながら、特許文献１に開示されている従来の移動体測位システムには、以下に示す問題点があった。すなわち、この従来の移動体測位システムでは、例えば、通路などを歩行する複数の人がほぼ同一方向に移動しているような映像データである場合には、映像データの解析から得られる、複数人の移動方向がほぼ同じとなるために、複数の人の中から、測位の対象である特定の無線端末を所持している人を判別することが困難である。その結果、測位の対象である人の正確な位置を推定することができないという問題があった。

日本特開２０１５－１８４２４８公報

本発明は、このような課題を解決するためになされたものである。その目的は、たとえ、複数の移動体がほぼ同一方向に移動しているような映像データである場合であっても、複数の移動体の中から、測位の対象である特定の無線端末を所持している移動体を判別できる、画像による移動体測位システムを提供することである。なお、本発明では、移動体として、人、ロボット、台車、搬送車などの屋内で移動するものを想定している。

本発明に係る、画像による移動体測位システムは、屋内で移動する移動体を上方から撮像可能とするカメラと、カメラで撮像した、移動体を含む映像データを画像解析して、映像データ内における移動体の画像内位置情報を求める画像処理部と、画像処理部が求めた画像内位置情報とあらかじめ設定されたカメラの絶対位置情報とに基づいて映像データ内に映る移動体の絶対位置情報を求める移動体絶対位置算出部と、移動体が所持する無線端末から自身の絶対位置問い合わせがあった場合に、当該絶対位置問い合わせがあった無線端末を所持する移動体を映像データ内で特定する上で候補となる移動体の絶対位置情報と絶対位置問い合わせがあった無線端末から得られる、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、絶対位置問い合わせがあった当該無線端末を所持する移動体を映像データ内で特定する移動体特定部と、移動体の所持する無線端末から自身の絶対位置問い合わせがあった場合に、移動体特定部の映像データ内で特定した移動体の所持する無線端末が、移動体絶対位置算出部の求めた絶対位置情報を入手可能となるように、絶対位置問い合わせがあった無線端末から得られる無線端末識別情報を用いて処理する移動体絶対位置処理部と、を備えたことを特徴とするものである。

なお、本発明において、「部」、「装置」、「システム」とは、物理的な手段に限るものではなく、その「部」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」、「システム」が有する機能を２つ以上の物理的な手段や装置によって実現しても良い。また、2つ以上の「部」、「装置」、「システム」の機能が一つの物理的な手段や装置によって実現しても良い。

本発明に係る画像による移動体測位システムによれば、屋内で移動する移動体を上方から撮像可能とするカメラで撮像した、移動体を含む映像データを画像解析して求めた映像データ内における移動体の画像内位置情報に対し、カメラの絶対位置情報を用いて移動体の絶対位置情報を求め、対象となる移動体が所持する無線端末の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報と先ほど求めた移動体の絶対位置情報とに基づいて移動体の判別を行うため、結果として、対象となる移動体を映像データ内で適切に特定することができる、という効果を奏するものである。そのため、たとえ、複数の移動体がほぼ同一方向に移動しているような映像データであるような場合であっても、複数の移動体の中から、測位の対象である特定の無線端末を所持している移動体を適切に判別できることから、この特定した移動体の所持する無線端末では、移動体絶対位置算出部が求めた絶対位置情報を入手できる、という効果を奏するものである。

本発明の実施の形態１に係る画像による移動体測位システムの構成を説明するための図である。 絶対位置問い合わせがあった時刻における映像データ上に、画像内位置情報と位置関連情報とをプロットした、映像データ上に一つの移動体が映っている場合の図である。 絶対位置問い合わせがあった現在時刻における映像データ上に、画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体が映っている場合の図である。 絶対位置問い合わせがあった現在時刻と一つ前のサンプル時刻における映像データを重ね、それぞれの時刻の画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体が映っている場合の図である。 絶対位置問い合わせがあった現在時刻を含む、連続した３つのサンプル時刻における映像データを重ね、これらの時刻の画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体が映っている場合の図である。

以下では、本発明に係る画像による移動体測位システムについて、各実施の形態にしたがって添付の図面を参照しながら説明する。なお、各実施の形態および各図において、同一または相当する部分には原則、同一の符号を付けて、重複する説明は適宜に簡略化または省略する。なお、図および明細書本文に用いている符号に関し、特に移動体に対する符号は、１と付することを基本にしているが、個としての移動体だけでなく、同種・異種を含めた総称としての移動体の符号についても、１と付することがある。また、移動体が複数あるときに、別々であることを強調するために、そのときはそれぞれの符号を１１、１２　と付することがある。また、無線端末についても、同様に、符号は、２と付することを基本としている。ただし、個だけでなく、または、総称としての場合も、同じ２を付することがあるため、個なのか、総称なのかのいずれを指しているかは文脈より、適宜、理解する必要がある。
なお、本発明は、以下に示す実施の形態１ないし３のいずれかに限定されることなく、本発明における技術思想を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像による移動体測位システムの構成を説明するための図である。本発明の実施の形態１に係る画像による移動体測位システムは、カメラ３、画像処理装置４および位置管理サーバ５から構成されるものである。なお、ここでは、移動体１、無線端末２およびビーコン６は、実施の形態１に係る画像による移動体測位システムには含まれないとしている。

ここで、カメラ３は、屋内で移動する移動体１を上方から撮像可能とする。なお、ここでの上方についての定義は、真上だけでなく斜め上方も含むものとする。画像処理装置４は、カメラ３で撮像した、移動体１を含む映像データを画像解析して、映像データ内における移動体１の画像内位置情報を求める。なお、映像データは、特に、真上から撮像可能なカメラ３で撮像することが望ましいが、斜め上方からの撮像による映像データであって良い。例えば、斜め上方からの撮像による映像データから移動体１の床面上の位置が推定できるような場合であれば、その映像データに対して射影変換などの画像処理を行うことによって、疑似的に真上から撮像した映像データを得ることは可能である。したがって、この疑似的な映像データを利用すれば良い。

位置管理サーバ５は、移動体絶対位置算出部５１、移動体特定部５２および移動体絶対位置処理部５３から構成される。そして、移動体絶対位置算出部５１は、画像処理部４が求めた画像内位置情報とあらかじめ設定されたカメラ３の絶対位置情報とに基づいて映像データ内にある移動体１の絶対位置情報を求める。

移動体特定部５２は、移動体１が所持する無線端末２から自身の絶対位置問い合わせがあった場合に、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する。

また、移動体特定部５２ａは、この移動体特定部５２とは異なって、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する上で候補となる移動体１を、画像処理部４の求めた特徴情報により選択するものであって、この特徴情報に基づいて、１台または複数のカメラ３で撮像した映像データ内の移動体１の移動連続性を評価して同一であるか否かを判断することで、特定すべき移動体１の候補を選択し、移動体１が所持する無線端末２から自身の絶対位置問い合わせがあった場合に、絶対位置問い合わせがあった無線端末２を所持する移動体を映像データ内で特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２から得られる、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定するというものであってもよい。ただし、このときは、画像処理部４は、移動体１を含む映像データを画像解析することによって、映像データ内における移動体１の画像内位置情報を求める基本的な機能だけでなく、さらに、映像データ内における移動体１の色および形状の少なくともいずれかの特徴情報を求める機能を持つものであることが有効である。ここで、この映像データ内における移動体１の色および形状などの特徴情報を用いることで、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２から得られる、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とを照合させることができると、対象となる無線端末２を所持する移動体１の候補の絞り込みが効率良く実現できることから、映像データ内での絶対位置問い合わせがあった無線端末２を所持する移動体１の特定が可能になるという効果がある。なお、本発明では、ここでの特徴情報の一つである、移動体１の形状とは、例えば、人、ロボット、台車、搬送車などのそれぞれ屋内で移動するものによる種別による差異として利用できるものであると理解できる。

移動体絶対位置処理部５３は、移動体１の所持する無線端末２から自身の絶対位置問い合わせがあった場合に、移動体特定部５２の特定した移動体１の所持する無線端末２が、移動体絶対位置算出部５１の求めた絶対位置情報を入手可能となるように、絶対位置問い合わせがあった無線端末２から得られる無線端末２識別情報を用いて処理する。特に、図１に示す実施の形態１に係る画像による移動体測位システムでは、移動体絶対位置処理部５３は、絶対位置問い合わせがあった無線端末２に対し移動体絶対位置算出部５１の求めた絶対位置情報を位置管理サーバ５から、絶対位置問い合わせがあった無線端末２から得られる無線端末２識別情報を用いて、対象となる無線端末２に応答する機能を実現するものである。

なお、ここでは、移動体１を含む映像データの画像解析による測位に関する測定精度は、後述するビーコン等を用いた無線交信による測位に関する測定精度と比べて、高い場合を想定している。

ここで、移動体特定部５２において用いる移動体特定情報は、無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を少なくとも含むものである。そして、移動体特定情報は、位置関連情報の他に、移動体１に関する個体情報を含んでも良い。なお、移動体特定情報が個体情報を含む場合については後述する。

ここでの位置関連情報とは、無線端末２と絶対位置情報の分かっている無線交信機器との交信状況に基づいて当該無線端末２の位置情報を推定可能とする情報である。また、無線交信機器として電波や音波等を送信する固定された装置を利用した方法によって得られる情報であるとも言える。この装置は、広くビーコンと総称されているものである。この位置関連情報は、先の背景技術で説明しているように、ＢＬＥビーコンによる方法やＷｉ-Ｆｉ等の無線ＬＡＮによる方法により得られるものである。具体的には、無線端末２と絶対位置情報の分かっている無線交信機器である、ビーコン送信機やアクセスポイントとの交信状況に基づいて、１点測位や３点測位などにより、無線端末２の位置を推定可能とする情報である。ここでの交信状況としては、一般に、無線交信機器から送信された電波の、無線端末２により受信した電波強度を用いることが多い。無線端末２として、例えば、ＢＬＥ通信機能や無線ＬＡＮ機能を有するスマートフォンを用いることができる。ＢＬＥビーコンによる方法およびＷｉ-Ｆｉ等の無線ＬＡＮによる方法のいずれも、無線交信機器を利用した方法と呼ぶことができる。図１に示すビーコン６は、ここで述べた、ＢＬＥビーコンにおけるビーコン送信機または無線LANのアクセスポイントを意味するものである。

そして、無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む、図１に示す移動体特定情報は、実施の形態１に係る画像による移動体測位システムに必要な情報である。図１では、この移動体特定情報は、移動体１、無線端末２およびビーコン６の構成により得ることができることを示している。そのため、前述において、図１に示す、移動体１、無線端末２およびビーコン６は、実施の形態１に係る画像による移動体測位システムには含まれないと説明したものである。

なお、図１に示したビーコン６を用いることなく、無線端末２にセンサが搭載されていて、現在の位置からの相対的な、移動方向や移動量を測定できる場合がある。これは、先の背景技術で説明している、歩行者自律航法ＰＤＲと呼ばれる方法のことである。無線端末２に加速度や方位に関する情報が入手できるセンサが搭載されている場合には、この無線端末２に搭載されたセンサから出力されたセンサ出力情報に基づいて無線端末２の位置情報が推定できる。これらのセンサは、スマートフォンの多くの機種において搭載されている。そのため、無線端末２として、例えばスマートフォンを利用すれば、歩行者自律航法ＰＤＲによる方法は容易に実現できる、と言える。ただし、このときの位置情報には、測定誤差が蓄積されているという問題がある。

この歩行者自律航法ＰＤＲと呼ばれる方法を用いた場合には、図１に示したビーコン６を用いることなく、無線端末２に搭載されたセンサから出力されたセンサ出力情報に基づいて無線端末２の位置情報を、位置関連情報として利用できる。さらには、位置関連情報として、無線端末２の位置情報そのものではなくて無線端末２の位置情報を推定可能とする、無線端末２に搭載されたセンサからの出力されたセンサ出力情報、または、当該センサ出力情報に基づく情報であってもよい。ここでのセンサ出力情報とは、例えば、少なくとも加速度に関するセンサおよび方位を得ることが可能な、地磁気または角速度に関するセンサ、の出力情報である。そして、センサ出力情報に基づく情報とは、例えば、これらのセンサ出力情報を基に演算された速度ベクトル情報である。このセンサ出力情報に基づく情報とは、この情報に対し演算を行うことで無線端末２の位置情報を推定できるものである。既に説明しているように、この位置関連情報を含む移動体特定情報を少なくとも用いて、移動体特定部５２は、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定することになる。

ここで説明した、無線交信機器を利用した方法や歩行者自律航法ＰＤＲと呼ばれる方法も、いずれもスマートフォンなどの無線端末２を用いた無線交信により、無線端末２に対する屋内での測位を実現するものである。そして、これら無線交信による屋内での測位精度は、１ｍから数ｍ程度であるとされており、さらなる測位精度の向上が望まれている。

そこで、本発明の実施の形態１に係る、画像による移動体測位システムは、従来の移動体測位システムでも採用されたことがある基本的な考え方として、比較的に測位精度が高くない、ビーコン６等を用いた無線交信によるものと、測位精度が高い、移動体１を含む映像データの画像解析によるものを組み合わせて実現することに基づくシステムである。

図１に示す、本発明の実施の形態１に係る、画像による移動体測位システムにおける構成の特徴は、ここまで説明してきたような、カメラ３、画像処理部４、移動体絶対位置算出部５１、移動体特定部５２、および、移動体絶対位置処理部５３を備えたことにある。移動体特定部５２は、少なくとも位置関連情報を含む移動体特定情報を用いて絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定することになる。そして、位置関連情報は、無線交信機器を利用した方法や歩行者自律航法ＰＤＲと呼ばれる方法に代表される、無線端末２を用いた無線交信により得られる位置情報を含むものである。この位置情報を入手する方法については、先の背景技術およびここまでで説明しているので、詳細は割愛するが、基本的な屋内での測位技術としてよく知られている方法が利用できる。

本発明の実施の形態１に係る、画像による移動体測位システムの基本的な動作は、以下のとおり。

まず、カメラ３、画像処理部４および移動体絶対位置算出部５１により、屋内で移動する移動体１を上方から撮像可能とするカメラ３で撮像した、移動体１を含む映像データを画像解析して求めた映像データ内における移動体１の画像内位置情報に対し、カメラ３の絶対位置情報を用いて移動体１の絶対位置情報を求める。

次に、移動体特定部５２により、測位の対象となる移動体１が所持する無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報と先ほど求めた移動体１の絶対位置情報とに基づいて移動体１の判別を行う。位置関連情報は、すでに繰り返し述べているように、無線交信機器を利用した方法や歩行者自律航法ＰＤＲと呼ばれる方法に代表される、無線端末２を用いた無線交信により得られる位置情報を含むものである。

移動体特定情報としては、位置関連情報の他に、この位置情報に対応してあらかじめ設定された誤差範囲情報を含んでもよい。さらに、移動体特定情報としては、移動体１に関する個体情報を含んでもよい。これらの移動体特定情報は、たとえ、複数の移動体１がほぼ同一方向に移動しているような映像データであるような場合であっても、複数の移動体１の中から、測位の対象である無線端末２を所持している移動体１を適切に特定する上で必要な情報である。

その次に、移動体絶対位置処理部５３により、移動体１が所持する無線端末２から自身の絶対位置問い合わせがあった場合に、移動体特定部５２が映像データ内で特定した移動体１の所持する無線端末２が、移動体絶対位置算出部５１の求めた絶対位置情報を入手可能とする処理を行う。

以上の動作により、対象となる移動体１を映像データ内で適切に特定することができる、という効果を奏する。さらにその結果、たとえ、複数の移動体１がほぼ同一方向に移動しているような映像データであるような場合であっても、複数の移動体１の中から、測位の対象である特定の無線端末２を所持している移動体１を適切に特定できることから、この特定した移動体１の所持する無線端末２では、移動体絶対位置算出部５１が求めた絶対位置情報を入手できる、という効果を奏する。

以上において、本発明の実施の形態１に係る、画像による移動体測位システムの基本的な構成とその動作について説明した。

次に、本発明の実施の形態１に係る、画像による移動体測位システムを構成する各装置、各部の基本的な動作シーケンスについて、図１をもう一度用いて説明する。

図１において、（　）内に数値が記入された記号について、その数値は手順を示すものである。すなわち、図１内にある記号の（１）～（６）は、それぞれステップ１～ステップ６の手順を示すものである。

ステップ１では、移動体１から無線端末２内に搭載されているアプリケーションプログラムを起動し、無線端末２がビーコン電波を受信する。あるいは、無線端末２がビーコン電波を受信することで無線端末２内に搭載される自動起動可能なアプリケーションプログラムが起動する。なお、記号（１）は、この段落番号において説明した動作を示す。

ステップ２では、位置管理サーバ５が、ビーコン６の電波情報から移動体１の位置情報（精度の粗い、無線交信に基づく）を把握し、無線交信に基づく位置検出の誤差範囲情報を参考の上で、移動体１の位置情報（精度の粗い、無線交信に基づく）と現在時間を用いて移動体１の無線交信に基づく現在位置を把握する。なお、記号（２）は、この段落において説明した動作を示す。

ステップ３では、一方、画像処理部４が、カメラ３で撮像した映像データに対して画像解析することで、映像データ内の移動体１について画像内位置情報を求める。なお、記号（２）は、この段落において説明した動作を示す。

ステップ４では、位置管理サーバ５内にある移動体絶対位置算出部５１が、画像処理部４から入手した移動体１の画像内位置情報とあらかじめ設定されたカメラ３の絶対位置情報とに基づいて映像データ内にある移動体１の絶対位置情報を算出する。なお、記号（４）は、この段落において説明した動作を示す。

ステップ５では、位置管理サーバ５内にある移動体特定部５２が、移動体１の所持する無線端末２から自身の絶対位置問い合わせがあった場合に、絶対位置問い合わせがあった無線端末２を所持する移動体１を特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２の、時刻に対応した屋内移動に伴う位置関連情報（位置情報、誤差範囲情報）を含む移動体特定情報（位置関連情報、または、位置関連情報と個体情報）とに基づいて、絶対位置問い合わせがあった当該無線端末２を所持する移動体１を特定する。

なお、これまで、無線端末２の、時刻に対応した屋内移動に伴う位置関連情報という文言は既に何度か出てきている。本来は、現時点での移動体１の絶対位置が上手く特定できるということが望ましいが、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２から得られる、現時点での位置関連情報を含む移動体特定情報とに基づいて、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定できない場合がある。例えば、２つの移動体１１、１２の絶対位置がほぼ同じである場合であれば、２つの移動体１１、１２のうちどちらが対象として特性すべき移動体、すなわち、無線端末２であるかは不明である。そこで、移動体特定部５２において、無線端末２の、位置関連情報を含む移動体特定情報を、現時点だけではなく、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とすることによって、２つの移動体１１、１２のうちどちらが対象として特性すべき移動体、すなわち、無線端末２であるかの判断情報を増大させることを目指す。後ほど、移動体特定部５２の具体的な動作内容について、図２から図５を用いながら説明する。

ここで、移動体特定情報に含まれることがある個体情報とは、移動体１に関する色および形状の少なくともいずれかに関する情報のことである。なお、本発明では、ここでの個体情報の一つである、移動体１の形状とは、例えば、人、ロボット、台車、搬送車などのそれぞれ屋内で移動するものによる種別による差異として利用できるものであると理解できる。そして、もし移動体１に関する個体情報が利用できる場合には、移動体特定部５２は、移動体特定情報である、位置関連情報と個体情報とに基づいて、１台または複数のカメラ３で撮像した映像データ内の移動体１が同一であるか否かを判断するのに利用して、対象となる移動体１を特定する。このとき、画像処理部４は、移動体１を含む映像データを画像解析することによって、映像データ内における移動体１の画像内位置情報を求める基本的な機能だけでなく、さらに、映像データ内における移動体１の色および形状の少なくともいずれかの特徴情報を求める機能を持つものを前提とする。そして、移動体特定部５２は、画像処理部４の求めた特徴情報と移動体特定情報に含まれる個体情報とに基づいて、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する。ここで、移動体特定部５２が、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定する場合に、画像処理部４の求めた特徴情報と移動体特定情報に含まれる個体情報と照合させることができると、対象となる無線端末２を所持する移動体１の候補の絞り込みが効率良く実現できることから、映像データ内での絶対位置問い合わせがあった無線端末２を所持する移動体１の特定が可能になるという効果がある。
なお、記号（５）は、この段落番号において説明した動作が移動体特定部５２で実行されることを示す。

ステップ６では、位置管理サーバ５内にある移動体絶対位置処理部５３が、移動体１の所持する無線端末２から自身の絶対位置問い合わせがあった場合に、移動体特定部５２の特定した移動体１の所有する無線端末２が、移動体絶対位置算出部５１の求めた絶対位置情報を入手可能とする処理を行う。なお、記号（６）は、この段落で説明した動作を示す。

次に、既に述べているように、移動体特定部５２は、無線端末２を所持する移動体１を映像データ内で特定する上で候補となる移動体１の絶対位置情報と絶対位置問い合わせがあった無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、絶対位置問い合わせがあった無線端末２を所持する移動体１を映像データ内で特定するものである。
ここでは、無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報に着目して、図２から図５を用いながら、移動体特定部５２の具体的な動作内容について説明する。
図２～図５に記載されている、（　）内に数値が記入された記号は、図１において説明した内容と同じものである。図２～図５に記載されている記号は、（２）～（５）であり、これらは、先ほど図１を用いた説明におけるステップ２～ステップ５の手順に対応するものである。

図２は、絶対位置問い合わせがあった時刻における映像データ上に、画像内位置情報と位置関連情報とをプロットした、映像データ上に一つの移動体１が映っている場合の図である。
次に、図３～図５は、現在時刻から過去の時刻へとそれぞれトレースした関係にある図である。
図３は、絶対位置問い合わせがあった現在時刻における映像データ上に、画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体１が映っている場合の図である。
図４は、絶対位置問い合わせがあった現在時刻と一つ前のサンプル時刻における映像データを重ね、それぞれの時刻の画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体１が映っている場合の図である。
図５は、絶対位置問い合わせがあった現在時刻を含む、連続した３つのサンプル時刻における映像データを重ね、これらの時刻の画像内位置情報と位置関連情報とをプロットした、映像データ上に二つの移動体１が映っている場合の図である。

まず図２は、画像処理部４が画像解析により求めた、映像データ内における移動体１の画像内位置情報と、絶対位置問い合わせがあった無線端末２から得られる、時刻に対応した屋内移動に伴う位置関連情報（位置情報、誤差範囲情報）とを、絶対位置問い合わせがあった時刻における映像データ上にプロットした図である。ただし、映像データ上に一つの移動体１が映っている場合である。

図２内において、現在時刻が０１：００時点での映像データ上には、一つの移動体Ｎ１が画像解析により抽出されている。そして、図１を用いた説明におけるステップ３～ステップ４を通じて、画像内位置情報の取得および絶対位置情報の算出が実行済の状況にある。この絶対位置情報は、図２内にある２次元座標であるＮ１（０１：００）である。一方、無線端末２から得られた現在時刻が０１：００時点での位置情報および誤差範囲情報のそれぞれが、図２では、円の中心と円の半径として表れている。図２のように、映像データを基に得られる絶対位置情報である２次元座標であるＮ１（０１：００）が、無線端末２から得られる、位置情報および誤差範囲情報で定まる円を示すＫ（０１：００）の内側にあることから、絶対位置問い合わせがあった無線端末２を所持する移動体は、Ｎ１と特定することが適切であると判断できる。そして、移動体絶対位置処理部５３は、絶対位置問い合わせがあった無線端末２から得られた無線端末２識別情報を用いて処理することで、移動体特定部５２の映像データ内で特定した移動体の所持する無線端末２が移動体絶対位置算出部５１の求めた絶対位置情報を入手可能となる。

次に、図２の映像データ上に一つの移動体が映っている場合と異なって、映像データ上に二つの移動体が映っている場合について、現在時刻から過去の時刻へとそれぞれトレースした関係にある図である図３～図５を用いて、移動体特定部５２の動作内容を説明する。

なお、無線端末２の、時刻に対応した屋内移動に伴う位置関連情報とは、図３～図５に示すような、現在時刻から過去の時刻へとそれぞれトレースした位置関連情報を指すものである。

図３に示されている、映像データ上に二つの移動体をそれぞれＮ１、Ｎ２とする。そして、図３に示すように、Ｎ１、Ｎ２の絶対位置情報のそれぞれは、２次元座標であるＮ１（０１：００）、Ｎ２（０１：００）である。これに対し、無線端末２から得られた現在時刻が０１：００時点での位置情報および誤差範囲情報のそれぞれが表れている円の中心と円の半径として得られる円を示すＫ（０１：００）の内側に、Ｎ１、Ｎ２の絶対位置情報のＮ１（０１：００）とＮ２（０１：００）があるため、絶対位置問い合わせがあった無線端末２を所持する移動体は、Ｎ１なのかＮ２なのかを特定することができない。

そこで、絶対位置問い合わせがあった現在時刻と一つ前のサンプル時刻における映像データを重ね、それぞれの時刻の画像内位置情報と位置関連情報とをプロットした図４について検討する。図４には、現在時刻が０１：００時点と一つ前のサンプル時刻の００：５９時点における、画像内位置情報と位置関連情報とがプロットされている。特に、一つ前のサンプル時刻の００：５９時点での位置情報および誤差範囲情報のそれぞれが表れている円の中心と円の半径として得られる円を示すＫ（００：５９）の内側に、やはり、Ｎ１、Ｎ２の絶対位置情報のＮ１（００：５９）とＮ２（００：５９）がある。したがって、一つ前のサンプル時刻までトレースしても、絶対位置問い合わせがあった無線端末２を所持する移動体は、Ｎ１なのかＮ２なのかを特定することがまだできない。

さらにそこで、絶対位置問い合わせがあった現在時刻を含む、連続した３つのサンプル時刻における映像データを重ね、それぞれの時刻の画像内位置情報と位置関連情報とをプロットした図５について検討する。ここでようやく、００：５８時点での位置情報および誤差範囲情報のそれぞれが表れている円の中心と円の半径として得られる円を示すＫ（００：５８）の内側には、移動体Ｎ２の絶対位置情報Ｎ２（００：５８）のみが入っている。したがって、特定すべき無線端末２を所持する移動体１は、Ｎ２であると特定できる。

このように、現在時刻から過去の時刻へとそれぞれトレースした一連の映像データの上に、画像処理部４が画像解析により求めた、映像データ内における移動体１の画像内位置情報と、絶対位置問い合わせがあった無線端末２から得られる、時刻に対応した屋内移動に伴う位置関連情報（位置情報、誤差範囲情報）とをプロットして、これらの情報を追跡することで、絶対位置問い合わせがあった無線端末２を所持する移動体１を特定することができることがわかる。

したがって、本発明の実施の形態１に係る画像による移動体測位システムによれば、屋内で移動する移動体１を上方から撮像可能とするカメラ３で撮像した、移動体１を含む映像データを画像解析して求めた映像データ内における移動体１の画像内位置情報に対し、カメラ３の絶対位置情報を用いて移動体１の絶対位置情報を求め、対象となる移動体１が所持する無線端末２の、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報と先ほど求めた移動体１の絶対位置情報とに基づいて移動体１の判別を行うため、結果として、対象となる移動体１を映像データ内で適切に特定することができる、という効果を奏するものである。そのため、たとえ、複数の移動体１がほぼ同一方向に移動しているような映像データであるような場合であっても、複数の移動体１の中から、測位の対象である特定の無線端末２を所持している移動体１を適切に判別できることから、この特定した移動体１の所持する無線端末２では、移動体絶対位置算出部５１が求めた絶対位置情報を入手できる、という効果を奏するものである。

そして、本発明の実施の形態１に係る画像による移動体測位システムによれば、比較的に測位精度が高くない、ビーコン６等を用いた無線交信によるものと、測位精度が高い、移動体１を含む映像データの画像解析によるものを組み合わせて実現しており、対象となる移動体１を映像データ内で適切に特定した無線端末２を所持する移動体１に対し、測位精度が高い絶対位置情報を与えることができる、という効果を奏するものである。

実施の形態２．
本発明に係る画像による移動体測位システムは、本発明の実施の形態２に係る画像による移動体測位システムとして、本発明の実施の形態１に係る画像による移動体測位システムと、移動体１の所有する無線端末２と、を含む構成を有してもよい。本実施の形態２に係る画像による移動体測位システムにおける移動体絶対位置処理部５３ａは、実施の形態１における移動体絶対位置処理部５３と異なり、絶対位置問い合わせがあった無線端末２が、移動体絶対位置算出部５１の求めた絶対位置情報を入手するように、絶対位置問い合わせがあった無線端末２から得られる無線端末２識別情報を用いて位置管理サーバ５において処理を行うものである。

本発明の実施の形態２に係る画像による移動体測位システムによれば、上述した本発明の実施の形態１に係る画像による移動体測位システムと同様に、対象となる移動体１を映像データ内で適切に特定することができる、という効果を奏するものである。また、対象となる移動体１を映像データ内で適切に特定した無線端末２を所持する移動体１に対し、測位精度が高い絶対位置情報を与えることができる、という効果を奏するものである。

実施の形態３．
さらに、本発明の実施の形態３に係る画像による移動体測位システムとして、移動体絶対位置処理部５３は、無線端末２において処理を行うものであっても良い。
実施の形態３に係る画像による移動体測位システムは、実施の形態２に係る画像による移動体測位システムを変形したものであって、移動体特定部５２を、位置管理サーバ５側ではなくて、移動体測位システムの一構成要素としての無線端末２が備えている構成のことである。この構成によれば、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報のうち、少なくとも個体情報を、位置管理サーバ５側に開示する必要がなく、無線端末２内で閉じた情報として取り扱うことができる。
したがって、実施の形態３に係る画像による移動体測位システムによれば、セキュリティの観点で優れているという効果を奏するものである。

また、上述した本発明の実施の形態１および実施の形態２に係る画像による移動体測位システムと同様に、対象となる移動体を映像データ内で適切に特定することができる、という効果を奏するものである。また、対象となる移動体１を映像データ内で適切に特定した無線端末２を所持する移動体１に対し、測位精度が高い絶対位置情報を与えることができる、という効果を奏するものである。

１、１１、１２　移動体（ただし、個だけでなく、または、同種・異種を含めた総称としての場合もある）、２　無線端末（ただし、個だけでなく、または、総称としての場合もある）、３　カメラ、４　画像処理部、５　位置管理サーバ、５１　移動体絶対位置算出部、５２　移動体特定部、５３　移動体絶対位置処理部、６　ビーコン。

Claims (11)

1. 屋内で移動する移動体を上方から撮像可能とするカメラと、
   前記カメラで撮像した、移動体を含む映像データを画像解析して、前記映像データ内における前記移動体の画像内位置情報を求める画像処理部と、
   前記画像処理部が求めた前記画像内位置情報とあらかじめ設定された前記カメラの絶対位置情報とに基づいて前記映像データ内に映る移動体の絶対位置情報を求める移動体絶対位置算出部と、
   前記移動体が所持する無線端末から自身の絶対位置問い合わせがあった場合に、当該絶対位置問い合わせがあった無線端末を所持する移動体を前記映像データ内で特定する上で候補となる移動体の絶対位置情報と前記絶対位置問い合わせがあった無線端末から得られる、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、前記絶対位置問い合わせがあった当該無線端末を所持する移動体を前記映像データ内で特定する移動体特定部と、
   前記移動体の所持する無線端末から自身の絶対位置問い合わせがあった場合に、前記移動体特定部の前記映像データ内で特定した移動体の所持する無線端末が、前記移動体絶対位置算出部の求めた絶対位置情報を入手可能となるように、前記絶対位置問い合わせがあった無線端末から得られる無線端末識別情報を用いて処理する移動体絶対位置処理部と、
   を備えたことを特徴とする画像による移動体測位システム。
   
2. 前記位置関連情報は、設置された絶対位置情報の分かっている無線交信機器と前記無線端末との交信状況に基づいて当該無線端末の位置情報を推定可能とする情報である、
   ことを特徴とする請求項１に記載の画像による移動体測位システム。
   
3. 前記無線交信機器として電波を送信するビーコン送信機が設置され、
   前記位置関連情報は、前記ビーコン送信機から送信された電波の、前記無線端末による受信状況に関する情報、または当該受信状況に関する情報に基づいて推定した当該無線端末の位置情報を含む、
   ことを特徴とする請求項２に記載の画像による移動体測位システム。
   
4. 前記無線交信機器として電波を送信する無線ＬＡＮのアクセスポイントが設置され、
   前記位置関連情報は、前記アクセスポイントから送信された電波の、前記無線端末による受信状況に関する情報、または当該受信状況に関する情報に基づいて推定した当該無線端末の位置情報を含む、
   ことを特徴とする請求項２に記載の画像による移動体測位システム。
   
5. 前記位置関連情報は、
   前記無線端末に搭載されたセンサから出力されたセンサ出力情報に基づいて推定された前記無線端末の位置情報を含む、
   ことを特徴とする請求項１に記載の画像による移動体測位システム。
   
6. 前記位置関連情報は、
   前記無線端末の位置情報を推定可能とする、前記無線端末に搭載されたセンサから出力されたセンサ出力情報または当該センサ出力情報に基づく情報を含む、
   ことを特徴とする請求項１に記載の画像による移動体測位システム。
   
7. 前記位置関連情報は、
   前記無線端末の位置情報または前記無線端末の位置情報を推定可能とする情報のいずれか一方と当該位置情報に対応してあらかじめ設定された誤差範囲情報とを含み、
   前記移動体特定部は、
   前記移動体が所持する無線端末から自身の絶対位置問い合わせがあった場合に、前記画像処理部における前記画像内位置情報と前記位置情報とを前記誤差範囲情報を考慮しながら照合することで、前記絶対位置問い合わせがあった当該無線端末を所持する移動体を特定する、
   ことを特徴とする請求項１ないし６のいずれか１項に記載の画像による移動体測位システム。
   
8. 前記無線端末に搭載されたセンサとは、少なくとも加速度および方位に関するセンサである、
   ことを特徴とする請求項５または６に記載の画像による移動体測位システム。
   
9. 前記画像処理部は、さらに、移動体を含む映像データを画像解析して、前記映像データ内における前記移動体の色および形状の少なくともいずれかの特徴情報を求め、
   前記移動体特定部は、
   前記絶対位置問い合わせがあった無線端末を所持する移動体を前記映像データ内で特定する上で候補となる移動体を、前記画像処理部の求めた特徴情報により選択するものであって、
   当該特徴情報に基づいて、１台のカメラまたは複数のカメラで撮像した映像データ内の移動体の移動連続性を評価して同一であるか否かを判断することで、特定すべき移動体の候補を選択し、
   前記移動体が所持する無線端末から自身の絶対位置問い合わせがあった場合に、前記絶対位置問い合わせがあった無線端末を所持する移動体を前記映像データ内で特定する上で候補となる移動体の絶対位置情報と前記絶対位置問い合わせがあった無線端末から得られる、時刻に対応した屋内移動に伴う位置関連情報を含む移動体特定情報とに基づいて、前記絶対位置問い合わせがあった当該無線端末を所持する移動体を前記映像データ内で特定する、
   ことを特徴とする請求項１または７に記載の画像による移動体測位システム。
   
10. 前記移動体特定情報は、さらに移動体に関する色および形状の少なくともいずれかの個体情報を含み、
    前記移動体特定部は、
    さらに前記画像処理部の求めた特徴情報と前記移動体特定情報に含まれる前記個体情報とに基づいて、前記絶対位置問い合わせがあった当該無線端末を所持する移動体を前記映像データ内で特定する、
    ことを特徴とする請求項９に記載の画像による移動体測位システム。
    
11. 前記移動体が所持する前記無線端末を有し、
    前記移動体特定部は、当該無線端末が備えている、
    ことを特徴とする請求項１、７、９及び１０のいずれか１項に記載の画像による移動体測位システム。

Images