JP6928538B2 - 電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 - Google Patents
電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP6928538B2 JP6928538B2 JP2017209171A JP2017209171A JP6928538B2 JP 6928538 B2 JP6928538 B2 JP 6928538B2 JP 2017209171 A JP2017209171 A JP 2017209171A JP 2017209171 A JP2017209171 A JP 2017209171A JP 6928538 B2 JP6928538 B2 JP 6928538B2
- Authority
- JP
- Japan
- Prior art keywords
- radio wave
- terminal
- information
- position estimation
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Description
端末における電波の受信状況に基づき、当該端末の位置を推定する技術に関する。
従来、受信された複数の無線信号（電波）を用いて受信端末の位置を推定する技術が普及してきた。例えば、屋外におけるＧＰＳ（Global Positioning System）や、屋内における無線ＬＡＮ（Local Area Network）等による測位技術は、現在広く利用されている。
このような電波を用いた測位技術では、衛星、基地局又はアクセスポイント等の電波発信源（電波源）と端末との間に、電波の伝播に影響を与える物体が存在するか否かが、測位結果を大きく左右する。例えば、電波を遮蔽する遮蔽物が介在する場合、電波が端末に直接届く場合に比べて端末での受信信号強度（RSS，Received Signal Strength）が低下し、電波源と端末との距離が実際よりも大きく見積もられることによって、位置推定の誤差が増大してしまう。
このような問題に対し、非特許文献１に開示されたシステムは、位置の固定された静的遮蔽物が送受信ノード間に存在する場合に、存在しない場合で使用される電波減衰モデルとは異なるモデルを使用することによって、位置推定精度の向上を図っている。また、遮蔽物の影響を考慮した電波シミュレーションによって位置推定の誤差を予想し、予想される誤差が小さくなるように送信ノードの位置を決定することによって、遮蔽物に応じた最適な送信ノード配置を得ることができるとしている。
さらに、特許文献１は、電波送受信機の間に電波伝送の障害物が存在する場合に、無線発受信部と無線端末との間の無線特性パラメータからではなく、無線発受信部間の無線信号通信による電波伝搬環境の変化から間に存在する障害物を検知して、無線端末の位置を推定する技術を開示している。この技術では、電波が遮蔽される場合に、各発信機に対し、位置推定に利用する優先度（尤度）が設定される。
岡海人，五十嵐正樹，内山英昭，島田敬士，長原一，谷口倫一郎，「無線位置推定における遮蔽物を考慮したアンカーノード配置」，マルチメディア、分散、協調とモバイル（ＤＩＣＯＭＯ２０１５）シンポジウム，２０１５年，７９９〜８０２頁
以上に説明した技術を含む従来技術では、電波の伝播に影響を与える物体を考慮してはいるものの、考慮される物体は、あくまで位置の固定された静的な遮蔽物・障害物であった。しかしながら、実際の端末位置推定の現場では、電波（無線信号）伝播の障害となる物体として、人物を無視できない場合も少なくない。
例えば、現在、様々な分野の店舗において、端末を所持した来店客や店員の動線を正確に把握するニーズが高まっている。この場合、店内に複数のビーコン発信源（以下、ビーコンと略称）を配置して端末位置を推定することが一般的である。ここで、店内を移動する人物は当然に、これらのビーコンによる端末位置推定に非常に大きな影響を与える。
しかしながら、上述した技術を含む従来技術では、このような人物を、電波の伝播に影響を与える物体として考慮することができない。その結果、端末位置の推定結果における誤差の増大が問題となってしまう。このように、人物を含めた移動可能な物体による電波伝搬への影響は多大であるにもかかわらず、従来考慮されてこなかったのである。
そこで、本発明は、移動可能な物体が存在し得る状況においても、電波源からの電波を受信した端末の位置をより精度良く推定することができる装置、プログラム及び方法を提供することを目的とする。
本発明によれば、電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する端末位置推定装置であって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
を有する端末位置推定装置が提供される。
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
を有する端末位置推定装置が提供される。
この本発明による端末位置推定装置の一実施形態として、上記の「電波減衰情報を反映した受信電波に係る量」は、当該電波源と当該位置との間に存在する当該移動し得る物体及び当該予め設置された物体の数及びこれらの物体の各々による電波減衰の程度を表す量と、基準となる基準受信電波強度とから算出される、当該移動し得る物体及び当該予め設置された物体による電波減衰を反映した受信電波強度であることも好ましい。
また、上記の実施形態において、端末位置決定手段は、当該電波減衰の程度を表す量として少なくとも、当該移動し得る物体及び当該予め設置された物体のそれぞれについて、対応する所定の量を採用することも好ましい。
さらに、本発明に係る物体分布決定手段は、当該物体認識情報から推定される、当該移動し得る物体の推定所在位置を含む所定の位置範囲を、当該移動し得る物体の分布範囲とすることも好ましい。
また、本発明による端末位置推定装置の他の実施形態として、当該電波源は予め配置された複数の電波源であり、
端末位置決定手段は、当該存在確率密度関数に基づいて、当該複数の電波源の中から当該端末の位置推定に適した好適電波源を選択し、取得した当該受信電波情報のうち、選択された当該好適電波源の中の複数に係る情報を用いて、当該端末の位置を決定することも好ましい。
端末位置決定手段は、当該存在確率密度関数に基づいて、当該複数の電波源の中から当該端末の位置推定に適した好適電波源を選択し、取得した当該受信電波情報のうち、選択された当該好適電波源の中の複数に係る情報を用いて、当該端末の位置を決定することも好ましい。
さらに、上記の他の実施形態において、端末位置決定手段は、選択された当該好適電波源のうちの複数についての当該存在確率密度関数に基づいて、当該好適電波源のうちの複数に係る当該受信電波情報を用い、当該端末の位置を決定することも好ましい。またここで、当該好適電波源のうちの複数は、当該好適電波源のうち受信電波強度の最も高いものから順に所定数分更に選択されたものであることも好ましい。
また、上記の他の実施形態において、端末位置決定手段は、位置推定に係る１つの時刻における当該物体分布が、前の時刻における当該物体分布と比較して所定以上変化していない場合、上記の前の時刻で選択された好適電波源を上記の１つの時刻における好適電波源とすることも好ましい。
さらに、上記の他の実施形態において、端末位置決定手段は、位置推定に係る１つの時刻において当該移動し得る物体が存在しない場合、複数の電波源の全てを上記の１つの時刻における好適電波源とすることも好ましい。
また、本発明による端末位置推定装置において、当該物体認識情報は、カメラ、全天球カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されることも好ましい。
さらに、本発明による端末位置推定装置の更なる他の実施形態として、少なくとも予め設置された物体の配置情報に係る物体配置について、当該存在確率密度関数に基づき、当該端末の推定位置の誤差を最小化する電波源の配置を決定し、決定された当該配置に基づいて、電波源を設置可能な候補位置の中から、複数の電波源を予め配置する配置位置を決定する電波源配置手段を更に有することも好ましい。
本発明によれば、また、電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
としてコンピュータを機能させる端末位置推定プログラムが提供される。
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
としてコンピュータを機能させる端末位置推定プログラムが提供される。
本発明によれば、さらに、電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータによる端末位置推定方法であって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定するステップと、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定するステップと、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定するステップと
を有する端末位置推定方法が提供される。
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定するステップと、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定するステップと、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定するステップと
を有する端末位置推定方法が提供される。
本発明の端末位置推定装置、プログラム及び方法によれば、移動可能な物体が存在し得る状況においても、電波源からの電波を受信した端末の位置をより精度良く推定することが可能となる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
［端末位置推定システム］
図１は、本発明による端末位置推定装置を含む端末位置推定システムの一実施形態を示す模式図である。
図１は、本発明による端末位置推定装置を含む端末位置推定システムの一実施形態を示す模式図である。
図１に示した、本実施形態の端末位置推定システムは、店員や来店客等によって所持された少なくとも１つの端末３における１つの店舗内での刻々の位置を推定し、当該端末３を所持する店員や来店客等の店内での動線を把握することができる。
具体的に、この端末位置推定システムは、
（ａ）店内の複数位置に設置されており、全方位に所定の時間間隔で電波を発信するビーコン２と、
（ｂ）人物等の移動可能な物体を撮影可能であり、撮影した画像の情報を、無線又は有線の通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ４と、
（ｃ）カメラ４から通信ネットワークを介して取得される時系列の画像群から「物体認識情報」を生成し、さらに端末３から無線通信ネットワークを介して直接（又はアクセスポイント等の中継装置を経て）「受信電波情報」を取得し、生成・取得したこれらの情報に基づいて、端末３の刻々の位置を推定し、店内での動線を決定する端末位置推定装置１と
を備えている。
（ａ）店内の複数位置に設置されており、全方位に所定の時間間隔で電波を発信するビーコン２と、
（ｂ）人物等の移動可能な物体を撮影可能であり、撮影した画像の情報を、無線又は有線の通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ４と、
（ｃ）カメラ４から通信ネットワークを介して取得される時系列の画像群から「物体認識情報」を生成し、さらに端末３から無線通信ネットワークを介して直接（又はアクセスポイント等の中継装置を経て）「受信電波情報」を取得し、生成・取得したこれらの情報に基づいて、端末３の刻々の位置を推定し、店内での動線を決定する端末位置推定装置１と
を備えている。
ここで、位置推定領域である店舗内には、机、椅子、パーティション、展示台や、カウンタといった電波伝搬に影響を及ぼす物体が配置されている。端末位置推定装置１は、このような予め店内に設置された物体の配置情報（「物体配置情報」）も取得し、端末３の位置推定に利用する。なお、この「物体配置情報」も、カメラ４からの画像群に基づき、設置された物体を認識した上で生成されてもよい。これにより、例えば店舗内の設備のレイアウトが変更されたり一時的に仮置きされたものがあったりしても、それに的確に対応した「物体配置情報」を得ることが可能となる。
また、ビーコン２は、例えば、全方位にアドバタイズパケット（advertisement packet）を１００〜１０００msecの間隔で発信するＢＬＥ（Bluetooth（登録商標） Low Energy）仕様のビーコンとすることができる。当然、ビーコン２はこれに限定されるものではない。例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮのアクセスポイントとすることも可能であり、その他、端末３がそこからの電波を受信し「受信電波情報」を生成することができるものであるならば、種々の電波源がビーコン２として採用可能である。
ちなみに、図１に示したようなビーコン２の設置位置（ビーコン２の店内配置）も、後に詳しく説明するように、端末位置推定装置１が、カメラ４からの撮影画像データを用いて決定してもよい。
さらに、端末３は、本実施形態において、店員や来店客等によって携帯可能なスマートフォン、携帯電話、タブレット型コンピュータ、ウェアラブル端末等であるが、その他、持ち運び可能な通信端末であれば種々のものが該当する。端末３は、複数の（好ましくは３つ以上の）ビーコン２から発信された電波を同時に受信可能となっている。
同じく図１に示された端末位置推定装置１は、電波源であるビーコン２からの電波を受信した端末３における「受信電波情報」を取得し、端末３の位置を推定する装置であって、具体的にその特徴として、
（Ａ）移動し得る物体を認識可能な物体認識手段からの「物体認識情報」を取得し、この「物体認識情報」と、予め設置された物体の「物体配置情報」とに基づいて、移動し得る物体及び予め設置された物体の分布である「物体分布」を決定する物体分布決定部１１３と、
（Ｂ）位置推定領域（本実施形態では店舗）内で決定された「物体分布」に基づいて、電波源であるビーコン２と位置推定領域（店舗）内の位置との間における当該物体による電波減衰の程度に係る「電波減衰情報」を決定する電波減衰情報決定部１１４と、
（Ｃ）位置推定領域（店舗）内の位置についての「存在確率密度関数」であって、決定された「電波減衰情報」を反映した受信電波に係る量を変数とした「存在確率密度関数」に基づいて、当該端末の位置を決定する端末位置決定部１１６と
を有している。
（Ａ）移動し得る物体を認識可能な物体認識手段からの「物体認識情報」を取得し、この「物体認識情報」と、予め設置された物体の「物体配置情報」とに基づいて、移動し得る物体及び予め設置された物体の分布である「物体分布」を決定する物体分布決定部１１３と、
（Ｂ）位置推定領域（本実施形態では店舗）内で決定された「物体分布」に基づいて、電波源であるビーコン２と位置推定領域（店舗）内の位置との間における当該物体による電波減衰の程度に係る「電波減衰情報」を決定する電波減衰情報決定部１１４と、
（Ｃ）位置推定領域（店舗）内の位置についての「存在確率密度関数」であって、決定された「電波減衰情報」を反映した受信電波に係る量を変数とした「存在確率密度関数」に基づいて、当該端末の位置を決定する端末位置決定部１１６と
を有している。
このように端末位置推定装置１は、人物等の移動し得る物体を含み得る「物体分布」に基づいて決定した「電波減衰情報」を反映させた変数を有する「存在確率密度関数」を用いて、端末位置を決定する。その結果、移動可能な物体が存在し得る状況においても、受信電波が「移動可能な物体を含み得る物体分布」によってどの程度減衰させられるかを考慮することが可能となり、電波源からの電波を受信した端末の位置をより精度良く推定することができるのである。
ここで、上記構成（Ａ）の物体認識手段は、後に図２において物体認識部１１１として示すように本装置１内の機能構成部であってもよく、または、外部の装置に設けられたものであってもよい。いずれにしてもこの物体認識手段は、当該画像内において認識した移動し得る物体に、映像動線ＩＤ（識別子）を付与して追跡することができることも好ましい。
このような場合においても、端末位置推定装置１は、位置推定対象の端末がいずれの映像動線ＩＤのものと紐づけられるかを勘案することなく、「物体分布」を反映した「存在確率密度関数」を用いてこの端末の位置を決定することができる。すなわち、端末ＩＤと映像動線ＩＤとのマッチング技術を必要とせず、より簡便に端末位置推定処理を実施することが可能となり、同時に、最尤推定における存在確率密度の信頼性が低下する問題を解決することもできるのである。
なお、カメラ４からの撮影画像データに基づいて「物体認識情報」を生成する物体認識部１１１（図２）の変更態様として、物体認識手段（物体認識部１１１）が外部の装置に備えられている場合、端末位置推定装置１は、この装置から「物体認識情報」を取得する形となる。
また、端末位置推定装置１においては例えば、位置推定期間の時刻毎における「物体認識情報」と「物体配置情報」とに基づいて「物体分布」を決定し、刻々の端末３の位置を推定することも可能となる。これにより、例えば多数の人物が店舗内を動き回ってビーコン２からの電波に影響を与えている状況下においても、各端末３の動線をより高い精度で決定することができるのである。
ちなみに、上記の「受信電波情報」は、例えば、端末３がビーコン２から受信した電波における受信時刻及び受信信号強度（Received Signal Strength Indicator, ＲＳＳＩ）を当該ビーコン２のＩＤに対応付けた情報とすることができる。また、「物体配置情報」は、例えば、予め配置された物体の位置座標又は位置座標範囲としてもよい。さらに、「物体認識情報」は、例えば、時刻毎における認識した人物の足元位置座標とすることができる。
また、他の実施形態として、「物体認識情報」は、全天球（全方位）カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されるものであってもよい。例えば、デプスカメラによって生成される（対象の各画素の）デプス値情報を画像データ化し、カメラ４による撮影画像と同様にして利用してもよい。いずれにしても、端末位置推定装置１は、何らかの手段をもって生成された「物体認識情報」を取得して、端末３の位置推定に利用することができるのである。
さらに、「物体認識情報」に係る認識対象としての移動し得る物体には、人物、動物、乗り物や、その他移動可能な物理対象等、物体認識手段によって認識可能であれば（例えばカメラ４によって撮影可能であれば）様々なものが該当する。また、撮影される場所も、特に限定されるものではなく、例えば、店舗内の他にも、会社、学校、ホールや、家屋の内部といった屋内であってもよく、さらには、観客、通勤者、買い物客、労働者、歩行者や、ランナー等が映り得る屋外であってもよい。
さらにまた、更なる他の実施形態として、端末３が上記構成（Ａ）〜（Ｃ）を備えていて、自らの位置、さらには周囲の他の端末３の位置を推定する端末位置推定装置として機能してもよい。この場合、例えばこの端末３に内蔵された（刻々の位置の決定した）カメラを用いて「物体認識情報」を生成することも可能となる。
［端末位置推定装置の構成・機能］
図２は、本発明による端末位置推定装置の一実施形態における機能構成を示す機能ブロック図である。
図２は、本発明による端末位置推定装置の一実施形態における機能構成を示す機能ブロック図である。
図２によれば、端末位置推定装置１は、カメラ４や端末３等と通信接続可能な通信インタフェース１０１と、受信電波情報蓄積部１０２と、物体認識情報蓄積部１０３と、物体配置情報蓄積部１０４と、端末動線情報蓄積部１０５と、ディスプレイ・キーボード（ＤＰ・ＫＢ）１０６と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による端末位置推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この端末位置推定プログラムを実行することによって、端末位置推定処理を実施する。
さらに、プロセッサ・メモリは、機能構成部として、物体認識部１１１と、物体認識情報管理部１１２と、物体分布決定部１１３と、電波減衰情報決定部１１４と、電波源配置部１１５と、電波源選択部１１６ａを含む端末位置決定部１１６と、端末動線情報管理部１１７と、通信制御部１２１と、受信電波情報管理部１２２と、入出力制御部１２３とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された端末位置推定プログラムの機能と捉えることができ、また、図２における端末位置推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末位置推定方法の一実施形態としても理解される。
同じく図２において、カメラ４は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。また、カメラ４又は（図示していない）カメラ制御装置は、カメラ４で撮影された物体の画像を含む撮影画像データを生成し、当該情報を時系列に又はバッチで端末位置推定装置１に送信する機能を有する。
通信インタフェース１０１は、カメラ４又はカメラ制御装置から時系列の画像群である撮影画像データを、有線又は無線の通信ネットワークを介して受信する。取得された撮影画像データ（画像ファイル）は、物体認識部１１１に出力される。また、通信インタフェース１０１は、端末３から、無線通信ネットワークを介して直接（又はアクセスポイント等の中継装置を経て）受信電波情報を受信する。または、端末３とＵＳＢ（Universal Serial Bus）等を介して有線接続された上で、受信電波情報を受け取ってもよい。
通信インタフェース１０１は、さらに、端末位置推定の結果として生成された動線情報を外部の情報処理装置に送信してもよい。なお、通信インタフェース１０１におけるこれらの情報の送受信は、通信制御部１２１によって制御され、適切なタイミングで情報の授受が行われる。
物体認識部１１１は本実施形態において、カメラ４で撮影された画像に係る撮影画像データに基づき、位置推定領域である店舗内に滞在又は移動する人物を認識し、物体（人物）認識情報を生成する。ここで、生成された物体（人物）認識情報は、認識処理の各時刻における、認識された１人又は複数の人物における足元位置の２次元（又は３次元）座標値を含むものであってもよい。なお、物体認識部１１１における物体（人物）認識処理は、公知である種々の手法を採用して実施可能である。
例えば、カメラ４として全方位カメラを用いる場合、非特許文献である、小林達也，加藤晴久，菅野勝，「単眼全方位カメラを用いた遮蔽に頑健な人物動線追跡手法の提案」，信学技報，vol.116，no.411，PRMU2016-146，２０１７年，３２１〜３２６頁に記載された手法を用いて、物体（人物）認識情報を生成することが可能である。
具体的に、この手法では、人物検出処理及び人物追跡処理を画像フレーム毎に実行し、個々の人物の各時刻での位置を推定し当該人物の追跡を行う。このうち人物検出処理では、背景差分技術を用いて抽出された領域と事前に用意された３Ｄ人物モデルとのマッチングを行い、画像中における人物領域を検出する。ここで、人物が存在可能な様々な足元位置に予め人物モデルを配置しておき、前景領域と類似度の最も高い輪郭を検索することにより、対応する足元位置を人物位置として検出する。
さらに、人物追跡処理では、追跡中の人物と上記の検出結果との対応付けによって、検出された人物領域に追跡中の人物ＩＤを割り当て、一対一の人物マッチングによってマッチングスコアが最大となる要素を選択する。次いで、この人物マッチングの結果に基づき、パーティクルフィルタを用いて個々の人物の追跡位置を推定する。
ちなみに、本装置１において物体認識部１１１は設けられず、物体認識情報管理部１１２が、外部の物体認識手段から物体認識情報を取得し管理する実施形態をとることも可能である。いずれにしても、物体認識情報管理部１１２は、取得した刻々の物体認識情報を、物体認識情報蓄積部１０３に保存しつつ適宜、物体分布決定部１１３に出力する。
物体分布決定部１１３は、入力した物体認識情報と、同じく入力した物体配置情報とに基づいて、移動し得る物体（例えば人物）及び予め設置された物体（例えば店舗内の設備等）の位置分布である物体分布を決定する。
ここで、物体配置情報は、店舗内における机、椅子、パーティション、展示台や、カウンタといった電波伝搬に影響を及ぼす物体についての配置位置の座標値又は座標値範囲を含む情報であり、キーボード１０６から入出力制御部１２３を介して、又は外部の情報処理装置等から通信インタフェース１０１を介して入力され、物体配置情報蓄積部１０４に記録されて、物体分布決定部１１３に出力されることも好ましい。物体配置情報は、さらに、位置推定を行う店舗内フロアの（縦横の）大きさに係る情報を含んでいることも好ましい。なお、変更態様として、この物体配置情報も、カメラ４で撮影された画像に係る撮影画像データに基づき、物体認識部１１１が店舗内の設置物体を認識することによって生成されてもよい。
なお、後に図４を用いて説明するが、物体分布決定部１１３は、物体認識情報から推定される、移動し得る物体（例えば人物）の推定所在位置を含む所定の位置範囲を、この移動し得る物体の分布範囲とすることも好ましい。ここで、この所定の位置範囲は、例えば推定所在位置(xp, yp)を中心とする半径c（ｍ）の円の範囲であってもよい。
電波減衰情報決定部１１４は、物体分布決定部１１３で決定された位置推定領域（店舗）内での物体分布に基づいて、ビーコン２と位置推定領域（店舗）内の位置(x, y)との間における物体による電波減衰の程度に係る電波減衰情報を決定する。この電波減衰情報として、
（ａ）ビーコン２と位置(x, y)との間に存在する物体の数num、及び
（ｂ）間に存在する各物体による電波減衰量rloss（ｍ）
を決定することができる。勿論、電波減衰情報は、上記（ａ）及び（ｂ）に限定されるものではなく、受信電波に係る量（例えばＲＳＳＩ）に電波減衰の程度として反映される量の情報であれば種々の情報が採用可能である。
（ａ）ビーコン２と位置(x, y)との間に存在する物体の数num、及び
（ｂ）間に存在する各物体による電波減衰量rloss（ｍ）
を決定することができる。勿論、電波減衰情報は、上記（ａ）及び（ｂ）に限定されるものではなく、受信電波に係る量（例えばＲＳＳＩ）に電波減衰の程度として反映される量の情報であれば種々の情報が採用可能である。
ここで、上記（ｂ）の電波減衰量rloss（ｍ）は、電波が真空中を距離rloss（ｍ）だけ伝播する間に減衰する度合いと等価の減衰量を示す。この電波減衰量rlossとして、一律予め設定した量を用いてもよいが、例えば、移動し得る物体（本実施形態では人物）と予め設置された物体（本実施形態では店舗内の設備等）とにおいて、それぞれに適合した異なる量を設定してもよい。さらには、各物体の素材（例えば人体、壁材、机等の金属材）の情報が得られるならば、その素材毎に、当該素材に適合した電波減衰量を設定することも好ましい。
電波源配置部１１５は、位置推定領域（店舗）内におけるビーコン２を設置可能な候補位置の中から、ビーコン２を実際に予め配置する配置位置を決定する。このビーコン２の予めの配置位置決定処理については、後に詳細に説明するが、少なくとも予め設置された物体の配置情報に係る物体配置について、後に詳細に説明する存在確率密度関数に基づき、端末３の推定位置の誤差を最小化するビーコン２の配置を決定し、決定されたこの配置に基づいて、ビーコン２を設置可能な候補位置の中から、複数のビーコン２を予め配置する配置位置を決定するものであってもよい。
なお、変更態様として、装置１は電波源配置部１１５を有しておらず、経験上の感覚から又は過去の実績上適切であるとされるビーコン２の配置情報が、キーボード１０６から入出力制御部１２３を介して、又は外部の情報処理装置等から通信インタフェース１０１を介して端末位置決定部１１６に入力されてもよい。
受信電波情報管理部１２２は、端末３から取得された受信電波情報を、入力して受信電波情報蓄積部１０２に保存しつつ管理し、端末位置決定部１１６に適宜出力する。ここで、受信電波情報は、端末３が受信した電波の発信元であるビーコン２毎に、受信時刻、ＲＳＳＩ及びビーコン２のＩＤが対応付けられた情報とすることができる。
同じく図２において、端末位置決定部１１６は、位置推定領域（店舗）内の位置posについての存在確率密度関数p(rssi|pos)であって、決定された電波減衰情報を反映した受信電波に係る量rssiを変数とした存在確率密度関数p(rssi|pos)に基づいて、端末３の位置を決定する。
ここで、変数の「電波減衰情報を反映した受信電波に係る量rssi」は、
（ａ）ビーコン２と位置posとの間に存在する物体の数num、及び各物体による電波減衰の程度を表す量、例えば上述した電波減衰量rlossと、
（ｂ）基準となる基準受信電波強度rssi0と
から算出される、物体による電波減衰を反映したＲＳＳＩとすることができる。以下、この変数及び存在確率密度関数p(rssi|pos)の一具体例を説明する。
（ａ）ビーコン２と位置posとの間に存在する物体の数num、及び各物体による電波減衰の程度を表す量、例えば上述した電波減衰量rlossと、
（ｂ）基準となる基準受信電波強度rssi0と
から算出される、物体による電波減衰を反映したＲＳＳＩとすることができる。以下、この変数及び存在確率密度関数p(rssi|pos)の一具体例を説明する。
一般に、ビーコン２がn個存在し、そのうちのi番目（i＝1, 2, ・・・, n）のビーコン２との距離がrpos,i（ｍ）である位置posに存在する端末３における受信信号強度（ＲＳＳＩ）rssiiは、次式
（１） rssii＝rssi0−10d・log10(rpos,i)
をもって近似的に表される。ここで、rssi0は、ビーコン２から1ｍ離隔した位置で計測されるＲＳＳＩであり、dは、減衰の度合いを表す定数である。
（１） rssii＝rssi0−10d・log10(rpos,i)
をもって近似的に表される。ここで、rssi0は、ビーコン２から1ｍ離隔した位置で計測されるＲＳＳＩであり、dは、減衰の度合いを表す定数である。
また、この位置posで強度rssiiの電波を受信する存在確率密度関数p(rssii|pos)は、存在確率密度が正規分布に従うと仮定して、次式
（２） p(rssii|pos)＝(2πσ2)-0.5・exp{−(rssii−Apos,i)2／2σ2}
で表される。ここで、σ2はＲＳＳＩの分散であり、Apos,iは、i番目のビーコン２からの電波に係る、位置posにおける理想的な（例えば物体の一切存在しない真空中での）基準となるＲＳＳＩである。
（２） p(rssii|pos)＝(2πσ2)-0.5・exp{−(rssii−Apos,i)2／2σ2}
で表される。ここで、σ2はＲＳＳＩの分散であり、Apos,iは、i番目のビーコン２からの電波に係る、位置posにおける理想的な（例えば物体の一切存在しない真空中での）基準となるＲＳＳＩである。
次に、位置推定領域（店舗）内に、電波を反射したり遮蔽したりする物体が存在する場合を考える。位置posにある端末３に届く電波は、ビーコン２との間に存在する物体の影響で減衰しているので、このＲＳＳＩから単純に算出されるビーコン２からの距離値は、実際の距離よりも大きくなり、結果的に位置推定精度を低減させてしまう。
図３は、位置推定領域内に設けられたビーコン２からの電波によって算出された存在確率密度の分布図である。
図３において、濃淡をもって示された存在確率密度pの分布は、静的設置物が店舗（位置推定領域）内フロアに設置されていない条件下でのものである。この場合、端末３（を所持したユーザ）の存在する確率の高い位置（濃い灰色部分）は、上式（２）に従い、ビーコン２を中心とした半径rrssi=Aposの円周上となる。これに対し、図３に示したような静的設置物が設置されている場合、端末３が存在すると考えられる（存在確率密度の高い）位置は、実際には円の一部が押しつぶされたような形状（図３の太線で示される形状）の周辺上となるのである。
そこで以下、存在確率密度関数の変数となっているrssiiに予め、当該物体に係る電波減衰情報を取り込み、物体による電波減衰の影響を反映させた変数をもって存在確率密度を取り扱う。これにより、存在する物体の影響を考慮した、より精度の高い位置推定が可能となる。ちなみに、各時刻における物体の影響を、予め変数として存在確率密度の計算に取り入れるので、その影響を反映させる物体として、人物のような移動し得る物体も容易に取り扱うことができるのである。
ここで、電波減衰情報として上述したように、ビーコン２と位置posとの間に存在する物体の数num、及び各物体の電波減衰量rlossを用いると、位置posの受信信号強度（ＲＳＳＩ）rssiiは、上式（１）を変形して、次式
（３） rssii＝rssi0−10d・log10(rpos,i＋num・rloss)
のように表現される。なお、上式（３）の(rpos,i＋num・rloss)の形については、互いの距離がrpos,i（ｍ）であるビーコン２と位置posとの間に存在する物体による電波の減衰によって、本来位置posで得られるＲＳＳＩが、ビーコン２からの距離がrpos,i＋rloss（ｍ）である位置で得られることから理解される。
（３） rssii＝rssi0−10d・log10(rpos,i＋num・rloss)
のように表現される。なお、上式（３）の(rpos,i＋num・rloss)の形については、互いの距離がrpos,i（ｍ）であるビーコン２と位置posとの間に存在する物体による電波の減衰によって、本来位置posで得られるＲＳＳＩが、ビーコン２からの距離がrpos,i＋rloss（ｍ）である位置で得られることから理解される。
これにより、位置posで強度rssiiの電波を受信する存在確率密度関数p(rssii|pos)は、上式（３）を上式（２）に代入することによって、次式
（４） p(rssii|pos)＝(2πσ2)-0.5・exp(−B)
B＝(rssi0−Apos,i−10d・log10(rpos,i＋num・rloss))2／2σ2
のように表現されるのである。
（４） p(rssii|pos)＝(2πσ2)-0.5・exp(−B)
B＝(rssi0−Apos,i−10d・log10(rpos,i＋num・rloss))2／2σ2
のように表現されるのである。
ちなみに、以上の処理では、上式（３）のように、ＲＳＳＩに電波減衰情報を反映させることによって、物体による電波減衰の影響を存在確率密度関数に取り込んでいるが、変更態様として、位置posにおける理想的なＲＳＳＩであるApos,iに対し、電波減衰情報を反映させてもよい。具体的には、Apos,iは、次式
（５） Apos,i＝rssi0−10d・log10(rpos,i＋num・rloss)
のように表すことができる。
（５） Apos,i＝rssi0−10d・log10(rpos,i＋num・rloss)
のように表すことができる。
また、この場合の存在確率密度関数p(rssii|pos)は、上式（５）を上式（２）に代入することによって、次式
（６） p(rssii|pos)＝(2πσ2)-0.5・exp(−C)
C＝(rssi0−rssii−10d・log10(rpos,i＋num・rloss))2／2σ2
のように表現される。
（６） p(rssii|pos)＝(2πσ2)-0.5・exp(−C)
C＝(rssi0−rssii−10d・log10(rpos,i＋num・rloss))2／2σ2
のように表現される。
以上説明したように、物体分布を勘案した変数による存在確率密度関数p(rssii|pos)として、上式（４）及び上式（６）のいずれをも採用することができる。いずれにしても、存在確率密度関数の変数は、num及びrlossと、基準となる基準受信電波強度とから算出される、物体による電波減衰を反映したＲＳＳＩとなっているのである。
さらに、位置posに存在する端末３が、n個のビーコン２のそれぞれから同時に電波を受信する状況を考える。ＲＳＳＩの集合をRSSI＝{rssi1, rssi2, ・・・, rssin}とすると、全受信電波による存在確率密度関数p(RSSI|pos)は、各ビーコン２に係る存在確率密度が独立するので結局、次式
（７） p(RSSI|pos)＝p(rssi1, rssi2, ・・・, rssin |pos)
＝p(rssi1|pos)p(rssi2|pos)・・・p(rssin|pos)
で表されることになる。
（７） p(RSSI|pos)＝p(rssi1, rssi2, ・・・, rssin |pos)
＝p(rssi1|pos)p(rssi2|pos)・・・p(rssin|pos)
で表されることになる。
ここで、上式（３）〜（６）では、各物体の電波減衰量rlossが所定の１つの値であると仮定しているが、物体種別毎に異なる電波減衰量が取得される場合、それらの値を使用することも好ましい。例えば、人物の電波減衰量rloss,1（ｍ）及び人物数num1（人）と、予め設置された店舗内設備の電波減衰量rloss,2（ｍ）及び店舗内設備数num2（個）とを用いて、上式（３）〜（６）におけるrpos,i＋num・rlossの部分を、
（８） rpos,i＋num1・rloss,1＋num2・rloss,2
に置き換えて使用することも好ましい。以下、図４を用いて上式（８）の状況を説明する。
（８） rpos,i＋num1・rloss,1＋num2・rloss,2
に置き換えて使用することも好ましい。以下、図４を用いて上式（８）の状況を説明する。
図４は、電波減衰情報としての物体数及び各物体の電波減衰量を説明するための模式図である。
図４に示した例では、ビーコン２と位置posとの間には、移動し得る物体としての人物が１つ存在し、また、予め設置された物体としての店舗内設備が２つ存在している。したがって、num1＝1及びnum2＝2と設定される。次いで、num1＝1の人物には電波減衰量rloss,1が割り当てられ、num2＝2の店舗内設備にはそれぞれ電波減衰量rloss,2が割り当てられる。その結果、上式（８）は、rpos,i＋rloss,1＋2・rloss,2と設定されるのである。
ここで、物体分布決定部１１３は、物体認識情報から推定される人物（移動し得る物体）の推定所在位置を含む所定の位置範囲、図４では推定所在位置を中心とした所定半径cの円の範囲を、この人物の分布範囲としている。次いで、ビーコン２と位置posとを結ぶ線分がこの円範囲と重畳する場合に、この人物を、ビーコン２と位置posとの間に存在する物体としてカウントする。
実際、カメラ等の画像データによって推定した人物等の所在位置(映像推定座標)には通常、ある程度の誤差が含まれているので、上記の所定半径cを適当に設定することによって、この推定位置誤差を吸収することが可能となるのである。
以上詳細に説明したように、端末位置決定部１１６では、人物等の移動し得る物体を含む物体分布から決定された電波減衰情報を反映した存在確率密度関数p(RSSI|pos)が算出される。端末位置決定部１１６は、この算出した在確率密度関数p(RSSI|pos)に基づき、最尤推定、すなわちＲＳＳＩからすると端末３がどの位置に存在するのが尤もらしいかの推定によって、端末３の位置を決定するのである。
このように、端末位置決定部１１６によれば、位置推定領域内の位置毎に当該位置とビーコン２との間の物体の存在を考慮して存在確率密度を求めればよく、前もって端末３とビーコン２との間の物体の存在やその数を確定する必要がない。その結果、端末３の位置が未知（未決定）の段階においても、物体による電波減衰情報を取り込んだ存在確率密度関数を算出することによって高精度な端末位置推定が可能となる。さらに、カメラ画像データから物体認識を行うことによる映像動線ＩＤと、位置推定に係る端末３の端末ＩＤとを紐づけるＩＤマッチング技術が不要となるのである。
図２に戻って、電波源選択部１１６ａは、後に図６を用いて詳細に説明するように、複数のビーコン２が配置されている形態において、上述したような存在確率密度関数p(RSSI|pos)に基づいて、複数のビーコン２の中から端末３の位置推定に適した好適ビーコン２（好適電波源）を選択する。端末位置決定部１１６は、取得した受信電波情報（本実施形態ではＲＳＳＩ）のうち、このように選択された好適ビーコン２（好適電波源）の中の複数に係る情報（ＲＳＳＩ）を用いて、端末３の位置を決定するのである。
さらに、選択された好適ビーコン２（好適電波源）のうちの複数についての存在確率密度関数p(RSSI|pos)に基づいて、「好適ビーコン２（好適電波源）のうちの複数」に係る当信電波情報（ＲＳＳＩ）を用い、端末３の位置を決定することも好ましい。ここで、この「好適電波源のうちの複数」は、好適ビーコン２（好適電波源）のうちＲＳＳＩの最も高いものから順に所定数分更に選択されたものとすることができる。
［端末位置推定方法］
図５は、物体認識情報管理部１１２、物体分布決定部１１３、電波減衰情報決定部１１４、及び端末位置決定部１１６における端末位置推定処理の一実施形態を示すフローチャートである。
図５は、物体認識情報管理部１１２、物体分布決定部１１３、電波減衰情報決定部１１４、及び端末位置決定部１１６における端末位置推定処理の一実施形態を示すフローチャートである。
（Ｓ１０１）（例えば店舗内の設備等における設置位置座標等の）物体配置情報を取得する。
（Ｓ１０２）予め配置されたn個のビーコン２の配置Aset、及び選択すべき好適ビーコン２の数mを含むビーコン配置情報を取得する。
（Ｓ１０２）予め配置されたn個のビーコン２の配置Aset、及び選択すべき好適ビーコン２の数mを含むビーコン配置情報を取得する。
次いで、位置推定期間の各時刻における、好適ビーコン選択処理及び端末位置決定処理のループ（ステップＳ１０３〜Ｓ１１１）に入る。すなわち、当該時刻毎にステップＳ１０３〜Ｓ１１１の処理を実行する。これにより、刻々の端末３の位置が決定（推定）されるのである。
（Ｓ１０３）物体(人物)認識情報を取得する。
（Ｓ１０４）物体配置情報及び物体（人物)認識情報から物体分布情報を生成する。
（Ｓ１０５）移動している又は移動し得る物体（人物）が存在しているか否かを判定する。ここで、偽の判定（存在していないとの判定）を行った場合、ステップＳ１０７ｂに移行する。
（Ｓ１０４）物体配置情報及び物体（人物)認識情報から物体分布情報を生成する。
（Ｓ１０５）移動している又は移動し得る物体（人物）が存在しているか否かを判定する。ここで、偽の判定（存在していないとの判定）を行った場合、ステップＳ１０７ｂに移行する。
（Ｓ１０７ｂ）予め設置されたn個のビーコン２（配置電波源）の全てを、この時刻における好適ビーコン２（好適電波源）とする。
これは、特に、これらn個のビーコン２の配置が、電波源配置部１１５によって物体配置情報に基づき予め好適に決定されている場合に有効となる。なお、別のフロー形態として、このステップＳ１０７ｂを取り止めた上で、ステップＳ１０５で偽の判定が行われた場合には、後述するステップＳ１０７ａに移行する形態とすることも可能である。
これは、特に、これらn個のビーコン２の配置が、電波源配置部１１５によって物体配置情報に基づき予め好適に決定されている場合に有効となる。なお、別のフロー形態として、このステップＳ１０７ｂを取り止めた上で、ステップＳ１０５で偽の判定が行われた場合には、後述するステップＳ１０７ａに移行する形態とすることも可能である。
（Ｓ１０６）一方、ステップＳ１０５で真の判定（存在しているとの判定）を行った場合、次いで、移動している若しくは移動し得る物体（人物）の位置が変化しているか否か、又は決定された物体分布が変化しているか否かを判定する。
ここで、当該位置が変化しているとは、例えば、当該位置が１つ前の時刻での位置から所定の距離以上離隔している、又は１つ前の時刻での位置を含む所定範囲の外に出ていることとしてもよい。また、物体分布が変化しているとは、当該物体分布を構成している少なくとも１つの物体の位置が、１つ前の時刻での位置から所定の距離以上離隔している、又は１つ前の時刻での位置を含む所定範囲の外に出ていることであってもよい。
このステップＳ１０６で偽の判定（変化していないとの判定）を行った場合、ステップＳ１０７ｃに移行する。
（Ｓ１０７ｃ）１つ前の時刻で選択された好適ビーコン２（好適電波源）を、この時刻における好適ビーコン２（好適電波源）とする。なお、１つ前の時刻で選択された好適ビーコン２が存在しない場合、ステップＳ１０６での判定結果に関わらずステップＳ１０７ａに移行する。
（Ｓ１０７ｃ）１つ前の時刻で選択された好適ビーコン２（好適電波源）を、この時刻における好適ビーコン２（好適電波源）とする。なお、１つ前の時刻で選択された好適ビーコン２が存在しない場合、ステップＳ１０６での判定結果に関わらずステップＳ１０７ａに移行する。
（Ｓ１０７ａ）一方、ステップＳ１０６で真の判定（変化しているとの判定）を行った場合、存在確率密度関数p(RSSI|pos)による最尤推定を用いて、予め配置されたn個のビーコン２からm個の好適ビーコン２を選択する。
これは、移動している又は移動し得る物体（人物）による遮蔽等の影響をより強く受けているビーコン２を除外する処理となっている。この好適ビーコン選択処理については、後に図６を用いて詳細に説明する。
これは、移動している又は移動し得る物体（人物）による遮蔽等の影響をより強く受けているビーコン２を除外する処理となっている。この好適ビーコン選択処理については、後に図６を用いて詳細に説明する。
（Ｓ１０８）端末３から受信電波情報を取得する。
（Ｓ１０９）選択された好適ビーコン２（好適電波源）のうちＲＳＳＩの最も高いものから順に所定数q個（例えば３つ）を更に選択する。
（Ｓ１０９）選択された好適ビーコン２（好適電波源）のうちＲＳＳＩの最も高いものから順に所定数q個（例えば３つ）を更に選択する。
（Ｓ１１０）これらq個のビーコン２に係るＲＳＳＩについての存在確率密度関数p(RSSI|pos)を用いた最尤推定法によって、最も存在確率密度の高い位置を（受信電波強度群がステップＳ１０８で取得されたRSSIとなる）端末３の位置に決定する。
なお、ステップＳ１０９でＲＳＳＩ上位３個（q＝3）のビーコン２を選択し、これら３つによる３点測位によって端末３の位置を決定することも可能である。しかしながら、本実施形態では、より高い推定精度を達成すべく、ステップＳ１０７ａで使用した存在確率密度関数p(RSSI|pos)と同形のものを使用して端末位置推定を行っている。
（Ｓ１１１）端末３における（２次元又は３次元の）推定位置座標を含む端末位置推定結果を出力する。
なお、ステップＳ１０９でＲＳＳＩ上位３個（q＝3）のビーコン２を選択し、これら３つによる３点測位によって端末３の位置を決定することも可能である。しかしながら、本実施形態では、より高い推定精度を達成すべく、ステップＳ１０７ａで使用した存在確率密度関数p(RSSI|pos)と同形のものを使用して端末位置推定を行っている。
（Ｓ１１１）端末３における（２次元又は３次元の）推定位置座標を含む端末位置推定結果を出力する。
以上に説明したステップＳ１０３〜Ｓ１１１の処理を、位置推定期間中の各時刻において実行することにより、端末位置決定部１１６において、端末３の推定位置座標の時系列情報を形成することが可能となる。なお、本実施形態では、ステップＳ１０４における物体分布情報の生成、すなわち更新と、ステップＳ１０８における受信電波情報の取得、すなわち更新とが同期しており、結果として、各時刻において当該時刻での状況に適合した好ましい最尤推定が実施されているのである。
図６は、電波源選択部１１６ａにおける好適電波源選択処理の一実施形態を示すフローチャートである。同図に示されたフローは、図５のステップＳ１０７ａでの処理に相当するものである。
電波源選択部１１６ａでは、最初に、物体分布情報、及びビーコン配置情報（n個のビーコン配置Aset、選択される好適ビーコンの数m）が設定される。また、予め配置された複数のビーコン２（配置電波源）の配置パターンAsetにおいて１つずつビーコン２の設置を行った配置パターンをAi（Ai⊂Aset, A0＝φ）とする。すなわち、配置パターンAp（p＝1, 2, ・・・, m）は、p番目のビーコンまで位置が決定しているビーコン２の配置座標の集合となっている。以下、パラメータiがゼロから１ずつ増分しm-1に至るまで、ステップＳ２０１〜Ｓ２０７のループが繰り返される。
また、このステップＳ２０１〜Ｓ２０７のループにおいて、Ｓ２０１〜Ｓ２０５は、位置推定領域内の設定された全座標(x', y')の位置pos'の各々について実行される（すなわちループをなしている）。さらに、このＳ２０１〜Ｓ２０５のループにおいて、Ｓ２０１〜Ｓ２０４は、同じく位置推定領域内の設定された全座標(x, y)の各々について実行される（すなわちループをなしている）。さらにまた、このＳ２０１〜Ｓ２０４のループにおいて、Ｓ２０１〜Ｓ２０３は、配置パターンAiを構成する全ビーコン２の各々について実行される（すなわちループをなしている）。
（Ｓ２０１）配置パターンAi（⊂Aset）を構成する（現時点のループに係る）１つのビーコン２と位置推定領域内における（現時点のループに係る）座標(x, y)の位置posとの距離rposを算出する。
（Ｓ２０２）設定された物体分布に基づいて、当該ビーコン２と当該位置posとの間における電波減衰情報であるnum及びrlossを決定する。
（Ｓ２０３）決定されたnum及びrlossに基づき、当該ビーコン２からの電波による、当該位置posにおけるＲＳＳＩであるrssiposを変数とした存在確率密度関数p(rssipos|pos)を、上式（４）又は（６）を用いて算出する。
（Ｓ２０２）設定された物体分布に基づいて、当該ビーコン２と当該位置posとの間における電波減衰情報であるnum及びrlossを決定する。
（Ｓ２０３）決定されたnum及びrlossに基づき、当該ビーコン２からの電波による、当該位置posにおけるＲＳＳＩであるrssiposを変数とした存在確率密度関数p(rssipos|pos)を、上式（４）又は（６）を用いて算出する。
（Ｓ２０４）配置パターンAi（⊂Aset）を構成する全ビーコン２の各々について算出された存在確率密度関数p(rssipos|pos)を用いて、当該全ビーコン２からの全受信電波による存在確率密度関数p Ai(RSSI|pos)を、上式（７）を用いて算出する。
（Ｓ２０５）次いで、上記のステップＳ２０１〜Ｓ２０４を含む座標(x, y)位置posについてのループの処理が完了した後、次式
（９） E(Ai, pos')＝Σpos∈R|pos'−pos|＊p Ai(RSSI|pos)
によって定義された、位置posと位置pos'との距離（すなわち位置の推定誤差）の期待値E(Ai, pos')を算出する。この上式（９）において、Σpos∈Rは、位置推定領域で取り得る全ての位置posについての総和（summation）である。
（９） E(Ai, pos')＝Σpos∈R|pos'−pos|＊p Ai(RSSI|pos)
によって定義された、位置posと位置pos'との距離（すなわち位置の推定誤差）の期待値E(Ai, pos')を算出する。この上式（９）において、Σpos∈Rは、位置推定領域で取り得る全ての位置posについての総和（summation）である。
（Ｓ２０６）次いで、上記のステップＳ２０１〜Ｓ２０５を含む座標(x', y')位置pos’についてのループの処理が完了した後、さらに、コスト関数C(Ai)を、次式
（１０） C(Ai)＝Σpos’∈R E(Ai, pos')
によって定義し、配置パターンAiについてのコスト関数C(Ai)を算出する。この上式（１０）において、E(Ai, pos')は、位置推定領域で取り得る全ての位置pos'についての総和（summation）である。すなわち、ここで定義されたコスト関数C(Ai)は、位置推定領域全体における位置推定誤差の期待値の総和となっている。
（１０） C(Ai)＝Σpos’∈R E(Ai, pos')
によって定義し、配置パターンAiについてのコスト関数C(Ai)を算出する。この上式（１０）において、E(Ai, pos')は、位置推定領域で取り得る全ての位置pos'についての総和（summation）である。すなわち、ここで定義されたコスト関数C(Ai)は、位置推定領域全体における位置推定誤差の期待値の総和となっている。
（Ｓ２０７）算出されたコスト関数C(Ai)の値によって配置パターンAiを評価する。具体的には、配置パターンAiの下で、（i＋1）番目に設置するビーコン２の配置位置をai+1とし、次式
（１１） ai+1＝arg min C(Ai∪{a})
を用いて配置位置ai+1を決定する。上式（１１）において、arg minは取り得る全ての配置位置a（∈Aset）について計算される。この配置位置ai+1を用いると、配置Ai+1は、次式
（１２） Ai+1＝Ai∪{ai+1}
によって求められる。
（１１） ai+1＝arg min C(Ai∪{a})
を用いて配置位置ai+1を決定する。上式（１１）において、arg minは取り得る全ての配置位置a（∈Aset）について計算される。この配置位置ai+1を用いると、配置Ai+1は、次式
（１２） Ai+1＝Ai∪{ai+1}
によって求められる。
（Ｓ２０８）このように、定義されたコスト関数C(Ai)を最小化するようなビーコン２の配置位置aを順次、全てのパラメータiについて決定し、最終的に、配置位置a1〜amであるm個の好適ビーコン配置Aopt（＝Am）を決定する。次いで、この好適ビーコン配置Aoptに基づき、予め配置された複数のビーコン２の中から、好適ビーコン２を選択する。
以上説明したように、電波源選択部１１６ａでは、予め配置されたn個のビーコン２の中から移動している又は移動し得る物体（人物）による遮蔽等の影響をより強く受けているものを除外している。これにより、この後、端末位置決定部１１６は、位置決定により適した好適ビーコン２を用いて端末３の位置を決定することができ、結果として、移動物体による遮蔽等の影響を考慮しない従来手法と比べて端末位置推定精度が相当に向上するのである。
図２に戻って、電波源配置部１１５は、以上に図６を用いて説明した電波源選択部１１６ａでの処理と同様の処理を行って、店舗内におけるビーコン２を設置可能な候補位置の中から、ビーコン２を実際に予め配置する配置位置を決定する。ここで、店舗内の候補位置は、例えば、店舗内の壁面上の位置や、机や椅子等の設備上の位置等とし、床面上には設定しないとしてもよい。
具体的に、電波源配置部１１５は、n個のビーコン２についての設定可能な全配置をAall（⊂S）とした上で、
（ａ）店舗内におけるビーコン２を設置可能な候補位置についての配置パターンA（⊂Aall）毎に、存在確率密度関数p A(RSSI|pos)を算出し、
（ｂ）位置posと位置pos'との距離に係るコスト関数C(A)を生成し、
（ｃ）生成されたコスト関数C(A)を最小化するn個のビーコン２の配置Aset（⊂Aall）を決定する。
（ａ）店舗内におけるビーコン２を設置可能な候補位置についての配置パターンA（⊂Aall）毎に、存在確率密度関数p A(RSSI|pos)を算出し、
（ｂ）位置posと位置pos'との距離に係るコスト関数C(A)を生成し、
（ｃ）生成されたコスト関数C(A)を最小化するn個のビーコン２の配置Aset（⊂Aall）を決定する。
これにより、電波源選択部１１６ａでの好適ビーコン選択処理の前提となる、予め設置された物体の配置を考慮した適切なビーコン２の配置が決定されるのである。なお、上記の電波源配置部１１５での処理は、電波源選択部１１６ａでの処理と同様であるが、処理のために入力されるビーコン配置候補点の集合がAoptではなく、Aallとなる点で異なっている。
同じく図２において、端末動線情報管理部１１７は、端末位置決定部１１６において決定された、位置推定期間中の時刻毎の端末３の推定位置座標を収集し、端末３（を所持するユーザ）の識別子ID毎に、収集した推定位置座標の時系列情報を対応付けた動線情報を生成する。また、端末動線情報管理部１１７は、生成した動線情報を、端末動線情報蓄積部１０５に保存してもよく、入出力制御部１２３を介してディスプレイ１０６に表示することも好ましく、通信制御部１２１及び通信インタフェース１０１を介して、外部の情報処理装置に送信してもよい。
以上詳細に説明したように、本発明によれば、電波減衰情報を反映させた変数を有する存在確率密度関数を用いて端末位置を決定する。ここで、この電波減衰情報は、人物等の移動し得る物体を含み得る物体分布に基づいて決定している。その結果、移動可能な物体が存在し得る状況においても、受信電波が「移動可能な物体を含み得る物体分布」によってどの程度減衰させられるかを考慮することが可能となり、電波源からの電波を受信した端末の位置をより精度良く推定することができるのである。
また、本発明によれば、物体認識手段において人物等の移動し得る物体に映像動線ＩＤを付与して追跡する実施形態にあっても、位置推定対象の端末がいずれの映像動線ＩＤのものと紐づけられるかを勘案することなく、物体分布を反映した存在確率密度関数を用いてこの端末の位置を決定することができる。すなわち、端末ＩＤと映像動線ＩＤとのマッチング技術を必要とせず、より簡便に端末位置推定処理を実施することが可能となり、同時に、最尤推定における存在確率密度の信頼性が低下する問題を解決することも叶うのである。
また、例えば、位置推定期間の時刻毎における物体認識情報と物体配置情報とに基づいて物体分布を決定し、当該時刻毎に好適電波源を選択することによって、刻々の端末の位置を推定することもできる。したがって、例えば多数の人物が動き回っている状況下においても、各端末の位置をより高い精度で決定することができるのである。
ちなみに、本発明の構成及び方法は、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システム、さらには、１つの店舗内や、商業・サービス施設内、さらには商店街の街路上における人物の入出店、休憩、観戦、イベント参加や、移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。
以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 端末位置推定装置
１０１ 通信インタフェース
１０２ 受信電波情報蓄積部
１０３ 物体認識情報蓄積部
１０４ 物体配置情報蓄積部
１０５ 端末動線情報蓄積部
１０６ ディスプレイ・キーボード（ＤＰ・ＫＢ）
１１１ 物体認識部
１１２ 物体認識情報管理部
１１３ 物体分布決定部
１１４ 電波減衰情報決定部
１１５ 電波源配置部
１１６ 端末位置決定部
１１６ａ 電波源選択部
１１７ 端末動線情報管理部
１２１ 通信制御部
１２２ 受信電波情報管理部
１２３ 入出力制御部
２ ビーコン（電波源）
３ 端末
４ カメラ
１０１ 通信インタフェース
１０２ 受信電波情報蓄積部
１０３ 物体認識情報蓄積部
１０４ 物体配置情報蓄積部
１０５ 端末動線情報蓄積部
１０６ ディスプレイ・キーボード（ＤＰ・ＫＢ）
１１１ 物体認識部
１１２ 物体認識情報管理部
１１３ 物体分布決定部
１１４ 電波減衰情報決定部
１１５ 電波源配置部
１１６ 端末位置決定部
１１６ａ 電波源選択部
１１７ 端末動線情報管理部
１２１ 通信制御部
１２２ 受信電波情報管理部
１２３ 入出力制御部
２ ビーコン（電波源）
３ 端末
４ カメラ
Claims (13)
- 電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する端末位置推定装置であって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
を有することを特徴とする端末位置推定装置。 - 当該電波減衰情報を反映した受信電波に係る量は、当該電波源と当該位置との間に存在する当該移動し得る物体及び当該予め設置された物体の数及びこれらの物体の各々による電波減衰の程度を表す量と、基準となる基準受信電波強度とから算出される、当該移動し得る物体及び当該予め設置された物体による電波減衰を反映した受信電波強度であることを特徴とする請求項１に記載の端末位置推定装置。
- 前記端末位置決定手段は、当該電波減衰の程度を表す量として少なくとも、当該移動し得る物体及び当該予め設置された物体のそれぞれについて、対応する所定の量を採用することを特徴とする請求項２に記載の端末位置推定装置。
- 前記物体分布決定手段は、当該物体認識情報から推定される、当該移動し得る物体の推定所在位置を含む所定の位置範囲を、当該移動し得る物体の分布範囲とすることを特徴とする請求項１から３のいずれか１項に記載の端末位置推定装置。
- 当該電波源は予め配置された複数の電波源であり、
前記端末位置決定手段は、当該存在確率密度関数に基づいて、当該複数の電波源の中から当該端末の位置推定に適した好適電波源を選択し、取得した当該受信電波情報のうち、選択された当該好適電波源の中の複数に係る情報を用いて、当該端末の位置を決定する
ことを特徴とする請求項１から４のいずれか１項に記載の端末位置推定装置。 - 前記端末位置決定手段は、選択された当該好適電波源のうちの複数についての当該存在確率密度関数に基づいて、当該好適電波源のうちの複数に係る当該受信電波情報を用い、当該端末の位置を決定することを特徴とする請求項５に記載の端末位置推定装置。
- 当該好適電波源のうちの複数は、当該好適電波源のうち受信電波強度の最も高いものから順に所定数分更に選択されたものであることを特徴とする請求項６に記載の端末位置推定装置。
- 前記端末位置決定手段は、位置推定に係る１つの時刻における当該物体分布が、前の時刻における当該物体分布と比較して所定以上変化していない場合、該前の時刻で選択された好適電波源を該１つの時刻における好適電波源とすることを特徴とする請求項５から７のいずれか１項に記載の端末位置推定装置。
- 前記端末位置決定手段は、位置推定に係る１つの時刻において当該移動し得る物体が存在しない場合、前記複数の電波源の全てを該１つの時刻における好適電波源とすることを特徴とする請求項５から８のいずれか１項に記載の端末位置推定装置。
- 当該物体認識情報は、カメラ、全天球カメラ、デプスカメラ、赤外線カメラ、赤外線測位手段、レーザ測位手段及びサーモグラフィ手段のうちの少なくとも１つからの撮影又は計測情報に基づいて生成されることを特徴とする請求項１から９のいずれか１項に記載の端末位置推定装置。
- 少なくとも予め設置された物体の配置情報に係る物体配置について、当該存在確率密度関数に基づき、当該端末の推定位置の誤差を最小化する電波源の配置を決定し、決定された当該配置に基づいて、電波源を設置可能な候補位置の中から、複数の電波源を予め配置する配置位置を決定する電波源配置手段を更に有することを特徴とする請求項１から１０のいずれか１項に記載の端末位置推定装置。
- 電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定する物体分布決定手段と、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定する電波減衰情報決定手段と、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定する端末位置決定手段と
としてコンピュータを機能させることを特徴とする端末位置推定プログラム。 - 電波源からの電波を受信した端末における受信電波情報を取得して当該端末の位置を推定する装置に搭載されたコンピュータによる端末位置推定方法であって、
移動し得る物体を認識可能な物体認識手段からの物体認識情報を取得し、当該物体認識情報と、予め設置された物体の配置情報とに基づいて、当該移動し得る物体及び当該予め設置された物体の分布である物体分布を決定するステップと、
位置推定領域内で決定された物体分布に基づいて、当該電波源と当該位置推定領域内の位置との間における当該移動し得る物体及び当該予め設置された物体による電波減衰の程度に係る電波減衰情報を決定するステップと、
当該位置推定領域内の位置についての存在確率密度関数であって、当該電波減衰情報を反映した受信電波に係る量を変数としており、当該位置において、変数として設定された受信電波に係る量の電波を受信する確率を示す存在確率密度関数に基づいて、当該端末において得られた当該受信電波に係る量を具現するのに最も尤もらしい位置を、当該端末の位置に決定するステップと
を有することを特徴とする端末位置推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017209171A JP6928538B2 (ja) | 2017-10-30 | 2017-10-30 | 電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017209171A JP6928538B2 (ja) | 2017-10-30 | 2017-10-30 | 電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019082363A JP2019082363A (ja) | 2019-05-30 |
| JP6928538B2 true JP6928538B2 (ja) | 2021-09-01 |
Family
ID=66669520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017209171A Active JP6928538B2 (ja) | 2017-10-30 | 2017-10-30 | 電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6928538B2 (ja) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5293642A (en) * | 1990-12-19 | 1994-03-08 | Northern Telecom Limited | Method of locating a mobile station |
| JP2006295742A (ja) * | 2005-04-13 | 2006-10-26 | Seiko Precision Inc | 移動局の位置特定方法、無線通信システム及びコンピュータプログラム |
| JP4445951B2 (ja) * | 2006-01-24 | 2010-04-07 | 株式会社エヌ・ティ・ティ・ドコモ | エリア推定システム及びエリア推定方法 |
| JP6329213B2 (ja) * | 2015-08-07 | 2018-05-23 | アジア航測株式会社 | 携帯端末存在領域推定装置、携帯端末存在領域提供システム及び携帯端末存在領域推定プログラム |
| JP2017096754A (ja) * | 2015-11-24 | 2017-06-01 | 株式会社Ｎｔｔファシリティーズ | 位置推定システム、位置推定方法及びプログラム |
-
2017
- 2017-10-30 JP JP2017209171A patent/JP6928538B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019082363A (ja) | 2019-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902160B2 (en) | Cold storage environmental control and product tracking | |
| CN105190345B (zh) | 用于使用三维位置信息改进定位服务的系统和方法 | |
| JP4968960B2 (ja) | Ｔｏａ（到達時刻）とｒｓｓ（受信信号強度）の融合による適応型対象測位方法、装置、システム、および当該システムを利用した対象追跡方法 | |
| CN106461789B (zh) | 用于基于地理围栏跨越进行控制的系统和技术 | |
| US20150097653A1 (en) | Determination of proximity using a plurality of transponders | |
| KR101286169B1 (ko) | 무선 통신 단말의 위치 측정 장치, 위치 측정 방법 및 핑거프린트 정보 수집 방법, 핑거프린트 서버 및 그의 위치 제공 방법 | |
| KR101569183B1 (ko) | 실내 위치 결정 시스템 및 실내 위치 결정 방법 | |
| JP6959888B2 (ja) | 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法 | |
| CN112544097A (zh) | 用于执行三维无线电模型构建的方法、装置和计算机程序 | |
| CN111935644B (zh) | 一种基于融合信息的定位方法、装置及终端设备 | |
| US20230229823A1 (en) | Method and apparatus for location determination of wearable smart devices | |
| KR20180039436A (ko) | 공항용 청소 로봇 및 그의 동작 방법 | |
| Santo et al. | Device-free and privacy preserving indoor positioning using infrared retro-reflection imaging | |
| CN108450060A (zh) | 基于wi-fi接入点的定位方法、设备 | |
| US10674117B2 (en) | Enhanced video system | |
| JP2015040749A (ja) | 位置推定装置及び位置推定プログラム | |
| JP6928538B2 (ja) | 電波減衰を考慮した存在確率密度に基づいて端末位置を推定する装置、プログラム及び方法 | |
| Yu et al. | An intelligent space location identification system based on passive RFID tags | |
| KR20180046812A (ko) | 전자 장치 및 전자 장치의 관심 영역 진입 판단 방법 | |
| Zhao et al. | CNN-based indoor occupant localization via active scene illumination | |
| JP6730953B2 (ja) | 移動物体認識情報を考慮した端末位置推定装置、プログラム及び方法 | |
| Potsiou et al. | Indoor localization for 3d mobile cadastral mapping using machine learning techniques | |
| US11894880B2 (en) | Automatic fine-grained radio map construction and adaption | |
| Torres-Sospedra et al. | Lessons Learned in Generating Ground Truth for Indoor Positioning Systems Based on Wi-Fi Fingerprinting | |
| CN110312202B (zh) | 一种用户搜索方法、装置、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210806 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6928538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |