JP7473843B2 - 状態推定システム、状態推定方法、状態推定装置、および、状態推定プログラム - Google Patents

Description

本発明は、無線通信機器と周辺環境の状態を推定する状態推定システム、状態推定方法、状態推定装置、および、状態推定プログラムに関する。

様々な機器がインターネットにつながるIOT（Internet of things）の実現が進んでいる。自動車、ドローン、建設機械車両など、様々な機器が無線で接続されつつある。無線通信規格としても、標準化規格IEEE 802.11で規定される無線LAN（Local Area Network）、Bluetooth（登録商標）、LTEや5Gによるセルラー通信、IOT向けのLPWA（Low Power Wide Area）通信、車通信に用いられるETC（Electronic Toll Collection System）、VICS（Vehicle Information and Communication System）、ARIB-STD-T109など、サポートする無線通信規格も発展しており、今後の普及が期待されている。

上記無線通信機器は、高いスループットや信頼性能を達成するため、複数のアンテナを用いたMIMO（Multiple input multiple output）通信技術を導入している。MIMO通信技術は、送信側と受信側との間でどのように電波が伝搬しているかを示すチャネル情報を利用することで、スループットや信頼性能を高めることができる。送信側の無線通信機器には、受信側の無線通信機器に対してチャネル情報を伝えるフィードバック信号の送信機能がサポートされている（非特許文献１参照）。

"Part 11: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications"、IEEE Computer Society、IEEE Std 802.11、2016年、p.2396-p.2400

電波伝搬に関するチャネル情報を利用することで、無線通信機器の通信に関するスループットや信頼性能を向上可能であった。一方、位置、姿勢、動きなどの無線通信機器の状態、ノートパソコン、スマートフォンなどの無線通信機器の種類、無線通信機器の周辺に存在する静的または動的な物体により、通信相手との間の電波伝搬環境が変化するため、通信品質に影響を与え、当該無線通信機器による無線通信により実現されるサービスや無線通信システムに対して大きな影響を及ぼすことがあった。特に、無線通信に高い周波数を用いるほど、電波の直進性が強く、通信品質に影響を受けやすい。

そこで、本発明は、チャネル情報が、無線通信機器の通信に関する情報を含むだけではなく、無線通信時における無線通信機器の状態、種類、周辺環境を反映していることに着目し、チャネル情報を用いて無線通信機器や無線通信端末の周辺環境の実世界での状態を推定する。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、無線通信機器または無線通信端末の周辺環境の実世界での状態を推定可能な技術を提供することである。

本発明の一態様の状態推定システムは、無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、チャネル情報を用いて、前記チャネル特徴量を生成する生成装置と、前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出装置と、を備える。

本発明の一態様の状態推定システムは、無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、前記チャネル情報を用いて、チャネル特徴量を生成する第１の生成装置と、前記無線通信端末の物理的な状態、前記無線通信端末の種類、前記無線通信端末の周辺環境のうちいずれか１つ以上の状態情報を測定する測定装置と、前記状態情報のうち少なくとも１つの状態情報を検出するべき前記無線通信端末の状態となるターゲット状態情報とし、前記ターゲット状態情報以外で検出に用いる情報を補助情報として、訓練データを第２の生成装置と、前記訓練データを用いて前記ターゲット状態情報を出力する実世界通信モデルを生成する第３の生成装置と、を備える。

本発明の一態様の状態推定方法は、無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定方法において、無線通信装置が、無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得し、生成装置が、前記チャネル情報を用いて、チャネル特徴量を生成し、検出装置が、前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する。

本発明の一態様の状態推定装置は、無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定装置において、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルを記憶しておく記憶部と、無線通信端末から無線で送信される通信信号から取得した前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を用いて、チャネル特徴量を生成する生成部と、前記チャネル特徴量を前記実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出部と、を備える。

本発明の一態様の状態推定プログラムは、上記状態推定装置としてコンピュータを機能させる状態推定プログラムである。

本発明によれば、無線通信機器または無線通信端末の周辺環境の実世界での状態を推定可能な技術を提供できる。

図１は、状態推定システムの全体構成例を示す図である。 図２は、実世界通信モデルの生成例を示す図である。 図３は、実世界通信モデルの入出力例を示す図である。 図４は、状態推定システムの動作例を示す図である。 図５は、実験エリアの例を示す図である。 図６は、目標位置の設定例を示す図である。 図７は、深層学習の処理例を示す図である。 図８は、実験結果を示す図である。 図９は、実験結果を示す図である。 図１０は、状態推定システムのハードウェア構成例を示す図である。

以下、図面を参照して、本発明の一実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

［発明の概要］
本発明は、無線通信端末が送信する電波伝搬に関するチャネル情報やチャネル特徴量を用いて、実世界での無線通信端末やその周辺環境の状態情報を推定すること、具体的には当該状態情報から選択されたターゲット状態情報を推定することにある。

「チャネル情報」とは、送信側と受信側との間でどのように電波が伝搬しているかを示す情報である。つまり、「チャネル情報」とは、MIMO通信技術において、送信側の備える複数のアンテナと受信側の備える複数のアンテナとの間での電波伝搬の状態を表す情報であり、伝搬ロス、または伝搬ロスと電波の位相回転情報とから得られる情報である。

「チャネル特徴量」とは、「チャネル情報」から得られる数値、または「チャネル情報」に後述する様々な演算を施して得られる数値である。

「無線通信端末の状態情報」とは、例えば、位置、姿勢、向き、高さ、速度、加速度、回転、動きなどの無線通信端末の状態、手に把持されている、鞄の中に入れられているなどの無線通信端末の物理状態、ノートパソコン、スマートフォン、コネクテッドカー、ロボット、輸送装置、ドローンなどの無線通信端末の種類、無線通信端末の周辺に存在する物体（オブジェクト）、に関する情報である。

「ターゲット状態情報」とは、「無線端末の状態情報」のうち、予測を行う対象となる状態情報である。

本発明は、「チャネル特徴量」と「ターゲット状態情報」、または、「チャネル特徴量」と「無線通信端末の状態情報」と「ターゲット状態情報」との関係性を機械学習によりモデル化した実世界通信モデルを予め生成しておき、所定のタイミングで無線通信端末から送信されたチャネル情報のチャネル特徴量を当該実世界通信モデルに入力することで、当該所定のタイミングでの無線通信端末の実世界での状態情報（つまりターゲット状態情報）を推定する。

［状態推定システムの構成］
図１は、本実施形態に係る状態推定システム１の全体構成例を示す図である。状態推定システム１は、無線通信端末２やその周辺環境の状態情報を推定する状態推定システムまたは状態推定装置である。

無線通信端末２について説明する。無線通信端末２は、例えば、無線通信機能を備える自動車、ドローン、建設機械車両である。無線通信端末２は、１つまたは複数であり、無線通信網５を介して状態推定システム１と無線通信可能である。無線通信端末２は、複数のアンテナを介してMIMO通信により無線通信を行う無線通信部２１を備える。１つの無線通信端末２が複数の無線通信部２１を備えてもよい。

状態推定システム１について説明する。状態推定システム１は、例えば、主要場所に設置された基地局である。状態推定システム１は、例えば、無線通信端末２と通信可能な無線通信端末、無線通信装置、無線通信機器、無線通信デバイスでもよい。

状態推定システム１は、図１に示したように、例えば、複数の無線通信部１１と、入力特徴量生成部１２と、補助情報生成部１３と、実世界通信モデル制御部１４と、実世界通信モデル記憶部１５と、ネットワーク網１６と、を備える。

無線通信部１１は、複数のアンテナを介してMIMO通信により無線通信を行う通信部である。無線通信部１１は、複数具備することができ、図１は２つの無線通信部を例として示しており、第１の無線通信部１１ａと、第２の無線通信部１１ｂと、である。無線通信部１１は、無線通信端末２から送信される通信信号を無線で受信する機能を備える。無線通信部１１は、受信した通信信号から、無線通信端末２と自身の無線通信部１１との間の電波伝搬に関するチャネル情報を取得する機能を備える。無線通信部１１は、取得したチャネル情報を、ネットワーク網１６を介して入力特徴量生成部１２へ出力する機能を備える。無線通信部１１は、無線通信装置で構成してもよい。

「通信信号」とは、無線通信部１１や無線通信端末２から送信されるチャネル情報を得ることができる信号である。通信信号は、例えば、チャネル情報をフィードバックするための情報を含むフィードバック信号、またはパイロット信号である。パイロット信号は、無線通信を行う装置の間での既知の信号であればよい。

入力特徴量生成部１２は、通信信号から取得したチャネル情報を用いて、無線通信端末２と状態推定システム１との間の電波伝搬に係るチャネル特徴量を生成する機能を備える。入力特徴量生成部１２は、生成したチャネル特徴量を実世界通信モデル制御部１４が利用する実世界通信モデルに入力する機能を備える。入力特徴量生成部１２は、入力特徴量生成装置、生成装置、第１の生成装置、生成部で構成してもよい。

「チャネル特徴量」とは、チャネル情報を様々な形に変換した特徴量である。チャネル情報は、時間方向の形、周波数方向の形、符号化された形で表現可能であり、無線通信システムごとに、様々な形で変換されたものである。例えば、送信アンテナNtと受信アンテナNrとの間のチャネル情報を、Mr×Mtのチャネル行列Hとして表現することができる。このチャネル行列Hやチャネル行列Hに演算処理を行って得られる係数が「チャネル特徴量」の例である。

このチャネル行列Hに対して、QR分解、特異値分解、H^HHやHH^Hのような相関行列、相関行列のQR分解/固有ベクトル分解や、それらの周波数方向または時間方向での差分情報など、さまざまな線形処理で得られるベクトル、位相、レベルなども生成可能である。

または、複数アンテナを用いた電波の到来方向推定を用いた結果や、到来方向推定に使うための入力情報を用いることもできる。または、チャネル情報をフィードバックするために圧縮した情報を用いることもできる。例えば、無線LANの場合であれば、チャネル情報を圧縮した情報として、既知信号を受信して得られるチャネル行列に対し、特異値分解やQR分解で得られるユニタリ行列を角度情報に圧縮したものを量子化し、複数のサブキャリア（周波数を細かく区切ったサブチャネル）に対応するものを受信側へフィードバックしている（非特許文献１参照）。このように圧縮された行列情報にさらに、平均化やQR分解や差分情報を用いて特徴量を生成することもできる。

補助情報生成部１３は、カメラ３やセンサ４から無線通信端末２の状態情報を取得し、無線通信端末２の物理的な位置、速度、向き、加速度などの物理状態、無線通信端末２の種類、無線通信端末２の周辺のオブジェクトの位置や数などの周辺環境情報を測定する機能を備える。

また、補助情報生成部１３は、無線通信端末２の状態情報であって、ターゲット状態情報とはならない情報や、ターゲット状態情報であるが対応する時間が異なるターゲット状態情報や、ネットワーク網１６を介して得られる天気、日付、時間、イベント、天候、気温、人やモノの物理的な位置や動きなどの情報、無線通信端末２やその所有者や所有物の構成・大きさ・分類/型式情報・契約情報・嗜好情報・動作情報・通信モード情報を、補助情報として生成する機能を備える。

「補助情報」は、実世界通信モデルへの入力情報として用いたり、実世界通信モデルを選択するために用いられる。または、「補助情報」は、実世界通信モデルを訓練（学習）する際において、実世界通信モデルを構成する様々な係数の更新時に用いる教師データとして用いてもよい。例えば実世界通信モデル内部で一度、補助情報を生成してから、ターゲット状態情報の出力に用いる場合に、補助情報は教師データとして用いることができる。補助情報生成部１３は、カメラ・センサなどの測定装置、補助情報生成装置で構成してもよい。

実世界通信モデル制御部１４は、実世界通信モデル記憶部１５から、無線通信機器間のチャネル特徴量と無線通信機器やその周辺環境の状態との関係性を機械学習により予めモデル化した実世界通信モデルを読み出し、上記電波伝搬に係るチャネル特徴量、更には上記補助情報を当該実世界通信モデルに入力することで、無線通信端末２やその周辺環境の実世界での状態を検出し、実世界での無線通信端末２やその周辺環境の状態情報を出力する機能を備える。実世界通信モデル制御部１４は、実世界通信モデル利用装置、検出装置、検出部で構成してもよい。

「無線通信端末の状態情報」とは、上述した通り、例えば、位置、姿勢、向き、高さ、速度、加速度、回転、動きなどの無線通信端末の状態、手に把持されている、鞄の中に入れられているなどの無線通信端末の物理状態、ノートパソコン、スマートフォン、コネクテッドカー、ロボット、輸送装置、ドローンなどの無線通信端末の種類、無線通信端末の周辺に存在する物体（オブジェクト）、に関する情報である。

上記状態情報のうち少なくとも１つの状態情報を検出するべき無線通信端末２のターゲット状態情報とし、ターゲット状態情報を検出するために用いる、チャネル特徴量以外の情報を補助情報とした。例えば、実世界通信モデル制御部１４は、ターゲット状態情報を出力する実世界通信モデルを形成するための訓練データを生成する訓練データ生成部１４ａと、訓練データを用いて、ターゲット状態情報を出力する実世界通信モデルを生成する実世界通信モデル生成部１４ｂと、チャネル特徴量や補助情報を実世界通信モデルに入力して当該実世界通信モデルを利用する実世界通信モデル利用部１４ｃと、を備える。訓練データ生成部１４ａは、第２の生成装置で構成してもよい。実世界通信モデル生成部１４ｂは、第３の生成装置で構成してもよい。

実世界通信モデル記憶部１５は、無線通信機器間のチャネル特徴量と無線通信機器やその周辺環境の状態との関係性を機械学習により予めモデル化した実世界通信モデルを記憶しておく機能を備える。実世界通信モデルは、例えば、入力特徴量生成部１２で生成された電波伝搬に係るチャネル特徴量、補助情報生成部１３で生成された補助情報、複数の無線通信部１１と複数の無線通信端末２との間の各無線通信のうち少なくとも１つの無線通信から得られるチャネル特徴量を用いて生成された学習モデルである。実世界通信モデル記憶部１５は、実世界通信モデル記憶装置、記憶部で構成してもよい。

［実世界通信モデルの生成方法］
図２は、実世界通信モデルの生成例を示す図である。機械学習のアルゴリズムは、例えば、サポートベクタマシン、ニューラルネットワーク、決定木、勾配ブースティング決定木、ランダムフォレスト、勾配ブーストなど、任意のアルゴリズムを用いることができる。

実世界通信モデル制御部１４は、無線通信端末２からのフィードバック情報またはパイロット信号から得られるチャネル特徴量と、無線通信端末２の状態情報（ターゲット状態情報を含む）と、を訓練データとして用意し、このうち、無線通信端末２の少なくとも1つ以上のパラメータをターゲット状態情報として出力できるよう、所定の機械学習アルゴリズムを用いて訓練（機械学習）を行い、係数、バイアス、決定木などの係数を更新することで、チャネル特徴量から無線通信端末２の状態情報（ターゲット状態情報）を出力可能な実世界通信モデルを生成する。この際に、無線通信端末２の状態情報以外の情報を補助情報として用いてもよい。実世界通信モデルは、チャネル特徴量、またはチャネル特徴量と補助情報とを用いて、ターゲット状態情報を出力するモデルとなる。

ここで、無線通信端末２の状態情報とは、無線通信端末2の物理状態（位置、速度、回転、向き、高さ、手に持っている、バックの中）、無線通信端末２の種類（ノートPC、スマートフォン、コネクテッドカー、ロボット、ドローン、仮想現実（VR: Virtual Reality）・拡張現実（AR: Augmented Reality）・複合現実（MR: Mixed Reality）・代替現実（SR：Substitutional Reality）などのxR端末）、無線通信端末2の周辺オブジェクトの物理状態である。

補助情報とは、無線通信端末２の状態情報であって、ターゲット状態情報とはならない情報や、ターゲット状態情報であるが、対応する時間が異なるターゲット状態情報や、ネットワーク網１６を介して得られる天気、日付、時間、イベント、天候、気温、人やモノの物理的な位置や動きなどの情報、無線通信端末２やその所有者や所有物の構成・大きさ・分類／型式情報・契約情報・嗜好情報・動作情報・通信モード情報、無線通信に関するパラメータ、端末の電力消費などのモード、端末／端末の所有者／端末の搭載物の行動パターン／嗜好／搭載位置情報、端末の所有者の契約情報、端末／端末の所有者／端末の搭載物を特定する見た目または通信の認識情報、周辺のカメラ／センサからの映像情報、周辺のセンサから得られる温度、湿度、光、高度、傾き、速度、加速度などのセンシング情報、などを用いることができる。

実世界通信モデルにおいて、ターゲット状態情報として無線通信端末2の物理状態、そのうち位置情報を出力する場合を例とすると、GPS、無線LAN、Bluetoothなどによる位置測位や、無線通信端末２のカメラ映像によるLiDAR（Light Detection and Ranging）技術を用いた自己位置推定、監視カメラやセンシング情報からの位置情報の抽出処理、により位置を取得可能な無線通信端末を用い、実世界通信モデルへの入力信号と合わせて訓練データとし、実世界通信モデル制御部１４へ入力することで、機械学習により訓練を行い、実世界通信モデルを算出できる。

物理状態として、速度、回転、向き、高さなど、を出力する際には、訓練データとして、それらに対する教師データを生成する。端末の加速度センサや、位置情報の時系列データ、などを用いて速度情報を抽出したり、端末のジャイロセンサや映像／センサ情報から回転、回転速度、向きを出力したり、気圧計から高さを推定したり、端末または端末の所有者/所有物を映したカメラやセンサ出力を用いてそれらを出力したりすることができる。手に持っている、バックの中、などの状態は無線通信端末２のカメラ／センサの出力から、例えば光を検出できず、時間が昼であればバックの中であると判断させたり、光検出ができない方向をとることで耳に当てている、手に持っている、などの状態を判断したり、または、端末または端末の所有者／所有物を映したカメラやセンサ情報から、手に持っている、バックの中、などの状態を判別させたり、手動で映像から判断したりすることもできる。

出力するターゲット状態情報が、無線通信端末２の種類である場合には、あらかじめ様々な種類の端末での通信情報と状態情報を収集し、訓練データとすることで、どのような種類の端末であるかを出力する実世界通信モデルを生成できる。

出力するターゲット状態情報が、無線通信端末２の周辺環境情報である場合には、無線通信端末２に具備するカメラやセンサによる周辺環境の検出結果、または当該環境に別途設置されたカメラ３やセンサ４の検出結果、検出対象となる周辺のオブジェクトが具備する位置検出装置の出力結果、または人が手動で判断して生成した周辺環境情報を用いて、訓練データを生成し、周辺環境の情報を出力する実世界通信モデルを生成できる。例えば、自己位置を測定できるオブジェクトを用い、無線通信端末２の周辺を動き、無線通信端末２の通信情報と合わせて訓練データとして用いることができる。

教師データは、事前に収集してから実世界通信モデルを生成して用いてもよいし、別途ネットワークに接続された状態情報の収集装置や、人による作業や、前述の物理状態や種類や周辺環境の情報を何らかの形で収集可能な無線通信端末２であって、さらにデータの提供に許諾し他の無線通信端末２から、当該教師データを収集し、徐々に訓練データを増やしたり、生成した実世界通信モデルをアップデートしたりしてもよい。

また、ターゲット状態情報は、前述の無線通信端末２の物理状態、種類、周辺のオブジェクト情報のうち、一つを選択してもよいし、複数を選択してもよい。

それゆえ、実世界通信モデル制御部１４は、例えば、無線通信端末２の状態、無線通信端末２の種類、無線通信端末２の周辺に位置するオブジェクトの情報をラベル付けした訓練データと、無線通信機器間の電波伝搬に関するチャネル特徴量と、の関係性を学習し、入力されたチャネル特徴量に対応するラベル付けされた情報を出力するように訓練する実世界通信モデルを生成することができる。

なお、チャネル特徴量については、複数の無線通信部１１で同時に受信した複数のチャネル情報より計測してもよし、複数の周波数に対して得られるものを用いてもよいし、音波や光などのチャネル情報をも併せて用いてもよいし、通信方式やアルゴリズムや変調方式や誤り訂正符号情報を合わせて生成してもよい。

チャネル情報は、無線通信端末２の第１の無線通信部１１ａで受信した受信信号や、受信信号に含まれるフィードバック情報から得てもよい。

なお、フィードバック情報は、必ずしも無線通信端末２（ここでは、図１に示した第１の無線通信端末２ａ）が第１の無線通信部１１ａ宛てに送信したものである必要はない。例えば、第１の無線通信端末２ａが第２の無線通信部１１ｂ宛てに送信したフィードバック情報を用いてもよい。このように制御すると、第１の無線通信端末２ａと第１の無線通信部１１ａとの間のチャネル情報とともに、第１の無線通信端末２ａと第２の無線通信部１１ｂとの間のチャネル情報も取得できるので、２つの電波伝搬情報を取得できるメリットがある。

この場合、入力特徴量生成部１２は、第１の無線通信部１１ａから出力されたチャネル情報や当該チャネル情報から展開される電波伝搬情報に加え、第２の無線通信部１１ｂから出力されたチャネル情報や当該チャネル情報から展開される電波伝搬情報を更に用いることができる。

その結果、無線通信端末２の状態を検出する検出精度が向上する。

無線通信部１１は、ネットワーク網１６に接続されない外部の無線通信部であってもよい。この場合、例えば、当該外部の無線通信部と第１の無線通信端末２ａとの間のフィードバック情報を、ネットワーク網１６に接続された第１の無線通信部１１ａで受信し、前記外部の無線通信部と第１の無線通信端末２ａとの間のチャネル情報を用いることができる。

例えば、第１の無線通信部１１ａは、第1の無線通信端末２ａから、第１の無線通信部１１ａ以外のネットワーク網未接続無線通信部（ネットワーク網１６に接続された第２の無線通信部１１ｂでもよい）へ送信されたチャネル情報を含む通信信号を受信する。入力特徴量生成部１２は、第１の無線通信端末２ａから受信した当該通信信号の受信電力と、当該通信信号に含まれる第１の無線通信端末２ａと上記ネットワーク網未接続無線通信部や第２の無線通信部１１ｂとの間のチャネル情報とを用いて、チャネル特徴量を生成する。

無線通信部１１が、複数の周波数に分割する直交波周波数分割方式のような無線通信システムであり、チャネル情報について複数の周波数に対応するものが得られる場合には、各周波数のチャネル情報のすべて使ったり、受信レベルの高い周波数のチャネル情報を選択したり、総和または平均をとったり、総和または平均により得られる情報に線形信号処理を行ってもよい。

例えば、入力特徴量生成部１２は、第１の無線通信部１１ａ以外の第２の無線通信部１１ｂ（ネットワーク網未接続無線通信部でもよい）が受信した第１の無線通信端末２ａからの通信信号から取得した複数の周波数チャネルのチャネル情報を用いて、異なる周波数に対するチャネル情報から線形演算して得られる情報を、平均化して得られる情報を生成する。

［実世界通信モデルの利用方法］
図３は、実世界通信モデルの入出力例を示す図である。図２において、実世界通信モデルを構築すれば、チャネル特徴量、またはチャネル特徴量および補助情報を用いて、ターゲット状態情報を出力できる。ターゲット状態情報は、前述のとおり、無線通信端末２の物理状態、種類、または周辺のオブジェクト情報、のうち少なくとも一つの情報となる。

［状態推定システムの動作］
図４は、状態推定システム１の動作例を示す図である。この動作例は、第１の無線通信部１１ａが、第１の無線通信端末２ａが第１の無線通信部１１ａへ送信した無線信号のパイロット信号を用いるか、第１の無線通信端末２ａが第１の無線通信部１１ａまたは他の無線通信部（例えば、第２の無線通信部１１ｂ）へ送信した無線信号に含まれるフィードバック信号を用いて、第１の無線通信端末２ａに関連するチャネル情報を取得する場合の状態推定方法である。

ステップＳ１；
第１の無線通信部１１ａは、第１の無線通信端末２ａから送信されるチャネル情報のフィードバック情報を含む無線信号またはパイロット信号を受信する。第１の無線通信部１１ａは、受信したフィードバック情報またはパイロット信号から、第１の無線通信端末２ａと自身との間、または第1の無線通信端末２ａと第２の無線通信部１１ｂとの間、の電波伝搬に関するチャネル情報を取得する。その後、第１の無線通信部１１ａは、取得したチャネル情報を、ネットワーク網１６を介して入力特徴量生成部１２へ出力する。

ステップＳ２；
入力特徴量生成部１２は、第１の無線通信部１１ａから出力されたチャネル情報（第１のチャネル情報）を用いて、第１の無線通信端末２ａと第１の無線通信部１１ａとの間、または第1の無線通信端末２ａと第２の無線通信部１１ｂとの間、の電波伝搬に係るチャネル特徴量を生成する。このとき、入力特徴量生成部１２は、同じタイミングで第２の無線通信部１１ｂや他の無線通信部など、一つ以上の無線通信部からもチャネル情報（第２のチャネル情報）が出力されていれば、その第２のチャネル情報もあわせて用いて、チャネル特徴量を生成する。その後、入力特徴量生成部１２は、生成したチャネル特徴量を実世界通信モデル制御部１４の実世界通信モデルに入力する。

例えば、入力特徴量生成部１２は、チャネル特徴量として、第１のチャネル情報を用いて、パイロット信号の受信信号から算出される受信電力、チャネル行列、チャネル行列の相関行列、それらの行列を複数の周波数に対応して取得して線形演算して得られる行列、それらの行列に線形演算により得られるユニタリ行列および対角行列、それらの行列の位相、振幅、実数成分、虚数成分を生成する。

例えば、入力特徴量生成部１２は、チャネル特徴量として、第１のチャネル情報を用いて、フィードバック信号から抽出される無線通信端末２が通信相手へ通知する受信電力、チャネル行列、チャネル行列の相関行列、それらの行列を複数の周波数に対応して取得して線形演算して得られる行列、それらの行列に線形演算により得られるユニタリ行列および対角行列、それらの行列の位相、振幅、実数成分、虚数成分、送信側で選択するべき送信モード情報を生成する。無線LANの標準化規格であれば、IEEE 802. 11であれば、非特許文献１に記載の「Beamforming report」の情報を用いることができる。

例えば、入力特徴量生成部１２は、チャネル特徴量として、第２のチャネル情報を用いて、第１の無線通信端末２ａが送信したフィードバック情報を含む無線パケットの受信信号から得られる受信電力、チャネル行列、チャネル行列の相関行列、それらの行列を複数の周波数に対応して取得して線形演算して得られる行列、それらの行列に線形演算により得られるユニタリ行列および対角行列、それらの行列の位相、振幅、実数成分、虚数成分を生成する。

ステップＳ３；
補助情報生成部１３は、第１の無線通信端末２ａの状態情報や、ネットワーク網１６を介して収集できるカメラ／センサの情報、および天候などを取得して補助情報として生成することもできる。その後、補助情報生成部１３は、生成した補助情報を実世界通信モデル制御部１４の実世界通信モデルに入力する。なお、ステップＳ３は、ステップＳ２よりも前のタイミングまたは同じタイミングで実行してもよい。

ステップＳ４；
実世界通信モデル制御部１４は、実世界通信モデル記憶部１５から実世界通信モデルを読み出し、チャネル特徴量、またはチャネル特徴量及び補助情報を当該実世界通信モデルに入力することで、第１の無線通信端末２ａの実世界でのターゲット状態情報を出力する。

例えば、実世界通信モデル制御部１４は、位置、姿勢、向き、高さ、速度、加速度、回転、動きなどの無線通信端末の状態、手に把持されている、鞄の中に入れられているなどの無線通信端末の物理状態、ノートパソコン、スマートフォン、コネクテッドカー、ロボット、輸送装置、ドローンなどの無線通信端末の種類、無線通信端末の周辺に存在する物体（オブジェクト）、に関する情報を検出して利用する。例えば、物理状態は、無線通信端末の管理、ログ取得、追跡に用いることができ、種類の判別は、無線通信端末の種類に応じて要求品質を変更するようなサービスに用いることができ、周辺オブジェクトの判定は、畑における害獣の検出、侵入者の判定などのセキュリティシステム、特定エリアにいる通信端末の数を判定して密度や混雑を判断するシステム、などに用いることができる。

［実験結果］
本実施形態の効果を実証するために行った実験とその実験結果とを図５から図８に示す。図５は、実験エリアの例を示す図である。図６は、その実験エリアで自律走行ロボット６が移動する移動先の目標位置の設定例を示す図である。自己位置を正確に測定可能な自律走行ロボット６にIEEE 802.11acの無線通信端末２を搭載し、図６の第２の無線通信部１１ｂと通信させた。さらに、実験室内に第１の無線通信部１１ａとして、フィードバック情報を受信可能な無線通信端末を設置した。自律走行ロボット６は、図６中の中央エリアに設定した８つの目標位置をランダムに選択しながら移動し続ける。この位置を第１の無線通信部１１ａで得られるフィードバック情報から予測した。

フィードバック情報は、IEEE 802.11acで得られる、Compressed beamforming feedback matrixの角度φとψとを位相情報として用いた。第２の無線通信部１１ｂは４つのアンテナを持ち、無線通信端末２は２つのアンテナを持つため、角度φとψは、「Beamforming report」において、φ11, φ21, φ31, φ32, ψ21, ψ31, ψ41, ψ22, ψ32, ψ42の計１０つの角度が得られる。周波数方向には、５２のサブキャリアから得られるデータを用いることができるため、角度情報は５２×１０の５２０が得られる。訓練データとして、高精度のロボット位置とチャネル情報との間の関係性を図７に示す深層学習により訓練し、実世界通信モデルを生成した。チャネル特徴量は、時系列データで構成され、隠れ層１，次元３５のGRU（Gated Recurent Unit）に入力され、３５の出力は、全結合層に入力され、１段目と２段目はそれぞれ３５の出力を行い、最終層で位置情報に対応する要素２の出力を行う構成とした。１段目と２段目の全結合層の出力には、ReLU（Rectified Linear Unit）による活性化を行った。訓練では、学習率０．０００２とし、Adam（Adaptive moment estimation）による最適化アルゴリズムを用いた。IEEE 802.11acでは、無線通信端末における下りチャネル情報は、ユニタリ行列に変換され、非特許文献１に記載の「Beamforming report」により、SNR（Signal-to-Noise Ratio）情報と複数の直交波周波数分割多重方式のサブキャリアに対する角度情報としてフィードバックされる。詳細は非特許文献に記載されているが、角度情報を用いて行列演算を行うことで、チャネル行列の右特異行列に対応するV行列を得ることができる。

ここで、Mrは受信アンテナの数であり、本実験では２となる。また、V行列の各列ベクトルの最後の要素の虚部は必ず０になるため、意味のある情報はV行列がMt×Mrの行列として得たとすると、各要素の実部と虚部の数値から、Mt×Mr－Mrの数値が意味のある情報となる。４×１の行列とした場合、実部４，虚部３の７つの要素、４×２の行列を得た場合は、実部８，虚部６の計１４の要素が意味のある情報であり、各列の最後の要素の虚部は０であるため、用いなくてもよい。

以下５つの方法で位置推定精度を検証した。

第１の方法（電力情報利用）；
第１の方法は、第２の無線通信部１１ｂへのフィードバック情報に含まれる２つのSNR情報と、第１の無線通信部１１ａにおいて、フィードバック情報を含む信号を受信した際の、２つのアンテナ１と２におけるRSSI情報、の計４つのチャネル特徴量を、２００ｍｓ毎に取得し、５秒間の時系列データを図７の深層学習で、無線通信端末の位置情報を出力するように訓練し、新たに得られたSNR情報とRSSI情報で、無線通信端末位置を予測した場合の方法である。

第２の方法（電力情報利用＋角度情報正弦余弦）；
第２の方法は、第１の方法に加え、５２のサブキャリアに対応する１０の角度情報の正弦・余弦情報をチャネル特徴量とし、計１０４４つのチャネル特徴量を、２００ｍｓ毎に取得し、５秒間の時系列データを図７の深層学習で、無線通信端末の位置情報を出力するように訓練し、新たに得られたSNR情報とRSSI情報と正弦余弦情報で、無線通信端末位置を予測した場合の方法である。

第３の方法（電力情報利用＋V行列要素）；
第３の方法は、第１の方法に加え、５２のサブキャリアに対応する１０の角度情報から、４×１のV行列を計算し、V行列の実部と虚部の情報（実部４、虚部３）をチャネル特徴量とし、４＋７×５２=計３６８のチャネル特徴量を、２００ｍｓ毎に取得し、５秒間の時系列データを図７の深層学習で、無線通信端末の位置情報を出力するように訓練し、新たに得られたSNR情報とRSSI情報とＶ行列の要素情報で、無線通信端末位置を予測した場合の方法である。

第４の方法（電力情報利用＋V行列要素の平均）；
第４の方法は、第１の方法に加え、全てのサブキャリアのV行列の和をとったうえで、V行列の各列ベクトルが単位ベクトルとなるように各要素を定数で割った、平均V行列の実部と虚部（実部８、虚部６）として得られる４＋１４＝１８の要素をチャネル特徴量とし、２００ｍｓ毎に取得し、５秒間の時系列データを図７の深層学習で、無線通信端末の位置情報を出力するように訓練し、新たに得られたSNR情報とRSSI情報と平均Ｖ行列情報で、無線通信端末位置を予測した場合の方法である。

第５の方法（電力情報利用＋V行列要素＋V行列要素平均）；
第５の方法は、第４の方法に加え、直流成分から±１４のサブキャリアにおけるＶ行列の要素（実部８、虚部６）を加えた、４＋１４＋１４＝３２の要素をチャネル特徴量とし、２００ｍｓ毎に取得し、５秒間の時系列データを図７の深層学習で、無線通信端末の位置情報を出力するように訓練し、新たに得られたSNR情報とRSSI情報と平均Ｖ行列情報と２つのサブキャリアのＶ行列で、無線通信端末位置を予測した場合の方法である。

図８は、各方法で予測した位置情報の値と、LiDAR技術を用いて自律走行ロボット６が推定した自己位置推定した実測値と、のずれをMAE（Minimum Absolute Error）で評価した結果を示す図である。図６に示した通り、深層学習による実世界通信モデルが出力する位置情報は、用意するチャネル特徴量により予測可能であり、平均化処理や複数の情報を用いるなど、処理を行うことで高精度化することが可能であることがわかる。無線通信端末が送信する無線パケットをモニタするだけで、当該無線通信端末の空間的な位置が1m以下の誤差精度で検出できることを把握できる。ここではＶ行列を平均化したが、Ｖ行列は各列ベクトルの最後の要素の虚部が０となるように前処理されているため、Ｖ行列の平均は、すなわちチャネル行列の相関行列の平均と等価である。このため、パイロット信号から求めたチャネル行列やその相関行列に異なるサブキャリアで平均化処理を行っても同様の効果が得られると考えられる。

図９に、予測したX軸、Y軸位置と、実際の位置の比較を時間に対してプロットしたものを示す。図９（ａ）はX軸上の位置であり、図９（ｂ）はY軸上の位置である。実線は予測位置であり、破線は実測位置である。縦軸は図６の座標系とは一致していない。図９に示されるように、チャネル特徴量を用いることで、自律走行ロボット６のX、Y座標の位置が精度よく検出できていることがわかる。

［本実施形態の効果］
本実施形態によれば、無線通信端末２や無線通信端末の周辺環境の状態を推定する状態推定システム１において、無線通信端末２から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信部１１と、前記チャネル情報を用いて、チャネル特徴量を生成する入力特徴量生成部１２と、前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器や無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末や無線通信端末の周辺環境の状態を検出する実世界通信モデル制御部１４と、を備えるので、無線通信端末２や無線通信端末の周辺環境の実世界での状態を推定できる。

［その他］
上述した実施形態における状態推定システムまたは状態推定装置をコンピュータで実現するようにしてもよい。その場合、状態推定システムまたは状態推定装置が備える構成要素のそれぞれを実現するための状態推定プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された状態推定プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含む。例えば、図１０に示すように、CPU９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムである。

「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD（Programmable Logic Device）やFPGA（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１：状態推定システム
１１：無線通信部
１２：入力特徴量生成部
１３：補助情報生成部
１４：実世界通信モデル制御部
１４ａ：訓練データ生成部
１４ｂ：実世界通信モデル生成部
１４ｃ：実世界通信モデル利用部
１５：実世界通信モデル記憶部
１６：ネットワーク網
２：無線通信端末
２１：無線通信部
３：カメラ
４：センサ
５：無線通信網
６：自律走行ロボット
９０１：CPU
９０２：メモリ
９０３：ストレージ
９０４；通信装置
９０５：入力装置
９０６：出力装置

Claims (11)

1. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、
   無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、
   前記チャネル情報を用いて、チャネル特徴量を生成する生成装置と、
   前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出装置と、を備え、
   前記生成装置は、
   前記チャネル特徴量として、チャネル行列または前記チャネル行列の相関行列を線形演算して得られるユニタリ行列を生成する状態推定システム。
2. 前記生成装置は、
   前記チャネル特徴量として、受信電力、チャネル行列、前記チャネル行列の相関行列、前記チャネル行列または前記相関行列を複数の周波数に対応付けて線形演算して得られる演算行列、前記チャネル行列または前記相関行列を線形演算して得られる対角行列、前記チャネル行列と前記相関行列と前記演算行列と前記ユニタリ行列と前記対角行列とのうちいずれか１つ以上の行列の位相、振幅、実数成分、虚数成分、送信モード情報のうちいずれか１つ以上を生成する請求項１に記載の状態推定システム。
3. 前記生成装置は、
   前記無線通信装置以外の第２の無線通信装置が受信した前記無線通信端末からの通信信号から取得した複数の周波数チャネルのチャネル情報を用いて、異なる周波数に対するチャネル情報から線形演算して得られる情報を、平均化して得られる情報を生成する請求項１または２に記載の状態推定システム。
4. 前記無線通信装置は、
   前記無線通信端末から、前記無線通信装置以外の第２の無線通信装置へ送信されたチャネル情報を含む通信信号を受信し、
   前記生成装置は、
   前記無線通信端末から受信した当該通信信号の受信電力と、当該通信信号に含まれる前記無線通信端末と前記第２の無線通信装置との間のチャネル情報とを用いて、チャネル特徴量を生成する請求項１ないし３のいずれかに記載の状態推定システム。
5. 前記実世界通信モデルは、
   前記無線通信端末の状態、前記無線通信端末の種類、前記無線通信端末の周辺に位置するオブジェクトのうちいずれか１つ以上の情報をラベル付けした訓練データと、無線通信機器間の電波伝搬に関するチャネル特徴量と、の関係性を学習し、入力されたチャネル特徴量に対応するラベル付けされた情報を出力するように訓練するモデルである請求項１ないし４のいずれかに記載の状態推定システム。
6. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、
   無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、
   前記チャネル情報を用いて、チャネル特徴量を生成する生成装置と、
   前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出装置と、を備え、
   前記生成装置は、
   前記無線通信装置以外の第２の無線通信装置が受信した前記無線通信端末からの通信信号から取得した複数の周波数チャネルのチャネル情報を用いて、異なる周波数に対するチャネル情報から線形演算して得られる情報を、平均化して得られる情報を生成する状態推定システム。
7. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、
   無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、
   前記チャネル情報を用いて、チャネル特徴量を生成する生成装置と、
   前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出装置と、を備え、
   前記無線通信装置は、
   前記無線通信端末から、前記無線通信装置以外の第２の無線通信装置へ送信されたチャネル情報を含む通信信号を受信し、
   前記生成装置は、
   前記無線通信端末から受信した当該通信信号の受信電力と、当該通信信号に含まれる前記無線通信端末と前記第２の無線通信装置との間のチャネル情報とを用いて、チャネル特徴量を生成する状態推定システム。
8. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定システムにおいて、
   無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得する無線通信装置と、
   前記チャネル情報を用いて、チャネル特徴量を生成する第１の生成装置と、
   前記無線通信端末の物理的な状態、前記無線通信端末の種類、前記無線通信端末の周辺環境のうちいずれか１つ以上の状態情報を測定する測定装置と、
   前記状態情報のうち少なくとも１つの状態情報を検出するべき前記無線通信端末の状態となるターゲット状態情報とし、前記ターゲット状態情報以外で検出に用いる情報を補助情報とした、訓練データを生成する第２の生成装置と、
   前記訓練データを用いて、前記ターゲット状態情報を出力する実世界通信モデルを生成する第３の生成装置と、を備え、
   前記第１の生成装置は、
   前記チャネル特徴量として、チャネル行列または前記チャネル行列の相関行列を線形演算して得られるユニタリ行列を生成する状態推定システム。
9. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定方法において、
   無線通信装置が、無線通信端末から送信される通信信号を無線で受信し、前記通信信号から前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を取得するステップを行い、
   生成装置が、前記チャネル情報を用いて、チャネル特徴量を生成するステップを行い、
   検出装置が、前記チャネル特徴量を、無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出するステップを行い、
   前記生成するステップでは、
   前記チャネル特徴量として、チャネル行列または前記チャネル行列の相関行列を線形演算して得られるユニタリ行列を生成する状態推定方法。
10. 無線通信端末または無線通信端末の周辺環境の状態を推定する状態推定装置において、
    無線通信機器間の電波伝搬に関するチャネル特徴量と無線通信機器または無線通信端末の周辺環境の状態との関係性を機械学習によりモデル化した実世界通信モデルを記憶しておく記憶部と、
    無線通信端末から無線で送信される通信信号から取得した前記無線通信端末と自身との間の電波伝搬に関するチャネル情報を用いて、チャネル特徴量を生成する生成部と、
    前記チャネル特徴量を前記実世界通信モデルに入力することで、前記無線通信端末または無線通信端末の周辺環境の状態を検出する検出部と、を備え、
    前記生成部は、
    前記チャネル特徴量として、チャネル行列または前記チャネル行列の相関行列を線形演算して得られるユニタリ行列を生成する状態推定装置。
11. 請求項１０に記載の状態推定装置としてコンピュータを機能させる状態推定プログラム。

Images