JP7276432B2 - 通信システム及び端末 - Google Patents

通信システム及び端末 Download PDF

Info

Publication number
JP7276432B2
JP7276432B2 JP2021515692A JP2021515692A JP7276432B2 JP 7276432 B2 JP7276432 B2 JP 7276432B2 JP 2021515692 A JP2021515692 A JP 2021515692A JP 2021515692 A JP2021515692 A JP 2021515692A JP 7276432 B2 JP7276432 B2 JP 7276432B2
Authority
JP
Japan
Prior art keywords
communication
information
communication quality
unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515692A
Other languages
English (en)
Other versions
JPWO2020217458A1 (ja
Inventor
理一 工藤
武 井上
篤 谷口
晃平 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020217458A1 publication Critical patent/JPWO2020217458A1/ja
Application granted granted Critical
Publication of JP7276432B2 publication Critical patent/JP7276432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/373Predicting channel quality or other radio frequency [RF] parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72Data preparation, e.g. statistical preprocessing of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/20Monitoring; Testing of receivers
    • H04B17/27Monitoring; Testing of receivers for locating or positioning the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/20Monitoring; Testing of receivers
    • H04B17/26Monitoring; Testing of receivers using historical data, averaging values or statistics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本開示は、周辺環境および通信装置が搭載された端末の制御により通信品質が変化するシステムにおける通信品質の予測に関する。
様々なデバイスがインターネットにつながるIoT(Internet of things)の実現が進んでおり、自動車やドローン、建設機械車両など様々な機器が無線により接続されつつある。無線通信規格としても標準化規格IEEE802.11で規定される無線LAN(Local Area Network)、Bluetooth(登録商標)、LTEや5Gによるセルラー通信、IoT向けのLPWA(Low Power Wide Area) 通信、車通信に用いられるETC(Electronic Toll Collection System)、VICS(登録商標)(Vehicle Information and Communication System)、ARIB-STD-T109など、サポートする無線規格も発展しており、今後の普及が期待されている。
しかしながら、様々な用途で無線通信が使われる一方、サービスによっては、通信品質の要求条件を、無線通信が必ずしも満たすことができないことが問題となっている。例えば、IEEE802.11adやセルラー通信の5Gでは、ミリメータ帯の高い周波数を用いるため、無線通信を行う送受の間の遮蔽物によるブロッキングが大きな問題となる。ミリ波だけでなく、それ以外の周波数の無線通信であっても、遮蔽物によるブロッキングや、反射物の動きによる伝搬環境の変化は通信品質に影響を及ぼす。それ以外にも、反射物が動くことによって生じるドップラーシフトも通信に影響を与えるものとして知られている。
IEEE Std 802.11ac(TM)-2013, IEEE Standard for Information technology -Telecommunications and information exchange between systems Local and metropolitan area networks - Specific requirements, Part 11: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specifications, December 2013 Ghosh, Amitava, et al. "Millimeter-wave enhanced local area systems: A high-data-rate approach for future wireless networks." IEEE Journal on Selected Areas in Communications 32.6 (2014): 1152-1163.
自動車や、ドローン、建設機械車両、ロボット、その他のデバイスに無線通信機能が搭載されており、さらにそれらの通信に対し、スループット、遅延、継続性、安定性、その他の通信品質に対する要求条件が存在する場合、周辺環境の変化による通信品質が、当該デバイスによるサービスやシステムに対して大きな影響を及ぼすことがあるという課題がある。
そこで、上記事情に鑑み、本発明は、環境変動による通信品質の変動に対応できるように、将来の通信品質を予測できる通信システム及び端末を提供することを目的とする。
本発明に係る通信システムは、無線通信機能を有するデバイスが、周辺環境を取得するカメラ、センサー、その他の周辺環境情報収集装置からの情報を用い、自デバイスの制御、または周辺環境情報の変化の情報から将来の通信品質を予測することとした。
具体的には、本発明に係る通信システムは、端末と通信する外部装置を有する通信システムであって、
前記端末の周囲の周辺情報から所定のオブジェクトを抽出し、該オブジェクトの特徴量とともにオブジェクト情報として出力するオブジェクト判定部と、
前記外部装置と前記端末との間の通信品質と、前記オブジェクト情報との関係を機械学習して学習モデルを生成する通信品質学習部と、
前記通信品質学習部が生成した前記学習モデルを用い、前記オブジェクト判定部が出力した前記オブジェクト情報から所定時間後の通信品質を予測する通信予測部と、
を備える。
デバイスの周辺の状況と通信状態との関係を予め機械学習して学習モデルを形成しておく。本通信システムは、当該学習モデルを用いて、現在のデバイスの周辺の状況から将来の通信品質を予測することができる。このため、本通信システムは、将来の通信品質の変動に対してデバイスが影響を受けないように、あるいはその影響を小さくするように、予め対応策を準備することができる。従って、本発明は、通信品質の変動に対応できるように、将来の通信品質を予測できる通信システムを提供することができる。
本発明に係る通信システムは、前記オブジェクト情報が、異なる時刻で取得された複数の前記オブジェクト情報を統計処理したものであることを特徴とする。通信品質の予測の演算負荷を低減することができる。
本発明に係る通信システムは、前記端末に関する情報である端末情報を生成する端末管理部をさらに備え、
前記通信品質学習部は、前記端末情報も前記関係に含めて前記学習モデルを生成し、
前記通信予測部は、前記端末情報も含めて通信品質を予測する
ことを特徴とする。通信品質の予測の精度を向上させることができる。
本発明に係る通信システムは、前記端末と前記外部装置との位置から位置関係情報を生成する通信装置位置関係生成部をさらに備え、
前記通信品質学習部は、前記位置関係情報も前記関係に含めて前記学習モデルを生成し、
前記通信予測部は、前記位置関係情報も含めて通信品質を予測する
ことを特徴とする。通信品質の予測の精度を向上させることができる。
本発明に係る通信システムの前記通信品質学習部は、前記通信品質の情報を前記端末情報に対して一定時間収集し、統計処理(例えば、最頻値、平均値、またはこれらから判断される特異点の除外など)を施して得られた定常時通信品質を用い、前記端末情報に対する前記定常時通信品質から所定の閾値以上離れた前記通信品質で機械学習することを特徴とする。定常状態を予め把握しておき、定常状態から大きく外れる状態のみ通信品質の予測を行うことができ、通信品質の予測の演算負荷やデバイスの制御負荷を低減することができる。
本発明に係る通信システムは、前記オブジェクト判定部が抽出する前記所定のオブジェクトを指定するオブジェクト定義を更新する更新部をさらに備えることを特徴とする。通信品質の予測の精度を向上させることができる。
本発明に係る端末は、前記通信システムが有する端末であって、
前記オブジェクト判定部と、前記通信品質学習部と、前記通信予測部と、を備える。
なお、本発明に係る端末は、外部で学習モデルを作成させるため、前記オブジェクト判定部と、前記通信予測部と、通信部を備え、
前記通信部は、外部にある前記通信品質学習部へ前記通信品質、前記オブジェクト情報を転送し、前記通信品質学習部から前記学習モデルを受信して前記通信予測部へ転送することでもよい。
さらに、本発明に係る端末は、他の端末の学習モデルを導入し、修正して自身に適合した学習モデルを生成するため、前記オブジェクト判定部と、前記通信品質学習部と、前記通信予測部と、通信部を備え、
前記通信部は、外部にある他の通信品質学習部へ前記通信品質及び前記オブジェクト情報を転送し、前記他の通信品質学習部から前記学習モデルを受信して前記通信品質学習部へ転送し、
前記通信品質学習部は、前記オブジェクト情報及び自身に関する情報である端末情報で前記他の通信品質学習部からの前記学習モデルを更新し、
前記通信予測部は、前記通信品質学習部が更新した前記学習モデルを用いて通信品質を予測することでもよい。
本発明によれば、カメラ・センサーなどの周辺環境情報収集装置により得られた周辺環境情報と端末が通信する外部装置の位置情報を含む端末情報を用い、無線基地局と端末との間で通信における、上り回線または下り回線の、スループット、遅延、継続性、安定性、およびそれらの変動を表す通信品質を予測することができる。
本発明に係る通信システムを説明する図である。 本発明に係る通信システムでの未来の通信品質を予測する手法を説明する図である。 本発明に係る通信システムを説明する図である。 本発明に係る通信システムを説明する図である。 本発明に係る通信システムでの未来の通信品質を予測する方法を説明する図である。 本発明に係る通信システムでの実験を説明する図である。 本発明に係る通信システムでの実験を説明する図である。 本発明に係る通信システムでの実験を説明する図である。 本発明に係る通信システムでの実験を説明する図である。 本発明に係る通信システムでの実験結果を説明する図である。 本発明に係る通信システムでの実験結果を説明する図である。 本発明に係る通信システムでの実験結果を説明する図である。 本発明に係る通信システムでの実験結果を説明する図である。
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
(実施形態1)
図1は、本実施形態の通信システムの構成例を示すブロック図である。本通信システムは、端末1と通信する外部装置2を有する通信システムであって、
端末1の周囲の周辺情報から所定のオブジェクトを抽出し、該オブジェクトの特徴量とともにオブジェクト情報として出力するオブジェクト判定部1-7と、
外部装置2と端末1との間の通信品質と、前記オブジェクト情報との関係を機械学習して学習モデルを生成する通信品質学習部1-5と、
通信品質学習部1-5が生成した前記学習モデルを用い、オブジェクト判定部1-7が出力した前記オブジェクト情報から所定時間後の通信品質を予測する通信予測部1-6と、
を備える。
本実施形態では、端末1が、オブジェクト判定部1-7と、通信品質学習部1-5と、通信予測部1-6と、を備える。
本通信予測システムは、
外部の通信装置2と通信部1-4を用いて通信を行う端末1と、
当該通信を評価する通信評価部1-1と、
端末1の周辺環境情報を取得する周辺環境情報取得部1-3と、
端末1の端末情報を生成し、端末や端末の構成物や端末の通信を制御する端末管理部1-2と、
前記周辺環境情報と前記端末情報を用いて通信品質を学習して当該時間または当該時間より未来の通信品質を予測するための入出力関係を学習する通信品質学習部1-5と、
前記入出力関係を用い、入力された周辺環境情報と端末情報から、未来の通信品質の予測値を出力する通信予測部1-6と、を備える。
なお、端末情報は、制御/位置情報/向き/姿勢/ID/状態/端末の構成物の制御/位置情報/向き/姿勢/ID/状態、端末1の通信部1-4の通信方式/周波数/周波数帯域などの情報のうち一つ以上を含む。
また、通信部1-4は一つ以上具備することが可能であり、IEEE802.11で規定される無線LAN、Wigig(登録商標)、IEEE802.11p、ITS用通信規格、LTEや5Gなどのセルラー通信、LPWA(Low Power Wide Area)などの無線通信、ないし音波、電気、光による通信を用いることができる。以下、通信部の数をNとする(Nは1以上)。
端末とは、端末の移動や動作などの制御、端末の構成物の制御、及び端末の通信の制御、のいずれかが可能なハードウェアであり、例えば、自動車、大型移動車、小型移動車、鉱山・建設機械、ドローンなどの飛行移動体、2輪車、車いす、ロボットが想定される。
図1は、第1の実施形態における通信システムの構成例を示すブロック図である。通信システムは、通信利用を行う端末1と、外部装置2で構成される。外部装置2は、端末1と無線通信を行うことができるハードウェアである。外部装置2は、可搬型の無線端末や移動する無線端末であってもよいし、あるいは、特定の位置に固定された無線基地局であってもよい。
端末1は、
端末内の機能ブロックで入出力を行う端末NW部1-0、
端末と外部の通信装置との間の通信品質を評価する通信評価部1-1、
端末の周辺環境情報を可視光カメラ、赤外線カメラ、電磁波センサー、光センサー、音波センサーなどで収集する端末周辺環境情報収集部1-3、
前記端末周辺環境情報収集部の出力結果から、外部の通信装置との間の通信品質に関連のあるオブジェクトを抽出するオブジェクト判定部1-7、
外部装置2と通信する通信部1-4-1~1-4-N(Nは1以上の整数)、
周辺オブジェクト情報、端末情報、および通信品質情報から、未来の通信品質を出力するための周辺オブジェクト情報と周辺オブジェクト情報と通信品質との間の入出力関係を決める通信品質学習部1-5と、
前記得られた入出力関係、周辺オブジェクト情報、端末情報を用いて、未来の通信品質を予測する通信予測部1-6と、
を備える。
また、後述する実施形態において、端末、端末の構成物および端末の通信の制御を行い、端末の位置情報/向き/姿勢/ID/状態/制御、端末の構成物の位置情報/向き/ID/状態/制御、通信装置の取り付け位置/向き/ID/状態/制御、のうち一つ以上からなる端末情報を生成する端末管理部1-2、外部装置2の位置情報、または端末との位置関係を記憶または生成する通信装置位置関係生成部1-9を具備することもできる。
ここで、予測される未来の通信品質は、通信予測部1-6に入力する信号源の情報から任意の時間だけ先の通信品質である。任意の時間とは、具体的には、周辺環境情報収集部1-3による情報取得、オブジェクト判定部1-7によるオブジェクト情報の抽出、及び通信予測部1-6における予測に必要となる信号処理時間Tと、予測された通信品質に対して実施するなんらかの制御に必要な対応時間Tの和である(T+T)より先の時間である。
外部装置2は、端末1の通信部1-4-1~1-4-Nとそれぞれ通信を行う外部通信部2-4-1~2-4-Nを備えており、ネットワーク2-0に接続される。
図2は、本実施形態の通信システムにおける、未来の通信品質を予測するフローの概略を示している。以下、主としてオブジェクト判定部1-7および通信予測部1-6のフローを、図2を用いて説明する。
周辺環境情報収集部1-3がカメラやセンサー情報により周辺の情報を収集すると、オブジェクト判定部1-7は当該情報の中から通信に影響を与えるオブジェクトの位置、サイズ、状態情報を抽出する。図中のオブジェクト判定部内の立方体は、判定のために畳み込み層を複数用いたディープラーニングを用いるイメージで記載しているが、ディープラーニングをはじめとするいかなる機械学習のエンジンを用いることができる。ここで抽出されるオブジェクトの情報とはオブジェクトまたはオブジェクトの少なくとも一部の種類、位置(2次元、または奥行きも含む3次元)、形、色、のうち少なくとも一つを含む情報である。図中の例では、車や建設機械車両とそのアームの状態の認識を例としてあげている。
ここでオブジェクト判定部1-7はある時間周期で、オブジェクトの情報を取得するが、通信品質予測部1-6の演算負荷を軽減するため、一定時間内の情報に対して統計処理を行うことができる。例えば通信品質の予測を行う時間周期が1秒ごとであるのに対し、カメラ映像が10FPS(Frames per second)で得られている場合、オブジェクト情報は1/10秒ごとに取得できる。つまり、通信予測部1-6で得られる指標を1つ得る間に、オブジェクト情報を10個得ることができる。例えば通信予測部1-6がTc秒周期で予測を行い、オブジェクト判定部1-7がTo秒周期でオブジェクト判定を行う場合、一度の通信品質予測に、Tc/Toで得られる値の少数点以下を切り捨てた整数分のオブジェクト情報を少なくとも使うことができる。この数をNoとする。このままNoセットの入力信号とすることもできるが、対応する通信品質はTo周期であるため、To周期の情報に統計処理することができる。
位置や形状に対する情報であれば、得られたNoセットのオブジェクト情報のうち、はじめのオブジェクト情報(もっとも古い)、最後のオブジェクト情報(もっとも新しい)、その両方、得られた同一情報の中央値、平均値、あるいはいくつかの両極端の情報を削除したうえで得られる平均値または中央値、とすることができる。さらに変化情報として、1~No番目のオブジェクト情報がどのように変化したかの情報を抽出することもできる。例えば、位置情報(2次元または奥行きも含む3次元座標)の変化情報(速度情報)、色の変化情報、オブジェクトの形状やサイズの変化情報、回転速度情報、があげられる。さらに、1~No番目の情報から差分情報を抽出し、差分情報にさらに差分情報を抽出して加速に関する情報を抽出することもできる。単に差分情報とするのではなく、時間に対して位置情報をプロットして得られる分布に対し、二乗誤差最小となるよう2次関数でフィッティングし、得られるグラフの傾きを用いることもできる。例えば、2~No番目のオブジェクト情報から1~(No-1)番目のオブジェクト情報の差分を抽出し、得られた(No-1)個の差分情報を用いて、さらにそれぞれの差分を求めることで加速情報が得たり、前述の二乗誤差最小となるようなフィッティングカーブから加速度を得ることもできる。
さらに、オブジェクト判定部1-7に、オブジェクトフィルター部をさらに具備し、オブジェクト情報を用いてフィルタリングし、不要な情報を削除することもできる。例えばオブジェクト情報のうち、高さ方向のある値より下の位置のオブジェクトには、通信品質が影響を受けていないことを予めオブジェクトフィルター部が記憶し、この条件に合致したオブジェクト情報を出力しないようにすることができる。また、端末管理部1-2から位置情報を取得し、端末がいるエリアに応じて、影響のあるオブジェクトの種類をオブジェクトフィルター部が記憶し、不要情報に該当するオブジェクト情報を通信予測部1-6に出力しないようにすることができる。
同様に、通信装置位置関係生成部1-9から、通信の予測を行う通信に対応する外部装置2の位置情報を取得し、当該通信装置2の位置に対し、関連性の低い位置のオブジェクト情報を出力しないようにすることもできる。
さらに、オブジェクト判定部1-7が判定を行うオブジェクトの種類を、端末管理部1-2の情報を用いて制限し、オブジェクト判定部1-7の演算負荷を軽減することができる。例えば、自宅や駐車場における車オブジェクトの認識を行わなかったり、人オブジェクトを公道で認識させるが、高速道路で認識させなかったり、端末の移動速度に応じて検出を行うオブジェクトを変更したりすることができる。
このようにして得られたオブジェクト情報は、通信予測部1-6へ入力される。通信予測部1-6では、サポートベクターマシンや多層パーセプトロン、k近傍法、ランダムフォレストなどの機械学習アルゴリズム、RNN(Recurent Neural Network)、CNN(Convolutional Neural Network)、LSTM(Long Short Term Memory)、などのディープラーニングを用いて通信品質学習部1-5が生成した入出力関係(学習モデル)により、入力されたオブジェクト情報から、未来の通信品質を出力する。また、上記の方式から、異なる係数や異なる方式や異なる結合方法を複数用意し、判定された結果を複数の判定結果から多数決や信頼度の高いものを選ぶように構成してもよい。
通信予測部1-6へ入力される情報は、オブジェクト判定部1-7及び端末管理部1-2において、オブジェクト情報や端末情報や外部からのフィードバック情報を用い、主成分分析により新たな特徴量を抽出して次元圧縮を行い、パラメータ数を削減したものや、ある条件を満たしたものとするなどフィルター処理を行ってもよい。次元圧縮は、オブジェクト判定部1-7、端末管理部1-2、及び外部からフィードバック情報に対して一元的に実施してもよい。
オブジェクト情報以外の補助情報を入力信号として、未来の通信品質の出力に用いる際の事例を記載する。通信評価部1-1は、得られた現在または過去の通信品質に関するパラメータを通信予測部1-6へ入力することができる。また、端末管理部1-2から、端末情報を通信予測部1-6へ入力することができる。さらに、通信装置位置関係生成部1-9から、予め記憶した外部装置2の位置とオブジェクト情報の位置関係を通信予測部1-6へ入力することができる。
一方、通信品質学習部1-5は、現在または過去の通信品質に関するパラメータと、オブジェクト情報との間で入出力関係を学習するが、さらに、端末情報や位置関係情報も考慮して学習モデルを生成できる。
さらに、未来の通信品質情報は複数の候補を出力することもできる。補助情報として端末1の位置情報を入力する場合に、端末の取りうる将来の状態を複数用意し、入力することで、異なる複数のパターンに対して入出力関係を適用し、複数の未来の通信品質を予測することができる。これにより、端末は通信品質を改善するオプションを選択することができる。
ここで、オブジェクト判定部1-7でオブジェクト情報を得るための入出力関係をアップデートするため、オブジェクト判定部1-7にオブジェクトアップデート部を具備することもできる。例えば、斬新なデザインのドローンや空飛ぶ車が普及するなど、周辺環境情報として新たに通信に影響する対象が増えたり、既存の物体のデザインが変化するに伴い、更新することができる。
端末1は、周辺オブジェクト情報と通信品質との間の関係を学習するため、通信品質学習部1-5を具備することもできる。通信品質学習部1-5は、入力されるオブジェクト情報の特徴量を予め定めて機械学習を行う。機械学習は、サポートベクターマシンや多層パーセプトロン、k近傍法、ランダムフォレストなどの機械学習アルゴリズムでの学習、LSTM,RNN,CNNなどのディープラーニングによる学習、順次学習を追加できる確率的勾配降下法などによるオンライン学習などである。また、学習に用いる機械学習の方式を複数用意し、複数の通信品質予測が同時行えるようにしてもよい。
また、学習を行う際には、オブジェクト判定部1-7や端末管理部1-2において、オブジェクト情報や端末情報、またはその両方に、主成分分析により新たな特徴量を抽出して次元圧縮を行い、パラメータ数を削減したものを用いてもよい。また、それよりも次元の多い、もしくは元のパラメータそのものに対して学習を行ってもよい。新たに主成分分析などの次元圧縮を行い、通信予測部1-6へ入力するパラメータを更新することもできる。
この学習は、端末1が実際に通信を行いながら、実環境で行うこともできるし、他の端末や、学習用に特別に用意された他の端末で取得されたデータを用いて行うこともできるし、現実世界の実環境にできるだけ近い環境を模擬したシミュレーション空間において、学習を行うことができる。また、シミュレーション空間や類似の外の端末で学習された入出力関係を転移学習として用いることもできる。
また、通信品質学習部1-5を端末に具備する場合、外部NW2-0に接続された学習フィードバック生成部2-8をさらに具備し、通信部1-4-iを介して得られる学習フィードバック情報を学習に用いることができる。フィードバック情報は、例えば、過去の端末との間の通信に関するパラメータや、外部通信部2-4における端末1以外の端末を含めた通信情報、外部通信部2-4が接続されたネットワークの混雑度などのネットワーク情報、並びに、通信部を利用する端末や人の数、移動情報、密度情報、トラヒック発生状況、またはそれらの統計情報である。これらの情報を用いることで、通信品質学習部1-5は、周辺環境の変化と関係なく生じる通信品質のダイナミックな変動を除外し、学習を効率的に行うことができる。例えば外部通信部2-4が、端末1との間で用いる周波数や周波数帯域幅を、ある時間周期で変化させていたとすると、スループットなどの通信品質に関するパラメータは、これら通信の設定次第で大きく変動するため、帯域幅や信号対干渉雑音電力比といった効果による変化に対して補正を行うことができる。帯域幅によって増えるデータビットを送ることができるチャネル数で規格化したり、信号対干渉雑音電力比の違いによって生じる送信ビット数の増加量をあらかじめモデル化したうえで規格化したりすることができる。学習フィードバック生成部2-0は、外部通信部2-4-1から2-4-Nにそれぞれ具備したり、一部に具備し、当該外部通信部2-4から得られる情報を主としてフィードバックを行うこともできる。
通信品質予測のための学習は後述するように必要な情報を端末から外部装置2へ出力することで、外部NWに接続された装置で学習させることもできる。当該装置で学習した入出力関係(学習モデル)は通信部1-4を介して取得し、通信予測部1-6で用いることができる。
通信品質を予測したい条件を限定し、学習と予測の効率化を図ることもできる。例えば、通信品質に関係のある特定イベントのみを通信予測部1-6が予測するように学習することもできる。具体的には、周辺オブジェクト情報と端末情報のそれぞれまたは両方と相関の高い通信品質低下イベントに対して通信予測部1-6が予測するように、通信品質学習部1-5、または後述するNWに接続された通信品質学習部2-5は学習を行う。つまり、通信品質学習部1-5又は2-5は、外部装置2と端末1との間の通信品質について、端末1の位置などを含む端末情報を定常的に評価した結果(例えば、最頻値、平均値、またはこれらから判断される特異点の除外など統計処理を施した結果)から、端末情報に対して定常時通信品質を記憶しており、定常時通信品質から所定の閾値以上離れた通信品質(通信品質低下イベントまたは通信品質向上イベント)を機械学習することを特徴とする。通信品質学習部1-5又は2-5は、このように学習した学習モデルを通信予測部1-6へ出力する。
なお、通信品質低下イベントとは、予め定めた通信品質の指標(時間当たりのビット数、時間と周波数あたりのビット数、パケットロス、パケットロス率、RSSI低下、RSRQ低下、パケット送信レート、これらのパラメータが平常時からどれだけ変化したか、及び、これら複数のパラメータから抽出される特徴量)があらかじめ定めた条件を満たしたときとすることができる。また、通信品質低下イベントは、機械学習の分類により、周辺オブジェクト情報または基地局管理情報の変化による通信品質低下とカテゴライズされた事象と定義してもよい。ここで、複数のパラメータから抽出される特徴量とは、例えば、RSSI低下とパケットロスの発生が同時に生じている場合、などがあげられる。
学習を行う対象を制限した場合、目的のイベントだけを学習すると、偏りが生じることから、必要なパラメータが取得されている定常状態のデータも学習しておくとよい。この際、特定のイベントの発生頻度を用いて学習頻度を設定することもできる。通信品質低下イベントの発生頻度を用い、同程度の学習頻度で定常状態を取得するようにしたり、α倍の頻度(0<α<∞)としたりできる。また、特定のイベントのサンプル数のα倍のサンプル数としたりできる。逆に、特定のイベントの検出精度を高めるため、特定のイベントが起こった際のデータ、または特定のイベントが起こった際とその前後のデータのみを学習に用いることもできる。
(実施形態2)
図3は、本実施形態の通信システムの構成例を示すブロック図である。本実施形態の端末1は、オブジェクト判定部1-7と、通信予測部1-6と、通信部1-4を備え、通信部1-4は、外部にある通信品質学習部2-5へ前記通信品質、前記オブジェクト情報を転送し、通信品質学習部2-5から学習モデルを受信して通信予測部1-6へ転送することを特徴とする。
本実施形態は、外部NWに接続された通信品質学習部2-5が通信品質予測のための学習を行う構成である。実施形態1の通信システムでは端末1が通信品質学習部1-5を具備するのに対し、本実施形態の通信システムでは外部ネットワーク2-0が通信品質学習部2-5を具備している。そして、端末1は通信品質学習部1-5の代わりに学習フィードバック生成部1-8を具備する。学習フィードバック生成部1-8は、オブジェクト情報、端末情報、通信品質を少なくとも一つは含む学習用フィードバックを生成し、通信部1-4-iを介して外部の通信品質学習部2-5に入力する。
通信品質学習部2-5は、様々な端末から、学習用の情報を入力されるため、多くの情報を学習に用いることができる。端末の種類ごとに、また、通信品質学習部2-5が端末固有の問題で過学習しないよう、学習フィードバック生成部1-8は、端末の種類/ID/型式/通信装置の位置/通信装置の種類/通信装置の型式/周辺環境情報収集部の種類/周辺環境情報収集部の取り付け位置/周辺環境情報収集部の型式など、固有の情報による影響を規格化してフィードバック情報を生成するか、固有の情報をフィードバック情報に含めることができる。規格化された学習用フィードバック情報を用いれば、端末に対する依存性を減らし、広く多くの端末で利用できる入出量関係(学習モデル)が得られる。一方、固有の情報を含めた学習用フィードバック情報を用いれば、端末の固有性で分類し、端末の分類ごとに適用可能な入出力関係(学習モデル)が得られる。後者であれば、端末からの情報から適切な分類を通信品質学習部2-5が判断し、対応する入出力関係を当該端末の通信品質予測部1-6に入力することができる。異なる性質を持つ端末であっても、入出力関係をベイズ的最適化(BO:Bayesian Optimization)などにより変換行列を生成し、転移学習によりほかの分類の端末における入出力関係の生成に用いることもできる。
さらに、通信品質学習部2-5は、学習した入出力があらかじめ定めた性能を満たす条件を別途生成することもできる。実際の環境は複雑であり、入出力関係(学習モデル)がうまく動作しないことがある。このため、学習品質学習部2-5は、端末の位置や時間、通信状況により、入出力関係が動作しない条件を経験的に収集し、当該条件を外部通信部2-4-iを介して端末に通知することができる。端末は、当該条件にならないように、制御をおこなったり、入出力関係の信頼性が低い条件となる場合に、通信予測部1-6の出力に予測信頼性が低いことを示す付加情報をつけたりできる。また、当該条件でも入出力関係が機能するよう、学習用の頻度や学習用のフィードバックを生成する頻度を高めたりすることもできる。
また、通信品質学習部2-5は、学習に用いた各パラメータの重要度を判定し、通信品質の予測に使われていないパラメータを判定できる。なお、「パラメータ」とは、オブジェクト情報に含まれる内容、端末管理上情報に含まれる内容、及び補助情報に含まれる内容を指す。あるパラメータが常に使われていない場合、通信品質学習部2-5は、当該パラメータを学習に利用することを停止したり、学習フィードバック生成部1-8に対してフィードバックすることを停止させることができる。また、通信品質学習部2-5は、当該パラメータを通信予測部1-6やオブジェクト判定部1-7で利用しない設定に更新することもできる。さらに、当該パラメータに条件がある場合、当該条件においてのみ、通信予測部1-6及びオブジェクト判定部1-7で利用しない設定に変更する。このようなパラメータは、周辺環境や通信条件により徐々に変化することがあるため、通信予測部1-6及びオブジェクト判定部1-7での利用設定も、随時更新する。このようなパラメータ利用の設定を行うことで、通信予測の精度を高めたり、不要な演算を削除して演算負荷を低減することもできる。
また、本実施形態では、端末に具備された通信評価部1-1で測定された結果を用いずに、外部装置2のネットワークに接続された通信評価部2-1で測定された結果を用いてもよい。この通信評価部は外部装置2の中に具備してもよいし、外部通信部2-4-iごとに具備してもよい。外部NWで取得した通信品質を用いることで端末からのフィードバック量を減らすことができる。特にACK(Acknowledgement)やNACK(Negative Acknowledgement)による送信側への通知を行う通信では送受でその間の通信を把握することが期待できる。
外部NWの通信品質学習部2-5で学習し、かつフィードバックの負荷を減らすためには、どのような条件(時間)での情報をフィードバック情報に含めるか、およびどのタイミングでフィードバックを実施するか、を予め決定する必要がある。フィードバックに含める情報としては、通信予測部1-6へ入力する情報(パラメータ)、および通信評価部1-1における当該時間での通信品質情報があげられる。後者の情報は外部NWの通信評価部2-1で通信品質を評価する場合、フィードバックが不要となるが、その代わり端末における通信が対応している時間が外部NWで理解している時間と完全に同期しているか、時間ずれを外部NWが把握している必要がある。また、前者の情報のうち外部NWから通知された情報(通信品質の予測に使われていないパラメータ)もフィードバックが不要となる。
フィードバック情報を生成するタイミングは、予め定めた頻度としてもよいし、通信評価部1-1で評価した通信品質、品質予測部1-6で予測する通信品質、又は通信評価部1-1で評価した通信品質と品質予測部1-6で予測する通信品質との比較結果に基づいて決定してもよい。また、フィードバック情報の内容は、当該タイミング毎に通信評価部1-1で評価した通信品質と質予測部1-6で予測する通信品質を記憶した内容である。
例えば、当該タイミングを、通信評価部1-1が急激な品質低下を検出したとき、あらかじめ得られていたオブジェクト情報が観測されない場合における通信品質の期待値からのずれが生じたとき、通信予測部1-6が通信品質低下を予測したとき、オブジェクト情報の出力値がある条件を満たしたとき、とすることができる。また、当該タイミングを満たす場合の前後の一定時間の情報をフィードバックしてもよい。または、特定の端末情報(位置情報など)が条件を満たす場合に、パラメータをフィードバックしてもよい。生成されたフィードバック情報を外部NWの通信品質学習部2-5へ転送するタイミングはただちに行うこともできるし、通信コストが低いタイミングを選んだり、通信コストが低い通信部1-4-iが活用できるタイミングとしたりできる。
(実施形態3)
図4は、本実施形態の通信システムの構成例を示すブロック図である。本実施形態の端末1は、オブジェクト判定部1-7と、通信品質学習部1-5と、通信予測部1-6と、通信部1-4を備え、
通信部1-4は、外部にある他の通信品質学習部2-5へ通信品質及びオブジェクト情報を転送し、他の通信品質学習部2-5から学習モデルを受信して通信品質学習部1-5へ転送し、
通信品質学習部1-5は、オブジェクト情報及び自身に関する情報である端末情報で他の通信品質学習部2-5からの学習モデルを更新し、
通信予測部1-6は、通信品質学習部1-5が更新した前記学習モデルを用いて通信品質を予測する。
本実施形態は、端末1でも外部NW2-0でも通信品質予測のための学習を行う構成である。本実施形態では、通信品質学習部2-5と学習フィードバック生成部2-8を外部ネットワーク2-0に具備し、通信品質学習部1-5と学習フィードバック生成部1-8を端末1に具備する。学習フィードバック生成部1-8は、周辺オブジェクト情報、端末情報、及び通信品質から学習用フィードバックを生成し、通信部1-4-iを介して外部の通信品質学習部2-5に入力する。
通信品質学習部2-5は、様々な端末から、学習用の情報を入力されるため、多くの情報から学習を行うことができる。規格化された学習用フィードバック情報を用いれば、端末に対する依存性を減らし、広く多くの端末で利用できる入出量関係(学習モデル)が得られる。一方、固有の情報を含めた学習用フィードバック情報を用いれば、端末の固有性で分類し、端末の分類ごとに適用可能な入出力関係(学習モデル)が得られる。後者であれば、端末からの情報から適切な分類を通信品質学習部2-5が判断し、対応する入出力関係を当該端末に入力することができる。
この実施形態では、外部の通信品質学習部2-5で学習した入出力関係(学習モデル)を、端末1の通信品質学習部1-5へ入力し、通信品質学習部1-5において、端末1固有の周辺情報と端末情報からの入力情報に対する通信品質予測の精度を高めるよう、当該学習モデルを更新する。つまり、通信品質学習部1-5は、オブジェクト判定部1-7と端末管理部1-2と通信評価部1-1の情報を用いて学習モデルを更新し、更新した学習モデルを通信予測部1-6へ出力する。
本実施形態の通信システムは、端末1以外の端末やシミュレーションでの学習結果を反映したうえ、端末固有の情報に対応して予測精度を高めることができる。
(実施形態4)
図5は、実施形態1~3の通信システムにおいて、通信品質学習部1-5または2-5が行う機械学習のフローを説明する図である。まず最小形態である、実線で囲まれたブロックでのフローを説明する。通信予測のため、周辺環境情報収集部1-3は周辺環境情報を取得し、その結果をオブジェクト判定部へ入力する。なお、周辺環境とは、基地局の周囲にある車や歩行者などの移動体や建物や木々等の固定物である。
オブジェクト判定部1-7は、上述の記載に沿ってオブジェクト情報を生成し、通信品質学習部1-5または2-5へ出力する(Step1-1)。通信評価部1-1または2-1は、ある時刻における通信品質の取得を行い(Step1-2)、それぞれ通信品質学習部1-5または2-5、またはその両方へ出力する。通信品質学習部1-5または2-5は、オブジェクト情報と必要な場合に端末情報を用いて機械学習し、未来の通信品質を出力するための入出力関係(学習モデル)を作成する。通信品質学習部1-5または2-5は、当該学習モデルを通信予測部1-6に出力する(Step2)。通信予測部1-6は、当該学習モデルを用い、周辺環境情報収集部1-3が取得した現在の周辺環境情報に基づくオブジェクト情報を少なくとも含む情報から、未来の通信品質を推定する。
図5の学習方法において、学習により予測精度を高めるために補助情報として、端末情報、外部の通信装置情報、などを通信品質学習部1-5または2-5に入力することができる(STEP1-3)。補助情報とは、
通信装置位置関係生成部1-9で生成される端末と通信を行う外部通信部の間の関係を表す情報、端末管理部1-2で生成される端末の制御/位置情報/向き/姿勢/ID/状態/端末の構成物の制御/位置情報/向き/姿勢/ID/状態の情報、及び端末の通信部の通信方式/周波数/周波数帯域などの情報のうち一つ以上からなる端末情報、ならびに学習フィードバック生成部1-8や2-8から入力される通信品質と相関のある情報、を指す。補助情報は、これらのうち一つでも、複数で用いてもよい。
図5の学習方法において、入力する通信品質情報に対して学習の効率を上げたり、特定の通信イベント(通信品質低下や通信品質向上)を与えるために、通信予測部1-6は、事前に定常状態での通信品質を記憶することができる(Step0)。ここでの定常通信品質とは、通信に顕著な影響を与えるオブジェクトの影響がない場合に期待される通信品質、または単に過去の通信品質から得られる期待値を表す。この方法は、通信に顕著な影響を与えるオブジェクトが限定されており、当該オブジェクトの発生頻度が低いか、存在しない時間が一定以上ある場合に効果的となる。つまり、定常状態、つまり当該オブジェクトが存在しなければ、端末情報から機械学習を用いずに通信品質を得ることができる。当該オブジェクトが存在する場合にのみ、オブジェクト情報から通信品質に影響を与えうるか判定すればよく、学習も当該オブジェクトに対して行えばよいことになる。逆に常に通信に影響を与えるオブジェクトが存在する場合には、通信品質の最頻値や平均値を定常状態の通信品質として用いることができる。これに対する変化量を学習対象とすることで、場所や条件によって値に大きな幅が出る通信品質を規格化し、学習を効率的に行うことができる。また、前述のように、ここでの定常通信品質は、用いる周波数、周波数帯域、など通信の設定により生じる変化はあらかじめ規格化しておくことができる。
また、当該端末の過去の通信記録やそれ以外の端末の通信から、端末情報(端末の位置情報や状態情報)に対応して平均値を記憶したり、過去の通信品質データの平均値を記憶したりすることができる。この際に周辺オブジェクト情報の検出情報でフィルタリングし、オブジェクトがない場合の値で期待値を記憶することもできる。単に過去の通信品質データを用いる場合でも、利用する周波数帯域幅や消費電力モードなどの通信品質に影響を与えるパラメータの影響を除去して用いることができる。ここで得られた定常状態での通信品質が、予め定めた閾値以下の場合のみ、学習を実施するようにすることもできる。
図5の学習方法において、入出力関係を学習するとともに、入出力関係の適用範囲の分類、予測精度、又は入力パラメータの重要度を評価したうえで、以後の学習と予測を効率化したり、精度を高めることができる。Step 3では、学習用に取得したデータを用い、入出力関係の信頼性を評価する。以下に、いくつかの評価方法を示す。
[第1の評価方法]
すでに学習済みの入出力関係(学習モデル)を用い、新たな学習用データにおける予測性能を評価する。予測性能が低い場合、入力するパラメータの数(次元の数)に対し、十分に学習が行われておらず、データ数が増え、学習が進めば予測性能が上がることが期待できる場合と、当該データ条件では、通信予測が不可能な場合があり得る。前者であれば学習を続けることによる効果が期待でき、後者であれば学習の必要がない可能性がある。通信品質学習部1-5または2-5は、入出力関係としてより積極的に新規の情報を取り入れて学習を行うものと、確実に通信品質が推定できることを目指し、不確定なデータで学習を行わない戦略をとりえる。前者であれば常に学習を行うとともに、現時点で、当該学習用データに対しての信頼性が低いことを抽出し、低信頼条件として記憶する。後者であれば、入出力関係のための学習には当該学習用データを用いず、この条件を低信頼条件として記憶することもできる。
通信品質学習部1-5又は2-5は複数の入出力関係を有し、1の入出力関係については積極的に全てのパラメータで学習し、他の入出力関係については予め従来の学習結果からの推定精度が高いと判断できるパラメータを用いて学習することもできる。このように通信品質学習部1-5又は2-5は複数の入出力関係を用意し、端末1の通信予測部1-6で複数の入出力関係を用いて通信品質を予測させることもできる。
通信品質学習部1-5又は2-5は低信頼条件の代わりに、信頼性(判定の正答率や誤差の小ささ)が高い場合に高信頼条件として記憶してもよい。
このようにして通信品質学習部1-5または2-5は、信頼性があらかじめ定めた基準を満たす(または満たさない)条件を記憶する(Step 4-1)。得られた条件は、通信予測部1-6に入力され、入出力関係が十分な信頼性を持たない条件の入力信号が入った場合には、通信品質予測結果に不正確さを示す追加情報を付与したり、通信予測を実施しなかったりすることができる。
[第2の評価方法]
入力された情報の重要度を評価する。通信品質学習部1-5または2-5は、入力されたパラメータに対し、どれだけ参照されたかを検出し、参照されていないオブジェクトやパラメータを抽出する(Step 4-2)。用いられていないオブジェクトやパラメータ、または用いられているオブジェクトやパラメータを、オブジェクト判定部1-7や、通信予測部1-6にフィードバックすることで、例えば以下のように学習と予測を効率化できる。
・オブジェクト判定部1-7において、通信に影響を与えるオブジェクトの種類、オブジェクトの位置、オブジェクトの状態の条件を指定し、それ以外のオブジェクトの検出を行わなかったり、検出結果を破棄したりすることで演算負荷を軽減したり、通信予測部1-6や学習用フィードバック部2-8へ入力する情報量を減らしたりすることができる。
・通信に影響を与えるオブジェクトの種類、オブジェクトの位置、オブジェクトの状態の条件が、端末管理部1-2で有する情報の条件に依存する場合、端末管理部1-2から予め端末の位置情報などの必要情報を取得し、通信に影響を与えるオブジェクトの種類、オブジェクトの位置、オブジェクトの状態の条件を最適化し、演算負荷を軽減したり、通信予測部1-6や学習用フィードバック部2-8へ入力する情報量を減らしたりすることができる。
・通信に影響を与えるオブジェクトではない情報である、端末管理部1-2や学習フィードバック生成部2-8の種類、オブジェクトの位置、オブジェクトの状態の条件が、端末管理部1-2で有する情報の条件に依存する場合、端末管理部1-2から予め端末1の位置情報などの必要情報を取得し、通信に影響を与えるオブジェクトの種類、オブジェクトの位置、オブジェクトの状態の条件を最適化し、演算負荷を軽減したり、通信予測部1-6や学習用フィードバック部2-8へ入力する情報量を減らしたりすることができる。
[第3の評価方法]
予測に用いる主成分の更新(Step 4-3)である。通信品質学習部1-5または2-5は、学習用のデータに対し、主成分分析を実施し、新たな特徴量を抽出して次元圧縮を行ってから更新してもよい。通信品質学習部1-5または2-5において、前記の分析により特徴量の用い方に更新があった場合、通信品質予測部は新たに規定された次元圧縮方法に応じ、入力されたパラメータを加工し、通信品質予測のパラメータとして用い、新たに定義された入出力関係で通信品質を予測する。
(実施形態6)
図6は、本発明の効果を確認するために行った実験の図である。道路を挟んで無線LANの基地局である外部装置と端末を設置し、端末に備わる2台のカメラ映像を用いて、外部装置と端末との間で行われる未来の通信品質を予測した。ここで、無線LANは5GHz帯のチャネルを用い、通信品質は、20MHz当たりのスループットに対し、過去30秒間の平均で割った規格化スループットを用いた。通信品質は1秒ごとに評価される。カメラは上部を向いたカメラ1と下部を向いたカメラ2を用いた。
ここで、カメラ映像は15FPSで取得され、X軸上のサイズ、Y軸上のサイズ、オブジェクトの中心位置を抽出した。通信品質を評価する周期(1秒)の間に、15個のオブジェクト情報が得られるため、ここで、15個の位置情報とサイズ情報を平均化し、サイズと位置のX軸とY軸に対する変化量を移動速度として抽出した。オブジェクト判定部によって実際に抽出されたオブジェクトのサイズと位置の検出例を図7に示す。実際の環境でカメラ1で撮影されたカメラ映像と車両の認識の様子を図8に示す。ここで理解のために、外部装置が存在する場所も星印で図中に示した。この周辺環境では、乗用車が通っても通信基地局と端末との通信路は遮蔽されないが、バスが通過する場合には当該通信路は遮蔽される。
カメラ1とカメラ2から取得する車(乗用車)、バス、歩行者、の情報と現状の通信品質、および現状の通信で得られている信号電力を用い、2秒後の未来の通信品質を予測する。ここでは、通信予測のためにランダムフォレスト学習を用いた。図9に、ランダムフォレスト学習で出力可能なパラメータである特徴量の重要度を算出した結果を示す。最も判定に影響しているのはカメラ1における乗用車の速度である。次に現時点での通信品質(規格化スループット)、次はカメラ1におけるバスのY軸位置である。車とバスではそれぞれ重要となるオブジェクト情報が異なっていることが理解できる。これは、バスは通信路を遮蔽して信号電力を低下させるのに対し、車は直接遮蔽はしないが、電波の伝搬経路が車の反射によりダイナミックに変化し、通信品質を変化させるためとも予想できる。この結果を図5のStep4-2に適用し、カメラ2の出力結果を用いないようにしたり、カメラ2のバス/歩行者オブジェクトは利用しないようにしたりできる。図5のStep4-3により、次元圧縮の方法を更新してもよい。図9は、ほぼ出力値の全データであるが、速度をX軸、Y軸、サイズのX軸、サイズのY軸の4つで算出する必要はなく、この4つのパラメータを重要度に応じて加算し、得られた結果を用いるようにしてもよい。また、本実験では、視野角180度のカメラからの画像位置からX軸、Y軸位置を設定したが、基地局を基準にした座標系や緯度経度をもとにした座標系、などその他の座標系に変換して用いてもよいし、緯度経度高度など、一般的な地図上での位置情報に変換して用いてもよい。
図10は、測定された規格化スループットと、オブジェクト検出時の対応を説明する図である。ラインAが規格化スループットを表し、プロットBがカメラ1の映像からオブジェクトが識別されたタイミングを示している。オブジェクトは歩行者(human)、バイク/自転車(bike)、乗用車(car)、バス/トラック(bus)、の種別を定義している。
図10から、バスや乗用車の通過により規格化スループットが影響を受けていることがわかる。バスと他の車両で比較すると、バスが通過すると規格化スループット(通信品質)が低下するが、車は必ずしも低下しない。図6で車が道路の上から下へ移動(カメラ1からカメラ2の範囲への移動)する方が、車が道路の下から上へ移動(カメラ2からカメラ1の範囲への移動)するより通信品質への影響が大きい。これは、日本では左側通行であるので、端末に近いほうで車が通過すると通信品質に影響しやすいと考えられる。
(実施形態7)
図11は、1秒後の通信品質を予測した結果を説明する図である。通信品質学習部は、決定木を500としたランダムフォレスト学習を用い、3時間分のデータを用いk-fold cross validation法により、データを5分割し、4つのデータセットでトレーニングして学習モデルを生成している。通信予測部は、この学習モデルを用いて、残りの1つのデータセットに対し通信品質(規格化スループット)を予測している。入力されたデータは図8に示したカメラからの映像と通信情報である。この結果は端末のそばを車やバスが行き来しているタイミングのデータのみを抽出しており、前述のように乗用車に対し通信品質に影響がない場合も含めての結果を示している。
図11では、予測した通信品質Aと実測した通信品質Bを比較している。通信品質の低下に着目すれば、通信品質Aのラインも通信品質Bのラインも同時に低下しており、実測における通信品質の低下を通信予測部が予測できていることが確認できる。
(実施形態8)
本実施形態では、端末の位置情報が予測する通信品質の精度に大きく影響することを説明する。図12も実施形態6の図10と同様に、測定された規格化スループットと、オブジェクト検出時の対応を説明する図である。ラインAが規格化スループットを表し、プロットBがカメラ1の映像からオブジェクトが識別されたタイミングを示している。オブジェクトは歩行者(human)、バイク/自転車(bike)、乗用車(car)、バス/トラック(bus)、の種別を定義している。ただし、本実施形態では、実施形態6に対して端末を10cm程度移動し、規格化スループットとカメラによるオブジェクト判定を実施している。本実施形態でも、通信品質は、乗用車の通過に対して全く影響を受けない一方で、バスの通過に対しては影響を受けている。
図13は、実施形態7の図11のように予測した通信品質Aと実測した通信品質Bを比較した結果である。ただし、通信品質Aは端末を移動させる前のデータで学習された入出力関係で予測した結果である。つまり、無線端末の位置情報がずれている学習モデルで予測した結果である。丸印で示したタイミングは、乗用車により規格化スループットの低下が生じると予測したが、実測した規格化スループットには低下が発生しなかったタイミングである。四角印で示したタイミングは、通信予測部がバスにより規格化スループットの低下が生じると予測し、実測した規格化スループットにも低下が発生したタイミングである。
このように端末の位置情報により、用いるべきオブジェクト情報が変わったり、入出力関係を変更する必要がある。一方で端末の位置情報の精度が細かすぎると学習に必要な情報が多く、コストが高くなる。図5のStep4-1により、入出力関係の適用可否を判断することで、同じ条件の入出力関係が適用できる端末情報(特に位置情報)をグループ化することもできる。ある範囲に端末が存在する場合の条件で通信品質学習部1-5または2-5が学習を行い、当該範囲においてのみ、当該入出力関係を用いることが望ましい。例えば、位置情報を通信予測部に入力する際に、当該グループ化処理に対応する端末の位置が同じ情報となるように、ワンホット処理や位置情報の圧縮処理を実施する。または、入出力関係自体は用いつつ、場所により用いる情報をオンオフすることでも実現できる。図13の例では、この場所において、乗用車のオブジェクト情報を通信予測部に入力しないことで、図中の丸印の通信品質の低下判断をさせないようにする。
(他の実施形態)
上述した実施形態における端末をコンピュータで実現するようにしてもよい。その場合、各装置が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
[付記]
以下は、本発明の概要をまとめたものである。
カメラ・センサーなどにより取得できる基地局の周辺環境情報、および、端末の位置情報/向き/姿勢/ID/状態/端末の構成物の制御/端末の制御の情報のうち一つ以上からなる端末情報を用い、現在または未来の通信品質を予測する通信システム。周辺環境情報、端末情報、通信品質を用いて、通信品質を出力するための入出力関係を学習して学習モデルを作成し、当該学習モデル、周辺環境情報及び端末情報を用いて、通信品質を予測する。通信を行う対象となる通信装置との位置関係を用いて精度を向上したり、複数の未来の動作パターンに対して通信品質を予測したり、予測の正答率を記憶したり、予測を誤った場合の情報を抽出して学習部にフィードバックすることもできる。
1:端末
1-0:ネットワーク
1-1:通信評価部
1-2:端末管理部
1-3:周辺環境情報収集部
1-4、1-4-1、・・・、1-4-N:通信部
1-5:通信品質学習部
1-6:通信予測部
1-7:オブジェクト判定部
1-8:学習フィードバック生成部
1-9:通信装置位置関係生成部
2:外部装置
2-0:外部ネットワーク
2-1:通信評価部
2-5:通信品質学習部
2-4、2-4-1、・・・、2-4-N:外部通信部
2-8:学習/予測用フィードバック生成部

Claims (9)

  1. 端末と通信する外部装置を有する通信システムであって、
    カメラで撮影された画像又はセンサーで収集された前記端末の周囲の周辺環境情報から通信に影響のある所定のオブジェクトを抽出し、該オブジェクトの特徴量とともにオブジェクト情報として出力するオブジェクト判定部と、
    前記外部装置と前記端末との間の通信品質と、前記オブジェクト情報との関係を機械学習して学習モデルを生成する通信品質学習部と、
    前記通信品質学習部が生成した前記学習モデルを用い、前記オブジェクト判定部が出力した前記オブジェクト情報の変化から所定時間後の通信品質を予測する通信予測部と、
    を備える通信システム。
  2. 前記オブジェクト情報が、異なる時刻で取得された複数の前記オブジェクト情報を統計処理したものであることを特徴とする請求項1に記載の通信システム。
  3. 前記端末に関する情報である端末情報を生成する端末管理部をさらに備え、
    前記通信品質学習部は、前記端末情報も前記関係に含めて前記学習モデルを生成し、
    前記通信予測部は、前記端末情報も含めて通信品質を予測する
    ことを特徴とする請求項1又は2に記載の通信システム。
  4. 前記端末と前記外部装置との位置から位置関係情報を生成する通信装置位置関係生成部をさらに備え、
    前記通信品質学習部は、前記位置関係情報も前記関係に含めて前記学習モデルを生成し、
    前記通信予測部は、前記位置関係情報も含めて通信品質を予測する
    ことを特徴とする請求項1から3のいずれかに記載の通信システム。
  5. 前記通信品質学習部は、前記通信品質の情報を前記端末に関する情報である端末情報に対して一定時間収集し、統計処理を施して得られた定常時通信品質を用い、前記端末情報に対する前記定常時通信品質から所定の閾値以上離れた前記通信品質で機械学習することを特徴とする請求項1から4のいずれかに記載の通信システム。
  6. 前記オブジェクト判定部が抽出する前記所定のオブジェクトを指定するオブジェクト定義を更新する更新部をさらに備えることを特徴とする請求項1から5のいずれかに記載の通信システム。
  7. 請求項1から6のいずれかに記載の通信システムが有する端末であって、
    前記オブジェクト判定部と、前記通信品質学習部と、前記通信予測部と、を備えることを特徴とする端末。
  8. 請求項1から6のいずれかに記載の通信システムが有する端末であって、
    前記オブジェクト判定部と、前記通信予測部と、通信部を備え、
    前記通信部は、外部にある前記通信品質学習部へ前記通信品質、前記オブジェクト情報を転送し、前記通信品質学習部から前記学習モデルを受信して前記通信予測部へ転送することを特徴とする端末。
  9. 請求項1から6のいずれかに記載の通信システムが有する端末であって、
    前記オブジェクト判定部と、前記通信品質学習部と、前記通信予測部と、通信部を備え、
    前記通信部は、外部にある他の通信品質学習部へ前記通信品質及び前記オブジェクト情報を転送し、前記他の通信品質学習部から前記学習モデルを受信して前記通信品質学習部へ転送し、
    前記通信品質学習部は、前記オブジェクト情報及び自身に関する情報である端末情報で前記他の通信品質学習部からの前記学習モデルを更新し、
    前記通信予測部は、前記通信品質学習部が更新した前記学習モデルを用いて通信品質を予測する
    ことを特徴とする端末。
JP2021515692A 2019-04-26 2019-04-26 通信システム及び端末 Active JP7276432B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/017946 WO2020217458A1 (ja) 2019-04-26 2019-04-26 通信システム及び端末

Publications (2)

Publication Number Publication Date
JPWO2020217458A1 JPWO2020217458A1 (ja) 2020-10-29
JP7276432B2 true JP7276432B2 (ja) 2023-05-18

Family

ID=72940954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515692A Active JP7276432B2 (ja) 2019-04-26 2019-04-26 通信システム及び端末

Country Status (3)

Country Link
US (1) US20220352995A1 (ja)
JP (1) JP7276432B2 (ja)
WO (1) WO2020217458A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113169A1 (ja) * 2020-11-24 2022-06-02 日本電信電話株式会社 通信品質予測装置、通信品質予測システム、通信品質予測方法、及び、通信品質予測プログラム
JP7233664B1 (ja) 2022-06-10 2023-03-07 17Live株式会社 品質予測のためのシステム、方法、及びコンピュータ可読媒体
WO2024089820A1 (ja) * 2022-10-26 2024-05-02 日本電信電話株式会社 情報配信装置、予測システム、情報配信方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6534641B2 (ja) * 2016-06-28 2019-06-26 日本電信電話株式会社 監視方法、監視システム、監視装置および監視プログラム
WO2018093202A1 (en) * 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. Method and apparatus for analysing communication channel in consideration of material and contours of objects
EP3376696B1 (en) * 2017-03-13 2021-02-17 Volkswagen Aktiengesellschaft Apparatuses, methods and computer programs for estimating a multi-hop radio channel between a transmitter, one or more relay stations, and a receiver in a mobile communication system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岡本浩尚,ミリ波通信における深度画像からのリアルタイムスループット推定,電子情報通信学会技術研究報告 SR2016-55,日本,一般社団法人電子情報通信学会 The Institute of Ele,2016年10月27日,Vol.116 No.276,1-6頁,2-4節
岡本浩尚,ミリ波通信制御のためのオンライン機械学習を用いた深度画像からのスループット推定,電子情報通信学会技術研究報告 SR2015-89,日本,一般社団法人電子情報通信学会 The Institute of Ele,2016年02月24日,Vol. 115 No.473,47-52頁, 2.1節

Also Published As

Publication number Publication date
US20220352995A1 (en) 2022-11-03
JPWO2020217458A1 (ja) 2020-10-29
WO2020217458A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7276431B2 (ja) 通信システム及び基地局
Yang et al. Machine-learning-enabled cooperative perception for connected autonomous vehicles: Challenges and opportunities
Higuchi et al. Value-anticipating V2V communications for cooperative perception
Bi et al. Engineering radio maps for wireless resource management
US11941518B2 (en) Cooperative learning neural networks and systems
Thandavarayan et al. Analysis of message generation rules for collective perception in connected and automated driving
Hossain et al. Comprehensive survey of machine learning approaches in cognitive radio-based vehicular ad hoc networks
JP7276432B2 (ja) 通信システム及び端末
CN111142883B (zh) 基于sdn架构的车辆计算任务卸载方法
JP7226575B2 (ja) 通信端末及び通信品質予測方法
EP3398397B1 (en) Wireless mesh network distributed vision traffic marker
JP7184172B2 (ja) 端末及び通信システム
Soleymani et al. BRAIN-F: Beacon rate adaption based on fuzzy logic in vehicular ad hoc network
US20220240168A1 (en) Occupancy grid map computation, v2x complementary sensing, and coordination of cooperative perception data transmission in wireless networks
US20230110467A1 (en) Collective perception service reporting techniques and technologies
Lin et al. Low-latency edge video analytics for on-road perception of autonomous ground vehicles
Yu et al. Edge-assisted collaborative perception in autonomous driving: A reflection on communication design
Shinkuma et al. Data assessment and prioritization in mobile networks for real-time prediction of spatial information with machine learning
CN113179296B (zh) 一种用于车载边缘计算系统的任务卸载方法
JP7351397B2 (ja) 通信品質を予測するシステム、装置、方法及びプログラム
Abd et al. Hydra-RAN Perceptual Networks Architecture: Dual-Functional Communications and Sensing Networks for 6G and Beyond
Oka et al. Spatial feature-based prioritization for transmission of point cloud data in 3D-image sensor networks
WO2020008541A1 (en) Link adaptation apparatus, control method, and program based on the prediction of the position of sensors
Seymer et al. Smart Parking Zones Using Meshed Bluetooth Sensor Networks
JP7439947B2 (ja) 通信情報予測装置、通信情報予測方法、および通信情報予測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7276432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150