WO2021064849A1 - 通信端末及び通信品質予測方法 - Google Patents

通信端末及び通信品質予測方法 Download PDF

Info

Publication number
WO2021064849A1
WO2021064849A1 PCT/JP2019/038692 JP2019038692W WO2021064849A1 WO 2021064849 A1 WO2021064849 A1 WO 2021064849A1 JP 2019038692 W JP2019038692 W JP 2019038692W WO 2021064849 A1 WO2021064849 A1 WO 2021064849A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
communication quality
information
state information
unit
Prior art date
Application number
PCT/JP2019/038692
Other languages
English (en)
French (fr)
Inventor
馨子 高橋
理一 工藤
井上 武
晃平 水野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/764,218 priority Critical patent/US20220345919A1/en
Priority to JP2021550800A priority patent/JP7226575B2/ja
Priority to PCT/JP2019/038692 priority patent/WO2021064849A1/ja
Publication of WO2021064849A1 publication Critical patent/WO2021064849A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/10Monitoring; Testing of transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/20Monitoring; Testing of receivers
    • H04B17/26Monitoring; Testing of receivers using historical data, averaging values or statistics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

通信品質の予測の汎用性を高める無線端末及び通信品質予測方法を提供することを目的とする。本発明に係る無線端末及び通信品質予測方法は、周辺環境情報収集部が収集したカメラ画像などの周辺環境情報からオブジェクトを抽出し、オブジェクトを所定のカテゴリ(例えば、抽出されたオブジェクトが人であるか機械であるか、または、移動速度が速いか遅いか、など)で分類したうえで、カテゴリごとに画像を再構築する。カテゴリごとに画像を再構築した上で通信品質についての機械学習を行うことでオブジェクトの動作や素材などを含めた通信品質を予測することができる。

Description

通信端末及び通信品質予測方法
 本開示は、周辺環境の変化に伴う無線通信の品質を予測する通信端末及び通信品質予測方法に関する。
 無線通信機能が搭載されたデバイス(通信装置)を使用する際、デバイス周辺に存在するオブジェクトの移動などの周辺環境の変化に伴って通信品質が変化し、当該デバイスのサービスやシステムが要求する通信品質を満たせない場合が発生することがある。例えば、IEEE802.11adやセルラー通信の5Gでは、ミリメータ帯の高い周波数を用いるため、無線通信を行う送受の間の遮蔽物によるブロッキングが大きな影響を及ぼす。ミリ波以外の周波数の無線通信であっても、遮蔽物によるブロッキングや、反射物の動きによる周辺環境の変化は通信品質に影響を及ぼす。それ以外にも、反射物が動くことによって生じるドップラーシフトも通信に影響を与えるものとして知られている。
 あらかじめ機械学習で予測モデルを作成しておき、それを用いて通信品質を予測できることが知られている(例えば、非特許文献1を参照。)。通信品質を予測できれば、環境変化によりサービスやシステムが影響を受ける前に通信品質低下の対策を行うことができる。
H. Okamoto et al., "Machine-learning-based throughput estimation using images for mm Wave communications," in Proc., IEEE VTC 2017-spring, Jan. 2017. J. Redmon, A. Farhadi,"YOLOv3: An Incremental Improvement,", CoRR, 2018. Shuiwang Ji, et al. "3D Convolutional Neural Networks for Human Action Recognition". Pattern Analysis and Machine  Intelligence, vol. 35, No. 1, January 2013.
 非特許文献1の技術は、オブジェクトの通過でミリ波通信の無線通信路が遮蔽された時の通信品質の予測を深度カメラを用いて行なっている。非特許文献1では、オブジェクトが人のみであり、その動きも一定である場合を開示している。しかし、オブジェクトの動作や素材などで通信品質への影響が変化する。つまり、非特許文献1が開示する技術には、材質などが異なる複数種類のオブジェクトが不規則に動作する場合、通信品質を予測することが困難という課題がある。
 そこで、本発明は、上記課題を解決するために、通信品質の予測の汎用性を高める通信端末及び通信品質予測方法を提供することを目的とする。
 上記目的を達成するために、本発明に係る通信端末及び通信品質予測方法は、通信品質を予測する際、周辺に存在するオブジェクトの動作や素材などにより通信品質への影響が変わる点を考慮することとした。
 具体的には、本発明に係る通信端末は、無線通信を行う通信端末であって、
 自身の周辺を時間ごとに撮影して周辺環境情報を生成する周辺環境情報収集部と、
 前記周辺環境情報に含まれる認識物をカテゴリ別に分類してオブジェクト状態情報を生成するオブジェクト判定部と、
 時間ごとに前記無線通信の通信品質を評価した通信品質情報と前記カテゴリ全ての前記オブジェクト状態情報との関係を、予め機械学習して生成された通信品質モデルを用い、現在を含む前記オブジェクト状態情報から現在又は未来の前記通信品質を推定する通信品質予測部と、
を備える。 
 また、本発明に係る通信品質予測方法は、
 無線通信を行う通信端末の周辺を時間ごとに撮影して周辺環境情報を生成すること、
 前記周辺環境情報に含まれる認識物をカテゴリ別に判定してオブジェクト状態情報を生成すること、及び
 時間ごとに前記無線通信の通信品質を評価した通信品質情報と前記カテゴリ全ての前記オブジェクト状態情報との関係を、予め機械学習して生成された通信品質モデルを用い、現在を含む前記オブジェクト状態情報から現在又は未来の前記通信品質を推定すること、
を含む。
 本発明に係る通信端末及び通信品質予測方法は、周辺環境情報収集部が収集したカメラ画像などの周辺環境情報からオブジェクトを抽出し、オブジェクトを所定のカテゴリ(例えば、抽出されたオブジェクトが人であるか機械であるか、または、移動速度が速いか遅いか、など)で分類したうえで、カテゴリごとに画像を再構築する。カテゴリごとに画像を再構築した上で通信品質についての機械学習を行った予測モデルを使用することでオブジェクトの動作や素材などを含めた通信品質を予測することができる。従って、本発明は、通信品質の予測の汎用性を高める通信端末及び通信品質予測方法を提供することができる。
 本発明に係る通信端末は、前記無線通信の通信品質を評価し、対応する時間情報とともに通信品質情報を生成する通信品質評価部と、
 前記カテゴリに対応する前記オブジェクト状態情報と前記通信品質情報との関係を機械学習して前記通信品質モデルを生成する予測モデル生成部と、
をさらに備え、
 前記周辺環境情報収集部は、前記通信端末自身の周辺を撮影し、対応する時間情報とともに周辺環境情報を生成することを特徴とする。通信端末自身で通信品質モデルを生成することができる。
 本発明に係る通信端末は、現在の前記通信端末自身の位置、通信相手となる通信端末の位置、またはその両方の位置、姿勢、動き、その他の状態を計測して通信装置状態情報を生成する通信装置管理部をさらに備え、前記通信品質予測部は、前記通信装置状態情報も含めて機械学習して生成された前記通信品質モデルを用い、前記通信装置状態情報も含めて前記通信品質を推定することを特徴とする。この場合、本発明に係る通信端末の前記通信装置管理部は、計測に対応する時間情報を含めて前記通信装置状態情報を生成し、前記予測モデル生成部は、前記通信装置状態情報も含めて機械学習を行い、前記通信品質モデルを生成する。通信装置の動作や姿勢も含めて予測することで、さらに通信品質予測の汎用性が高まる。
 本発明に係る学習機の前記オブジェクト判定部は、前記周辺環境情報収集部が撮影した画像内で前記オブジェクト状態情報の前記認識物が対応する位置を任意の値で埋め、他を“0”で埋めることを特徴とする。また、前記オブジェクト判定部は、前記オブジェクト状態情報の前記認識物の位置とサイズ情報を用いて前記画像内の前記位置を決定することを特徴とする。さらに、前記オブジェクト判定部は、前記任意の値を前記認識物の速度、オブジェクトスコア又は奥行の値とすることを特徴とする。
 オブジェクト状態情報のデータの次元を一定化するとともに、データ量を圧縮することができる。
 なお、本発明に係る通信品質予測方法は、前記カテゴリを前記オブジェクトの動作又は素材に基づいて決定すること、及び従前の前記カテゴリを決定した前記カテゴリで置換することをさらに含むことが好ましい。カテゴリを更新可能とすることで、外部からカテゴリを設定することも、新たな認識部(従前には存在しなかった新たなもの)をカテゴライズ可能とすることもできる。
 なお、上記各発明は、可能な限り組み合わせることができる。
 本発明は、通信品質の予測の汎用性を高める通信端末及び通信品質予測方法を提供することができる。
本発明に係る通信品質予測方法を説明する図である。 本発明に係る通信品質予測方法を説明する図である。 カテゴリの設定例を説明する図である。 カテゴリの設定例を説明する図である。 本発明に係る通信端末を説明する図である。 本発明に係る通信端末のオブジェクト判定部の例を説明する図である。 オブジェクト状態情報の表現手法を説明する図である。 オブジェクト状態情報の表現手法を説明する図である。Oはオブジェクトであり、各オブジェクトはそれぞれのスコアで埋められる。Oはオブジェクトが存在しない部分であり、当該部分は“0”で埋められる。 本発明に係る通信品質予測方法を説明する図である。 本発明に係る通信端末の効果を説明する図である。
 添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
[定義]
・通信品質とは、通信端末内に有する通信部の少なくとも1つが、外部の通信端末と無線で通信する際の品質に関連する指標である。受信電力、RSSI(Received Signal Strength Indicato)、RSRQ(Referesnce Singnal Received Quality)、SNR(Signal to noise ratio)、SINR(Signal to interference noise ratio)、パケットロス率、データレート、アプリケーション品質、およびそれらの増減に関する指標や、それらの2つ以上を線形演算などにより組み合わせた指標など、QoE(Qualitybof experience) に関連する指標を用いることができる。
・無線通信の種類は、ダウンリンク(基地局から移動端末への送信)、アップリンク(移動端末から基地局への送信)、サイドリンク(移動端末から移動端末への送信)である。
・端末とは、移動や動作などが制御可能である、その構成物が制御可能である、あるいは、その通信が制御可能である、ハードウェアである。例えば、移動端末は、自動車、大型移動車、小型移動車、鉱山・建設機械、ドローンなどの飛行移動体、2輪車、車いす、又はロボットである。
(実施形態)
 図5は、本実施形態の通信システムを説明する図である。図5において、破線で示した機能部は、通信端末1と外部ネットワーク部0のいずれか一方に存在すればよいことを意味する。
 通信端末1は、無線通信を行う通信端末であって、
 自身の周辺を時間ごとに撮影して周辺環境情報を生成するカメラ(周辺環境情報収集部)1-2と、
 前記周辺環境情報に含まれる認識物をカテゴリ別に判定してオブジェクト状態情報を生成するオブジェクト判定部1-4と、
 時間ごとに前記無線通信の通信品質を評価した通信品質情報と前記カテゴリ全ての前記オブジェクト状態情報との関係を、予め機械学習して生成された通信品質モデルを用い、現在を含む前記オブジェクト状態情報から現在又は未来の前記通信品質を推定する通信品質予測部1-8と、
を備える。
 さらに、通信端末1は、
 時間ごとに前記無線通信の通信品質を評価した通信品質情報を生成する通信品質評価部1-6と、
 前記カテゴリ全ての前記オブジェクト状態情報と前記通信品質情報との関係を機械学習して通信品質モデルを生成する予測モデル生成部(通信品質学習部)1-7と、
を備える。
 また、通信端末1は、
 自身の現在の位置、姿勢、移動、その他の状態を計測して通信装置状態情報を生成する通信装置管理部1-5をさらに備える。
 そして、予測モデル生成部(通信品質学習部)1-7が、前記通信装置状態情報も含めて機械学習を行い、前記通信品質モデルを生成すること、並びに、通信品質予測部1-8が、前記通信装置状態情報も含めて機械学習して生成された前記通信品質モデルを用い、前記通信装置状態情報も含めて前記通信品質を推定することが好ましい。
 以下、詳細を説明する。
 通信端末1は他の通信端末と無線通信を行っている。また通信端末1は有線または無線で外部ネットワーク部0に接続することができる。
 通信部(1-1-1~N)は、他の通信端末と無線通信又は有線通信を行う。ただし、通信部はN個(Nは自然数)存在し、少なくともひとつは無線通信を行う。
 周辺環境情報収集部1-2は、通信端末1の周辺環境情報(特に他の通信端末との間の移動体の情報)をセンサ及びカメラで収集する。周辺環境情報とは、例えば、画像である。
 オブジェクト判定部1-4は、周辺環境情報とオブジェクト判定モデルから、オブジェクトをカテゴリごとに取得し、オブジェクト状態情報を生成する。
 カテゴリ定義部1-3は、オブジェクトを分けるためのカテゴリが設定される。カテゴリは、状況に応じて更新することができる。
 通信装置管理部1-5は、通信端末1、他の通信端末、またはその両方の、位置/姿勢/速度/加速度のうち少なくとも一つを含む通信装置状態情報を生成する。
 通信品質評価部1-6は、通信端末1と他の通信端末との間の無線通信の品質を測定する。
 通信品質学習部1-7は、上記機能部より得られた、オブジェクト状態情報、通信装置状態情報、及び通信品質の関係を表す通信品質モデルを機械学習により生成する。
 通信品質予測部1-8は、通信品質モデルを利用し、現在又は過去のオブジェクト状態情報、場合によっては通信装置状態情報も含めて、現在または未来の通信品質を予測する。
 なお、周辺環境情報収集部1-2、カテゴリ定義部1-3、オブジェクト判定部1-4、通信品質評価部1-6、及び通信品質学習部1-7は、通信端末1と通信する外部ネットワーク部0に備えてもよい。通信品質学習部1-7を双方に備える場合には、例えば、通信端末1は、自ら収集したオブジェクト状態情報、通信装置状態情報、及び通信品質から、自身が持つ通信品質学習部1-7で通信品質モデルを作成してもよいし、自ら収集したオブジェクト状態情報、通信装置状態情報、及び通信品質を外部セットワーク部0へ送り、外部セットワーク部0の通信品質学習部1-7で通信品質モデルを作成させ、それを自身に転送してもらうこともできる。また、周辺環境情報収集部1-2とオブジェクト判定部1-4は通信端末1と通信する外部ネットワーク部0に備えたり、外部ネットワーク部0と通信端末1の双方に備えたりしてもよい。外部NWに備える場合には、通信を介してオブジェクト状態情報を通信品質予測部1-8に出力し、双方に備える場合には、オブジェクト状態情報を通信端末1および外部NWに備えたオブジェクト判定部から収集し、双方からのオブジェクト情報を学習および予測に用いることができる。さらに、通信端末1は、他の通信端末が取得したオブジェクト状態情報、通信装置状態情報、及び通信品質から作成した通信品質モデルを外部セットワーク部0を介して導入してもよい。
 図1及び図2は、本通信システムが行う通信品質の予測方法を説明する図である。当該予測方法は“事前準備”、“データ取得”、“データ処理”の3段階で構成される。
 図2-C1及び図1のStep1-1は、通信装置の一方もしくは両方の装置に設置された周辺環境情報部1-2(センサーやカメラ等)から周辺環境情報を取得する工程である。ここで、周辺環境情報にはセンサやカメラのサンプリング間隔も含まれる。
 図2-C2及び図1のStep2-1は、オブジェクト判定部1-4が図2-C1で得られた周辺環境情報から、認識物として、存在するオブジェクトのクラス、位置情報、速度情報、状態情報等のオブジェクト状態情報をカテゴリごとに取得する。ここで、位置情報とは画角上または実世界上におけるオブジェクトの中心位置/幅/高さ/輪郭/距離/深度/奥行きなどである。速度情報とは画角上または実世界上における位置の変化量などである。状態情報とはオブジェクトの形状/重量/向き/温度などである。
 図6は、オブジェクト判定部1-4の例を説明する図である。オブジェクト判定部1-4は、カメラから取得した映像から、1コマごとにオブジェクトのクラス、スコア、位置、大きさを出力することができる。オブジェクト判定部1-4は、例えば、物体認識技術YOLOv3を搭載する(例えば、非特許文献2を参照。)。オブジェクト判定部1-4は、図6のように、認識したオブジェクトに対して、画面上における位置座標(x,y)、幅wx、高さwy、所属するclass、object scoreをオブジェクト状態情報として出力する。Object scoreはオブジェクトがそのクラスに属する信頼度を示す値である。
 ここでカテゴリとは、あるクラスに属するオブジェクトが無線通信で使用する周波数帯の電波伝搬に与える影響具合の類似性を基準に区分される。この類似性はオブジェクトの素材、サイズ、動作、認識される位置、などによる。事前にそのクラスに属するオブジェクトが通信品質へ与える影響を調査し、各クラスに対応するカテゴリを決定し、カテゴリ定義部1-3に設定する。図3及び図4は、カテゴリの設定例である。図3のカテゴリ設定例1は、オブジェクトを速度で分離した例である。図3のカテゴリ設定例2は、オブジェクトを素材で分離した例である。図3のカテゴリ設定例3は、オブジェクトを大きさで分離した例である。図4のカテゴリ設定例4は、オブジェクトを空間条件(例えば、道路の上り線と下り線)で分離した例である。
 なお、オブジェクト状態情報を取得する際、図2-C1で得られた過去情報も利用可能である。図2-C2に示している立方体が並んだ図は、オブジェクト判定部1-4が画像からオブジェクト状態情報を取得するときにCNN等のディープラーニングを用いた場合をイメージして記載している。オブジェクト判定部1-4は、それ以外の機械学習のアルゴリズムを用いてオブジェクト状態情報を取得してもよい。当該機械学習を用いるパラメータは事前に学習する。図2-C4は図2-C3より出力されたカテゴリごとのオブジェクト状態情報の例を示している(図1のStep2-1)。
 図2-C5及び図1のStep1-2では、通信装置管理部1-5が通信端末1や他の通信端末の位置、速度、状態等の通信装置情報を取得する。図2-C8及び図1のStep1-2では、通信品質評価部1-6が通信品質を評価する。
 図2-C6及び図1のStep3-1では、通信品質予測部1-8が通信品質モデルを用いて、オブジェクト状態情報から通信品質を予測する。通信品質予測部1-8は、予測の際に、通信装置情報も用いて予測してもよい。また、オブジェクト判定部は外部NWや他の通信端末のオブジェクト判定部で得られたC4の情報も用いて予測してもよい。このとき予測に利用する情報の内容はカテゴリごとに異なっても良い。及び過去もしくは現在の通信品質情報の一部もしくは全てをもちいて通信品質を予測する。当該通信品質モデルは事前に機械学習しておく(図1のStep0-1に対応)。
 図2-C6の図は、通信品質学習部1-7が、オブジェクト状態情報(図2-C4)、及び過去もしくは現在の通信品質(図2-C8)からニューラルネットワークで通信品質モデルを生成する場合をイメージしている。通信品質学習部1-7は、通信状態情報(図2-C5)も用いて通信品質モデルを生成してもよい。通信品質学習部1-7は、これに限定することなく、他の機械学習や統計的手法などのいかなる手法を用いて通信品質モデルを生成しても良い。
 図7及び図8は、オブジェクト状態情報の表現手法を説明する図である。オブジェクト状態情報は画像から認識される物体の種類や数によってデータの次元が変化するため、通信品質学習部1-7や通信品質予測部1-8での計算が複雑になるという課題がある。図7は、取得したオブジェクト状態情報の例である。各時間tに対して、オブジェクトO~Oそれぞれからclass,x,y,wx,wy,scoreの5つのパラメータが得られる。通信端末1の周辺に存在するオブジェクトの数(n)は時間によって変化するため、オブジェクト状態情報の次元も時間変化する。
 本発明では、認識される物体の種類や数に関わらずオブジェクト状態情報の次元が変わらないように、カテゴリごとにフレームを分けて情報を簡易画像化している。図8は、本発明でのオブジェクト状態情報の例である。取得した画像からカテゴリごとの画像を作成することで次元を一定化とデータの圧縮ができる。さらに、取得した画像からカテゴリごとに画像を作成することでオブジェクトが電波伝搬に与える影響の特性考慮したまま、各時間におけるオブジェクト状態情報を表現することができる。
 図8は、3つのカテゴリ(車グループA、B、及び人グループ)を定義したときの、カメラから得た画像から簡易画像を作成する例を説明する図である。各オブジェクトが属するカテゴリは図3に従うとする。h×w pixelの画像から、h/d×w/d pixel の各カテゴリに対応した画像が3枚(簡易画像セット)作成される。d(0<d≦1)は簡易画像の圧縮率を示す。簡易画像では、オブジェクトが存在する範囲をそのオブジェクトのスコア、速度、奥行き、その他の任意の値で埋め、且つオブジェクトが存在する範囲を“0”で埋めることで、オブジェクトが電波伝搬に与える影響の特性も簡易画像内で表現できる。
 図9は、3次元畳み込みニューラルネットワーク(例えば、非特許文献3を参照。)を用いたオブジェクト状態情報による通信品質を予測する方法を説明する図である。図9は、t-s+1~t時間分の簡易画像セット(複数のカテゴリの簡易画像)からt+k(k時間後)の通信品質を予測する場合である。ここでsはニューラルネットワークに入力する画像データの時間幅を表す。t-s+1~t時間分の簡易画像セットは3次元畳み込みニューラルネットワークに入力し時空間特徴を抽出する。得られた特徴量から全結合型ニューラルネットワークによって通信品質を予測する。
 図10は、本通信システムの効果を説明する図である。効果を検証するために、本通信システムを通信品質低下の事前予測に用いることを想定する。本通信システムの通信品質予測では、同一の画像からオブジェクト状態情報を取得する際に、カテゴリに分類した場合と分類しない場合を比較している。図10の横軸は、実測値から予測した通信品質(スループット)を減算した結果である。この値が負になる場合は、予測値よりも実測値が低いことを意味する。すなわち、通信品質の低下を十分に予測できず、予測値より実際の通信品質低下が大きかったことを意味する。技術的な観点では、実測値が予測値を下回る、つまり得られた差分情報が負になる場合を陽性(Positive)と陰性(Negative)の概念をもってとらえることができる。通信品質の低下事象を、陽性(Positive)と定義すると、実測値から予測値の減算結果が負であることは、実際には陽性であったのに、陰性と判定する、偽陰性(False Negative)となっていることに対応する。実際のシステムの機械学習における学習及び予測の方法として、真陽性(True Positive)や真陰性(True Negartive)を最大化するようにモデル化することもできるし、真陽性(True Positive)や真陰性(True Negartive)を高めつつ、偽陽性(False Positive)や偽陰性(False Negative)となる確率を最小化するように学習してもよい。また、本検証は、偽陰性は許容できないが、逆に偽陽性は許容できる場合も考えられる。通信品質低下の予測で考えると、通信品質低下は確実に予測したいが、通信品質が低下すると予測したが実際には通信品質の低下がなかった(偽陽性)ことは許容できるケースとしてとらえられる。図10において、横軸中心の0より左側は予測値が実測値より高い(偽陰性)ことを意味し、右側は予測値が実測値より低い(偽陽性)ことを意味する。従って、通信品質低下を予測するために本通信システムを用いる場合、図10の負の分布ができるだけ0に漸近することが望ましい。
 図10の縦軸は、予測精度(累積分布関数)を表している。実線はオブジェクトのカテゴリ分類を行わない場合、点線はオブジェクトを車両と歩行者の2カテゴリで分類した場合の結果である。オブジェクトをカテゴリで分類した場合の方が、オブジェクトのカテゴリ分類を行わない場合より差分0に近くで100%に達しており、予測精度が高いことがわかる。
(実施形態のバリエーション)
 通信端末1がダウンリンクまたはアップリンクの通信品質を予測する基地局であった場合、通信装置管理部1-5は、他の通信端末である移動端末の位置などの情報を通信部(1-1-1~N)を介して取得し、通信装置状態情報を生成する。
 通信端末1がダウンリンクまたはアップリンクの通信品質を予測する移動端末であった場合、通信装置管理部1-5は、自通信装置の位置などから通信装置状態情報を生成する。また、通信相手となる基地局の位置やアンテナ条件などの情報を通信部(1-1-1~N)を介して収集し、通信装置管理部1-5が通信装置状態情報を生成してもよい。
 通信端末1がサイドリンクの通信品質を予測する基地局であった場合、通信装置管理部1-5は、他の通信端末である移動端末の位置情報などを通信部(1-1-1~N)を介して取得するとともに、自通信装置の位置情報などを含めて通信装置状態情報を生成する。
 無線通信システムとしては、IEEE802.11で規定される無線LAN、Wigig(登録商標)、IEEE802.11p、ITS用通信規格、LTEや5Gなどのセルラー通信、LPWA(Low Power Wide Area) などの無線通信、ないし音波、電気、光による通信を用いることができる。
[付記]
 以下は、本実施形態の通信システムを説明したものである。
(目的)
 本発明は、環境変動による通信品質の変化に対応できるよう、将来の通信品質を予測可能な通信システム及び端末を提供することを目的とする。
(課題解決手段)
 カメラ・センサー・報知情報収集機器・その他の周辺環境情報収集装置から、通信機器周辺の周辺環境情報を収集する。
 周辺環境情報から周辺に存在するオブジェクトを判定し、当該オブジェクトの位置/形状/サイズ/動き/速度/加速度などのオブジェクト状態情報をカテゴリごとに取得する。
 オブジェクトカテゴリは、通信品質に与える影響が近しいグループで分類され、電波伝搬への影響が大きい素材、存在する位置、動きの条件、によって定義することができる。
 カテゴリごとのオブジェクト状態情報を少なくとも含み、通信を行っている自分または相手またはその両方の通信装置の位置/向き/動き/速度/加速度などの通信装置状態情報や過去の通信品質情報を含めて定義される通信予測用特徴量と、通信品質との関係を機械学習にてモデル化する。
(発明の効果)
 本発明によれば、周辺環境情報収集装置により得られた周辺環境情報から、通信品質への影響が類似したカテゴリ毎にオブジェクト状態情報を収集することで、通信予測用特徴量と通信品質との関係性を効率的に学習することができ、学習に用いるデータの必要量を削減できたり、端末が用いる無線通信の通信品質を高精度に予測することができる。
0:外部ネットワーク部
1:通信装置
1-0:装置内のネットワーク
1-1-1~N:通信部
1-2:周辺環境情報収集部
1-3:カテゴリ定義部
1-4:オブジェクト判定部
1-5:通信装置管理部
1-6:通信品質評価部
1-7:通信品質学習部
1-8:通信品質予測部

Claims (9)

  1.  無線通信を行う通信端末であって、
     自身の周辺を時間ごとに撮影して周辺環境情報を生成する周辺環境情報収集部と、
     前記周辺環境情報に含まれる認識物をカテゴリ別に判定してオブジェクト状態情報を生成するオブジェクト判定部と、
     時間ごとに前記無線通信の通信品質を評価した通信品質情報と前記カテゴリ全ての前記オブジェクト状態情報との関係を、予め機械学習して生成された通信品質モデルを用い、現在を含む前記オブジェクト状態情報から現在又は未来の前記通信品質を推定する通信品質予測部と、
    を備える通信端末。
  2.  現在の前記通信端末自身の位置、通信相手となる通信端末の位置、またはその両方の位置、姿勢、動き、その他の状態を計測して通信装置状態情報を生成する通信装置管理部をさらに備え、
     前記通信品質予測部は、前記通信装置状態情報も含めて機械学習して生成された前記通信品質モデルを用い、前記通信装置状態情報も含めて前記通信品質を推定すること
    を特徴とする請求項1に記載の通信端末。
  3.  前記無線通信の通信品質を評価し、対応する時間情報とともに通信品質情報を生成する通信品質評価部と、
     前記カテゴリに対応する前記オブジェクト状態情報と前記通信品質情報との関係を機械学習して前記通信品質モデルを生成する予測モデル生成部と、
    をさらに備え
     前記周辺環境情報収集部は、前記通信端末自身の周辺を撮影し、対応する時間情報とともに周辺環境情報を生成することを特徴とする請求項1又は2に記載の通信端末。
  4.  前記通信装置管理部は、計測に対応する時間情報を含めて前記通信装置状態情報を生成し、
     前記予測モデル生成部は、前記通信装置状態情報も含めて機械学習を行い、前記通信品質モデルを生成することを特徴とする請求項2を引用する請求項3に記載の通信端末。
  5.  前記オブジェクト判定部は、前記周辺環境情報収集部が撮影した画像内で前記オブジェクト状態情報の前記認識物が対応する位置を任意の値で埋め、他を“0”で埋めることを特徴とする請求項1から4のいずれかに記載の通信端末。
  6.  前記オブジェクト判定部は、前記オブジェクト状態情報の前記認識物の位置とサイズ情報を用いて前記画像内の前記位置を決定することを特徴とする請求項5に記載の通信端末。
  7.  前記オブジェクト判定部は、前記任意の値を前記認識物の速度、オブジェクトスコア又は奥行の値とすることを特徴とする請求項5に記載の通信端末。
  8.  通信品質予測方法であって、
     無線通信を行う通信端末の周辺を時間ごとに撮影して周辺環境情報を生成すること、
     前記周辺環境情報に含まれる認識物をカテゴリ別に判定してオブジェクト状態情報を生成すること、及び
     時間ごとに前記無線通信の通信品質を評価した通信品質情報と前記カテゴリ全ての前記オブジェクト状態情報との関係を、予め機械学習して生成された通信品質モデルを用い、現在を含む前記オブジェクト状態情報から現在又は未来の前記通信品質を推定すること、
    を含む通信品質予測方法。
  9.  前記カテゴリをオブジェクトの動作又は素材に基づいて決定すること、及び
     従前の前記カテゴリを決定した前記カテゴリで置換すること
    をさらに含むことを特徴とする請求項8に記載の通信品質予測方法。
PCT/JP2019/038692 2019-10-01 2019-10-01 通信端末及び通信品質予測方法 WO2021064849A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/764,218 US20220345919A1 (en) 2019-10-01 2019-10-01 Communication terminal and communication quality prediction method
JP2021550800A JP7226575B2 (ja) 2019-10-01 2019-10-01 通信端末及び通信品質予測方法
PCT/JP2019/038692 WO2021064849A1 (ja) 2019-10-01 2019-10-01 通信端末及び通信品質予測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/038692 WO2021064849A1 (ja) 2019-10-01 2019-10-01 通信端末及び通信品質予測方法

Publications (1)

Publication Number Publication Date
WO2021064849A1 true WO2021064849A1 (ja) 2021-04-08

Family

ID=75337845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038692 WO2021064849A1 (ja) 2019-10-01 2019-10-01 通信端末及び通信品質予測方法

Country Status (3)

Country Link
US (1) US20220345919A1 (ja)
JP (1) JP7226575B2 (ja)
WO (1) WO2021064849A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219756A1 (ja) * 2021-04-14 2022-10-20 日本電信電話株式会社 通信制御システム、通信制御方法、及びプログラム
WO2022219755A1 (ja) * 2021-04-14 2022-10-20 日本電信電話株式会社 通信制御システム、通信制御方法、及びプログラム
WO2023139671A1 (ja) * 2022-01-19 2023-07-27 日本電信電話株式会社 通信器、通信方法、及びプログラム
WO2023152885A1 (ja) * 2022-02-10 2023-08-17 日本電信電話株式会社 情報処理方法、情報処理装置、及び、情報処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006844A (ja) * 2016-06-28 2018-01-11 日本電信電話株式会社 監視方法、監視システム、監視装置および監視プログラム
JP2019140582A (ja) * 2018-02-13 2019-08-22 日本電信電話株式会社 無線通信システム、無線通信方法、基地局及び端末

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006844A (ja) * 2016-06-28 2018-01-11 日本電信電話株式会社 監視方法、監視システム、監視装置および監視プログラム
JP2019140582A (ja) * 2018-02-13 2019-08-22 日本電信電話株式会社 無線通信システム、無線通信方法、基地局及び端末

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OKAMOTO HIRONAO: "Realtime throughput estimation using depth-images for mmwave communications", IEICE TECHNICAL REPORT, vol. 116, no. 276, 27 October 2016 (2016-10-27), pages 1 - 6, XP009524537 *
OKAMOTO HIRONAO: "Throughput estimation using online machine learning algorithm from depth-images for mmwave communications", IEICE TECHNICAL REPORT, vol. 115, no. 473, 2 March 2016 (2016-03-02), pages 47 - 52, XP009524536 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219756A1 (ja) * 2021-04-14 2022-10-20 日本電信電話株式会社 通信制御システム、通信制御方法、及びプログラム
WO2022219755A1 (ja) * 2021-04-14 2022-10-20 日本電信電話株式会社 通信制御システム、通信制御方法、及びプログラム
WO2023139671A1 (ja) * 2022-01-19 2023-07-27 日本電信電話株式会社 通信器、通信方法、及びプログラム
WO2023152885A1 (ja) * 2022-02-10 2023-08-17 日本電信電話株式会社 情報処理方法、情報処理装置、及び、情報処理システム

Also Published As

Publication number Publication date
JP7226575B2 (ja) 2023-02-21
JPWO2021064849A1 (ja) 2021-04-08
US20220345919A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
WO2021064849A1 (ja) 通信端末及び通信品質予測方法
US20220210622A1 (en) Communication system and base station
US10671058B2 (en) Monitoring server, distributed-processing determination method, and non-transitory computer-readable medium storing program
US11467604B2 (en) Control device and method for a plurality of robots
KR20230054834A (ko) 채널 상태 정보를 사용하는 딥 신경망에서의 동시적 위치 측정 및 매핑을 위한 비지도 학습
JP7276432B2 (ja) 通信システム及び端末
Wu et al. LiDAR-aided mobile blockage prediction in real-world millimeter wave systems
US20230209419A1 (en) Machine learning handover prediction based on sensor data from wireless device
KR20230091093A (ko) 조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링
JP7351397B2 (ja) 通信品質を予測するシステム、装置、方法及びプログラム
US20230362039A1 (en) Neural network-based channel estimation method and communication apparatus
US11595839B2 (en) Method for deriving cell quality and device supporting the same
Martini et al. Challenges and perspectives in neuromorphic-based visual IoT systems and networks
CN113891249A (zh) 网络覆盖确定方法、装置及存储介质
Mukhtar Machine learning enabled-localization in 5g and lte using image classification and deep learning
JP7252885B2 (ja) 通信品質の推定装置及びプログラム
US11363590B2 (en) Method for deriving cell quality and device supporting the same
US11564118B2 (en) Method and apparatus for restricting measurement based on result of a reference measurement in wireless communication system
WO2022102069A1 (ja) 情報出力システム、情報出力方法、推定装置、およびプログラム
WO2024100889A1 (ja) 通信品質予測装置、通信品質予測方法、およびプログラム
JP7439947B2 (ja) 通信情報予測装置、通信情報予測方法、および通信情報予測プログラム
WO2024100879A1 (ja) 通信品質予測装置、通信品質予測方法、およびプログラム
US20220327333A1 (en) Systems and methods for domain-specific enhancement of real-time models through edge-based learning
US20230051491A1 (en) Wireless telecommunications network
EP4152641A1 (en) Relaying communications between radio nodes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947463

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550800

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947463

Country of ref document: EP

Kind code of ref document: A1