JP7492756B2 - Radio wave source terminal position detection system and radio wave source terminal position detection method - Google Patents
Radio wave source terminal position detection system and radio wave source terminal position detection method Download PDFInfo
- Publication number
- JP7492756B2 JP7492756B2 JP2022044212A JP2022044212A JP7492756B2 JP 7492756 B2 JP7492756 B2 JP 7492756B2 JP 2022044212 A JP2022044212 A JP 2022044212A JP 2022044212 A JP2022044212 A JP 2022044212A JP 7492756 B2 JP7492756 B2 JP 7492756B2
- Authority
- JP
- Japan
- Prior art keywords
- radio wave
- terminal
- processing device
- data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 78
- 238000004891 communication Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 226
- 238000005259 measurement Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Instructional Devices (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Description
特許法第30条第2項適用 令和4年3月1日 令和4年電気学会全国大会講演論文集で発表Application of
本発明は、特定空間において通信を行うために電波を発信する電波源端末の位置を検出する電波源端末位置検出システム及び電波源端末位置検出方法に関する。 The present invention relates to a radio wave source terminal position detection system and a radio wave source terminal position detection method for detecting the position of a radio wave source terminal that transmits radio waves to perform communication in a specific space.
従来、電波を送受信する電波源端末が在局する特定空間の無線通信状態を制御する技術として、例えば、移動体の現在位置および地形情報に基づいて、移動体が備える指向性可変アンテナのアンテナ指向性を制御することにより、移動体の受信環境が変動する場合でも受信性能を向上させる技術(例えば、特許文献1参照)や、基地局が移動局からの電波の到来方向を推定して、その方向にアレーアンテナの指向性のピークを向けることにより、通信状態を向上させる技術(例えば、特許文献2参照)が知られている。 Conventionally, known technologies for controlling the wireless communication state in a specific space where a radio wave source terminal that transmits and receives radio waves is located include a technology that improves reception performance even when the reception environment of a mobile body changes by controlling the antenna directivity of a variable directivity antenna equipped on the mobile body based on the current position and topographical information of the mobile body (see, for example, Patent Document 1), and a technology that improves communication state by having a base station estimate the direction in which radio waves from a mobile station are coming and point the peak of the directivity of an array antenna in that direction (see, for example, Patent Document 2).
これら特定空間の無線通信状態を制御する技術においては、特定空間の電波伝搬を能動的(アクティブ)に制御するために、特定空間内を移動可能な無線局の特定空間内における位置等と特定する必要があることから、これら無線局の位置特定のために電波源の方向をセンシングする電波センサが使用されているが、これら電波センサを使用した場合、無線局の特定空間における2次元的な位置を大まかに特定することしかできず、特定空間の電波伝搬を能動的(アクティブ)に制御するには、位置精度が不十分であるという問題がある。 In these technologies for controlling the wireless communication state in specific spaces, in order to actively control radio wave propagation in the specific space, it is necessary to identify the positions of wireless stations that can move within the specific space. For this reason, radio wave sensors that sense the direction of the radio wave source are used to identify the positions of these wireless stations. However, when using these radio wave sensors, it is only possible to roughly identify the two-dimensional position of the wireless station in the specific space, and there is a problem that the positioning accuracy is insufficient to actively control radio wave propagation in the specific space.
本発明は、このような問題点に着目してなされたもので、位置精度の高い電波源端末位置検出システム及び電波源端末位置検出方法を提供することを目的とする。 The present invention was made to address these problems, and aims to provide a radio wave source terminal position detection system and radio wave source terminal position detection method with high position accuracy.
請求項1の電波源端末位置検出システムは、
通信用電波を発信する電波源端末(例えば、無線LAN端末であるデスクトップパソコン1やラップトップパソコン2や携帯端末3)の特定空間(例えば、部屋R)における位置を検出する電波源端末位置検出システムであって、
運用時に前記特定空間の画像を撮像する撮像手段(例えば、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21)と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成手段(例えば、処理装置(A)が、運用前において地図生成モジュールプログラムにて3D地図を生成する部分)と、
前記3次元地図生成手段にて生成した前記3次元地図を記憶可能な3次元地図記憶手段と、
前記3次元地図記憶手段に記憶されている前記3次元地図と前記撮像手段にて撮像された画像とから前記特定空間における前記電波源端末の3次元位置を特定する3次元位置特定手段(例えば、図10に示すように、運用中において処理装置(A)25や処理装置(B)30が端末位置検出モジュールプログラムを用いて端末位置を検出する部分)と、
前記3次元位置特定手段にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段(例えば、処理装置(C))に対して出力する3次元位置出力手段(例えば、図12に示す端末DB更新処理におけるステップS8やステップS13において端末情報を送信する部分)と、
を備える、
ことを特徴としている。
この特徴によれば、3次元地図と画像とを用いることによって、電波源端末の3次元位置を高精度に特定することができる。
The radio wave source terminal position detection system according to
A radio wave source terminal position detection system that detects the position of a radio wave source terminal (e.g., a
Imaging means (e.g., RGB-
A three-dimensional map generating means for generating a three-dimensional map of the entire specific space in advance before the start of operation (for example, a part in which the processing device (A) generates a 3D map using a map generating module program before operation);
a three-dimensional map storage means capable of storing the three-dimensional map generated by the three-dimensional map generating means;
a three -dimensional position identification means for identifying the three-dimensional position of the radio wave source terminal in the specific space from the three-dimensional map stored in the three-dimensional map storage means and the image captured by the imaging means (for example, as shown in FIG. 10, a part in which a processing device (A) 25 or a processing device (B) 30 detects the terminal position using a terminal position detection module program during operation);
a three-dimensional position output means (e.g., a part that transmits terminal information in step S8 or step S13 in the terminal DB update process shown in FIG. 12) that outputs the three-dimensional position identified by the three-dimensional position identification means to a radio wave propagation control means (e.g., a processing device (C)) that can control radio wave propagation in the specific space;
Equipped with
It is characterized by the following.
According to this feature, by using a three-dimensional map and an image, the three-dimensional position of the radio wave source terminal can be specified with high accuracy.
請求項2の電波源端末位置検出システムは、請求項1に記載の電波源端末位置検出システムであって、
前記3次元地図生成手段は、レーザースキャナ(例えば、LiDAR24)を使用したLiDAR-SLAMを含む、
ことを特徴としている。
この特徴によれば、3次元地図の精度を向上できる。
The radio wave source terminal position detection system of
The 3D map generating means includes LiDAR-SLAM using a laser scanner (e.g., LiDAR24);
It is characterized by the following.
This feature makes it possible to improve the accuracy of the three-dimensional map.
請求項3の電波源端末位置検出システムは、請求項1または請求項2に記載の電波源端末位置検出システムであって、
前記3次元位置特定手段は、学習データを与えることによって前記撮像手段にて撮像された画像から前記電波源端末を高精度で検出可能となった深層学習機機能(例えば、処理装置(A)25や処理装置(B)30に記憶されたDNNモジュールプログラムによる機能)を含む、
ことを特徴としている。
この特徴によれば、電波源端末を高精度で検出することができる。
The radio wave source terminal position detection system according to
The three-dimensional position identification means includes a deep learning function (e.g., a function based on a DNN module program stored in the processing device (A) 25 or the processing device (B) 30) that enables the radio wave source terminal to be detected with high accuracy from the image captured by the imaging means by providing learning data,
It is characterized by the following.
According to this feature, the radio wave source terminal can be detected with high accuracy.
請求項4の電波源端末位置検出方法は、
通信用電波を発信する電波源端末(例えば、無線LAN端末であるデスクトップパソコン1やラップトップパソコン2や携帯端末3)の特定空間(例えば、部屋R)における位置を検出する電波源端末位置検出方法であって、
運用時に前記特定空間の画像を撮像する撮像段階(例えば、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が運用中において秒5回の頻度で撮像する段階)と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成段階(例えば、処理装置(A)が、運用前において地図生成モジュールプログラムにて3D地図を生成する段階)と、
前記3次元地図生成段階にて生成した前記3次元地図を記憶する3次元地図記憶段階と、
前記3次元地図記憶段階にて記憶された前記3次元地図と前記撮像段階にて撮像された画像とから前記特定空間における少なくとも前記電波源端末の3次元位置を特定する3次元位置特定段階(例えば、図10に示すように、運用中において処理装置(A)25や処理装置(B)30が端末位置検出モジュールプログラムを用いて端末位置を検出する段階)と、
前記3次元位置特定段階にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段(例えば、処理装置(C))に対して出力する3次元位置出力段階(例えば、図12に示す端末DB更新処理におけるステップS8やステップS13において端末情報を送信する段階)と、
を含む、
ことを特徴としている。
この特徴によれば、3次元地図と画像とを用いることによって、電波源端末の3次元位置を高精度に特定することができる。
The radio wave source terminal position detection method according to claim 4,
A method for detecting the position of a radio wave source terminal (e.g., a
An imaging stage in which an image of the specific space is captured during operation (for example, a stage in which the RGB-
A three-dimensional map generation step of generating a three-dimensional map of the entire specific space in advance before the start of operation (for example, a step in which the processing device (A) generates a 3D map using a map generation module program before operation);
a 3D map storage step of storing the 3D map generated in the 3D map generation step;
A three-dimensional position determination step of determining the three-dimensional position of at least the radio wave source terminal in the specific space from the three-dimensional map stored in the three-dimensional map storage step and the image captured in the imaging step (for example, as shown in FIG. 10, a step in which the processing device (A) 25 or the processing device (B) 30 detects the terminal position using a terminal position detection module program during operation);
a three-dimensional position output step (e.g., a step of transmitting terminal information in step S8 or step S13 in the terminal DB update process shown in FIG. 12 ) of outputting the three-dimensional position identified in the three-dimensional position identification step to a radio wave propagation control means (e.g., a processing device (C)) capable of controlling radio wave propagation in the specific space;
including,
It is characterized by the following.
According to this feature, by using a three-dimensional map and an image, the three-dimensional position of the radio wave source terminal can be specified with high accuracy.
請求項5の電波源端末位置検出方法は、請求項4に記載の電波源端末位置検出方法であって、
前記3次元地図生成段階においては、レーザースキャナ(例えば、LiDAR24)を使用したLiDAR-SLAMにより前記3次元地図を生成する、
ことを特徴としている。
この特徴によれば、3次元地図の精度を向上できる。
The radio wave source terminal position detection method according to claim 5 is the radio wave source terminal position detection method according to claim 4,
In the 3D map generation step, the 3D map is generated by LiDAR-SLAM using a laser scanner (e.g., LiDAR24);
It is characterized by the following.
This feature makes it possible to improve the accuracy of the three-dimensional map.
請求項6の電波源端末位置検出方法は、請求項4または請求項5に記載の電波源端末位置検出方法であって、
前記3次元位置特定段階は、学習データを与えることによって機械学習された深層学習機機能(例えば、処理装置(A)25や処理装置(B)30に記憶されたDNNモジュールプログラムによる機能)により前記撮像段階にて撮像された画像から前記電波源端末を検出する段階(例えば、図10においてDNNモジュールプログラムが端末相対位置を検出して出力する段階)を含む、
ことを特徴としている。
この特徴によれば、電波源端末を高精度で検出することができる。
A radio wave source terminal position detection method according to claim 6 is the radio wave source terminal position detection method according to claim 4 or 5, further comprising the steps of:
The three-dimensional position identification step includes a step of detecting the radio wave source terminal from the image captured in the imaging step by using a deep learning function (e.g., a function by a DNN module program stored in the processing device (A) 25 or the processing device (B) 30) that has been machine-learned by providing learning data (e.g., a step in which the DNN module program detects and outputs the terminal relative position in FIG. 10 ).
It is characterized by the following.
According to this feature, the radio wave source terminal can be detected with high accuracy.
尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。 The present invention may have only the invention-specific matters described in the claims of the present invention, or may have the invention-specific matters described in the claims of the present invention as well as configurations other than the invention-specific matters.
本発明の電波源端末位置検出システムを含む電波伝搬制御システムを実施するための形態を実施例にもとづいて以下に説明する。 The following describes an embodiment of a radio wave propagation control system that includes a radio wave source terminal position detection system of the present invention.
図1は、本発明の電波源端末位置検出システムを含む電波伝搬制御システムが適用された特定空間である部屋Rを示す図であり、図3は、本発明の電波源端末位置検出システムを含む電波伝搬制御システムの構成を示すブロック図である。 Figure 1 shows a room R, which is a specific space to which a radio wave propagation control system including the radio wave source terminal position detection system of the present invention is applied, and Figure 3 is a block diagram showing the configuration of a radio wave propagation control system including the radio wave source terminal position detection system of the present invention.
図1に示すように、本実施例の特定空間である部屋Rは方形状とされているとともに、部屋R内に入室するためのドアが設けられている。また、部屋Rは、ドアが設けられている壁面と対向する壁面から導出されている上面視L字状のパーティションPTにより、電波の発信源となる無線LAN(Wi-Fi)端末であるデスクトップパソコン(DesktopPC)1やラップトップパソコン(LaptopPC)2が載置されている机D1が配置された大空間と、机D2が配置された小空間とに分けられており、小空間は、例えば、会議等に使用できるようになっている。
As shown in FIG. 1, the specific space in this embodiment, room R, is rectangular and has a door for entering room R. Room R is divided into a large space where desk D1 is placed, on which
部屋Rには、図1に示すように、ドアを挟む各壁面に無線LAN(Wi-Fi)のアクセスポイント端末(AP)11、12が配置されているとともに、会議室となる小空間への入り口に臨む壁には、無線LAN(Wi-Fi)に使用される周波数帯の電波を高効率にて異なる角度にて反射可能なIRS(Intelligent Reflecting Surface)13が配置されている。 As shown in Figure 1, in room R, wireless LAN (Wi-Fi) access point terminals (AP) 11, 12 are placed on each wall on either side of the door, and an IRS (Intelligent Reflecting Surface) 13 is placed on the wall facing the entrance to the small space that will become the conference room, which can reflect radio waves in the frequency band used for wireless LAN (Wi-Fi) at different angles with high efficiency.
これらアクセスポイント端末(AP)11、12は、図1に示すように、スイッチングHUB2を介してインターネット等の外部ネットワークと接続されており、机D1に配置されているデスクトップパソコン1やラップトップパソコン2、更には、部屋Rに入室した利用者が所持しているモバイルフォン等の携帯端末3が、アクセスポイント端末(AP)11、12を介してインターネット等の外部ネットワークとデータ通信することができるようになっている。尚、図1については、外部ネットワークと接続するためのルータ等の機器については省略しているが、外部ネットワークと接続するためのルータ等を設けるようにしてもよいことは言うまでもない。
As shown in FIG. 1, these access point terminals (AP) 11, 12 are connected to an external network such as the Internet via a
これらアクセスポイント端末(AP)11、12は、公知の無線LAN(Wi-Fi)のアクセスポイント端末と同様に、2.4GHz帯や5GHz帯の電波を使用して、無線LAN端末と双方向の無線通信を行うことができるものであって、特には、無線LAN端末とのセッション状況(通信状況)のデータを後述する管理装置Cに送信する機能や、該管理装置Cからの指示によって指定された3次元位置に向けて指定された周波数(チャンネル)の電波を集中させる3次元ビームフォーミングの機能を有している。 These access point terminals (AP) 11, 12, like known wireless LAN (Wi-Fi) access point terminals, can perform two-way wireless communication with wireless LAN terminals using radio waves in the 2.4 GHz and 5 GHz bands, and in particular have a function for transmitting data on the session status (communication status) with the wireless LAN terminal to a management device C described below, and a three-dimensional beamforming function for concentrating radio waves of a specified frequency (channel) toward a three-dimensional position specified by instructions from the management device C.
尚、これら3次元ビームフォーミングとしては、公知の方法、例えば、5Gの携帯電話にて使用が検討されている平面アンテナアレイによる3次元ビームフォーミングの技術を使用することができる。 These three-dimensional beamforming techniques can be implemented using known methods, such as three-dimensional beamforming technology using planar antenna arrays, which is being considered for use in 5G mobile phones.
また、部屋Rの2つの角部の天井には、カラー画像を撮像可能であるとともに被写体までの距離を計測可能なRGB-D1カメラ15とRGB-D2カメラ16とが、図1に示すように、部屋Rの略対角方向を向けて配置されることで、RGB-D1カメラ15は、部屋Rの小空間におけるRGB-D1カメラ15に近い領域を除いたほぼ全領域を撮像可能とされているとともに、RGB-D2カメラ16は、部屋の大空間におけるRGB-D2カメラ16に近い領域とパーティションPTによって隠される領域を除いた領域を撮像および計測可能とされている。
In addition, RGB-
これらRGB-D1カメラ15とRGB-D2カメラ16、並びに後述する移動ロボットに搭載されているRGB-D3カメラ21は、いずれも、可視光のカラーイメージセンサを有するRGBカメラと、被写体までの距離(被写体深度)を計測可能な深度カメラとが組み合わされたものとされている。これらRGBカメラは、部屋R内の無線LAN端末、特には、被写体としては小型となる携帯端末を画像により検出可能とするための十分な解像度を有するものであって、画像処理が可能な時間間隔にて画像を撮像可能なものであれば、公知のRGBカメラを使用することができる。尚、本実施例では、これらRGBカメラとしては、後述する処理装置(A)25や処理装置(B)30との接続等を考慮して、LANケーブルにて有線LAN接続可能なものを使用しているが、本発明はこれに限定されるものではなく、これらRGBカメラの画像データを送信する通信インターフェイス(I/F)は、受信側が有する通信インターフェイス(I/F)等の状況を考慮して適宜に選択すればよい。
The RGB-
また、深度カメラとしては、本実施例では、装置の大きさが比較的小さいとともに、計測精度が比較的高く、計測に要する時間も短いことから赤外線ToFカメラを使用しているが、本発明は、これに限定されるものではなく、これら深度カメラとしては、使用するRGBカメラの画像との相性等の関係性や、撮像する空間の光の状況(明暗)や、必要な計測精度や計測時間等の観点から、公知のものから適宜に選択すればよい。具体的には、ToFカメラではなく、ToF以外の方式、例えば、複数のカメラ画像の視差から被写体深度を計測するカメラや、放射パターンの大きさや形状で被写体深度を計測するカメラ等の他の方式の深度カメラを使用してもよい。尚、本実施例では、これら深度カメラとしては、処理装置(A)25や処理装置(B)30との接続等を考慮して、LANケーブルにて有線LAN接続可能なものを使用しているが、本発明はこれに限定されるものではなく、深度カメラのデータを送信する通信I/Fは、受信側が有する通信I/F等の状況を考慮して適宜に選択すればよい。 In addition, in this embodiment, an infrared ToF camera is used as the depth camera because the size of the device is relatively small, the measurement accuracy is relatively high, and the time required for measurement is short, but the present invention is not limited to this. These depth cameras may be appropriately selected from known cameras in terms of compatibility with the image of the RGB camera used, the light conditions (light and dark) of the space to be imaged, the required measurement accuracy, measurement time, etc. Specifically, instead of a ToF camera, a depth camera of a method other than ToF may be used, for example, a camera that measures the subject depth from the parallax of multiple camera images, or a camera that measures the subject depth from the size and shape of the radiation pattern. In this embodiment, these depth cameras are used that can be connected to a wired LAN via a LAN cable, taking into consideration the connection with the processing device (A) 25 and the processing device (B) 30, etc., but the present invention is not limited to this, and the communication I/F for transmitting the data of the depth camera may be appropriately selected in consideration of the situation of the communication I/F of the receiving side.
また、本実施例では、RGBカメラと深度カメラとを個別に有線LAN接続するようにしているが、本発明はこれに限定されるものではなく、例えば、RGBカメラと深度カメラとが一体化された形態のカメラである場合には、単一の通信I/Fから画像データと深度のデータとを送信するようにしてもよいことは言うまでもない。 In addition, in this embodiment, the RGB camera and the depth camera are individually connected to a wired LAN, but the present invention is not limited to this. For example, if the RGB camera and the depth camera are integrated into a camera, it goes without saying that the image data and depth data may be transmitted from a single communication I/F.
これらRGB-D1カメラ15とRGB-D2カメラ16は、図1に示すように、LANケーブルとスイッチングHUB1を介して、部屋Rの角部に配置されている処理装置(B)30に有線LAN接続されており、RGB-D1カメラ15とRGB-D2カメラ16にて撮像された画像データや被写体のまでの距離データ(被写体深度データ)が該処理装置(B)30に入力されるようになっている。尚、RGB-D1カメラ15とRGB-D2カメラ16は、1秒間に5回、撮像及び計測とを行って画像データと距離データとを処理装置(B)30に送信するが、これら撮像回数等は、使用するカメラの能力や処理装置(B)30の処理能力や通信I/Fの通信速度等を考慮して適宜に決定すればよい。
As shown in FIG. 1, the RGB-
処理装置(B)30は、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、LANの通信IF等を有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(B)30に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(B)30としては、後述する処理装置(B)30の各機能を提供できるものであれば、どのようなコンピュータであってもよい。 The processing device (B) 30 is a highly reliable hardware device with relatively excellent processing capabilities and low susceptibility to malfunctions. A well-known personal computer (PC) having a LAN communication interface can be suitably used as the processing device (B) 30. These personal computers (PCs) are used with various programs installed to provide the processing device (B) 30 with the functions required, but the present invention is not limited to this. The processing device (B) 30 can be any computer that can provide the functions of the processing device (B) 30 described below.
処理装置(B)30には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。尚、図3中で、方形状の太い破線がモジュールプログラムを示しており、円柱状の細い破線がデータを示している。 The processing device (B) 30 stores module programs for providing various functions as shown in FIG. 3, as well as various data used by these module programs. In FIG. 3, the thick dashed rectangular lines indicate module programs, and the thin dashed cylindrical lines indicate data.
処理装置(B)30のオペレーションシステム(OS)にて動作可能なモジュールプログラムとしては、RGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢を、図9に示すように、運用前の初期化時において推定するためのRGB-D1とRGB-D2の位置・姿勢推定モジュールプログラムと、RGB-D1カメラ15やRGB-D2カメラ16から送信されてくる画像データや深度データを、行列式等からなる映像処理データを用いた計算により補正等を行うための映像処理モジュールプログラムと、学習データを与えることによって撮像画像から端末の特定や端末の種類特定を行うことが可能とされた深層学習(Deep Neural Network;DNN)モジュールプログラムと、深層学習モジュールプログラムからのデータや映像処理モジュールプログラムからの映像データとから無線LAN端末の位置検出を行う端末位置検出モジュールプログラムが記憶されている。尚、端末位置検出モジュールプログラムは、RGB-D1カメラ15やRGB-D2カメラ16のそれぞれに対応するように個別に記憶されている。
The module programs that can be operated by the operating system (OS) of the processing device (B) 30 include an RGB-D1 and RGB-D2 position/attitude estimation module program for estimating the position and attitude of the RGB-
尚、本実施例では、処理装置(B)30においては、後述するように、RGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定において処理装置(A)25にて生成された3D地図を使用することから、3D地図を利用する際の利便性等を考慮して、これら3D地図を作成する処理装置(A)25のSLAM用プログラムと同一のSLAM用プログラムを処理装置(B)30にも導入し、該SLAM用プログラムの自己位置推定の機能を利用してRGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定を実行するようにしているが、本発明はこれに限定されるものではなく、これらRGB-D1カメラ15やRGB-D2カメラ16の位置や姿勢推定のモジュールプログラムを、処理装置(A)25のSLAM用プログラムとは無関係のものを使用してもよい。
In this embodiment, as described below, the processing device (B) 30 uses the 3D map generated by the processing device (A) 25 to estimate the position and orientation of the RGB-
また、データとしては、運用前の初期化時において位置・姿勢推定モジュールプログラムにより推定されたRGB-D1カメラ15やRGB-D2カメラ16の位置と姿勢のデータが記憶されているともに、映像処理モジュールプログラムが使用する行列式等を含む映像処理データや、後述するように、運用前の初期化時において処理装置(A)25にて生成される3D地図データが記憶されている。
In addition, the data stored includes the position and orientation data of the RGB-
また、処理装置(B)30の近傍位置には、該処理装置(B)30とLANケーブル及びスイッチングHUB2を介して接続されている処理装置(C)40が配置されている。処理装置(C)40にはIRS13がローカル接続されているとともに、アクセスポイント端末(AP)15、16もLANケーブル及びスイッチングHUB2を介して接続されており、ローカル接続されているIRS13の電波反射方向制御を実行可能であるとともに、アクセスポイント端末(AP)15、16の3次元ビームフォーミング制御等を実行可能とされていて、処理装置(C)40が、特定空間である部屋Rの電波伝搬をアクティブコントロールする。
In addition, a processing device (C) 40 is located near the processing device (B) 30 and is connected to the processing device (B) 30 via a LAN cable and a
尚、処理装置(C)40も、処理装置(B)30と同様に、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、LANの通信IFやIRS13をローカル接続するためのI/Fを有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(C)40に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(C)40としては、後述する処理装置(C)40の各機能を提供できるものであれば、どのようなコンピュータであってもよい。
The processing device (C) 40, like the processing device (B) 30, is a highly reliable piece of hardware that has relatively excellent processing capabilities and is unlikely to malfunction. A known personal computer (PC) having a LAN communication interface and an interface for locally connecting the
処理装置(C)40には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。具体的には、処理装置(C)40のオペレーションシステム(OS)にて動作可能なモジュールプログラムとして、各アクセスポイント端末(AP)11、12と部屋R内の無線LAN端末との伝搬経路を計算する伝搬経路計算モジュールプログラムと、伝搬経路計算モジュールプログラムにて計算された伝搬経路に対して最適化された3次元ビームフォーミングの方向制御や最適化されたIRS13の反射角度制御を行うためのAP/IRS制御モジュールプログラムとが記憶されている。
The processing device (C) 40 stores module programs for providing various functions as shown in FIG. 3, as well as various data used by these module programs. Specifically, as module programs operable on the operation system (OS) of the processing device (C) 40, a propagation path calculation module program that calculates the propagation path between each access point terminal (AP) 11, 12 and the wireless LAN terminal in the room R, and an AP/IRS control module program that performs directional control of three-dimensional beamforming optimized for the propagation path calculated by the propagation path calculation module program and reflection angle control of the optimized
また、これらのモジュールプログラムが使用するデータとしては、運用前の初期化時において処理装置(A)25にて生成される3D地図データ、各アクセスポイント端末(AP)11、12の部屋R内おける3次元位置座標、各アクセスポイント端末(AP)11、12が通信している部屋R内の無線LAN端末のローカルIPアドレス、MACアドレス、送受信に使用される各電波周波数(チェンネル)、通信レベル等の情報を含むセッション情報が記憶されている通信状況データベース(DB)、処理装置(A)において位置推定された部屋R内の無線LAN端末の3次元位置や該無線LAN端末から発信される電波周波数の情報が逐次更新される端末データベース(DB)(図11参照)、端末DBにおいて使用される端末IDと通信状況データベースにおける端末識別情報となるMACアドレスとの対応関係が記憶される端末対応付テーブルデータ等が記憶されている。 The data used by these module programs includes 3D map data generated by the processing device (A) 25 at the time of initialization before operation, a communication status database (DB) in which session information including the three-dimensional position coordinates of each access point terminal (AP) 11, 12 in room R, the local IP addresses, MAC addresses, radio frequencies (channels) used for transmission and reception, and communication levels of the wireless LAN terminals in room R with which each access point terminal (AP) 11, 12 is communicating, a terminal database (DB) (see FIG. 11) in which the three-dimensional positions of the wireless LAN terminals in room R estimated by the processing device (A) and information on the radio frequencies transmitted from the wireless LAN terminals are updated sequentially, and terminal correspondence table data in which the correspondence between the terminal IDs used in the terminal DB and the MAC addresses that serve as terminal identification information in the communication status database is stored.
尚、本実施例では、各アクセスポイント端末(AP)11、12の3次元位置座標については、3D地図データが記憶される運用前の段階において、処理装置(C)40に直接入力して設定するようにしているが、本発明はこれに限定されるものではなく、これら各アクセスポイント端末(AP)11、12の3次元位置についても、RGB-D1カメラ15やRGB-D2カメラ16の位置検出と同様に、処理装置(B)30或いは処理装置(A)25によって検出して、処理装置(C)40に記憶するようにしてもよい。
In this embodiment, the three-dimensional position coordinates of each access point terminal (AP) 11, 12 are set by directly inputting them into the processing device (C) 40 at a pre-operational stage when the 3D map data is stored, but the present invention is not limited to this. The three-dimensional positions of each of these access point terminals (AP) 11, 12 may also be detected by the processing device (B) 30 or processing device (A) 25 and stored in the processing device (C) 40, in the same way as the position detection of the RGB-
ここで、処理装置(C)40にローカル接続されているIRS13について、図6と図7を用いて簡潔に説明する。IRS13は、図6に示すように、壁に取付けられる方形箱状の本体132と、該本体132から壁面の前方方向に突出するように設けられた電波反射板131と、電波反射板131の背面に設けられて電波反射板131の上下方向の角度を変化可能な垂直駆動部133とから主に構成されている。
Here, the
電波反射板131は、無線LANに使用される2.4GHz帯や5GHz帯の電波を高効率にて反射可能なものであって、例えば、特開2021-141359号に開示されているもの等が例示される。
The
また、垂直駆動部133と本体132とを連結する連結軸は、本体132内部に内蔵されている水平駆動部134によって水平方向に揺動可能とされており、このように水平駆動部134によって連結軸が水平方向に揺動可能とされていることと、垂直駆動部133によって垂直方向の角度が変化可能とされていることによって、電波反射板131の角度を上下左右に変化させることが可能となっており、これら電波反射板131の角度が、本体132内部に内蔵されている駆動制御部135によって、図7に示すように、処理装置(C)40から送信される情報である、垂直角度や水平角度の情報を含む駆動情報の受信に応じて制御されることで、例えば、アクセスポイント端末(AP12からの電波を、小空間内部に向けて反射させることが可能とされている(図2参照)。
The connecting shaft connecting the
また、部屋R内には、部屋R内を移動可能とされた移動ロボット20が配置されている。移動ロボット20は、移動を可能とするための無人搬送車(AGV)23上に、電波センサ22を格納可能であるとともに電波センサ22が検出する電波を高効率で透過可能な材質で形成され、その上部にRGB-D1カメラ15やRGB-D2カメラ16と同様の機能を有する比較的小型のRGB-D3カメラ21やLiDAR-SLAM(Simultaneous Localization and Mapping)を行うためのレーザースキャナ(以下、LiDARと表記)24とが配置されているハウジングが搭載されているともに、これらRGB-D3カメラ21、電波センサ22、無人搬送車(AGV)23、LiDAR24に接続されて、部屋Rの3次元地図(以下、3D地図とし略記する)の作成並びに電波センサ22並びにRGB-D3カメラ21からのデータにもとづいて無線LAN端末の検出並びに位置推定を行う処理装置(A)25が搭載されている。
In addition, a
ここで、本実施例の移動ロボット20に用いた電波センサ22について、図4、図5を用いて簡潔に説明すると、電波センサ22は、図4に示すような外観とされており、無線LANで使用される周波数帯である2.4GHz帯や5GHz帯の電波を受信するための四角板状の平面アンテナアレイ221と、該平面アンテナアレイ221が連結されている連結軸を回転させることで平面アンテナアレイ221を水平方向に回転可能な水平駆動部222と、連結軸と平面アンテナアレイ221との背面との間に設けられ、平面アンテナアレイ221を図示しない回動軸を中心として垂直方向に回動させることが可能な垂直駆動部223とを有している。
The
そして、電波センサ22の筐体内部には、平面アンテナアレイ221に形成されている個々のアンテナからのRF信号が入力される信号処理部224が設けられていて、該信号処理部224が、平面アンテナアレイ221を構成する個々のアンテナからの複数のRF信号にもとづいて、電波源の方向となる電波到来方向や、該到来電波の周波数(計測周波数)、該到来電波の強度(電界強度)を特定し、計測時刻のデータとともに出力する。
Inside the housing of the
尚、信号処理部224は、外部からの計測開始指示の入力に応じて電波計測(スキャン)を開始する。この電波計測(スキャン)は、平面アンテナアレイ221が向いている水平方向を所定角度(例えば、10度)ずつ順次回転移動させ、10度毎のそれぞれの回転位置において2.4GHz帯や5GHz帯の電波チャンネルを走査していき、1周の回転が完了したら、平面アンテナアレイ221が検出可能な検出可能垂直角度範囲(例えば、角度範囲10度)の分だけ垂直角度(俯角または仰角)を変更し、該変更後の垂直角度において、また、水平方向を所定角度ずつ順次回転移動させつつ、電波チャンネルを走査して1周し、その後、更に検出可能垂直角度範囲の分だけ垂直角度の変更することを繰り返し行う。つまり、1周の回転計測→垂直角度変更→1周の回転計測→垂直角度変更…を繰り返し行い、垂直角度が仰角90度に対応する角度での1周の回転計測が終了したときに電波計測(スキャン)を終了する。
The
よって、電波チャンネルを走査する水平方向角度を細かく(例えば、360の180分割である2度)とすると、方向精度(分解能)が高くなるものの、電波計測(スキャン)に要する時間が非常に長くなってしまい、無線LAN端末の移動に対応することが難しくなってしまうので、使用する平面アンテナアレイ221の特性を踏まえて、必要最小限の方向精度(分解能)とすることで、電波計測(スキャン)に要する時間を可能な限り短くすることが好ましい。具体的には、本実施例では、水平方向の所定角度を、360の36分割である10度とし、検出可能垂直角度範囲も約10度とすることで、電波計測(スキャン)に要する時間としては60秒程度である。
Therefore, if the horizontal angle for scanning the radio channel is made fine (for example, 2 degrees, which is 180 divisions of 360), the directional accuracy (resolution) will be high, but the time required for radio wave measurement (scanning) will be very long, making it difficult to accommodate the movement of the wireless LAN terminal. Therefore, it is preferable to shorten the time required for radio wave measurement (scanning) as much as possible by setting the minimum necessary directional accuracy (resolution) in consideration of the characteristics of the
尚、これら電波計測(スキャン)における水平方向の回転制御や垂直方向の角度制御は、信号処理部224が水平駆動部222や垂直駆動部223に指示を出力することで実現されている。また、これら電波計測(スキャン)は、移動ロボット20が移動していないときに行う必要があるため、移動ロボット20が停止したときに、LAN接続されている処理装置(A)25から送信される計測開始指示の受信によって電波計測(スキャン)を開始し、電波計測(スキャン)が終了したときに処理装置(A)25に計測終了通知を送信する。
The horizontal rotation control and vertical angle control in these radio wave measurements (scans) are realized by the
次に、移動ロボット20を構成する無人搬送車(AGV)23について説明する。無人搬送車(AGV)23は、複数の駆動車輪を有していることで、前後左右に移動並びに方向を変更可能なものであれば、公知のものを好適に使用することができる。尚、無人搬送車(AGV)23は、モータや減速機等の駆動機構ととともに、これら駆動機構を動作させるためのバッテリー等の電源を有している。
Next, the automated guided vehicle (AGV) 23 constituting the
また、無人搬送車(AGV)23は、所定のインターフェイス(I/F)であるUSBにて、処理装置(A)25に接続されており、該処理装置(A)25からの指示に応じて移動する。 The automated guided vehicle (AGV) 23 is connected to the processing device (A) 25 via a USB, which is a specified interface (I/F), and moves according to instructions from the processing device (A) 25.
尚、本実施例では、搭載するものの大きさや重量を考慮して無人搬送車(AGV)23を使用した形態を例示しているが、本発明はこれに限定されるものではなく、部屋R内を移動可能なものであれば、例えば、自動掃除ロボット等のものであってもよい。 In this embodiment, an example is shown in which an automated guided vehicle (AGV) 23 is used, taking into consideration the size and weight of the load to be carried, but the present invention is not limited to this, and any object capable of moving within the room R, such as an automatic cleaning robot, may be used.
次に、移動ロボット20に搭載されているLiDAR24について説明する。LiDAR24としては、SLAMに使用可能な公知のレーザースキャナを好適に使用することができるが、該LiDAR24が大きいと移動ロボット20の大きさも大きくなってしまい、移動ロボット20が侵入できない領域が拡大してしまうことから、小型であって電力消費の少ないものが好ましい。
Next, the
LiDAR24は、図3に示すように、処理装置(A)25にLAN接続されており、レーザーでスキャンした各方向にある対象物までの距離データ等の情報を処理装置(A)25に出力する。これらの情報(スキャンデータ)は、処理装置(A)25において3D地図の作成に利用される。
As shown in FIG. 3, the
移動ロボット20に搭載されているRGB-D3カメラ21は、上記したように、RGB-D1カメラ15やRGB-D2カメラ16と同じく、RGBカメラと深度カメラとが組み合わされたものとされており、これら深度カメラとしては、赤外線ToFカメラを使用していて、RGBカメラと深度カメラとが、図3に示すように、LANケーブル及び
スイッチングHUB3を介して処理装置(A)に接続されている。
As described above, the RGB-
また、移動ロボット20に搭載されている処理装置(A)25は、処理装置(B)30や処理装置(C)40と同様に、ハードウエアとしては、比較的処理能力に優れているとともに振動等によって故障等が発生し難い高信頼度のものであって、LANの通信I/FやUSB-I/F等を有する公知のパーソナルコンピュータ(PC)を好適に使用することができ、これらパーソナルコンピュータ(PC)に、当該処理装置(A)25に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置(A)25としては、後述する処理装置(A)25の各機能を提供できるものであれば、どのようなコンピュータであってもよい。
The processing device (A) 25 mounted on the
処理装置(A)25には、図3に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。 The processing device (A) 25 stores module programs for providing various functions as shown in FIG. 3, as well as various data used by these module programs.
処理装置(A)25のオペレーションシステム(OS)にて動作可能なモジュールプログラムとしては、無人搬送車(AGV)23の移動を制御するナビゲーション機能を有するAGV誘導制御モジュールプログラムと、端末データベース(以下、端末DBと略記)に記憶されているデータを検索するためのDB検索エンジンモジュールプログラムと、RGB-D3カメラ21から送信されてくる画像データや深度データを、行列式等からなる映像処理データを用いた計算により補正等を行うための映像処理モジュールプログラムと、学習データを与えることによって撮像画像から端末の特定や端末の種類特定を行うことが可能とされた深層学習(Deep Neural Network;DNN)モジュールプログラムと、SLAM用プログラムとが記憶されている。尚、SLAM用プログラムには、3D地図を生成するための地図生成モジュールプログラム、移動ロボット20の位置を推定するための自己位置推定モジュールプログラム、並びに深層学習モジュールプログラムからのデータや映像処理モジュールプログラムからの映像データとから無線LAN端末の位置検出を行う端末位置検出モジュールプログラムが含まれている。
The module programs that can be operated by the operation system (OS) of the processing device (A) 25 include an AGV guidance control module program having a navigation function for controlling the movement of the automatic guided vehicle (AGV) 23, a DB search engine module program for searching data stored in a terminal database (hereinafter abbreviated as terminal DB), an image processing module program for performing corrections, etc., on image data and depth data transmitted from the RGB-
また、これらのモジュールプログラムが使用するデータとしては、運用前の初期化時において地図生成モジュールプログラムによって生成される部屋Rの3D地図データや、映像処理モジュールプログラムが使用する行列式等を含む映像処理データや、図11に示す端末DBが記憶されている。 The data used by these module programs includes 3D map data of room R generated by the map generation module program during initialization before operation, image processing data including determinants used by the image processing module program, and the terminal DB shown in Figure 11.
ここで、本実施例の端末DBについて、図11を用いて簡単に説明する。本実施例の端末DBでは、図11に示すように、部屋R内に存在する無線LAN端末に対して固有に付与された端末IDに対応付けて、画像による検出時刻、端末位置(3次元)、端末種類、電波センサによる計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離、の各データが対応付けて記憶されている。 Here, the terminal DB of this embodiment will be briefly described with reference to FIG. 11. In the terminal DB of this embodiment, as shown in FIG. 11, the following data is stored in association with a terminal ID uniquely assigned to a wireless LAN terminal present in room R: detection time in an image, terminal position (three-dimensional), terminal type, measurement time by a radio wave sensor, measurement frequency, radio wave strength, number of simultaneous detections, and distance from the direction of arrival.
尚、前述したように、電波センサ22による計測周期と、画像による端末位置の検出周期とは不一致であって、電波センサ22による計測周期が画像による端末位置の検出周期よりも長いことから、図11に示すように、画像による端末位置の検出によるデータには、計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータが格納されていない一方、電波センサ22による計測によるデータには、計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータが格納されているが、その他のデータである画像による検出時刻、端末位置(3次元)、端末種類のデータは格納されていない。
As described above, the measurement period by the
尚、図11に示す例では、端末種類として、デスクトップPC、ラップトップPC、モバイルフォンの3種類とした形態を例示しているが、本発明はこれに限定されるものではなく、これらの種別は、DNNモジュールプログラムの学習内容等に応じて適宜に設定すればよい。 In the example shown in FIG. 11, three types of terminals are shown as examples: a desktop PC, a laptop PC, and a mobile phone. However, the present invention is not limited to these types, and these types may be set appropriately depending on the learning content of the DNN module program, etc.
また、計測周波数については、無線LANのチャンネル番号等を用いるようにしてもよい。尚、本実施例では、前述したように、3次元のビームフォーミングを使用した無線LAN通信を行うため、異なる無線LAN端末において同一のチャンネル(周波数)が使用される場合がある。 The measurement frequency may be determined using a wireless LAN channel number or the like. As described above, in this embodiment, wireless LAN communication is performed using three-dimensional beamforming, so the same channel (frequency) may be used by different wireless LAN terminals.
尚、処理装置(A)25は、図1、図3に示すように、無線LANに使用される2.4GHz帯や5GHz帯の電波とは周波数の異なる周波数であって、これら無線LANに使用される周波数よりも低周波数であることによって、障害物に対する回り込み性が高い920MHz帯を使用した特定小電力データ通信モデムを介して処理装置(B)30並びに処理装置(C)40とデータ通信可能に接続されている。 As shown in Figs. 1 and 3, the processing device (A) 25 is connected to the processing device (B) 30 and the processing device (C) 40 for data communication via a specific low-power data communication modem that uses the 920 MHz band, which has a different frequency from the 2.4 GHz and 5 GHz bands used for wireless LANs and has a lower frequency than the frequencies used for these wireless LANs, making it more effective at getting around obstacles.
このように、処理装置(B)30並びに処理装置(C)40とのデータ通信として、920MHz帯の無線通信を使用する理由としては、処理装置(B)30並びに処理装置(C)40と通信ケーブルにて有線で接続してしまうと移動ロボット20の移動によって通信ケーブルが絡まる等により移動ロボット20の移動に障害が生じてしまう畏れがあるとともに、通信ケーブルが人の移動の邪魔となるとともに足を引っかけることによる転倒の危険性があるため無線のデータ通信であることが好ましいとともに、移動ロボット20には、無線LANに使用される電波を高感度で検出する電波センサ22が搭載されているので、これら無線LANに使用される電波に近い周波数の電波を使用すると、電波センサ22の性能が低下してしまうことから、電波センサ22が検出する無線LANに使用される電波とは異なる周波数の電波であって、障害物に対する回り込み性が高い920MHz帯の周波数を使用したデータ通信(50Kbps)を行う。
The reason for using wireless communication in the 920 MHz band for data communication with the processing device (B) 30 and the processing device (C) 40 is that if the processing device (B) 30 and the processing device (C) 40 were connected by wired communication cables, there is a risk that the communication cables would become tangled as the
尚、本実施例では、処理装置(A)25と処理装置(B)30並びに処理装置(C)40との間のデータ通信手段として、920MHz帯を使用した特定小電力データ通信モデムを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これらのデータ通信手段としては、上記したように、移動ロボット20の移動の障害等とならないこと、移動ロボット20に搭載される電波センサ22の電波検出に悪影響を与えないこと、並びに必要なデータ通信速度が得られること、障害物に対する回り込み性が高いこと等の条件を満たすものであることが好ましく、このような条件を満たすものであれば、上記した920MHz帯以外の周波数を使用した無線データ通信であってもよい。また、無線通信としては、電波に限らず、可視光や赤外線等の光を使用した光データ通信を使用してもよい。尚、赤外線通信を使用する場合には、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が有する深度カメラとして使用されている赤外線ToFカメラの計測に悪影響を及ぼす可能性があるので、赤外線ToFカメラに悪影響が生じない種類の赤外線を使用することが好ましい。また、赤外線通信側ではなく、RGB-D1カメラ15、RGB-D2カメラ16、RGB-D3カメラ21が有する深度カメラとして、赤外線を使用しない深度カメラを使用するようにしてもよい。
In this embodiment, a specific low-power data communication modem using the 920 MHz band is used as a data communication means between the processing device (A) 25 and the processing device (B) 30 and the processing device (C) 40, but the present invention is not limited to this. As described above, it is preferable that these data communication means do not impede the movement of the
また、処理装置(A)25と処理装置(B)30並びに処理装置(C)40との間のデータ通信手段は、常に同一のものではなく、運用前と運用後とで異なる通信手段を使用するようにしてもよい。つまり、後述するように、運用前においては、処理装置(A)25で生成されるデータ容量が大きな3D地図のデータが、処理装置(B)30並びに処理装置(C)40に送信されるので、このような通信データ量が大きい運用前においては有線LANにて処理装置(B)30並びに処理装置(C)40とデータ通信接続しておき、実際の運用時においては、上記した920MHz帯の無線や光通信等によるデータ通信とするようにしてもよい。 In addition, the data communication means between the processing device (A) 25 and the processing device (B) 30 and the processing device (C) 40 are not always the same, and different communication means may be used before and after operation. In other words, as described below, before operation, 3D map data with a large data volume generated by the processing device (A) 25 is transmitted to the processing device (B) 30 and the processing device (C) 40, so before operation when the communication data volume is large, data communication connection with the processing device (B) 30 and the processing device (C) 40 may be made via a wired LAN, and during actual operation, data communication may be made via the above-mentioned 920 MHz band wireless or optical communication.
上記のように、本発明の電波伝搬制御システムは、特定空間である部屋R内にある無線LAN端末の3次元位置を、電波と画像とから特定して出力するシステムであって、RGB-D1カメラ15、RGB-D2カメラ16、処理装置(B)30、移動ロボット20から構成される電波源端末位置検出システムと、該電波源端末位置検出システムから出力された無線LAN端末の部屋R内の3次元位置にもとづいて、部屋R内に設けられている各アクセスポイント端末(AP)15,16やIRS13を制御して部屋Rにおける電波の伝搬をアクティブ制御する電波伝搬制御手段となる処理装置(C)40とから構成されている。
As described above, the radio wave propagation control system of the present invention is a system that identifies and outputs the three-dimensional position of a wireless LAN terminal in a specific space, room R, from radio waves and images. It is composed of a radio wave source terminal position detection system consisting of an RGB-
次に、本実施例の電波伝搬制御システムの処理動作について図8~図13を用いて説明する。電波伝搬制御システムの処理動作としては、主に、運用前の初期化時において行う処理動作と、運用後において行う処理動作とに大別される。 Next, the processing operations of the radio wave propagation control system of this embodiment will be described with reference to Figures 8 to 13. The processing operations of the radio wave propagation control system are broadly divided into processing operations performed during initialization before operation and processing operations performed after operation.
運用前の初期化時において行う処理動作としては、具体的には、図8に示す処理装置(A)25が行う処理動作である、3D地図を生成して記憶するとともに該生成した3D地図を処理装置(B)30及び処理装置(C)40に送信する処理動作と、図9に示す処理装置(B)30が行う処理動作である、RGB-D1カメラ15並びにRGB-D2カメラ16のカメラ位置と姿勢とを推定して推定したカメラ位置と姿勢とをデータとして記憶する処理動作とがある。
Specific processing operations performed during initialization before operation include a processing operation performed by the processing device (A) 25 shown in FIG. 8, which generates and stores a 3D map and transmits the generated 3D map to the processing device (B) 30 and the processing device (C) 40, and a processing operation performed by the processing device (B) 30 shown in FIG. 9, which estimates the camera positions and orientations of the RGB-
処理装置(A)25が行う図8の処理動作について説明すると、処理装置(A)25には、前述したように、移動ロボット20に搭載されているRGB-D3カメラ21が接続されており、該RGB-D3カメラ21が有するRGBカメラによって撮像された画像データ並びに深度カメラによる深度データがRGB-D3カメラ21から出力(送信)され、これら画像データ並びに深度データが、処理装置(A)25に記憶されている映像処理モジュールプログラムにて、映像処理データを用いて処理される。これら映像処理モジュールプログラムによる映像処理の処理内容としては、カメラレンズの歪み補正等の非線形の画像変換処理や画像データと深度データにおける位置補正や統合処理等が含まれ、これら映像処理された処理済みデータが、SLAM用プログラムに含まれる地図生成モジュールプログラムに対して出力される。尚、処理済みデータには、例えば、図10に示すように、撮影時刻、補正済みRGB画像+対応付け積み深度画像、または3次元点群データが含まれる。
The processing operation of FIG. 8 performed by the processing device (A) 25 will be explained. As described above, the RGB-
また、SLAM用プログラムに含まれる地図生成モジュールプログラムには、処理装置(A)25に接続されている無人搬送車(AGV)23から出力(送信)される移動データやLiDAR24から出力(送信)されるスキャンデータも、移動ロボット20の移動に応じて逐次入力される。
In addition, the map generation module program included in the SLAM program sequentially receives movement data output (transmitted) from an automated guided vehicle (AGV) 23 connected to the processing device (A) 25 and scan data output (transmitted) from the
そして、地図生成モジュールプログラムは、これら入力された各種のデータを使用して部屋Rの3D地図を生成する。尚、3D地図の生成に際しては、AGV誘導制御モジュールプログラムが、無人搬送車(AGV)23に指示を出力することで移動方向や移動距離を制御して部屋Rの障害物を回避しつつ部屋R内部を順次移動することによって、部屋Rの3D地図が順次作成されていく。そして、3D地図が完成して記憶された場合にAGV誘導制御モジュールプログラムは、移動ロボット20の移動を終了する。
The map generation module program then uses these various input data to generate a 3D map of room R. When generating the 3D map, the AGV guidance control module program outputs instructions to the automated guided vehicle (AGV) 23 to control the direction and distance of movement, thereby moving sequentially inside room R while avoiding obstacles in room R, thereby sequentially creating a 3D map of room R. Then, when the 3D map is completed and stored, the AGV guidance control module program ends the movement of the
そして、該完成されて記憶された3D地図のデータは、処理装置(B)30並びに処理装置(C)40に送信されて、各処理装置において記憶されて、処理装置(B)30におけるカメラ位置・姿勢推定の処理や処理装置(C)40における伝搬経路計算等に使用される。 The completed and stored 3D map data is then transmitted to processing device (B) 30 and processing device (C) 40, where it is stored in each processing device and used for the processing of camera position and attitude estimation in processing device (B) 30 and for propagation path calculation in processing device (C) 40, etc.
尚、本実施例では、3D地図のデータは、運用前においてのみ生成し、運用中は更新しない形態を例示しているが、本発明はこれに限定されるものではなく、運用中においても予め設定した期間毎等の適宜なタイミングで、3D地図のデータの一部または全部を更新するようにしてもよい。 In this embodiment, the 3D map data is generated only before operation and is not updated during operation, but the present invention is not limited to this. Even during operation, some or all of the 3D map data may be updated at appropriate times, such as at preset intervals.
次に、処理装置(B)30が行う図9の処理動作について説明する。尚、処理装置(B)30には、前述した処理装置(A)25から送信された3D地図データが既に記憶されているものとする。よって、図9の処理動作は、図8の処理動作が完了した後において実行される処理動作である。 Next, the processing operation of FIG. 9 performed by the processing device (B) 30 will be described. It is assumed that the 3D map data transmitted from the processing device (A) 25 described above has already been stored in the processing device (B) 30. Therefore, the processing operation of FIG. 9 is a processing operation that is executed after the processing operation of FIG. 8 is completed.
処理装置(B)30には、前述したように、RGB-D1カメラ15とRGB-D2カメラ16とが有線LAN接続されており、これら個々のカメラの各々について個別に動作処理が実行される。尚、RGB-D1カメラ15に関する動作処理は、RGB-D2カメラ16の処理動作と同一であるので、RGB-D1カメラ15に関する動作処理に関してのみ説明し、RGB-D2カメラ16の処理動作については省略する。尚、図9において括弧内の符号は、RGB-D2カメラ16も同様であることを示すものである。
As mentioned above, the RGB-
RGB-D1カメラ15が有するRGBカメラによって撮像された画像データ並びに深度カメラによる深度データは、HUB1を介して処理装置(B)30に送信される。そして、これら画像データ並びに深度データは、処理装置(B)30に記憶されている映像処理モジュールプログラムにて、映像処理データを用いて処理される。これら映像処理モジュールプログラムによる映像処理の処理内容としては、前述したRGB-D3カメラ21の場合と同じであるので、ここでの説明は省略する。該映像処理モジュールプログラムにて処理されたデータが、RGB-D1の位置・姿勢推定モジュールプログラムに対して出力される。
Image data captured by the RGB camera of the RGB-
RGB-D1の位置・姿勢推定モジュールプログラムは、記憶されている3D地図と映像処理モジュールプログラムから出力される処理済みデータとを使用して、RGB-D1カメラ15の3次元位置とRGB-D1カメラ15の向き(方向)等の姿勢を推定し、該推定した3次元位置のデータと姿勢のデータとを記憶する。これら推定した3次元位置のデータと姿勢のデータは、図10に示すように、運用中における無線LAN端末の位置検出に使用される。
The RGB-D1 position/attitude estimation module program uses the stored 3D map and processed data output from the image processing module program to estimate the three-dimensional position of the RGB-
次に、図10を用いて、システムの運用中において、画像による端末位置検出によって図11に示す端末DBが更新される流れについて説明する。尚、システムの運用中における端末DBの更新については、図12に示すように、電波センサ22からのデータ入力によって更新される場合もある。
Next, using FIG. 10, the flow of updating the terminal DB shown in FIG. 11 by detecting the terminal position by an image while the system is in operation will be described. Note that the terminal DB may also be updated by data input from the
撮像された画像等を使用した無線LAN端末の検出によって端末DBが更新される場合としては、図10に示すように、大きく分けて、処理装置(A)25による無線LAN端末の検出によって端末DBが更新される場合と、処理装置(B)30による無線LAN端末の検出によって端末DBが更新される場合と、の2つの場合がある。 As shown in FIG. 10, there are two main cases in which the terminal DB is updated by detecting a wireless LAN terminal using a captured image, etc.: the terminal DB is updated by detecting a wireless LAN terminal by the processing device (A) 25, and the terminal DB is updated by detecting a wireless LAN terminal by the processing device (B) 30.
まず、処理装置(A)25による無線LAN端末の検出によって端末DBが更新される場合の流れについて説明すると、まず、処理装置(A)25においては、図9において説明した場合と同様に、RGB-D3カメラ21から出力(送信)される画像データ並びに深度データが、映像処理モジュールプログラムにより映像処理データを用いて処理され、該処理された処理済みデータが自己位置推定モジュールプログラム並びにDNNモジュールプログラムに対して出力される。尚、これら処理済みデータとしては、図10に示すように、例えば、撮影時刻、補正済みRGB画像+対応付け積み深度画像、または3次元点群データが含まれる。
First, the flow when the terminal DB is updated by the detection of a wireless LAN terminal by the processing device (A) 25 will be explained. First, in the processing device (A) 25, as in the case described in FIG. 9, the image data and depth data output (transmitted) from the RGB-
これらの処理済みデータが出力される自己位置推定モジュールプログラムは、該処理済みデータに加えて、運用前において生成、記憶されている3D地図のデータ、無人搬送車(AGV)23から出力(送信)される移動データ、並びにLiDAR24から出力(送信)されるスキャンデータを使用して、移動ロボット20の部屋R内の位置(自己位置座標、姿勢)を推定する。
The self-position estimation module program that outputs these processed data uses the processed data, as well as 3D map data generated and stored before operation, movement data output (transmitted) from the automated guided vehicle (AGV) 23, and scan data output (transmitted) from the
そして、推定した自己位置座標、姿勢、推定時刻のデータは、端末位置検出モジュールプログラムを構成する端末装置検出モジュールプログラムに対して出力される。 The estimated self-location coordinates, attitude, and estimated time data are then output to the terminal device detection module program, which constitutes the terminal position detection module program.
一方、DNNモジュールプログラムは、入力された上記の処理済みデータから各種の無線LAN端末を抽出するとともに該端末の種別を特定し、抽出した無線LAN端末の相対位置を端末装置検出モジュールプログラムに対して出力する。尚、DNNモジュールプログラムは、特定した端末種類のデータと、検出時刻のデータを、後述する端末位置(3次元)のデータとともに端末DBに出力する。 Meanwhile, the DNN module program extracts various wireless LAN terminals from the above-mentioned processed data input, identifies the type of the terminal, and outputs the relative position of the extracted wireless LAN terminal to the terminal device detection module program. The DNN module program outputs data on the identified terminal type and data on the detection time to the terminal DB along with data on the terminal position (three-dimensional) described below.
ここで、本実施例のDNNモジュールプログラムについて説明すると、DNNモジュールプログラムとしては、例えば、技術論文であるZhao Qijie et al., "M2det: A single-shot object detector based on multi-level feature pyramid network", Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019において示されているような物体検出モデルであるM2Det等の画像から特定の形状の物体を抽出する機能を有する公知の深層学習モデルのモジュールプログラムを好適に使用することができる。 Here, the DNN module program of this embodiment will be described. As the DNN module program, for example, a module program of a known deep learning model having a function of extracting objects of a specific shape from an image, such as M2Det, an object detection model as shown in the technical paper Zhao Qijie et al., "M2det: A single-shot object detector based on multi-level feature pyramid network", Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, can be suitably used.
そして、これら公知の深層学習モデルに対して、種類を特定可能とする各無線LAN端末の各々について、利用状態に応じた様々なシーンについて多方向から、実際に運用において使用するRGB-Dカメラによって撮像して、これらRGB-Dカメラにて撮像された画像並びに深度データ(映像処理済み)と画像および深度データ上の特定したい無線LAN端末の位置と種類とを ラベリングしたデータを学習データとして与えることによって機械学習を行う。 Then, for each wireless LAN terminal whose type can be identified, machine learning is performed by providing these publicly known deep learning models with images of various scenes from multiple directions according to the usage status using RGB-D cameras actually used in operation, and the images and depth data (after image processing) captured by these RGB-D cameras, as well as data in which the position and type of the wireless LAN terminal to be identified on the images and depth data are labeled as learning data.
このように機械学習を行うことによって、RGB-Dカメラによって撮像した画像並びに深度データ(映像処理済み)を機械学習済みのDNNモジュールプログラムに対して入力することで、該入力された画像および深度データ(映像処理済み)に含まれる無線LAN端末の画像上の位置と種類とが推定されて出力される。 By performing machine learning in this way, the image captured by the RGB-D camera and the depth data (image processed) are input to the machine-learned DNN module program, and the position and type of the wireless LAN terminal in the image contained in the input image and depth data (image processed) are estimated and output.
尚、本実施例では、上記のように画像並びに深度データを使用するDNNモジュールプログラムを例示しているが、本発明はこれに限定されるものではなく、これらDNNモジュールプログラムは、上記した画像並びに深度データではなく、これら画像並びに深度データから作成された三次元点群データを使用するDNNモジュールプログラムとしてもよい。 In this embodiment, a DNN module program that uses image and depth data as described above is exemplified, but the present invention is not limited to this, and these DNN module programs may be DNN module programs that use three-dimensional point cloud data created from the image and depth data, rather than the image and depth data described above.
また、端末装置検出モジュールプログラムに対しては、端末位置検出モジュールプログラムを構成する検出領域設定モジュールプログラムによって、RGB-D3カメラ21の座標系について端末の検出領域を設定された映像処理モジュールプログラムからの処理済みデータも入力される。
In addition, the terminal device detection module program also receives processed data from the image processing module program, in which the detection area of the terminal is set in the coordinate system of the RGB-
そして、端末装置検出モジュールプログラムは、上記のようにして入力された自己位置座標並びに姿勢、検出領域設定された処理済みデータ、無線LAN端末の相対位置のデータにもとづいて、例えば、RGB-D3の原点座標から3D地図の座標に座標変換すること等により、端末位置(3次元)を出力する。尚、本実施例では、端末検出領域のデータを端末DBに記憶していないので、端末検出領域のデータを出力しない構成としているが、本発明はこれに限定されるものではなく、端末装置検出モジュールプログラムが端末検出領域のデータを出力して端末DBに記憶(格納)するようにしてもよい。 Then, the terminal device detection module program outputs the terminal position (three-dimensional) by, for example, converting the RGB-D3 origin coordinates into 3D map coordinates based on the self-position coordinates and attitude input as described above, the processed data with the detection area set, and the data on the relative position of the wireless LAN terminal. Note that in this embodiment, the data on the terminal detection area is not stored in the terminal DB, so the configuration is such that the data on the terminal detection area is not output, but the present invention is not limited to this, and the terminal device detection module program may output the data on the terminal detection area and store (store) it in the terminal DB.
そして、上記のようにして端末装置検出モジュールプログラム並びにDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データが端末IDに対応付けて記憶される。尚、端末IDとの対応付けについては、図12を用いて後述する。 Then, the terminal position (three-dimensional), terminal type, and detection time data output from the terminal device detection module program and the DNN module program as described above are stored in association with the terminal ID. The association with the terminal ID will be described later with reference to FIG. 12.
次に、処理装置(B)30による無線LAN端末の検出によって端末DBが更新される場合の流れについて説明する。図10に示すように、基本の流れと処理動作については、処理装置(A)25と同様であるが、異なる点は、処理装置(A)25は、移動ロボット20として移動するRGB-D3カメラ21の画像を使用することから、逐次、自己位置推定を実行する必要があるのに対し、処理装置(B)30では、RGB-D1カメラ15やRGB-D2カメラ16は、固定されていて、位置や姿勢が変化することがないため、運用前において推定して記憶しておいた、RGB-D1カメラ15の位置、姿勢のデータと、RGB-D2カメラ16の位置、姿勢のデータとを、自己位置座標、姿勢のデータに代えて端末装置検出モジュールプログラムに対して入力するようにしている点だけであるので、処理装置(A)25と同様である処理動作についての説明は省略するが、処理装置(B)30の端末装置検出モジュールプログラム並びにDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データが、端末IDに対応付けて記憶される。
Next, we will explain the flow when the terminal DB is updated upon detection of a wireless LAN terminal by the processing device (B) 30. As shown in FIG. 10, the basic flow and processing operations are the same as those of the processing device (A) 25, but the difference is that the processing device (A) 25 uses images from the RGB-
ここで、処理装置(A)25において、これら端末DBが更新される具体的な処理内容、特には、端末DBに記憶(格納)される更新データが、どの端末IDの更新データとして記憶(格納)されるのかについて、図12に示す端末DB更新処理の処理フロー図を用いて説明する。 Here, the specific processing contents for updating these terminal DBs in the processing device (A) 25, in particular the update data stored in the terminal DB as update data for which terminal ID, will be explained using the processing flow diagram of the terminal DB update processing shown in FIG. 12.
処理装置(A)25において実行される端末DB更新処理では、まず、電波センサ22からのデータ入力の有無が判定される(ステップS1)。電波センサ22からのデータ入力が無い場合(ステップS1でNo)には、端末DBの更新データの入力、つまり、処理装置(A)25や処理装置(B)30の端末装置検出モジュールプログラムやDNNモジュールプログラムから出力された端末位置(3次元)、端末種類、検出時刻の各データの入力(受信)があるか否かを判定する(ステップS2)。 In the terminal DB update process executed by the processing device (A) 25, first, it is determined whether or not there is data input from the radio wave sensor 22 (step S1). If there is no data input from the radio wave sensor 22 (No in step S1), it is determined whether or not there is input of update data for the terminal DB, that is, whether or not there is input (reception) of each data of the terminal position (three-dimensional), terminal type, and detection time output from the terminal device detection module program and DNN module program of the processing device (A) 25 or processing device (B) 30 (step S2).
端末DBの更新データの入力が無い場合(ステップS2でNo)には、ステップS1に戻る一方、端末DBの更新データの入力が有る場合(ステップS2でYes)には、DB検索エンジンを利用して、最新の無線LAN端末の端末位置が更新データの端末位置と最も近い無線LAN端末の端末IDを特定する(ステップS3)。 If no update data has been input to the terminal DB (No in step S2), the process returns to step S1. On the other hand, if update data has been input to the terminal DB (Yes in step S2), the DB search engine is used to identify the terminal ID of the wireless LAN terminal whose latest terminal location is closest to the terminal location in the update data (step S3).
そして、特定した無線LAN端末の端末IDの最新の端末位置と更新データの端末位置とを比較し(ステップS4)、その後、端末位置の違い(変化)が予め設定された閾値以下であるか否かを判定する(ステップS5)。尚、これら閾値は、無線LAN端末に応じて異なる値が設定されており、デスクトップPCでは最も少ない値が設定され、ラップトップPCではデスクトップPCよりも大きい値が設定され、モバイルフォンでは、最も大きな値が設定されている。尚、これら閾値は、端末DBの更新周期等に応じて適宜な値を設定すればよい。 Then, the latest terminal location of the terminal ID of the identified wireless LAN terminal is compared with the terminal location in the update data (step S4), and then it is determined whether the difference (change) in the terminal location is equal to or less than a preset threshold (step S5). Note that these thresholds are set to different values depending on the wireless LAN terminal, with the lowest value being set for a desktop PC, a larger value being set for a laptop PC than for a desktop PC, and the highest value being set for a mobile phone. Note that these thresholds may be set to appropriate values depending on the update period of the terminal DB, etc.
端末位置の違い(変化)が閾値以下である場合(ステップS5でYes)の場合には、ステップS3にて特定した無線LAN端末の端末IDの最新データとして、該端末IDに対応付けて更新データを記憶(格納)した後(ステップS6)、ステップS8に進む。 If the difference (change) in the terminal position is equal to or less than the threshold (Yes in step S5), the update data is stored (stored) in association with the terminal ID of the wireless LAN terminal identified in step S3 as the latest data for the terminal ID (step S6), and then the process proceeds to step S8.
一方、端末位置の違い(変化)が閾値以下ではない場合(ステップS5でNo)には、新規に検出された無線LAN端末であると認定して端末DBに未記憶の端末IDから当該無線LAN端末に割り当てる端末IDを特定し、該端末IDを端末DBに記憶(格納)するとともに該端末IDの最新データとして更新データを端末DBに記憶(格納)する(ステップS7)。 On the other hand, if the difference (change) in the terminal position is not below the threshold (No in step S5), it is recognized as a newly detected wireless LAN terminal, and a terminal ID to be assigned to the wireless LAN terminal is identified from terminal IDs not yet stored in the terminal DB, and the terminal ID is stored in the terminal DB, and update data is stored in the terminal DB as the latest data for the terminal ID (step S7).
その後、ステップS8に進んで、端末IDと更新データとを含む端末情報を処理装置(C)40へ送信した後、ステップS1に戻る。このように、ステップS8において端末IDと更新データとを含む端末情報が処理装置(C)40に送信されて当該端末IDと更新データとが処理装置(C)40に記憶されている端末DBに更新記憶されることで、処理装置(C)40の端末DBと処理装置(A)25の端末DBとに同一のデータが記憶されるようになっている。 Then, proceed to step S8, and transmit terminal information including the terminal ID and update data to the processing device (C) 40, and then return to step S1. In this way, in step S8, the terminal information including the terminal ID and update data is transmitted to the processing device (C) 40, and the terminal ID and update data are updated and stored in the terminal DB stored in the processing device (C) 40, so that the same data is stored in the terminal DB of the processing device (C) 40 and the terminal DB of the processing device (A) 25.
一方、ステップS1でYes、つまり、電波センサ22からのデータ入力が有る場合には、DB検索エンジンを用いて端末DBを検索し(ステップS10)、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在するか否かを判定する(ステップS11)。
On the other hand, if the answer is Yes in step S1, that is, if data has been input from the
そして、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在しない場合(ステップS11でNo)は、ステップS1に戻る一方、電波センサ22からの入力データに含まれる電波到来方向に該当する無線LAN端末が存在する場合(ステップS11でYes)は、該当した無線LAN端末の端末IDの最新データとして電波センサからのデータである計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離を記憶(格納)する(ステップS12)。 If there is no wireless LAN terminal that corresponds to the radio wave arrival direction included in the input data from the radio wave sensor 22 (No in step S11), the process returns to step S1. On the other hand, if there is a wireless LAN terminal that corresponds to the radio wave arrival direction included in the input data from the radio wave sensor 22 (Yes in step S11), the measurement time, measurement frequency, radio wave intensity, number of simultaneous detections, and distance from the arrival direction, which are data from the radio wave sensor, are memorized (stored) as the latest data for the terminal ID of the corresponding wireless LAN terminal (step S12).
そして、該当した無線LAN端末の端末IDと端末DBに記憶した計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータとを端末情報として処理装置(C)40へ送信した後(ステップS13)、ステップS1に戻る。このように、ステップS13において端末IDと計測時刻、計測周波数、電波強度、同時検出数、到来方向からの距離のデータとが端末情報として処理装置(C)40に送信されて当該端末IDと各データとが処理装置(C)40に記憶されている端末DBに更新記憶されることで、処理装置(C)40の端末DBと処理装置(A)25の端末DBとに同一のデータが記憶されるようになっている。 Then, the terminal ID of the corresponding wireless LAN terminal and the data of the measurement time, measurement frequency, radio wave strength, number of simultaneous detections, and distance from the direction of arrival stored in the terminal DB are transmitted as terminal information to the processing device (C) 40 (step S13), and the process returns to step S1. In this way, in step S13, the terminal ID and the data of the measurement time, measurement frequency, radio wave strength, number of simultaneous detections, and distance from the direction of arrival are transmitted as terminal information to the processing device (C) 40, and the terminal ID and each data are updated and stored in the terminal DB stored in the processing device (C) 40, so that the same data is stored in the terminal DB of the processing device (C) 40 and the terminal DB of the processing device (A) 25.
次に、処理装置(C)40において運用中において伝搬経路をアクティブ制御するために実行される伝搬経路制御処理、特には、電波源端末位置検出システムにおいて使用される無線LAN端末の端末識別情報である装置IDと、電波伝搬制御システムを構成する各アクセスポイント端末(AP)15,16にて使用される端末特定情報であるMACアドレスとが対応付けされる流れについて、図13を用いて説明する。 Next, the propagation path control process executed by the processing device (C) 40 to actively control the propagation path during operation, in particular the process of associating the device ID, which is the terminal identification information of the wireless LAN terminal used in the radio wave source terminal position detection system, with the MAC address, which is the terminal identification information used in each access point terminal (AP) 15, 16 that constitutes the radio wave propagation control system, will be described with reference to FIG. 13.
伝搬経路制御処理においては、まず、通信状況DBの更新処理を行う(ステップS101)。この更新処理では、各アクセスポイント端末(AP)11、12からのセッション情報の受信があったか否かを判定し、セッション情報の受信があった場合には、各アクセスポイント端末(AP)11、12が通信している部屋R内の無線LAN端末のローカルIPアドレス、MACアドレス、送受信に使用される各電波周波数(チェンネル)、通信レベル等の情報を通信状況DBに更新記憶する。 In the propagation path control process, first, a communication status DB update process is performed (step S101). In this update process, it is determined whether or not session information has been received from each access point terminal (AP) 11, 12, and if session information has been received, information such as the local IP address, MAC address, each radio frequency (channel) used for transmission and reception, and communication level of the wireless LAN terminal in room R with which each access point terminal (AP) 11, 12 is communicating is updated and stored in the communication status DB.
次に、処理装置(A)25からの端末情報の受信が有るか否かを判定する(ステップS102)。処理装置(A)25からの端末情報の受信が有る場合(ステップS102でYes)は、受信した端末情報に含まれる端末ID等の各データを端末DBに記憶(格納)する(ステップS103)。 Next, it is determined whether terminal information has been received from the processing device (A) 25 (step S102). If terminal information has been received from the processing device (A) 25 (Yes in step S102), each data included in the received terminal information, such as the terminal ID, is stored in the terminal DB (step S103).
そして、記憶されている端末対応付テーブルデータに、受信した端末情報に含まれる端末IDの登録が有るか否か、つまり、既に、端末IDとMACアドレスとの対応付けが済んでいる無線LAN端末の端末情報であるか否かを判定する(ステップS104)。 Then, it is determined whether the terminal ID included in the received terminal information is registered in the stored terminal correspondence table data, that is, whether the terminal information is of a wireless LAN terminal for which the terminal ID and MAC address have already been associated (step S104).
端末対応付テーブルデータに端末IDの登録が既に有る場合には(ステップS104でYes)、更に、受信した端末情報が端末位置の情報を含むか否か、つまり、前述したステップS8の処理によって送信された端末情報であるか否かを判定する(ステップS105)。 If the terminal ID is already registered in the terminal correspondence table data (Yes in step S104), it is further determined whether the received terminal information includes terminal location information, i.e., whether the terminal information is the terminal information sent by the processing in step S8 described above (step S105).
受信した端末情報が端末位置の情報を含まない場合(ステップS105でNo)には、ステップS101に戻る一方、受信した端末情報が端末位置の情報を含む場合(ステップS105でYes)には、端末対応付テーブルデータに該端末IDに対応して登録されているMACアドレスと通信しているアクセスポイント端末が、アクセスポイント端末(AP)11とアクセスポイント端末(AP)12のいずれであるのかを、通信状況DBのデータを用いて特定する(ステップS106)。 If the received terminal information does not include terminal location information (No in step S105), the process returns to step S101. On the other hand, if the received terminal information includes terminal location information (Yes in step S105), the data in the communication status DB is used to identify whether the access point terminal communicating with the MAC address registered in the terminal correspondence table data in correspondence with the terminal ID is access point terminal (AP) 11 or access point terminal (AP) 12 (step S106).
次に、該特定したアクセスポイント端末と、受信した端末情報に含まれる端末位置(端末DBに記憶した最新の端末位置)との伝搬経路を、伝搬経路計算モジュールプログラムを使用して計算した後(ステップS107)、計算した伝搬経路に対応したアクセスポイント(AP)制御とIRS13のIRS制御の内容を特定する(ステップS108)。具体的には、アクセスポイント(AP)制御内容としては、計算した伝搬経路上に、パーティションPT等の障害物が介在しない場合には、受信した端末情報に含まれる端末位置(3次元)へ向けて電波強度を高めることができる3次元ビームフォーミングを行う制御内容が特定される。また、計算した伝搬経路上に、パーティションPT等の障害物が介在する場合には、IRS13の反射を利用した反射経路を用いる制御内容とともに、IRS13に向けて3次元ビームフォーミングを行う制御内容が特定される。 Next, the propagation path between the identified access point terminal and the terminal position included in the received terminal information (the latest terminal position stored in the terminal DB) is calculated using a propagation path calculation module program (step S107), and the contents of the access point (AP) control and IRS control of IRS13 corresponding to the calculated propagation path are identified (step S108). Specifically, as the access point (AP) control contents, when there is no obstacle such as a partition PT on the calculated propagation path, the control contents for performing three-dimensional beamforming that can increase the radio wave intensity toward the terminal position (three dimensions) included in the received terminal information are identified. Also, when there is an obstacle such as a partition PT on the calculated propagation path, the control contents for performing three-dimensional beamforming toward IRS13 are identified along with the control contents for using a reflection path utilizing the reflection of IRS13.
そして、ステップS108にて特定されたアクセスポイント(AP)制御内容とIRS制御内をAP/IRS制御モジュールプログラムに出力することにより、これら特定された制御内容に対応した制御情報、例えば、3次元ビームフォーミングの電波を放射する水平角度及び垂直角度の情報や、IRS13が電波を反射する水平角度及び垂直角度の情報が、アクセスポイント端末(AP)11またはアクセスポイント端末(AP)12、IRS13に対して出力(送信)され(ステップS109)、その後、ステップS101に戻る。
Then, by outputting the access point (AP) control contents and IRS control contents identified in step S108 to the AP/IRS control module program, control information corresponding to these identified control contents, such as information on the horizontal and vertical angles at which the three-dimensional beamforming radio waves are emitted and information on the horizontal and vertical angles at which the
また、ステップS104においてNo、つまり、端末対応付テーブルデータに端末IDの登録が未だ無い場合には、更に、受信した端末情報が周波数の情報を含むか否か、つまり、前述したステップS13の処理によって送信された端末情報であるか否かを判定する(ステップS111)。 Also, if the answer is No in step S104, that is, if the terminal ID has not yet been registered in the terminal correspondence table data, it is further determined whether or not the received terminal information includes frequency information, that is, whether or not it is the terminal information transmitted by the processing of step S13 described above (step S111).
受信した端末情報が周波数の情報を含まない場合(ステップS111でNo)には、ステップS101に戻る一方、受信した端末情報が周波数の情報を含む場合(ステップS111でYes)には、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末の有無を、通信状況DBを検索して判定する(ステップS113)。 If the received terminal information does not include frequency information (No in step S111), the process returns to step S101. On the other hand, if the received terminal information includes frequency information (Yes in step S111), the communication status DB is searched to determine whether or not there is an access point terminal using the frequency included in the received terminal information (step S113).
そして、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末が無い場合(ステップS113でNo)には、ステップS101に戻る。一方、受信した端末情報に含まれる周波数を使用しているアクセスポイント端末が存在する場合(ステップS113でYes)には、当該アクセスポイント端末が該周波数にて通信している無線LAN端末のMACアドレスを通信状況DBから特定し、該特定したMACアドレスを受信した端末情報に含まれる端末IDに対応付けて端末対応付テーブルデータに記憶し(ステップS114)、その後、ステップS101に戻る。 If there is no access point terminal using the frequency included in the received terminal information (No in step S113), the process returns to step S101. On the other hand, if there is an access point terminal using the frequency included in the received terminal information (Yes in step S113), the process identifies the MAC address of the wireless LAN terminal with which the access point terminal is communicating at that frequency from the communication status DB, associates the identified MAC address with the terminal ID included in the received terminal information, and stores it in the terminal association table data (step S114), and then returns to step S101.
このように、電波源端末位置検出システムにおいて3D地図を用いたSLAMや画像によるDNN抽出等が行われることによって検出された無線LAN端末の部屋R内における正確な3次元位置にもとづいて、処理装置(C)40において、図13に示す伝搬経路制御処理が実行されることによって、例えば、図1に示すように、アクセスポイント端末(AP)11とラップトップパソコン(LaptopPC)2とが通信している場合に、上記したステップS109にて送信される制御情報にもとづいてラップトップパソコン(LaptopPC)2の3次元位置に向けた3次元ビームフォーミングが行われることで、アクセスポイント端末(AP)11とラップトップパソコン(LaptopPC)2との間の伝搬経路上の電波強度を集中して高めるとともに該伝搬経路以外の空間の電波強度を大幅に低減できるようになる。 In this way, the processing device (C) 40 executes the propagation path control process shown in FIG. 13 based on the accurate three-dimensional position of the wireless LAN terminal in room R detected by performing SLAM using a 3D map or DNN extraction using an image in the radio wave source terminal position detection system. For example, as shown in FIG. 1, when an access point terminal (AP) 11 and a laptop computer (Laptop PC) 2 are communicating, three-dimensional beamforming is performed toward the three-dimensional position of the laptop computer (Laptop PC) 2 based on the control information transmitted in the above-mentioned step S109, thereby concentrating and increasing the radio wave strength on the propagation path between the access point terminal (AP) 11 and the laptop computer (Laptop PC) 2, and significantly reducing the radio wave strength in the space other than the propagation path.
同様に、アクセスポイント端末(AP)12とデスクトップパソコン(DesktopPC)1とが通信している場合に、上記したステップS109にて送信される制御情報にもとづいてデスクトップパソコン(DesktopPC)1の3次元位置に向けた3次元ビームフォーミングが行われることで、アクセスポイント端末(AP)12とデスクトップパソコン(DesktopPC)1との間の伝搬経路上の電波強度を集中して高めるとともに該伝搬経路以外の空間の電波強度を大幅に低減できるようになるので、図1に示すように、これら、アクセスポイント端末(AP)11とアクセスポイント端末(AP)12とで同一周波数(チェンネル)の電波を使用することが可能となり、特定空間である部屋Rにおける電波資源を有効に活用できるようになる。 Similarly, when the access point terminal (AP) 12 and the desktop personal computer (Desktop PC) 1 are communicating, three-dimensional beamforming is performed toward the three-dimensional position of the desktop personal computer (Desktop PC) 1 based on the control information transmitted in step S109 described above. This makes it possible to concentrate and increase the radio wave strength on the propagation path between the access point terminal (AP) 12 and the desktop personal computer (Desktop PC) 1 and to significantly reduce the radio wave strength in spaces other than the propagation path. As a result, as shown in FIG. 1, the access point terminal (AP) 11 and the access point terminal (AP) 12 can use radio waves of the same frequency (channel), making it possible to effectively utilize the radio wave resources in the specific space, room R.
また、図1に示す携帯端末3が、携行する人の移動に伴って移動しても、移動後の3次元位置が特定されて、該特定された移動後の3次元位置に向けた適切な3次元ビームフォーミングを行うことが可能となるので、これらの移動によって無線通信の通信速度が低下してしまう等の通信品質の低下を防ぐこともできる。
In addition, even if the
更には、これら携帯端末3が図2に示すように、パーティションPTに囲まれた小空間に移動することによって、アクセスポイント端末(AP)12と携帯端末3との通信が、伝搬経路上にパーティションPTが存在することによって困難となる場合であっても、処理装置(C)40によってアクセスポイント端末(AP)12の3次元ビームフォーミングとIRS13による電波反射角度とが制御されることによって、アクセスポイント端末(AP)12と携帯端末3との無線LAN通信が可能となる。よって、特定空間である部屋Rにおける通信不能空間を低減することができる。
Furthermore, even if the
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 Although the embodiments of the present invention have been described above with reference to the drawings, the specific configuration is not limited to these embodiments, and the present invention also includes modifications and additions that do not deviate from the gist of the present invention.
例えば、上記実施例では、特定空間として屋内空間である部屋Rを例示しているが、本発明はこれに限定されるものではなく、これら特定空間は、屋外の空間であってもよい。また、部屋Rの形状や大きさは、言うまでもなく、上記実施例に限定されるものではなく、部屋の形状が円形や5角形等の形状であっても良いし、複数の階(フロア)に跨がる空間であってもよい。つまり、特定空間は、部屋Rのように、境界が明確に定められた空間ではなく、境界が不明確な空間である場合も有り得る。 For example, in the above embodiment, room R, which is an indoor space, is given as an example of a specific space, but the present invention is not limited to this, and these specific spaces may be outdoor spaces. Needless to say, the shape and size of room R are not limited to those in the above embodiment, and the room may be circular or pentagonal, or may be a space that spans multiple floors. In other words, a specific space may not be a space with clearly defined boundaries like room R, but rather a space with unclear boundaries.
また、上記実施例では、アクセスポイント端末(AP)と2つとした形態を例示しているが、本発明はこれに限定されるものではなく、これらアクセスポイント端末(AP)を単数、或いは、3つ以上としてもよく、これらアクセスポイント端末(AP)の数は、特定空間の広さや利用者の数等に応じて、適宜に選択すればよい。 In addition, in the above embodiment, an example is shown in which there are two access point terminals (AP), but the present invention is not limited to this, and there may be one access point terminal (AP) or three or more access point terminals (AP). The number of access point terminals (AP) may be appropriately selected depending on the size of the specific space, the number of users, etc.
同様に、上記実施例では、IRS13を1つのみとした形態を例示しているが、本発明はこれに限定されるものではなく、これらIRS13を複数とした形態としてもよい。
Similarly, in the above embodiment, a configuration in which only one
また、上記実施例では、移動ロボット20に電波センサ22を設けることで、電波センサ22の数を最小限に抑えつつ、電波センサ22にて検知できない空間領域も低減できるようにしているが、本発明はこれに限定されるものではなく、電波センサを、例えば、RGB-D1カメラ15やRGB-D2カメラ16とともに固定して設けるようにしてもよく、このように、電波センサを特定空間内に固定して設ける場合には、予め、特定空間の3D地図を作成しておき、運用中においては、移動ロボット20を使用しないようにしてもよい。
In the above embodiment, the
また、前記実施例では、処理装置(A)25と処理装置(B)30とを個別とした形態を例示したが、本発明はこれに限定されるものではなく、例えば、移動ロボット20と処理装置(B)30とを高速データ通信にて接続することで、電波センサデータ、レーザースキャンデータ、画像データや深度データを送信可能な十分な通信容量を確保できる場合には、移動ロボット20に処理装置(A)25を設けずに、処理装置(B)30に処理装置(A)25の機能を統合するようにしてもよい。
In addition, in the above embodiment, the processing device (A) 25 and the processing device (B) 30 are separate, but the present invention is not limited to this. For example, if the
また、前記実施例では、特定空間である部屋RにRGB-D1カメラ15とRGB-D2カメラ16との2つのカメラを配置した形態を例示しているが、本発明はこれに限定されるものではなく、これらRGB-Dカメラの数や配置位置等は、特定空間の形状や大きさや配置物のレイアウト等に応じて適宜に決定すればよい。
In addition, in the above embodiment, an example is shown in which two cameras, an RGB-
また、前記実施例では、特定空間における通信に使用される電波として、無線LAN(Wi-Fi)通信の電波である2.4GHz帯や5GHz帯の電波を使用した形態を例示しているが、本発明はこれに限定されるものではなく、これら電波としては、無線LAN(Wi-Fi)の次期規格として利用が想定されている60GHz帯の電波であってもよいし、これら無線LAN(Wi-Fi)通信以外の電波、例えば、従来PHS端末の通信に使用されていた1.9GHz帯の電波であってもよいし、携帯電話通信の5G通信に使用される周波数帯の電波等であってもよい。 In addition, in the above embodiment, the radio waves used for communication in a specific space are exemplified as radio waves in the 2.4 GHz band or 5 GHz band, which are radio waves for wireless LAN (Wi-Fi) communication, but the present invention is not limited to this. These radio waves may be radio waves in the 60 GHz band, which is expected to be used as the next standard for wireless LAN (Wi-Fi), or radio waves other than these wireless LAN (Wi-Fi) communications, such as radio waves in the 1.9 GHz band that have traditionally been used for communication with PHS terminals, or radio waves in the frequency band used for 5G communication for mobile phone communication.
また、前記実施例では、処理装置(C)40を、アクセスポイント端末(AP)11、12とは個別に設けた形態を例示しているが、本発明はこれに限定されるものではなく、該処理装置(C)40の機能を、いずれかのアクセスポイント端末(AP)11、12に組み込んだ形態としてもよいし、処理装置(B)に処理装置(C)40の機能を組み込んだ形態としてもよい。 In addition, in the above embodiment, the processing device (C) 40 is provided separately from the access point terminals (AP) 11 and 12, but the present invention is not limited to this. The functions of the processing device (C) 40 may be incorporated into either of the access point terminals (AP) 11 and 12, or the functions of the processing device (C) 40 may be incorporated into the processing device (B).
また、前記実施例では、SLAMとてしてLiDAR24を使用したLiDAR-SLAMを用いた形態を例示しているが、本発明はこれに限定されるものではなく、これらSLAMとてして、LiDAR24を使用せずに、RGB-Dカメラを使用したSLAMとしてもよい。
In addition, the above embodiment illustrates a LiDAR-SLAM configuration in which the
また、前記実施例では、処理装置(B)30において、図3に示すように、RGB-D1カメラ15用の端末位置検出モジュールプログラムと、RGB-D2カメラ16用の端末位置検出モジュールプログラムとを個別に設けることで、RGB-D1カメラ15とRGB-D2カメラ16との撮像タイミング等の同期させる必要等がなく、システムの構成を簡素化しつつ、不具合時の冗長性も確保できるようにしているが、本発明はこれに限定されるものではなく、RGB-D1カメラ15用の端末位置検出モジュールプログラム及びRGB-D2カメラ16用の端末位置検出モジュールプログラムを1つの端末位置検出モジュールプログラムとしてもよい。
In the above embodiment, as shown in FIG. 3, the processing device (B) 30 is provided with a separate terminal position detection module program for the RGB-
また、前記実施例では、移動ロボット20が、特定空間である部屋R内を、障害物等を回避しつつ、任意に移動する形態を例示しているが、本発明はこれに限定されるものではなく、これら移動ロボット20の移動制御を、電波センサ22により検出される電波の到来方向等、或いは端末位置検出モジュールプログラムによって検出された端末位置等の情報にもとづいて、移動方向や向き等を制御するようにしてもよい。
In addition, in the above embodiment, the
また、前記実施例では、図12に示すように、端末の位置変化の大きさが所定の閾値以下であるか否かで無線LAN端末の同一、非同一を判定するようにしているが、本発明はこれに限定されるものではなく、これらに加えて、これら同一、非同一の判定が正しいか否かを確認するための処理を追加的に実行するようにしてもよい。 In addition, in the above embodiment, as shown in FIG. 12, whether the wireless LAN terminals are the same or not is determined based on whether the magnitude of the change in the terminal's position is equal to or less than a predetermined threshold value. However, the present invention is not limited to this, and in addition to this, additional processing may be performed to confirm whether the determination of whether the terminals are the same or not is correct.
また、前記実施例では、特定空間である部屋Rの電波伝搬の制御を、上位局となるアクセスポイント端末(AP)11、12並びにIRS13を制御するようにしているが、本発明はこれに限定されるものではなく、例えば、無線LAN端末(電波源端末)となるデスクトップパソコン1やラップトップパソコン2や携帯端末3においても、ビームフォーミング等の電波伝搬の制御機能を有するものであれば、アクセスポイント端末(AP)11、12を介してビームフォーミングの方向(座標)等の情報を無線LAN端末に送信することで、上位局となるアクセスポイント端末(AP)11、12と無線LAN端末の双方において特定空間である部屋Rの電波伝搬の制御を行うようにしてもよい。
In the above embodiment, the control of radio wave propagation in room R, which is a specific space, is performed by controlling the access point terminals (AP) 11, 12 and
1 デスクトップパソコン(DesktopPC)
2 ラップトップパソコン(LaptopPC)
3 携帯端末(モバイルフォン)
11,12 アクセスポイント端末(AP)
13 IRS
15 RGB-D1カメラ
16 RGB-D2カメラ
20 移動ロボット
21 RGB-D3カメラ
22 電波センサ
23 無人搬送車(AGV)
24 レーザースキャナ(LiDAR)
25 処理装置(A)
30 処理装置(B)
40 処理装置(C)
1. Desktop PC
2. Laptop PC
3. Mobile devices (mobile phones)
11, 12 Access point terminal (AP)
13. IRS
15 RGB-
24 Laser scanner (LiDAR)
25 Processing device (A)
30 Processing device (B)
40 Processing device (C)
Claims (6)
運用時に前記特定空間の画像を撮像する撮像手段と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成手段と、
前記3次元地図生成手段にて生成した前記3次元地図を記憶可能な3次元地図記憶手段と、
前記3次元地図記憶手段に記憶されている前記3次元地図と前記撮像手段にて撮像された画像とから前記特定空間における前記電波源端末の3次元位置を特定する3次元位置特定手段と、
前記3次元位置特定手段にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段に対して出力する3次元位置出力手段と、
を備える、
ことを特徴とする電波源端末位置検出システム。 A radio wave source terminal position detection system for detecting a position in a specific space of a radio wave source terminal that transmits radio waves for communication, comprising:
An imaging means for capturing an image of the specific space during operation ;
A three-dimensional map generating means for generating a three-dimensional map of the entire specific space before the start of operation;
a three-dimensional map storage means capable of storing the three-dimensional map generated by the three-dimensional map generating means;
a three-dimensional position specifying means for specifying a three-dimensional position of the radio wave source terminal in the specific space based on the three-dimensional map stored in the three-dimensional map storage means and an image captured by the imaging means;
a three-dimensional position output means for outputting the three-dimensional position identified by the three-dimensional position identification means to a radio wave propagation control means capable of controlling radio wave propagation in the specific space;
Equipped with
A radio wave source terminal location detection system comprising:
ことを特徴とする請求項1に記載の電波源端末位置検出システム。 The three-dimensional map generating means includes LiDAR-SLAM using a laser scanner.
2. The radio wave source terminal position detection system according to claim 1.
ことを特徴とする請求項1または2に記載の電波源端末位置検出システム。 The three-dimensional position identification means includes a deep learning function that can detect the radio wave source terminal with high accuracy from the image captured by the imaging means by providing learning data,
3. The radio wave source terminal position detection system according to claim 1 or 2.
運用時に前記特定空間の画像を撮像する撮像段階と、
前記特定空間の全体の3次元地図を、運用開始前に事前に生成する3次元地図生成段階と、
前記3次元地図生成段階にて生成した前記3次元地図を記憶する3次元地図記憶段階と、
前記3次元地図記憶段階にて記憶された前記3次元地図と前記撮像段階にて撮像された画像とから前記特定空間における少なくとも前記電波源端末の3次元位置を特定する3次元位置特定段階と、
前記3次元位置特定段階にて特定された3次元位置を、前記特定空間における電波伝搬を制御可能な電波伝搬制御手段に対して出力する3次元位置出力段階と、
を含む、
ことを特徴とする電波源端末位置検出方法。 A method for detecting the position of a radio wave source terminal that transmits radio waves for communication in a specific space, comprising:
An imaging stage of capturing an image of the specific space during operation ;
A 3D map generating step of generating a 3D map of the entire specific space before the start of operation;
a 3D map storage step of storing the 3D map generated in the 3D map generation step;
a three-dimensional position specifying step of specifying a three-dimensional position of at least the radio wave source terminal in the specific space from the three-dimensional map stored in the three-dimensional map storing step and the image captured in the imaging step;
a three-dimensional position output step of outputting the three-dimensional position identified in the three-dimensional position identification step to a radio wave propagation control means capable of controlling radio wave propagation in the specific space;
including,
A radio wave source terminal position detection method comprising:
ことを特徴とする請求項4に記載の電波源端末位置検出方法。 In the 3D map generation step, the 3D map is generated by LiDAR-SLAM using a laser scanner.
5. The method for detecting a radio wave source terminal position according to claim 4.
ことを特徴とする請求項4または請求項5に記載の電波源端末位置検出方法。 The three-dimensional position identification step includes a step of detecting the radio wave source terminal from the image captured in the imaging step by a deep learning machine function that has been machine-learned by providing learning data.
6. The method for detecting a radio wave source terminal position according to claim 4 or 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022044212A JP7492756B2 (en) | 2022-03-18 | 2022-03-18 | Radio wave source terminal position detection system and radio wave source terminal position detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022044212A JP7492756B2 (en) | 2022-03-18 | 2022-03-18 | Radio wave source terminal position detection system and radio wave source terminal position detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023137825A JP2023137825A (en) | 2023-09-29 |
JP7492756B2 true JP7492756B2 (en) | 2024-05-30 |
Family
ID=88146286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022044212A Active JP7492756B2 (en) | 2022-03-18 | 2022-03-18 | Radio wave source terminal position detection system and radio wave source terminal position detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7492756B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045825A (en) | 2014-08-26 | 2016-04-04 | 三菱重工業株式会社 | Image display system |
WO2019093136A1 (en) | 2017-11-08 | 2019-05-16 | ソニー株式会社 | Image processing device, image processing method, and program |
JP2019174164A (en) | 2018-03-27 | 2019-10-10 | Kddi株式会社 | Device, program and method for estimating terminal position using model pertaining to object recognition information and received electromagnetic wave information |
JP2021034917A (en) | 2019-08-26 | 2021-03-01 | 沖電気工業株式会社 | Sensor installation support device, sensor installation support method, and program |
JP2021090088A (en) | 2019-12-02 | 2021-06-10 | 株式会社Kddi総合研究所 | Device, program, and method for identifying terminal on the basis of correspondence between communication type and target type |
WO2022038787A1 (en) | 2020-08-21 | 2022-02-24 | 日本電信電話株式会社 | Control system, control device, control method, and control program |
WO2022269840A1 (en) | 2021-06-23 | 2022-12-29 | 日本電信電話株式会社 | Control device, communication system, control method, and program |
-
2022
- 2022-03-18 JP JP2022044212A patent/JP7492756B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045825A (en) | 2014-08-26 | 2016-04-04 | 三菱重工業株式会社 | Image display system |
WO2019093136A1 (en) | 2017-11-08 | 2019-05-16 | ソニー株式会社 | Image processing device, image processing method, and program |
JP2019174164A (en) | 2018-03-27 | 2019-10-10 | Kddi株式会社 | Device, program and method for estimating terminal position using model pertaining to object recognition information and received electromagnetic wave information |
JP2021034917A (en) | 2019-08-26 | 2021-03-01 | 沖電気工業株式会社 | Sensor installation support device, sensor installation support method, and program |
JP2021090088A (en) | 2019-12-02 | 2021-06-10 | 株式会社Kddi総合研究所 | Device, program, and method for identifying terminal on the basis of correspondence between communication type and target type |
WO2022038787A1 (en) | 2020-08-21 | 2022-02-24 | 日本電信電話株式会社 | Control system, control device, control method, and control program |
WO2022269840A1 (en) | 2021-06-23 | 2022-12-29 | 日本電信電話株式会社 | Control device, communication system, control method, and program |
Non-Patent Citations (1)
Title |
---|
井深 真治 ほか,"電波発信源特定のためのLiDARとRGB-Dセンサデータに対する物体検知手法の開発",令和4年 電気学会全国大会講演論文集 一般講演3 [DVD-ROM] ,一般社団法人電気学会,2023年03月01日,pp.96-97 |
Also Published As
Publication number | Publication date |
---|---|
JP2023137825A (en) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102613624B1 (en) | Cleaning robot for airport and method thereof | |
US11529739B2 (en) | Robot and operation method therefor | |
US9609468B1 (en) | Inter-device bearing estimation based on beam forming and motion data | |
US9641814B2 (en) | Crowd sourced vision and sensor-surveyed mapping | |
US7689001B2 (en) | Method for recognizing location using built-in camera and device thereof | |
WO2020199589A1 (en) | Recharging control method for desktop robot | |
KR102600269B1 (en) | Cleaning robot for airport and method thereof | |
WO2015065857A1 (en) | Utilizing a mobile device to learn parameters of a radio heat map | |
EP3712561B1 (en) | Method and device for determining space partitioning of environment | |
KR101680667B1 (en) | Mobile device and method for controlling the mobile device | |
JP2004363956A (en) | Remote control system and remote control robot | |
JP7492756B2 (en) | Radio wave source terminal position detection system and radio wave source terminal position detection method | |
CN105005306A (en) | Resetting method during robot performance | |
JP7510703B2 (en) | Radio wave propagation control system and radio wave propagation control method | |
KR102401641B1 (en) | Mobile device and method for controlling the mobile device | |
Roy et al. | Route planning for automatic indoor driving of smart cars | |
CN114603557B (en) | Robot projection method and robot | |
KR20180038885A (en) | Robot for airport and method thereof | |
Kim et al. | Design and implementation of mobile indoor scanning system | |
Ferranti et al. | Practical issues in deploying mobile agents to explore a sensor-instrumented environment | |
WO2019100699A1 (en) | Method and system to configure scanning bot | |
TWI768724B (en) | Method for positioning in a three-dimensional space and positioning system | |
US20240201690A1 (en) | Systems and methods for identifying objects in a space | |
KR20180038869A (en) | Robot for airport and method thereof | |
JP2021021635A (en) | Electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231205 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7492756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |