JP6132452B2 - 無線通信装置及び無線通信システム - Google Patents
無線通信装置及び無線通信システム Download PDFInfo
- Publication number
- JP6132452B2 JP6132452B2 JP2016523580A JP2016523580A JP6132452B2 JP 6132452 B2 JP6132452 B2 JP 6132452B2 JP 2016523580 A JP2016523580 A JP 2016523580A JP 2016523580 A JP2016523580 A JP 2016523580A JP 6132452 B2 JP6132452 B2 JP 6132452B2
- Authority
- JP
- Japan
- Prior art keywords
- wireless communication
- similarity
- image
- unit
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims description 211
- 238000004891 communication Methods 0.000 title claims description 211
- 238000012544 monitoring process Methods 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 56
- 230000005856 abnormality Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 description 41
- 238000010191 image analysis Methods 0.000 description 35
- 230000002159 abnormal effect Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 23
- 238000012937 correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
- H04W84/10—Small scale networks; Flat hierarchical networks
- H04W84/14—WLL [Wireless Local Loop]; RLL [Radio Local Loop]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Description
従来、準ミリ波〜ミリ波帯を利用するFWA(Fixed Wireless Access)無線通信システムとして、鋭い指向性を持つアンテナを用いて、特定の固定通信装置間でPoint-to-Pointの無線通信を行うものがある。
対になる通信装置のアンテナは互いに対向して設けられている。
通信障害の可能性を前もって検知できれば、基地局を移設する等の対策を取ることが可能となるため、画像解析によって通信障害の発生を予測する技術が開発されている。
画像に基づいて通信障害の発生を予測する技術としては、国際公開第2013/125265号公報「無線通信装置、無線通信方法、及び無線通信システム」(株式会社日立国際電気、特許文献1)があった。
特許文献1には、光軸が指向性アンテナのメインローブ方向と同方向に向けられた撮像手段を備え、対向する無線通信装置への見通しを示す基準画像を撮像して基準画像データとして記憶しておき、定期的に撮像した撮像画像データを基準画像データと比較して、障害物が電波方向に向かっていることを検知して通知することが記載されている。
本発明の実施の形態に係る無線通信システム(本システム)は、無線通信装置(本装置)に指向性アンテナの電波方向と光軸が一致する撮像手段を備え、条件が良好なときに撮像した画像を基準画像として記憶しておき、通信相手である無線通信装置及びその近傍を撮像し、制御部が、定期的に撮像した画像と基準画像とを比較して、明るさの変化に影響を受けにくい正規化相互相関によるテンプレートマッチング手法で類似度を算出し、類似度が低い状態が一定期間持続した場合に保守端末にアラートを発報する構成としており、保守員の作業負荷を軽減すると共に、天候や日照等の外乱ノイズによる誤発報を防ぎ、通信障害の発生を容易に且つ精度よく予測して、実際の障害発生を未然に防ぐことができ、通信の信頼性を向上させることができるものである。
図1は、本発明の実施の形態に係る無線通信システムXの構成を示す概略図である。無線通信システムXは、接続元機器と接続先機器との間の通信を中継する通信システムであり、無線通信装置10,11と、保守端末20とを備えている。
図1の例では、無線通信装置10は、ネットワーク5を介して保守端末20及び接続先機器と接続されており、無線通信装置11は、ネットワーク6を介して接続元機器に接続されている。
無線通信装置10、11は、起動時の状態によって一方がマスタ装置、他方がスレーブ装置として自動設定され、周波数チャンネル等も自動で選択させることできる。
また、無線通信装置10,11は、画像を撮像する撮像部を備えており、互いに相手の画像を撮像して通信障害の予測に利用している。
また、無線通信装置10、11は、所定間隔で定期的に画像を撮像し、画像に異常があれば、画像及び推定原因の情報を含むアラート情報(警告情報)を保守装置20に送信する。
保守装置20は、無線通信装置10、11に対して各種パラメータの設定を行い、また、撮像された画像データや各種センサのデータ及び受信信号強度のデータ等を要求することもできる。
また、ネットワーク5、6は、ルータ等を用いてインターネットや携帯電話網やPHS網等の他のネットワークと接続してもよい。
無線通信装置10,11は同様の構成及び動作であるため、以下の説明においては、無線通信装置10を例として説明する。
次に、図2を参照して、無線通信装置10の外観について説明する。図2は、無線通信装置10の外観図である。
図2に示すように、無線通信装置10は、アンテナ、高周波部、信号処理部(PHY)、MAC処理部、インタフェース部等を一体に内蔵する筐体12と、ポール等への取り付け金具である取り付け部13とから主に構成されている。
また、筐体12には、アンテナの指向性方向を確認するためのスコープ部14を備えている。さらに、筐体12には、アンテナの指向性方向と同一方向にカメラの光軸が向くように設定された撮像部15を備えている。撮像部15は、カメラ等である。
次に、図3を参照して、本システムの無線通信装置10の具体的な制御構成について説明する。図3は、無線通信装置10の機能ブロック図である。
図3に示すように、無線通信装置10は、図2に示した筐体12の内部に、主として、制御部100と、記憶部110と、無線送受信部120と、信号強度測定部130と、同期検出部135と、ネットワーク送受信部140と、撮像部150と、画像処理部160と、レーザー出力部170と、タイマー部180とを備えている。各部は、例えば共通のバス等で接続される。尚、撮像部150は、図2に示した撮像部15と同等である。
[制御部100]
制御部100は、GPP(General Purpose Processor)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、SoC(System-on-a-chip)等の組込みコンピュータであり、各部を制御する。
撮像は、送受信時に取得された電波状態が異常の場合に行うと共に、通信異常が発生する前から定期的に監視するため、タイマー部180に基づいて行う。
電波状態の監視としては、信号強度測定部130からの受信信号強度や、同期検出部135からの同期検出を用いる。
また、制御部100は、保守装置20からの指示や現地の作業員による操作に応じて撮像部150に撮像を指示することも可能である。
記憶部110は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、制御部100が実行するプログラムやデータ、各種の設定値、及び画像データを記憶している。
画像データとしては、正常時の基準となる基準画像データと、運用時に撮像された撮像画像データ、また一定期間の撮像画像の平均である平均画像データ等がある。これらの画像データの詳細については後述する。
記憶されている設定値やデータとしては、撮像を判定するための信号強度の閾値(信号強度撮像閾値)、撮像間隔設定値、アラート情報のデータフォーマット等がある。
尚、記憶部110は、例えば、USBメモリやSDカード等の脱着可能な記録媒体を含んでいてもよく、記録媒体にも画像データを記憶可能である。
無線送受信部120は、アンテナ、RF(Radio Frequency)手段(無線通信手段)、デジタル変復調手段、A/D(Analog/Digital)変換手段、D/A(Digital/Analog)変換手段、符復号化手段、暗号化手段、QoSスケジューリング手段等を含み、無線信号の送受信を行う。また任意の伝送路状況に応じて最善なスループットが得られるように適応変調符号化(AMC)を行う。
無線送受信部120のアンテナは、搬送波が広がりにくいペンシルビームアンテナ等の指向性アンテナを用いることが好適である。
また、無線送受信部120は、電波の送受信を、時分割双方向通信(TDD;Time Division Duplex)や周波数分割双方向通信(FDD;Frequency Division Duplex)等の方式で行うことができる。
信号強度測定部130は、無線送受信部120からの電波について、受信信号強度の測定や受信品質に係るS/N比等の取得を行うものであり、これらの測定値が基準値より低ければ制御部100に受信信号強度が異常である旨報知する。適応変調符号化を実施している場合は、現在の変調方式や符号化方式の情報もあわせて取得する。
同期検出部135は、受信した無線信号に含まれる同期信号やプリアンブル等を検出し、無線伝送されて同期信号を復元すると共に、同期信号の復元の有無を検出する。そして、同期信号やプリアンブルの検出が正常に行われなかった場合に、同期検出が異常である旨報知する。
信号強度測定部130及び同期検出部135の機能は通常、無線送受信部120内に構成され得る。
ネットワーク送受信部140は、ネットワーク5又は6に接続するための、例えば、1000BASE−T/100BASE−TX規格のインタフェースであり、伝送媒体に即したMAC層処理を行う。つまり無線送受信部120で扱っている無線伝送ペイロードや、制御部100で発生する保守装置との通信等を、ネットワーク5又は6に接続する。
また、ネットワーク送受信部140は、例えば、PoE(Power on Ethernet、Ethernetは商標)による電源供給を行うための電源部やバッテリ等を備えてもよい。またブリッジ処理やルータ処理を行ってもよい。
撮像部150は、制御部100からの指示に応じて相手先の無線通信装置11を含む画像を撮影し、赤外線や可視光用のカラー/モノクロの光信号を電気信号に変換するものであり、撮像素子とA/Dコンバータ等を備えている。撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等がある。
撮像部150は、無線送受信部120の指向性アンテナとカメラの光軸が一致する視野角0.5〜5度程度の所定角度の範囲のみ撮像できるようにすると、また、プライバシーに配慮することができる。
適度な光学ズーム倍率のレンズの使用により、撮像素子に必要な画素数を減らすことができる。また夜間に動く被写体を撮影する目的ではないため、感度はあまり必要なく、大きな撮像素子を使用する必要がないため、コストを削減できる。
尚、撮像部150は、必ずしも無線通信装置10と一体に構成するものに限らず、分離していてもよい。また、静止画像だけでなく動画像を撮像可能としてもよい。
尚、後述するように、「見通し」の判断にはレーザーを用いてもよい。
画像処理部160は、撮像部150からの電気信号を画像処理して、所定のフォーマット、例えばJPEG、JPEG2000、PNG、BMP等の主に静止画像に変換する。その際、画像の容量の圧縮、ベクトルデータ化等を行うことも可能である。
画像処理部160は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)等の画像処理用コンピュータで構成される。
レーザー出力部170は、例えば、撮像部150で検知可能な赤外線等のレーザー信号を、無線送受信部120のアンテナの電波の方向と同方向に出力する。レーザー出力部170のレーザー信号を画像処理部160が検知して、「見通し」があるか否かを制御部100が判定することも可能である。
レーザー光は、相手装置に到達するまでの間に適当な径に広がり、撮像部150に入射する。相手装置の画像処理部でロックイン検出するために、レーザー信号は、撮像部150の撮影レートより低速の既知の周期で或いは擬似雑音系列によりON/OFF変調されることが望ましい。相手装置との間の同期は、後述のNTP同期された時計或いは無線フレームナンバーのカウント等により行う。なおレーザー信号は、自装置から送信され、相手装置(又は障害物)によって反射された信号でもよいし、相手装置から送信されたレーザー信号であってもよい。あるいは、無線通信装置10が設置されるビルに若しくは相手装置からの見通し線上に、航空障害灯及び昼間障害標識等が設置されている場合、それで代用できる。
タイマー部180は、クオーツを備えたバッテリバックアップ・リアルタイムクロック(RTC)やインターバルタイマー等で構成され、年/日/時/分/秒等の時刻を計測する。
また、保守装置20から画像の撮像間隔を設定しておくことにより、タイマー180は定期的に制御部100に対して撮像のタイミングを報知する。尚、タイマー部180の時刻は、制御部100がインターネット等のタイムサーバ等から取得して、設定してもよい。
なお、この他にも、無線通信装置10は、降雨、日照、天候、風力、風向、温度、湿度等の周囲環境に係るデータを取得するセンサ類を備えていてもよい。このセンサ類で取得した値も、記憶部110に記憶する。
また、無線通信装置10は、ポータブル保守装置と直接接続する受信電力モニタ端子、シリアル/USB端子、無線LANインタフェース等を備えていてもよい。
次に、本システムの保守装置20の構成について図4を用いて説明する。図4は、本システムの保守装置20の構成ブロック図である。
図4に示すように、本システムの保守装置20は、制御部200と、記憶部210と、表示部220と、入力部230と、ネットワーク送受信部240とを備えている。
記憶部210は、制御部200で実行する保守用プログラムを記憶すると共に、無線通信装置10から送信されたアラート情報を記憶し、蓄積している。
表示部220は、アラート情報に含まれる画像やメッセージを表示して管理者に閲覧可能とし、また、保守用の画面等を表示する。
入力部230は、管理者の指示や設定値等を入力する。
ネットワーク送受信部240は、ネットワーク5,6に接続するインタフェースである。
本装置における動作を具体的に説明する前に、画像を監視して通信障害の発生を予測する際の監視対象となる監視領域の設定例について図5を用いて説明する。図5は、監視領域の設定例を示す説明図である。
図5に示すように、通信相手の無線通信装置11を撮像部150で撮影すると、例えば、図5全体の画像が取得される。
具体的には、初期設定時において、どの範囲を監視領域70とするかを、例えば保守員が画面上で矩形で囲んで指定すると、記憶部110に、画像全体における監視領域70の座標データが監視領域データとして記憶される。
監視領域70を指定する際の形状は矩形に限らず、円、長円(楕円)、多角形等或いは単なる1つの点であってもよい。点で指定された場合は、所定のサイズの領域に自動的に拡張される。
画像の比較時には、制御部100は、基準画像の監視領域70と撮像画像の監視領域70との比較を行って類似度を算出するものである。
更に、本装置においては、監視領域70だけでなく、監視領域70を拡張し、複数に分割した分割監視領域についても監視対象の領域として監視を行う。分割監視領域について図6を用いて説明する。図6は、分割監視領域の設定例を示す説明図である。
図6に示すように、分割監視領域80は、図5に示した監視領域70を上下左右に広げた領域であり、更に領域全体を4段3列に分割して、左上から右下に向かって、分割ブロック8(1,1)、8(1,2)、...8(4,3)とする。そして、各分割ブロック8(m,n)について基準画像との比較を行う。尚、分割監視領域80は、請求項における拡張領域に相当する。
更に、個々の分割ブロック8は、他の分割ブロック8と一部重なっていてもよい。
更に、分割ブロック毎に重み付けすることにより、緊急性の高い異常を迅速に検出してアラート発報したり、また、画像の信頼性の低いブロックを識別することができるものである。
上述したように、本装置では、実際に通信障害により受信信号強度が劣化する前に、画像を監視することでその兆候を発見し、原因を推定し、画像情報及び推定原因を含むアラート情報を送信する通信障害予測処理を行う。
通信障害予測処理の概要について図8を用いて説明する。図8は、本装置における通信障害予測処理の概要を示すフローチャートである。
通信障害予測処理は、本装置の特徴部分であり、制御部100が、各部と協働してハードウェア資源を用いて実行するものである。
S101では、少なくとも1つの基準画像が、装置設置時や視界が良好な状態において、撮像部150により撮像された画像を平均化することで生成される。後述するように、昼夜(時刻)や天候、季節等の環境に応じて複数の平均化画像が記憶され、その中から選択した1つを基準画像として用いることができる。基準画像は、画像処理部160によって所定のデータフォーマットに変換されて、記憶部110に記憶される。
また、後述するように、本装置は、撮像画像の解析を行う毎に基準画像の信頼性をチェックして、必要であれば基準画像の更新或いは切替えを行う。
装置の運用が開始されると、本装置は、定期的に現状を撮影する現状撮像処理を行う(S104)。現状撮像処理については後述する。
撮像画像の信頼性が高くないと判断した場合には(Noの場合)、本装置は処理S130に移行する。これにより、信頼性の低い画像に基づいてアラートを発報してしまう誤発報を防ぐ。
本装置では、類似度の算出において、明るさの変化に強い正規化相互相関によるテンプレートマッチングによって類似度を算出することにより、明るさの違いによる誤発報を低減する。
画像解析処理については後で説明する。
ループ処理の実行間隔は、例えば10分〜1日程度であり、保守装置20から任意に設定可能としており、記憶部110に記憶されると共にタイマー部180に設定されている。
また、信号強度測定部130が測定した受信信号強度が、予め設定され記憶部110に記憶された信号強度撮像閾値を下回った場合、あるいはユーザが任意に実行を指示した場合は、定期的な実行間隔によらず直ちにS104〜S130を実行するようにしてもよい。
また、監視領域70だけでなく、分割監視領域80の分割ブロック毎に画像の類似度を算出してそれに基づいて通信障害発生を予測して、きめ細かい現状認識を可能とすると共に、分割ブロック毎の類似度の変化によって通信障害の原因推定を可能とするものである。
以下、通信障害予測処理内の処理ブロックについて具体的に説明する。
次に、図8の処理S104に示した現状撮像処理について図9を用いて説明する。
図9に示すように、現状撮像処理では、制御部100は、タイマー部180からの撮像のタイミング等に基づいて撮像部150に指示を出力し、撮像部150は撮像を行う(S201)。この撮像は、1回の露出によるものに限らず、複数回の撮影により取得した複数の画像を平均化し、1つの撮像画像として出力することを含む。数分の間に撮影した数1000枚のRAW画像を平均化することで、S/Nを改善することができる。このとき、露出(シャッタ速度や絞り)やフォーカスを変化させながら撮影してもよい。軸上色収差が大きいレンズでは、フォーカスの微動により、いずれかの色で合焦が改善した画像が得られる。
そして、画像処理部160が撮像画像を所定のデータフォーマットに変換し(S202)、変換された撮像画像を撮像画像データとして記憶部110に記憶する(S203)。基準画像と同じデータフォーマットに変換することにより、基準画像と撮像画像との比較を行うことができるものである。
昼夜の判定方法は、例えば、予め記憶部110に本装置が設置された地点の緯度と経度における日の出日の入りの時刻を記憶しておき、制御部100が、タイマー部180から現在の日時を取得して、記憶された日の出日の入りの時刻と比較して昼夜を判定する。
昼であっても晴天時と曇天や雨天時、霧が発生している場合等では日照の状態が異なり、その違いによって陰影のできかた等が変化するため、基準画像との差分が大きくなってアラートを発報してしまうのを防ぐためである。日照条件のうち照度は、画像処理部160によって、画面全体あるいは人工的な光の影響を受けにくい領域の輝度の平均値等で表される明るさによって表現できる。
ここで、記憶部110に記憶されている画像解析テーブルについて図10を用いて説明する。図10(a)は、監視対象となる領域を示す図であり、(b)は、画像解析テーブルの一例を示す説明図である。
図10(b)に示す画像解析テーブルは、撮像画像データに対応して、図10(a)に示した監視対象の監視領域70及び分割監視領域80の各分割ブロック8について、算出された類似度、各種統計値、及び、通信障害発生の有無を予測するため予め設定される各種データを記憶するテーブルである。
画像解析テーブルに記憶されたデータは、当該撮像画像での監視対象の状態が正常であるか異常であるかを判断するための指標値を算出する際に用いられる。
類似度は、後述する画像解析処理において算出された値であり、類似度が高いと通信障害発生の可能性は低く、類似度が低いと通信障害発生の可能性は高くなる。
ここでは、無線通信装置11の近傍である監視領域70の類似度は0.95と高い値であるが、分割監視領域80の右下ブロックである分割ブロック8(4,3)の類似度は0.41と低くなっている。
平均及び標準偏差は、画像解析処理により類似度が算出されるたびに更新される。平均及び標準偏差を厳密に計算しようとすると、一定期間において算出された全ての類似度の値を保持しておく必要があるため、現在記憶している平均値、標準偏差と類似度から、近似的に計算してもよい。
本実施形態では、閾値を領域毎に異なる値としており、図10の例では、(平均値−2σ)か、0.80のいずれか低いほうとしている。例えば、監視領域70のしきい値は、0.79であり、分割ブロック8(2,1)のしきい値は0.62である。また、全てのしきい値を同じ固定の値としてもよいし、(平均値−3σ)としてもよい。
尚、本形態では、後述する重み付き統合類似度を用いて画像の総合的な評価を行うため、閾値は必須ではないが、閾値を用いた各監視領域や分割ブロック毎の判断を主体とし、異常と判定された領域の数や、異常な領域の出現する順序関係などに基づいて総合的な判断をする実施形態とすることも可能である。
領域重み付け係数は、領域の空間的位置等に由来する重要度に応じて類似度に重み付けする係数であり、各領域の類似度を、総合的な通信障害発生の有無の判定にどの程度反映させるか、寄与の度合いを調整するものである。
例えば、図10(b)の例では、監視領域70は信頼度1.0であり、監視領域の類似度は、通信障害発生の判断に大きく寄与するが、分割ブロック8(4,3)は信頼度0.00であり、今回撮像された撮像画像を用いた通信障害予測の判定において、当該分割ブロックの類似度は全く寄与しないことを示している。
後述するように、統合類似度は、監視対象となる各領域の類似度に、画像解析テーブルに記憶された正規化補正値、領域重み付け係数、信頼度を乗算し、それらを合算することよって算出される。類似度に乗じられる係数が3つあることにより、それらの一部を手動設定(固定)、残りを自動設定(可変)にして用いることができる。
更に、スコアは、クラス分けの結果を一定期間に亘って平均或いは蓄積した値である。スコアを算出することにより、正常/異常の状態の時間的な継続状態を反映させるものである。
統合類似度、正常/異常のクラス、スコアは、領域の数と必ずしも一致せず、テーブルの形態で保持される必要はない。
ここで、図8の処理S110に示した画像解析処理について図11を参照しながら説明する。画像解析処理の主な内容は、制御部100又は画像処理部160が、図10で示した画像解析テーブルに基づいてスコアを算出することである。
最初にS301として、撮像画像の平均画像を更新し、記憶部110に記憶する。平均画像は、過去から現在までの特定期間の撮像画像を指数移動平均して得られる画像であり、昼夜(時刻)や天候、季節等に応じて複数のバージョンが作成され得る。S301の更新は、現在基準画像に採用されている平均画像そのものを置き換える様態や、採用された平均画像とは別個に生成する様態で行われ、別個に生成された平均画像は、採用された平均画像が(一時的に)適切でなくなった時などに、代わりに利用されうる。
具体的には、基準画像と撮像画像の、監視領域70及び分割監視領域80について類似度を求める。基準画像には、図9の現状撮像処理で取得した昼夜や天候といった情報(明るさ情報)に基づいて、複数の平均画像の中から最適な1つが選択される。
類似度の算出は、同じ位置(同じ座標)の領域の画像データの比較によるものであり、基準画像と撮像画像の監視領域70同士、及び分割監視領域80の分割ブロック8(1,1)〜8(4,3)同士を比較して類似度を算出する。
分割監視領域80の各分割ブロック8についても同様に算出する。
そして、制御部100は、監視領域70及び分割監視領域80の各分割ブロックについて算出された類似度を、上述した画像解析テーブルに一時的に保持する。更に、各領域について類似度の平均値や標準偏差も算出して、画像解析テーブルに保持する。
例えば、過去3ヶ月間の各日の同時刻に取得した撮像画像データの類似度の平均及び標準偏差(σ)を算出し、平均値−2σや、平均値−3σを閾値とする。
特に、撮像画像データの明るさ情報が基準画像の明るさ情報と著しく異なる領域については、処理S303で当該領域の信頼度を低くして、判定に対する寄与率を小さくする。
更に、天候条件やノイズの影響を受けやすく、誤報の実績が多い領域に関して信頼度を低く設定する。
また、長期に亘って類似度の平均が低い領域についても信頼性が低いものとして、信頼度を低く設定する。
統合類似度は、領域毎の(類似度×領域重み付け係数×正規化補正値×信頼度)の値の総和を、信頼度の総和で除算することで算出される。すなわち、
統合類似度 = Σ(類似度×領域重み付け係数×正規化補正値×信頼度)/Σ信頼度 である。
なお、時間空間方向必ずしも2クラスで分類する必要はなく、「不確定」などのクラスを設けてもよいし、異常クラスもカメラのずれや障害物など原因ごとにクラスを分けてもよいし、クラスのような離散量でなく、識別器出力そのままの連続量でもよい。
S306の後、図8の処理S112に移行する。スコアに基づいて異常状態を検出することにより、駐車車両や通行人、又は鳥が止まっているといった一時的な画像変化による異常検出を防ぐことができる。
S306の後、図8の処理S112に移行する。
例えば、算出されたスコアが記憶部110に記憶されているスコアの閾値(例えば0.2とする)以下となった場合、保守装置20に対してアラート情報を送信するアラート発報処理を行う。
これにより、本装置では、鳥や飛翔体、建築機械等による一時的な画像変化による異常検出を防ぎつつ、建築中の建造物などのゆっくりであるが確実に進行し伝送路に干渉する恐れのある障害物を、実際に通信電波を妨害する前に、察知して報知することができるものである。
その場合、図8の処理S112で、「異常」が継続している期間が予め設定された特定期間(閾値)を超えた場合、例えば、「異常」と判定された場合にアラート発報処理(S120)に移行する。
次に、図8のアラート発報処理S120の詳細について、図12を参照して説明する。
アラート発報処理S120は、原因推定処理S401と、アラート発報実行処理S402を含む。
原因推定処理S401では、制御部100は、記憶部110に記憶されている現在までの特定期間の画像解析テーブルのデータや受信信号強度のデータに基づいて、異常発生の原因を推定し、必要に応じてスクリーニングをする。具体的には、特徴量(各領域の類似度や受信信号強度)の空間的分布や時間的分布を求め、記憶部110に記憶されている原因推定テーブル(図13)と比較して、変化傾向に基づいて異常の原因を推定する。原因推定処理S401は、S306の判断のみでは誤報が生じうる場合に有効であるが、必須ではなく、省略できる。
次に、原因推定テーブルについて図13を用いて説明する。図13は、原因推定テーブルの説明図である。
原因推定テーブルは、原因推定処理S401において、スコアの元となった類似度等に立ち戻ってアラートの発生原因を推定するためのもので、特徴量の変化傾向(パターン)と、そのような変化傾向が出現した際に考えられる原因の可能性とを対応付けて記憶している。図13の例では、変化傾向に対応して、新規建造物、装置ずれ、カメラ故障/汚れが原因となる可能性を3段階で表して記憶している。
同様に、相手側通信装置11において、本装置と同様の通信障害予測処理で異常と判定している場合、新規建造物の可能性が高く、他の原因である可能性は低い。
また、相手側通信装置において正常と判断している場合、相手からの見通しは良好であるため、新規建造物よりは、装置ずれやカメラ故障/汚れの可能性が高くなる。
本装置では、制御部100が、原因推定処理S401の時に、記憶されている画像解析データや受信信号強度データの傾向を求め、図13の原因推定テーブルと照合して、可能性の高い原因を特定している。アラート情報として送信する推定原因は、1つでもよいし、可能性の高い順に複数個としてもよい。原因推定処理は容易にプログラム可能なシェルスクリプト等で記述され実行されることが望ましく、原因推定テーブルはそれらスクリプト内に記述され得る。
次に、図8の処理130に示した基準画像更新処理について図14を用いて説明する。図14は、基準画像更新処理を示すフローチャートである。
図14に示すように、基準画像更新処理が開始されると、制御部100は、現在の基準画像の信頼性を評価する(S501)。
基準画像の信頼性は、制御部100が、アラートの発生頻度や、画像解析処理において分割監視領域の類似度の時間推移を解析して得られる類似度の平均値や標準偏差を解析して基準画像の信頼性を示す指標値を算出し、指標値を予め設定された基準画像の信頼性を示す指標値の閾値と比較して、基準画像の信頼性を評価する。
指標値が閾値以上であって、基準画像の信頼性が低くない場合(Noの場合)、基準画像の更新は不要であるため、基準画像更新処理を終わる。
新たな基準画像は、撮像条件が良好であれば現在時刻の画像でもよいし、記憶されている平均画像でもよい。
従って、運用当初は、類似度が高い状態が一定期間観測されなければ、基準画像の信頼性が低いとみなして自動更新してもよい。
また、長期運用時に類似度が低下する傾向を示した場合は、保守員によって通信障害発生の異常がないことを確認した上で、基準画像データを定期的にメンテナンス更新してもよい。
このようにして本装置の処理が行われるものである。
また、保守員は、保守装置20を監視することで、通信障害となりそうな異常な状態を発見することができ、保守の負荷を大幅に軽減することができるものである。
尚、上記実施の形態の構成及び動作は例であって、本発明の主旨を逸脱しない範囲で適宜変更して実行できる。
Claims (5)
- 指向性アンテナを用いて相手装置と無線通信を行う無線通信装置であって、
前記指向性アンテナの電波方向と光軸が一致し、監視対象となる前記相手装置を含む領域の画像を撮像する撮像部と、
前記撮像部で撮像され、基準となる基準画像を記憶する記憶部と、
定期的に前記撮像部で撮像された撮像画像を取得して、正規化相互相関により前記撮像画像と前記基準画像の前記監視対象となる領域における類似度を算出し、重み付けした前記類似度に基づいて、前記監視対象となる領域の状態を示す指標値を算出して、前記指標値が特定の数値以下の場合に異常を検出して、前記異常が検出される状態が一定期間継続した場合に、前記撮像画像を含むアラート情報を出力する通信障害予測処理を行う制御部とを備え、
制御部が、監視対象となる領域として、相手装置を含む監視領域と、前記監視領域を拡張した拡張領域を複数に分割した分割ブロックとを設定しておき、通信障害予測処理において、前記監視領域及び前記各分割ブロックについて、撮像画像と基準画像との類似度を算出して、前記監視対象となる領域の状態を示す指標値として、前記監視領域及び前記分割ブロック毎の類似度を統合した統合指標値を算出し、前記統合指標値が予め設定された閾値以下となった場合に、異常を検出することを特徴とする無線通信装置。 - 制御部が、通信障害予測処理において、各分割ブロックの重要度に応じて前記各分割ブロックの類似度に重み付けを行って、前記重み付けされた類似度に基づいて統合指標値を算出することを特徴とする請求項1記載の無線通信装置。
- 記憶部が、撮像画像を記憶すると共に、前記撮像画像毎に各分割ブロックの特定期間の類似度を記憶しておき、
制御部が、通信障害予測処理において異常を検出した場合に、現在までの前記特定期間の各分割ブロックにおける類似度の変化傾向に基づいて異常の原因を推定し、前記推定される原因を示す情報をアラート情報に含めて出力することを特徴とする請求項1又は2記載の無線通信装置。 - 互いに対向して設置された1対の無線通信装置を備えた無線通信システムであって、
前記無線通信装置が、請求項1乃至3のいずれか記載の無線通信装置であることを特徴とする無線通信システム。 - 無線通信装置の制御部が、通信障害予測処理において異常を検出した場合に、相手装置における通信障害予測処理の処理結果を取得して、自装置における処理結果に前記相手装置における処理結果を加えて、前記異常の原因を推定することを特徴とする請求項4記載の無線通信システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112070 | 2014-05-30 | ||
JP2014112070 | 2014-05-30 | ||
PCT/JP2015/065581 WO2015182752A1 (ja) | 2014-05-30 | 2015-05-29 | 無線通信装置及び無線通信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6132452B2 true JP6132452B2 (ja) | 2017-05-24 |
JPWO2015182752A1 JPWO2015182752A1 (ja) | 2017-06-01 |
Family
ID=54699072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016523580A Active JP6132452B2 (ja) | 2014-05-30 | 2015-05-29 | 無線通信装置及び無線通信システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9973947B2 (ja) |
JP (1) | JP6132452B2 (ja) |
WO (1) | WO2015182752A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016213234A1 (de) * | 2016-02-12 | 2017-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur Darstellung von Benutzerinformationen und entsprechendes Verfahren |
US10502634B2 (en) * | 2016-05-02 | 2019-12-10 | Hastings Fiber Glass Products, Inc. | Temperature measuring head unit for a hot stick |
JP6699866B2 (ja) * | 2016-05-27 | 2020-05-27 | Necプラットフォームズ株式会社 | 無線通信装置、方法及びプログラム |
JP6948128B2 (ja) | 2017-01-13 | 2021-10-13 | キヤノン株式会社 | 映像監視装置及びその制御方法及びシステム |
JP6854457B2 (ja) * | 2017-03-28 | 2021-04-07 | パナソニックIpマネジメント株式会社 | 無線通信システム、制御装置、中継装置および無線通信制御方法 |
US10268903B2 (en) * | 2017-06-11 | 2019-04-23 | Jungo Connectivity Ltd. | Method and system for automatic calibration of an operator monitor |
WO2019077837A1 (ja) | 2017-10-19 | 2019-04-25 | オリンパス株式会社 | 推定装置、医療システム、推定方法及び推定プログラム |
JP6867940B2 (ja) * | 2017-12-21 | 2021-05-12 | Kddi株式会社 | 管理装置、管理方法、管理プログラム及び通信システム |
JP2019158396A (ja) * | 2018-03-08 | 2019-09-19 | Kddi株式会社 | 物体検知装置、物体検知方法、物体検知システム及びプログラム |
CN109100468A (zh) * | 2018-06-26 | 2018-12-28 | 武汉邦拓信息科技有限公司 | 一种污染源环境自动监测平台的异常数据预警系统及方法 |
US11824882B2 (en) * | 2018-08-13 | 2023-11-21 | Ares Technologies, Inc. | Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust |
US11695783B2 (en) * | 2018-08-13 | 2023-07-04 | Ares Technologies, Inc. | Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust |
US11580800B2 (en) * | 2018-11-08 | 2023-02-14 | Verizon Patent And Licensing Inc. | Computer vision based vehicle inspection report automation |
US20210136274A1 (en) * | 2019-11-01 | 2021-05-06 | Semiconductor Components Industries, Llc | Systems and methods for performing high dynamic range imaging with partial transfer gate pulsing and digital accumulation |
JP2021182216A (ja) * | 2020-05-18 | 2021-11-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN112040219B (zh) * | 2020-07-28 | 2022-08-19 | 北京旷视科技有限公司 | 相机画面检测方法、装置、电子设备及可读存储介质 |
US11688059B2 (en) | 2021-05-27 | 2023-06-27 | International Business Machines Corporation | Asset maintenance prediction using infrared and regular images |
CN113099242B (zh) * | 2021-06-09 | 2021-08-24 | 广东电网有限责任公司湛江供电局 | 一种输电线路视频监测数据处理方法及系统 |
CN115144547B (zh) * | 2022-08-29 | 2022-12-09 | 四川九通智路科技有限公司 | 基于物联网的隧道气体浓度检测方法、装置及电子设备 |
CN116704448B (zh) * | 2023-08-09 | 2023-10-24 | 山东字节信息科技有限公司 | 多摄像头的行人识别方法及识别系统 |
CN117336772B (zh) * | 2023-09-28 | 2024-06-04 | 黑龙江凯程通信技术有限责任公司 | 一种基于图像识别的5g通信基站监控系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7313467B2 (en) * | 2000-09-08 | 2007-12-25 | Automotive Technologies International Inc. | System and method for in-vehicle communications |
JP2002099909A (ja) * | 2000-09-25 | 2002-04-05 | Hitachi Kokusai Electric Inc | 侵入物体検出画像処理方法及び装置 |
JP4889668B2 (ja) * | 2008-03-05 | 2012-03-07 | 三菱電機株式会社 | 物体検出装置 |
JP2011035663A (ja) * | 2009-07-31 | 2011-02-17 | Panasonic Corp | 監視装置および監視方法 |
US9142122B2 (en) * | 2010-11-25 | 2015-09-22 | Panasonic Intellectual Property Corporation Of America | Communication device for performing wireless communication with an external server based on information received via near field communication |
JP6058898B2 (ja) * | 2012-02-22 | 2017-01-11 | 株式会社日立国際電気 | 無線通信装置、無線通信方法、及び無線通信システム |
JP5780553B2 (ja) * | 2012-04-02 | 2015-09-16 | Kddi株式会社 | 障害監視装置及び障害監視方法 |
CN103544691B (zh) * | 2012-07-19 | 2018-07-06 | 苏州比特速浪电子科技有限公司 | 图像处理方法及设备 |
-
2015
- 2015-05-29 WO PCT/JP2015/065581 patent/WO2015182752A1/ja active Application Filing
- 2015-05-29 JP JP2016523580A patent/JP6132452B2/ja active Active
-
2016
- 2016-11-28 US US15/362,235 patent/US9973947B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9973947B2 (en) | 2018-05-15 |
WO2015182752A1 (ja) | 2015-12-03 |
JPWO2015182752A1 (ja) | 2017-06-01 |
US20170078901A1 (en) | 2017-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132452B2 (ja) | 無線通信装置及び無線通信システム | |
US9618613B2 (en) | Radio communication apparatus, radio communication method, and radio communication system | |
KR101825045B1 (ko) | 경보 방법 및 장치 | |
US9349068B2 (en) | Detecting camera conditions to initiate camera maintenance | |
US9965835B2 (en) | Defogging images and video | |
JPWO2017038100A1 (ja) | 監視サーバ、分散処理決定方法、及びプログラム | |
KR20090100174A (ko) | 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템 | |
US11935378B2 (en) | Intrusion detection methods and devices | |
EP3835962B1 (en) | Sensor data processing apparatus, sensor data processing method, sensor device, and information processing apparatus | |
JP2009002914A (ja) | 施設被災監視装置及び施設被災監視方法 | |
US20230056104A1 (en) | Modification of Camera Functionality Based on Orientation | |
US20240054787A1 (en) | Surveillance camera system and method for operating same | |
CN113108919B (zh) | 人体温度检测方法、装置和存储介质 | |
KR20190006725A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2018026682A (ja) | 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法 | |
KR101859883B1 (ko) | 네트워크 장치 | |
US10070056B2 (en) | Omnidirectional camera system | |
CN117636404B (zh) | 基于非穿戴式设备的跌倒检测方法及系统 | |
EP4080879A1 (en) | Smart security camera system with automatically adjustable activity zone and method | |
KR102193722B1 (ko) | 하이브리드 계측기 영상처리 시스템 및 방법 | |
JP2022158339A (ja) | 検出装置、検出方法及びプログラム | |
KR101634967B1 (ko) | 3차원 영상 변환 기반의 앱 호환형 악천후 지역의 모니터링 시스템 및 그 방법 | |
JP2007133470A (ja) | 監視端末装置 | |
CN117111887A (zh) | 一种跌倒检测方法和相关装置 | |
JP5793904B2 (ja) | 侵入者検知システム及び侵入者検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161118 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161205 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6132452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |