JP6132452B2 - 無線通信装置及び無線通信システム - Google Patents

無線通信装置及び無線通信システム Download PDF

Info

Publication number
JP6132452B2
JP6132452B2 JP2016523580A JP2016523580A JP6132452B2 JP 6132452 B2 JP6132452 B2 JP 6132452B2 JP 2016523580 A JP2016523580 A JP 2016523580A JP 2016523580 A JP2016523580 A JP 2016523580A JP 6132452 B2 JP6132452 B2 JP 6132452B2
Authority
JP
Japan
Prior art keywords
wireless communication
similarity
image
unit
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016523580A
Other languages
English (en)
Other versions
JPWO2015182752A1 (ja
Inventor
一成 岩永
一成 岩永
小林 真也
真也 小林
笹浪 斉康
斉康 笹浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Application granted granted Critical
Publication of JP6132452B2 publication Critical patent/JP6132452B2/ja
Publication of JPWO2015182752A1 publication Critical patent/JPWO2015182752A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/04Arrangements for maintaining operational condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/14WLL [Wireless Local Loop]; RLL [Radio Local Loop]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、指向性アンテナを用いた無線通信装置及び無線通信システムに係り、特に、保守の負荷を低減すると共に通信障害の発生を精度よく予測して、通信の信頼性を向上させることができる無線通信装置及び無線通信システムに関する。
[先行技術の説明]
従来、準ミリ波〜ミリ波帯を利用するFWA(Fixed Wireless Access)無線通信システムとして、鋭い指向性を持つアンテナを用いて、特定の固定通信装置間でPoint-to-Pointの無線通信を行うものがある。
対になる通信装置のアンテナは互いに対向して設けられている。
このような無線通信システムでは、アンテナ方向のずれや、2点間に建物が新設されることによって、無線信号が相手に直線的に(無反射で)到達する「見通し」が悪くなり、通信障害が発生するリスクがある。
通信障害の可能性を前もって検知できれば、基地局を移設する等の対策を取ることが可能となるため、画像解析によって通信障害の発生を予測する技術が開発されている。
例えば、通信装置に相手方の通信装置を撮影する撮像装置を内蔵して、撮影した画像をユーザが逐次チェックして異常を検出する手法や、画像のフレーム間方向での輝度差を計算して、輝度差が大きい場合にアラートを発報する手段が開発されている。
しかしながら、撮影された画像全てを保守員がチェックするのは非常に煩雑で、作業の負荷が大きく、また、輝度差の比較によるアラート発報では、天候や日照条件など通信障害とは関係ない事象に対しても反応してしまい、アラートの誤発報が多い。
[関連技術]
画像に基づいて通信障害の発生を予測する技術としては、国際公開第2013/125265号公報「無線通信装置、無線通信方法、及び無線通信システム」(株式会社日立国際電気、特許文献1)があった。
特許文献1には、光軸が指向性アンテナのメインローブ方向と同方向に向けられた撮像手段を備え、対向する無線通信装置への見通しを示す基準画像を撮像して基準画像データとして記憶しておき、定期的に撮像した撮像画像データを基準画像データと比較して、障害物が電波方向に向かっていることを検知して通知することが記載されている。
国際公開第2013/125265号公報
"Eyeontenna",[online],2010年8月20日,KMW Communications、インターネット<URL:http://www.kmw.co.kr/eng/support/upload/Eyeontenna.pdf>
上述したように、従来の無線通信装置及び無線通信システムにおいては、目視でチェックして通信障害の発生を予測する場合は、画像をチェックする保守員の作業が煩雑で負荷が大きく、また、画像の輝度差に基づいて判断する場合は、天候や日照条件の違い等によるアラートの誤発報が多いという問題点があった。
尚、特許文献1には、監視対象を含む監視領域を拡張した分割監視領域を分割した分割ブロックについて、基準画像との類似度を算出し、監視領域と分割ブロックの類似度を統合して現在の状態の正常/異常を判断し、異常が一定期間継続した場合にアラート情報を送信することや、時間的な類似度の変化傾向を考慮して異常の原因を推定することは記載されていない。
本発明は上記実状に鑑みて為されたもので、保守の負荷を低減すると共に通信障害の発生を精度よく予測して、通信の信頼性を向上させることができる無線通信装置及び無線通信システムを提供することを目的とする。
本発明の一側面は、指向性アンテナを用いて相手装置と無線通信を行う無線通信装置であって、指向性アンテナの放射軸と一致する光軸を有して監視対象となる相手装置を含む領域の画像を撮像する撮像部と、該撮像部で撮像され、基準となる基準画像を記憶する記憶部と、定期的に撮像部で撮像された撮像画像を取得して、正規化相互相関により撮像画像と基準画像の監視対象となる領域における類似度を算出し、重み付けした類似度に基づいて、監視対象となる領域の状態を示す指標値を算出して、指標値が特定の数値以下の場合に異常を検出して、異常が検出される状態が一定期間継続した場合に、撮像画像を含むアラート情報を出力する通信障害予測処理を行う制御部とを備えたことを特徴としている。
また、本発明の他の側面は、上記無線通信装置において、制御部が、監視対象となる領域として、相手装置を含む監視領域と、監視領域を拡張した拡張領域を複数に分割した分割ブロックとを設定しておき、通信障害予測処理において、監視領域及び各分割ブロックについて、撮像画像と基準画像との類似度を算出して、監視対象となる領域の状態を示す指標値として、監視領域及び分割ブロック毎の類似度を統合した統合指標値を算出し、統合指標値が予め設定された閾値以下となった場合に、異常を検出することを特徴としている。
また、本発明の他の側面は、上記無線通信装置において、制御部が、通信障害予測処理において、各分割ブロックの重要度に応じて各分割ブロックの類似度に重み付けを行って、重み付けされた類似度に基づいて統合指標値を算出することを特徴としている。
また、本発明の他の側面は、上記無線通信装置において、記憶部が、撮像画像を記憶すると共に、撮像画像毎に各分割ブロックの特定期間の類似度を記憶しておき、制御部が、通信障害予測処理において異常を検出した場合に、現在までの特定期間の各分割ブロックにおける類似度の変化傾向に基づいて異常の原因を推定し、推定される原因を示す情報をアラート情報に含めて出力することを特徴としている。
また、本発明の他の側面は、互いに対向して設置された1対の無線通信装置を備えた無線通信システムであって、無線通信装置が、上記いずれかの無線通信装置であることを特徴としている。
また、本発明の他の側面は、上記無線通信システムにおいて、無線通信装置の制御部が、通信障害予測処理において異常を検出した場合に、相手装置における通信障害予測処理の処理結果を取得して、自装置における処理結果に相手装置における処理結果を加えて、異常の原因を推定することを特徴としている。
本発明によれば、指向性アンテナを用いて相手装置と無線通信を行う無線通信装置であって、指向性アンテナの電波方向と光軸が一致し、監視対象となる相手装置を含む領域の画像を撮像する撮像部と、撮像部で撮像され、基準となる基準画像を記憶する記憶部と、定期的に撮像部で撮像された撮像画像を取得して、正規化相互相関により撮像画像と基準画像の監視対象となる領域における類似度を算出し、重み付けした類似度に基づいて、監視対象となる領域の状態を示す指標値を算出して、指標値が特定の数値以下の場合に異常を検出して、異常が検出される状態が一定期間継続した場合に、撮像画像を含むアラート情報を出力する通信障害予測処理を行う制御部とを備え無線送受信装置としているので、保守員の負荷を低減することができ、また、通信とは関係ない明るさの変化に過度に反応することなく、時間的な類似度の変化も考慮して通信障害の発生を精度よく予測することができると共にアラートの誤発報を防ぎ、通信障害を未然に防いで通信の信頼性を向上させることができる効果がある。
また、本発明によれば、制御部が、監視対象となる領域として、相手装置を含む監視領域と、監視領域を拡張した拡張領域を複数に分割した分割ブロックとを設定しておき、通信障害予測処理において、監視領域及び各分割ブロックについて、撮像画像と基準画像との類似度を算出して、監視対象となる領域の状態を示す指標値として、監視領域及び分割ブロック毎の類似度を統合した統合指標値を算出し、統合指標値が予め設定された閾値以下となった場合に、異常を検出する上記無線通信装置としているので、監視対象となる領域毎に重要度や信頼度によって類似度に重み付けを行って、きめ細かく且つ総合的に監視対象の状態を監視することができ、通信障害につながる異常を精度よく検出し、アラートの誤発報を防ぐことができる効果がある。
また、本発明によれば、記憶部が、撮像画像を記憶すると共に、撮像画像毎に各分割ブロックの特定期間の類似度を記憶しておき、制御部が、通信障害予測処理において異常を検出した場合に、現在までの特定期間の各分割ブロックにおける類似度の変化傾向に基づいて異常の原因を推定し、推定される原因を示す情報をアラート情報に含めて出力する上記無線通信装置としているので、保守員は、通信障害につながる原因に早期に対応することができ、通信の信頼性を向上させることができる効果がある。
本発明の実施の形態に係る無線通信システムの構成を示す概略図である。 無線通信装置10の外観図である。 無線通信装置10の構成ブロック図である。 本システムの保守装置20の構成ブロック図である。 監視領域の設定例を示す説明図である。 分割監視領域の設定例を示す説明図である。 撮像画像の例を示す図である。 通信障害予測処理の概要を示すフローチャートである。 現状撮像処理のフローチャートである。 画像解析テーブルの説明図である。 画像解析処理のフローチャートである。 アラート発報処理を示すフローチャートである。 原因推定テーブルの説明図である。 基準画像更新処理を示すフローチャートである。
本発明の実施の形態について図面を参照しながら説明する。[実施の形態の概要]
本発明の実施の形態に係る無線通信システム(本システム)は、無線通信装置(本装置)に指向性アンテナの電波方向と光軸が一致する撮像手段を備え、条件が良好なときに撮像した画像を基準画像として記憶しておき、通信相手である無線通信装置及びその近傍を撮像し、制御部が、定期的に撮像した画像と基準画像とを比較して、明るさの変化に影響を受けにくい正規化相互相関によるテンプレートマッチング手法で類似度を算出し、類似度が低い状態が一定期間持続した場合に保守端末にアラートを発報する構成としており、保守員の作業負荷を軽減すると共に、天候や日照等の外乱ノイズによる誤発報を防ぎ、通信障害の発生を容易に且つ精度よく予測して、実際の障害発生を未然に防ぐことができ、通信の信頼性を向上させることができるものである。
また、本発明の実施の形態に係る無線通信装置は、監視範囲を複数のブロックに分割し、撮像画像をブロック毎に基準画像と比較して類似度を算出するものであり、画像を精度良く解析することができると共に、ブロック毎の類似度の変化から通信障害の原因を推定することができ、迅速に対応可能とするものである。
[実施の形態に係る無線通信システムの構成:図1]
図1は、本発明の実施の形態に係る無線通信システムXの構成を示す概略図である。無線通信システムXは、接続元機器と接続先機器との間の通信を中継する通信システムであり、無線通信装置10,11と、保守端末20とを備えている。
図1の例では、無線通信装置10は、ネットワーク5を介して保守端末20及び接続先機器と接続されており、無線通信装置11は、ネットワーク6を介して接続元機器に接続されている。
無線通信装置10、11は同様の構成を備え、P−P通信用の対向型の無線通信装置である。無線通信装置10、11は、データ通信用の無線リピータとして機能し、例えば指向性の高い25GHzのミリ波帯、準ミリ波帯等を用いて数kmの距離で数100Mbpsもしくはそれ以上のレートで双方向に対向通信を行う。
無線通信装置10、11は、起動時の状態によって一方がマスタ装置、他方がスレーブ装置として自動設定され、周波数チャンネル等も自動で選択させることできる。
また、無線通信装置10,11は、画像を撮像する撮像部を備えており、互いに相手の画像を撮像して通信障害の予測に利用している。
そして、本システムの特徴として、無線通信装置10、11は、その見通し線上に障害物30(物体)が建築された等で、無線通信の障害を検知した場合、画像を含む通信障害情報を保守装置20に送信する。
また、無線通信装置10、11は、所定間隔で定期的に画像を撮像し、画像に異常があれば、画像及び推定原因の情報を含むアラート情報(警告情報)を保守装置20に送信する。
保守装置20は、無線通信システムXの管理者が用いる保守や管理用のPC、汎用機、サーバ等の装置である。
保守装置20は、無線通信装置10、11に対して各種パラメータの設定を行い、また、撮像された画像データや各種センサのデータ及び受信信号強度のデータ等を要求することもできる。
ネットワーク5、6は、任意のIPネットワークであり、無線通信装置10、11と例えば1000BASE−T等により接続される。ネットワーク5、6は、スイッチ、ルータ、PC(Person al Computer)、サーバ、スマートフォン、タブレット等の接続先機器と接続することができる。
また、ネットワーク5、6は、ルータ等を用いてインターネットや携帯電話網やPHS網等の他のネットワークと接続してもよい。
本システムでは、無線通信装置10、11間の通信異常を、実際に発生する前に検出するため、画像を撮影して基準画像と比較して解析し、それに基づいて迅速で精度のよいアラート出力を行うものである。画像の撮像や解析の処理については後で詳細に説明する。
無線通信装置10,11は同様の構成及び動作であるため、以下の説明においては、無線通信装置10を例として説明する。
[無線通信装置10の外観:図2]
次に、図2を参照して、無線通信装置10の外観について説明する。図2は、無線通信装置10の外観図である。
図2に示すように、無線通信装置10は、アンテナ、高周波部、信号処理部(PHY)、MAC処理部、インタフェース部等を一体に内蔵する筐体12と、ポール等への取り付け金具である取り付け部13とから主に構成されている。
また、筐体12には、アンテナの指向性方向を確認するためのスコープ部14を備えている。さらに、筐体12には、アンテナの指向性方向と同一方向にカメラの光軸が向くように設定された撮像部15を備えている。撮像部15は、カメラ等である。
また、撮像部15は、通信相手の無線通信装置11及び通信経路上の画像を撮像するものであり、アンテナの指向性のある方向に、例えば数度程度の視野角の画像のみ撮像する。更に、撮像部15は、カメラの光軸を雲台等で変更できないように構成することが好適である。これにより、無線通信装置10に係るプライバシー上の問題を少なくすることができる。撮像部15は、スマートフォンなどに内蔵されるカメラセンサモジュールと適切な固定ズームレンズを組み合わせて実現できる。
[無線通信装置10の構成ブロック:図3]
次に、図3を参照して、本システムの無線通信装置10の具体的な制御構成について説明する。図3は、無線通信装置10の機能ブロック図である。
図3に示すように、無線通信装置10は、図2に示した筐体12の内部に、主として、制御部100と、記憶部110と、無線送受信部120と、信号強度測定部130と、同期検出部135と、ネットワーク送受信部140と、撮像部150と、画像処理部160と、レーザー出力部170と、タイマー部180とを備えている。各部は、例えば共通のバス等で接続される。尚、撮像部150は、図2に示した撮像部15と同等である。
無線通信装置10の各部について具体的に説明する。
[制御部100]
制御部100は、GPP(General Purpose Processor)、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、SoC(System-on-a-chip)等の組込みコンピュータであり、各部を制御する。
本装置の特徴に関する制御としては、制御部100は、撮像部150に対して相手装置の無線通信装置を含む画像の撮影(撮像)を指示する。
撮像は、送受信時に取得された電波状態が異常の場合に行うと共に、通信異常が発生する前から定期的に監視するため、タイマー部180に基づいて行う。
電波状態の監視としては、信号強度測定部130からの受信信号強度や、同期検出部135からの同期検出を用いる。
また、制御部100は、保守装置20からの指示や現地の作業員による操作に応じて撮像部150に撮像を指示することも可能である。
そして、本装置の特徴として、制御部100は、撮像された画像(撮像画像)に基づいて、通信障害が発生する前に、障害発生を予測してアラートを出力する通信障害予測処理を行う。通信障害予測処理については後述する。
[記憶部110]
記憶部110は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、制御部100が実行するプログラムやデータ、各種の設定値、及び画像データを記憶している。
画像データとしては、正常時の基準となる基準画像データと、運用時に撮像された撮像画像データ、また一定期間の撮像画像の平均である平均画像データ等がある。これらの画像データの詳細については後述する。
記憶されている設定値やデータとしては、撮像を判定するための信号強度の閾値(信号強度撮像閾値)、撮像間隔設定値、アラート情報のデータフォーマット等がある。
更に、本装置の特徴として、記憶部110は、撮像された画像データを解析し、アラート情報を出力するか否かを判断するためのデータを記憶する画像解析テーブルと、アラート情報を出力する前に、検出された異常の原因を推定するための基準となる原因推定テーブルを備えている。これらのテーブルについても後述する。
また、記憶部110は、後述する重み付き統合類似度の閾値や、スコアの閾値を記憶している。
尚、記憶部110は、例えば、USBメモリやSDカード等の脱着可能な記録媒体を含んでいてもよく、記録媒体にも画像データを記憶可能である。
[無線送受信部120]
無線送受信部120は、アンテナ、RF(Radio Frequency)手段(無線通信手段)、デジタル変復調手段、A/D(Analog/Digital)変換手段、D/A(Digital/Analog)変換手段、符復号化手段、暗号化手段、QoSスケジューリング手段等を含み、無線信号の送受信を行う。また任意の伝送路状況に応じて最善なスループットが得られるように適応変調符号化(AMC)を行う。
無線送受信部120のアンテナは、搬送波が広がりにくいペンシルビームアンテナ等の指向性アンテナを用いることが好適である。
また、無線送受信部120は、電波の送受信を、時分割双方向通信(TDD;Time Division Duplex)や周波数分割双方向通信(FDD;Frequency Division Duplex)等の方式で行うことができる。
[信号強度測定部130]
信号強度測定部130は、無線送受信部120からの電波について、受信信号強度の測定や受信品質に係るS/N比等の取得を行うものであり、これらの測定値が基準値より低ければ制御部100に受信信号強度が異常である旨報知する。適応変調符号化を実施している場合は、現在の変調方式や符号化方式の情報もあわせて取得する。
[同期検出部135]
同期検出部135は、受信した無線信号に含まれる同期信号やプリアンブル等を検出し、無線伝送されて同期信号を復元すると共に、同期信号の復元の有無を検出する。そして、同期信号やプリアンブルの検出が正常に行われなかった場合に、同期検出が異常である旨報知する。
信号強度測定部130及び同期検出部135の機能は通常、無線送受信部120内に構成され得る。
[ネットワーク送受信部140]
ネットワーク送受信部140は、ネットワーク5又は6に接続するための、例えば、1000BASE−T/100BASE−TX規格のインタフェースであり、伝送媒体に即したMAC層処理を行う。つまり無線送受信部120で扱っている無線伝送ペイロードや、制御部100で発生する保守装置との通信等を、ネットワーク5又は6に接続する。
また、ネットワーク送受信部140は、例えば、PoE(Power on Ethernet、Ethernetは商標)による電源供給を行うための電源部やバッテリ等を備えてもよい。またブリッジ処理やルータ処理を行ってもよい。
[撮像部150]
撮像部150は、制御部100からの指示に応じて相手先の無線通信装置11を含む画像を撮影し、赤外線や可視光用のカラー/モノクロの光信号を電気信号に変換するものであり、撮像素子とA/Dコンバータ等を備えている。撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等がある。
ここで、撮像部150は、主に対向する無線通信装置11への電波通信が障害物で遮られることなく到達する「見通し」を確認する程度の狭い範囲のみ撮像する。
撮像部150は、無線送受信部120の指向性アンテナとカメラの光軸が一致する視野角0.5〜5度程度の所定角度の範囲のみ撮像できるようにすると、また、プライバシーに配慮することができる。
撮像部150は、光学レンズ、ズームレンズ、及び雨水や埃等の侵入を防ぐカバーを備えてもよい。
適度な光学ズーム倍率のレンズの使用により、撮像素子に必要な画素数を減らすことができる。また夜間に動く被写体を撮影する目的ではないため、感度はあまり必要なく、大きな撮像素子を使用する必要がないため、コストを削減できる。
尚、撮像部150は、必ずしも無線通信装置10と一体に構成するものに限らず、分離していてもよい。また、静止画像だけでなく動画像を撮像可能としてもよい。
尚、後述するように、「見通し」の判断にはレーザーを用いてもよい。
[画像処理部160]
画像処理部160は、撮像部150からの電気信号を画像処理して、所定のフォーマット、例えばJPEG、JPEG2000、PNG、BMP等の主に静止画像に変換する。その際、画像の容量の圧縮、ベクトルデータ化等を行うことも可能である。
画像処理部160は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)等の画像処理用コンピュータで構成される。
また、画像処理部160は、記憶部110に記憶された過去の撮像画像に基づいて平均画像を作成し、画像同士の差分計算を行う。差分は、基準画像と撮像画像、又は平均画像と撮像画像との間で求められる。
また、画像処理部160は、FFT(Fast Fourier Transform)やウェーブレット分析等を用いて画像のノイズ成分や特徴量の分析を行う。特徴量を分析することにより、雨や霧、陽炎等の環境要因を排除しながら、無線通信に障害をもたらす遮蔽物30を高精度に判別ことが可能となる。
更に、画像処理部160は、時系列の撮像画像データを、動画GIF、AVI、MOV、MPEG等の動画データに変換することも可能である。これにより、建物の建設の進捗等を保守装置20から閲覧可能である。
[レーザー出力部170]
レーザー出力部170は、例えば、撮像部150で検知可能な赤外線等のレーザー信号を、無線送受信部120のアンテナの電波の方向と同方向に出力する。レーザー出力部170のレーザー信号を画像処理部160が検知して、「見通し」があるか否かを制御部100が判定することも可能である。
レーザー光は、相手装置に到達するまでの間に適当な径に広がり、撮像部150に入射する。相手装置の画像処理部でロックイン検出するために、レーザー信号は、撮像部150の撮影レートより低速の既知の周期で或いは擬似雑音系列によりON/OFF変調されることが望ましい。相手装置との間の同期は、後述のNTP同期された時計或いは無線フレームナンバーのカウント等により行う。なおレーザー信号は、自装置から送信され、相手装置(又は障害物)によって反射された信号でもよいし、相手装置から送信されたレーザー信号であってもよい。あるいは、無線通信装置10が設置されるビルに若しくは相手装置からの見通し線上に、航空障害灯及び昼間障害標識等が設置されている場合、それで代用できる。
[タイマー部180]
タイマー部180は、クオーツを備えたバッテリバックアップ・リアルタイムクロック(RTC)やインターバルタイマー等で構成され、年/日/時/分/秒等の時刻を計測する。
また、保守装置20から画像の撮像間隔を設定しておくことにより、タイマー180は定期的に制御部100に対して撮像のタイミングを報知する。尚、タイマー部180の時刻は、制御部100がインターネット等のタイムサーバ等から取得して、設定してもよい。
[その他]
なお、この他にも、無線通信装置10は、降雨、日照、天候、風力、風向、温度、湿度等の周囲環境に係るデータを取得するセンサ類を備えていてもよい。このセンサ類で取得した値も、記憶部110に記憶する。
また、無線通信装置10は、ポータブル保守装置と直接接続する受信電力モニタ端子、シリアル/USB端子、無線LANインタフェース等を備えていてもよい。
[保守装置20の構成:図4]
次に、本システムの保守装置20の構成について図4を用いて説明する。図4は、本システムの保守装置20の構成ブロック図である。
図4に示すように、本システムの保守装置20は、制御部200と、記憶部210と、表示部220と、入力部230と、ネットワーク送受信部240とを備えている。
制御部200は、演算手段であり、保守装置20全体の制御を行うものである。
記憶部210は、制御部200で実行する保守用プログラムを記憶すると共に、無線通信装置10から送信されたアラート情報を記憶し、蓄積している。
表示部220は、アラート情報に含まれる画像やメッセージを表示して管理者に閲覧可能とし、また、保守用の画面等を表示する。
入力部230は、管理者の指示や設定値等を入力する。
ネットワーク送受信部240は、ネットワーク5,6に接続するインタフェースである。
[監視領域の設定:図5]
本装置における動作を具体的に説明する前に、画像を監視して通信障害の発生を予測する際の監視対象となる監視領域の設定例について図5を用いて説明する。図5は、監視領域の設定例を示す説明図である。
図5に示すように、通信相手の無線通信装置11を撮像部150で撮影すると、例えば、図5全体の画像が取得される。
この内、重要な監視対象となるのは、無線通信装置11及びその近傍であり、この領域を監視領域70として指定する。
具体的には、初期設定時において、どの範囲を監視領域70とするかを、例えば保守員が画面上で矩形で囲んで指定すると、記憶部110に、画像全体における監視領域70の座標データが監視領域データとして記憶される。
尚、撮像部150のカメラと無線通信装置10の光軸がハードウェア上で同じであれば、撮像画像中での相手通信装置11の位置は画像の中心付近に一意に決定でき、自動で監視範囲70が決定されるようにしてもよい。組立上の精度が不足した場合に備え、ユーザが任意に監視範囲を指定するインタフェースが用意されている。図5では監視領域70が画像の中央上寄りに設定された例が示されているが、実際には中央付近である。
監視領域70を指定する際の形状は矩形に限らず、円、長円(楕円)、多角形等或いは単なる1つの点であってもよい。点で指定された場合は、所定のサイズの領域に自動的に拡張される。
画像の比較時には、制御部100は、基準画像の監視領域70と撮像画像の監視領域70との比較を行って類似度を算出するものである。
[分割監視領域の設定:図6]
更に、本装置においては、監視領域70だけでなく、監視領域70を拡張し、複数に分割した分割監視領域についても監視対象の領域として監視を行う。分割監視領域について図6を用いて説明する。図6は、分割監視領域の設定例を示す説明図である。
図6に示すように、分割監視領域80は、図5に示した監視領域70を上下左右に広げた領域であり、更に領域全体を4段3列に分割して、左上から右下に向かって、分割ブロック8(1,1)、8(1,2)、...8(4,3)とする。そして、各分割ブロック8(m,n)について基準画像との比較を行う。尚、分割監視領域80は、請求項における拡張領域に相当する。
分割監視領域80の形状及び分割ブロックの形状は、保守員が個別に入力してもよいし、予め形状のパターンを入力しておいて、基準となる位置を画面上で指定することで制御部100によって分割監視領域80が特定されるようにしてもよい。
更に、個々の分割ブロック8は、他の分割ブロック8と一部重なっていてもよい。
分割監視領域80を設けることにより、きめ細かい画像監視を可能とすると共に、通信障害が発生することを予測した場合に、その原因を推定することができるものである。例えば、分割監視領域80の下のほうの分割部ロック8から順に類似度が低くなっている場合、建物が建設されつつあることが考えられる。
更に、分割ブロック毎に重み付けすることにより、緊急性の高い異常を迅速に検出してアラート発報したり、また、画像の信頼性の低いブロックを識別することができるものである。
図7は、分割監視領域の他の設定例を示す説明図である。本例では通信装置11の位置を点で指定すると、それを中心に大きさの異なる3つの円領域と、その下方に画像下端まで延びる台形領域が自動で設定され、それぞれの領域は、図6の分割ブロック同様、類似度の低下の順や重み付けを用いた識別に利用できる。通信装置10と11の間の無線伝送路は、空中に円柱状に形成されていると考えられ、その断面は、自己の通信装置10のごく近くでは、図7の外側の円のように、通信装置11の像よりかなり大きくなる。
[通信障害予測処理:図8]
上述したように、本装置では、実際に通信障害により受信信号強度が劣化する前に、画像を監視することでその兆候を発見し、原因を推定し、画像情報及び推定原因を含むアラート情報を送信する通信障害予測処理を行う。
通信障害予測処理の概要について図8を用いて説明する。図8は、本装置における通信障害予測処理の概要を示すフローチャートである。
通信障害予測処理は、本装置の特徴部分であり、制御部100が、各部と協働してハードウェア資源を用いて実行するものである。
図8に示すように、本装置は、まず、通信相手となる無線通信装置11への見通しを判断するための基準画像を生成する(S101)。基準画像は、後述する画像解析処理のテンプレートマッチングにおいて、撮像画像と比較されるテンプレートになる画像である。
S101では、少なくとも1つの基準画像が、装置設置時や視界が良好な状態において、撮像部150により撮像された画像を平均化することで生成される。後述するように、昼夜(時刻)や天候、季節等の環境に応じて複数の平均化画像が記憶され、その中から選択した1つを基準画像として用いることができる。基準画像は、画像処理部160によって所定のデータフォーマットに変換されて、記憶部110に記憶される。
また、後述するように、本装置は、撮像画像の解析を行う毎に基準画像の信頼性をチェックして、必要であれば基準画像の更新或いは切替えを行う。
更に、本装置は、監視対象となる監視領域70及び分割監視領域80を設定し、記憶部110に記憶する(S102)。
装置の運用が開始されると、本装置は、定期的に現状を撮影する現状撮像処理を行う(S104)。現状撮像処理については後述する。
そして、本装置は、撮像を行うと、撮像条件が良好であるか、つまり撮像画像の信頼性が高いかどうかを判断する(S106)。例えば、画像が暗かったり、基準画像との差分が非常に大きかったりした場合、撮像画像もしくは基準画像の信頼性が低い。
撮像画像の信頼性が高くないと判断した場合には(Noの場合)、本装置は処理S130に移行する。これにより、信頼性の低い画像に基づいてアラートを発報してしまう誤発報を防ぐ。
一方、処理S106で撮像画像の信頼性が高い場合には(Yesの場合)、当該撮像画像を用いて画像解析処理を行う(S110)。画像解析処理では、監視領域70及び分割監視領域80について基準画像と撮像画像とを比較して、類似度を算出し、更に類似度に重み付けして指標値を算出し、更に指標値の時間的な変化を加味したスコアを算出する。スコアは、当該撮像画像での監視領域及び分割監視領域の状態が、通信異常が発生する可能性が高いかどうかを判断するための指標となる値である。
本装置では、類似度の算出において、明るさの変化に強い正規化相互相関によるテンプレートマッチングによって類似度を算出することにより、明るさの違いによる誤発報を低減する。
画像解析処理については後で説明する。
そして、本装置は、画像解析処理(S110)で算出されたスコアがアラート発報の基準となるスコアの閾値以下であるかどうかを判断し(S112)、閾値以下(類似度の低い状態が一定期間継続している場合)であれば(Yesの場合)、アラート発報処理を行う(S120)。発報されるアラート情報には、撮像画像データと、推定された障害の原因を示す情報とが含まれうる。アラート発報処理については後述する。
また、処理S112で、スコアが閾値を超えていた場合(類似度が高い、又は類似度の低い状態が一定期間継続していない場合)には(Noの場合)、基準画像更新処理を行って(S130)、処理S104に移行して現状の監視を続ける。基準画像の更新時定数は、障害物30の建築に進展が確認できる程度の時間に設定され、通常は数日以上である。
図8に示すように、処理S104から処理S130の間はループになっており、通常は、タイマー部180から指示されるタイミングで処理S104が開始される。
ループ処理の実行間隔は、例えば10分〜1日程度であり、保守装置20から任意に設定可能としており、記憶部110に記憶されると共にタイマー部180に設定されている。
また、信号強度測定部130が測定した受信信号強度が、予め設定され記憶部110に記憶された信号強度撮像閾値を下回った場合、あるいはユーザが任意に実行を指示した場合は、定期的な実行間隔によらず直ちにS104〜S130を実行するようにしてもよい。
後述するように、本装置の通信障害予測処理では、昼夜や天候を考慮した処理を行って、正常時と現状との差分を正確に算出し、通信障害とは関係ない明るさの変化に過度に反応しないようにして、アラートの精度を向上させるものである。
また、監視領域70だけでなく、分割監視領域80の分割ブロック毎に画像の類似度を算出してそれに基づいて通信障害発生を予測して、きめ細かい現状認識を可能とすると共に、分割ブロック毎の類似度の変化によって通信障害の原因推定を可能とするものである。
以下、通信障害予測処理内の処理ブロックについて具体的に説明する。
[現状撮像処理:図9]
次に、図8の処理S104に示した現状撮像処理について図9を用いて説明する。
図9に示すように、現状撮像処理では、制御部100は、タイマー部180からの撮像のタイミング等に基づいて撮像部150に指示を出力し、撮像部150は撮像を行う(S201)。この撮像は、1回の露出によるものに限らず、複数回の撮影により取得した複数の画像を平均化し、1つの撮像画像として出力することを含む。数分の間に撮影した数1000枚のRAW画像を平均化することで、S/Nを改善することができる。このとき、露出(シャッタ速度や絞り)やフォーカスを変化させながら撮影してもよい。軸上色収差が大きいレンズでは、フォーカスの微動により、いずれかの色で合焦が改善した画像が得られる。
そして、画像処理部160が撮像画像を所定のデータフォーマットに変換し(S202)、変換された撮像画像を撮像画像データとして記憶部110に記憶する(S203)。基準画像と同じデータフォーマットに変換することにより、基準画像と撮像画像との比較を行うことができるものである。
そして、制御部100は、現時点の昼夜を判定する(S204)。これは、昼と夜とでは画像の明るさやホワイトバランス等が異なるため、基準画像を切替えたり、それを考慮して基準画像との差の有意性を判断したりする。
昼夜の判定方法は、例えば、予め記憶部110に本装置が設置された地点の緯度と経度における日の出日の入りの時刻を記憶しておき、制御部100が、タイマー部180から現在の日時を取得して、記憶された日の出日の入りの時刻と比較して昼夜を判定する。
更に、制御部100は、現時点の日照(天候)条件を判定する(S205)。
昼であっても晴天時と曇天や雨天時、霧が発生している場合等では日照の状態が異なり、その違いによって陰影のできかた等が変化するため、基準画像との差分が大きくなってアラートを発報してしまうのを防ぐためである。日照条件のうち照度は、画像処理部160によって、画面全体あるいは人工的な光の影響を受けにくい領域の輝度の平均値等で表される明るさによって表現できる。
日照条件のうち大気透明度は、コントラストの大小を計測することにより、コントラストが小さい場合に、霧や雪等の視認性が悪い(視界が不良)状態を認識したり、画面全体のS/N比を求める方法等がある。或いは、ネットワーク経由で外部から気象情報データを取得して利用してもよい。なお日照条件が精度良く得られれば、S204の昼夜も自ずと判定できる。
昼夜判定の結果及び日照条件の判定結果は、撮像時の明るさ(照度)やコントラスト、S/N比を示す情報を含み、制御部100は、これらの判定結果を明るさ情報として撮像画像データに対応付けて記憶部110に記憶し(S206)、現状撮像処理を終了して図8の処理S106に移行する。
図8の処理S106では、制御部100は、記憶部110に記憶された明るさ情報に基づいて撮像画像の信頼性を評価し、例えば、視認性が悪い(よく見えない)場合や、コントラストやS/N比が基準画像とかけ離れている場合には、画像の信頼性が低いと判断することができる。
[画像解析テーブル:図10]
ここで、記憶部110に記憶されている画像解析テーブルについて図10を用いて説明する。図10(a)は、監視対象となる領域を示す図であり、(b)は、画像解析テーブルの一例を示す説明図である。
図10(b)に示す画像解析テーブルは、撮像画像データに対応して、図10(a)に示した監視対象の監視領域70及び分割監視領域80の各分割ブロック8について、算出された類似度、各種統計値、及び、通信障害発生の有無を予測するため予め設定される各種データを記憶するテーブルである。
画像解析テーブルに記憶されたデータは、当該撮像画像での監視対象の状態が正常であるか異常であるかを判断するための指標値を算出する際に用いられる。
具体的には、図10(b)に示すように、画像解析テーブルは、監視領域70と、分割監視領域80の12個の分割ブロック8のそれぞれについて、類似度と、類似度の平均値と、標準偏差と、しきい値と、正規化補正の補正値と、領域重み付け係数と、信頼度とを記憶しており、また、監視対象の領域全体に対応して、重み付き統合類似度と、正常/異常のクラスと、スコアとを記憶する。
各項目について説明する。
類似度は、後述する画像解析処理において算出された値であり、類似度が高いと通信障害発生の可能性は低く、類似度が低いと通信障害発生の可能性は高くなる。
ここでは、無線通信装置11の近傍である監視領域70の類似度は0.95と高い値であるが、分割監視領域80の右下ブロックである分割ブロック8(4,3)の類似度は0.41と低くなっている。
平均は、現在から一定期間の過去において算出された類似度の平均値であり、標準偏差(σ)は、同じ一定期間において算出された類似度の標準偏差である。
平均及び標準偏差は、画像解析処理により類似度が算出されるたびに更新される。平均及び標準偏差を厳密に計算しようとすると、一定期間において算出された全ての類似度の値を保持しておく必要があるため、現在記憶している平均値、標準偏差と類似度から、近似的に計算してもよい。
閾値は、各領域の類似度を正常か異常かに分類する基準の値であり、予め与えられる値である。閾値よりも大きければ正常、閾値以下であれば異常とする。
本実施形態では、閾値を領域毎に異なる値としており、図10の例では、(平均値−2σ)か、0.80のいずれか低いほうとしている。例えば、監視領域70のしきい値は、0.79であり、分割ブロック8(2,1)のしきい値は0.62である。また、全てのしきい値を同じ固定の値としてもよいし、(平均値−3σ)としてもよい。
尚、本形態では、後述する重み付き統合類似度を用いて画像の総合的な評価を行うため、閾値は必須ではないが、閾値を用いた各監視領域や分割ブロック毎の判断を主体とし、異常と判定された領域の数や、異常な領域の出現する順序関係などに基づいて総合的な判断をする実施形態とすることも可能である。
また、正規化補正の補正値は、領域間で類似度を正規化するための補正値である。領域内の絵柄によって高い類似度の得られやすさがことなるので、例えば類似度の平均値が低い領域に、1より大きな補正値を与え、類似度を補正する。
領域重み付け係数は、領域の空間的位置等に由来する重要度に応じて類似度に重み付けする係数であり、各領域の類似度を、総合的な通信障害発生の有無の判定にどの程度反映させるか、寄与の度合いを調整するものである。
図10(b)の例では、最も重要度の高い無線通信装置11をカバーする監視領域70の領域重み付け係数が最も大きく、0.5であり、分割監視領域80の各分割ブロックの領域重み付け係数は、監視領域70から離れるほど小さくなっている。つまり、監視領域70を占有するような障害物は無線通信に致命的であるが、分割ブロック8(4,3)だけに掛かる障害物は、それが無線通信装置11から近くにある場合に伝送路の一部を遮蔽しうるに過ぎない。なおここでは、領域重み付け係数の合計は1になるようにしている。
信頼度は、当該撮像画像に基づいて通信障害発生の有無を総合的に判定する場合に、各領域で算出された類似度を、どの程度寄与させるかを示す指標である。
例えば、図10(b)の例では、監視領域70は信頼度1.0であり、監視領域の類似度は、通信障害発生の判断に大きく寄与するが、分割ブロック8(4,3)は信頼度0.00であり、今回撮像された撮像画像を用いた通信障害予測の判定において、当該分割ブロックの類似度は全く寄与しないことを示している。
画像解析テーブルにおいて、閾値や、正規化補正の補正値、領域重み付け係数、信頼度の各数値は、装置の運用開始前に保守装置20から固定的に設定されてもよいし、画像解析処理において算出される類似度等の値に応じて適応制御してもよい。
統合類似度(重み付き統合類似度)は、当該撮像画像と基準画像とが監視対象の領域全体としてどの程度類似しているかを表す指標値である。
後述するように、統合類似度は、監視対象となる各領域の類似度に、画像解析テーブルに記憶された正規化補正値、領域重み付け係数、信頼度を乗算し、それらを合算することよって算出される。類似度に乗じられる係数が3つあることにより、それらの一部を手動設定(固定)、残りを自動設定(可変)にして用いることができる。
また、正常/異常のクラスは、統合類似度と、記憶されている統合類似度の閾値とを比較して、当該撮像画像の監視対象の領域が全体として「正常」(1)であるか「異常」(0)であるか、クラス分けした結果である。
更に、スコアは、クラス分けの結果を一定期間に亘って平均或いは蓄積した値である。スコアを算出することにより、正常/異常の状態の時間的な継続状態を反映させるものである。
統合類似度、正常/異常のクラス、スコアは、領域の数と必ずしも一致せず、テーブルの形態で保持される必要はない。
更に、本装置では、画像解析テーブルのデータを一定期間記憶部110に保持しておき、アラート発報の際にそのデータを用いて通信障害の原因推定を行うものである。★
[画像解析処理:図11]
ここで、図8の処理S110に示した画像解析処理について図11を参照しながら説明する。画像解析処理の主な内容は、制御部100又は画像処理部160が、図10で示した画像解析テーブルに基づいてスコアを算出することである。
最初にS301として、撮像画像の平均画像を更新し、記憶部110に記憶する。平均画像は、過去から現在までの特定期間の撮像画像を指数移動平均して得られる画像であり、昼夜(時刻)や天候、季節等に応じて複数のバージョンが作成され得る。S301の更新は、現在基準画像に採用されている平均画像そのものを置き換える様態や、採用された平均画像とは別個に生成する様態で行われ、別個に生成された平均画像は、採用された平均画像が(一時的に)適切でなくなった時などに、代わりに利用されうる。
平均画像を更新するのは、図8の処理S106で撮像画像の信頼性が高いと判断された場合である。平均画像データの更新は、ユーザが通信装置を設置した直後や、ユーザによる目視によるチェックがされた直後で、天候条件のよい数日間など、映像に異常がないことが既知な時のみ実行するようにしてもよい。
次にS302として、テンプレートマッチングにより基準画像と撮像画像とを比較して、類似度を算出する(S302)。
具体的には、基準画像と撮像画像の、監視領域70及び分割監視領域80について類似度を求める。基準画像には、図9の現状撮像処理で取得した昼夜や天候といった情報(明るさ情報)に基づいて、複数の平均画像の中から最適な1つが選択される。
類似度の算出は、同じ位置(同じ座標)の領域の画像データの比較によるものであり、基準画像と撮像画像の監視領域70同士、及び分割監視領域80の分割ブロック8(1,1)〜8(4,3)同士を比較して類似度を算出する。
その際、本装置では、テンプレートマッチング法の一種で、明るさ変化に強い正規化相互相関に基づいて演算を行う。正規化相互相関は、従来の輝度差による判定に比べて、明るさの変化を過度に検出しないので、多くの種類の平均画像を持たなくても、明るさの違いによるアラートの誤発報を低減できるものである。
基準画像データの監視領域70の画素の輝度をT、撮像画像データの監視領域70の画素の輝度をIとし、監視領域70を幅M、高さNの矩形とする場合、正規化相互相関に基づく類似度Rznccは、式(1)で表される。
Figure 0006132452
類似度の演算については、正規化相互相関の代わりに、ヒストグラム等化等のコントラスト補正後にSAD(Sum of Absolute Difference)を求めてもよく、等化後のヒストグラムの類似度(ヒストグラムインターセクション)を用いてもよい。或いは、画素値ベクトルを入力する特異スペクトル変換法(Singular Spectrum Transformation)で得られる特異ベクトルの内積値、SIFT(Scale-Invariant Feature Transform)等の特徴量での比較(距離)等を用いてもよい。
分割監視領域80の各分割ブロック8についても同様に算出する。
そして、制御部100は、監視領域70及び分割監視領域80の各分割ブロックについて算出された類似度を、上述した画像解析テーブルに一時的に保持する。更に、各領域について類似度の平均値や標準偏差も算出して、画像解析テーブルに保持する。
正規化相互相関を用いることによって、保持する平均画像の数を減らすことができるが、S104の現状撮像処理で取得した明るさ情報が、より多くの種類の詳細な撮影環境を示している場合、明るさ情報に基づいて類似度を補正することにより、更にロバスト性を向上させることができる。
次にS303として、制御部100は、算出された各領域の類似度について統計或いは時間推移解析等を行い、対応する領域の閾値、領域重み付け係数、信頼度を決定し、画像解析テーブルに保持する。これら閾値等を固定値として運用する場合、S303は不要、或いは設置後の一定期間のみ行う。
例えば、過去3ヶ月間の各日の同時刻に取得した撮像画像データの類似度の平均及び標準偏差(σ)を算出し、平均値−2σや、平均値−3σを閾値とする。
また、信頼度については、類似度の標準偏差が他の領域よりも著しく大きい領域など、分割監視領域80全体の類似度の傾向と明らかに異なる領域の信頼度を低く設定する。
特に、撮像画像データの明るさ情報が基準画像の明るさ情報と著しく異なる領域については、処理S303で当該領域の信頼度を低くして、判定に対する寄与率を小さくする。
更に、天候条件やノイズの影響を受けやすく、誤報の実績が多い領域に関して信頼度を低く設定する。
また、長期に亘って類似度の平均が低い領域についても信頼性が低いものとして、信頼度を低く設定する。
或いは、ある領域の現在の類似度または過去短期間の平均類似度に基づいて、他の領域の領域重み付け係数や信頼度を変化させてもよい。例えば、障害物30の建設が、下から上に進行することに対応して、分割ブロック8(4,2)の類似度が低い時、その上方に位置する分割ブロック8(3,2)の重みを増加させる。これにより、障害物30が分割ブロック8(3,2)と8(3,2)の両方に映り込んだ時に、実質的に線形加算を上回る重みを与えることができ、更に、分割ブロックに映り込む順序によって重みを異ならせることもできる。この様に、領域間の共起性の考慮された統合類似度を算出することができる。
本装置では、信頼度を設定するための基準となる情報が記憶部110に記憶されており、制御部100はこれに基づいて各領域の信頼度を設定する。信頼度を調整することにより、通信障害発生の判定において、現在の監視対象が正確に反映されている信頼性の高い領域の類似度の寄与を大きくすると共に、正確に反映されていない恐れのある信頼性の低い領域の類似度の寄与を低減し、判定の精度を向上させることができる。
次にS304として、制御部100は、類似度及び画像解析テーブルに記憶されている数値を用いて、統合類似度(統合指標値)を算出する。
統合類似度は、領域毎の(類似度×領域重み付け係数×正規化補正値×信頼度)の値の総和を、信頼度の総和で除算することで算出される。すなわち、
統合類似度 = Σ(類似度×領域重み付け係数×正規化補正値×信頼度)/Σ信頼度 である。
統合類似度は、当該撮像画像で解析された監視対象の領域が、全体として、基準画像とどの程度類似しているかを示す指標値であり、重要な領域や信頼性の高い領域の類似度の寄与が大きくなっている。
次にS305として、制御部100は、算出された統合類似度について、正常/異常のクラス分けを行い、正常であれば「1」、異常であれば「0」を画像解析テーブルに記憶する。簡易な例では、現在の統合類似度を、記憶部110に記憶されている統合類似度の閾値と比較することで、正常/異常を判断する。
更に複雑な手法としては、上記統合類似度は用いずに、機械学習アルゴリズムの一種であるランダムフォレスト(Random Forest)や1クラスサポートベクターマシン、エイダブースト(AdaBoost)などの学習手法によって、時空間方向の類似度の多変量の分布を学習しておき、現在から過去一定期間の類似度(領域重み付け係数等が乗じられている)を入力することで、正常クラスと異常クラスに分類するなどの方法をとってもよい。
なお、時間空間方向必ずしも2クラスで分類する必要はなく、「不確定」などのクラスを設けてもよいし、異常クラスもカメラのずれや障害物など原因ごとにクラスを分けてもよいし、クラスのような離散量でなく、識別器出力そのままの連続量でもよい。
最後にS306として、制御部100は、各領域のクラス分けの結果に基づいて、すぐに発報すべきかどうかを示す指標であるスコアを算出する。スコアは、例えばその値をしきい値処理するだけで、監視対象の領域において異常な状態が継続しているか否かが容易に判断できるような値であり、例えば、直近3日間のクラス分け結果の平均値である。
S306の後、図8の処理S112に移行する。スコアに基づいて異常状態を検出することにより、駐車車両や通行人、又は鳥が止まっているといった一時的な画像変化による異常検出を防ぐことができる。
S306の後、図8の処理S112に移行する。
そして、図8の処理112では、制御部100は、算出されたスコアに基づいて、直ちにアラート発報を行うかどうかを判定する。
例えば、算出されたスコアが記憶部110に記憶されているスコアの閾値(例えば0.2とする)以下となった場合、保守装置20に対してアラート情報を送信するアラート発報処理を行う。
スコアが閾値以下になるのは、「異常」にクラス分けされる状態が一定期間継続している場合や、「正常」と「異常」が混在するが「異常」が多い、つまり「異常」な状態が断続的に続いている、といった不安定な状態が継続している場合である。
これにより、本装置では、鳥や飛翔体、建築機械等による一時的な画像変化による異常検出を防ぎつつ、建築中の建造物などのゆっくりであるが確実に進行し伝送路に干渉する恐れのある障害物を、実際に通信電波を妨害する前に、察知して報知することができるものである。
尚、簡便な処理として、処理S306でスコアとして「異常」にクラス分けされる状態が継続している期間を求めるようにしてもよい。
その場合、図8の処理S112で、「異常」が継続している期間が予め設定された特定期間(閾値)を超えた場合、例えば、「異常」と判定された場合にアラート発報処理(S120)に移行する。
[アラート発報処理]
次に、図8のアラート発報処理S120の詳細について、図12を参照して説明する。
アラート発報処理S120は、原因推定処理S401と、アラート発報実行処理S402を含む。
原因推定処理S401では、制御部100は、記憶部110に記憶されている現在までの特定期間の画像解析テーブルのデータや受信信号強度のデータに基づいて、異常発生の原因を推定し、必要に応じてスクリーニングをする。具体的には、特徴量(各領域の類似度や受信信号強度)の空間的分布や時間的分布を求め、記憶部110に記憶されている原因推定テーブル(図13)と比較して、変化傾向に基づいて異常の原因を推定する。原因推定処理S401は、S306の判断のみでは誤報が生じうる場合に有効であるが、必須ではなく、省略できる。
例えば、分割監視領域の類似度が、下段の分割ブロックから順次低下していることを検出した場合には、制御部100は、原因推定テーブルに基づいて、新規建造物による障害であると推定する。本装置では、各特徴量の変化傾向を検出するためのパラメータ等を記憶しており、制御部100はそれに基づいて特徴量の変化傾向を検出する。原因推定テーブルの例については後述する。
また、例えば、機械学習手法によって、予め正常時と各種の通信阻害要因がある場合とで、時空間方向の類似度の分布を学習しておき、その学習結果と実際に記憶部110に記憶された画像解析データ及び受信信号強度データを比較して、原因を推定してもよい。
更に、当該装置で通信障害の発生を予測している場合、対となる相手装置でも同様に通信障害発生を予測している可能性が高いため、相手装置の処理結果を通信等により取得して、自装置での処理結果と共に相手装置の処理結果を考慮して原因を推定してもよい。
アラート発報実行処理S402では、制御部100は、直近の撮像画像データと、推定した原因の情報とを含むアラート情報を保守端末20に対して送信し(S402)、図8の処理S130に示した基準画像更新処理に移行する。
また、アラート発報後、制御部100は、保守端末20から、ユーザによって撮像画像データ等が解析された結果を受信して、当該アラート発報の正誤や、真の原因を取得して、以降の処理を調整することも可能である。例えば、誤発報であった場合や推定原因が誤っていた場合、次回の撮像時において、画像解析テーブルの領域毎の信頼度に反映させることで、更に精度を向上させることが考えられる。
[原因推定テーブル:図13]
次に、原因推定テーブルについて図13を用いて説明する。図13は、原因推定テーブルの説明図である。
原因推定テーブルは、原因推定処理S401において、スコアの元となった類似度等に立ち戻ってアラートの発生原因を推定するためのもので、特徴量の変化傾向(パターン)と、そのような変化傾向が出現した際に考えられる原因の可能性とを対応付けて記憶している。図13の例では、変化傾向に対応して、新規建造物、装置ずれ、カメラ故障/汚れが原因となる可能性を3段階で表して記憶している。
例えば、類似度が分割監視領域80の下段の分割ブロック8から順に低下している場合、新規建造物の可能性が高く、カメラ故障や汚れであることも考えられる。但し、装置ずれの可能性は低い。
同様に、相手側通信装置11において、本装置と同様の通信障害予測処理で異常と判定している場合、新規建造物の可能性が高く、他の原因である可能性は低い。
また、相手側通信装置において正常と判断している場合、相手からの見通しは良好であるため、新規建造物よりは、装置ずれやカメラ故障/汚れの可能性が高くなる。
更に、図13には示していないが、全ての分割ブロックで同時に類似度が低下している場合には、カメラのずれや天候ノイズの影響の可能性が高い。
本装置では、制御部100が、原因推定処理S401の時に、記憶されている画像解析データや受信信号強度データの傾向を求め、図13の原因推定テーブルと照合して、可能性の高い原因を特定している。アラート情報として送信する推定原因は、1つでもよいし、可能性の高い順に複数個としてもよい。原因推定処理は容易にプログラム可能なシェルスクリプト等で記述され実行されることが望ましく、原因推定テーブルはそれらスクリプト内に記述され得る。
[基準画像更新処理:図14]
次に、図8の処理130に示した基準画像更新処理について図14を用いて説明する。図14は、基準画像更新処理を示すフローチャートである。
図14に示すように、基準画像更新処理が開始されると、制御部100は、現在の基準画像の信頼性を評価する(S501)。
基準画像の信頼性は、制御部100が、アラートの発生頻度や、画像解析処理において分割監視領域の類似度の時間推移を解析して得られる類似度の平均値や標準偏差を解析して基準画像の信頼性を示す指標値を算出し、指標値を予め設定された基準画像の信頼性を示す指標値の閾値と比較して、基準画像の信頼性を評価する。
また、基準画像の信頼性を保守員等が目視により判断してもよい。例えば、アラート発生時の原因推定処理S401で、原因が、通信への影響がないものであると推定されていた場合には、基準画像データの信頼性は低いと評価される。通信への影響がない原因としては、季節変化や通信装置のずれ等がある。
そして、制御部100は、算出された指標値を閾値と比較して、信頼性が低いかどうかを判断する(S502)。
指標値が閾値以上であって、基準画像の信頼性が低くない場合(Noの場合)、基準画像の更新は不要であるため、基準画像更新処理を終わる。
また、処理S502で指標値が閾値未満であって、基準画像の信頼性が低い場合(Yesの場合)、制御部100は、記憶部110に記憶されている基準画像を更新し(S503)、基準画像更新処理を終わる。
新たな基準画像は、撮像条件が良好であれば現在時刻の画像でもよいし、記憶されている平均画像でもよい。
尚、基準画像の信頼性が低い状態としては、初期撮像画像にノイズが多く運用当初から類似度が低い状態が続く場合や、あるいは初期撮像画像の撮像時と季節や周辺環境が変化し、類似度が低くなっている場合が想定される。
従って、運用当初は、類似度が高い状態が一定期間観測されなければ、基準画像の信頼性が低いとみなして自動更新してもよい。
また、長期運用時に類似度が低下する傾向を示した場合は、保守員によって通信障害発生の異常がないことを確認した上で、基準画像データを定期的にメンテナンス更新してもよい。
そして、制御部100は、図8の処理S104に移行して、次のタイミングで再び現状撮像処理を実行する。
このようにして本装置の処理が行われるものである。
これにより、本装置及び本システムでは、保守員が無線通信装置10,11の設置場所に頻繁に行かなくても、「見通し」内の障害物や、障害が発生しつつある状況を、実際に通信障害が発生する前に検知することができるので、通信障害を未然に防ぎ、通信の信頼性を向上させることができるものである。
また、保守員は、保守装置20を監視することで、通信障害となりそうな異常な状態を発見することができ、保守の負荷を大幅に軽減することができるものである。
尚、上記実施の形態の構成及び動作は例であって、本発明の主旨を逸脱しない範囲で適宜変更して実行できる。
本発明は、保守の負荷を低減すると共に通信障害の発生を精度よく予測して、通信の信頼性を向上させることができる無線通信装置及び無線通信システムに適している。
5,6...ネットワーク、 8...分割ブロック、 10,11...無線通信装置、 12...筐体、 13...取り付け部、 14...スコープ部、 15,150...撮像部、 20...保守装置、 30...障害物、 100,200...制御部、 110,210...記憶部、 120...無線送受信部、 130...信号強度測定部、 135...同期検出部、 140,240...ネットワーク送受信部、 160...画像処理部、 170...レーザー出力部、 180...タイマー部、 220...表示部、 230...入力部、 70...監視領域、 80...分割監視領域

Claims (5)

  1. 指向性アンテナを用いて相手装置と無線通信を行う無線通信装置であって、
    前記指向性アンテナの電波方向と光軸が一致し、監視対象となる前記相手装置を含む領域の画像を撮像する撮像部と、
    前記撮像部で撮像され、基準となる基準画像を記憶する記憶部と、
    定期的に前記撮像部で撮像された撮像画像を取得して、正規化相互相関により前記撮像画像と前記基準画像の前記監視対象となる領域における類似度を算出し、重み付けした前記類似度に基づいて、前記監視対象となる領域の状態を示す指標値を算出して、前記指標値が特定の数値以下の場合に異常を検出して、前記異常が検出される状態が一定期間継続した場合に、前記撮像画像を含むアラート情報を出力する通信障害予測処理を行う制御部とを備え
    制御部が、監視対象となる領域として、相手装置を含む監視領域と、前記監視領域を拡張した拡張領域を複数に分割した分割ブロックとを設定しておき、通信障害予測処理において、前記監視領域及び前記各分割ブロックについて、撮像画像と基準画像との類似度を算出して、前記監視対象となる領域の状態を示す指標値として、前記監視領域及び前記分割ブロック毎の類似度を統合した統合指標値を算出し、前記統合指標値が予め設定された閾値以下となった場合に、異常を検出することを特徴とする無線通信装置。
  2. 制御部が、通信障害予測処理において、各分割ブロックの重要度に応じて前記各分割ブロックの類似度に重み付けを行って、前記重み付けされた類似度に基づいて統合指標値を算出することを特徴とする請求項1記載の無線通信装置。
  3. 記憶部が、撮像画像を記憶すると共に、前記撮像画像毎に各分割ブロックの特定期間の類似度を記憶しておき、
    制御部が、通信障害予測処理において異常を検出した場合に、現在までの前記特定期間の各分割ブロックにおける類似度の変化傾向に基づいて異常の原因を推定し、前記推定される原因を示す情報をアラート情報に含めて出力することを特徴とする請求項1又は2記載の無線通信装置。
  4. 互いに対向して設置された1対の無線通信装置を備えた無線通信システムであって、
    前記無線通信装置が、請求項1乃至3のいずれか記載の無線通信装置であることを特徴とする無線通信システム
  5. 無線通信装置の制御部が、通信障害予測処理において異常を検出した場合に、相手装置における通信障害予測処理の処理結果を取得して、自装置における処理結果に前記相手装置における処理結果を加えて、前記異常の原因を推定することを特徴とする請求項4記載の無線通信システム。
JP2016523580A 2014-05-30 2015-05-29 無線通信装置及び無線通信システム Active JP6132452B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014112070 2014-05-30
JP2014112070 2014-05-30
PCT/JP2015/065581 WO2015182752A1 (ja) 2014-05-30 2015-05-29 無線通信装置及び無線通信システム

Publications (2)

Publication Number Publication Date
JP6132452B2 true JP6132452B2 (ja) 2017-05-24
JPWO2015182752A1 JPWO2015182752A1 (ja) 2017-06-01

Family

ID=54699072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016523580A Active JP6132452B2 (ja) 2014-05-30 2015-05-29 無線通信装置及び無線通信システム

Country Status (3)

Country Link
US (1) US9973947B2 (ja)
JP (1) JP6132452B2 (ja)
WO (1) WO2015182752A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213234A1 (de) * 2016-02-12 2017-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Darstellung von Benutzerinformationen und entsprechendes Verfahren
US10502634B2 (en) * 2016-05-02 2019-12-10 Hastings Fiber Glass Products, Inc. Temperature measuring head unit for a hot stick
JP6699866B2 (ja) * 2016-05-27 2020-05-27 Necプラットフォームズ株式会社 無線通信装置、方法及びプログラム
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
JP6854457B2 (ja) * 2017-03-28 2021-04-07 パナソニックIpマネジメント株式会社 無線通信システム、制御装置、中継装置および無線通信制御方法
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor
WO2019077837A1 (ja) 2017-10-19 2019-04-25 オリンパス株式会社 推定装置、医療システム、推定方法及び推定プログラム
JP6867940B2 (ja) * 2017-12-21 2021-05-12 Kddi株式会社 管理装置、管理方法、管理プログラム及び通信システム
JP2019158396A (ja) * 2018-03-08 2019-09-19 Kddi株式会社 物体検知装置、物体検知方法、物体検知システム及びプログラム
CN109100468A (zh) * 2018-06-26 2018-12-28 武汉邦拓信息科技有限公司 一种污染源环境自动监测平台的异常数据预警系统及方法
US11824882B2 (en) * 2018-08-13 2023-11-21 Ares Technologies, Inc. Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust
US11695783B2 (en) * 2018-08-13 2023-07-04 Ares Technologies, Inc. Systems, devices, and methods for determining a confidence level associated with a device using heuristics of trust
US11580800B2 (en) * 2018-11-08 2023-02-14 Verizon Patent And Licensing Inc. Computer vision based vehicle inspection report automation
US20210136274A1 (en) * 2019-11-01 2021-05-06 Semiconductor Components Industries, Llc Systems and methods for performing high dynamic range imaging with partial transfer gate pulsing and digital accumulation
JP2021182216A (ja) * 2020-05-18 2021-11-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN112040219B (zh) * 2020-07-28 2022-08-19 北京旷视科技有限公司 相机画面检测方法、装置、电子设备及可读存储介质
US11688059B2 (en) 2021-05-27 2023-06-27 International Business Machines Corporation Asset maintenance prediction using infrared and regular images
CN113099242B (zh) * 2021-06-09 2021-08-24 广东电网有限责任公司湛江供电局 一种输电线路视频监测数据处理方法及系统
CN115144547B (zh) * 2022-08-29 2022-12-09 四川九通智路科技有限公司 基于物联网的隧道气体浓度检测方法、装置及电子设备
CN116704448B (zh) * 2023-08-09 2023-10-24 山东字节信息科技有限公司 多摄像头的行人识别方法及识别系统
CN117336772B (zh) * 2023-09-28 2024-06-04 黑龙江凯程通信技术有限责任公司 一种基于图像识别的5g通信基站监控系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313467B2 (en) * 2000-09-08 2007-12-25 Automotive Technologies International Inc. System and method for in-vehicle communications
JP2002099909A (ja) * 2000-09-25 2002-04-05 Hitachi Kokusai Electric Inc 侵入物体検出画像処理方法及び装置
JP4889668B2 (ja) * 2008-03-05 2012-03-07 三菱電機株式会社 物体検出装置
JP2011035663A (ja) * 2009-07-31 2011-02-17 Panasonic Corp 監視装置および監視方法
US9142122B2 (en) * 2010-11-25 2015-09-22 Panasonic Intellectual Property Corporation Of America Communication device for performing wireless communication with an external server based on information received via near field communication
JP6058898B2 (ja) * 2012-02-22 2017-01-11 株式会社日立国際電気 無線通信装置、無線通信方法、及び無線通信システム
JP5780553B2 (ja) * 2012-04-02 2015-09-16 Kddi株式会社 障害監視装置及び障害監視方法
CN103544691B (zh) * 2012-07-19 2018-07-06 苏州比特速浪电子科技有限公司 图像处理方法及设备

Also Published As

Publication number Publication date
US9973947B2 (en) 2018-05-15
WO2015182752A1 (ja) 2015-12-03
JPWO2015182752A1 (ja) 2017-06-01
US20170078901A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6132452B2 (ja) 無線通信装置及び無線通信システム
US9618613B2 (en) Radio communication apparatus, radio communication method, and radio communication system
KR101825045B1 (ko) 경보 방법 및 장치
US9349068B2 (en) Detecting camera conditions to initiate camera maintenance
US9965835B2 (en) Defogging images and video
JPWO2017038100A1 (ja) 監視サーバ、分散処理決定方法、及びプログラム
KR20090100174A (ko) 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템
US11935378B2 (en) Intrusion detection methods and devices
EP3835962B1 (en) Sensor data processing apparatus, sensor data processing method, sensor device, and information processing apparatus
JP2009002914A (ja) 施設被災監視装置及び施設被災監視方法
US20230056104A1 (en) Modification of Camera Functionality Based on Orientation
US20240054787A1 (en) Surveillance camera system and method for operating same
CN113108919B (zh) 人体温度检测方法、装置和存储介质
KR20190006725A (ko) 영상 처리 장치 및 영상 처리 방법
JP2018026682A (ja) 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法
KR101859883B1 (ko) 네트워크 장치
US10070056B2 (en) Omnidirectional camera system
CN117636404B (zh) 基于非穿戴式设备的跌倒检测方法及系统
EP4080879A1 (en) Smart security camera system with automatically adjustable activity zone and method
KR102193722B1 (ko) 하이브리드 계측기 영상처리 시스템 및 방법
JP2022158339A (ja) 検出装置、検出方法及びプログラム
KR101634967B1 (ko) 3차원 영상 변환 기반의 앱 호환형 악천후 지역의 모니터링 시스템 및 그 방법
JP2007133470A (ja) 監視端末装置
CN117111887A (zh) 一种跌倒检测方法和相关装置
JP5793904B2 (ja) 侵入者検知システム及び侵入者検知方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161118

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161205

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170417

R150 Certificate of patent or registration of utility model

Ref document number: 6132452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250