JP7101799B2 - 監視システム、管理装置、監視方法、管理装置の制御プログラム - Google Patents

監視システム、管理装置、監視方法、管理装置の制御プログラム Download PDF

Info

Publication number
JP7101799B2
JP7101799B2 JP2020551066A JP2020551066A JP7101799B2 JP 7101799 B2 JP7101799 B2 JP 7101799B2 JP 2020551066 A JP2020551066 A JP 2020551066A JP 2020551066 A JP2020551066 A JP 2020551066A JP 7101799 B2 JP7101799 B2 JP 7101799B2
Authority
JP
Japan
Prior art keywords
monitoring target
camera
management device
drone
electromagnetic wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020551066A
Other languages
English (en)
Other versions
JPWO2020070897A1 (ja
Inventor
智幸 伊豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eams Robotics Co Ltd
Original Assignee
Eams Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eams Robotics Co Ltd filed Critical Eams Robotics Co Ltd
Publication of JPWO2020070897A1 publication Critical patent/JPWO2020070897A1/ja
Application granted granted Critical
Publication of JP7101799B2 publication Critical patent/JP7101799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41JTARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J11/00Target ranges
    • F41J11/02Safety means therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、監視システム、管理装置、監視方法、管理装置の制御プログラムに関する。
従来、小型無人飛行装置(「ドローン」とも呼ばれる)の利用が提案されている。このようなドローンを利用して、映像情報を取得する技術が提案されている(例えば、特許文献1)。
特開2006-27331号公報
ところで、ドローンが、侵入が禁止されている領域に侵入して撮影等を行う場合がある。これに対して、人間が目視によって侵入したドローン(以下、「侵入ドローン」という。)を発見すると、侵入ドローンを操作するための操縦電波を他の電波によって妨害し(「ジャミング」と呼ばれる)、操縦不能にする技術や、侵入ドローンを強制的に着陸させる技術が実施されている。しかし、侵入ドローンを目視によって発見できない場合がある。
本発明はかかる問題の解決を試みたものであり、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる監視システム、管理装置、監視方法、管理装置の制御プログラムの提供を目的とする。
第一の発明は、乖離して配置され、共通の領域を撮影可能な複数のカメラと、前記カメラが撮影して取得した画像を受信する管理装置と、前記管理装置と通信可能な無人飛行装置と、を有する監視システムであって、前記管理装置は、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、前記無人飛行装置は、前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する撮影手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する監視システムである。
第一の発明の構成によれば、管理装置は、第一認識手段を有するから、カメラが取得した画像中のオブジェクトについて、人間の判断を必要とすることなく監視対象か否かを判断することができる。そして、管理装置は、位置算出手段によって、三角測量の原理によって、監視対象の位置を算出することができる。無人飛行装置は、管理装置から位置情報を受信すると監視対象の位置に向かって飛行し、第二認識手段によって、撮影画像中の監視対象を認識し、ロックオン手段によって、継続的に監視対象を撮影することができる。これにより、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。
第二の発明は、第一の発明の構成において、前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、前記管理装置は、前記第一認識手段によって前記監視対象を認識した場合に、少なくとも2台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、前記位置算出手段によって、継続的に前記監視対象の位置を算出し、前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、監視システムである。
第二の発明の構成によれば、管理装置は、追尾手段を有するから、カメラを制御して、カメラの光軸を継続的に監視対象の方向に向けることができる。そして、管理装置は、継続的に監視対象の位置を算出し、その位置を示す位置情報を無人飛行装置に送信することができる。これにより、監視対象の位置が変わっても、無人飛行装置は変更後の位置に向かって飛行することができる。
第三の発明は、第一の発明または第二の発明の構成において、前記管理装置は、乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、監視システムである。
監視対象が移動している場合には、監視対象の過去の位置、あるいは、現在の位置は、未来の位置とは大きく乖離している可能性がある。これに対して、第三の発明の構成によれば、管理装置は、第一予測位置を算出することができるから、無人飛行装置は、監視対象の所定時間後の位置である第一予測位置に向かって飛行することができる。
第四の発明は、第一の発明乃至第三の発明のいずれかの構成において、前記無人飛行装置は、前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、監視システムである。
第四の発明の構成によれば、無人飛行装置は、監視対象が飛行している現場において、監視対象の所定時間後の位置である第二予測位置に向かって飛行することができる。
第五の発明は、第一の発明乃至第四の発明のいずれかの構成において、前記管理装置は、前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、前記位置送信手段は、前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、監視システムである。
監視対象と無人飛行装置の距離が相対的に長い場合には、監視対象の位置がわずかに変化しても、無人飛行装置が飛行する方向への影響は小さく、また、監視対象の位置のわずかな変化によって、飛行する方向を調整することは非効率である。この点、第五の発明の構成によれば、監視対象の位置と現在位置との間の距離が短くなるほど、位置情報の送信時間の間隔を短くするように構成されており、無人飛行装置は、監視対象との距離が相対的に長い場合には、相対的に長い時間間隔で位置情報を受信し、その距離が相対的に短い場合には、相対的に短い時間間隔で位置情報を受信することができるから、効率的に監視対象に向かうことができる。
第六の発明は、第一の発明乃至第五の発明のいずれかの構成において、前記無人飛行装置は、前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段、を有する監視システムである。
第六の発明の構成によれば、無人飛行装置は、監視対象に接近し、制御装置の正常な作動を妨げるための電磁波を照射することができる。
第七の発明は、第六の発明の構成において、前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、監視システムである。
第七の発明の構成によれば、電磁波照射手段は、監視対象に対して脆弱周波数における電磁波を照射するように構成されているから、相対的に電界強度が弱い電磁波を照射することによって、監視対象の制御装置の正常な作動を妨げることができる。
第八の発明は、第六の発明の構成において、前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、監視システムである。
第八の発明の構成によれば、特有周波数における電磁波の照射を受けた監視対象は、実際の高度よりも高い高度を認識し、高度を下げる。これにより、監視対象を着陸に導くことができる。
第九の発明は、第六の発明の構成において、前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、前記無人飛行装置は、前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、監視システムである。
第九の発明の構成によれば、監視対象の実際の飛行方向に応じて電磁波の照射方向を変更することにより、電磁波によって発生する磁界の方向を変更し、監視対象が進行方向の判断基準として依拠する電子コンパスにその磁界を作用させ、監視対象の進行方向を制御することができる。
第十の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、を有する管理装置である。
第十一の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法である。
第十二の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、として機能させるためのコンピュータプログラムである。
以上のように、本発明によれば、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。
本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 本発明の第一の実施形態の概要を示す図である。 管理装置の機能ブロックを示す概略図である。 ニューラルネットワークを説明するための概念図である。 機械学習の工程の一例を示す概略フローチャートである。 2台のカメラからの画像によって監視対象の位置を算出する方法を説明するための概念図である。 位置情報送信の時間間隔の一例を示す図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の機能ブロックを示す概略図である。 監視対象のドローンにおける信号または電力が流れる主な構成の一例を示す図である。 監視システムの処理を示す概略フローチャートである。 監視システムの処理を示す概略フローチャートである。 本発明の第二の実施形態の概要を示す図である。 本発明の第二の実施形態の概要を示す図である。 本発明の第三の実施形態の脆弱周波数情報を示す概略図である。 監視システムの処理を示す概略フローチャートである。 本発明の第四の実施形態の特有周波数情報を示す概略図である。 監視システムの処理を示す概略フローチャートである。 本発明の第五の実施形態の概要を示す図である。 監視システムの処理を示す概略フローチャートである。
<第一の実施形態>
以下、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
図1乃至図5を参照して、監視システム100の概要を説明する。監視システム100は、複数のカメラ、管理装置及び無人飛行体(以下、「無人機」という。)で構成される。具体的には、監視システム100は、カメラ150A及び150B、管理装置300及び無人機1から構成される。監視システム100は、建物120A~120Cが存在する領域A1の上空に侵入する不審物を監視するための監視システムである。このような不審物が監視対象である。本実施形態において、監視対象は、領域A1に侵入が許されていない無人飛行体201(以下、「侵入ドローン201」という。)である。
カメラ150A等は、複数であればよく、2台に限定されない。また、無人機1は、1台以上であればよく、1台に限定されない。さらに、管理装置300は、1装置以上であればよく、1装置に限定されない。
カメラ150Aと150Bは、互いに乖離して配置されている。カメラ150Aと150Bは、水平方向において少なくとも5メートル(meter)以上離れた位置に配置されている。カメラ150Aは建物120Aの屋上に配置され、カメラ150Bは建物120Cの屋上に配置されている。そして、カメラ150Aと150Bは、それぞれ、領域A1の上空の全体を撮影可能に構成されている。また、カメラ150A及び150Bは、それぞれの光軸LA1及びLB1の方向の制御によって、共通の領域を撮影可能に構成されている。カメラ150A及び150Bは、領域A1内に侵入ドローン201が侵入すると、双方のカメラ150A等によって、同時に侵入ドローン201を撮影するように構成されている。後述のように、カメラ150A等によって同時に撮影された侵入ドローン201の画像が、侵入ドローン201の位置の算出の基礎となる。
管理装置300は、コンピュータを構成要素とし、カメラ150A及び150Bと通信可能であり、カメラ150A等が撮影して取得した画像を受信する。また、管理装置300は、カメラ150A等の位置を記憶しており、カメラ150A等の光軸の方向を示す情報を受信する。管理装置300は、カメラ150A等の光軸の方向などの作動を制御する。
管理装置300は、無人機1と通信可能であり、無人機1に侵入ドローン201の位置を示す位置情報を送信する。また、管理装置300は、無人機1から無人機1の現在位置を示す現在位置情報を受信する。
無人機1は、プロペラの回転によって推力を得て、所定の経路を自律飛行する無人飛行体であり、無人飛行装置の一例である。無人機1は、管理装置300の位置に待機しており、管理装置300から侵入ドローン201の位置を示す位置情報を受信すると、位置情報に示される位置に向かって飛行し、侵入ドローン201に接近し、電磁波を照射して制御を妨げるように構成されている。なお、制御の妨げ方は、電磁波の照射に限定されず、例えば、侵入ドローン201に網をからめて飛行不能にするなどでもよい。
図1に示すように、カメラ150A及び150Bは、それぞれ、光軸LA1及びLB1を有し、所定の撮影範囲として、撮影範囲SA1及びSB1が規定されている。カメラ150A等は、相対的に高倍率で、画角(視野角)は狭く設定されている。例えば、カメラ150A等は望遠レンズを使用しており、画角(視野角)は10度乃至15度である。これは、カメラ150A及び150Bが外部を撮影する目的が、侵入ドローン201の発見のみならず、侵入ドローン201の位置を算出するための基礎となる画像を取得することだからである。相対的に画角が狭いことによって、画像中の侵入ドローン201の方向を精度よく判断することができる。すなわち、カメラ150A等の光軸LA1等の方向と、撮影した画像中における侵入ドローン201の位置、すなわち、侵入ドローン201が投影されている画素の位置によって、カメラ150A等の光軸LA1等と侵入ドローン201の方向の乖離を算出し、カメラ150A等を基準とする侵入ドローン201の方向を算出できるのであるが、光軸LA1等と侵入ドローン201の方向の乖離が小さいほど、精度よく、画像中の侵入ドローン201の方向を判断することができる。
カメラ150A等は、光軸LA1等を下方以外の全方向に制御可能であり、例えば、矢印x1方向に示す水平方向の方位角及び矢印y1に示す仰俯角を連続的に変更しつつ、領域A1の上空を監視するように構成されている。ただし、管理装置300が画像中に侵入ドローンが認識した場合には、管理装置300からの制御によって、カメラ150A等の光軸は侵入ドローン201の方向に固定される(ロックオンされる)。カメラ150A等は、撮影して取得した画像を管理装置300に送信する。
図2に示すように、侵入ドローン201が領域A1の上空へ侵入し、例えば、カメラ150Bによって撮影されると、カメラ150Bから画像を受信した管理装置300は画像中の侵入ドローン201を認識する。そして、図3に示すように、管理装置300は、カメラ150Bの光軸LB1を侵入ドローン201の方向に固定し、また、他のカメラ150Aの光軸LA1を制御して、カメラ150Aでも侵入ドローン201を撮影するようにする。これにより、カメラ150A及び150Bの双方で侵入ドローン201を撮影することになる。
管理装置300は、カメラ150A及び150Bを結ぶ線分と、カメラ150Aの位置を基準とする侵入ドローン201の方向、及び、カメラ150Bの位置を基準とする侵入ドローン201の方向に基づいて、侵入ドローン201の位置Psを算出する。
管理装置300は、算出した位置を示す位置情報を無人機1へ無線送信する。図4に示すように、位置情報を受信した無人機1は、侵入ドローン201の位置Psへ向かって飛行する。無人機1には、カメラが配置されており、カメラで撮影して取得した撮影画像中に侵入ドローン201を認識すると、図5に示すように、侵入ドローン201に接近し、電磁波Eを照射するように構成されている。電磁波Eによって、侵入ドローン201の制御装置の正常な作動を妨げる。
以下、管理装置300の構成を説明する。図6に示すように、管理装置300は、CPU(Central Processing Unit)302、記憶部304、無線通信部306、及び、電源部308を有する。
管理装置300は、無線通信部306によって、外部と通信可能になっている。管理装置300は、無線通信部306によって、カメラ150A等及び無人機1と通信する。
記憶部304には、コンピュータを作動させるための各種データ及びプログラム等が格納されている。記憶部304には、また、カメラ150A及び150Bが配置されている位置が記憶されている。記憶部304には、さらに、カメラ150A及び150Bの光軸LA1及びLB1の方向が記憶されている。詳細には、管理装置300は、カメラ150A等から変化する光軸LA等の方向を示す情報を継続的に受信し、記憶部304に格納している。
記憶部304には、また、学習プログラム、第一認識プログラム、追尾プログラム、位置算出プログラム、位置送信プログラム、及び、現在位置受信プログラムが格納されている。CPU302と学習プログラムは、学習手段の一例である。CPU302と第一認識プログラムは、第一認識手段の一例である。CPU302と追尾プログラムは、追尾手段の一例である。CPU302と位置算出プログラムは、位置算出手段の一例である。CPU302と位置送信プログラムは、位置送信手段の一例である。CPU302と現在位置受信プログラムは、現在位置受信手段の一例である。
管理装置300は、学習プログラムによって、ドローンを撮影した多数の画像を学習する。そして、画像中のオブジェクトがドローンであることを認識するためのニューラルネットワークを生成し、記憶部304に記憶する。
図7及び図8を参照して、学習方法(機械学習の工程)の概略を説明する。学習用データとして多数の画像データ(Image data)をコンピュータのニューラルネットワークのモデル(図7参照)に入力すると(図8のステップS1)、ニューラルネットワークのアルゴリズムによって学習が実施される(ステップS2)。学習用データは、様々な種類の様々な態様のドローンが映ったデータであり、同一のドローンを近接した距離(例えば、3メートル(m)の距離)から視た画像、遠く離れた距離(例えば、200メートル(m)の距離)など、様々な距離から視た画像、及び、ドローンの部品や一部の画像を含む。
ニューラルネットワークのモデルは、例えば、図7に概念的に示すニューラルネットワークである。なお、ニューラルネットワークやディープラーニングは周知なので、本明細書においては概説に留める。ニューラルネットワークは、入力層(Input Layer)、1階層以上の隠れ層(Hidden layer)、及び、出力層(Output layer)で構成される。図7には、隠れ層は1階層のみ示しているが、実際には、隠れ層は複数階層である。すなわち、本実施形態の学習は、多層のニューラルネットワーク(ディープニューラルネットワーク、Deep Neural Network)による機械学習(ディープラーニング)である。
ニューラルネットワークにおいて、隠れ層及び出力層に入力する入力値には、例えば、重みw1a等の重みが設定されている。また、隠れ層及び出力層において、バイアス(閾値)B1等が設定されている。機械学習において、隠れ層及び出力層に入力する入力値の重みw1a等と、隠れ層及び出力層におけるバイアス(閾値)B1等を調整することによって、出力層からの出力が正解に近づくようにしていく。学習の結果、学習結果データとして、重みとバイアスが調整されたニューラルネットワークが生成される(図8のステップS3)。この学習によって、画像中のオブジェクトがドローンである場合には、ドローンであることを精度よく認識するためのニューラルネットワークが生成される。このニューラルネットワークによって、画像中のオブジェクトがドローンの全体ではなく、ドローンの一部(例えば、ドローンのプロペラや通信用のアンテナ)であっても、ドローンであると認識することができる。
管理装置300は、第一認識プログラムによって、カメラ150A等から受信した画像において、侵入ドローン201を認識する。侵入ドローン201の認識は、上述のニューラルネットワークによって実施する。
管理装置300は、第一認識プログラムによって、いずれかのカメラ150A等から受信した画像において、侵入ドローン201を認識すると、追尾プログラムによって、複数のカメラ150A等によって、侵入ドローン201を撮影するように構成されている。
本明細書において、最初に侵入ドローン201を撮影したカメラ150A等を「第一カメラ」と呼ぶ。図2に示すように、カメラ150Bが最初に侵入ドローン201を撮影した場合には、管理装置300は、第一認識プログラムによって、最初にカメラ150Bから受信した画像において、侵入ドローン201を認識する。この場合、カメラ150Bが第一カメラである。管理装置300は、第一カメラであるカメラ150Bの光軸LB1の方向を侵入ドローン201の方向へ継続的に一致させる(以下、この制御を「ロックオン」という。)。
具体的には、管理装置300は、カメラ150Bから受信した画像において、侵入ドローン201が画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン201が撮影画像の中心位置に戻るようにカメラ150Bの光軸LB1の方向を制御する。
また、管理装置300は、追尾プログラムによって、第一カメラ以外のカメラであるカメラ150Aの光軸LA1の方向を侵入ドローン201の方向へ継続的に一致させる制御を実施する。管理装置300は、カメラ150Bの光軸LB1の方向を示す情報を受信している。侵入ドローン201は、カメラ150Bの撮影範囲SB1(図1参照)内に位置する。管理装置300は、カメラ150Aの撮影範囲SA1(図1参照)を撮影範囲SB1と重複させた状態において、カメラ150Aの光軸LA1を変化させる(以下、「重複走査」という。)。管理装置300は、カメラ150Aが撮影した画像中に侵入ドローン201を認識すると、カメラ150Aについて、上述のロックオンを実施する。
なお、本実施形態のように、管理装置300がカメラ150A及び150Bの光軸LA1及びLB1を直接的に制御してもよいし、本実施形態とは異なり、管理装置300はロックオンを開始する指示をカメラ150A及びカメラ150Bに送信し、カメラ150A及びカメラ150Bがその記憶装置に記憶されたプログラムによって、それぞれ、光軸LA1及び光軸LB1を制御してロックオンを実施するように構成してもよい。また、管理装置300は、第一カメラ以外のカメラに重複走査の指示を送信し、第一カメラ以外のカメラがその記憶装置に記憶されたプログラムによって、重複走査を実施するように構成してもよい。
カメラ150Aとカメラ150Bによって、ロックオンが実施されると、双方のカメラ150A等が撮影した画像に継続的に侵入ドローン201が投影される状態が達成される。
管理装置300は、位置算出プログラムによって、カメラ150A及び150Bの位置と、各カメラ150A及び150Bの位置を基準とする侵入ドローン201の方向に基づいて、侵入ドローン201の位置を算出する。
図9を参照して、侵入ドローン201の位置の算出方法を概説する。カメラ150A及び150Bは、それぞれ、基部150a及びカメラ本体部150bで構成される。カメラ本体部150bは、基部150aに対して、下方以外の全方向に回転可能に構成されている。
上述のように、カメラ150A及び150Bは、それぞれ、建物120A及び120Cの屋上に固定されている。管理装置300は、カメラ150A及び150Bの位置を記憶部304に記憶している。したがって、管理装置300はカメラ150Aとカメラ150Bとの間の距離L1も記憶しているか、あるいは、算出可能である。距離L1は、三角測量のベースラインとなるから、「ベースラインL1」とも呼ぶ。侵入ドローン201の位置を位置Psとし、カメラ150Aの光軸LA1がカメラ150Aと位置Psとを結ぶ線分の方向と一致しており、カメラ150Bの光軸LB1がカメラ150Bと位置Psとを結ぶ線分の方向と一致しているものとする。ベースラインL1の両端の位置、カメラ150Aの位置を基準とするベースラインL1に対する光軸LA1の角度θ1、及び、カメラ150Bの位置を基準とするベースラインL1に対する光軸LB1の角度θ2によって、三角測量の原理によって、位置Psの座標を算出することができる。三角測量の原理は周知であるから、その詳細な説明は省略する。管理装置300は、継続的に位置Psを算出している。
管理装置300は、位置送信プログラムによって、侵入ドローン201の位置Psを示す位置情報を無人機1へ送信する。管理装置300は、所定の時間間隔において、位置情報を無人機1へ送信する。これにより、無人機1は、飛行中において、侵入ドローン201の位置が変化しても、変化後の位置を示す位置情報を受信することができる。位置情報を受信した無人機1は、その位置情報に示される位置に向かって飛行し、無人機1自体の現在位置の測位を行う。
管理装置300は、現在位置受信プログラムによって、無人機1から無人機1の現在位置を示す現在位置情報を受信する。
管理装置300は、無人機1から現在位置情報を受信すると、管理装置300は、位置送信プログラムによって、侵入ドローン201の位置Psと無人機1の現在位置との間の距離を算出する。侵入ドローン201の位置Psを示す位置情報の送信のための時間間隔は、例えば、図10に示すように、距離Dが1000メートル(meter)以上のときには30秒(second)ごと、距離Dが700メートル以上1000メートル未満のときには20秒ごと、というように、位置Psと無人機1の現在位置との間の距離Dが短くなるほど、位置Psを示す位置情報の送信時間の間隔を短くするように構成されている。これにより、無人機1は、侵入ドローン201との距離が相対的に長い場合には、侵入ドローン201の微細な方向転換に惑わされずに、侵入ドローン201に向かうことができ、侵入ドローン201との距離が相対的に短い場合には、侵入ドローン201の実際の動きに応じて確実に侵入ドローン201に向かうことができる。
以下、無人機1の構成を説明する。図11に示すように、無人機1は、筐体2を有する。筐体2には、コンピュータで構成される自律飛行装置、無線通信装置、GPS(Global Positioning System)などの航法衛星システムからの測位用電波を利用する測位装置、及び、バッテリーが配置されている。自律飛行装置は、慣性センサー、電子コンパス、気圧センサーを含む。また、筐体2には、固定装置12を介して、カメラ14が配置されている。
無人機1は、カメラ14によって、外部の画像を取得する。カメラ14は、可視光カメラであるが、これに限定されず、マルチスペクトルカメラであってもよいし、夜間の撮影が可能な赤外線カメラであってもよい。固定装置12は、カメラ14による撮影画像のぶれを最小化し、かつ、カメラ14の光軸を任意の方向に制御することができる3軸の固定装置(いわゆる、ジンバル)である。
筐体2には、丸棒状のアーム4が接続されている。各アーム4にはモーター6が接続されており、各モーター6にはプロペラ8が接続されている。各モーター6は、直流モーター(ブラシレスDCモーター)である。各モーター6は、モータードライバー(図示せず)によって回転速度が制御される。モータードライバーは、自律飛行装置によってそれぞれ独立して制御される。各モーター6がそれぞれ独立して制御され、無人機1を上下水平方向の移動や空中での停止(ホバリング)及び姿勢制御を自在に行うことができるようになっている。
図12は、図11の無人機1の筐体2、固定装置12、カメラ14及び電磁波照射装置16を矢印X1方向から視た概略側面図である。図11及び図12に示すように、筐体2の上面部には、電磁波照射装置16が配置されている。電磁波照射装置16は、電磁波を外部に送信する送信アンテナである。電磁波照射装置16は、指向性の高いアンテナであり、例えば、パラボラアンテナである。電磁波照射装置16は、アンテナ本体16aと内面が放物曲面の放物面反射器16bで構成される。
アーム4には保護枠10が接続され、プロペラ8が外部の物体に直接接触することを防止している。アーム4及び保護枠10は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
図13は、無人機1の機能構成を示す図である。無人機1は、CPU(Central Processing Unit)50、記憶部52、無線通信部54、衛星測位部56、慣性センサー部58、画像処理部60、駆動制御部62、電磁波照射部64、及び、電源部66を有する。
無人機1は、無線通信部54によって、管理装置300と通信可能になっている。無人機1は、無線通信部54によって、管理装置300から、侵入ドローン201の位置を示す位置情報を受信する。また、管理装置300に無人機1の現在位置情報を送信する。
無人機1は、衛星測位部56と慣性センサー部58によって、無人機1自体の位置を測定することができる。衛星測位部56は、基本的に、4つ以上の航法衛星からの測位用電波を受信して無人機1の位置を計測する。衛星測位部56は、現在位置を測位する測位手段の一例である。慣性センサー部58は、例えば、直近に測位した無人機1の位置を基準として、加速度センサー及びジャイロセンサーからの出力に基づいて無人機1の移動を積算して、無人機1の位置を計測する。無人機1自体の位置情報は、無人機1の移動経路の決定及び自律移動等のために使用する。
駆動制御部62によって、無人機1は各モーター6(図11参照)に接続されたプロペラ8(図11参照)の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。
画像処理部60によって、無人機1はカメラ14(図11参照)を作動させて外部の画像を取得し、取得した撮影データを処理する。
電磁波照射部64は、電磁波照射装置16を制御し、外部に電磁波を照射する。
電源部66は、例えば、交換可能な可充電電池であり、無人機1の各部に電力を供給するようになっている。
記憶部52には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、以下のデータ及びプログラムが格納されている。
記憶部52には、飛行プログラム、撮影プログラム、第二認識プログラム、ロックオンプログラム、接近プログラム、及び、電磁波照射プログラムが格納されている。CPU50と飛行プログラムは、飛行手段の一例である。CPU50と撮影プログラムは、撮影手段の一例である。CPU50と第二認識プログラムは、第二認識手段の一例である。CPU50とロックオンプログラムは、ロックオン手段の一例である。CPU50と接近プログラムは、接近手段の一例である。CPU50と電磁波照射プログラムは、電磁波照射手段の一例である。
無人機1は、管理装置300から侵入ドローン201の位置Psを示す位置情報を受信すると、飛行プログラムによって、位置情報に示される位置に向かって飛行する。無人機1は、管理装置300から受信する位置情報を飛行開始の指示としても処理する。
無人機1は、飛行を開始すると、撮影プログラムによって、カメラ14を作動させ、外部を撮影して撮影画像を取得する。
無人機1は、第二認識プログラムによって、カメラ14で取得した撮影画像に含まれる侵入ドローン201を認識する。第二認識プログラムの構成は、上述の管理装置300の第一認識プログラムと同様であり、ニューラルネットワークによって構成されている。
無人機1は、撮影画像に含まれる侵入ドローン201を認識すると、ロックオンプログラムによって、カメラ14の光軸の方向を監視対象の方向と継続的に一致させる。無人機1は、撮影画像中の侵入ドローン201の動きに応じてカメラ14の光軸の方向を調整し、侵入ドローン201の方向と光軸の方向を一致させるように構成されている。すなわち、無人機1は、侵入ドローン201が撮影画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン201が撮影画像の中心位置に戻るように調整する。
無人機1は、侵入ドローン201にロックオンすると、接近プログラムによって、ドローン201に接近する。
無人機1は、第二認識プロラムによって、画像中に投影される侵入ドローン201の態様によって、侵入ドローン201までの距離を判断することができる。無人機1は、侵入ドローン201が、学習済みの大きさのドローンでない場合や、距離が異なる場合であっても、距離による投影態様の変化の態様(距離が近くなるほど画像中のオブジェクトの形状は大きくなる)に基づいて、距離を判断することができるように構成されている。
なお、無人機1と侵入ドローン201との距離の判断方法として、本実施形態とは異なる方法を採用してもよい。例えば、無人機1は、管理装置300から所定の時間間隔で侵入ドローン201の位置を示す位置情報を受信しており、また、無人機1自体の現在位置を測位しているから、侵入ドローン201の位置Psを示す位置情報と無人機1の現在位置から侵入ドローン201と無人機1との間の距離を算出するようにしてもよい。あるいは、管理装置300は、侵入ドローン201と無人機1との間の距離を継続的に算出しているから、管理装置300から距離情報を受信して利用してもよい。あるいは、無人機1自体による距離の算出と管理装置300から受信した距離情報を併用するようにしてもよい。
無人機1は、侵入ドローン201に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン201に向けて電磁波を照射する。所定距離は、例えば、3メートル(meter)である。無人機1は、電磁波によって、侵入ドローン201の制御装置の正常な作動を妨げる。
図14を参照して、侵入ドローン201において、信号または電力が流れる主な構成を説明する。侵入ドローン201は、外部の操縦装置からの操縦電波を受信する受信機202、自律飛行装置204、モータードライバー206、モーター208、及び、バッテリー210を有する。自律飛行装置204はフライトコントローラー(Flight Controller)とも呼ばれ、モータードライバー206はESC(Electronic Speed Controller)とも呼ばれる。なお、図14に示す構成は、無人機1においても同様である。
無人機1が照射する電磁波によって正常な作動を妨げられる対象となる制御装置は、自律飛行装置204及び/またはモータードライバー206である。自律飛行装置204やモータードライバー206を構成する素子は線路で接続されており、線路に電磁波が作用すると誤作動を生じる場合がある。誤作動を生じさせることができる電磁波の電界強度は、様々な機種のドローンに対して様々な電解強度の電磁波を照射する実験によって、予め知ることができる。周波数は、例えば、1.5GHz付近の周波数である。電界強度は、アンテナ本体16aの先端部から3メートル(meter)の距離において、例えば、400V/m(ボルト/メートル)である。無人機1は、侵入ドローン201に接近して電磁波を照射することによって、電界強度の高い電磁波を照射することができるから、高い確率で侵入ドローン201の制御装置に誤作動を生じさせる。その結果、侵入ドローン201を墜落に導くことができる。
以下、図15及び図16を参照して、監視システム100の動作を説明する。管理装置300は、カメラ150A及び150Bが撮影した画像を取得すると(図15のステップST1)、ニューラルネットワークによって画像認識を実施する(ステップST2)。管理装置300は、画像中のオブジェクトが侵入ドローン201であると判断すると(ステップST3)、カメラ150A及び150Bの双方で侵入ドローン201を撮影し、侵入ドローン201の位置を示す座標を算出し(ステップST5)、その座標を示す位置情報を無人機1に送信する(ステップST6)。
無人機1は、管理装置300から侵入ドローン201の位置Psを示す位置情報を受信すると発進し(図16のステップST7)、無人機1の現在位置の測位を行い(ステップST8)、現在位置を示す現在位置情報を管理装置300に送信する(ステップST9)。そして、無人機1は、カメラ14によって外部を撮影して撮影画像を取得し(ステップST10)、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う(ステップST11)。無人機1は、撮影画像中のオブジェクトが侵入ドローン201であると判断すると(ステップST12)、侵入ドローン201にロックオンし、侵入ドローン201に接近する(ステップST13)。無人機1は、侵入ドローン201に所定距離まで接近すると、侵入ドローン201に向けて電磁波を照射し(ステップST14)、管理装置300からの帰還指示の受信などによって、任務が終了したと判断すると(ステップST15)、管理装置300の位置に帰還する(ステップST16)。
<第二の実施形態>
第二の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第二の実施形態において、図17に示すように、管理装置300は、乖離した時刻において算出した侵入ドローン201の位置に基づいて、侵入ドローン201の所定時間後の予測位置Psf1を算出する。管理装置300は、継続的に予測位置Psf1を算出する。そして、管理装置300は、無人機1に対して、予測位置Psf1を示す位置情報を無人機1へ送信するように構成されている。また、無人機1も、侵入ドローン201の所定時間後の位置を予測し、予測位置に基づいて、侵入ドローン201へ接近するように構成されている。
管理装置300は、記憶部304に第一予測プログラムを格納している。CPU302と第一予測プログラムは、第一予測手段の一例である。管理装置300は、カメラ150A及びカメラ150Bで侵入ドローン201を撮影すると、所定の時間間隔だけ乖離した時刻において、侵入ドローン201の位置Ps1及び位置Ps2を算出し、位置Ps1及び位置Ps2の延長線上の位置として、所定時間後の予測位置Psf1を算出する。そして、管理装置300は、位置送信プログラムによって、予測位置Psf1を無人機1へ送信する。例えば、上述の所定の時間間隔は1秒(s)であり、所定時間後は1秒(s)後である。
無人機1は、記憶部52に第二予測プログラムを格納している。CPU50と第二予測プログラムは、第二予測手段の一例である。図18に示すように、無人機1は、カメラ14によって取得した撮影画像中に侵入ドローン201を認識すると、撮影画像の画素中の侵入ドローン201の投影態様の変化によって、所定時間後である、例えば、1秒後の侵入ドローン201の予測位置Psf2を算出し、飛行プログラムによって、予測位置Psf2に向かって飛行するように構成されている。無人機1は、継続的に予測位置Psf2を算出する。また、無人機1は、ロックオンプログラムによって、所定時間後の予測位置Psf2の方向とカメラ14の光軸の方向を一致させるように構成されている。
侵入ドローン201の現在の位置は、管理装置300や無人機1のコンピュータで高速で処理したとしても、実際には、わずかに過去の位置である。これに対して、予測位置Psf1及びPsf2は、侵入ドローン201の動きを合理的に予測して算出した所定時間後の位置であるから、所定時間後の真の現在位置に近い。このため、無人機1は、所定時間後の真の現在位置に近い予測位置Psf1及びPsf2に基づいて、侵入ドローン201に向かって飛行し、接近することができる。この場合、無人機1は、例えば、予測位置Psf1及び予測位置Psf2の平均位置に向かって飛行する、あるいは、予測位置Psf1及び予測位置Psf2のそれぞれに重みづけをしたうえで平均して算出した予測位置に向かって飛行し、侵入ドローン201に接近する。
また、無人機1は、接近プログラムによって、侵入ドローン201に接近するときにも、予測位置Psf2を使用する。
<第三の実施形態>
第三の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第三の実施形態において、管理装置300は、機械学習によって生成したニューラルネットワークによって、侵入ドローン201を認識するときに、その機種も認識することができるように構成されている。ニューラルネットワークを生成するための学習用データに、多数の機種のドローンの画像を含め、出力層から出力する正解として、機種を含める。これにより、ドローンの機種を認識可能なニューラルネットワークを生成することができる。
管理装置300は、第一認識プログラムによって、カメラ150A等の画像中の侵入ドローン201を認識し、また、侵入ドローン201の機種を認識する。そして、管理装置300は、侵入ドローン201の機種を示す情報を無人機1に送信する。
なお、本実施形態とは異なり、無人機1が、第二認識プログラムによって、カメラ14で取得した撮影画像中の侵入ドローン201の機種を認識するように構成してもよい。
図19に示すように、無人機1は、ドローンの機種D1等ごとに脆弱周波数W1等を示す脆弱周波数情報を記憶部52に記憶している。脆弱周波数W1等は、ドローンの機種ごとに制御装置の正常な作動を妨げるのに効果的な周波数である。例えば、機種D1のドローンにとって、脆弱周波数W1は、正常な作動が妨害され易い周波数であり、弱点とする周波数である。
脆弱周波数は、ドローンの機種ごとに異なる。ドローンの機種ごとに、様々な周波数の電磁波を照射し、制御装置の作動状態を調べる実験によって、ドローンの機種ごとの脆弱周波数を予め知ることができる。例えば、脆弱周波数W1は1.4GHzであり、脆弱周波数W2は1.5GHzであり、脆弱周波数W3は1.6GHzである。
無人機1は、侵入ドローン201に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン201の機種に対応する脆弱周波数における電磁波を照射する。このとき照射する電磁波は、脆弱周波数における電磁波であり、侵入ドローン201の弱点とする周波数であるから、他の周波数を照射する場合に比べて、電界強度は小さくても侵入ドローン201の制御装置の正常な作動を妨げる効果を奏する。脆弱周波数の電磁波の電界強度は、アンテナ本体16aの先端部から3メートル(meter)の距離において、例えば、200V/m(ボルト/メートル)である。無人機1は、侵入ドローン201に向けて脆弱周波数の電磁波を照射することによって、侵入ドローン201を墜落に導くことができる。
以下、図20を参照して、無人機1の動作を説明する。無人機1は、管理装置300から侵入ドローン201の位置Psを示す位置情報を受信すると発進し(図20のステップST7)、無人機1の現在位置の測位を行い(ステップST8)、現在位置を示す現在位置情報を管理装置300に送信する(ステップST9)。ステップST7においては、侵入ドローン201の位置情報と共に、機種を示す情報も受信している。無人機1は、カメラ14によって外部を撮影して撮影画像を取得し(ステップST10)、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う(ステップST11)。無人機1は、撮影画像中のオブジェクトが侵入ドローン201であると判断すると(ステップST12)、侵入ドローン201にロックオンし、侵入ドローン201に接近する(ステップST13)。無人機1は、侵入ドローン201に所定距離まで接近すると、侵入ドローン201に向けて脆弱周波数における電磁波を照射し(ステップST14A)、管理装置300からの帰還指示の受信などによって、任務が終了したと判断すると(ステップST15)、管理装置300の位置に帰還する(ステップST16)。
<第四の実施形態>
第四の実施形態について、第三の実施形態と異なる部分を中心に、説明する。第四の実施形態においては、無人機1は、侵入ドローン201を墜落させるのではなく、着陸するように導くように構成されている。
図21に示すように、無人機1は、ドローンの機種D1等ごとに特有周波数WE1等を示す特有周波数情報を記憶部52に記憶している。特有周波数WE1等による電磁波は、ドローンの高度センサー(気圧センサー)からの出力が実際の高度よりも高い高度を示すようにするための電磁波である。ドローンの自律飛行装置は、実際の高度よりも高い高度を示す信号に基づいて、高度を下げ、着陸に至る。
ドローンの機種ごとに、様々な周波数の電磁波を照射し、高度センサーからの出力を調べる実験によって、ドローンの機種ごとの特有周波数を予め知ることができる。
以下、図22を参照して、無人機1の動作を説明する。無人機1は、管理装置300から侵入ドローン201の位置Psを示す位置情報を受信すると発進し(図22のステップST7)、無人機1の現在位置の測位を行い(ステップST8)、現在位置を示す現在位置情報を管理装置300に送信する(ステップST9)。ステップST7においては、侵入ドローン201の位置情報と共に、機種を示す情報も受信している。無人機1は、カメラ14によって外部を撮影して撮影画像を取得し(ステップST10)、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う(ステップST11)。無人機1は、撮影画像中のオブジェクトが侵入ドローン201であると判断すると(ステップST12)、侵入ドローン201にロックオンし、侵入ドローン201に接近する(ステップST13)。無人機1は、侵入ドローン201に所定距離まで接近すると、侵入ドローン201に向けて特有周波数における電磁波を照射し(ステップST14B)、管理装置300からの帰還指示の受信などによって、任務が終了したと判断すると(ステップST15)、管理装置300の位置に帰還する(ステップST16)。
<第五の実施形態>
第五の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第五の実施形態においては、無人機1は、侵入ドローン201の周囲の磁界を制御し、電子コンパスに本来の方向とは異なる方向を検知させ、侵入ドローン201の進行方向を制御し、さらには、着陸するように導くように構成されている。
図23に示すように、無人機1は、侵入ドローン201に向けて電磁波Eを照射するのではなくて、侵入ドローン201の周囲の空間に向けて電磁波Eを照射する。電磁波Eの進行方向と直交する方向に磁界MGが発生する。無人機1は、磁界MGによって、侵入ドローン201の電子コンパスに地磁気の方向として、本来の方向とは異なる方向を検出させる。侵入ドローン201は、電子コンパスの出力によって進行方向を判断して飛行しているから、磁界MGによって電子コンパスの出力を制御することによって、侵入ドローン201の進行方向を制御することができ、さらに、着陸に導くこともできる。例えば、侵入ドローン201の電子コンパスに、磁北として、本来の磁北とは異なる方向を検出させる。侵入ドローン201の自律飛行装置204が北方に向かって飛行するようにプログラムされている場合において、磁北として東の方向を検出させれば、東に向かって飛行させることができる。
無人機1の記憶部52には、監視対象制御プログラムが格納されている。CPU50と監視対象制御プログラムは、監視対象制御手段の一例である。無人機1は、監視対象制御プログラムによって、侵入ドローン201に近接する空間に向けて電磁波Eを照射し、実際の侵入ドローン201の進行方向に応じて、電磁波Eを照射する方向を変更する。侵入ドローン201の周囲において、電磁波Eが通過する方向が変わると、磁界MGの方向も変わり、侵入ドローン201の電子コンパスが出力する方向も変わるから、侵入ドローン201の進行方向を制御することができる。これにより、例えば、建物120Bの屋上に侵入ドローンを捕捉するための網などの捕捉装置を配置しておいて、その捕捉装置に、侵入ドローン201を導くことができる。
以下、図24を参照して、無人機1の動作を説明する。無人機1は、管理装置300から侵入ドローン201の位置Psを示す位置情報を受信すると発進し(図24のステップST7)、無人機1の現在位置の測位を行い(ステップST8)、現在位置を示す現在位置情報を管理装置300に送信する(ステップST9)。そして、無人機1は、カメラ14によって外部を撮影して撮影画像を取得し(ステップST10)、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う(ステップST11)。無人機1は、撮影画像中のオブジェクトが侵入ドローン201であると判断すると(ステップST12)、侵入ドローン201にロックオンし、侵入ドローン201に接近する(ステップST13)。無人機1は、侵入ドローン201に所定距離まで接近すると、侵入ドローン201の周囲の空間に向けて、電磁波を照射し、侵入ドローン201の進行方向を制御し(ステップST14C)、管理装置300からの帰還指示の受信などによって、任務が終了したと判断すると(ステップST15)、管理装置300の位置に帰還する(ステップST16)。
なお、本発明の無人飛行装置、迎撃方法及びプログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。
1 無人飛行装置(無人機)
16 電磁波照射装置
50 CPU
52 記憶部
54 無線通信部
56 衛星測位部
58 慣性センサー部
60 画像処理部
62 駆動制御部
64 電磁波照射部
66 電源部
150A、150B カメラ
201 侵入ドローン
300 管理装置

Claims (11)

  1. 乖離して配置され、共通の領域を撮影可能な複数のカメラと、
    前記カメラが撮影して取得した画像を受信する管理装置と、
    前記管理装置と通信可能な無人飛行装置と、
    を有する監視システムであって、
    前記管理装置は、
    ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
    各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
    前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、
    前記無人飛行装置は、
    前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、
    外部を撮影して撮影画像を取得する撮影手段と、
    ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、
    前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、
    を有し、
    前記無人飛行装置は、
    前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、
    前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段を有する、
    監視システム。
  2. 前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、
    前記管理装置は、
    前記第一認識手段によって前記監視対象を認識した場合に、少なくとも2台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、
    前記位置算出手段によって、継続的に前記監視対象の位置を算出し、
    前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、
    請求項1に記載の監視システム。
  3. 前記管理装置は、
    乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、
    前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、
    請求項1または請求項2に記載の監視システム。
  4. 前記無人飛行装置は、
    前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、
    前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、
    請求項1または請求項2に記載の監視システム。
  5. 前記管理装置は、
    前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、
    前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、
    請求項1または請求項2に記載の監視システム。
  6. 前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており
    前記無人飛行装置は、
    前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、
    前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、
    請求項1または請求項2に記載の監視システム。
  7. 前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、
    前記無人飛行装置は、
    前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、
    前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、
    請求項1または請求項2に記載の監視システム。
  8. 前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、
    前記無人飛行装置は、
    前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、
    請求項1または請求項2に記載の監視システム。
  9. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、
    ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
    各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
    前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、
    を有する管理装置。
  10. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、
    ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、
    各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、
    前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法。
  11. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、
    ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、
    各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、
    前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、
    として機能させるためのコンピュータプログラム。
JP2020551066A 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム Active JP7101799B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037486 WO2020070897A1 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2020070897A1 JPWO2020070897A1 (ja) 2021-09-24
JP7101799B2 true JP7101799B2 (ja) 2022-07-15

Family

ID=70055402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551066A Active JP7101799B2 (ja) 2018-10-05 2018-10-05 監視システム、管理装置、監視方法、管理装置の制御プログラム

Country Status (2)

Country Link
JP (1) JP7101799B2 (ja)
WO (1) WO2020070897A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347680A (zh) * 2020-11-16 2021-02-09 国网湖北省电力有限公司直流运检公司 一种直流换流站换流变压器无人机巡检路径规划方法
WO2022106702A1 (en) * 2020-11-23 2022-05-27 Bioseco Sp. z o.o. A stereovision method and system
GB2601307A (en) * 2020-11-23 2022-06-01 Bioseco Sp Z O O A Stereovision Method and System
WO2023286186A1 (ja) * 2021-07-14 2023-01-19 日本電気株式会社 不審機対処装置、不審機対処システム、不審機対処方法およびプログラム記憶媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (ja) 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2017072986A (ja) 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP2017163511A (ja) 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
US20170300759A1 (en) 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
US20180165504A1 (en) 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (ja) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
WO2018135522A1 (ja) 2017-01-19 2018-07-26 日本電気株式会社 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体
US20180247421A1 (en) 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (ja) 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2017072986A (ja) 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
US20170300759A1 (en) 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
JP2017163511A (ja) 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
US20180165504A1 (en) 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (ja) 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
WO2018135522A1 (ja) 2017-01-19 2018-07-26 日本電気株式会社 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体
US20180247421A1 (en) 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Also Published As

Publication number Publication date
WO2020070897A1 (ja) 2020-04-09
JPWO2020070897A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
JP7185032B2 (ja) 迅速な展開及び標的航空機を無力化するための固定された空中対抗手段
JP7101799B2 (ja) 監視システム、管理装置、監視方法、管理装置の制御プログラム
US11460844B2 (en) Unmanned aerial image capture platform
US9977434B2 (en) Automatic tracking mode for controlling an unmanned aerial vehicle
US9769387B1 (en) Action camera system for unmanned aerial vehicle
JP2022501263A (ja) 標的航空機を無力化するための対抗手段を有する航空機
US8855846B2 (en) System and method for onboard vision processing
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
CN104854428A (zh) 传感器融合
CN107918397A (zh) 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
US20220335840A1 (en) Ruggedized autonomous helicopter platform
EP2946283B1 (en) Delay compensation while controlling a remote sensor
KR20120036684A (ko) 지피에스를 이용한 지능형 항공로봇
KR102057657B1 (ko) 지면 탐지기 및 이를 구비하는 드론과 그 착륙 방법
KR20110136225A (ko) 지피에스를 이용한 지능형 항공로봇
Upadhyay et al. UAV-Based Target Localization in Dense Areas with Computer Vision and GPS Hybrid Navigation Model
KR102209882B1 (ko) 비행 드론을 통한 구조물 검사 시스템
Dille et al. Air-ground collaborative surveillance with human-portable hardware
WO2017213010A1 (ja) 監視システム及び監視機配置情報構築プログラム
KR20240047808A (ko) 시설물을 점검하는 멀티콥터의 위치정보 생성 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150