JP7101799B2 - 監視システム、管理装置、監視方法、管理装置の制御プログラム - Google Patents
監視システム、管理装置、監視方法、管理装置の制御プログラム Download PDFInfo
- Publication number
- JP7101799B2 JP7101799B2 JP2020551066A JP2020551066A JP7101799B2 JP 7101799 B2 JP7101799 B2 JP 7101799B2 JP 2020551066 A JP2020551066 A JP 2020551066A JP 2020551066 A JP2020551066 A JP 2020551066A JP 7101799 B2 JP7101799 B2 JP 7101799B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring target
- camera
- management device
- drone
- electromagnetic wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 115
- 238000000034 method Methods 0.000 title claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000013459 approach Methods 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000013473 artificial intelligence Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 3
- 101100465853 Caenorhabditis elegans psf-2 gene Proteins 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 101150043258 gins1 gene Proteins 0.000 description 9
- 230000005684 electric field Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000004918 carbon fiber reinforced polymer Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
- F41J11/00—Target ranges
- F41J11/02—Safety means therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/19—Propulsion using electrically powered motors
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
以下、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
第二の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第二の実施形態において、図17に示すように、管理装置300は、乖離した時刻において算出した侵入ドローン201の位置に基づいて、侵入ドローン201の所定時間後の予測位置Psf1を算出する。管理装置300は、継続的に予測位置Psf1を算出する。そして、管理装置300は、無人機1に対して、予測位置Psf1を示す位置情報を無人機1へ送信するように構成されている。また、無人機1も、侵入ドローン201の所定時間後の位置を予測し、予測位置に基づいて、侵入ドローン201へ接近するように構成されている。
第三の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第三の実施形態において、管理装置300は、機械学習によって生成したニューラルネットワークによって、侵入ドローン201を認識するときに、その機種も認識することができるように構成されている。ニューラルネットワークを生成するための学習用データに、多数の機種のドローンの画像を含め、出力層から出力する正解として、機種を含める。これにより、ドローンの機種を認識可能なニューラルネットワークを生成することができる。
第四の実施形態について、第三の実施形態と異なる部分を中心に、説明する。第四の実施形態においては、無人機1は、侵入ドローン201を墜落させるのではなく、着陸するように導くように構成されている。
第五の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第五の実施形態においては、無人機1は、侵入ドローン201の周囲の磁界を制御し、電子コンパスに本来の方向とは異なる方向を検知させ、侵入ドローン201の進行方向を制御し、さらには、着陸するように導くように構成されている。
16 電磁波照射装置
50 CPU
52 記憶部
54 無線通信部
56 衛星測位部
58 慣性センサー部
60 画像処理部
62 駆動制御部
64 電磁波照射部
66 電源部
150A、150B カメラ
201 侵入ドローン
300 管理装置
Claims (11)
- 乖離して配置され、共通の領域を撮影可能な複数のカメラと、
前記カメラが撮影して取得した画像を受信する管理装置と、
前記管理装置と通信可能な無人飛行装置と、
を有する監視システムであって、
前記管理装置は、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、
前記無人飛行装置は、
前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、
外部を撮影して撮影画像を取得する撮影手段と、
ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、
前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、
を有し、
前記無人飛行装置は、
前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、
前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段を有する、
監視システム。 - 前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、
前記管理装置は、
前記第一認識手段によって前記監視対象を認識した場合に、少なくとも2台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、
前記位置算出手段によって、継続的に前記監視対象の位置を算出し、
前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、
請求項1に記載の監視システム。 - 前記管理装置は、
乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、
前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、
請求項1または請求項2に記載の監視システム。 - 前記無人飛行装置は、
前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、
前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、
請求項1または請求項2に記載の監視システム。 - 前記管理装置は、
前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、
前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、
請求項1または請求項2に記載の監視システム。 - 前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており
前記無人飛行装置は、
前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、
前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、
請求項1または請求項2に記載の監視システム。 - 前記第一認識手段及び/または前記第二認識手段は、前記画像及び/または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、
前記無人飛行装置は、
前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、
前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、
請求項1または請求項2に記載の監視システム。 - 前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、
前記無人飛行装置は、
前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、
請求項1または請求項2に記載の監視システム。 - 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、
を有する管理装置。 - 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法。 - 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、前記監視対象を認識した場合に、前記監視対象に接近する接近手段と、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、
として機能させるためのコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/037486 WO2020070897A1 (ja) | 2018-10-05 | 2018-10-05 | 監視システム、管理装置、監視方法、管理装置の制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020070897A1 JPWO2020070897A1 (ja) | 2021-09-24 |
JP7101799B2 true JP7101799B2 (ja) | 2022-07-15 |
Family
ID=70055402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551066A Active JP7101799B2 (ja) | 2018-10-05 | 2018-10-05 | 監視システム、管理装置、監視方法、管理装置の制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7101799B2 (ja) |
WO (1) | WO2020070897A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112347680A (zh) * | 2020-11-16 | 2021-02-09 | 国网湖北省电力有限公司直流运检公司 | 一种直流换流站换流变压器无人机巡检路径规划方法 |
EP4248170A1 (en) * | 2020-11-23 | 2023-09-27 | Bioseco Sp. z o.o. | A stereovision method and system |
GB2601307A (en) * | 2020-11-23 | 2022-06-01 | Bioseco Sp Z O O | A Stereovision Method and System |
US20240097813A1 (en) * | 2021-07-14 | 2024-03-21 | Nec Corporation | Uspicious aircraft countermeasure device, suspicious aircraft countermeasure method, and recording medium |
CN115515098A (zh) * | 2022-08-22 | 2022-12-23 | 西北工业大学 | 一种无人机集群脆弱性节点识别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006173872A (ja) | 2004-12-14 | 2006-06-29 | Matsushita Electric Ind Co Ltd | カメラ制御装置 |
JP2017072986A (ja) | 2015-10-07 | 2017-04-13 | パナソニックIpマネジメント株式会社 | 自律飛行装置、自律飛行装置の制御方法及びプログラム |
JP2017163511A (ja) | 2016-03-11 | 2017-09-14 | 株式会社プロドローン | 生体探索システム |
US20170300759A1 (en) | 2016-03-03 | 2017-10-19 | Brigham Young University | Automated multiple target detection and tracking system |
US20180165504A1 (en) | 2016-12-12 | 2018-06-14 | Alarm.Com Incorporated | Drone Pre-Surveillance |
JP2018110304A (ja) | 2016-12-28 | 2018-07-12 | パナソニックIpマネジメント株式会社 | 監視システム、監視方法、及びプログラム |
WO2018135522A1 (ja) | 2017-01-19 | 2018-07-26 | 日本電気株式会社 | 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体 |
US20180247421A1 (en) | 2017-02-27 | 2018-08-30 | Isolynx, Llc | Systems and methods for tracking and controlling a mobile camera to image objects of interest |
-
2018
- 2018-10-05 WO PCT/JP2018/037486 patent/WO2020070897A1/ja active Application Filing
- 2018-10-05 JP JP2020551066A patent/JP7101799B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006173872A (ja) | 2004-12-14 | 2006-06-29 | Matsushita Electric Ind Co Ltd | カメラ制御装置 |
JP2017072986A (ja) | 2015-10-07 | 2017-04-13 | パナソニックIpマネジメント株式会社 | 自律飛行装置、自律飛行装置の制御方法及びプログラム |
US20170300759A1 (en) | 2016-03-03 | 2017-10-19 | Brigham Young University | Automated multiple target detection and tracking system |
JP2017163511A (ja) | 2016-03-11 | 2017-09-14 | 株式会社プロドローン | 生体探索システム |
US20180165504A1 (en) | 2016-12-12 | 2018-06-14 | Alarm.Com Incorporated | Drone Pre-Surveillance |
JP2018110304A (ja) | 2016-12-28 | 2018-07-12 | パナソニックIpマネジメント株式会社 | 監視システム、監視方法、及びプログラム |
WO2018135522A1 (ja) | 2017-01-19 | 2018-07-26 | 日本電気株式会社 | 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体 |
US20180247421A1 (en) | 2017-02-27 | 2018-08-30 | Isolynx, Llc | Systems and methods for tracking and controlling a mobile camera to image objects of interest |
Also Published As
Publication number | Publication date |
---|---|
WO2020070897A1 (ja) | 2020-04-09 |
JPWO2020070897A1 (ja) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7101799B2 (ja) | 監視システム、管理装置、監視方法、管理装置の制御プログラム | |
JP7185032B2 (ja) | 迅速な展開及び標的航空機を無力化するための固定された空中対抗手段 | |
US11460844B2 (en) | Unmanned aerial image capture platform | |
US9977434B2 (en) | Automatic tracking mode for controlling an unmanned aerial vehicle | |
CN110494360B (zh) | 用于提供自主摄影及摄像的系统和方法 | |
US9769387B1 (en) | Action camera system for unmanned aerial vehicle | |
JP2022501263A (ja) | 標的航空機を無力化するための対抗手段を有する航空機 | |
US8855846B2 (en) | System and method for onboard vision processing | |
US20190243376A1 (en) | Actively Complementing Exposure Settings for Autonomous Navigation | |
CN108021145A (zh) | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 | |
CN104854428A (zh) | 传感器融合 | |
CN107918397A (zh) | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 | |
JP6812667B2 (ja) | 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 | |
EP2946283B1 (en) | Delay compensation while controlling a remote sensor | |
US20220335840A1 (en) | Ruggedized autonomous helicopter platform | |
KR20120036684A (ko) | 지피에스를 이용한 지능형 항공로봇 | |
KR102057657B1 (ko) | 지면 탐지기 및 이를 구비하는 드론과 그 착륙 방법 | |
KR20110136225A (ko) | 지피에스를 이용한 지능형 항공로봇 | |
Upadhyay et al. | UAV-Based Target Localization in Dense Areas with Computer Vision and GPS Hybrid Navigation Model | |
KR102209882B1 (ko) | 비행 드론을 통한 구조물 검사 시스템 | |
Dille et al. | Air-ground collaborative surveillance with human-portable hardware | |
WO2017213010A1 (ja) | 監視システム及び監視機配置情報構築プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |