JPWO2019235415A1 - 災害状況判定システムおよび災害判定飛行システム - Google Patents
災害状況判定システムおよび災害判定飛行システム Download PDFInfo
- Publication number
- JPWO2019235415A1 JPWO2019235415A1 JP2020523087A JP2020523087A JPWO2019235415A1 JP WO2019235415 A1 JPWO2019235415 A1 JP WO2019235415A1 JP 2020523087 A JP2020523087 A JP 2020523087A JP 2020523087 A JP2020523087 A JP 2020523087A JP WO2019235415 A1 JPWO2019235415 A1 JP WO2019235415A1
- Authority
- JP
- Japan
- Prior art keywords
- disaster
- image
- unit
- deep learning
- determination system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 238000006424 Flood reaction Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000003305 oil spill Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
- B64U2101/24—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms for use as flying displays, e.g. advertising or billboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
Description
一局面に従う災害状況判定システムは、人工的に作成した災害状態を示す災害映像を記録する記録部と、前記記録部に記録された災害映像を用いて災害状態を学習するディープラーニング部と、ディープラーニング部により災害後の災害映像の災害状態を判定し、災害状況地図を表示する表示部と、を含むものである。
第2の発明にかかる災害状況判定システムは、一局面にかかる災害状況判定システムにおいて、人工的に作成した災害状態を示す災害映像は、三次元により形成されてもよい。
第3の発明にかかる災害状況判定システムは、一局面または第2の発明にかかる災害状況判定システムにおいて、経路案内指示部をさらに含み、経路案内指示部は、災害状況地図に基づいて、通行可能な経路を表示部に表示してもよい。
第4の発明にかかる災害状況判定システムは、一局面から第3の発明にかかる災害状況判定システムにおいて、人工的に作成した災害状態を示す災害映像は、崩壊した建物、崩壊した橋、崩壊した山、崩壊した堤、崩壊した道、崩壊したトンネル、地震、津波、火災、水害、地割れ、電線路の不具合、のうち少なくとも1または複数を含んでもよい。
第5の発明にかかる災害状況判定システムは、一局面から第4の発明にかかる災害状況判定システムにおいて、ディープラーニング部は、表示部に災害状況の確率を表示してもよい。
第6の発明にかかる災害状況判定システムは、一局面から第5の発明にかかる災害状況判定システムにおいて、天候表示部をさらに含み、ディープラーニング部は、天候表示部からの天気予報情報に応じて、表示部に災害状況地図の天候情報を表示してもよい。
第7の発明にかかる災害状況判定システムは、一局面から第6の発明にかかる災害状況判定システムにおいて、ディープラーニング部は、災害後の災害映像を一の画像として分割するとともに、当該画像を複数に分割し、個々の画像の災害状態を判定した後、合成してもよい。
他の局面に従う災害判定飛行システムは、一局面から第7の発明にかかる災害状況判定システムと、撮影装置を搭載し、災害映像を送信することができる飛行物と、を含むものである。
(災害状況判定システム100)
図1は、本発明にかかる災害状況判定システム100の全体の構成の一例を示す模式図である。
本発明にかかる災害情報判定システム100は、災害が発生した場合に、後述する深層学習の災害モデル150から現実の災害のレベルSLを判定し、災害地図データ240を作成するものである。
本実施の形態においては、災害モデル150は、判定する災害ごとに500種類以上100000種類以下の教師データ140を用いて学習し、2000種類以上25000種類以下の教師データ140を用いて学習することが好ましく、8000種類以上12500種類以下の教師データ140を用いて学習することがさらに好ましい。このように下限値以上の学習をすることで、災害の判定を高精度で実施することができる。一方で、上記上限値を超えると学習の効果が飽和する。
本実施の形態において、記録部110は、一般的な記録装置からなる。なお、本実施の形態においては、記録装置からなることとしているが、これに限定されず、クラウド等の記録装置を用いてもよい。
また、記録部110は、人工的に作成された複数の災害データ200を記録する。さらに、記録部110は、ディープラーニング部120において深層学習された災害モデル150を記録する。
また、記録部110は、災害地図を作成するための基礎となる地図データ230を記録する。さらに、ディープラーニング部120で作成された災害地図データ240または/および経路図250を記録する。
ディープラーニング部120は、多層ニューラルネットワークにより記録部110に記録された教師データ140に基づいてディープラーニング(深層学習)を実施する。すなわち、ディープラーニング部120は、記録部110に記録された教師データ140として、予め災害モデル150を災害の種別毎に作成する。
また、YOLOの入力する災害映像の幅は320ピクセル以上10000ピクセル以下、高さは240ピクセル以上5000ピクセル以下に設定し、畳み込み前の画像サイズの幅、高さは共に、104ピクセル以上1664ピクセル以下で設定し、208ピクセル以上832ピクセル以下で設定することがより好ましい。
これにより、後述するように、現実の災害映像に対して、災害モデル150を用いた判定を高い精度で実施することができる。
また、本実施の形態においては、災害モデル150を記録部110に記録することとしたが、これに限定されず、ディープラーニング部120に記録してもよい。
表示部130は、液晶表示部またはプラズマディスプレイからなる。また、表示部130は、通信部131を有し、ディープラーニング部120と通信可能な装置である。
表示部130は、ディープラーニング部120から得られた災害地図データ240を表示することができる。また、表示部130は、ディープラーニング部120から得られた経路図250を表示することができる。
なお、本実施の形態においては、表示部130を液晶表示部またはプラズマディスプレイからなることとしているが、これに限定されず、携帯端末、携帯電話、スマートフォン、タブレット端末、ヘッドマウントディスプレイ等の任意の表示部130を含む。
次に、図2は、教師データ140の一例を示す模式図である。
さらに、本実施の形態においては、教師データ140は人工的に作成されたものを利用しているが、過去に現実に災害が生じ、当該災害の映像データがある場合には、当該過去の映像データを付加して教師データ140としてもよい。
また、教師データ140は、人工的に作成された複数の教師データ140からなるが、個々の教師データ140は、災害の映像データが短時間で区切られていてもよく、二次元画像であってもよい。例えば、教師データ140の映像時間が30秒の教師データ140の場合には、5秒毎に教師データ140を分割してもよい。
図3は、災害モデル150を作成する一例を示す模式図である。
図3に示すように、多層構造のニューラルネットワーク(深層ニューラルネットワーク)を用いた学習である。また、深層学習モデルとは、その深層ニューラルネットワークの構造を示す表現である。ディープラーニング部120は、教師データ140を用いて、深層学習モデル(深層ニューラルネットワークの構造)の少なくとも一部の構成要素について、人手を介することなく生成し、生成された構成要素を含む深層学習モデルとなる災害モデル150を出力する。
したがって、深層学習モデルは自動的に構築される。本発明では、このようにして得られたニューラルネットワークを用いて現実の災害映像の分析を行う。したがって、従来の機械学習の手法とは異なり、領域探索、特徴抽出などの工程を必要としないため、より高速に処理をすることができる。
具体的には、地震による災害で、一つのビルの災害レベルSL1は、壁にひびが入った状態であり、災害レベルSL2は、窓ガラスが割れた状態であり、災害レベルSL3は、倒壊の可能性が50%未満の状態であり、災害レベルSL4は、倒壊の可能性が70%以上の状態であり、災害レベルSL5は、倒壊している状態である。
次に、図4は、災害地図データ240の一例を示す模式図である。
図1に示す現実の災害映像300を災害状況判定システム100に与えた場合、ディープラーニング部120により、地図データ230に基づいて、災害地図データ240が作成され、表示部130に表示される。
また、当該災害地図データ240は、図4に示すように、平面地図であってもよく、三次元の映像からなる地図データでもよい。
また、災害地図データ240は、時系列による予測変化を表示させてもよい。その結果、現時点から数時間、数日後の災害状況予測を行うことができる。
続いて、図5は、経路図250の一例を示す模式図である。
ディープラーニング部120は、表示部130に対して、災害地図データ240に基づいて、広場B5までの経路図を示した経路部250が表示される。すなわち、ディープラーニング部120は、ビルB3周辺、家B4周辺を避けつつ、橋B2を経由して広場5までの道筋を経路図250として表示部130に示す。
図6は、本発明にかかる災害判定飛行システム700の全体の構成の一例を示す模式図である。
図6に示すように、災害判定飛行システム700は、飛行移動体500および災害状況判定システム100を含む。
災害状況判定システム100については、図1に示したものと同一である。
ここで撮像装置510は、カメラ、ビデオカメラ、その他の映像を取得するものであればよく、画像であってもよい。また、飛行体520は、飛行機、無人飛行機、ドローン、ヘリコプター、凧等であってもよい。
本明細書における災害状況判定システム100が「災害状況判定システム」に相当し、災害判定飛行システム700が「災害判定飛行システム」に相当し、教師データ140が「人工的に作成した災害状態を示す災害映像」に相当し、記録部110が「記録部」に相当し、災害地図データ240が「災害状況地図」に相当し、経路図250が「通行可能な経路」に相当し、ディープラーニング部120が「経路案内指示部、天候表示部、ディープラーニング部」に相当し、表示部130が「表示部」に相当し、撮像装置510が「撮影装置」に相当し、飛行体520が「飛行物」に相当し、災害映像300が「災害映像」に相当する。
110 記録部
120 ディープラーニング部
130 表示部
140 教師データ
240 災害地図データ
250 経路図
300 災害映像
510 撮像装置(撮影装置)
520 飛行体
700 災害判定飛行システム
Claims (8)
- 人工的に作成した災害状態を示す災害映像を記録する記録部と、
前記記録部に記録された災害映像を用いて災害状態を学習するディープラーニング部と、
前記ディープラーニング部により災害後の災害映像の災害状態を判定し、災害状況地図を表示する表示部と、を含む、災害状況判定システム。 - 前記人工的に作成した災害状態を示す災害映像は、三次元により形成される、請求項1に記載の災害状況判定システム。
- 経路案内指示部をさらに含み、
前記経路案内指示部は、前記災害状況地図に基づいて、通行可能な経路を前記表示部に表示する、請求項1または2に記載の災害状況判定システム。 - 前記人工的に作成した災害状態を示す災害映像は、崩壊した建物、崩壊した橋、崩壊した山、崩壊した堤、崩壊した道、崩壊したトンネル、地震、津波、火災、水害、地割れ、電線路の不具合、のうち少なくとも1または複数を含む、請求項1から3のいずれか1項に記載の災害状況判定システム。
- 前記ディープラーニング部は、前記表示部に災害状況の確率を表示する、請求項1から4のいずれか1項に記載の災害状況判定システム。
- 天候表示部をさらに含み、
前記ディープラーニング部は、前記天候表示部からの天気予報情報に応じて、前記表示部に災害状況地図の天候情報を表示する、請求項1から5のいずれか1項に記載の災害状況判定システム。 - 前記ディープラーニング部は、災害後の災害映像を一の画像として分割するとともに、当該画像を複数に分割し、個々の画像の災害状態を判定した後、合成する、請求項1から6のいずれか1項に記載の災害状況判定システム。
- 請求項1から請求項7の少なくとも1つの災害状況判定システムと、
撮影装置を搭載し、災害映像を送信することができる飛行物と、を含む、災害判定飛行システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106648 | 2018-06-04 | ||
JP2018106648 | 2018-06-04 | ||
PCT/JP2019/021955 WO2019235415A1 (ja) | 2018-06-04 | 2019-06-03 | 災害状況判定システムおよび災害判定飛行システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019235415A1 true JPWO2019235415A1 (ja) | 2021-05-13 |
JP7065477B2 JP7065477B2 (ja) | 2022-05-12 |
Family
ID=68770375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523087A Active JP7065477B2 (ja) | 2018-06-04 | 2019-06-03 | 災害状況判定システムおよび災害判定飛行システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7065477B2 (ja) |
WO (1) | WO2019235415A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7382859B2 (ja) * | 2020-03-09 | 2023-11-17 | 株式会社Nttドコモ | 災害規模推定装置 |
CN115697877B (zh) * | 2020-06-02 | 2023-10-03 | 三菱电机楼宇解决方案株式会社 | 电梯系统 |
CN111985355B (zh) * | 2020-08-01 | 2022-09-27 | 桂林理工大学 | 基于深度学习和云计算的遥感建筑物震害评估方法和系统 |
WO2022070808A1 (ja) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム |
CN112883907B (zh) * | 2021-03-16 | 2022-07-05 | 云南师范大学 | 小体积模型的滑坡检测方法及装置 |
CN113296072B (zh) * | 2021-05-24 | 2022-10-25 | 伍志方 | 一种基于YOLOv3模型的雷暴大风自动识别方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08124064A (ja) * | 1994-10-24 | 1996-05-17 | Fuji Facom Corp | 画像を利用した火災検出および火災時避難誘導装置 |
JPH10257458A (ja) * | 1997-03-12 | 1998-09-25 | Hochiki Corp | 集合住宅管理システム |
JP2004346653A (ja) * | 2003-05-23 | 2004-12-09 | Kyushu Univ | 土砂災害予測システム、方法、およびプログラム |
JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
WO2018079400A1 (ja) * | 2016-10-24 | 2018-05-03 | ホーチキ株式会社 | 火災監視システム |
WO2018083798A1 (ja) * | 2016-11-07 | 2018-05-11 | 株式会社ラムロック | 監視システム及び移動ロボット装置 |
JP2018084955A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社小糸製作所 | 無人航空機 |
-
2019
- 2019-06-03 WO PCT/JP2019/021955 patent/WO2019235415A1/ja active Application Filing
- 2019-06-03 JP JP2020523087A patent/JP7065477B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08124064A (ja) * | 1994-10-24 | 1996-05-17 | Fuji Facom Corp | 画像を利用した火災検出および火災時避難誘導装置 |
JPH10257458A (ja) * | 1997-03-12 | 1998-09-25 | Hochiki Corp | 集合住宅管理システム |
JP2004346653A (ja) * | 2003-05-23 | 2004-12-09 | Kyushu Univ | 土砂災害予測システム、方法、およびプログラム |
JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
WO2018079400A1 (ja) * | 2016-10-24 | 2018-05-03 | ホーチキ株式会社 | 火災監視システム |
WO2018083798A1 (ja) * | 2016-11-07 | 2018-05-11 | 株式会社ラムロック | 監視システム及び移動ロボット装置 |
JP2018084955A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社小糸製作所 | 無人航空機 |
Also Published As
Publication number | Publication date |
---|---|
JP7065477B2 (ja) | 2022-05-12 |
WO2019235415A1 (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7065477B2 (ja) | 災害状況判定システムおよび災害判定飛行システム | |
US10489976B2 (en) | Incident site investigation and management support system based on unmanned aerial vehicles | |
KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
Adams et al. | Unmanned aerial vehicle data acquisition for damage assessment in hurricane events | |
CN109117749A (zh) | 一种基于无人机巡检影像的异常目标监管方法及系统 | |
van Aardt et al. | Geospatial disaster response during the Haiti earthquake: A case study spanning airborne deployment, data collection, transfer, processing, and dissemination | |
Contreras et al. | Earthquake reconnaissance data sources, a literature review | |
WO2013051300A1 (ja) | 被災状況把握システム | |
Federman et al. | UAV photgrammetric workflows: A best practice guideline | |
Franke et al. | Phased reconnaissance approach to documenting landslides following the 2016 Central Italy Earthquakes | |
Huang et al. | A method for using unmanned aerial vehicles for emergency investigation of single geo-hazards and sample applications of this method | |
Meyer et al. | UAV-based post disaster assessment of cultural heritage sites following the 2014 South Napa Earthquake | |
Kemper et al. | Sensor fusion, GIS and AI technologies for disaster management | |
Cerreta et al. | UAS for public safety operations: A comparison of UAS point clouds to terrestrial LIDAR point cloud data using a FARO scanner | |
Huyck et al. | Remote sensing for disaster response: A rapid, image-based perspective | |
Perez Jimeno et al. | An integrated framework for non-destructive evaluation of bridges using UAS: A case study | |
D’Urso et al. | Rescue Management and Assessment of Structural Damage by Uav in Post-Seismic Emergency | |
Gillins | Unmanned aircraft systems for bridge inspection: Testing and developing end-to-end operational workflow | |
JP5076190B1 (ja) | 被災状況把握システム | |
Huang et al. | Method and application of using unmanned aerial vehicle for emergency investigation of single geo-hazard | |
Kong et al. | Information Acquisition and Seismic Damage Prediction of Masonry Structures in Rural Areas Based on UAV Inclined Photogrammetry | |
Sullivan et al. | Using remote data collection to identify bridges and culverts susceptible to blockage during flooding events | |
Soulakellis et al. | Synergistic Exploitation of Geoinformation Methods for Post-earthquake 3D Mapping and Damage Assessment | |
WO2022149328A1 (ja) | 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記憶媒体 | |
Brooks et al. | Evaluating the use of unmanned aerial vehicles for transportation purposes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7065477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |