JP7459335B1 - Estimation system and estimation program - Google Patents
Estimation system and estimation program Download PDFInfo
- Publication number
- JP7459335B1 JP7459335B1 JP2023037218A JP2023037218A JP7459335B1 JP 7459335 B1 JP7459335 B1 JP 7459335B1 JP 2023037218 A JP2023037218 A JP 2023037218A JP 2023037218 A JP2023037218 A JP 2023037218A JP 7459335 B1 JP7459335 B1 JP 7459335B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- flooding
- target area
- degree
- learned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 106
- 230000008569 process Effects 0.000 claims description 79
- 238000001556 precipitation Methods 0.000 claims description 35
- 230000000875 corresponding effect Effects 0.000 description 68
- 238000012545 processing Methods 0.000 description 48
- 238000003384 imaging method Methods 0.000 description 46
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 27
- 230000007717 exclusion Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 238000007654 immersion Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
【課題】浸水状況の推定精度を向上させることが可能となる推定システム、及び推定プログラムを提供すること。【解決手段】対象領域の浸水状況を推定するサーバ装置2であって、対象領域を撮影した画像である対象領域関連画像を取得する取得部231と、取得部231が取得した対象領域関連画像と、冠水スコア特定用モデルとに基づいて、対象領域内の浸水状況を推定する推定部232と、を備え、冠水スコア特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルであり、推定部232は、取得部231が取得した対象領域関連画像と、冠水スコア特定用モデルと、対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、対象領域内の浸水状況を推定する。【選択図】図1[Problem] To provide an estimation system and estimation program that can improve the accuracy of estimating a flooding situation. [Solution] A server device 2 that estimates the flooding situation of a target area includes an acquisition unit 231 that acquires a target area-related image that is an image captured of the target area, and an estimation unit 232 that estimates the flooding situation within the target area based on the target area-related image acquired by the acquisition unit 231 and a flooding score identification model, where the flooding score identification model is a model that identifies the flooding degree, which is the degree of flooding, based on the target area-related image, and the estimation unit 232 estimates the flooding situation within the target area based on the target area-related image acquired by the acquisition unit 231, the flooding score identification model, and gradient index information that indicates the degree of gradient within the target area. [Selected Figure] Figure 1
Description
本発明は、推定システム、及び推定プログラムに関する。 The present invention relates to an estimation system and an estimation program.
従来、道路等の浸水状況を推定する技術が知られていた(例えば、特許文献1)。 2. Description of the Related Art Conventionally, techniques for estimating flood conditions of roads, etc. have been known (for example, Patent Document 1).
ところで、特許文献1の技術を含めて、浸水状況を推定する精度を向上させる要望があった。
By the way, there has been a demand for improving the accuracy of estimating flood conditions, including the technique of
本発明は、上記に鑑みてなされたものであって、浸水状況の推定精度を向上させることが可能となる推定システム、及び推定プログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an estimation system and an estimation program that can improve the accuracy of estimating a flood situation.
上述した課題を解決し、目的を達成するために、請求項1に記載の推定システムは、対象領域の浸水状況を推定する推定システムであって、前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルと、前記対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、前記対象領域内の浸水状況を推定する推定手段と、を備え、前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルであり、前記対象領域は、メッシュ状に複数の領域に区分されており、前記取得手段は、前記対象領域内の複数の撮影位置を撮影した複数の画像を、前記対象領域関連画像として取得するものであり、前記傾斜指数情報は、前記複数の領域各々の標高に基づく傾斜の度合を示す情報であり、前記推定手段は、前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルとに基づいて、前記複数の撮影位置各々における前記浸水度を特定する第1推定処理と、前記第1推定処理で特定した前記浸水度の内の最大の前記浸水度である最大浸水度を特定する第2推定処理と、前記第2推定処理で特定した前記最大浸水度と、前記複数の領域の内の前記最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、前記傾斜指数情報とに基づいて、前記複数の領域各々の浸水状況を推定する第3推定処理、とを行うことにより、前記対象領域内の浸水状況を推定するものである。
In order to solve the above-mentioned problems and achieve the purpose, an estimation system according to
請求項2に記載の推定システムは、請求項1に記載の推定システムにおいて、前記推定手段は、前記第3推定処理において、前記最大浸水度と、前記最大浸水度所属領域と、前記傾斜指数情報と、前記対象領域内の降水に関する降水関連情報と基づいて、前記複数の領域各々の浸水状況を推定する。
The estimation system of
請求項3に記載の推定システムは、請求項1又は2に記載の推定システムにおいて、前記対象領域を撮影する撮影手段を備える所定装置から送信された画像である撮影装置側画像が、前記学習済浸水状況特定用モデルで予め学習された画像である学習済画像に対応する画像であるか否かを判定する第1判定手段、を更に備え、前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する。
The estimation system described in
請求項4に記載の推定システムは、請求項3に記載の推定システムにおいて、前記第1判定手段は、学習済相異度特定用モデルに基づいて、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定し、前記学習済相異度特定用モデルは、前記撮影装置側画像と前記学習済画像との相異の度合を特定するモデルである。
In the estimation system according to
請求項5に記載の推定システムは、請求項3に記載の推定システムにおいて、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段が判定した場合に、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定する第2判定手段、を更に備え、前記第2判定手段は、前記第1判定手段とは異なる手法で前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定し、前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段及び前記第2判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する。
In the estimation system according to
請求項6に記載の推定システムは、請求項5に記載の推定システムにおいて、前記第2判定手段は、前記撮影装置側画像内の各画素値の出現頻度に基づいて、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定する。
In the estimation system according to claim 6, in the estimation system according to
請求項7に記載の推定プログラムは、対象領域の浸水状況を推定する推定プログラムであって、コンピュータを、前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルと、前記対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、前記対象領域内の浸水状況を推定する推定手段と、として機能させ、前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルであり、前記対象領域は、メッシュ状に複数の領域に区分されており、前記取得手段は、前記対象領域内の複数の撮影位置を撮影した複数の画像を、前記対象領域関連画像として取得するものであり、前記傾斜指数情報は、前記複数の領域各々の標高に基づく傾斜の度合を示す情報であり、前記推定手段は、前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルとに基づいて、前記複数の撮影位置各々における前記浸水度を特定する第1推定処理と、前記第1推定処理で特定した前記浸水度の内の最大の前記浸水度である最大浸水度を特定する第2推定処理と、前記第2推定処理で特定した前記最大浸水度と、前記複数の領域の内の前記最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、前記傾斜指数情報とに基づいて、前記複数の領域各々の浸水状況を推定する第3推定処理、とを行うことにより、前記対象領域内の浸水状況を推定するものである。 The estimation program according to claim 7 is an estimation program for estimating the flooding situation of a target area, and the estimation program includes a computer, an acquisition means for acquiring a target area-related image, which is an image taken of the target area, and the acquisition means. estimating means for estimating a flooding situation in the target area based on the target area related image acquired by the target area, a learned model for identifying the flooding situation, and slope index information indicating the degree of slope in the target area; , and the learned model for identifying flood situation is a model that identifies the degree of flooding, which is the degree of flooding, based on the target area related image, and the target area is divided into a plurality of areas in a mesh shape. The acquisition means acquires a plurality of images taken at a plurality of photographing positions within the target area as the target area-related images, and the slope index information is a plurality of images taken at a plurality of photographing positions within the target area. The information indicates the degree of inclination based on the altitude, and the estimating means is configured to calculate the degree of inclination at each of the plurality of photographing positions based on the target area-related image acquired by the acquiring means and the learned model for identifying flood conditions. a first estimation process for specifying the degree of inundation; a second estimation process for specifying a maximum degree of inundation that is the maximum degree of inundation among the inundation degrees identified in the first estimation process; and a second estimation process. The maximum inundation degree identified in the above, the maximum inundation degree belonging area which is an area to which the maximum inundation degree corresponding photography position which is the photography position corresponding to the said maximum inundation degree among the plurality of areas belongs, and the slope index information. and a third estimation process of estimating the flooding situation of each of the plurality of areas based on the above, thereby estimating the flooding situation in the target area.
請求項1に記載の推定システム、及び請求項7に記載の推定プログラムによれば、例えば、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system of
請求項2に記載の推定システムによれば、対象領域内の降水に関する降水関連情報を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system of
請求項3に記載の推定システムによれば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system described in
請求項4に記載の推定システムによれば、第1判定手段は、撮影装置側画像と学習済画像との相異の度合を特定する学習済相異度特定用モデルに基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。
According to the estimation system according to
請求項5に記載の推定システムによれば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段及び第2判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system according to
請求項6に記載の推定システムによれば、第2判定手段は、撮影装置側画像内の各画素値の出現頻度に基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。 According to the estimation system according to claim 6 , the second determination means determines whether or not the photographing device side image corresponds to the learned image based on the frequency of appearance of each pixel value in the photographing device side image. By determining, for example, it becomes possible to make an appropriate determination.
以下、本発明に係る推定システム、及び推定プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。ここでは、基本的概念、及び用語を説明した後に、具体的な実施の形態について説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of an estimation system and an estimation program according to the present invention will be described in detail with reference to the drawings. However, the present invention is not limited to the embodiments. Here, after explaining basic concepts and terms, specific embodiments will be explained.
(基本的概念)
まず、基本的概念について説明する。本発明に係る推定システムは、対象領域の浸水状況を推定するシステムであり、例えば、浸水状況を推定する専用システム、あるいは、汎用的に用いられるシステム(一例としては、汎用コンピュータ、サーバコンピュータ、あるいは、ネットワーク上に分散配置された複数のコンピュータ(つまり、いわゆるクラウドコンピュータ)等)に対して、推定プログラムをインストールして浸水状況を推定する機能を実装することにより実現されるシステム等を含む概念である。
(Basic concept)
First, the basic concept will be explained. The estimation system according to the present invention is a system for estimating the flooding situation of a target area, and is, for example, a dedicated system for estimating the flooding situation, or a system used for general purpose (for example, a general-purpose computer, a server computer, or A concept that includes systems that are realized by installing an estimation program on multiple computers distributed on a network (i.e., so-called cloud computers, etc.) and implementing a function to estimate the flood situation. be.
「対象領域」とは、浸水状況が推定される領域であり、例えば、特定の自治体(市町村等)に対応する領域、あるいは、他の任意の領域(一例としては、カーナビゲーションシステムを用いて経路案内を設定する際の出発地から目的地に至るまでの案内ルートを含む領域、又は、予めユーザが定めた任意の領域)等を含む概念である。 "Target area" is an area where the flood situation is estimated, such as an area corresponding to a specific local government (municipality, town, village, etc.), or any other area (for example, a car navigation system This is a concept that includes an area that includes a guidance route from a departure point to a destination when setting guidance, or an arbitrary area that is predetermined by the user.
「浸水状況」とは、水がたまっているありさま等を示す概念であり、例えば、水がたまっているか否か、及び、たまっている水の深さ等を示す概念である。なお、「たまっている水の深さ」としては、「0」の場合は水がたまっていないことを示し、「浸水状況」における水の深さの概念には、この「0」も含まれているものと解釈してもよい。「浸水状況」とは、例えば、降雨等に起因する状況を示す概念であり、バリエーションとしては、ダム又は河川の堤防の決壊等に起因する状況を示す概念であるものと解釈してもよい。 "Flooding status" is a concept that indicates the state of water accumulation, for example, whether water is accumulated or not, and the depth of accumulated water. In addition, as for the "depth of accumulated water," if it is "0", it indicates that no water has accumulated, and this "0" is also included in the concept of water depth in "flooding situation". It may be interpreted as "Flooding situation" is a concept that indicates a situation caused by, for example, rainfall, and may be interpreted as a concept that indicates a situation caused by a dam or river embankment burst, etc. as a variation.
そして、本実施の形態では、例えば、「対象領域」が特定の自治体(例えば、A市)である場合を例示して説明する。本実施の形態では、「浸水」という用語及び「冠水」という用語を、「水がたまること」を意味する共通の意味を示す用語として適宜用いて以下説明する。 In this embodiment, a case will be described in which the "target area" is a specific local government (for example, City A). In the present embodiment, the terms "flooding" and "submergence" will be appropriately used in the following description as terms that have a common meaning meaning "accumulation of water."
(構成)
まず、本実施の形態に係る情報処理システムについて説明する。図1は、本発明の実施の形態が情報処理システムのブロック図であり、図2は、対象領域を例示した図である。
(composition)
First, an information processing system according to this embodiment will be described. FIG. 1 is a block diagram of an information processing system according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a target area.
なお、図1及び図2の車載カメラ装置11、端末装置12、及び監視カメラ装置13は、実際には、対象領域に多数設けられているが、本実施の形態では、各々の構成要素について代表して1個ずつ図示し、この図示されている構成要素に着目して説明する。
Although a large number of in-
また、図2において、対象領域である「A市」に対応する領域が、説明の便宜上、1点鎖線矩形で図示されている。すなわち、この図2の矩形の1点鎖線は、A市と他の自治体との境界を示していることとする。 Further, in FIG. 2, an area corresponding to the target area "City A" is illustrated by a dashed-dotted rectangle for convenience of explanation. That is, the rectangular one-dot chain line in FIG. 2 indicates the boundary between City A and other local governments.
図1の情報処理システム100は、推定システムを含むシステムであり、例えば、車載カメラ装置11、端末装置12、監視カメラ装置13、及びサーバ装置2を備える。
The
(構成-車載装置)
図1及び図2の車載カメラ装置11は、対象領域を撮影する撮影手段(つまり、カメラ)を備える所定装置であり、例えば、車両に搭載されている装置である。
(Configuration - in-vehicle device)
The vehicle-mounted
図3は、所定装置が送信する画像に関する説明図である。この図3においては、「所定装置」の欄に示す各装置が送信する画像が「送信画像」の欄に示されており、当該画像が風景撮影画像であるか否かが「風景撮影画像」の欄に示されている。「風景撮影画像」の欄において、「〇」は風景撮影画像であることを示しており、また、「×」は風景撮影画像ではないことを示しており、また、「△(撮影手段が向けられている方向が路面等を含む風景の場合)」は、各装置の撮影手段が向けられている方向が路面等を含む風景の場合には、風景撮影画像であることを示している。なお、この図3を含めて以下に示す画像に関する説明は例示であり、ここで説明する内容に限定されるものではない。また、図3の「送信画像」の欄に例示されている各画像の名称は、各画像を区別して説明するための、便宜上のものである。 FIG. 3 is an explanatory diagram regarding images transmitted by a predetermined device. In FIG. 3, the images transmitted by each device shown in the "predetermined device" column are shown in the "transmitted image" column, and whether or not the image is a landscape photographed image is determined by the "landscape photographed image". It is shown in the column. In the "Landscape Photography Image" column, "〇" indicates that it is a landscape photographed image, "x" indicates that it is not a landscape photographed image, and "△ (the shooting method is directed "When the direction in which the image is directed is a landscape including a road surface, etc." indicates that the image is a landscape photographed image when the direction in which the photographing means of each device is directed is a landscape including a road surface, etc. Note that the explanation regarding images shown below including this FIG. 3 is an example, and the content is not limited to the content described here. Further, the names of the images illustrated in the "transmission image" column in FIG. 3 are for convenience in order to distinguish and explain each image.
図1及び図2の車載カメラ装置11の具体的な構成は任意であり、例えば、車載カメラ装置11の撮影手段で、所定時間間隔(例えば、1秒~2秒間隔等)毎に繰り返し撮影された画像である車載カメラ装置側撮影画像を、ネットワークを介してサーバ装置2に送信可能となるように構成されている。
The specific configuration of the vehicle-mounted
なお、車載カメラ装置11の撮影手段は、例えば、車両の周辺の路面等(路面及び道路以外の地面等を含む)を含む風景を撮影するように構成されているので、車載カメラ装置側撮影画像は、基本的には、路面等を含む風景を撮影した画像である風景撮影画像となる。
Note that the photographing means of the in-
また、「車載カメラ装置側撮影画像を、ネットワークを介してサーバ装置2に送信可能」とは、例えば、ネットワーク上の各種サーバ(一例としては、カーナビゲーションシステムに関するサーバ等)又はデータベースを介して間接的に送信可能であること、あるいは、これらの各種サーバ及びデータベースを介さずに直接的に送信可能であること等を含む概念である。
Furthermore, "images captured by the in-vehicle camera device can be transmitted to the
(構成-端末装置)
図1及び図2の端末装置12は、対象領域を撮影する撮影手段(つまり、カメラ)を備える所定装置であり、例えば、ユーザによって携帯されている装置であり、一例としては、スマートフォン又はタブレット端末等である。
(Configuration - terminal device)
The
この端末装置12の具体的な構成は任意であり、例えば、端末装置12の撮影手段で撮影された画像である端末装置側撮影画像、又は、端末装置12の撮影手段で撮影された画像以外の画像である端末装置側非撮影画像(例えば、テキスト又はイラスト等を示す画像等)を、ネットワークを介してサーバ装置2に送信可能となるように構成されている。
The specific configuration of this
なお、端末装置12の撮影手段は、例えば、ユーザの所定操作に応じて当該撮影手段が向けられている方向の撮影対象を撮影するように構成されているので、撮影対象が路面等を含む風景である場合、端末装置側撮影画像は、路面等を含む風景を撮影した画像である風景撮影画像となる。
Note that the photographing means of the
一方で、撮影対象が風景以外の任意の対象(例えば、建物内に設けられている長靴等の雨具、あるいは、料理等)である場合、端末装置側撮影画像は、風景撮影画像以外の画像となる。なお、端末装置側非撮影画像も、風景を撮影した画像ではないので、風景撮影画像以外の画像である。 On the other hand, if the subject to be photographed is any object other than a landscape (for example, rain gear such as rain boots installed in a building, or food, etc.), the terminal device-side photographed image may be an image other than the landscape photographed image. Become. Note that the non-photographed image on the terminal device side is also not an image of a photographed landscape, so it is an image other than a photographed landscape image.
また、「端末装置側撮影画像、又は、端末装置側非撮影画像を、ネットワークを介してサーバ装置2に送信可能」とは、例えば、ネットワーク上の各種サーバ(一例としては、SNS:Social Networking Service(ソーシャルネットワーキングサービス)に関するサーバ等)又はデータベースを介して間接的に送信可能であること、あるいは、これらの各種サーバ及びデータベースを介さずに直接的に送信可能であること等を含む概念である。
In addition, "the terminal device-side photographed image or the terminal device-side non-photographed image can be transmitted to the
(構成-監視カメラ装置)
図1及び図2の監視カメラ装置13は、対象領域を撮影する撮影手段(つまり、カメラ)を備える所定装置であり、例えば、所定位置に設置されている装置である。
(Configuration: Surveillance camera device)
The
この監視カメラ装置13の具体的な構成は任意であり、例えば、監視カメラ装置13の撮影手段で、所定時間間隔(例えば、1秒~2秒間隔等)毎に繰り返し撮影された画像である監視カメラ装置側撮影画像を、ネットワークを介してサーバ装置2に送信可能となるように構成されている。
The specific configuration of this
なお、監視カメラ装置13の撮影手段は、例えば、撮影手段が向けられている方向の撮影対象を撮影するように構成されているので、撮影対象が路面等を含む風景である場合、監視カメラ装置側撮影画像は、路面等を含む風景を撮影した画像である風景撮影画像となる。
Note that the photographing means of the
一方で、撮影対象が風景以外の任意の対象(例えば、建物内の所定位置(一例としては、廊下等))である場合、監視カメラ装置側撮影画像は、風景撮影画像以外の画像となる。 On the other hand, if the subject to be photographed is any object other than a landscape (for example, a predetermined position in a building (for example, a hallway)), the surveillance camera device-side photographed image is an image other than the landscape photographed image.
また、「監視カメラ装置側撮影画像を、ネットワークを介してサーバ装置2に送信可能」とは、例えば、ネットワーク上の各種サーバ(一例としては、監視ステムに関するサーバ等)又はデータベースを介して間接的に送信可能であること、あるいは、これらの各種サーバ及びデータベースを介さずに直接的に送信可能であること等を含む概念である。
In addition, "images captured by the surveillance camera device can be transmitted to the
なお、前述の車載カメラ装置11から送信された車載カメラ装置側撮影画像、端末装置12から送信された端末装置側撮影画像、末装置側非撮影画像、及び監視カメラ装置13から送信された監視カメラ装置側撮影画像が、「撮影装置側画像」に対応するものと解釈してもよい。
(構成-サーバ装置)
図1のサーバ装置2は、推定システムであり、例えば、通信部21、記録部22、及び制御部23を備える。
In addition, the images captured by the vehicle-mounted camera device transmitted from the aforementioned vehicle-mounted
(Configuration - Server Device)
The
(構成-サーバ装置-通信部)
図1の通信部21は、外部装置(例えば、車載カメラ装置11、端末装置12、及び監視カメラ装置13)との間で通信するための通信手段である。この通信部21の具体的な種類や構成は任意であるが、例えば、公知の通信回路等を用いて構成することができる。
(Configuration - Server Device - Communication Unit)
1 is a communication unit for communicating with external devices (e.g., the in-
(構成-サーバ装置-記録部)
図1の記録部22は、サーバ装置2の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク(図示省略)を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、SSD、フラシュメモリ、DVD、又はブルーレイディスク等を含む、その他の任意の記録媒体を用いることができる。
(Configuration - Server Device - Recording Unit)
1 is a recording unit that records programs and various data necessary for the operation of the
この記録部22には、図1に示すように例えば、地図情報、冠水スコア特定用モデル、及び除外用モデルが格納されている。
As shown in FIG. 1, the
(構成-サーバ装置-記録部-地図情報)
図1の地図情報は、対象領域の平面図を示す情報であり、具体的には、対象領域の各位置の標高を示す標高情報も含む情報である。図4は、メッシュ領域及び標高の説明図である。
(Configuration - Server device - Recording section - Map information)
The map information in FIG. 1 is information that shows a plan view of the target area, and specifically, it is information that also includes elevation information that shows the altitude of each position in the target area. FIG. 4 is an explanatory diagram of mesh areas and altitudes.
「メッシュ領域」とは、地図情報が示す対象領域の平面図を、所定長さ四方の矩形(例えば、平面視で1辺が地図上の10mに対応する長さの正方形)のメッシュ状の領域に区分けした際の各領域を示す概念である。ここでは、例えば、図1の地図情報に基づいて、対象領域である「A市」の平面図において、図4の(a)に示す各メッシュ領域に区分されていること、及び、図4の(b)に示すように、各メッシュ領域各々の標高を、サーバ装置2が特定可能となるように構成されていることとする。
"Mesh area" is a mesh area that is a square rectangle (for example, one side of which corresponds to 10 meters on the map in plan view) that is a square plan view of the target area indicated by map information. This is a concept that indicates each area when divided into. Here, for example, based on the map information in FIG. 1, in the plan view of "City A" which is the target area, it is divided into each mesh area shown in (a) of FIG. As shown in (b), the
なお、図4の(a)においては、地図情報に基づいて特定可能な図2の対象領域(「A市」)の一部の平面図におけるメッシュ領域が図示されており、また、図4の(b)においては、地図情報に基づいて特定可能な各メッシュ領域に対応する標高が例示されている。 Note that (a) in FIG. 4 shows a mesh area in a plan view of a part of the target area ("City A") in FIG. 2 that can be specified based on map information, and also In (b), the elevation corresponding to each mesh area that can be specified based on the map information is illustrated.
対象領域である「A市」のメッシュ領域としては実際には多数存在するが、以下の説明では、説明の便宜上、図4の(b)に示すように、5列×5行の25個のメッシュ領域に着目して説明する。そして、例えば、図4の(b)に示すように、各メッシュ領域に関して、「a」行~「e」行及び「1」列~「5」列という表現を用いて特定して説明する。すなわち、例えば、図4の(b)の符号「M100」が付されているメッシュ領域(つまり、「102」と記載されているメッシュ領域)については、「d-2のメッシュ領域」と称して特定する。 Although there are actually many mesh regions for the target region "City A," in the following explanation, for convenience of explanation, we will use 25 mesh regions in 5 columns x 5 rows as shown in FIG. 4(b). The explanation will focus on the mesh area. For example, as shown in FIG. 4B, each mesh region will be specified and explained using the expressions "a" row to "e" row and "1" column to "5" column. That is, for example, the mesh area marked with the code "M100" (that is, the mesh area written as "102") in FIG. Identify.
また、地図情報によって特定される各メッシュ領域に標高の値については、前述した通り地図情報に基づいて特定可能であるが、図4の(b)に示すように、対応する単位(図4の(b)の場合は「m」)で標高を示す数値を図示して説明する。また、各図においては、説明で主に用いるメッシュの標高の値のみを図示し、他のメッシュに関しては、値の図示を省略する(標高の値以外を示す各数値も同様とする)。 In addition, the elevation value of each mesh area specified by the map information can be specified based on the map information as described above, but as shown in FIG. In the case of (b), the numerical value indicating the altitude will be illustrated and explained using "m"). In addition, in each figure, only the elevation values of the meshes mainly used in the explanation are illustrated, and the illustration of values for other meshes is omitted (the same applies to each numerical value indicating other than the elevation value).
そして、図4の(b)においては、対象領域において、「d-2のメッシュ領域」に対応する領域の標高が102mであること、「d-3のメッシュ領域」に対応する領域の標高が101mであること等が示されている。 And in Figure 4(b), it is shown that in the target area, the elevation of the area corresponding to the "mesh area d-2" is 102m, the elevation of the area corresponding to the "mesh area d-3" is 101m, etc.
なお、図1の地図情報の格納手法は任意であるが、例えば、所定機関(例えば、国土交通省の国土地理院等)から取得した情報を入力することにより格納してもよいし、あるいは、他の任意の手法で格納してもよい。 The method for storing the map information in FIG. 1 is arbitrary, but for example, the information may be stored by inputting information obtained from a specified organization (such as the Geospatial Information Authority of Japan of the Ministry of Land, Infrastructure, Transport and Tourism), or may be stored using any other method.
(構成-サーバ装置-記録部-冠水スコア特定用モデル)
===モデル===
図5は、サーバ装置に格納されている各モデルの説明図である。図1の記録部22に格納されている「冠水スコア特定用モデル」とは、画像(特に、対象領域関連画像)に基づいて浸水の度合いである浸水度を特定する学習済浸水状況特定用モデルである。なお、「度合い」を「度合」とも称する。この「冠水スコア特定用モデル」は、例えば、図5の「モデル」=「冠水スコア特定用モデル」の欄に図示されているように、画像が入力され、当該入力された画像に対応する冠水スコアを出力するモデルである。
(Configuration - Server device - Recording unit - Model for identifying flood score)
===Model===
FIG. 5 is an explanatory diagram of each model stored in the server device. The "flooding score identification model" stored in the
===冠水スコア===
図6は、冠水スコアの説明図である。図6は、路面又は地面上に設けられた車両(4輪自動車)の一部の側面図が図示されている。「冠水スコア」とは、例えば、浸水の度合いである浸水度を示す情報であり、例えば、浸水深さ(例えば、50cm、60cm等)に対応する数値情報である。
===Flooding score===
FIG. 6 is an explanatory diagram of the flooding score. FIG. 6 shows a side view of a part of a vehicle (four-wheeled vehicle) installed on a road surface or the ground. The "flooding score" is, for example, information indicating the degree of flooding, which is the degree of flooding, and is, for example, numerical information corresponding to the depth of flooding (eg, 50 cm, 60 cm, etc.).
「冠水スコア」の定義は任意であるが、本実施の形態では、例えば図6に示すように、路面又は地面(つまり、水がたまった場合の底)と、垂直方向において16インチタイヤの最上部に対応する高さ(例えば、路面又は地面から垂直方向における60cm)の位置(以下、上部位置)とを基準に定まる高さ位置に基づく数値情報を用いることとする。詳細には例えば、図6に示すように、路面又は地面に対応する高さ位置を「冠水スコア」=「0」とし、また、上部位置に対応する高さ位置を「冠水スコア」=「100」として、これらの間の位置を100段階に等分することにより、「冠水スコア」として「0」~「100」の101個の整数値(「0」を含む)を用いる場合について説明する。 Although the definition of the "flooding score" is arbitrary, in this embodiment, as shown in FIG. 6, for example, as shown in FIG. Numerical information based on the height position determined based on the height corresponding to the upper part (for example, 60 cm in the vertical direction from the road surface or the ground) (hereinafter referred to as the upper position) is used. In detail, for example, as shown in FIG. 6, the height position corresponding to the road surface or the ground is set to "flood score" = "0", and the height position corresponding to the upper position is set to "flood score" = "100". '', and by equally dividing the positions between these into 100 levels, a case will be explained in which 101 integer values from 0 to 100 (including 0) are used as the ``flooding score''.
すなわち、例えば、「冠水スコア」=「0」については、浸水が無く、浸水深さ(浸水した際の水面から底までの深さ)が0cmであることを示しており、また、例えば、「冠水スコア」=「100」については、浸水の度合いが最大であり、浸水深さが60cmであることを示している。そして、「浸水スコア」=「1」~「99」については、100に近づくほど浸水深さが深くなることが示されている。 That is, for example, "flooding score" = "0" indicates that there is no flooding and the flooding depth (depth from the water surface to the bottom at the time of flooding) is 0 cm, and for example, " The "flooding score" = "100" indicates that the degree of flooding is the maximum, and the depth of flooding is 60 cm. Regarding the "flooding score" = "1" to "99", it is shown that the closer the score is to 100, the deeper the flood depth becomes.
なお、浸水スコアについては、バリエーションとして、「0.1」又は「0.5」単位等で増減する小数値を用いてもよい。また、浸水スコアについては、バリエーションとして、路面又は地面の高さ位置、及び、路面又は地面から垂直方向における60cmの高さ位置以外の、任意の高さ位置を基準に定義してもよい。 Note that for the flood score, a decimal value that increases or decreases in units of "0.1" or "0.5" may be used as a variation. Further, as a variation, the flood score may be defined based on any height position other than the height position of the road surface or the ground, and the height position of 60 cm in the vertical direction from the road surface or the ground.
===格納手法===
そして、図1の冠水スコア特定用モデルの具体的な格納手法は任意であるが、例えば、公知の学習手法で機械学習を行って生成される学習済のモデルである冠水スコア特定用モデルを生成して格納することとする。
===Storage method===
The specific storage method for the flooding score identification model shown in FIG. and store it.
機械学習について具体的には、例えば、降雨後等に水がたまっている場合、あるいは、水がたまっていない場合等に、路面又は地面を含む風景を撮影した画像である風景撮影画像を教師データとして用いて、いわゆる教師データ有りの機械学習を行うことにより、冠水スコア特定用モデルを生成してもよい。 Specifically, regarding machine learning, for example, when water has accumulated after rainfall, or when water has not accumulated, the training data is a landscape photographed image that is an image of a landscape including a road surface or the ground. A flood score identification model may be generated by performing so-called machine learning with training data.
なお、風景撮影画像としては、例えば、真夜中等の暗い環境下で撮影したり、降雨等によりカメラレンズに付着した水滴も写ったりして、不鮮明な画像となる場合も想定されるが、この機械学習で用いる風景撮影画像としては、昼間の明るい環境下で撮影し、且つ、付着した水滴等の意図しない対象が写っておらず、風景が鮮明に写っている画像を用いることとする。また、風景撮影画像としては、例えば、あらゆる広さ又は浸水深さとなっている多数の画像を用いることとする。機械学習で用いる風景撮影画像としては、例えば、15000個~20000個程度の学習データを用いてもよい。 Please note that landscape images may be taken in a dark environment, such as in the middle of the night, or there may be water droplets on the camera lens due to rain, resulting in unclear images. The landscape photographed images used in the study should be images taken in a bright daytime environment, and which do not include unintended objects such as attached water droplets and clearly depict the landscape. Further, as the landscape photographed images, for example, a large number of images of various sizes or flooded depths are used. For example, about 15,000 to 20,000 pieces of learning data may be used as landscape photographed images used in machine learning.
なお、この機械学習で用いた風景撮影画像が、「学習済画像」に対応するものと解釈してもよい。 The landscape images used in this machine learning can be interpreted as corresponding to "trained images."
(構成-サーバ装置-記録部-除外用モデル)
===モデル===
図1の記録部22に格納されている「除外用モデル」とは、撮影装置側画像と学習済画像との相異の度合いを特定する学習済相異度特定用モデルである。この「除外用モデル」は、例えば、図5の「モデル」=「除外用モデル」の欄に図示されているように、画像が入力され、当該入力された画像に対応する異常スコアを出力するモデルである。
(Configuration - Server device - Recording unit - Exclusion model)
===Model===
The "exclusion model" stored in the
===異常スコア===
「異常スコア」とは、例えば、除外用モデルに入力された画像(つまり、例えば、撮影装置側画像)と、学習済画像(つまり、例えば、冠水スコア特定用モデルを生成するための機械学習で用いられた風景撮影画像)との相異の度合いを示す情報である。
====Abnormal Score====
The "abnormality score" is information indicating, for example, the degree of difference between an image input into the exclusion model (i.e., for example, an image from the photographing device) and a trained image (i.e., for example, a landscape image used in machine learning to generate a model for identifying flooding scores).
「異常スコア」の定義は任意であるが、本実施の形態では例えば、前述の各画像相互間の相異の度合いが小さくなる程(つまり、各画像が相互に類似する程)小さな値となり、すなわち、各画像相互間の相異の度合いが大きくなる程(つまり、各画像が相互に異なる程)大きな値となる数値情報を用いる場合について説明する。 The definition of the "abnormality score" is arbitrary, but in this embodiment, for example, the smaller the degree of difference between the aforementioned images (in other words, the more similar the images are), the smaller the value, That is, a case will be described in which numerical information is used which increases in value as the degree of difference between the images increases (that is, as the images differ from each other).
例えば、前述したように路面又は地面を含む風景が鮮明に写っている風景撮影画像が、冠水スコア特定用モデルを生成するための機械学習で用いられるので、当該風景撮影画像が学習済画像となる。よって、路面又は地面を含む風景が比較的鮮明に写っている画像が除外用モデルに入力された場合、除外用モデルからは、比較的小さな値の数値情報が出力されることが想定される。 For example, as mentioned above, a landscape photographed image that clearly shows the landscape including the road surface or the ground is used in machine learning to generate a flood score identification model, so the landscape photographed image becomes a trained image. . Therefore, when an image in which a landscape including a road surface or the ground is relatively clearly captured is input to the exclusion model, it is assumed that numerical information with a relatively small value is output from the exclusion model.
一方、例えば、比較的不鮮明に風景が写っている画像、あるいは、雨具等の風景とは異なる画像が主に写っている画像等が除外用モデルに入力された場合、除外用モデルからは、比較的大きな値の数値情報が出力されることが想定される。 On the other hand, for example, if an image that shows a relatively unclear landscape, or an image that mainly contains images that are different from the scenery, such as rain gear, is input to the exclusion model, the exclusion model will It is assumed that numerical information with a large value will be output.
===格納手法===
そして、図1の除外用モデルの具体的な格納手法は任意であるが、例えば、公知の学習手法で機械学習を行って生成される学習済のモデルである除外用モデルを生成して格納することとする。
===Storage method===
The specific storage method for the exclusion model shown in FIG. 1 is arbitrary, but for example, an exclusion model that is a trained model generated by performing machine learning using a known learning method is generated and stored. That's it.
機械学習について具体的には、例えば、冠水スコア特定用モデルを生成するための機械学習で用いられた風景撮影画像(つまり、学習済画像)、あるいは、当該風景撮影画像に類似した画像(例えば、人が類似しているものと判断した画像等)等を用いて、いわゆる教師データ有りの機械学習を行うことにより、除外用モデルを生成してもよい。 Specifically, with regard to machine learning, for example, a landscape image (i.e., a trained image) used in the machine learning to generate a flood score identification model, or an image similar to the landscape image (e.g., an image determined to be similar to a person), may be used to perform so-called machine learning with training data to generate an exclusion model.
(構成-サーバ装置-制御部)
図1の制御部23は、サーバ装置2を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介してサーバ装置2にインストールされることで、制御部23の各部を実質的に構成する。
(Configuration - Server device - Control unit)
The
制御部23は、機能概念的には、図1に示すように例えば、取得部231、推定部232、第1判定部233、及び第2判定部234を備える。
Functionally, the
===取得部===
取得部231は、対象領域を撮影した画像である対象領域関連画像を取得する取得手段である。取得部231は、例えば、対象領域内の複数の撮影位置を撮影した複数の画像を、対象領域関連画像として取得する手段である。取得部231は、例えば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得する手段である。取得部231は、例えば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段及び第2判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得する手段である。
=== Acquisition part ===
The
===推定部===
推定部232は、取得手段が取得した対象領域関連画像と、学習済浸水状況特定用モデルとに基づいて、対象領域内の浸水状況を推定する推定手段である。推定部232は、例えば、取得手段が取得した対象領域関連画像と、学習済浸水状況特定用モデルと、対象領域内の傾斜の度合いを示す傾斜指数情報とに基づいて、対象領域内の浸水状況を推定する手段である。推定部232は、例えば、取得手段が取得した対象領域関連画像と、学習済浸水状況特定用モデルとに基づいて、複数の撮影位置各々における浸水度を特定する第1推定処理と、第1推定処理で特定した浸水度の内の最大の浸水度である最大浸水度を特定する第2推定処理と、第2推定処理で特定した最大浸水度と、複数の領域の内の最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、傾斜指数情報とに基づいて、複数の領域各々の浸水状況を推定する第3推定処理、とを行う手段である。推定部232は、例えば、第3推定処理において、最大浸水度と、最大浸水度所属領域と、傾斜指数情報と、対象領域内の降水に関する降水関連情報と基づいて、複数の領域各々の浸水状況を推定する手段である。
===Estimation part===
The estimating
===第1判定部===
第1判定部233は、対象領域を撮影する撮影手段を備える所定装置から送信された画像である撮影装置側画像が、学習済浸水状況特定用モデルで予め学習された画像である学習済画像に対応する画像であるか否かを判定する第1判定手段である。第1判定部233は、例えば、学習済相異度特定用モデルに基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定する手段である。
===First judgment section===
The
===第2判定部===
第2判定部234は、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段が判定した場合に、撮影装置側画像が学習済画像に対応する画像であるか否かを判定する第2判定手段である。第2判定部234は、例えば、第1判定手段とは異なる手法で撮影装置側画像が学習済画像に対応する画像であるか否かを判定する手段である。第2判定部234は、例えば、撮影装置側画像内の各画素値の出現頻度に基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定する手段である。なお、この制御部23の各手段によって実行される処理については、後述する。
===Second determination section===
The second determining
(処理)
次に、このように構成される情報処理システム100によって行われる浸水状況推定処理について説明する。図7は、浸水状況推定処理のフローチャートである(以下では、各ステップを「S」と称する)。浸水状況推定処理は、サーバ装置2で行われる処理であり、概略的には、対象領域の浸水状況を推定する処理である。この浸水状況推定処理を実行するタイミングは任意であるが、例えば、サーバ装置2の電源をオンした場合に、繰り返し起動することとし、この浸水状況推定処理が起動したところから説明する。
(process)
Next, a description will be given of the flooding situation estimation process performed by the
===SA1===
図7のSA1において制御部23は、冠水スコア特定処理を実行する。図8は、冠水スコア特定処理を示すフローチャートである。「冠水スコア特定処理」とは、冠水スコアを特定するための処理である。
===SA1===
At SA1 in FIG. 7, the
===SB1===
図8のSB1において取得部231は、撮影装置側画像(つまり、図3の「送信画像」の欄に例示されている画像)を取得する。具体的には任意であるが、例えば、図1の車載カメラ装置11、端末装置12、及び監視カメラ装置13から送信され各画像を、撮影装置側画像として取得する。ここでは、例えば、各画像について、以下の手法で取得する。
===SB1===
At SB1 in Fig. 8, the
=車載カメラ装置側撮影画像=
ここでは、例えば、図1の車載カメラ装置11は、対象領域内である「A市」内で、所定時間間隔(例えば、1秒~2秒間隔等)毎に撮影した車載カメラ装置側撮影画像と、撮影日時を示す撮影日時情報とを相互に関連付けた状態で、カーナビゲーションシステムに関するサーバ(不図示)(以下、「カーナビ用サーバ」とも称する)に送信し、カーナビ用サーバの記録部に、これらの送信された情報が蓄積されるように構成されていることとする。
=Image captured by the in-vehicle camera device=
Here, for example, the in-
そして、サーバ装置2が、カーナビ用サーバに対して情報送信の要求を行った場合、カーナビ用サーバは、各車載カメラ装置11に関して最新の撮影日時が関連付けられている車載カメラ装置側撮影画像をサーバ装置2に送信する。一方、サーバ装置2の取得部231は、この送信された車載カメラ装置側撮影画像を、撮影装置側画像として取得する。
Then, when the
=端末装置側撮影画像=
また、例えば、図1の端末装置12は、対象領域内である「A市」内で、ユーザの所定操作に応じて、撮影を行って端末装置側撮影画像を、ソーシャルネットワーキングサービスに関するサーバ(不図示)(以下、「SNS用サーバ」とも称する)に送信したり、ユーザが入力したテキスト又は選択した画像等を示す端末装置側非撮影画像をSNS用サーバに送信したり、SNS用サーバの記録部に、これらの送信された情報が蓄積されるように構成されていることとする。なお、この場合、例えば、SNS用サーバ側に情報が送信された日時を示す送信日時と関連付けられた状態で蓄積されることとする。
=Image taken from the terminal device=
1 is configured to take a photograph in "City A" within the target area in response to a predetermined operation by the user, transmit the photographed image on the terminal device side to a server (not shown) related to a social networking service (hereinafter also referred to as the "SNS server"), transmit a non-photographed image on the terminal device side showing text entered by the user or a selected image, etc. to the SNS server, and store this transmitted information in a recording unit of the SNS server. In this case, for example, the information is stored in a state associated with a transmission date and time showing the date and time when the information was transmitted to the SNS server side.
そして、サーバ装置2が、SNS用サーバに対して情報送信の要求を行った場合、SNS用サーバは、各端末装置12に関して最新の送信日時が関連付けられている端末装置側撮影画像及び端末装置側非撮影画像をサーバ装置2に送信する。一方、サーバ装置2の取得部231は、この送信された端末装置側撮影画像及び端末装置側非撮影画像を、撮影装置側画像として取得する。
Then, when the
なお、より詳細には、例えば、端末装置側撮影画像及び端末装置側非撮影画像については、ユーザに投稿された(つまり、端末装置12から送信された)メッセージと共にSNS用サーバの記録部に格納されていることとし、サーバ装置2は、学習済画像(風景撮影画像)に関連するメッセージ(例えば、「道路」、「水またり」等)に関連付けられている各画像の送信を要求して取得することとしてもよい。
In addition, in more detail, for example, the terminal device-side photographed image and the terminal device-side non-photographed image are stored in the recording unit of the SNS server together with the message posted by the user (that is, sent from the terminal device 12). The
=監視カメラ装置側撮影画像=
また、例えば、図1の監視カメラ装置13は、対象領域内である「A市」内で、所定時間間隔(例えば、1秒~2秒間隔等)毎に撮影した監視カメラ装置側撮影画像と、撮影日時を示す撮影日時情報とを相互に関連付けた状態で、監視ステムに関するサーバ(不図示)(以下、「監視ステム用サーバ」とも称する)に送信し、監視ステム用サーバの記録部に、これらの送信された情報が蓄積されるように構成されていることとする。
=Image captured by the surveillance camera device=
Furthermore, for example, the
そして、サーバ装置2が、監視ステム用サーバに対して情報送信の要求を行った場合、監視ステム用サーバは、各監視カメラ装置13に関して最新の撮影日時が関連付けられている監視カメラ装置側撮影画像をサーバ装置2に送信する。一方、サーバ装置2の取得部231は、この送信された監視カメラ装置側撮影画像を、撮影装置側画像として取得する。
When the
なお、このSB1では実際には、例えば、多数(例えば、数千個~数万個等)の撮影装置側画像を取得することになる。 In reality, in SB1, a large number of images (e.g., thousands to tens of thousands) will be acquired from the imaging device.
===SB2===
図8のSB2において第1判定部233は、SB1で取得した各撮影装置側画像全てに関して第1除去判定を行う。
===SB2===
At SB2 in FIG. 8, the
「第1除去判定」とは、撮影装置側画像が学習済画像に対応する画像であるか否かを判定した上で、当該判定結果に基づいて処理から除去するか否かを判定することを示す概念であり、例えば、図5の除外用モデルを用いて行われる判定である。 "First removal determination" refers to determining whether or not an image on the imaging device side corresponds to a learned image, and then determining whether or not to remove it from processing based on the determination result. For example, this is a determination made using the exclusion model shown in FIG.
処理について具体的には任意であるが、例えば、SB1で取得した各撮影装置側画像を、図1の記録部22に記録されている除外用モデルに対して入力し、除外用モデルから出力された異常スコア(数値情報)を取得し、取得した異常スコアと第1除去判定閾値(数値情報)とを比較し、比較結果に基づいて判定する。
Although the specific processing is arbitrary, for example, each imaging device side image acquired in SB1 is input to the exclusion model recorded in the
詳細には、取得した異常スコアが第1除去判定閾値以上である場合、除外用モデルに入力された撮影装置側画像と学習済画像との相互間の相異の度合いが比較的大きいために、撮影装置側画像については、学習済画像に対応する画像ではないものと判定し、処理から除去するものと判定する。 Specifically, if the acquired abnormality score is equal to or higher than the first removal determination threshold, the degree of difference between the imaging device side image input to the exclusion model and the learned image is relatively large; It is determined that the image on the photographing device side is not an image corresponding to a learned image, and is determined to be removed from the process.
一方、取得した異常スコアが第1除去判定閾値未満である場合、除外用モデルに入力された撮影装置側画像と学習済画像との相互間の相異の度合いが比較的小さいために、撮影装置側画像については、学習済画像に対応する画像であるものと判定し、処理に含めるものと判定する(つまり、処理から除去しないものと判定する)。 On the other hand, if the obtained anomaly score is less than the first removal judgment threshold, the degree of difference between the image on the imaging device side input to the exclusion model and the learned image is relatively small, so the image on the imaging device side is judged to be an image that corresponds to the learned image and is judged to be included in the processing (i.e., it is judged not to be removed from the processing).
「第1除去判定閾値」とは、除外用モデルに入力された画像(つまり、撮影装置側画像)が学習済画像(つまり、冠水スコア特定用モデルを生成するために行われた機械学習で教師データとして用いられた風景撮影画像)に対応する画像であるか否かを判定するための閾値であり、例えば、実験又はシミュレーション等に基づいて予め定められている数値情報である。なお、「学習済画像に対応する画像」とは、学習済画像と同様に風景が鮮明に写っている画像を示す概念であるものと解釈してもよい。 The "first removal judgment threshold" means that the image input to the exclusion model (i.e., the imaging device side image) is the trained image (i.e., the machine learning performed to generate the flood score identification model) This is a threshold value for determining whether the image corresponds to a photographed landscape image used as data, and is, for example, numerical information predetermined based on experiments or simulations. Note that the term "image corresponding to a trained image" may be interpreted as a concept indicating an image in which a landscape is clearly captured, similar to the trained image.
=具体例=
ここでは、例えば、真夜中等の暗い環境下で撮影したり、降雨等によりカメラレンズに付着した水滴も写ったりして、不鮮明な画像となっている撮影装置側画像については、除外用モデルに入力した場合、学習済画像との相違の度合いが比較的大きいために、当該除外用モデルから比較的大きな値の異常スコアが出力されることが想定される。そして、比較的大きな値の異常スコアが出力された場合、学習済画像に対応する画像ではないものと判定し、処理から除去するものと判定する。
=Specific example=
Here, for example, images from the camera that are unclear due to images taken in a dark environment such as in the middle of the night, or due to water droplets adhering to the camera lens due to rain, etc., are input into the exclusion model. In this case, since the degree of difference from the learned image is relatively large, it is assumed that the exclusion model outputs a relatively large abnormality score. If an abnormality score with a relatively large value is output, it is determined that the image does not correspond to the trained image, and is determined to be removed from the process.
また、例えば、昼間の明るい環境下で撮影し、且つ、付着した水滴等の意図しない対象が写っておらず、風景が鮮明に写っている画像となっている撮影装置側画像については、除外用モデルに入力した場合、学習済画像との相違の度合いが比較的小さいために、当該除外用モデルから比較的小さな値の異常スコアが出力されることが想定される。そして、比較的小さな値の異常スコアが出力された場合、撮影装置側画像については、学習済画像に対応する画像であるものと判定し、処理に含めるものと判定することになる。 In addition, for example, images from the camera that were taken in a bright daytime environment, do not include unintended objects such as attached water droplets, and clearly depict the landscape, will be excluded. When input to a model, since the degree of difference from the learned image is relatively small, it is assumed that the exclusion model outputs an abnormality score with a relatively small value. If an abnormality score with a relatively small value is output, the image on the imaging device side is determined to be an image corresponding to a learned image, and is determined to be included in the processing.
また、例えば、風景を撮影した画像以外の撮影装置側画像(端末装置側非撮影画像)については、除外用モデルに入力した場合、基本的には、学習済画像との相違の度合いが比較的大きいために、当該除外用モデルから比較的大きな値の異常スコアが出力されることが想定される。そして、比較的大きな値の異常スコアが出力された場合、学習済画像に対応する画像ではないものと判定し、処理から除去するものと判定する。 Additionally, for example, when images on the camera side other than images of landscapes (images not taken on the terminal device side) are input to the exclusion model, basically the degree of difference from the trained images is relatively large. Because of the large value, it is assumed that the exclusion model outputs a relatively large abnormality score. If an abnormality score with a relatively large value is output, it is determined that the image does not correspond to the trained image, and is determined to be removed from the process.
===SB3===
図8のSB3において第2判定部234は、SB1で取得した各撮影装置側画像の内の、SB2で処理の対象とすると判定された各撮影装置側画像(つまり、学習済画像に対応する画像であるものと判定され撮影装置側画像)全てに関して第2除去判定を行う。
===SB3===
At SB3 in FIG. 8, the
「第2除去判定」とは、撮影装置側画像が学習済画像に対応する画像であるか否かを判定した上で、当該判定結果に基づいて処理から除去するか否かを判定することを示す概念であり、例えば、SB2での第1除去判定とは異なる判定手法で行われる判定である。 "Second removal determination" refers to determining whether or not the imaging device side image corresponds to the learned image, and then determining whether or not to remove it from processing based on the determination result. For example, this is a determination performed using a different determination method from the first removal determination at SB2.
例えば、SB2の第1除去判定では大部分の撮影装置側画像に関して想定通りの判定が行われるものの、ごく一部の撮影装置側画像については、想定に反する判定が行われること(つまり、第1除去判定では正常に判断し難く、すなわち、判断を苦手とするごく一部の撮影装置側画像が存在すること)が、実験又はシミュレーションにより判明したので、この判明したことに基づいて、第1除去判定を補う目的で第2除去判定を行うこととする。 For example, in the first removal judgment of SB2, although the majority of images on the imaging device side are judged as expected, for a small number of images on the imaging device side, a judgment contrary to the assumption is made (in other words, the first It has been found through experiments and simulations that it is difficult to judge correctly in the removal judgment (in other words, there are a small number of imaging device images that are difficult to judge).Based on this finding, the first removal A second removal determination is performed to supplement the determination.
判明したことについて詳細には、例えば、端末装置側非撮影画像(例えば、テキスト又はイラスト等を示す画像等)の内のごく一部の画像については、第1除去判定において、処理から除去するものと判定することが想定されているにも関わらず、比較的小さな値の異常スコアの値が除外用モデルから出力されて、学習済画像に対応する画像であるものと判定し、処理に含めるものと判定される場合があることが判明した。 In detail, we have found that, for example, a small portion of images that are not photographed on the terminal device side (for example, images showing text or illustrations, etc.) are removed from processing in the first removal determination. Even though it is assumed that the image will be determined as such, a relatively small value of anomaly score is output from the exclusion model, and the image is determined to correspond to the learned image and is included in the process. It has been found that there are cases where it is determined that
=処理(概略)=
処理について概略的には、例えば、端末装置側非撮影画像(例えば、テキスト又はイラスト等を示す画像等)と、それ以外の撮影装置側画像(例えば、車載カメラ装置側撮影画像、端末装置側撮影画像、監視カメラ装置側撮影画像)(以下、「各撮影画像」とも称する)とを相互に分別して判定する手法を用いて第2除去処理を行う。
= Processing (outline) =
In terms of the processing, the second removal process is performed using a method of distinguishing between non-captured images on the terminal device (e.g., images showing text or illustrations, etc.) and other images on the capturing device (e.g., images captured on the in-vehicle camera device, images captured on the terminal device, images captured on the surveillance camera device) (hereinafter also referred to as ``each captured image'').
画像の分別については、例えば、端末装置側非撮影画像がテキスト又はイラスト等の実際の風景を撮影した以外の画像であり、例えばテキストについて白色及び黒色の2個の色で表示可能であり、また、イラストについては比較的広い範囲において同じ色が塗られているために、画像内で同じ色となっている画素(つまり、同じ画素値となっている画素)の個数が比較的多く、一方で、各撮影画像は実際の風景を撮影したものであり、例えば、空の青色を示す場合であっても、濃淡を含めて様々な種類の青色で表示されているために、画像内で同じ色となっている画素(つまり、同じ画素値となっている画素)の個数が比較的少ないことに着目して分別する場合について説明する。 Regarding classification of images, for example, the non-photographed image on the terminal device side is an image other than a photograph of an actual scenery such as text or illustration, and for example, text can be displayed in two colors, white and black, and For illustrations, the same color is painted over a relatively wide range, so the number of pixels that have the same color (that is, pixels that have the same pixel value) in the image is relatively large; , each photographed image is a photograph of an actual landscape, and for example, even if it shows the blue sky, it is displayed in various types of blue, including shades of blue, so the same color may not appear in the image. A case will be described in which the classification is performed by focusing on the relatively small number of pixels having the same pixel value (that is, pixels having the same pixel value).
=処理(詳細)=
図9は、第2除去判定の説明図である。なお、図9の(a)は、撮影装置側画像を示す図であり、説明の便宜上、各画像の画素値に対応する色が示されている。なお、実際の撮影装置側画像は、図9の(a)に画素の総数よりも多い画素を含んでいるが、ここでは、図9(a)の場合を適宜参照して説明する。図9の(a)において最外周の文字が記載されていない各画素については、白色に対応する画素値の画素を示しており、また、「黄」、「緑」、「青」、「赤」と図示されている各画素については、黄色に対応する画素値の画素、緑色に対応する画素値の画素、青色に対応する画素値の画素、赤色に対応する画素値の画素を示していることとする(図9の(b)も同様とする)。
=Processing (details)=
FIG. 9 is an explanatory diagram of the second removal determination. Note that (a) in FIG. 9 is a diagram showing an image on the imaging device side, and for convenience of explanation, colors corresponding to pixel values of each image are shown. Note that although the actual photographing device side image includes more pixels than the total number of pixels in FIG. 9(a), the case of FIG. 9(a) will be described here with appropriate reference. In (a) of FIG. 9, each pixel on the outermost periphery for which no character is written indicates a pixel with a pixel value corresponding to white, and also indicates "yellow", "green", "blue", and "red". '' indicates a pixel whose pixel value corresponds to yellow, a pixel whose pixel value corresponds to green, a pixel whose pixel value corresponds to blue, and a pixel whose pixel value corresponds to red. (The same applies to (b) in FIG. 9).
なお、各撮影装置側画像については、画像サイズ(つまり、画素の総数)は相互に同一であることとしてもよいし、あるいは、相互に異なることとしてもよい。 Note that the image sizes (that is, the total number of pixels) of the images on the image capturing device side may be the same or different.
処理について詳細には、例えば、まず、SB2の第1除去判定で処理の対象とすると判定された撮影装置側画像について、横一列分の画素の画素値を確認して、この確認した画素値の内の登場回数(つまり、出現頻度)が最も多い画素値を特定し、当該特定した画素値の登場回数を特定する(つまり、横一列分の画素において最も多く用いられている色を示す画素値を特定し、当該横一列分の画素において、この特定した画素値となっている画素の個数を特定する)。なお、ここで特定した登場回数を、「最頻色登場回数」とも称する。 In more detail, for example, the pixel values of pixels in a horizontal row of the image capture device image determined to be subject to processing in the first removal determination in SB2 are checked, and the pixel value that appears most frequently (i.e., frequency of occurrence) among the checked pixel values is identified, and the number of occurrences of the identified pixel value is identified (i.e., the pixel value indicating the color that is most frequently used in the horizontal row of pixels is identified, and the number of pixels in the horizontal row that have this identified pixel value is identified). The number of occurrences determined here is also referred to as the "most frequent color occurrence count."
そして、上述の最頻色登場回数を特定する処理を、撮影装置側画像の全ての行に対して行うことにより、各行の最頻色登場回数を特定し、特定した各行の最頻色登場回数の平均を算出する演算(つまり、「各行の最頻色登場回数の合計値」÷「撮影装置側画像における行の個数を示す数値」の演算)を行い、演算結果を色頻度スコアとして取得する。 Then, by performing the process of specifying the frequency of the most frequent color appearance described above for all rows of the image on the imaging device side, the frequency of the most frequent color appearance in each row is determined, and the frequency of the most frequent color appearance in each row is determined. (i.e., "total value of the number of most frequent color appearances in each row" ÷ "number indicating the number of rows in the image on the imaging device side") is performed, and the calculation result is obtained as a color frequency score. .
次に、取得した色頻度スコアと第2除去判定閾値(数値情報)とを比較し、比較結果に基づいて判定する。 Next, the obtained color frequency score is compared with a second removal determination threshold (numerical information), and a determination is made based on the comparison result.
詳細には、取得した色頻度スコアが第2除去判定閾値以上である場合、撮影装置側画像内で同じ色となっている画素の個数が比較的多いので、撮影装置側画像を、例えばテキスト又はイラスト等を示す画像等(端末装置側非撮影画像)に分別した上で、撮影装置側画像については、学習済画像に対応する画像ではないものと判定し、処理から除去するものと判定する。 Specifically, when the obtained color frequency score is equal to or higher than the second removal determination threshold, the number of pixels of the same color in the image on the image capturing device side is relatively large, so the image on the image capturing device side is After sorting into images showing illustrations, etc. (non-photographed images on the terminal device side), it is determined that the image on the photographing device side is not an image corresponding to a learned image and is to be removed from the processing.
一方、取得した色頻度スコアが第2除去判定閾値未満である場合、撮影装置側画像内で同じ色となっている画素の個数が比較的少ないので、撮影装置側画像を、風景を撮影した画像(各撮影画像)に分別した上で、撮影装置側画像については、学習済画像に対応する画像であるものと判定し、処理に含めるものと判定する(つまり、処理から除去しないものと判定する)。 On the other hand, if the obtained color frequency score is less than the second removal determination threshold, the number of pixels of the same color in the image on the camera side is relatively small, so the image on the camera side is replaced with the image taken of a landscape. After separating the images into (each photographed image), the images on the camera side are determined to be images that correspond to learned images, and are determined to be included in the processing (in other words, they are determined not to be removed from the processing). ).
「第2除去判定閾値」とは、色頻度スコアが演算された画像(つまり、撮影装置側画像)が学習済画像(つまり、冠水スコア特定用モデルを生成するために行われた機械学習で教師データとして用いられた風景撮影画像)に対応する画像であるか否かを判定するための閾値であり、例えば、実験又はシミュレーション等に基づいて予め定められている数値情報である。 "Second removal determination threshold" means that the image for which the color frequency score has been calculated (i.e., the imaging device side image) is the trained image (i.e., the image that has been trained by the machine learning performed to generate the model for identifying the submergence score) This is a threshold value for determining whether the image corresponds to a photographed landscape image used as data, and is, for example, numerical information predetermined based on experiments or simulations.
=具体例=
ここでは、図9の(a)に示す撮影装置側画像については、図9の(b)に示すように、1番目の行(図面の最上段の行)については、全て「白」の画素値となっているので、最頻色登場回数として「10」を特定する。また、図9の(b)の2番目の行(図面の2段目の行)については、「白」の画素値が2回登場し、「黄」の画素値が8回登場しているので、最頻色登場回数として「8」を特定する。図9の(b)の3番目~10番目の行については、同様にして、最頻色登場回数として「6」、「4」、「2」、「2」、「4」、「6」、「8」、「10」を特定する。
=Specific example=
Here, for the imaging device side image shown in FIG. 9(a), as shown in FIG. 9(b), all "white" pixels are in the first row (the top row of the drawing). Since it is a value, "10" is specified as the most frequent color appearance count. Furthermore, in the second row of (b) in Figure 9 (the second row in the drawing), the "white" pixel value appears twice, and the "yellow" pixel value appears eight times. Therefore, "8" is specified as the most frequent color appearance count. Similarly, for the 3rd to 10th rows in (b) of FIG. , "8", and "10".
そして、この取得結果に基づいて、最頻色登場回数の平均を算出する演算として、図9の(c)に示すように、「(10+8+6+4+2+2+4+6+8+10)÷10」(なお、「10」は「撮影装置側画像における行の個数を示す数値」である)の演算を行い、演算結果である「6」を色頻度スコアとして取得する。 Based on this acquisition result, as shown in FIG. 9(c), the calculation for calculating the average number of appearances of the most frequent color is "(10+8+6+4+2+2+4+6+8+10)÷10" (note that "10" is "photographing device"). A numerical value indicating the number of rows in the side image) is calculated, and the calculation result "6" is obtained as a color frequency score.
次に、取得した色頻度スコアである「10」と第2除去判定閾値である「3」(便宜上の値とする)とを比較し、取得した色頻度スコアである「10」が第2除去判定閾値である「3」以上であるので、図9の(a)の撮影装置側画像を、例えばテキスト又はイラスト等を示す画像等(端末装置側非撮影画像)に分別した上で、当該撮影装置側画像については、学習済画像に対応する画像ではないものと判定し、処理から除去するものと判定する。 Next, the obtained color frequency score "10" is compared with the second removal judgment threshold "3" (value for convenience), and the obtained color frequency score "10" is the second removal judgment threshold. Since the determination threshold value is "3" or more, the image on the imaging device side in FIG. It is determined that the device-side image does not correspond to the learned image and is to be removed from the process.
===SB4===
図8のSB4において制御部23は、SB1~SB3の処理結果に基づいて、冠水スコアを特定する。具体的には任意であるが、例えば、第1ステップ~第3ステップを行う。
===SB4===
In SB4 of FIG. 8, the
=第1ステップ=
第1ステップにおいて取得部231は、SB1で取得した各撮影装置側画像の内の、SB2及びSB3の両方で処理の対象とすると判定された各撮影装置側画像(つまり、第1除去判定及び第2除去判定の両方の判定で、学習済画像に対応する画像であるものと判定され撮影装置側画像)を取得する。なお、ここで取得する撮影装置側画像が、「対象領域関連画像」に対応するものと解釈してもよい。
=First step=
In the first step, the
ここでは、例えば、多数の撮影装置側画像が、SB2及びSB3の両方で処理の対象とするものと判定された場合、当該多数の撮影装置側画像を取得する。 Here, for example, if a large number of imaging device side images are determined to be processed in both SB2 and SB3, the large number of imaging device side images are acquired.
=第2ステップ=
第2ステップにおいて推定部232は、第1ステップで取得部231が取得した各撮影装置側画像の撮影位置を特定する。具体的な特定手法任意であり、例えば、各画像に対して図1の地図情報が示す地図上の位置を撮影位置として示す情報が関連付けられていることとし、この関連付けられている情報に基づいて、地図情報が示す地図上の位置を撮影位置として特定してもよい。例えば、撮影装置側画像の種類(つまり、車載カメラ装置側撮影画像、端末装置側撮影画像、監視カメラ装置側撮影画像)に応じて以下の処理を行うことにより、特定してもよい。
= Second Step =
In the second step, the
<<<車載カメラ装置側撮影画像>>>
車載カメラ装置側撮影画像については、例えば、図1の車載カメラ装置11が、自車(車載カメラ装置11が搭載されている車両)に設けられている自車位置検出手段(例えば、GPS機能を用いて自車の現在位置(つまり、車載カメラ装置11の現在位置)を検出する公知の手段)を用いて、撮影したタイミングの自車の現在位置を検出し、検出した現在位置を示す現在位置情報(図1の地図情報が示す地図上の位置を示す情報であり、例えば、経度及び緯度に対基づく座標情報等)を、車載カメラ装置側撮影画像と関連付けた状態で送信し、カーナビ用サーバの記録部に、当該現在位置情報及び車載カメラ装置側撮影画像が関連付けられた状態で蓄積されていることとする。
<<<Image taken by the vehicle camera device>>>
For images captured by the in-vehicle camera device, for example, the in-
そして、サーバ装置2が、図8のSB1において、車載カメラ装置側撮影画像を取得する場合に、前述の関連付けられている現在位置情報も併せて取得することとし、SB4において、この取得した現在位置情報が示す位置(図1の地図情報が示す地図上の位置)を撮影位置として特定する。
When the
<<<端末装置側撮影画像>>>
端末装置側撮影画像については、例えば、サーバ装置2が、図8のSB1において、端末装置側撮影画像と共にSNS用サーバの記録されている格納されているメッセージの内容(例えば、「A市〇〇駅前の〇〇コーヒーショップ前にて・・・」等の位置を特定可能なメッセージ)が示す位置(図1の地図情報が示す地図上の位置)を撮影位置として特定する。
<<<Image taken on the terminal device side>>>
Regarding the terminal device side photographed image, for example, at SB1 in FIG. The location indicated by the location-identifiable message (such as "In front of the XX coffee shop in front of the station...") (the location on the map indicated by the map information in FIG. 1) is identified as the shooting location.
なお、図1の地図情報には、例えば、A市内に設けられている建物、道路、信号機、交差点等の位置を特定する情報も含まれており、例えば、「A市〇〇駅前の〇〇コーヒーショップ」というメッセージに基づいて地図上の位置を特定可能となっていることとする。 The map information in Figure 1 also includes information that specifies the locations of buildings, roads, traffic lights, intersections, etc. located in City A. It is assumed that the location on the map can be specified based on the message "〇Coffee Shop."
<<<監視カメラ装置側撮影画像>>>
監視カメラ装置側撮影画像については、例えば、図1の監視カメラ装置13が、自己を一意に識別する監視カメラ識別情報(以下、識別情報を「ID」とも称する)を、監視カメラ装置側撮影画像と関連付けた状態で送信し、監視ステム用サーバの記録部に、当該監視カメラID及び監視カメラ装置側撮影画像が関連付けられた状態で蓄積されていることとする。また、サーバ装置2の記録部22に、監視カメラ装置13の設置位置を示す設置位置情報が格納されていることとする。
<<<Image taken by surveillance camera device>>>
Regarding the image taken by the surveillance camera device, for example, the
そして、サーバ装置2が、図8のSB1において、監視カメラ装置側撮影画像を取得する場合に、前述の関連付けられている監視カメラ装置IDも併せて取得することとし、SB4において、この取得した監視カメラ装置IDと記録部22の設置位置情報とに基づいて、監視カメラ装置IDが示す監視カメラ装置13の設置位置(図1の地図情報が示す地図上の位置)を特定し、この特定した設置位置を撮影位置として特定する。
In SB1 of FIG. 8, when the
<<<バリエーション>>>
例えば、端末装置側撮影画像及び監視カメラ装置側撮影画像も、車載カメラ装置側撮影画像の場合と同様にして、撮影位置を特定するように構成してもよい。また、例えば、図8のSB1で取得した車載カメラ装置側撮影画像に地図上の位置を特定する情報が写っている場合、この写っている情報に基づいて、撮影位置を特定してもよい。
<<<<Variations>>>
For example, the terminal device side captured image and the surveillance camera side captured image may be configured to specify the capture position in the same manner as the vehicle-mounted camera side captured image. Also, for example, if the vehicle-mounted camera side captured image acquired in SB1 of Fig. 8 contains information that specifies a position on a map, the capture position may be specified based on the information.
=第3ステップ=
第3ステップにおいて推定部232は、当該第1ステップで取得部231が取得した各撮影装置側画像を、図1の記録部22に記録されている冠水スコア特定用モデルに対して入力することにより、前述の第2ステップでの特定結果及び冠水スコア特定用モデルへの入力結果(つまり、当該モデルから出力される情報)に基づいて、各撮影装置側画像の各撮影位置における各冠水スコアを特定する。
=Third Step=
In the third step, the
=具体例=
ここでは、例えば、第1ステップにおいて、複数の車載カメラ装置側撮影画像、複数の端末装置側撮影画像、及び複数の監視カメラ装置側撮影画像を取得し、第2ステップにおいて、1個の車載カメラ装置側撮影画像(「第1車載カメラ装置側撮影画像」とも称する)の撮影位置として、図4の(b)の「c-2のメッシュ領域」内の位置の特定し、また、他の1個の車載カメラ装置側撮影画像(「第2車載カメラ装置側撮影画像」とも称する)の撮影位置として、図4の(b)の「c-3のメッシュ領域」内の位置の特定し、また、更に他の車載カメラ装置側撮影画像(「第3車載カメラ装置側撮影画像」とも称する)の撮影位置として、図4の(b)の「c-5のメッシュ領域」内の位置の特定したこととする。なお、第2ステップでは、「第1車載カメラ装置側撮影画像」~「第3車載カメラ装置側撮影画像」以外の第1ステップで取得した各画像に関しても撮影位置を特定することになるが、詳細の例示は省略する。そして、第3ステップにおいて、「第1車載カメラ装置側撮影画像」~「第3車載カメラ装置側撮影画像」等を、冠水スコア特定用モデルに入力した場合において、当該冠水スコア特定用モデルから「9」、「AA」、「2」、・・・等が出力された場合、前述の撮影位置(つまり、「c-2のメッシュ領域」内の位置、「c-3のメッシュ領域」内の位置、「c-5のメッシュ領域」内の位置等)における冠水スコアとして、「9」、「AA」、「2」、・・・等を取得して特定する。なお、「AA」は便宜上の記載であり、これらの特定した「9」、「AA」、「2」、・・・等の内の最大値に該当する数値を示すものとする。
=Specific example=
Here, for example, in the first step, a plurality of in-vehicle camera device-side captured images, a plurality of terminal device-side captured images, and a plurality of surveillance camera device-side captured images are acquired, and in the second step, one in-vehicle camera As the photographing position of the device-side photographed image (also referred to as the "first vehicle-mounted camera device-side photographed image"), a position within the "mesh area c-2" in FIG. 4(b) is specified, and another As the photographing position of the second vehicle-mounted camera device side photographed image (also referred to as the “second vehicle-mounted camera device side photographed image”), the position within the “mesh area c-3” in FIG. , Furthermore, a position within the "mesh area c-5" in (b) of FIG. That's it. In addition, in the second step, the shooting position is also specified for each image obtained in the first step other than the "first vehicle-mounted camera device side photographed image" to "third vehicle-mounted camera device side photographed image". A detailed example will be omitted. Then, in the third step, when inputting "images captured by the first vehicle-mounted camera device side" to "images captured by the third vehicle-mounted camera device side" etc. into the flood score identification model, "9'',``AA'',``2'', etc. are output, the above-mentioned shooting position (that is, the position within the ``mesh area of c-2'', the position within the ``mesh area of c-3'') ``9'', ``AA'', ``2'', etc. are acquired and specified as the submergence score at the location (position within the ``c-5 mesh area'', etc.). Note that "AA" is a description for convenience, and indicates a numerical value corresponding to the maximum value among these specified numbers such as "9", "AA", "2", . . . .
なお、実際には、第2ステップでは、第1ステップで取得した全ての撮影装置側画像に関して撮影位置を特定し、第3ステップにおいては、当該全てについて、撮影位置各々における冠水スコアを特定することになる。そして、冠水スコア特定処理をリターンする。 In fact, in the second step, the photographing positions are specified for all the images acquired by the photographing device in the first step, and in the third step, the submergence score at each photographing position is specified for all of the images. become. Then, the submergence score identification process is returned.
なお、このSB4においては、前述したように、SB2及びSB3の両方で処理の対象とすると判定された各撮影装置側画像のみが用いられるので、冠水スコア特定用モデルに対して適切な画像を入力することができるので、適切に処理することが可能となる。 Note that in this SB4, as mentioned above, only images from each imaging device that were determined to be processed in both SB2 and SB3 are used, so appropriate images are input to the flood score identification model. This allows for appropriate processing.
なお、図8のSB4の第2ステップ及び第3ステップが、「第1推定処理」に対応するものと解釈してもよい。 Note that the second and third steps of SB4 in FIG. 8 may be interpreted as corresponding to the "first estimation process."
===SA2===
図7のSA2において推定部232は、最大冠水スコア所属メッシュ領域を特定する。
===SA2===
At SA2 in FIG. 7, the
=最大冠水スコア所属メッシュ領域=
「最大冠水スコア所属メッシュ領域」とは、最大浸水度所属領域であり、例えば、対象領域に含まれる複数のメッシュ領域の内の、最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属するメッシュ領域を示す概念である。
= Maximum flooding score belonging mesh area =
The "maximum flooding score belonging mesh area" is the area belonging to the maximum flooding degree, for example, the shooting position corresponding to the maximum flooding degree which is the shooting position corresponding to the maximum flooding degree among the multiple mesh areas included in the target area. This is a concept that indicates the mesh area to which a
「最大浸水度」とは、SA1(詳細には図8のSB4)で取得して特定した冠水スコアの内の最大値となっている冠水スコアを示す概念である。 The "maximum degree of flooding" is a concept that indicates the maximum flooding score among the flooding scores acquired and specified in SA1 (specifically, SB4 in FIG. 8).
「最大浸水度に対応する撮影位置」とは、最大値となっている冠水スコアが特定された撮影装置側画像の撮影位置を示す概念であり、詳細には、最大値となっている冠水スコアが冠水スコア特定用モデルから出力される際に当該モデルに入力された撮影装置側画像が撮影された位置を示す概念である。 "Photographing position corresponding to the maximum flooding degree" is a concept that indicates the shooting position of the image on the imaging device side where the flooding score that is the maximum value has been identified, and in detail, the flooding score that is the maximum value. This is a concept that indicates the position at which the photographing device side image input to the model is output when the flood score identification model is output.
=処理=
処理について具体的には任意であるが、例えば、第1ステップ~第2ステップを行う。
=Processing=
Although the specific processing is arbitrary, for example, the first step to the second step are performed.
=第1ステップ=
第1ステップにおいて推定部232は、SA1(詳細には図8のSB4)で特定した冠水スコアの内の最大値となっている冠水スコア(以下、「最大冠水スコア」とも称する)を特定する。
=First step=
In the first step, the
ここでは、例えば、図8のSB4で特定した「9」、「AA」、「2」、・・・等の内の最大値である「AA」を、最大冠水スコアとして特定する。 Here, for example, "AA", which is the maximum value among "9", "AA", "2", etc. specified in SB4 of FIG. 8, is specified as the maximum flooding score.
なお、SA2の第1ステップが、「第2推定処理」に対応するものと解釈してもよい。 Note that the first step of SA2 may be interpreted as corresponding to the "second estimation process."
=第2ステップ=
第2ステップにおいて推定部232は、図1の記録部22の地図情報を参照して、図8のSB4の処理結果に基づいて、第1ステップで特定した最大冠水スコアに対応する撮影位置を特定し、特定した撮影位置が所属するメッシュ領域を、最大冠水スコア所属メッシュ領域として特定する。
=Second step=
In the second step, the
ここでは、例えば、図8のSB4の第3ステップにおいて、「c-3のメッシュ領域」内の撮影位置おける冠水スコアとして「AA」(最大冠水スコア)を特定したので、図4の(b)の符号「M101」が付されている「c-3のメッシュ領域」を最大冠水スコア所属メッシュ領域として特定する。 Here, for example, in the third step of SB4 in FIG. 8, the flooding score at the shooting position in the "mesh area c-3" is identified as "AA" (maximum flooding score), so the "mesh area c-3" marked with the symbol "M101" in FIG. 4(b) is identified as the mesh area to which the maximum flooding score belongs.
===SA3===
図7のSA3において推定部232は、推定処理を実行する。図10は、推定処理を示すフローチャートである。「推定処理」とは、対象領域の浸水状況を推定する処理である。
===SA3===
At SA3 in FIG. 7, the
===SC1===
図10のSC1において推定部232は、図1の記録部22の地図情報に基づいて、対象領域の各メッシュ領域における標高を特定する。ここでは、例えば、図4の(b)に示すように、「a-2のメッシュ領域」の標高である「99」、「b-2のメッシュ領域」の標高である「100」等を特定する。
===SC1===
In SC1 of Fig. 10, the
===SC2===
図10のSC2において推定部232は、SC1の処理結果に基づいて、対象領域の各メッシュ領域における傾斜指数を特定する。
===SC2===
In SC2 of FIG. 10, the
図11は、傾斜指数及び浸水深さの説明図であり、また、図12~図14は、処理例の説明図である。なお、図12~図14においては、図4の(b)の対象領域におけるメッシュ領域が図示されており、各種数値情報が図示されている。 FIG. 11 is an explanatory diagram of slope index and flood depth, and FIGS. 12 to 14 are explanatory diagrams of processing examples. Note that in FIGS. 12 to 14, a mesh area in the target area of FIG. 4B is illustrated, and various numerical information is illustrated.
=傾斜指数=
「傾斜指数」とは、対象領域内の傾斜の度合いを示す情報であり、例えば、メッシュ領域単位に基づく傾斜の度合いを示す情報である。「傾斜指数」とは、例えば、傾斜指数によって傾斜の度合いが示されるメッシュ領域(以下、「対象メッシュ領域」とも称する)の標高と、当該メッシュ領域に隣接する周辺の各メッシュ領域(本実施の形態では、8個のメッシュ領域)の標高との差分(つまり、標高差)に基づいて定められる数値情報である。なお、「傾斜指数」を「傾斜指数情報」と称してもよい。
=Slope index=
"Slope index" is information indicating the degree of slope within the target area, for example, information indicating the degree of slope based on the mesh area unit. "Slope index" refers to, for example, the altitude of a mesh area (hereinafter also referred to as "target mesh area") whose degree of slope is indicated by the slope index, and the altitude of each mesh area adjacent to the mesh area (in this implementation). In terms of form, it is numerical information determined based on the difference (that is, elevation difference) with the elevation of eight mesh regions). Note that the "slope index" may also be referred to as "slope index information."
「傾斜指数」とは、本実施の形態では例えば、図11の(A)に示すように、「周辺領域のメッシュ領域の標高差の値の総和」÷「周辺のメッシュ領域の個数」の演算結果の絶対値である。なお、当該演算結果の絶対値が「1」よりも大きくなる場合、傾斜指数は「1」になることとする。 In this embodiment, the "slope index" is, for example, the calculation of "the sum of the elevation difference values of mesh regions in the surrounding area" ÷ "the number of mesh regions in the surrounding area", as shown in FIG. 11(A). is the absolute value of the result. Note that if the absolute value of the calculation result is greater than "1", the slope index is set to "1".
なお、「周辺領域のメッシュ領域の標高差」とは、対象メッシュ領域の標高と、当該対象メッシュ領域に隣接する周辺の各メッシュ領域の各標高との差分各々を示す概念である。また、「周辺のメッシュ領域の個数」とは、前述のように、本実施の形態では8個であるので、「8」となる。 The "elevation difference between the mesh areas in the surrounding area" is a concept that indicates the difference between the elevation of the target mesh area and the elevation of each of the surrounding mesh areas adjacent to the target mesh area. Also, as mentioned above, the "number of surrounding mesh areas" is eight in this embodiment, so the number is "8".
=処理=
処理について具体的には任意であるが、例えば、各メッシュ領域を、順次、対象メッシュ領域として、第1ステップ~第2ステップを行うことにより、各メッシュ領域の傾斜指数を特定する。ここでは、例えば、図4の(b)の「c-3のメッシュ領域」を対象メッシュ領域とする場合の処理を主に例示して説明する。
=Processing=
Although the specific process is arbitrary, for example, the slope index of each mesh area is specified by sequentially performing the first and second steps with each mesh area as the target mesh area. Here, for example, the processing in the case where "mesh region c-3" in FIG. 4(b) is set as the target mesh region will be mainly explained.
=第1ステップ=
第1ステップにおいて推定部232は、SC1で特定した各メッシュ領域の標高に基づいて、対象メッシュ領域の標高に対する、当該対象メッシュ領域に隣接する周辺の各メッシュ領域の各標高の差分を演算することにより、対象メッシュ領域の標高に対する周辺の各メッシュ領域と標高差各々を特定する。詳細には、例えば、周辺の各メッシュ領域の標高が対象メッシュ領域の標高よりも低い場合、正の数値(つまり、高い場合は負の数値)とし、単位としては「m」を用いる。
=First step=
In the first step, the
ここでは、例えば、図4の(b)の「c-3のメッシュ領域」を対象メッシュ領域とする場合、当該「c-3のメッシュ領域」の標高が「100」であり、周囲のメッシュ領域である「d-2のメッシュ領域」の標高が「102」であり、「d-2のメッシュ領域」の標高の方が「c-3のメッシュ領域」の標高よりも、「2」だけ高いことになるので、図12の(a)の「d-2のメッシュ領域」に図示されている通り、「d-2のメッシュ領域」の対象メッシュ領域に対する標高差として「-2」を特定する。周辺の他のメッシュ領域についても同様な処理を行うことにより、図12の(a)に図示されている標高差を特定する。 Here, for example, when the "c-3 mesh region" in FIG. 4(b) is the target mesh region, the altitude of the "c-3 mesh region" is "100", and the surrounding mesh region The altitude of "mesh area of d-2" is "102", and the altitude of "mesh area of d-2" is higher than the altitude of "mesh area of c-3" by "2". Therefore, as shown in the "d-2 mesh area" in Figure 12(a), "-2" is specified as the elevation difference between the "d-2 mesh area" and the target mesh area. . By performing similar processing on other surrounding mesh areas, the elevation differences shown in FIG. 12(a) are identified.
=第2ステップ=
第2ステップにおいて、第1ステップで特定した標高差を用いて、図11の(A)の演算式に示す演算を行い、演算結果の数値を対象メッシュ領域の傾斜指数として特定する。なお、前述した通り、演算結果が「1」よりも大きくなる場合、「1」を対象メッシュ領域の傾斜指数として特定することとする。
=Second step=
In the second step, the altitude difference identified in the first step is used to perform the calculation shown in the calculation formula in (A) of FIG. 11, and the numerical value of the calculation result is specified as the slope index of the target mesh area. Note that, as described above, when the calculation result is greater than "1", "1" is specified as the slope index of the target mesh region.
ここでは、例えば、第1ステップにおいて、図12の(a)に図示されている標高差を特定した場合、図12の(b)の「(演算例)」に示す演算を行い、演算結果が「0.75」(「1」以下)であるので、「c-3のメッシュ領域」の傾斜指数として、「0.75」を特定する。 Here, for example, in the first step, when the elevation difference shown in (a) of FIG. 12 is specified, the calculation shown in "(calculation example)" in (b) of FIG. Since it is "0.75" (less than or equal to "1"), "0.75" is specified as the slope index of "c-3 mesh region".
=他の具体例=
また、例えば、「b-3のメッシュ領域」を対象メッシュ領域とする場合の処理する場合、第1ステップには、「b-3のメッシュ領域」に対する「b-3のメッシュ領域」の周辺のメッシュ領域の標高差として、図13の(a)に図示されている標高差を特定し、第2ステップにおいて、図13の(b)の「(演算例)」に示す演算を行い、演算結果が「0.125」(「1」以下)であるので、「b-3のメッシュ領域」の傾斜指数として、「0.125」を特定する。そして、同様な処理を行うことにより、他の全てのメッシュ領域における傾斜指数を特定する。
=Other specific examples=
Also, for example, when processing when the target mesh area is "mesh area of b-3", the first step includes The elevation difference shown in FIG. 13(a) is specified as the elevation difference in the mesh area, and in the second step, the calculation shown in "(calculation example)" in FIG. 13(b) is performed, and the calculation result is is "0.125" (less than or equal to "1"), so "0.125" is specified as the slope index of "mesh region b-3". Then, by performing similar processing, slope indices in all other mesh regions are specified.
===SC3===
図10のSC3において推定部232は、上記の各処理結果を適宜用いて、少なくとも、最大冠水スコアと、最大冠水スコア所属メッシュ領域と、傾斜指数情報とに基づいて、対象領域の浸水状況を推定する。ここでは、例えば、対象領域の浸水状況として、各メッシュ領域単位での浸水深さ(たまっている水の深さ)を推定する場合について説明する。
===SC3===
In SC3 of FIG. 10, the
処理について具体的には任意であるが、例えば、第1ステップ~第3ステップを行う。 Although the specific process is arbitrary, for example, the first to third steps are performed.
=第1ステップ=
第1ステップにおいて推定部232は、図7のSA2の処理結果に基づいて、最大冠水スコア所属メッシュ領域における最大冠水スコアに対応する冠水スコア対応浸水深さを特定する。
=First step=
In the first step, the
「冠水スコア対応浸水深さ」とは、冠水スコアから求められる浸水深さを示す概念である。冠水スコアは、前述した通り、浸水深さ(浸水した際の水面から底までの深さ)に対応する数値として定められているので、冠水スコアから当該冠水スコアに対応する浸水深さを特定することができ、この特定される浸水深さが「冠水スコア対応浸水深さ」である。 "Flood depth corresponding to flood score" is a concept indicating the flood depth determined from the flood score. As mentioned above, the flooding score is determined as a numerical value corresponding to the flooding depth (the depth from the water surface to the bottom at the time of flooding), so the flooding depth corresponding to the flooding score is determined from the flooding score. This specified immersion depth is the ``immersion depth corresponding to the immersion score.''
冠水スコアから浸水深さ(つまり、「冠水スコア対応浸水深さ」)を特定する特定手法は任意であり、例えば、冠水スコアと当該冠水スコアに対応する浸水深さとを示すテーブル情報、あるいは、冠水スコアから当該冠水スコアに対応する浸水深さを演算して求めるための演算式が、サーバ装置2の記録部22に記録されていることとし、この記録されているテーブル情報又は演算式に基づいて特定する手法を用いてもよい。
The method for specifying the flooding depth from the flooding score (that is, the "flooding depth corresponding to the flooding score") is arbitrary. For example, table information indicating the flooding score and the flooding depth corresponding to the flooding score, or It is assumed that an arithmetic expression for calculating and finding the flood depth corresponding to the flood score from the score is recorded in the
処理について詳細には例えば、前述の特定手法に基づいて、図7のSA2の第1ステップ特定した最大冠水スコアに対応する冠水スコア対応浸水深さを特定する。 More specifically, for example, based on the above-mentioned identification method, the immersion depth corresponding to the immersion score corresponding to the maximum immersion score identified in the first step of SA2 in FIG. 7 is specified.
ここでは、例えば、図7のSA2の第1ステップ特定した最大冠水スコアが「AA」であるので、前述の特定手法に基づいて特定される「AA」に対応する浸水深さが「10」(単位は「cm」であり以下適宜省略する)である場合、図14の(a)に示すように、最大冠水スコア所属メッシュ領域である「c-3のメッシュ領域」における最大冠水スコアに対応する冠水スコア対応浸水深さとして「10」を特定する。 Here, for example, if the maximum flooding score identified in the first step of SA2 in Figure 7 is "AA", and the flooding depth corresponding to "AA" identified based on the above-mentioned identification method is "10" (unit is "cm" and will be omitted as appropriate below), then "10" is identified as the flooding score-corresponding flooding depth corresponding to the maximum flooding score in the mesh area "c-3 mesh area", which is the mesh area to which the maximum flooding score belongs, as shown in (a) of Figure 14.
=第2ステップ=
第2ステップにおいて推定部232は、図10のSC1で特定した各メッシュ領域の標高に基づいて、図7のSA2の第1ステップ特定した最大冠水スコア所属メッシュ領域の標高に対する、各メッシュ領域(最大冠水スコア所属メッシュ領域を含む)の各標高の差分を演算することにより、対象メッシュ領域の標高に対する周辺の各メッシュ領域の標高差各々を特定する。詳細には、例えば、各メッシュ領域の標高が最大冠水スコア所属メッシュ領域の標高よりも低い場合、正の数値(つまり、高い場合は負の数値)とし、単位としては「cm」を用いる。
=Second step=
In the second step, the estimating
ここでは、例えば、図4の(b)の「c-3のメッシュ領域」が最大冠水スコア所属メッシュ領域であり、当該「c-3のメッシュ領域」の標高が「100」(m)であり、「b-3のメッシュ領域」の標高は「99」(m)であるので、「b-3のメッシュ領域」の標高の方が「c-3のメッシュ領域」(最大冠水スコア所属メッシュ領域)の標高よりも「1」(m)(つまり、「100」cm)だけ低いことになるので、図14の(b)の「b-3のメッシュ領域」に図示されている通り、「b-3のメッシュ領域」の最大冠水スコア所属メッシュ領域に対する標高差として「100」を特定する。 Here, for example, the "mesh region c-3" in (b) of FIG. 4 is the mesh region to which the maximum flooding score belongs, and the elevation of the "mesh region c-3" is "100" (m), while the elevation of the "mesh region b-3" is "99" (m), so the elevation of the "mesh region b-3" is lower than the elevation of the "mesh region c-3" (mesh region to which the maximum flooding score belongs) by "1" (m) (i.e., "100" cm), and therefore, as shown in the "mesh region b-3" in (b) of FIG. 14, the elevation difference of the "mesh region b-3" from the mesh region to which the maximum flooding score belongs is specified as "100".
また、「c-3のメッシュ領域」の標高差は、自己が最大冠水スコア所属メッシュ領域であるために、図14の(b)の「c-3のメッシュ領域」に図示されている通り、「c-3のメッシュ領域」の最大冠水スコア所属メッシュ領域に対する標高差として「0」を特定する。なお、他の全てのメッシュ領域についても同様な処理を行うことにより、各メッシュ領域の最大冠水スコア所属メッシュ領域に対する標高差を特定する(図14では具体的な値は不図示)。 In addition, the elevation difference of the "mesh area of c-3" is as shown in the "mesh area of c-3" in FIG. ``0'' is specified as the elevation difference with respect to the mesh area to which the maximum flooding score belongs to the ``c-3 mesh area''. Note that by performing similar processing for all other mesh regions, the elevation difference of each mesh region with respect to the mesh region to which the maximum flooding score belongs is specified (specific values are not shown in FIG. 14).
=第3ステップ=
第3ステップにおいて推定部232は、第1ステップ及び第2ステップの処理結果、及び、図10のSC2の処理結果に基づいて、各メッシュ領域の浸水深さを推定する。具体的には任意であるが、例えば、図11の(B)に示す演算を行い、演算結果を浸水深さとして特定し、特定した浸水深さを推定した浸水深さとする。
=3rd step=
In the third step, the
処理について詳細には例えば、推定対象の特定のメッシュ領域(以下、「推定対象メッシュ領域」とも称する)の浸水深さを推定する場合、「第1ステップで特定した冠水スコア対応浸水深さ」+「第2ステップで特定した推定対象メッシュ領域の標高差」×「図10のSC2で特定した推定対象メッシュ領域の傾斜指数」の演算を行い、演算結果を、「推定対象メッシュ領域」の浸水深さとして特定して推定する。そして、対象領域に含まれる全てのメッシュ領域について、順次、「推定対象メッシュ領域」として上述の処理を行うことにより、全てのメッシュ領域における浸水深さを推定する。 For more details about the process, for example, when estimating the flooding depth of a specific mesh area to be estimated (hereinafter also referred to as "estimation target mesh area"), "flooding depth corresponding to the flooding score identified in the first step" + Perform the calculation of "elevation difference in the estimation target mesh area identified in the second step" x "slope index of the estimation target mesh area identified in SC2 in Figure 10", and calculate the calculation result as the inundation depth of the "estimation target mesh area" Specify and estimate the Then, by sequentially performing the above-described processing on all the mesh regions included in the target region as "estimated target mesh regions", the inundation depths in all the mesh regions are estimated.
ここでは、例えば、「b-3のメッシュ領域」が推定対象メッシュ領域である場合、第1ステップで特定した冠水スコア対応浸水深さが「10」であり、第2ステップで特定した「b-3のメッシュ領域」の標高差が「100」(図14の(b))であり、図10のSC2で特定した「b-3のメッシュ領域」の傾斜指数が「0.125」(図14の(c)及び図13の(b))であるので図14の(d)の上段の「(演算例)」に示すように、「10+100×0.125」の演算を行い、演算結果である「22.5」(cm)を、「b-3のメッシュ領域」の浸水深さとして推定する。 Here, for example, if "mesh area b-3" is the estimation target mesh area, the flooding depth corresponding to the flooding score identified in the first step is "10", and the "b-3 mesh area" identified in the second step is "10". The elevation difference of the "mesh area of 3" is "100" ((b) in Fig. 14), and the slope index of the "mesh area of b-3" identified in SC2 of Fig. 10 is "0.125" (Fig. 14). (c) of FIG. 13 and (b) of FIG. 13). Therefore, as shown in "(Example of calculation)" in the upper part of (d) of FIG. A certain ``22.5'' (cm) is estimated as the inundation depth of ``b-3 mesh area.''
=他の具体例=
また、例えば、「c-3のメッシュ領域が推定対象メッシュ領域である場合、第1ステップで特定した冠水スコア対応浸水深さが「10」であり、第2ステップで特定した「c-3のメッシュ領域」の標高差が「0」(図14の(b))であり、図10のSC2で特定した「c-3のメッシュ領域」の傾斜指数が「0.75」(図14の(c))であるので図14の(d)の下段の「(演算例)」に示すように、「10+0×0.75」の演算を行い、演算結果である「10」(cm)を、「c-3のメッシュ領域」の浸水深さとして推定する。そして、同様な処理を行うことにより、他の全てのメッシュ領域の浸水深さを特定する。そして、図10の推定処理をリターンし、図7の浸水状況推定処理を終了する。
=Other specific examples=
For example, if the mesh region of "c-3" is the estimation target mesh region, the flooding depth corresponding to the flooding score identified in the first step is "10", and the "c-3" mesh region identified in the second step is "10". The elevation difference of the "mesh area" is "0" ((b) in Figure 14), and the slope index of the "c-3 mesh area" identified in SC2 in Figure 10 is "0.75" (((b) in Figure 14). c)) Therefore, as shown in "(Example of calculation)" in the lower part of FIG. Estimated as the inundation depth of "c-3 mesh area". Then, by performing similar processing, the flood depths of all other mesh areas are determined. Then, the estimation processing of FIG. 10 is returned, and the flooding situation estimation processing of FIG. 7 is ended.
なお、図10の推定処理が「第3推定処理」に対応するものと解釈してもよい。 Note that the estimation process in FIG. 10 may be interpreted as corresponding to the "third estimation process."
また、図7の浸水状況推定処理終了後の処理は任意であるが、例えば、サーバ装置2の制御部23が、図7のSA3(詳細には図10のSC3)で推定した浸水状況を示す情報を、ユーザ(例えば、「A市」の防災担当者)の端末装置(例えば、パソコン等)に送信することにより、浸水状況を表示してもよい。なお、この場合、図1の記録部22の地図情報が示す地図上に、推定した浸水深さを示す画像を重畳した浸水状況表示マップを表示するように構成してもよい。なお、この浸水状況表示マップにおいては、所定の深さ以上の浸水深さが推定されたメッシュ領域を強調表示してもよいし、例えば色の濃淡を用いて、多段階の浸水深さを示ように構成してもよい。
The process after the completion of the flooding situation estimation process in FIG. 7 is optional. For example, the
(傾斜指数の影響)
図11の(B)に示すように、傾斜指数に基づいて浸水深さが推定されるので、例えば、連続して下方に向かって傾斜している範囲(つまり、上下交互となる起伏がほぼなく、連続して傾斜している範囲)において、降雨の際に、隣接した領域から流れ込む水量と、他の隣接した領域に流れ出る水量とが相互にほぼ同等となる領域が存在し得る。そして、このような領域においては、隣接するメッシュ領域においては標高の差が存在しても、標高差に対応する深さ分だけ水がたまるわけではない実情が想定され、傾斜指数を用いることによりこのような想定を反映して浸水深さを推定できるので、浸水深さの推定精度を向上させることが可能となる。
(Influence of slope index)
As shown in Figure 11 (B), the inundation depth is estimated based on the slope index, so for example, it is possible to estimate the area that slopes continuously downward (that is, there is almost no ups and downs that alternate up and down). , a continuously sloping range), there may be a region where, during rainfall, the amount of water flowing in from an adjacent region and the amount of water flowing out to another adjacent region are approximately equal to each other. In such areas, even if there is a difference in elevation in adjacent mesh areas, it is assumed that water will not accumulate to the depth corresponding to the difference in elevation, so by using the slope index, Since the depth of flooding can be estimated by reflecting such assumptions, it is possible to improve the accuracy of estimating the depth of flooding.
すなわち、例えば、図4の(b)の「b-3のメッシュ領域」については、最大冠水スコア所属メッシュ領域である「c-3のメッシュ領域」よりも「100」(cm)だけ標高が低いが、降雨の際は、標高差による傾斜を考慮すると、例えば、図4の(b)の図面下方側から上方側へ流れて、「b-3のメッシュ領域」から流れ出る水も存在するので、「c-3のメッシュ領域」よりも標高差分の「100」(cm)だけ浸水深さが深くなることは想定難い実情がある。そして、この「b-3のメッシュ領域」の浸水深さの推定の際には、前述したように、標高差に対して傾斜指数である「0.125」が掛け合わされた後に、「c-3のメッシュ領域」の冠水スコア対応深さに加算されることになるので、上述の実情が反映されるために、浸水深さの推定精度を向上させることが可能となる。 That is, for example, the "mesh area b-3" in FIG. However, when it rains, taking into account the slope due to the difference in altitude, for example, there is water that flows from the bottom side of the drawing in Figure 4 (b) to the top side and flows out from the "mesh area of b-3". The reality is that it is difficult to imagine that the flood depth would be deeper than the "c-3 mesh area" by the elevation difference of "100" (cm). Then, when estimating the inundation depth of this "b-3 mesh area", as mentioned above, after multiplying the elevation difference by the slope index "0.125", "c- Since it is added to the depth corresponding to the flooding score of ``Mesh Area No. 3'', the above-mentioned actual situation is reflected, so that it is possible to improve the estimation accuracy of the flooding depth.
(実施の形態の効果)
このように本実施の形態によれば、対象領域を撮影した画像である対象領域関連画像に基づいて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。また、例えば、対象領域関連画像に基づいて浸水の度合である浸水度(例えば冠水スコア)を特定する学習済浸水状況特定用モデル(例えば冠水スコア特定用モデル)を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。
(Effects of embodiment)
As described above, according to the present embodiment, since the flooding situation is estimated based on the target area related image, which is an image of the target area, it is possible to improve the accuracy of estimating the flooding situation, for example. Furthermore, for example, the flooding situation can be estimated using a trained flooding situation identification model (for example, a flooding score identification model) that identifies the degree of flooding (e.g., flooding score) based on the target area-related image. For example, it is possible to improve the accuracy of estimating the flood situation.
また、対象領域内の傾斜の度合を示す傾斜指数情報(つまり、傾斜指数)を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。 In addition, the flooding condition is estimated using slope index information (i.e., slope index) that indicates the degree of slope within the target area, making it possible to improve the accuracy of estimating the flooding condition, for example.
また、第1推定処理、第2推定処理、及び第3推定処理を行うので、例えば、浸水状況の推定精度を向上させることが可能となる。 In addition, by performing the first estimation process, the second estimation process, and the third estimation process, it is possible to improve the accuracy of estimating the flooding situation, for example.
また、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段(例えば第1判定部233)が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。 Furthermore, when the first determination means (for example, the first determination unit 233) determines that the photographing device side image is an image corresponding to the learned image, by acquiring the photographing device side image as a target area related image. For example, since an appropriate target area related image can be used, it is possible to improve the accuracy of estimating the flooding situation.
また、第1判定手段(例えば第1判定部233)は、撮影装置側画像と学習済画像との相異の度合を特定する学習済相異度特定用モデル(例えば除外用モデル)に基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。 Further, the first determination means (for example, the first determination unit 233) uses a learned dissimilarity degree identification model (for example, an exclusion model) that identifies the degree of dissimilarity between the image on the imaging device side and the learned image. For example, by determining whether or not the image on the photographing device side corresponds to the learned image, it is possible to make an appropriate determination.
また、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段(例えば第1判定部233)及び第2判定手段(例えば第2判定部234)が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。 Further, when the first determination means (for example, the first determination section 233) and the second determination means (for example, the second determination section 234) determine that the image on the photographing device side corresponds to the learned image, By acquiring the device-side image as a target area-related image, for example, an appropriate target area-related image can be used, so it is possible to improve the accuracy of estimating the flooding situation.
また、第2判定手段(例えば第2判定部234)は、撮影装置側画像内の各画素値の出現頻度に基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。 Further, the second determination means (for example, the second determination unit 234) determines whether or not the photographing device-side image corresponds to the learned image based on the frequency of appearance of each pixel value in the photographing device-side image. By making the determination, for example, it becomes possible to make an appropriate determination.
〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
[Modifications to the embodiment]
Although the embodiments of the present invention have been described above, the specific structure and means of the present invention may be arbitrarily modified and improved within the scope of the technical idea of the present invention as described in the claims. I can do it. Hereinafter, such a modified example will be explained.
(解決しようとする課題や発明の効果について)
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
(About the problems to be solved and the effects of the invention)
First of all, the problems to be solved by the invention and the effects of the invention are not limited to the above-mentioned contents, but may differ depending on the implementation environment of the invention and the details of the configuration, and only some of the problems described above can be solved. In some cases, the above-mentioned effects may be solved or only some of the above-mentioned effects may be achieved.
(分散や統合について)
また、上述した各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
(Regarding decentralization and integration)
In addition, each of the above-mentioned components is functionally conceptual, and does not necessarily have to be physically configured as shown in the drawings. In other words, the specific form of distribution or integration of each part is not limited to that shown in the drawings, and all or part of them can be functionally or physically distributed or integrated in any unit depending on various loads, usage conditions, etc. In addition, the term "device" in this application is not limited to one configured by a single device, but includes one configured by multiple devices.
(形状、数値、構造、時系列について)
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
(About shape, numbers, structure, time series)
With respect to the components illustrated in the embodiments and drawings, the shape, numerical values, structure or chronological relationship of multiple components may be arbitrarily modified and improved within the scope of the technical idea of the present invention. I can do it.
(所定装置について)
また、上記実施の形態では、撮影手段を備える所定装置として、図1及び図2の車載カメラ装置11、端末装置12、及び監視カメラ装置13を例示したが、これらに限らず、他の装置を適用することもできる。
(Regarding prescribed equipment)
Further, in the above embodiment, the in-
(画像について)
また、上記実施の形態で説明した画像(図3の「送信画像」の欄に記載の画像)は例示であり、実際には、多数の種類の画像を用いることが想定される。
(About images)
Further, the images described in the above embodiment (the images described in the "transmission image" column in FIG. 3) are merely examples, and in reality, it is assumed that many types of images will be used.
(メッシュ領域について)
また、上記実施の形態では、メッシュ領域が、1辺が10mの正方形である場合について説明したが、これに限らない。例えば、メッシュ領域の形状として、他の任意の形状(例えば、三角形、長方形等)を採用してもよいし、あるいは、複数のメッシュ領域として、実施の形態のように相互に同一の形状及びサイズのものを採用してもよいし、少なくとも一部が相互に異なる形状及びサイズのものを採用してもよい。
(About mesh area)
Further, in the embodiment described above, the case where the mesh area is a square with one side of 10 m has been described, but the mesh area is not limited to this. For example, the shape of the mesh region may be any other shape (for example, triangle, rectangle, etc.), or multiple mesh regions may have the same shape and size as in the embodiment. Alternatively, at least some of the shapes and sizes may be different from each other.
(除去判定について)
また、例えば、上記実施の形態の図8のSB2の第1除去判定、又は、SB3の第2除去判定の内の一方の除去判定を省略した上で、省略されていない他方の除去判定で、処理の対象とすると判定された各撮影装置側画像について、図8のSB4の処理を行うように構成してもよい。
(About removal judgment)
Further, for example, after omitting one of the first removal judgment of SB2 or the second removal judgment of SB3 in FIG. 8 of the above embodiment, the other removal judgment that is not omitted, The configuration may be such that the process of SB4 in FIG. 8 is performed for each imaging device side image determined to be a target of processing.
また、例えば、SB2及びSB3の実行順序を相互に入れ替えてもよい。また、例えば、図8のSB2及びSB3の両方の除去判定を省略した上で、SB1で取得した各撮影装置側画像の全てについて、SB4の処理を行うように構成してもよい。 In addition, for example, the execution order of SB2 and SB3 may be interchanged. In addition, for example, the removal determinations of both SB2 and SB3 in FIG. 8 may be omitted, and the process of SB4 may be performed on all of the imaging device-side images acquired in SB1.
(傾斜指数について)
また、上記実施の形態の図11の傾斜指数の演算式については、任意に変更してもよく、例えば、所定の重みづけを行って演算しもよい。
(Regarding the gradient index)
The formula for calculating the gradient index in FIG. 11 in the above embodiment may be changed arbitrarily. For example, the formula may be calculated by applying a predetermined weighting.
(浸水状況の推定について(その1))
また、上記実施の形態では、図10のSC3において、対象領域の浸水状況として、各メッシュ領域単位での浸水深さ(たまっている水の深さ)を推定する場合について説明したが、これに限らない。例えば、図10のSC3において、対象領域の浸水状況として、各メッシュ領域単位での浸水深さを特定した上で、対象領域の各領域において水がたまっているか否かを推定するように構成してもよい。
(Estimation of the inundation situation (part 1))
In the above embodiment, the flood depth (depth of accumulated water) for each mesh area is estimated as the flooding condition of the target area in SC3 in Fig. 10, but this is not limited to the above. For example, in SC3 in Fig. 10, the flood depth for each mesh area may be specified as the flooding condition of the target area, and then it may be configured to estimate whether water has accumulated in each area of the target area.
具体的には例えば、実施の形態で説明した図10のSC3の処理を行うことより特定(推定)された各メッシュ領域の浸水深さに基づいて、浸水深さが「0」の領域を水がたまっていない領域と推定し、浸水深さが「0」より大きな数値となる領域を水がたまっている領域として推定してもよい。なお、「0」以外の基準(例えば、「2」~「5」等)に基づいて推定するように構成してもよい。 Specifically, for example, based on the flood depth of each mesh area identified (estimated) by performing the process of SC3 in FIG. 10 described in the embodiment, an area with a flood depth of "0" may be estimated as an area where water does not accumulate, and an area with a flood depth greater than "0" may be estimated as an area where water accumulates. Note that the estimation may be configured to be based on a criterion other than "0" (for example, "2" to "5", etc.).
(浸水状況の推定について(その2))
また、上記実施の形態では、メッシュ領域及び傾斜指数という概念を採用して、浸水状況の推定する場合について説明しが、これに限らない。例えば、メッシュ領域という概念を採用せず、図8のSB4で特定した各撮影位置における冠水スコアに対応する浸水深さを特定し、特定した浸水深さに基づいて浸水状況を推定するように構成してもよい。なお、この場合、例えば、各撮影位置における浸水深さを特定することが、浸水状況を推定することに対応するものと解釈してもよい。
(About estimation of flooding situation (Part 2))
Further, in the embodiment described above, a case has been described in which the concept of a mesh area and a slope index is employed to estimate a flood situation, but the present invention is not limited to this. For example, instead of adopting the concept of a mesh area, the configuration is configured such that the flooding depth corresponding to the flooding score at each imaging position specified in SB4 of FIG. 8 is specified, and the flooding situation is estimated based on the specified flooding depth. You may. Note that in this case, for example, identifying the depth of flooding at each imaging position may be interpreted as corresponding to estimating the flooding situation.
(降水関連情報)
また、降水関連情報も考慮して、対象領域の浸水状況を推定するように構成してもよい。図15~図16は、対象領域を例示した図である。
(Rainfall-related information)
Moreover, the flooding condition of the target area may be estimated by taking precipitation-related information into consideration. Figures 15 and 16 are diagrams showing examples of the target area.
「降水関連情報」とは、降水に関連する情報であり、例えば、所定機関(一例としては、気象庁関連の機関等)から提供される高解像度降水ナウキャストに基づく降水分布に対応する情報(以下、「高解像度降水ナウキャスト情報」とも称する)、及び、所定機関(一例としては、気象庁関連の機関等)から提供される表面雨量指数に基づく浸水危険度の高まりを示す分布に対応する情報(以下、「表面雨量指数情報」とも称する)等を含む概念である。 "Precipitation-related information" is information related to precipitation, such as information corresponding to precipitation distribution based on high-resolution precipitation nowcasts provided by a designated organization (for example, an organization related to the Japan Meteorological Agency) (hereinafter referred to as "precipitation-related information"). , also referred to as "high-resolution precipitation nowcast information"), and information corresponding to a distribution indicating an increase in the risk of flooding based on a surface rainfall index provided by a designated organization (for example, an organization related to the Japan Meteorological Agency, etc.) This is a concept that includes information such as "surface rainfall index information" (hereinafter also referred to as "surface rainfall index information").
(降水関連情報-高解像度降水ナウキャスト情報)
高解像度降水ナウキャスト情報を用いる場合の実装手法は任意であるが、例えば、第1ステップ~第4ステップを行うように構成してもよい。
(Precipitation-related information - High-resolution precipitation nowcast information)
The implementation method when using high-resolution precipitation nowcast information is arbitrary, but for example, it may be configured to perform the first to fourth steps.
=第1ステップ=
第1ステップにおいて、サーバ装置の推定部232は、図10のSC3と同様な処理を行うことにより、各メッシュ領域単位での浸水深さを特定(推定)することにより、図1の記録部22の地図情報を参考にして、図15に示すように、対象領域において仮浸水推定領域を特定する。
= First Step =
In the first step, the
「仮浸水推定領域」とは、浸水しているものと仮で推定される領域であり、具体的には、浸水深さが「0」より大きくなっている領域であり、例えば、第1ステップにおいて、浸水深さが「0」よりも大きいものと特定されたメッシュ領域の集合を示す概念である。 The "temporary flood estimation area" is an area that is tentatively estimated to be flooded, and specifically, it is an area where the flood depth is greater than "0", and for example, the first step This concept refers to a set of mesh areas identified as having a water inundation depth greater than "0".
=第2ステップ=
第2ステップにおいて、サーバ装置の推定部232は、前述の所定機関側のコンピュータから、対象領域における、高解像度降水ナウキャスト情報を取得し、取得した当該高解像度降水ナウキャスト情報に基づいて、図16の(a)に示すように、降雨領域を推定する。
=Second step=
In the second step, the
「降水領域」とは、高解像度降水ナウキャスト情報に基づいて定まる領域であり、例えば、所定の降水量以上となっている領域を示す概念である。 The "precipitation area" is an area determined based on high-resolution precipitation nowcast information, and is a concept indicating, for example, an area where the amount of precipitation is greater than a predetermined amount.
=第3ステップ=
第3ステップにおいて、サーバ装置の推定部232は、第1ステップ及び第2ステップの処理結果に基づいて、図16の(b)の浸水推定領域を特定する。
=3rd step=
In the third step, the estimating
「浸水推定領域」とは、浸水しているものと推定される領域であり、例えば、第1ステップで特定した仮浸水推定領域と、第2ステップで特定した降水領域とが相互に重複している領域(つまり、前述の2種類の領域のAND(論理積)となる領域)を示す概念である。 An "estimated flooded area" is an area that is estimated to be flooded, and is a concept that indicates, for example, an area where the tentatively estimated flooded area identified in the first step and the precipitation area identified in the second step overlap each other (i.e., an area that is the AND (logical product) of the two types of areas mentioned above).
=第4ステップ=
第4ステップにおいて、サーバ装置の推定部232は、図10のSC3と同様な処理を行うことにより特定された各メッシュ領域単位での浸水深さ(第1ステップの前段部分参照)の内の、第3ステップで特定した浸水推定領域の範囲内のメッシュ領域の浸水深さとしては、図10のSC3と同様な処理を行うことにより特定された浸水深さを推定し、一方、第3ステップで特定した浸水推定領域の範囲外のメッシュ領域の浸水深さとしては、「0」(つまり、水がたまっていないこと)を推定する。
= 4th step =
In the fourth step, the estimating
このように構成することにより、対象領域内の降水に関す降水関連情報を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。 With this configuration, the flooding situation is estimated using precipitation-related information regarding precipitation within the target area, so for example, it is possible to improve the accuracy of estimating the flooding situation.
=バリエーション=
また、第4ステップのバリエーションとしては、例えば、第3ステップで特定した浸水推定領域の範囲外のメッシュ領域の浸水深さとしては、図10のSC3と同様な処理を行うことにより特定された浸水深さに対して、所定の重み(0よりも大きく且つ1よりも小さい数値)を掛け合わせた値に対応する浸水深さを推定することにより、最終的に推定される浸水深さの値をより小さな値としてもよい。
=Variation=
In addition, as a variation of the fourth step, for example, the depth of inundation in a mesh area outside the estimated inundation area identified in the third step may be determined by performing the same process as SC3 in FIG. 10. By estimating the inundation depth corresponding to the value obtained by multiplying the depth by a predetermined weight (a value greater than 0 and less than 1), the final estimated value of the inundation depth is calculated. It may be a smaller value.
(降水関連情報-表面雨量指数情報)
表面雨量指数情報を用いる場合の実装手法は任意であるが、例えば、高解像度降水ナウキャスト情報を用いる場合の実装手法と同様な手法を用いてもよい。
(Precipitation related information - Surface rainfall index information)
Although the implementation method when using surface rainfall index information is arbitrary, for example, the same method as the implementation method when using high-resolution precipitation nowcast information may be used.
(降水関連情報-バリエーション)
また、例えば、高解像度降水ナウキャスト情報及び表面雨量指数情報の両方を採用することにより、例えば、仮浸水推定領域(図16の(a))と、降水領域(図16の(a))と、危険領域(不図示であり、表面雨量指数情報に基づいて定まる領域)とが相互に重複している領域(つまり、前述の3種類の領域のAND(論理積)となる領域)を、浸水推定領域として特定して上記の処理を行うように構成してもよい。
(Precipitation-related information - Variations)
Furthermore, for example, by adopting both high-resolution precipitation nowcast information and surface rainfall index information, it is possible to configure the above-mentioned processing to be performed by identifying, as an estimated flood area, an area where the tentative estimated flood area (Figure 16(a)), the precipitation area (Figure 16(a)), and the danger area (not shown, an area determined based on surface rainfall index information) overlap with each other (i.e., an area which is the AND (logical product) of the three types of areas mentioned above).
(組み合わせ)
また、上記実施の形態及び変形例の特徴を任意に組み合わせてもよい。
(combination)
Furthermore, the features of the embodiments and modifications described above may be combined arbitrarily.
(付記)
付記1の推定システムは、対象領域の浸水状況を推定する推定システムであって、前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルとに基づいて、前記対象領域内の浸水状況を推定する推定手段と、を備え、前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルである。
(Additional note)
The estimation system of
付記2の推定システムは、付記1に記載の推定システムにおいて、前記推定手段は、前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルと、前記対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、前記対象領域内の浸水状況を推定する。
The estimation system according to
付記3の推定システムは、付記2に記載の推定システムにおいて、前記対象領域は、メッシュ状に複数の領域に区分されており、前記取得手段は、前記対象領域内の複数の撮影位置を撮影した複数の画像を、前記対象領域関連画像として取得し、前記推定手段は、前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルとに基づいて、前記複数の撮影位置各々における前記浸水度を特定する第1推定処理と、前記第1推定処理で特定した前記浸水度の内の最大の前記浸水度である最大浸水度を特定する第2推定処理と、前記第2推定処理で特定した前記最大浸水度と、前記複数の領域の内の前記最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、前記傾斜指数情報とに基づいて、前記複数の領域各々の浸水状況を推定する第3推定処理、とを行い、前記傾斜指数情報は、前記複数の領域各々の標高に基づく傾斜の度合を示す情報である。
The estimation system according to
付記4の推定システムは、付記3に記載の推定システムにおいて、前記推定手段は、前記第3推定処理において、前記最大浸水度と、前記最大浸水度所属領域と、前記傾斜指数情報と、前記対象領域内の降水に関する降水関連情報と基づいて、前記複数の領域各々の浸水状況を推定する。
The estimation system of
付記5の推定システムは、付記1から4の何れか一項に記載の推定システムにおいて、前記対象領域を撮影する撮影手段を備える所定装置から送信された画像である撮影装置側画像が、前記学習済浸水状況特定用モデルで予め学習された画像である学習済画像に対応する画像であるか否かを判定する第1判定手段、を更に備え、前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する。
The estimation system according to
付記6の推定システムは、付記5に記載の推定システムにおいて、前記第1判定手段は、学習済相異度特定用モデルに基づいて、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定し、前記学習済相異度特定用モデルは、前記撮影装置側画像と前記学習済画像との相異の度合を特定するモデルである。
The estimation system of Appendix 6 is the estimation system described in
付記7の推定システムは、付記5に記載の推定システムにおいて、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段が判定した場合に、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定する第2判定手段、を更に備え、前記第2判定手段は、前記第1判定手段とは異なる手法で前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定し、前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段及び前記第2判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する。
In the estimation system according to
付記8の推定システムは、付記7に記載の推定システムにおいて、前記第2判定手段は、前記撮影装置側画像内の各画素値の出現頻度に基づいて、前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定する。
In the estimation system according to
付記9の推定プログラムは、対象領域の浸水状況を推定する推定プログラムであって、コンピュータを、前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルとに基づいて、前記対象領域内の浸水状況を推定する推定手段と、として機能させ、前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルである。 The estimation program in Appendix 9 is an estimation program for estimating the flooding situation of a target area, and includes a computer, an acquisition means for acquiring a target area-related image, which is an image taken of the target area, and an image acquired by the acquisition means. The learned model is configured to function as an estimation means for estimating the flooding situation in the target area based on the target area related image and the learned model for identifying the flooding situation, and the learned model for identifying the flooding situation is This is a model that identifies the degree of flooding, which is the degree of flooding, based on related images.
(付記の効果)
付記1に記載の推定システム、及び付記9に記載の推定プログラムによれば、対象領域を撮影した画像である対象領域関連画像に基づいて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。また、例えば、対象領域関連画像に基づいて浸水の度合である浸水度を特定する学習済浸水状況特定用モデルを用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。
(Effect of appendix)
According to the estimation system described in
付記2に記載の推定システムによれば、対象領域内の傾斜の度合を示す傾斜指数情報を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system described in
付記3に記載の推定システムによれば、第1推定処理、第2推定処理、及び第3推定処理を行うので、例えば、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system described in
付記4に記載の推定システムによれば、対象領域内の降水に関する降水関連情報を用いて浸水状況を推定するので、例えば、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system described in
付記5に記載の推定システムによれば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。
According to the estimation system described in
付記6に記載の推定システムによれば、第1判定手段は、撮影装置側画像と学習済画像との相異の度合を特定する学習済相異度特定用モデルに基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。 According to the estimation system described in Appendix 6, the first determination means determines the degree of difference between the image capturing device side image and the learned image based on the learned model for identifying the degree of difference between the image capturing device side image and the learned image. For example, by determining whether or not the image corresponds to the learned image, it is possible to make an appropriate determination.
付記7に記載の推定システムによれば、撮影装置側画像が学習済画像に対応する画像であるものと第1判定手段及び第2判定手段が判定した場合に、撮影装置側画像を対象領域関連画像として取得することにより、例えば、適切な対象領域関連画像を用いることができるので、浸水状況の推定精度を向上させることが可能となる。 According to the estimation system described in Appendix 7, when the first determining means and the second determining means determine that the photographing device side image corresponds to the learned image, the photographing device side image is associated with the target area. By acquiring the image as an image, for example, an appropriate target area-related image can be used, so it is possible to improve the accuracy of estimating the flooding situation.
付記8に記載の推定システムによれば、第2判定手段は、撮影装置側画像内の各画素値の出現頻度に基づいて、撮影装置側画像が学習済画像に対応する画像であるか否かを判定することにより、例えば、適切に判定することが可能となる。
According to the estimation system described in
2 サーバ装置
11 車載カメラ装置
12 端末装置
13 監視カメラ装置
21 通信部
22 記録部
23 制御部
100 情報処理システム
231 取得部
232 推定部
233 第1判定部
234 第2判定部
M100 符号
M101 符号
2
Claims (7)
前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、
前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルと、前記対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、前記対象領域内の浸水状況を推定する推定手段と、を備え、
前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルであり、
前記対象領域は、メッシュ状に複数の領域に区分されており、
前記取得手段は、前記対象領域内の複数の撮影位置を撮影した複数の画像を、前記対象領域関連画像として取得するものであり、
前記傾斜指数情報は、前記複数の領域各々の標高に基づく傾斜の度合を示す情報であり、
前記推定手段は、
前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルとに基づいて、前記複数の撮影位置各々における前記浸水度を特定する第1推定処理と、
前記第1推定処理で特定した前記浸水度の内の最大の前記浸水度である最大浸水度を特定する第2推定処理と、
前記第2推定処理で特定した前記最大浸水度と、前記複数の領域の内の前記最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、前記傾斜指数情報とに基づいて、前記複数の領域各々の浸水状況を推定する第3推定処理、とを行うことにより、前記対象領域内の浸水状況を推定するものである、
推定システム。 An estimation system for estimating a flood situation in a target area,
acquisition means for acquiring a target area-related image that is an image taken of the target area;
Estimating the flooding situation in the target area based on the target area related image acquired by the acquisition means, the learned model for identifying the flooding situation, and slope index information indicating the degree of slope in the target area. Estimating means;
The learned flood situation identification model is a model that identifies a flood degree, which is a degree of flooding, based on the target area related image,
The target area is divided into a plurality of areas in a mesh shape,
The acquisition means acquires a plurality of images taken at a plurality of photographing positions within the target area as the target area related images,
The slope index information is information indicating the degree of slope based on the altitude of each of the plurality of areas,
The estimation means is
a first estimation process of identifying the degree of flooding at each of the plurality of photographing positions based on the target area related image acquired by the acquisition means and the learned model for identifying the flooding situation;
a second estimation process that identifies a maximum flooding degree that is the maximum flooding degree among the flooding degrees identified in the first estimation process;
the maximum inundation degree identified in the second estimation process; and a maximum inundation degree belonging region to which a maximum inundation degree corresponding photographing position that is a photographing position corresponding to the maximum inundation degree among the plurality of regions belongs; and a third estimation process of estimating the flooding status of each of the plurality of areas based on the slope index information , thereby estimating the flooding status within the target area .
Estimation system.
前記第3推定処理において、前記最大浸水度と、前記最大浸水度所属領域と、前記傾斜指数情報と、前記対象領域内の降水に関する降水関連情報と基づいて、前記複数の領域各々の浸水状況を推定する、
請求項1に記載の推定システム。 The estimation means is
In the third estimation process, the inundation status of each of the plurality of regions is estimated based on the maximum inundation degree, the region to which the maximum inundation degree belongs, the slope index information, and precipitation related information regarding precipitation in the target area. presume,
The estimation system according to claim 1.
前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する、
請求項1又は2に記載の推定システム。 The photographing device-side image, which is an image transmitted from a predetermined device equipped with a photographing means for photographing the target area, is an image corresponding to a learned image, which is an image learned in advance by the learned flood situation identification model. further comprising a first determining means for determining whether or not,
The acquiring means acquires the photographing device side image as the target area related image when the first determining means determines that the photographing device side image is an image corresponding to the learned image.
The estimation system according to claim 1 or 2.
前記学習済相異度特定用モデルは、前記撮影装置側画像と前記学習済画像との相異の度合を特定するモデルである、
請求項3に記載の推定システム。 The first determining means determines whether the photographing device side image is an image corresponding to the learned image based on the learned dissimilarity degree identification model;
The learned degree of difference identification model is a model that identifies the degree of difference between the photographing device side image and the learned image;
The estimation system according to claim 3.
前記第2判定手段は、前記第1判定手段とは異なる手法で前記撮影装置側画像が前記学習済画像に対応する画像であるか否かを判定し、
前記取得手段は、前記撮影装置側画像が前記学習済画像に対応する画像であるものと前記第1判定手段及び前記第2判定手段が判定した場合に、前記撮影装置側画像を前記対象領域関連画像として取得する、
請求項3に記載の推定システム。 If the first determining means determines that the photographing device side image is an image corresponding to the learned image, determining whether the photographing device side image is an image corresponding to the learned image. further comprising a second determining means,
The second determining means determines whether the photographing device side image corresponds to the learned image using a method different from that of the first determining means,
When the first determining means and the second determining means determine that the photographing device side image is an image corresponding to the learned image, the acquiring means is configured to associate the photographing device side image with the target area. Get it as an image,
The estimation system according to claim 3.
請求項5に記載の推定システム。 The second determination means determines whether or not the photographing device side image is an image corresponding to the learned image based on an appearance frequency of each pixel value in the photographing device side image.
The estimation system according to claim 5 .
コンピュータを、
前記対象領域を撮影した画像である対象領域関連画像を取得する取得手段と、
前記取得手段が取得した前記対象領域関連画像と、学習済浸水状況特定用モデルと、前記対象領域内の傾斜の度合を示す傾斜指数情報とに基づいて、前記対象領域内の浸水状況を推定する推定手段と、として機能させ、
前記学習済浸水状況特定用モデルは、前記対象領域関連画像に基づいて浸水の度合である浸水度を特定するモデルであり、
前記対象領域は、メッシュ状に複数の領域に区分されており、
前記取得手段は、前記対象領域内の複数の撮影位置を撮影した複数の画像を、前記対象領域関連画像として取得するものであり、
前記傾斜指数情報は、前記複数の領域各々の標高に基づく傾斜の度合を示す情報であり、
前記推定手段は、
前記取得手段が取得した前記対象領域関連画像と、前記学習済浸水状況特定用モデルとに基づいて、前記複数の撮影位置各々における前記浸水度を特定する第1推定処理と、
前記第1推定処理で特定した前記浸水度の内の最大の前記浸水度である最大浸水度を特定する第2推定処理と、
前記第2推定処理で特定した前記最大浸水度と、前記複数の領域の内の前記最大浸水度に対応する撮影位置である最大浸水度対応撮影位置が属する領域である最大浸水度所属領域と、前記傾斜指数情報とに基づいて、前記複数の領域各々の浸水状況を推定する第3推定処理、とを行うことにより、前記対象領域内の浸水状況を推定するものである、
推定プログラム。 An estimation program for estimating the flooding situation of a target area,
computer,
acquisition means for acquiring a target area-related image that is an image taken of the target area;
Estimating the flooding situation in the target area based on the target area related image acquired by the acquisition means, the learned model for identifying the flooding situation, and slope index information indicating the degree of slope in the target area. function as an estimation means,
The learned flood situation identification model is a model that identifies a flood degree that is a degree of flooding based on the target area related image,
The target area is divided into a plurality of areas in a mesh pattern,
The acquisition means acquires a plurality of images taken at a plurality of photographing positions within the target area as the target area related images,
The slope index information is information indicating the degree of slope based on the altitude of each of the plurality of areas,
The estimation means is
a first estimation process of specifying the degree of inundation at each of the plurality of photographing positions based on the target area related image acquired by the acquisition means and the learned model for identifying inundation situation;
a second estimation process that specifies a maximum flooding degree that is the maximum flooding degree among the flooding degrees identified in the first estimation process;
the maximum inundation degree identified in the second estimation process; and a maximum inundation degree belonging area to which a maximum inundation degree corresponding photography position that is a photography position corresponding to the maximum inundation degree among the plurality of areas belongs; and a third estimation process of estimating the flooding status of each of the plurality of areas based on the slope index information , thereby estimating the flooding status within the target area .
Estimation program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023037218A JP7459335B1 (en) | 2023-03-10 | 2023-03-10 | Estimation system and estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023037218A JP7459335B1 (en) | 2023-03-10 | 2023-03-10 | Estimation system and estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7459335B1 true JP7459335B1 (en) | 2024-04-01 |
JP2024128300A JP2024128300A (en) | 2024-09-24 |
Family
ID=90474208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023037218A Active JP7459335B1 (en) | 2023-03-10 | 2023-03-10 | Estimation system and estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7459335B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6379272B1 (en) | 2017-12-21 | 2018-08-22 | アジア航測株式会社 | Information providing apparatus and information providing program |
JP2021099076A (en) | 2019-12-23 | 2021-07-01 | いすゞ自動車株式会社 | Fan control device |
JP2022000579A (en) | 2020-06-18 | 2022-01-04 | トヨタ自動車株式会社 | Machine learning device |
JP2022034767A (en) | 2020-08-19 | 2022-03-04 | 三菱電機株式会社 | Image processing device, learning device, image processing method, and image processing program |
WO2023281572A1 (en) | 2021-07-05 | 2023-01-12 | 日本電気株式会社 | Disaster investigation assistance device, disaster investigation assistance system, disaster investigation assistance method, and recording medium |
-
2023
- 2023-03-10 JP JP2023037218A patent/JP7459335B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6379272B1 (en) | 2017-12-21 | 2018-08-22 | アジア航測株式会社 | Information providing apparatus and information providing program |
JP2021099076A (en) | 2019-12-23 | 2021-07-01 | いすゞ自動車株式会社 | Fan control device |
JP2022000579A (en) | 2020-06-18 | 2022-01-04 | トヨタ自動車株式会社 | Machine learning device |
JP2022034767A (en) | 2020-08-19 | 2022-03-04 | 三菱電機株式会社 | Image processing device, learning device, image processing method, and image processing program |
WO2023281572A1 (en) | 2021-07-05 | 2023-01-12 | 日本電気株式会社 | Disaster investigation assistance device, disaster investigation assistance system, disaster investigation assistance method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2024128300A (en) | 2024-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276767B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
KR102094341B1 (en) | System for analyzing pot hole data of road pavement using AI and for the same | |
CN104766086B (en) | The monitoring and managing method and system of a kind of way mark | |
CN105608417B (en) | Traffic lights detection method and device | |
KR101183105B1 (en) | Method of establishing information of cloud data and establishing system of information of cloud data | |
US20160148383A1 (en) | Estimating rainfall precipitation amounts by applying computer vision in cameras | |
CN112950717B (en) | Space calibration method and system | |
US20220044027A1 (en) | Photography system | |
CN113552656B (en) | Rainfall intensity monitoring method and system based on outdoor image multi-space-time fusion | |
JP2019045922A (en) | Deformed spot detection device, deformed spot detection program and deformed spot detection method | |
CN113724259A (en) | Well lid abnormity detection method and device and application thereof | |
JP2019154027A (en) | Method and device for setting parameter for video monitoring system, and video monitoring system | |
CN115471777A (en) | Refined water flow velocity field acquisition method and system based on video identification | |
JP4108593B2 (en) | Inundation monitoring device | |
CN117197182B (en) | Lei Shibiao method, apparatus and storage medium | |
JP7459335B1 (en) | Estimation system and estimation program | |
CN113963314A (en) | Rainfall monitoring method and device, computer equipment and storage medium | |
CN113139477A (en) | Method, device and equipment for training well lid detection model and computer storage medium | |
Griesbaum et al. | Direct local building inundation depth determination in 3-D point clouds generated from user-generated flood images | |
CN113311507A (en) | Typhoon path identification method and device | |
CN106780541A (en) | A kind of improved background subtraction method | |
CN116092035A (en) | Lane line detection method, lane line detection device, computer equipment and storage medium | |
Balcilar et al. | Extracting vehicle density from background estimation using Kalman filter | |
CN108052585B (en) | Method for judging dynamic target in complex environment | |
CN114140707A (en) | Power grid fault inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230310 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |