JP2024004369A - Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles - Google Patents

Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles Download PDF

Info

Publication number
JP2024004369A
JP2024004369A JP2022104002A JP2022104002A JP2024004369A JP 2024004369 A JP2024004369 A JP 2024004369A JP 2022104002 A JP2022104002 A JP 2022104002A JP 2022104002 A JP2022104002 A JP 2022104002A JP 2024004369 A JP2024004369 A JP 2024004369A
Authority
JP
Japan
Prior art keywords
pyroclastic
particles
particle image
pyroclastic material
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022104002A
Other languages
Japanese (ja)
Inventor
康介 石毛
Kosuke Ishige
晋吾 竹内
Shingo Takeuchi
真平 上澤
Shimpei Uesawa
潔 土志田
Kiyoshi Toshida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute of Electric Power Industry
Original Assignee
Central Research Institute of Electric Power Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute of Electric Power Industry filed Critical Central Research Institute of Electric Power Industry
Priority to JP2022104002A priority Critical patent/JP2024004369A/en
Publication of JP2024004369A publication Critical patent/JP2024004369A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an analysis system and an analysis program for pyroclastic material component particles, that have excellent flexibility in optical designing and allow pyroclastic material component particles to be analyzed in a robust and efficient manner even for such crowded or contacting particles or small particles.
SOLUTION: A system comprises: a digital camera 2 or the like which images pyroclastic material component particles for forming a particle image; a detection model 10 for outputting a rectangle surrounding the pyroclastic material component particles by inputting the particle image; first analysis means 11 which acquires the rectangle by inputting the particle image into the detection model 10, and cuts out individual pieces of the pyroclastic material component particles surrounded by the rectangle from the particle image for forming an individual particle image; a classification model 20 for outputting a class of the pyroclastic material component particles by inputting the individual particle image; and second analysis means 21 which acquires the class by inputting the individual particle image into the classification model 20, for classifying the pyroclastic material component particles.
SELECTED DRAWING: Figure 2
COPYRIGHT: (C)2024,JPO&INPIT

Description

特許法第30条第2項適用申請有り 令和3年8月27日 https://confit.atlas.jp/guide/event/geosocjp128/proceedings/list https://confit.atlas.jp/guide/event-img/geosocjp128/1poster18-20-03/public/pdf?type=in 〔刊行物等〕 一般社団法人日本地質学会第128年学術大会、令和3年9月4日Application for application of Article 30, Paragraph 2 of the Patent Act filed August 27, 2021 https://confit. atlas. jp/guide/event/geosocjp128/proceedings/list https://confit. atlas. jp/guide/event-img/geosocjp128/1poster18-20-03/public/pdf? type=in [Publications, etc.] 128th Academic Conference of the Geological Society of Japan, September 4, 2021

本発明は、火砕物構成粒子を分類する火砕物構成粒子の解析システム及び火砕物構成粒子の解析プログラムに関する。 The present invention relates to a pyroclastic material particle analysis system and a pyroclastic material particle analysis program for classifying pyroclastic material particles.

火砕物を構成する粒子(以下、火砕物構成粒子)は、噴火様式やマグマの性状などの情報を保持すると考えられており、その構成分率解析や形状解析は地質調査において基本的かつ重要な作業である。しかし、解析における粒子の種別を肉眼で鑑定する作業は判断の標準化が難しく労力がかかるため効率化が求められている。 Particles that make up pyroclastic materials (hereinafter referred to as pyroclastic material constituent particles) are thought to hold information such as eruption style and magma properties, and analysis of their constituent fractions and shapes are fundamental and important in geological surveys. It's work. However, the task of visually identifying the type of particles during analysis is difficult to standardize and is labor-intensive, so there is a need to improve efficiency.

そこで、機械学習による画像処理をベースとした解析の自動化を目指す研究が行われている(例えば、非特許文献1参照)。このような研究の多くは粒子解析装置を用いて、大量の火砕物構成粒子を含む画像から個々の粒子画像を効率的に収集し利用している。しかし、先行研究では粒子の検出時に粒子画像の色情報を失う為、後工程の画像処理において肉眼鑑定と同様の判断を紐付ける事が困難であった。また装置の特性上、粒子の上限サイズに制約があり、火山礫サイズ以上の解析は依然、手作業の置換が難しい。 Therefore, research is being conducted aiming at automating analysis based on image processing using machine learning (for example, see Non-Patent Document 1). Many of these studies use particle analysis equipment to efficiently collect and utilize individual particle images from images containing a large amount of pyroclastic particles. However, in previous research, color information in particle images is lost when particles are detected, making it difficult to link judgments similar to those made with naked eye identification during post-process image processing. Furthermore, due to the characteristics of the equipment, there are restrictions on the upper limit size of particles, and analysis of particles larger than the size of volcanic lapilli remains difficult to replace manually.

Shoji, D., Noguchi, R., Otsuki, S. and Hino, H. (2018) Classification of volcanic ash particles using aconvolutional neural network and probability. Scientific Reports.Shoji, D., Noguchi, R., Otsuki, S. and Hino, H. (2018) Classification of volcanic ash particles using aconvolutional neural network and probability. Scientific Reports.

本発明は、上記事情に鑑み、光学設計の自由度が高く、粒子の密集や接触、小さな粒子に対しても堅牢で効率的に火砕物構成粒子を解析することができる火砕物構成粒子の解析システム及び火砕物構成粒子の解析プログラムを提供することを目的とする。 In view of the above circumstances, the present invention has a high degree of freedom in optical design, and is capable of analyzing pyroclastic material constituent particles robustly and efficiently even in the case of particle crowding, contact, and small particles. The purpose is to provide a system and an analysis program for particles constituting pyroclastic materials.

上記目的を達成するための本発明の一態様は、火砕物構成粒子を撮像して粒子画像を形成する撮像手段と、前記粒子画像が入力されると前記火砕物構成粒子を囲む矩形を出力する第1の学習済モデルと、前記第1の学習済モデルに前記粒子画像を入力して前記矩形を取得し、前記矩形に囲まれた個々の火砕物構成粒子を前記粒子画像から切り出して個別粒子画像を形成する第1の解析手段と、前記個別粒子画像が入力されると前記個別粒子画像に撮像された火砕物構成粒子の分類を出力する第2の学習済モデルと、前記第2の学習済モデルに前記個別粒子画像を入力して前記分類を取得することで火砕物構成粒子を分類する第2の解析手段と、を備えることを特徴とする火砕物構成粒子の解析システムにある。 One aspect of the present invention for achieving the above object includes an imaging means for forming a particle image by imaging particles constituting the pyroclastic material, and outputting a rectangle surrounding the particles constituting the pyroclastic material when the particle image is input. The rectangle is obtained by inputting the particle image to a first trained model and the first trained model, and individual particles of pyroclastic material surrounded by the rectangle are cut out from the particle image. a first analysis means that forms an image; a second trained model that outputs a classification of pyroclastic material constituent particles captured in the individual particle image when the individual particle image is input; and the second learning model. and a second analysis means for classifying the pyroclastic material particles by inputting the individual particle images into a finished model and obtaining the classification.

上記目的を達成するための本発明の他の態様は、火砕物構成粒子が撮像された粒子画像から個々の火砕物構成粒子が切り出された個別粒子画像を形成する第1の解析手段、及び前記個別粒子画像を分類する第2の解析手段としてコンピュータを機能させる火砕物構成粒子の解析プログラムであって、コンピュータは、前記粒子画像が入力されると前記火砕物構成粒子を囲む矩形を出力する第1の学習済モデルと、前記個別粒子画像が入力されると前記個別粒子画像に撮像された火砕物構成粒子のクラスを出力する第2の学習済モデルと、を備え、前記第1の解析手段は、前記第1の学習済モデルに前記粒子画像を入力して前記矩形を取得し、前記矩形に囲まれた個々の火砕物構成粒子を前記粒子画像から切り出して個別粒子画像を形成し、前記第2の解析手段は、前記第2の学習済モデルに前記個別粒子画像を入力して前記クラスを取得することで前記火砕物構成粒子を分類することを特徴とする火砕物構成粒子の解析プログラムにある。 Another aspect of the present invention for achieving the above object is a first analysis means for forming an individual particle image in which each pyroclastic material constituent particle is cut out from a particle image in which the pyroclastic material constituent particle is imaged; A program for analyzing pyroclastic material particles that causes a computer to function as a second analysis means for classifying individual particle images, wherein the computer outputs a rectangle surrounding the pyroclastic material particles when the particle image is input. and a second trained model that outputs a class of particles constituting pyroclastic material captured in the individual particle image when the individual particle image is input, and the first analysis means inputs the particle image into the first trained model to obtain the rectangle, cuts out individual pyroclastic material constituent particles surrounded by the rectangle from the particle image to form individual particle images, A program for analyzing particles constituting pyroclastic materials, characterized in that the second analysis means classifies the particles constituting pyroclastic materials by inputting the individual particle images into the second trained model and acquiring the classes. It is in.

本発明によれば、光学設計の自由度が高く、粒子の密集や接触、小さな粒子に対しても堅牢で効率的に火砕物構成粒子を解析することができる火砕物構成粒子の解析システム及び火砕物構成粒子の解析プログラムが提供される。 According to the present invention, there is a system for analyzing particles constituting pyroclastic materials, which has a high degree of freedom in optical design, and is capable of robustly and efficiently analyzing particles constituting pyroclastic materials even in the case of particle crowding, contact, and small particles. An analysis program for particles constituting crushed materials is provided.

実施形態1に係る解析システムの概略構成を示す図である。1 is a diagram showing a schematic configuration of an analysis system according to Embodiment 1. FIG. 実施形態1に係る解析システム及び解析プログラムの機能を示す図である。1 is a diagram showing functions of an analysis system and an analysis program according to a first embodiment; FIG. 実施形態1に係る粒子画像の一例を示す図である。3 is a diagram showing an example of a particle image according to Embodiment 1. FIG. 実施形態1に係る矩形の一例を示す図である。FIG. 3 is a diagram showing an example of a rectangle according to the first embodiment. 実施形態1に係る個別粒子画像と分類を示す図である。3 is a diagram showing individual particle images and classification according to Embodiment 1. FIG. 実施形態1に係る解析プログラムの学習に関する機能を示す図である。FIG. 3 is a diagram showing functions related to learning of the analysis program according to the first embodiment. 教師データの作成のために粒子画像に付した矩形を示す図である。FIG. 3 is a diagram showing a rectangle attached to a particle image for creating training data. 実施形態2に係る解析システム及び解析プログラムの機能を示す図である。FIG. 3 is a diagram showing functions of an analysis system and an analysis program according to a second embodiment.

〈実施形態1〉
火砕物とは、噴火により火口から噴出された溶岩流を除く噴出物の総称である。火砕物は粒径により、火山岩塊、火山礫、火山灰があり、それらをまとめて火砕物構成粒子と称する。火砕物構成粒子は一般に次のような粒径である。火山灰は粒径が2mm未満のものであり、細粒火山灰とも呼ばれるものは粒径が約1/16mm以下である。火山礫は粒径が2mm-64mmのものである。火山岩塊は粒径が64mmより大きい粒子である。ここでは、火山V1又は火山V2の周辺で採取された火砕物構成粒子を分析する場合を例に挙げる。
<Embodiment 1>
Pyroclastic material is a general term for ejecta ejected from a crater by an eruption, excluding lava flows. Depending on the particle size, pyroclastic materials include volcanic rock masses, volcanic lapilli, and volcanic ash, and these are collectively referred to as pyroclastic material particles. Pyroclastic particles generally have the following particle sizes. Volcanic ash has a particle size of less than 2 mm, and volcanic ash, also called fine volcanic ash, has a particle size of about 1/16 mm or less. Volcanic lapilli has a particle size of 2 mm to 64 mm. A volcanic rock mass is a particle with a particle size larger than 64 mm. Here, a case will be exemplified in which particles constituting pyroclastic material collected around volcano V1 or volcano V2 are analyzed.

図1は解析システムの概略構成を示す図であり、図2は解析システム及び解析プログラムの機能を示す図である。図1に示すように、解析システム1は、ハードウェアとして、デジタルカメラ2、スキャナー3、顕微鏡カメラ4、及びコンピュータ5を備えている。コンピュータ5では解析プログラム6が実行される。本発明の解析システム1及び解析プログラム6は、火砕物構成粒子がどの様な粒径であっても、相当量の火砕物構成粒子が撮像された画像から個別の火砕物構成粒子を検出し、さらに火砕物構成粒子を分類する解析処理を実行する。 FIG. 1 is a diagram showing a schematic configuration of an analysis system, and FIG. 2 is a diagram showing functions of an analysis system and an analysis program. As shown in FIG. 1, the analysis system 1 includes a digital camera 2, a scanner 3, a microscope camera 4, and a computer 5 as hardware. An analysis program 6 is executed on the computer 5. The analysis system 1 and analysis program 6 of the present invention detect individual pyroclastic material particles from an image in which a considerable amount of pyroclastic material particles are captured, regardless of the particle size of the pyroclastic material particles, Furthermore, analysis processing is performed to classify the constituent particles of pyroclastic materials.

デジタルカメラ2、スキャナー3、及び顕微鏡カメラ4は、何れも撮像手段の一例であり、火砕物構成粒子を撮像して画像を形成する装置である。現地で採取された火砕物構成粒子は、様々な粒径のものが混在しているが、大半を占めている粒径に合わせて撮像手段を選択する。例えば、粒径が20mm以上の火山礫や火山岩塊が主であるならデジタルカメラ2を用いて撮像する。粒径が0.5mm-20mmの火山灰や火山礫が主であるならスキャナー3で撮像する。粒径が0.5mm未満の火山灰が主であるなら顕微鏡カメラ4で撮像する。 The digital camera 2, the scanner 3, and the microscope camera 4 are all examples of imaging means, and are devices that take images of particles constituting the pyroclastic material to form an image. Pyroclastic particles collected at the site have a variety of particle sizes, and the imaging means is selected according to the particle size that accounts for the majority. For example, if the particles are mainly volcanic lapilli or volcanic rock blocks with a particle size of 20 mm or more, the digital camera 2 is used to capture the image. If the particles are mainly volcanic ash or lapilli with a particle size of 0.5 mm to 20 mm, images are taken using the scanner 3. If the volcanic ash is mainly composed of particles with a particle size of less than 0.5 mm, images are taken with the microscope camera 4.

撮像手段によって得られた画像を粒子画像と称する。粒子画像は、火山V1又は火山V2ごとに撮像したものである。図3に粒子画像の一例を示す。粒子画像はカラー画像であり、JPEGやPNGなど様々な形式を採用することができる。粒子画像には、解析対象となる火砕物構成粒子が相当量撮像されている。また、粒子画像は、背景を青色とすることが望ましい。青色を呈する火砕物構成粒子は稀であることから、画像から個別の火砕物構成粒子を検出しやすいからである。 The image obtained by the imaging means is called a particle image. The particle images are taken for each volcano V1 or volcano V2. FIG. 3 shows an example of a particle image. The particle image is a color image, and various formats such as JPEG and PNG can be adopted. The particle image includes a considerable amount of particles constituting the pyroclastic material to be analyzed. Furthermore, it is desirable that the background of the particle image be blue. This is because pyroclastic material constituent particles exhibiting a blue color are rare, and therefore individual pyroclastic material constituent particles can be easily detected from the image.

粒子画像は、デジタルカメラ2、スキャナー3、顕微鏡カメラ4の何れを用いた場合であっても、火砕物構成粒子の長軸のサイズが粒子画像の辺の2.5-8%程度となるように撮像されたものである。換言すれば、火砕物構成粒子の長軸のサイズが上述したサイズで撮像されるように、デジタルカメラ2等の光学ズーム機能、デジタルズーム機能、又は解像度の設定機能を利用して撮像したり、デジタルカメラ2と火砕物構成粒子の距離を調整して撮像する。また、火砕物構成粒子同士がなるべく接触せず、重ならないように粒子画像を撮像する。 Regardless of whether a digital camera 2, scanner 3, or microscope camera 4 is used for the particle image, the size of the long axis of the pyroclastic material particles should be approximately 2.5-8% of the side of the particle image. This image was taken in . In other words, images may be taken using the optical zoom function, digital zoom function, or resolution setting function of a digital camera 2, etc., or digital The distance between the camera 2 and the particles constituting the pyroclastic material is adjusted to take an image. In addition, particle images are taken so that the particles constituting the pyroclastic material do not come into contact with each other as much as possible and do not overlap.

火砕物構成粒子の長軸のサイズは、火砕物構成粒子を篩等を用いて整粒すればよい。また、推論に用いられる粒子画像のサイズは特に限定はないが、学習に用いる粒子画像は1024×1024ピクセル程度とすることが好ましい。また、粒子画像は正方形である必要はなく、長方形であってもよい。また、火砕物構成粒子の長軸のサイズが粒子画像の短辺の2.5-8%程度とする。一枚の粒子画像あたりの火砕物構成粒子の密度(個数/枚)は、1-700個程度とすることが好ましい。 The size of the long axis of the pyroclastic material particles may be determined by sizing the pyroclastic material particles using a sieve or the like. Further, although there is no particular limitation on the size of the particle image used for inference, it is preferable that the particle image used for learning be approximately 1024×1024 pixels. Further, the particle image does not need to be square, but may be rectangular. Furthermore, the size of the long axis of the pyroclastic material constituent particles is approximately 2.5-8% of the short side of the particle image. The density (number of particles/image) of particles constituting the pyroclastic material per particle image is preferably about 1 to 700 particles.

デジタルカメラ2等の撮像手段からコンピュータ5に粒子画像を記憶させる手段は、特に限定されない。例えば、USBインターフェイス、リムーバブルメディア、無線又は有線LANなどを介して撮像手段からコンピュータ5の記憶装置に粒子画像を記憶させればよい。 The means for storing particle images in the computer 5 from an imaging means such as the digital camera 2 is not particularly limited. For example, the particle image may be stored in the storage device of the computer 5 from the imaging means via a USB interface, removable media, wireless or wired LAN, or the like.

コンピュータ5は、CPUやGPUなどの処理装置、記憶装置(USBフラッシュドライブ・ソリッドステートドライブ・ハードディスクドライブ等)、入力装置(キーボード・マウス等)、出力装置(ディスプレイ等)、通信手段等を備える一般的な情報処理装置である。コンピュータ5は、撮像手段で撮像された粒子画像を入力データとし、粒子画像に撮像された火砕物構成粒子のそれぞれを検出するとともに分類する。 The computer 5 is a general computer equipped with a processing device such as a CPU or GPU, a storage device (USB flash drive, solid state drive, hard disk drive, etc.), an input device (keyboard, mouse, etc.), an output device (display, etc.), a communication means, etc. It is a typical information processing device. The computer 5 uses the particle image captured by the imaging means as input data, and detects and classifies each of the particles constituting the pyroclastic material captured in the particle image.

コンピュータ5の記憶装置には、解析プログラム6や検出モデル10及び分類モデル20が記憶されている。解析プログラム6は、コンピュータ5を、第1の解析手段11、第2の解析手段21として機能させる。 The storage device of the computer 5 stores an analysis program 6, a detection model 10, and a classification model 20. The analysis program 6 causes the computer 5 to function as a first analysis means 11 and a second analysis means 21.

検出モデル10は、粒子画像が入力されると火砕物構成粒子を囲む矩形を出力するように学習されたモデルである。具体的には、畳み込みニューラルネットワーク(CNNと称されている)をベースとする画像中の物体を検出するアルゴリズムを実装したものであり、教師データを用いて学習させたものである。例えば、「You look only once」(YOLOと称されている)、「Single Shot Multibox Detector」(SSDと称されている)、「Region CNN」(RCNNと称されている)などを検出モデル10として用いることができる。 The detection model 10 is a model that has been trained to output a rectangle surrounding the particles constituting the pyroclastic material when a particle image is input. Specifically, it is an implementation of an algorithm for detecting objects in images based on a convolutional neural network (referred to as CNN), and is trained using training data. For example, the detection model 10 may be "You look only once" (referred to as YOLO), "Single Shot Multibox Detector" (referred to as SSD), "Region CNN" (referred to as RCNN), etc. Can be used.

検出モデル10は、火砕物構成粒子の発生源である火山ごとに作成・学習されたものでもよい。または、検出モデル10は、複数の火山に対して共通して作成・学習されたものでもよい。ここでは、火山V1及び火山V2に共通して作成・学習された検出モデル10を用いる場合について説明する。 The detection model 10 may be created and learned for each volcano that is the source of the pyroclastic particles. Alternatively, the detection model 10 may be created and learned in common for a plurality of volcanoes. Here, a case will be described in which the detection model 10 created and learned in common for the volcano V1 and the volcano V2 is used.

火砕物構成粒子を囲む矩形とは、粒子画像に撮像された個別の火砕物構成粒子を囲い、粒子画像中における火砕物構成粒子の位置及び大きさを特定する情報である。検出モデル10は、後述するアノテーションのルールに基づく矩形を学習している。そのように学習させた検出モデル10に粒子画像を与えて得られた矩形を、粒子画像に重畳させたものを図4に示す。同図には検出モデル10が出力した矩形がピンク色で表示されている。各矩形は、個々の火砕物構成粒子を囲んでいることが分かる。なお、粒子画像の縁から0.2%以内にある火砕物構成粒子については検出モデル10により検知されても出力から除外している。したがって粒子画像の縁に近い火砕物構成粒子については矩形は表示されていない。 The rectangle surrounding the pyroclastic material particles is information that surrounds the individual pyroclastic material particles captured in the particle image and specifies the position and size of the pyroclastic material particles in the particle image. The detection model 10 learns rectangles based on annotation rules described later. FIG. 4 shows a rectangle obtained by giving a particle image to the detection model 10 trained in this way and superimposed on the particle image. In the figure, a rectangle output by the detection model 10 is displayed in pink. It can be seen that each rectangle surrounds individual pyroclastic constituent particles. Pyroclastic material particles within 0.2% of the edge of the particle image are excluded from the output even if they are detected by the detection model 10. Therefore, rectangles are not displayed for particles constituting pyroclastic materials near the edges of the particle image.

第1の解析手段11は、矩形が付されていないテストデータとしての粒子画像を検出モデル10に入力して矩形を取得する推論を行う。そして、第1の解析手段11は、粒子画像から矩形に囲まれた火砕物構成粒子を切り出した画像を形成する。この画像を個別粒子画像と称する。個別粒子画像は、元の粒子画像と同様にカラー画像であり、JPEGやPNGなどのフォーマットである。また個別粒子画像のサイズは、分類モデル20を学習させる際に用いる個別粒子画像のサイズ(以下、所定サイズ)と同じにする。 The first analysis means 11 inputs a particle image as test data to which a rectangle is not attached to the detection model 10 and performs inference to obtain a rectangle. Then, the first analysis means 11 forms an image in which pyroclastic material constituent particles surrounded by a rectangle are cut out from the particle image. This image is called an individual particle image. The individual particle image is a color image like the original particle image, and is in a format such as JPEG or PNG. Further, the size of the individual particle image is made the same as the size of the individual particle image (hereinafter referred to as a predetermined size) used when the classification model 20 is trained.

切り出した個別粒子画像が所定サイズからはみ出すようであれば、縮小し、切り出した個別粒子画像が所定サイズより小さいようであれば、拡大する。所定サイズとは異なるアスペクト比による余白が個別粒子画像に生じた場合、アスペクト比の変更もしくは余白を背景色のピクセルでパディング処理を行うことで第1の解析手段11は、図4に示したピンク色実線の矩形に囲まれた火砕物構成粒子のそれぞれを所定サイズの個別粒子画像として形成する。 If the cut out individual particle image seems to protrude from the predetermined size, it is reduced, and if the cut out individual particle image seems to be smaller than the predetermined size, it is enlarged. If a margin occurs in an individual particle image due to an aspect ratio different from the predetermined size, the first analysis means 11 can change the aspect ratio or pad the margin with pixels of the background color, so that the first analysis means 11 can change the size to pink as shown in FIG. Each of the pyroclastic material constituent particles surrounded by a rectangle with a solid color line is formed as an individual particle image of a predetermined size.

分類モデル20は、個別粒子画像が入力されると、個別粒子画像に撮像された火砕物構成粒子の分類を出力するように学習されたモデルである。具体的には、CNNをベースとする画像を分類するアルゴリズムを実装したものであり、教師データを用いて学習させたものである。 The classification model 20 is a model that is trained to output the classification of the pyroclastic material constituent particles captured in the individual particle image when the individual particle image is input. Specifically, it is an implementation of an algorithm for classifying images based on CNN, and is trained using training data.

火山ごとの個別粒子画像から火山ごとの分類モデル20を作成してもよいし、複数の火山の個別粒子画像から一つの分類モデル20を作成してもよい。ここでは、前者の分類モデル20、すなわち、火山ごとの個別粒子画像によって学習された火山ごとの分類モデル20(火山V1用、火山V2用の分類モデル20)を用いる場合について説明する。 A classification model 20 for each volcano may be created from individual particle images for each volcano, or a single classification model 20 may be created from individual particle images for a plurality of volcanoes. Here, a case will be described in which the former classification model 20, that is, the classification model 20 for each volcano (classification model 20 for volcano V1 and volcano V2) learned from individual particle images for each volcano is used.

分類とは、離散的な入力値を事前に定義された複数のクラスに分類することを指し、本発明においては、撮像された火砕物から抽出された個別粒子画像に付与されるであろうクラスを推定することを指す。クラスの具体例を図5に示す。 Classification refers to classifying discrete input values into a plurality of predefined classes, and in the present invention, classes that would be assigned to individual particle images extracted from imaged pyroclastic materials It refers to estimating the A specific example of the class is shown in FIG.

図5(a)は、クラスがスコリア(Scoria)である火砕物構成粒子が撮像された個別粒子画像である。図5(b)はクラスが軽石である火砕物構成粒子が撮像された個別粒子画像である。図5(c)は、クラスが岩片である火砕物構成粒子が撮像された個別粒子画像である。なお、3つのクラスは例示であり、スコリア等に限定されないし、クラスの数についても特に限定はない。 FIG. 5(a) is an individual particle image of pyroclastic material constituent particles whose class is scoria. FIG. 5(b) is an individual particle image of pyroclastic constituent particles whose class is pumice. FIG. 5C is an individual particle image of pyroclastic material constituent particles whose class is rock fragments. Note that the three classes are just examples, and are not limited to scoria etc., and there is no particular limitation on the number of classes.

分類モデル20は、図5のような個別粒子画像が入力されると、個別粒子画像のそれぞれのクラスを予測し出力するよう学習されている。個別粒子画像はカラー画像であるので、色情報も活用された火砕物構成粒子の分類が実現されている。 The classification model 20 is trained to predict and output each class of the individual particle images when the individual particle images as shown in FIG. 5 are input. Since the individual particle images are color images, the classification of particles constituting pyroclastic materials is realized using color information as well.

第2の解析手段21は、火山ごとに学習した複数の分類モデル20から一つを選択する。具体的には、火山V1から得られた火砕物構成粒子の個別粒子画像を入力データとするならば、火山V1用の分類モデル20を選択する。そして、第2の解析手段21は、火山V1用の分類モデル20に個別粒子画像を入力することで、火砕物構成粒子とその分類を取得する推論演算を行う。第2の解析手段21は、推論結果をコンピュータ5の記憶装置に出力し、又は表示装置に表示する。 The second analysis means 21 selects one from a plurality of classification models 20 learned for each volcano. Specifically, if input data is an individual particle image of particles constituting pyroclastic material obtained from the volcano V1, the classification model 20 for the volcano V1 is selected. Then, the second analysis means 21 inputs the individual particle images to the classification model 20 for the volcano V1, thereby performing inference calculations to obtain the pyroclastic material constituent particles and their classification. The second analysis means 21 outputs the inference result to the storage device of the computer 5 or displays it on the display device.

以上に述べたように、本発明の解析システム1及び解析プログラム6によれば、図2に示したように、多数の火砕物構成粒子が撮像された粒子画像から、個別の火砕物構成粒子が火山V1又は火山V2のスコリア、軽石、岩片のクラスの何れかに属するかを解析することができる。 As described above, according to the analysis system 1 and the analysis program 6 of the present invention, as shown in FIG. It is possible to analyze whether the volcano V1 or the volcano V2 belongs to any of the scoria, pumice, and rock fragment classes.

図6を用いて、検出モデル10及び分類モデル20の学習について説明する。図6に示すように、解析プログラム6は、検出モデル10を学習させるための第1の学習手段12と、分類モデル20を学習させるための第2の学習手段22とを備えている。ここでは、火山V1、火山V2について一つの検出モデル10を作成し学習させ、火山V1、火山V2ごとに分類モデル20を作成し学習させる場合について説明する。 Learning of the detection model 10 and classification model 20 will be explained using FIG. 6. As shown in FIG. 6, the analysis program 6 includes a first learning means 12 for learning the detection model 10 and a second learning means 22 for learning the classification model 20. Here, a case will be described in which one detection model 10 is created and trained for the volcanoes V1 and V2, and a classification model 20 is created and trained for each of the volcanoes V1 and V2.

第1の学習手段12は、粒子画像と、粒子画像に対して付された矩形を教師データとして用い検出モデル10に学習させる。 The first learning means 12 causes the detection model 10 to learn using the particle image and the rectangle attached to the particle image as training data.

教師データの一例を表1に示す。

Figure 2024004369000002
Table 1 shows an example of the teacher data.
Figure 2024004369000002

表1の粒子画像Aは火山V1の粒子画像(ファイル)、粒子画像Bは火山V2の粒子画像(ファイル)を表わしている。Xleftは粒子画像における矩形の左上に位置する頂点のX座標であり、Ytopは粒子画像における矩形の左上に位置する頂点のY座標である。Xrightは粒子画像における矩形の右下に位置する頂点のX座標であり、Ybottomは粒子画像における矩形の右下に位置する頂点のY座標である。粒子画像A、粒子画像Bのそれぞれに複数の矩形が付されており、粒子画像A、粒子画像Bとその矩形が教師データとして検出モデル10に用いられる。もちろん、表1の教師データは例示であり、実際には学習精度を高めるべく適切な枚数の粒子画像を用意することが好ましい。なお、教師データは、データ拡張 (データオーギュメンテーション)により増量してもよい。また、座標表記は、Xleft、Ytop、Xright、Ybottomを採用したが、これに限定されない。物体の検出及び分類を行うアルゴリズムに応じて適宜選択すればよい。例えば、Xleft、Ytop、X方向の幅、Y方向の高さからなる座標表記によって矩形を表わしてもよい。 Particle image A in Table 1 represents a particle image (file) of volcano V1, and particle image B represents a particle image (file) of volcano V2. Xleft is the X coordinate of the vertex located at the upper left of the rectangle in the particle image, and Ytop is the Y coordinate of the vertex located at the upper left of the rectangle in the particle image. Xright is the X coordinate of the vertex located at the lower right of the rectangle in the particle image, and Ybottom is the Y coordinate of the vertex located at the lower right of the rectangle in the particle image. A plurality of rectangles are attached to each of particle image A and particle image B, and particle image A and particle image B and their rectangles are used in the detection model 10 as training data. Of course, the training data in Table 1 is just an example, and in reality, it is preferable to prepare an appropriate number of particle images in order to improve learning accuracy. Note that the amount of training data may be increased by data augmentation. Further, although the coordinate notation is Xleft, Ytop, Xright, and Ybottom, it is not limited thereto. It may be selected as appropriate depending on the algorithm for detecting and classifying objects. For example, a rectangle may be represented by coordinate notation consisting of Xleft, Ytop, width in the X direction, and height in the Y direction.

通常、画像から物体の検出及び分類を行うYOLOなどのアルゴリズムでは、画像中に含まれる物体を囲む矩形(領域)とともに、分類を教師データとして用いる。本発明においても粒子画像に含まれる火砕物構成粒子を囲む矩形とともにクラスを付与するが、火砕物構成粒子の実際のクラスとは無関係に同一のクラスを付与する。表1の例では何れの矩形についてもクラスは「grain」とされている。 Normally, algorithms such as YOLO that detect and classify objects from images use the classification as training data along with a rectangle (region) surrounding the object included in the image. In the present invention, a class is also assigned to the rectangle surrounding the pyroclastic material particles included in the particle image, but the same class is assigned regardless of the actual class of the pyroclastic material particles. In the example of Table 1, the class of all rectangles is "grain".

上述した粒子画像に付される矩形(教師データ)は、例えば次のように作成する。第1の学習手段12は、まだ矩形が付されていない粒子画像をコンピュータ5の画面に表示する。次に、第1の学習手段12は、マウスの移動、クリックなどの操作に応じて粒子画像に重ねて矩形を描く処理を行う。そして、第1の学習手段12は、描かれた矩形の情報(コンピュータ5の画面における座標)に基づいて、表1に例示したような粒子画像における座標からなる矩形を計算し、教師データとして記憶装置に記憶させる。一般に、データに情報タグ(メタデータ)を付加することをアノテーションと称するが、ここでは粒子画像に矩形を付す操作をアノテーションと称する。 The rectangle (teacher data) attached to the particle image described above is created, for example, as follows. The first learning means 12 displays on the screen of the computer 5 the particle image to which a rectangle has not yet been attached. Next, the first learning means 12 performs a process of drawing a rectangle superimposed on the particle image in response to operations such as mouse movement and clicking. Then, the first learning means 12 calculates a rectangle consisting of the coordinates in the particle image as exemplified in Table 1 based on the information of the drawn rectangle (coordinates on the screen of the computer 5), and stores it as training data. Store it in the device. Generally, adding information tags (metadata) to data is called annotation, but here, the operation of adding a rectangle to a particle image is called annotation.

ユーザーは、第1の学習手段12により実現される機能を利用することで、粒子画像、及びそれに撮像された火砕物構成粒子を視認しながら、マウス等の入力装置により火砕物構成粒子を囲む矩形を入力して教師データを作成することができる。教師データの矩形の作成、すなわちアノテーションにあたっては図7及び以下に述べるルールを考慮することが好ましい。 By using the function realized by the first learning means 12, the user can visually check the particle image and the particles constituting the pyroclastic material captured therein, and use an input device such as a mouse to create a rectangle surrounding the particle constituting the pyroclastic material. You can create training data by inputting When creating a rectangle of training data, that is, annotating it, it is preferable to consider the rules described in FIG. 7 and below.

図7は、4角の点を結んだ緑色線からなる矩形がアノテーションとして粒子画像上に付与されたものを示している。図7(a)に表示された赤色線からなる矩形は図7(b)~図7(f)のそれぞれに拡大されていることを示している。
・図7(a):多数の火砕物構成粒子のそれぞれを矩形で囲む。
・図7(b)-図7(f):火砕物構成粒子の外形から0-5ピクセル程度の間隔を空けて矩形を作成する。
・図7(c)白矢印:火砕物構成粒子を囲う矩形の長辺が1%に満たない場合は矩形を作成しない。
・図7(d):火砕物構成粒子が近接、接触、又は重なっている場合は一つずつ分けて矩形を作成する。
・図7(e):粒子画像の縁で切られた火砕物構成粒子に対しても矩形を作成する。
・図7(f):火砕物構成粒子を囲う矩形の長辺が画像全体に対し1%以上でも、短辺が0.5%以下となるものには矩形を作成しない。
FIG. 7 shows a particle image in which a rectangle made up of green lines connecting four corner points is added as an annotation. The rectangle formed by the red line displayed in FIG. 7(a) is shown to be enlarged in each of FIG. 7(b) to FIG. 7(f).
・Figure 7(a): Each of the many pyroclastic material constituent particles is surrounded by a rectangle.
・Figure 7(b) - Figure 7(f): Create a rectangle with an interval of about 0-5 pixels from the outer shape of the pyroclastic material constituent particles.
・Figure 7(c) White arrow: If the long side of the rectangle surrounding the pyroclastic material particles is less than 1%, no rectangle is created.
・Figure 7(d): If the particles constituting the pyroclastic material are close to each other, in contact with each other, or overlap each other, separate them one by one and create a rectangle.
・Figure 7(e): A rectangle is also created for the pyroclastic material constituent particles cut by the edges of the particle image.
・Figure 7(f): Even if the long side of the rectangle surrounding the pyroclastic material particles is 1% or more of the entire image, a rectangle is not created if the short side is 0.5% or less of the entire image.

検出モデル10の学習のさせ方は、YOLOやSSDなど物体の検出及び分類を行う公知のアルゴリズムを用いることができるので、詳細な説明は省略する。何れのアルゴリズムを用いても、表1のような粒子画像、矩形及び同一の分類からなる教師データを用いて学習された検出モデル10は、粒子画像から図4に例示したような矩形を出力することができる。 As for how to train the detection model 10, a known algorithm for detecting and classifying objects such as YOLO or SSD can be used, so a detailed explanation will be omitted. No matter which algorithm is used, the detection model 10 trained using training data consisting of particle images, rectangles, and the same classification as shown in Table 1 will output a rectangle as illustrated in FIG. 4 from the particle image. be able to.

第2の学習手段22は、個別粒子画像と、個別粒子画像に対して付されたクラスを教師データとして用い分類モデル20に学習させる。分類モデル20は、火山V1、火山V2ごとに作成する。 The second learning means 22 causes the classification model 20 to learn using the individual particle images and the classes assigned to the individual particle images as training data. The classification model 20 is created for each volcano V1 and volcano V2.

教師データの一例を表2に示す。表2の個別粒子画像X-Zは、火山V1の個別粒子画像(ファイル)を表わしている。クラスは、個別粒子画像に撮像された一粒の火砕物構成粒子のクラスを表わしている。特に例示しないが火山V2に関しても同様である。

Figure 2024004369000003
Table 2 shows an example of the teacher data. Individual particle images XZ in Table 2 represent individual particle images (files) of volcano V1. The class represents the class of one pyroclastic material constituent particle imaged in the individual particle image. Although not particularly illustrated, the same applies to the volcano V2.
Figure 2024004369000003

分類モデル20の学習に用いる教師データ、すなわち個別粒子画像に付されるクラスは、例えば次のように作成する。第2の学習手段22は、まだクラスが付されていない個別粒子画像をコンピュータ5の画面に表示する。次に、第2の学習手段22は、ユーザーに、画面に表示した複数のクラスから何れか一つをマウスにより選択させたり、画面に表示した入力欄にキーボードによりクラスを入力させる処理を行う。そして、第2の学習手段22は、個別粒子画像とそのクラスを教師データとして記憶装置に記憶させる。このような処理を火山V1、火山V2ごとに行うことで、火山V1、火山V2ごとの教師データを作成する。なお、教師データは、データ拡張(データオーギュメンテーション)により増量してもよい。 The training data used for learning the classification model 20, that is, the classes assigned to individual particle images, are created, for example, as follows. The second learning means 22 displays individual particle images to which no classes have been assigned yet on the screen of the computer 5. Next, the second learning means 22 performs a process of having the user select one of the multiple classes displayed on the screen using the mouse, or inputting a class using the keyboard into the input field displayed on the screen. Then, the second learning means 22 stores the individual particle images and their classes in the storage device as teacher data. By performing such processing for each of the volcanoes V1 and V2, teacher data for each of the volcanoes V1 and V2 is created. Note that the amount of training data may be increased by data augmentation.

ユーザーは、第2の学習手段22により実現される機能を利用することで、個別粒子画像に撮像された火砕物構成粒子を視認しながら、マウスやキーボード等の入力装置により火砕物構成粒子の分類を入力して教師データを作成することができる。 By using the function realized by the second learning means 22, the user can classify the pyroclastic particles using an input device such as a mouse or a keyboard while visually recognizing the pyroclastic particles captured in the individual particle image. You can create training data by inputting

分類モデル20の学習のさせ方は、CNNをベースとする公知のアルゴリズムを用いることができるので、詳細な説明は省略する。何れのアルゴリズムを用いても、表2のような個別粒子画像及びクラスからなる教師データを用いて学習された分類モデル20は個別粒子画像に撮像された火砕物構成粒子のクラスを出力することができる。 A known algorithm based on CNN can be used to train the classification model 20, so a detailed explanation will be omitted. No matter which algorithm is used, the classification model 20 trained using training data consisting of individual particle images and classes as shown in Table 2 is capable of outputting the classes of particles constituting pyroclastic materials captured in individual particle images. can.

以上に説明したように、解析システム1及び解析プログラム6は、火砕物構成粒子を撮像した粒子画像から個別の火砕物構成粒子を検出し、その火砕物構成粒子が撮像された個別粒子画像を作成し、その個別粒子画像を分類することができる。このように火砕物構成粒子は一粒ごとに分類されるので、地質調査における火砕物構成粒子の構成分率解析や形状解析を効率化することができる。 As explained above, the analysis system 1 and the analysis program 6 detect individual pyroclastic material particles from the captured particle images of the pyroclastic material particles, and create individual particle images in which the pyroclastic material particles are imaged. The individual particle images can then be classified. Since the particles constituting the pyroclastic material are classified individually in this way, it is possible to streamline the analysis of the constituent fraction and shape of the particles constituting the pyroclastic material in geological surveys.

火砕物構成粒子の分類は、従来では肉眼で鑑定することにより実現されていた判断の標準化が難しく、労力がかかるものであった。しかしながら、本発明の解析システム1及び解析プログラム6によれば、火砕物構成粒子を分類は、鑑定作業を学習した検出モデル10及び分類モデル20により実現されるので、作業者の経験や技量に依存する事が無くなり、かつ、分類作業に掛かる労力を大幅に削減することができる。 Classification of particles constituting pyroclastic materials was conventionally achieved by visual inspection, but standardization of judgment was difficult and labor-intensive. However, according to the analysis system 1 and the analysis program 6 of the present invention, classification of particles constituting pyroclastic materials is achieved by the detection model 10 and classification model 20 that have learned the appraisal work, so it depends on the experience and skill of the operator. There is no need to do this, and the labor required for classification work can be significantly reduced.

また、解析システム1は、撮像手段としてデジタルカメラ2等、任意の装置を採用することができる。換言すれば、火砕物構成粒子のサイズに合わせてデジタルカメラ2等を採用することができ、光学設計の自由度が高い。以上のことから、粒子の密集や接触、小さな粒子に対しても堅牢で効率的にサイズの異なる火山岩塊、火山礫、火山灰の何れについても解析することができる。さらに、光学設計の自由度が高いので高額かつ大型な解析装置を使用することなく解析システムを構築することができる。 Furthermore, the analysis system 1 can employ any device such as a digital camera 2 as an imaging means. In other words, the digital camera 2 or the like can be employed in accordance with the size of the particles constituting the pyroclastic material, providing a high degree of freedom in optical design. From the above, it is robust against particle crowding, contact, and small particles, and can efficiently analyze volcanic rock masses, lapilli, and volcanic ash of different sizes. Furthermore, since there is a high degree of freedom in optical design, it is possible to construct an analysis system without using expensive and large analysis equipment.

一般に、YOLOなどのアルゴリズムは、粒子画像から火砕物構成粒子の検出と分類を同時に行うことも可能である。しかしながらこのようなモデルを用いた場合、新たな発生源(火山)の火砕物構成粒子を分類させようとすると再学習及び教師データの作成に関するコストが増大してしまう。具体的には、新たな火山の火砕物構成粒子に関する分類の付与のみならず、粒子画像に矩形を付与し、モデルを再学習させる必要がある。 In general, algorithms such as YOLO can simultaneously detect and classify particles constituting pyroclastic materials from particle images. However, when such a model is used, the cost of relearning and creating training data increases when trying to classify particles constituting pyroclastic material from a new source (volcano). Specifically, it is necessary not only to assign new classifications to particles constituting pyroclastic materials from volcanoes, but also to assign rectangles to particle images and retrain the model.

しかしながら、本発明では、新たな発生源(火山)に対応して新たな分類モデル20を作成及び学習させればよく、検出モデル10を変更したり再学習させる必要はないというメリットがある。 However, the present invention has the advantage that it is only necessary to create and learn a new classification model 20 corresponding to a new source (volcano), and there is no need to change or re-learn the detection model 10.

本発明の解析システム1及び解析プログラムは、粒子画像が火砕物構成粒子の発生源ごと(火山V1、火山V2)に形成されたものであり、検出モデル10は発生源が異なっても共通に学習されたものである。このような検出モデル10は、学習段階で用いていない火山の火砕物構成粒子の粒子画像であっても十分な精度の矩形を得ることができる。また、学習段階においては、火山ごとに検出モデル10を作成・学習させる必要がなくなり、学習コストを低減することができる。 In the analysis system 1 and analysis program of the present invention, particle images are formed for each source of pyroclastic material particles (volcano V1, volcano V2), and the detection model 10 is trained in common even if the sources are different. It is what was done. Such a detection model 10 can obtain rectangles with sufficient precision even for particle images of particles constituting volcanic pyroclastic materials that are not used in the learning stage. Furthermore, in the learning stage, there is no need to create and train the detection model 10 for each volcano, and the learning cost can be reduced.

本発明の解析システム1及び解析プログラム6は、分類モデル20は発生源ごとに学習されたものである。これにより、発生源が異なっても共通に学習した分類モデルを用いた場合と比較して、精度よく個別粒子画像を分類することができる。 In the analysis system 1 and analysis program 6 of the present invention, the classification model 20 is learned for each source. As a result, individual particle images can be classified with higher accuracy than when a commonly learned classification model is used even if the sources are different.

火砕物構成粒子は、μmからcmオーダーにわたる様々なサイズである。仮に同じ縮尺で火砕物構成粒子を撮像して粒子画像とすると、特にμmオーダーの火山灰を検出することが難しくなってしまう。しかしながら、本発明の解析システム1及び解析プログラム6では、粒子画像は、火砕物構成粒子の長辺が前記粒子画像の長辺の2.5-8%となるように撮像されている。様々なサイズの火砕物構成粒子であっても、篩等を用いて粒径分布を2φ程度ずつに分割するような簡易な前処理により、検出モデル10により矩形を検出し、個別の火砕物構成粒子が撮像された個別粒子画像を得ることができる。 Pyroclastic particles have various sizes ranging from μm to cm order. If particles constituting pyroclastic material were to be imaged at the same scale to form a particle image, it would be particularly difficult to detect volcanic ash on the order of μm. However, in the analysis system 1 and analysis program 6 of the present invention, the particle images are captured such that the long sides of the particles constituting the pyroclastic material are 2.5-8% of the long sides of the particle images. Even if the pyroclastic material constituent particles are of various sizes, the detection model 10 can detect rectangular shapes by using a sieve or the like to divide the particle size distribution into approximately 2φ increments, and separate the individual pyroclastic material constituent particles. Individual particle images of particles can be obtained.

本発明の解析システム1及び解析プログラム6は、粒子画像が火砕物構成粒子の発生源ごと(火山V1、火山V2)に形成されたものであり、発生源が異なっても共通の検出モデル10を学習させる。学習段階で用いていない火山の火砕物構成粒子の粒子画像であっても十分な精度の矩形を出力する検出モデル10を作成することができる。 In the analysis system 1 and analysis program 6 of the present invention, particle images are formed for each source of pyroclastic particles (volcano V1, volcano V2), and a common detection model 10 is used even if the sources are different. Let them learn. It is possible to create a detection model 10 that outputs rectangles with sufficient precision even for particle images of volcanic pyroclastic particles that are not used in the learning stage.

本発明の解析システム1及び解析プログラム6は、発生源ごとに分類モデル20を学習させる。これにより、発生源が異なっても共通に学習した分類モデルと比較して、精度よく個別粒子画像を分類する分類モデル20を作成することができる。 The analysis system 1 and analysis program 6 of the present invention train the classification model 20 for each source. Thereby, it is possible to create a classification model 20 that classifies individual particle images with high accuracy compared to a commonly learned classification model even if the generation sources are different.

〈実施形態2〉
図8を用いて実施形態2の解析システム1及び解析プログラム6について説明する。実施形態1と同一のものには同一の符号を付し、重複する説明は省略する。実施形態2の解析システム1及び解析プログラム6は良否判定モデル30を備えている。
<Embodiment 2>
The analysis system 1 and analysis program 6 of the second embodiment will be explained using FIG. 8. Components that are the same as those in Embodiment 1 are given the same reference numerals, and overlapping explanations will be omitted. The analysis system 1 and analysis program 6 of the second embodiment include a pass/fail determination model 30.

良否判定モデル30は、個別粒子画像が入力されると、火砕物構成粒子の良又は不良の良否判定を出力するように学習されたモデルである。具体的には、CNNをベースとする画像を分類するアルゴリズムを実装したものであり、教師データを用いて学習させたものである。教師データとしては、個別粒子画像と良又は不良の良否判定の組を用いる。このような教師データを用いて公知の方法によって良否判定モデル30を学習させる。 The quality determination model 30 is a model that has been trained to output a quality determination of whether the pyroclastic material constituent particles are good or bad when an individual particle image is input. Specifically, it is an implementation of an algorithm for classifying images based on CNN, and is trained using training data. As training data, a set of individual particle images and pass/fail judgments is used. The pass/fail judgment model 30 is trained by a known method using such training data.

火山ごとの個別粒子画像から火山ごとの良否判定モデル30を作成してもよいし、複数の火山の個別粒子画像から一つの良否判定モデル30を作成してもよい。ここでは、後者の良否判定モデル30、すなわち、火山V1及び火山V2に共通して作成・学習された良否判定モデル30を用いる場合について説明する。 A quality determination model 30 for each volcano may be created from individual particle images of each volcano, or a single quality determination model 30 may be created from individual particle images of a plurality of volcanoes. Here, a case will be described in which the latter quality judgment model 30, that is, the quality judgment model 30 created and learned in common for the volcano V1 and the volcano V2 is used.

不良判定は、複数の火砕物構成粒子が接触又は重なって撮像されていたり、大半の領域が撮像されていないなど、一つの火砕物構成粒子が収まっていない個別粒子画像に対して付与される。良判定は、一つの火砕物構成粒子が収まっている個別粒子画像に対して付与される。 A defective determination is given to an individual particle image in which one pyroclastic material particle does not fit, such as when a plurality of pyroclastic material particles are imaged in contact or overlapping, or most of the area is not imaged. A good judgment is given to an individual particle image in which one pyroclastic material constituent particle is contained.

第2の解析手段21Aは、個別粒子画像を良否判定モデル30に入力して良否判定を取得する。そして、良判定の個別粒子画像を分類モデル20に入力してクラスを取得することで火砕物構成粒子を分類する。一方、第2の解析手段21Aは、不良判定の個別粒子画像については火砕物構成粒子の分類を行わない。 The second analysis means 21A inputs the individual particle images into the quality determination model 30 and obtains the quality determination. Then, the pyroclastic material constituent particles are classified by inputting the individual particle images judged to be good to the classification model 20 and acquiring the classes. On the other hand, the second analysis means 21A does not classify the pyroclastic material constituent particles for individual particle images determined to be defective.

以上に説明したように、実施形態2の解析システム1及び解析プログラム6は、個別粒子画像を分類する前に、良否判定モデルを用いて個別粒子画像の良否判定を行う。これにより、一粒の火砕物構成粒子が収まっていないような不良の個別粒子画像が分類されてしまい、分類精度が低下することを回避することができる。第1の解析手段11は検出モデル10を用いて個別粒子画像として作成するものであるが、全ての個別粒子画像に一粒の火砕物構成粒子が収まっているとは限らない。しかしながら、良否判定モデル30によって不良の個別粒子画像は除外されるので、最終的に得られる火砕物構成粒子の分類の精度を向上することができる。 As described above, the analysis system 1 and the analysis program 6 of the second embodiment use the quality determination model to determine the quality of individual particle images before classifying the individual particle images. This makes it possible to avoid classification of defective individual particle images in which a single pyroclastic material constituent particle is not contained, and a decrease in classification accuracy. The first analysis means 11 uses the detection model 10 to create individual particle images, but not all individual particle images contain one pyroclastic material particle. However, since defective individual particle images are excluded by the quality determination model 30, it is possible to improve the accuracy of classification of finally obtained pyroclastic material constituent particles.

なお、分類モデル20が出力するクラスの一つとして、スコリア、軽石などの他に例えば「不良形状」を追加して分類モデル20を学習させてもよい。ただ、不良判定されるような個別粒子画像の数が非常に少ないことから学習させても精度が向上しない虞がある。したがって、分類モデル20には良否判定を行わせずに火砕物構成粒子の分類だけを行わせ、良否判定については分類モデル20とは別に良否判定モデル30に行わせることが好ましい。 In addition, as one of the classes output by the classification model 20, in addition to scoria, pumice, etc., for example, "defect shape" may be added and the classification model 20 may be trained. However, since the number of individual particle images that are judged to be defective is extremely small, there is a risk that the accuracy will not improve even if the learning is performed. Therefore, it is preferable to have the classification model 20 perform only the classification of particles constituting the pyroclastic material without making a quality determination, and to have the quality determination model 30 perform the quality determination separately from the classification model 20.

本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではない。例えば、検出モデル10は、複数の火山(火山V1、火山V2)に共通のものとしたが、複数の火山ごとに異なる検出モデル10を作成・学習させてもよい。分類モデル20は、複数の火山ごとに作成・学習させたが、複数の火山に共通した分類モデル20を作成・学習させてもよい。 Although the embodiments of the present invention have been described, the present invention is not limited to the above-described embodiments. For example, although the detection model 10 is common to a plurality of volcanoes (volcano V1, volcano V2), a different detection model 10 may be created and trained for each of a plurality of volcanoes. Although the classification model 20 was created and trained for each of a plurality of volcanoes, a classification model 20 common to a plurality of volcanoes may be created and trained.

火砕物構成粒子の発生源として火山V1、火山V2を例に挙げたが、このような例に限定されない。発生源は一箇所でもよく、2箇所以上でもよい。 Although the volcanoes V1 and V2 have been cited as examples of sources of pyroclastic particles, the present invention is not limited to these examples. The source may be one, or two or more.

コンピュータは、一台に限定されず複数台であってもよく、各モデルの学習や各モデルに入力データを与えて出力データを得る推論演算を複数台のコンピュータで分散して実行してもよい。また、モデルの学習と推論演算を同一のコンピュータで実行する必要はなく、異なるコンピュータで実行してもよい。 The number of computers is not limited to one, but may be multiple. The learning of each model and the inference calculations for providing input data to each model and obtaining output data may be distributed and executed by multiple computers. . Furthermore, model learning and inference calculations do not need to be executed on the same computer, but may be executed on different computers.

また、実施形態1及び実施形態2の撮像手段であるデジタルカメラ2等は、粒子画像を直接的に形成する装置であるが、撮像手段はこれに限定されない。例えばフィルムに撮像するカメラと、カメラで撮影された写真をデジタルデータ化するスキャナ等を撮像手段とすることもできる。 Furthermore, although the digital camera 2 and the like which are the imaging means in Embodiments 1 and 2 are devices that directly form particle images, the imaging means is not limited thereto. For example, the image capturing means may be a camera that captures images on film, a scanner that converts photographs taken by the camera into digital data, or the like.

なお、実施形態1及び実施形態2で説明した検出モデル10、分類モデル20、良否判定モデル30は、それぞれ請求項の第1の学習済モデル、第2の学習済モデル、第3の学習済モデルの一例である。 Note that the detection model 10, classification model 20, and pass/fail determination model 30 described in Embodiment 1 and Embodiment 2 are the first trained model, second trained model, and third trained model in the claims, respectively. This is an example.

1…解析システム、2…デジタルカメラ、3…スキャナー、4…顕微鏡カメラ、5…コンピュータ、6…解析プログラム、10…検出モデル(第1の学習済モデル)、11…第1の解析手段、12…第1の学習手段、20…分類モデル(第2の学習済モデル)、21、21A…第2の解析手段、22…第2の学習手段、30…良否判定モデル(第3の学習済モデル) DESCRIPTION OF SYMBOLS 1...Analysis system, 2...Digital camera, 3...Scanner, 4...Microscope camera, 5...Computer, 6...Analysis program, 10...Detection model (first learned model), 11...First analysis means, 12 ...first learning means, 20...classification model (second trained model), 21, 21A...second analysis means, 22...second learning means, 30...pass/fail determination model (third trained model) )

Claims (8)

火砕物構成粒子を撮像して粒子画像を形成する撮像手段と、
前記粒子画像が入力されると前記火砕物構成粒子を囲む矩形を出力する第1の学習済モデルと、
前記第1の学習済モデルに前記粒子画像を入力して前記矩形を取得し、前記矩形に囲まれた個々の火砕物構成粒子を前記粒子画像から切り出して個別粒子画像を形成する第1の解析手段と、
前記個別粒子画像が入力されると前記個別粒子画像に撮像された火砕物構成粒子のクラスを出力する第2の学習済モデルと、
前記第2の学習済モデルに前記個別粒子画像を入力して前記クラスを取得することで火砕物構成粒子を分類する第2の解析手段と、
を備えることを特徴とする火砕物構成粒子の解析システム。
an imaging means for imaging pyroclastic material constituent particles to form a particle image;
a first trained model that outputs a rectangle surrounding the pyroclastic material constituent particles when the particle image is input;
A first analysis in which the particle image is input to the first trained model to obtain the rectangle, and individual pyroclastic material constituent particles surrounded by the rectangle are cut out from the particle image to form individual particle images. means and
a second trained model that outputs a class of pyroclastic material constituent particles captured in the individual particle image when the individual particle image is input;
a second analysis means for classifying pyroclastic material constituent particles by inputting the individual particle images into the second trained model and acquiring the classes;
An analysis system for particles constituting pyroclastic materials, characterized by comprising:
請求項1に記載の火砕物構成粒子の解析システムであって、
前記粒子画像は、前記火砕物構成粒子の発生源ごとに形成されたものであり、
前記第1の学習済モデルは、発生源が異なっても共通に学習されたものである
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
The particle image is formed for each source of the pyroclastic material constituent particles,
An analysis system for particles constituting pyroclastic materials, characterized in that the first trained model is one that has been learned in common even if the generation sources are different.
請求項1に記載の火砕物構成粒子の解析システムであって、
前記粒子画像は、前記火砕物構成粒子の発生源ごとに形成されたものであり、
前記第2の学習済モデルは、発生源ごとに学習されたものである
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
The particle image is formed for each source of the pyroclastic material constituent particles,
The second trained model is trained for each source. A system for analyzing particles constituting pyroclastic materials.
請求項1に記載の火砕物構成粒子の解析システムであって、
前記粒子画像は、前記火砕物構成粒子の長辺が前記粒子画像の長辺の2.5-8%となるように撮像されている
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
The particle image is captured such that the long side of the pyroclastic material particle is 2.5% to 8% of the long side of the particle image.
請求項1に記載の火砕物構成粒子の解析システムであって、
前記個別粒子画像が入力されると前記火砕物構成粒子の良又は不良の良否判定を出力する第3の学習済モデルを備え、
前記第2の解析手段は、前記第3の学習済モデルに前記個別粒子画像を入力して前記良否判定を取得し、良判定の前記個別粒子画像について前記クラスを取得して火砕物構成粒子を分類し、不良判定の前記個別粒子画像については火砕物構成粒子の分類を行わない
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
comprising a third trained model that outputs a determination of whether the pyroclastic material constituent particles are good or bad when the individual particle image is input;
The second analysis means inputs the individual particle images into the third trained model to obtain the pass/fail judgment, obtains the class for the individual particle images judged to be good, and analyzes the particles constituting the pyroclastic material. An analysis system for particles constituting pyroclastic materials, characterized in that the individual particle images that are classified and determined to be defective are not classified as particles constituting pyroclastic materials.
請求項1に記載の火砕物構成粒子の解析システムであって、
前記粒子画像は、前記火砕物構成粒子の発生源ごとに形成されたものであり、
前記粒子画像に対して付された前記矩形を用いて、前記第1の学習済モデルを学習させる第1の学習手段を備え、
前記第1の学習手段は、異なる発生源の前記粒子画像及び前記矩形を用いて、共通の前記第1の学習済モデルを学習させる
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
The particle image is formed for each source of the pyroclastic material constituent particles,
comprising a first learning means for learning the first trained model using the rectangle attached to the particle image,
A system for analyzing particles constituting pyroclastic materials, wherein the first learning means uses the particle images and the rectangles of different sources to learn the common first trained model.
請求項1に記載の火砕物構成粒子の解析システムであって、
前記粒子画像は、前記火砕物構成粒子の発生源ごとに形成されたものであり、
前記個別粒子画像に対して付された前記クラスを用いて、前記第2の学習済モデルを学習させる第2の学習手段を備え、
前記第2の学習手段は、異なる発生源の前記個別粒子画像及び前記クラスを用いて、異なる発生源ごとの前記第2の学習済モデルを学習させる
ことを特徴とする火砕物構成粒子の解析システム。
The analysis system for particles constituting pyroclastic material according to claim 1,
The particle image is formed for each source of the pyroclastic material constituent particles,
comprising a second learning means for learning the second trained model using the class assigned to the individual particle image,
A system for analyzing particles constituting pyroclastic materials, wherein the second learning means uses the individual particle images of different sources and the classes to learn the second trained model for each different source. .
火砕物構成粒子が撮像された粒子画像から個々の火砕物構成粒子が切り出された個別粒子画像を形成する第1の解析手段、及び
前記個別粒子画像を分類する第2の解析手段
としてコンピュータを機能させる火砕物構成粒子の解析プログラムであって、
コンピュータは、
前記粒子画像が入力されると前記火砕物構成粒子を囲む矩形を出力する第1の学習済モデルと、
前記個別粒子画像が入力されると前記個別粒子画像に撮像された火砕物構成粒子のクラスを出力する第2の学習済モデルと、
を備え、
前記第1の解析手段は、前記第1の学習済モデルに前記粒子画像を入力して前記矩形を取得し、前記矩形に囲まれた個々の火砕物構成粒子を前記粒子画像から切り出して個別粒子画像を形成し、
前記第2の解析手段は、前記第2の学習済モデルに前記個別粒子画像を入力して前記クラスを取得することで前記火砕物構成粒子を分類する
ことを特徴とする火砕物構成粒子の解析プログラム。
The computer functions as a first analysis means for forming an individual particle image in which each pyroclastic material constituent particle is extracted from a captured particle image of the pyroclastic material constituent particle, and a second analysis means for classifying the individual particle image. An analysis program for particles constituting pyroclastic materials,
The computer is
a first trained model that outputs a rectangle surrounding the pyroclastic material constituent particles when the particle image is input;
a second trained model that outputs a class of pyroclastic material constituent particles captured in the individual particle image when the individual particle image is input;
Equipped with
The first analysis means inputs the particle image into the first trained model to obtain the rectangle, and cuts out individual pyroclastic material constituent particles surrounded by the rectangle from the particle image to separate individual particles. form an image,
The second analysis means classifies the pyroclastic material particles by inputting the individual particle images into the second trained model and acquiring the class. program.
JP2022104002A 2022-06-28 2022-06-28 Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles Pending JP2024004369A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022104002A JP2024004369A (en) 2022-06-28 2022-06-28 Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022104002A JP2024004369A (en) 2022-06-28 2022-06-28 Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles

Publications (1)

Publication Number Publication Date
JP2024004369A true JP2024004369A (en) 2024-01-16

Family

ID=89538001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022104002A Pending JP2024004369A (en) 2022-06-28 2022-06-28 Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles

Country Status (1)

Country Link
JP (1) JP2024004369A (en)

Similar Documents

Publication Publication Date Title
CN109791693B (en) Digital pathology system and related workflow for providing visualized whole-slice image analysis
US11774735B2 (en) System and method for performing automated analysis of air samples
CN108334848B (en) Tiny face recognition method based on generation countermeasure network
US10496695B2 (en) Automated data extraction from scatter plot images
CN103975342B (en) The system and method for capturing and handling for mobile image
CN104169945B (en) To the two-stage classification of the object in image
TWI638273B (en) Note recognition for overlapping physical notes
CN111179253A (en) Product defect detection method, device and system
CN111460138B (en) BIM-based digital engineering supervision method and system
CN109886928B (en) Target cell marking method, device, storage medium and terminal equipment
CN109284729A (en) Method, apparatus and medium based on video acquisition human face recognition model training data
JPWO2011155123A1 (en) Method for optimizing observation image classification criteria and image classification apparatus
CN109951635A (en) It takes pictures processing method, device, mobile terminal and storage medium
TW201447811A (en) Method for partitioning area, and inspection device
CN109815945A (en) A kind of respiratory tract inspection result interpreting system and method based on image recognition
CN113033516A (en) Object identification statistical method and device, electronic equipment and storage medium
JP6857586B2 (en) An image extraction device, an image extraction method, an image extraction program, and a recording medium in which the program is stored.
KR20230119625A (en) Defect inspection device, defect inspection method and manufacturing method
CN115862113A (en) Stranger abnormity identification method, device, equipment and storage medium
JP2012252691A (en) Method and device for extracting text stroke image from image
JP2018081629A (en) Determination device, method for determination, and determination program
JP2024004369A (en) Analysis system for pyroclastic material component particles and analysis program for pyroclastic material component particles
JP2021086382A (en) Learning apparatus, detection apparatus, learning method, and learning program
JP2013152543A (en) Image storage program, method and device
WO2022019110A1 (en) Program, information processing device, information processing method, and model generation method

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220705