JP7188373B2 - データ解析システム及びデータ解析方法 - Google Patents
データ解析システム及びデータ解析方法 Download PDFInfo
- Publication number
- JP7188373B2 JP7188373B2 JP2019223756A JP2019223756A JP7188373B2 JP 7188373 B2 JP7188373 B2 JP 7188373B2 JP 2019223756 A JP2019223756 A JP 2019223756A JP 2019223756 A JP2019223756 A JP 2019223756A JP 7188373 B2 JP7188373 B2 JP 7188373B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- measurement data
- analysis
- feature amount
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 title claims description 11
- 238000005259 measurement Methods 0.000 claims description 206
- 238000004458 analytical method Methods 0.000 claims description 156
- 238000012545 processing Methods 0.000 claims description 100
- 238000011156 evaluation Methods 0.000 claims description 50
- 239000000463 material Substances 0.000 claims description 50
- 238000010801 machine learning Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 description 12
- 238000009499 grossing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 4
- 238000002441 X-ray diffraction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002056 X-ray absorption spectroscopy Methods 0.000 description 2
- 238000004833 X-ray photoelectron spectroscopy Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012284 sample analysis method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002983 circular dichroism Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000001683 neutron diffraction Methods 0.000 description 1
- 238000002139 neutron reflectometry Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/20—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/30—Accessories, mechanical or electrical features
- G01N2223/303—Accessories, mechanical or electrical features calibrating, standardising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Crystallography & Structural Chemistry (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Description
本発明はデータ解析システム及びデータ解析方法に関する。
特許文献１には、従来の試料分析方法として、Ｘ線回折法での定量分析を行うにあたり、Ｘ線源のターゲットと同一材料からなる標準化試料を用いて回折Ｘ線の強度を較正するものが開示されている。
しかしながら、前述した従来の試料分析方法では、Ｘ線回折装置によって計測された材料（試料）の計測データを解析する段階で、人の解析者による判断が必要な部分があるため、解析結果が解析者の直感や経験等に依存して解析結果がばらつくおそれがあり、また解析者の解析結果に対する評価が行われないために解析精度を確保することができないおそれがある。
本発明はこのような問題点に着目してなされたものであり、計測データの解析結果のばらつきを抑制しつつ、解析精度を向上させることを目的とする。
上記課題を解決するために、本発明のある態様によるデータ解析システムは、演算装置と、演算装置に接続される記憶装置と、演算装置に接続されて外部の端末と通信可能な通信部と、を備える。演算装置は、通信部を介して受信した、材料を分析した計測データを取得する計測データ取得部と、学習済みの機械学習モデルを用いて計測データを処理し、計測データの解析結果を出力するデータ解析部と、計測データと、計測データを処理した処理結果と、を含むデータセットを解析結果データセットとして記憶装置の解析結果データベースに格納する格納処理部と、通信部を介して受信した、解析結果データセットに基づいて外部で行われた計測データの処理結果に対する評価結果を含む、学習用データセットを取得する学習用データセット取得部と、学習用データセットに基づいて、機械学習モデルを再学習させる学習部と、を備える。
また本発明のある態様によるデータ解析方法は、演算装置と、演算装置に接続される記憶装置と、演算装置に接続されて外部の端末と通信可能な通信部と、を備えるデータ解析システムによるデータ解析方法であって、通信部を介して受信した、材料を分析した計測データを取得する計測データ取得工程と、学習済みの機械学習モデルを用いて計測データを処理し、計測データの解析結果を出力するデータ解析工程と、計測データと、計測データを処理した処理結果と、を含むデータセットを解析結果データセットとして記憶装置の解析結果データベースに格納する格納処理工程と、通信部を介して受信した、解析結果データセットに基づいて外部で行われた計測データの処理結果に対する評価結果を含む、学習用データセットを取得する学習用データセット取得工程と、学習用データセットに基づいて、機械学習モデルを再学習させる学習工程と、を備える。
本発明のこれらの態様によれば、学習済みの機械学習モデルを用いて計測データが処理されるため、計測データの解析結果が、計測データを解析する解析者の直感や経験等に依存してばらついてしまうのを抑制できる。また計測データの処理結果に対する評価の結果を含む学習用データセットに基づいて、機械学習モデルの再学習が行われるため、計測データの解析が行われて解析結果データセットが蓄積され、その結果として学習用データセットの点数が増大していくにつれて、機械学習モデルの性能を向上させて、計測データの解析精度を向上させることができる。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
図１は、本発明の一実施形態によるデータ解析システム１を備える材料情報取得システム１００の概略構成図である。
材料情報取得システム１００は、データ解析システム１と、データ解析システム１とネットワークを介して接続され、データ解析システム１と互いに通信可能に構成されたユーザ用端末２及び評価者用端末３と、を備える。
材料情報取得システム１００は、材料情報取得システム１００を利用する一又は複数のユーザが、ユーザ用端末２を操作してデータ解析システム１に入力した、材料分析用の計測装置等によって計測された計測データ（入力データ）を、学習済みの機械学習モデルを用いたデータ解析システム１によって解析し、計測データの解析結果である材料の構成成分や、化学状態、化学構造、物性などに関する情報（以下「材料情報」という。）を、計測データを入力したユーザのユーザ用端末２に出力データとして出力することができるように構成される。
また材料情報取得システム１００は、データ解析システム１によって解析された計測データの解析結果を評価する評価者が、評価者用端末３を操作してデータ解析システム１に入力した後述する学習用データセットに基づいて、データ解析に用いられている機械学習モデルを再学習させることができるように構成される。
以下、図１を参照して、材料情報取得システム１００を構成するデータ解析システム１、ユーザ用端末２及び評価者用端末３のハードウェア構成について説明する。
ユーザ用端末２は、ネットワークを介して、データ解析システム１と、材料情報取得システム１００を利用する一又は複数のユーザと、の間で情報のやり取りを行うための装置である。ユーザ用端末２は、例えば、ユーザ側に設けられた、キーボードやディスプレイなどを備えるコンピュータである。なおユーザ用端末２は、材料情報取得システム１００を利用するユーザが複数存在する場合は、ユーザ毎に設けることができる。
評価者用端末３は、ネットワークを介して、データ解析システム１と、データ解析システム１によって解析された計測データの解析結果を評価する評価者と、の間で情報のやり取りを行うための装置である。評価者は、例えば計測データの解析を専門とする人間の専門家である。評価者用端末３は、例えば、評価者側に設けられた、キーボードやディスプレイなどを備えるコンピュータである。なお本実施形態では、材料情報取得システム１００をユーザに提供するシステム提供者側の人間を評価者としているが、ユーザ側の人間を評価者としてもよい。
データ解析システム１は、通信部１０と、演算装置２０と、記憶装置３０と、を備える。
通信部１０は、データ解析システム１を、ネットワークを介してユーザ用端末２及び評価者用端末３のそれぞれと接続し、データ解析システム１と各端末２、３との間で相互に通信を行うことができるようにするための通信インタフェース回路である。
演算装置２０は、記憶装置３０に格納された各種のプログラムを実行する装置であって、例えばＣＰＵ（Central Processing Unit）等である。演算装置２０は、プログラムに従って処理を実行することによって、計測データ取得部２１、データ解析部２２（前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５）、解析結果送信部２６、解析データ格納処理部２７、学習用データセット取得部２８、及び学習部２９として機能し、所定の機能を実現する機能部（モジュール）として動作する。以下の説明では、各機能部を主語に処理を説明する場合、演算装置２０が当該機能部を実現するプログラムを実行していることを示す。各機能部２１～２９の詳細については後述する。
記憶装置３０は、演算装置２０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する装置であり、例えば、メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State DRIVE）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等である。記憶装置３０の各データベース、すなわち、特徴量データベース３１、解析結果データベース３２及び学習用データベース３３に格納されるデータの詳細については後述する。
続いて、引き続き図１を参照して、材料情報取得システム１００の動作について説明する。
ユーザは、ユーザ側において取得した材料の計測データを、ユーザ用端末２を介してデータ解析システム１に入力することで、データ解析システム１によって解析された当該計測データの解析結果、すなわち材料情報を、ユーザ用端末２を介して出力として得ることができる。計測データとしては、材料を分析するための計測によって得られた種々のデータ、例えばＸ線や中性子線、電子線を材料に照射することにより得られるデータ（具体的には、Ｘ線回折（ＸＲＤ）やＸ線吸収微細構造解析（ＸＡＦＳ）、Ｘ線光電子分光（ＸＰＳ）、Ｘ線吸収分光（ＸＡＳ）、Ｘ線吸収円二色性、小角散乱（ＳＡＳ）、中性子回折（ＳＡＮＳ）、中性子反射率、非弾性散乱、電子線回折などによる計測データ）や、顕微鏡等によって観察された材料の画像データ（具体的には、Ｘ線顕微鏡、光学顕微鏡、電子間顕微鏡、原子力間顕微鏡、コンピュータ断層撮影、透過電子線イメージング、走査電子線イメージングなどによる画像データ）などを用いることができる。
本実施形態では、計測データとして、Ｘ線回折装置によって材料（試料）を分析したときの計測データがユーザによって入力される。
データ解析システム１は、ユーザ用端末２を介してユーザによって計測データが入力されると、当該計測データの特徴量を抽出すると共に抽出した特徴量に基づいて材料の解析を行う。本実施形態では、Ｘ線回折装置によって分析された材料の計測データの特徴量として、回折ピーク位置や強度、結晶相、相分率、ピーク幅などの回折パターンが抽出され、抽出された回折パターンに基づいて材料の解析（相同定等）が行われる。
以下、データ解析システム１において実施される具体的な処理の内容について説明する。すなわち、演算装置２０がプログラムに従って処理を実行することによって実現される各機能部２１～２９の内容について説明する。
計測データ取得部２１は、ユーザによって入力された計測データを取得し、データ解析部２２及び解析データ格納処理部２７に出力する。
データ解析部２２としての前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５は、それぞれ学習済みの機械学習モデルを用いて計測データを処理し、解析結果としての材料情報を最終的な出力データとして出力する。データ解析部２２において用いられる機械学習モデルは特に限られるものではなく、ニューラルネットワークやサポートベクトルマシン、ランダムフォレストなど、各種の機械学習モデルを使用することができる。
前処理部２３には、計測データ取得部２１によって取得された計測データが入力される。前処理部２３は、入力された計測データに対して、例えば平滑化（スムージング）やバックグラウンド除去などの、計測データのノイズを減らすための前処理、すなわち信号雑音比（signal-noise ratio）を高めるための前処理を施し、前処理を施した計測データ（以下「前処理済みの計測データ」という。）を特徴量抽出処理部２４及び解析データ格納処理部２７に出力する。
前処理部２３は、入力された計測データに応じて、適切な平滑化やバックグラウンドの除去を行うことができるように予め学習される。例えば前処理部２３において、計測データに対してカーネル密度推定法による平滑化を行う場合には、平滑化のための平滑化パラメータ（バンド幅）の値を例えばデータ点数等に応じて適切な値に設定する必要があるため、前処理部２３は、入力された計測データに応じて適切な平滑化パラメータの値を設定して計測データの平滑化を行うことができるように予め学習される。
特徴量抽出処理部２４には、前処理済みの計測データが入力される。特徴量抽出処理部２４は、入力された前処理済みの計測データに応じて、計測データの特徴量を抽出することができるように予め学習されており、抽出した特徴量を特徴量解析処理部２５及び解析データ格納処理部２７に出力する。本実施形態では、前述したように、回折ピーク位置や強度、結晶相、相分率、ピーク幅などの回折パターンが計測データの特徴量として抽出される。なお抽出される特徴量は、これらに限られるものではなく、計測データに応じて、例えば材料の粒子径分布を特徴量として抽出したり、また計測データが画像である場合には、画像の中の幾何学的な特徴を特徴量として抽出したりしてもよい。
特徴量解析処理部２５には、計測データの特徴量が入力される。特徴量解析処理部２５は、入力された計測データの特徴量に基づいて材料の解析を行い、その解析結果を解析結果送信部２６及び解析データ格納処理部２７に出力する。本実施形態では特徴量解析処理部２５は、計測データの特徴量として入力された回折パターンを、特徴量データベース３１に格納された既知の材料の特徴量に関するデータ、すなわち既知の材料の回折パターンと照合し、既知の材料の回折パターンの中から類似度の高い回折パターンを選別することができるように予め学習されており、選別された回折パターンから特定された材料情報を、解析結果として解析結果送信部２６及び解析データ格納処理部２７に出力する。
従来、例えば平滑化パラメータの値の設定は、データ点数等に応じて解析者の直感や経験等によって行われており、また計測データの特徴量の抽出や抽出した特徴量に基づく材料の解析等も同様に、解析者の直感や経験等によって行われていた。これに対して本実施形態では、学習済みの機械学習モデルを用いて計測データが処理される。そのため、平滑化パラメータの設定や計測データの特徴量の抽出、特徴量に基づく材料の解析が、従来のように解析者に依存してしまうのを抑制することができる。
解析結果送信部２６は、入力された解析結果、すなわち材料情報を、ユーザが入力した計測データの解析結果としてユーザ用端末２に送信する。
解析データ格納処理部２７は、解析データ格納処理部２７に入力された各データ、すなわち計測データと、当該計測データに対して前処理を施した前処理済みの計測データと、当該計測データから抽出された特徴量と、当該計測データの解析結果（材料情報）と、を関連付けて、それらを解析結果データセットとして解析結果データベース３２に格納する。
評価者は、評価者用端末３を操作して解析結果データベース３２にアクセスすることで、解析結果データセットを取得し、入力データと出力データとの関係性を分析して入力データから得られた出力データの良し悪しに応じた評価スコアを決定する。そして評価者は、評価者用端末３を操作して、入力データ、出力データ及び評価スコアを関連付けた学習用データセットを、データ解析システム１に入力する。
本実施形態では評価者は、計測データと、当該計測データに対して前処理を施した前処理済みの計測データと、を参照し、例えば、平滑化パラメータとして適切な値が設定されているかなど、計測データに対して適切な前処理が行われているかを評価し、評価結果に応じた評価スコアを、前処理済みの計測データに対して付与する。この際、計測データに対して適切な前処理が行われてれば、高い評価スコアが付与される。
また評価者は、計測データ（又は前処理済みの計測データ）と、当該計測データから抽出された特徴量と、を参照し、例えば、ノイズをピークとして抽出していないかなど、計測データから適切に特徴量が抽出されているかを評価し、評価結果に応じた評価スコアを、計測データから抽出された特徴量に付与する。この際、計測データから適切に特徴量が抽出されていれば、高い評価スコアが付与される。
さらに評価者は、計測データから抽出された特徴量と、当該特徴量に基づく当該計測データの解析結果と、を参照し、例えば、特徴量として入力された回折パターンと回折ピーク位置やその本数などが一致又は類似する類似度の高い回折パターンが特徴量データベース３１から適切に選別されているかなど、計測データから抽出された特徴量に基づいて適切に解析が行われているかを評価し、評価結果に応じた評価スコアを、計測データの解析結果に対して付与する。この際、計測データから抽出された特徴量に基づいて適切に解析が行われていれば、高い評価スコアが付与される。
そして評価者は、計測データと、当該計測データに対して前処理を施した前処理済みの計測データと、当該計測データから抽出された特徴量と、当該計測データの解析結果と、前処理済みの計測データに対して付与された評価スコアと、特徴量に対して付与された評価スコアと、解析結果に対して付与された評価スコアと、を関連付けて、学習用データセットとしてデータ解析システム１に入力する。
このようにしてデータ解析システム１に入力された学習用データセットは、学習用データセット取得部２８によって取得され、記憶装置３０の学習用データベース３３に格納される。すなわち学習用データセット取得部２８は、評価者によって入力された学習用データセットを取得し、取得した学習用データセットを学習用データベース３３に格納する。
学習部２９は、学習用データベース３３に格納された学習用データセットに基づいて、データ解析部２２の機械学習モデルの再学習を行って、機械学習モデルを最適化する。例えば学習部２９は、学習用データベース３３に新たに格納された学習用データセットのデータ点数が所定数以上となったときに、データ解析部２２の機械学習モデルの再学習を行って、機械学習モデルに使用される各関数の係数の値を更新し、機械学習モデルを最適化する。
本実施形態では学習部２９は、前処理部２３を学習するための学習用データセットとして、計測データと、計測データに対して前処理を施した前処理済みの計測データと、前処理済みの計測データに対して付与された評価スコアと、を学習用データベース３３から取得し、これらに基づいて、新たな計測データが入力されたときの前処理済みの計測データの評価スコアが最大化されるように、前処理部２３において使用される機械学習モデルを最適化する。これにより、例えば本実施形態では、カーネル密度推定の際に使用する平滑化パラメータの値を算出するためのモデルの各種パラメータが最適化されることになる。
また学習部２９は、特徴量抽出処理部２４を学習するための学習用データセットとして、計測データ（又は前処理済みの計測データ）と、計測データから抽出された特徴量と、特徴量に対して付与された評価スコアと、を学習用データベース３３から取得し、これらに基づいて、新たな計測データが入力されたときの特徴量の評価スコアが最大化されるように、特徴量抽出処理部２４において使用される機械学習モデルを最適化する。
また学習部２９は、特徴量解析処理部２５を学習するための学習用データセットとして、計測データから抽出された特徴量と、特徴量に基づく計測データの解析結果と、解析結果に対して付与された評価スコアと、を学習用データベース３３から取得し、これらに基づいて、新たな特徴量が入力されたときのその特徴量に基づく計測データの解析結果の評価スコアが最大化されるように、特徴量解析処理部２５において使用される機械学習モデルを最適化する。
このように本実施形態では、前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５の各機械学習モデルの性能が評価者によって評価され、その評価結果がデータ解析システム１に入力される。そして入力された評価結果を利用して、前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５の各機械学習モデルを再学習させることができる。これにより、データ解析システム１による計測データの解析が行われ、その解析結果の評価結果を利用して各機械学習モデルが再学習されるごとに、各機械学習モデルの性能を向上させることができる。
図２は、材料情報取得システム１００の動作シーケンスの一例を示す図である。
ステップＳ１において、ユーザがユーザ用端末２を操作して計測データを入力すると、計測データがネットワークを介してデータ解析システム１に送信される。
ステップＳ２において、データ解析システム１は、通信部１０を介して受信した計測データを取得する。
ステップＳ３において、データ解析システム１は、取得した計測データを解析し、解析結果としての材料情報を出力する。
ステップＳ４において、データ解析システム１は、解析結果としての材料情報を、通信部１０を介して計測データを入力したユーザのユーザ用端末２に送信する。
ステップＳ５において、データ解析システム１は、解析結果データセットを解析結果データベース３２に格納する。
ステップＳ６において、評価者は、評価者用端末３を操作して、ネットワークを介して解析結果データベース３２に格納された解析結果データセットを取得する。
ステップＳ７において、評価者は、解析結果データセットに基づいて、データ解析システム１による計測データの解析結果を評価し、学習用データセットを作成する。
ステップＳ８において、評価者が評価者用端末３を操作して学習用データセットを入力すると、学習用データセットがネットワークを介してデータ解析システム１に送信される。
ステップＳ９において、データ解析システム１は、通信部１０を介して受信した学習用データセットを取得し、学習用データベース３３に格納する。
ステップＳ１０において、データ解析システム１は、学習用データベース３３に格納された学習用データセットに基づいて、計測データの解析に用いる機械学習モデルの再学習を行う。
以上説明した本実施形態によるデータ解析システム１は、演算装置２０と、演算装置２０に接続される記憶装置３０と、演算装置２０に接続されて外部の端末２，３と通信可能な通信部１０と、を備える。演算装置２０は、通信部１０を介して受信した、材料を分析した計測データを取得する計測データ取得部２１と、学習済みの機械学習モデルを用いて計測データを処理し、計測データの解析結果を出力するデータ解析部２２と、計測データと、計測データを処理した処理結果と、を含むデータセットを解析結果データセットとして記憶装置３０に格納する解析データ格納処理部２７（格納処理部）と、通信部１０を介して受信した、解析結果データセットに基づいて外部で行われた計測データの処理結果に対する評価結果を含む学習用データセットを取得する学習用データセット取得部２８と、学習用データセットに基づいて、機械学習モデルを再学習させる学習部２９と、を備える。
このように本実施形態によるデータ解析システム１は、学習済みの機械学習モデルを用いて計測データが処理されるため、計測データの解析結果が、計測データを解析する解析者の直感や経験等に依存してばらついてしまうのを抑制することができる。また、解析結果データセットに基づいて外部で行われた計測データの処理結果に対する評価の結果を含む学習用データセットに基づいて、機械学習モデルの再学習が行われるため、計測データの解析が行われて解析結果データセットが蓄積され、その結果として学習用データセットの点数が増大していくにつれて、機械学習モデルの性能を向上させて、計測データの解析精度を向上させることができる。
また本実施形態では、演算装置２０は、計測データの解析結果を、計測データの送信元となる外部のユーザ用端末２に送信する解析結果送信部２６をさらに備える。そのため、ユーザは、計測データを入力するだけで、当該計測データの解析結果を出力データとして取得することができる。
また本実施形態によるデータ解析部２２は、計測データに基づいて、計測データの特徴量を抽出して出力するように予め学習された特徴量抽出処理部２４と、計測データの特徴量に基づいて、特徴量に応じた計測データの解析結果を出力するように予め学習された特徴量解析処理部２５と、を備える。そしてデータ解析部２２は、計測データ取得部２１によって取得された計測データに対して信号雑音比を高めるための処理を施し、前処理済みの計測データを出力するように予め学習された前処理部２３をさらに備え、前処理済みの計測データを、入力データとして特徴量抽出処理部２４に入力するように構成される。
これにより、信号雑音比を高めた計測データ、すなわち計測データからノイズが除去された前処理済みの計測データに基づいて、特徴量の抽出を行うことができるため、計測データの解析精度を一層向上させることができる。
また本実施形態では、解析データ格納処理部２７は、解析結果データセットとして、計測データと、前処理部２３から出力された前処理済みの計測データと、特徴量抽出処理部２４から出力された計測データの特徴量と、特徴量解析処理部２５から出力された計測データの解析結果と、を記憶装置３０に格納するように構成される。そして学習用データセットには、前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５から出力された各出力データの良し悪しに応じて数値化されて各出力データに付与された評価スコアが、計測データの処理結果に対する評価結果として含まれており、学習部２９は、計測データと、前処理部２３から出力された前処理済みの計測データと、その前処理済みの計測データに対して付与された評価スコアと、に基づいて、前処理部２３を再学習させ、計測データと、特徴量抽出処理部２４から出力された計測データの特徴量と、その特徴量に対して付与された評価スコアと、に基づいて、特徴量抽出処理部２４を再学習させ、計測データと、特徴量解析処理部２５から出力された計測データの解析結果と、その解析結果に対して付与された評価スコアと、に基づいて、特徴量解析処理部２５を再学習させるように構成される。
これにより、前処理部２３、特徴量抽出処理部２４及び特徴量解析処理部２５を、それぞれの処理結果に応じて再学習させることができる。そのため、各処理部２３～２５の機械学習モデルの性能を向上させ、計測データの解析精度を向上させることができる。
また本実施形態による材料情報取得システム１００は、データ解析システム１を備えると共に、データ解析システム１と通信可能な外部の端末として、データ解析システムを利用するユーザが計測データをデータ解析システム１に入力すると共に、計測データの解析結果を出力データとして受け取るためのユーザ用端末２（第１端末）と、記憶装置３０から解析結果データセットを取得すると共に、取得した解析結果データセットに基づいて行われた計測データの処理結果に対する評価結果を含む学習用データセットをデータ解析システム１に入力するための評価者用端末（第２端末）と、を備える。
これにより、ユーザは、計測データをユーザ用端末２に入力するだけで、その計測データの解析結果としての材料情報を容易に取得することができる。また必要に応じて評価者が評価者用端末３を操作して解析結果データセットを取得して、その解析結果の評価結果を学習用データセットして入力するだけで、データ解析システム１の解析性能を容易に向上させていくことができる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
例えば上記の実施形態では、データ解析部２２は前処理部２３を備えていたが、計測データに対して前処理が不要な場合は、前処理部２３に関しては省略してもよい。なお、その場合には、解析データ格納処理部２７は、解析結果データセットとして、計測データと、特徴量抽出処理部２４から出力された計測データの特徴量と、特徴量解析処理部２５から出力された計測データの解析結果と、を記憶装置３０に格納するように構成される。そして学習用データセットには、特徴量抽出処理部２４及び特徴量解析処理部２５から出力された各出力データの良し悪しに応じて数値化されて各出力データに付与された評価スコアが、計測データの処理結果に対する評価結果として含まれており、学習部２９は、計測データと、特徴量抽出処理部２４から出力された計測データの特徴量と、その特徴量に対して付与された評価スコアと、に基づいて、特徴量抽出処理部２４を再学習させ、計測データと、特徴量解析処理部２５から出力された計測データの解析結果と、その解析結果に対して付与された評価スコアと、に基づいて、特徴量解析処理部２５を再学習させるように構成される。
また上記の実施形態では、評価者は人間の専門家であったが、評価自体を例えば機械学習モデル等によって機械的に評価して、その評価結果をデータ解析システム１に入力すえることができるようにしてもよい。
１ データ解析システム
２ ユーザ用端末
３ 評価者用端末
１０ 通信部
２０ 演算装置
２１ 計測データ取得部
２２ データ解析部
２３ 前処理部
２４ 特徴量抽出処理部
２５ 特徴量解析処理部
２６ 解析結果送信部
２７ 解析データ格納処理部（格納処理部）
２８ 学習用データセット取得部
２９ 学習部
３０ 記憶装置
１００ 材料情報取得システム
２ ユーザ用端末
３ 評価者用端末
１０ 通信部
２０ 演算装置
２１ 計測データ取得部
２２ データ解析部
２３ 前処理部
２４ 特徴量抽出処理部
２５ 特徴量解析処理部
２６ 解析結果送信部
２７ 解析データ格納処理部（格納処理部）
２８ 学習用データセット取得部
２９ 学習部
３０ 記憶装置
１００ 材料情報取得システム
Claims (8)
- 演算装置と、
前記演算装置に接続される記憶装置と、
前記演算装置に接続されて外部の端末と通信可能な通信部と、
を備えるデータ解析システムであって、
前記演算装置は、
前記通信部を介して受信した、材料を分析した計測データを取得する計測データ取得部と、
学習済みの機械学習モデルを用いて前記計測データを処理し、前記計測データの解析結果を出力するデータ解析部と、
前記計測データと、前記計測データの解析結果と、を含むデータセットを解析結果データセットとして前記記憶装置の解析結果データベースに格納する格納処理部と、
前記通信部を介して受信した、前記解析結果データセットに基づいて外部で行われた前記計測データの解析結果に対する評価結果を含む、学習用データセットを取得する学習用データセット取得部と、
前記学習用データセットに基づいて、前記機械学習モデルを再学習させる学習部と、
を備えるデータ解析システム。 - 前記演算装置は、
前記計測データの解析結果を、前記計測データの送信元となる外部の前記端末に送信する解析結果送信部をさらに備える、
請求項１に記載のデータ解析システム。 - 前記データ解析部は、
前記計測データに基づいて、前記計測データの特徴量を抽出して出力するように予め学習された特徴量抽出処理部と、
前記計測データの特徴量に基づいて、特徴量に応じた前記計測データの解析結果を出力するように予め学習された特徴量解析処理部と、
を備える請求項１又は請求項２に記載のデータ解析システム。 - 前記データ解析部は
前記計測データ取得部によって取得された前記計測データに対して信号雑音比を高めるための処理を施し、前処理済みの計測データを出力するように予め学習された前処理部をさらに備え、
前記前処理済みの計測データを、入力データとして前記特徴量抽出処理部に入力する、
請求項３に記載のデータ解析システム。 - 前記格納処理部は、
前記解析結果データセットとして、前記計測データと、前記特徴量抽出処理部から出力された前記計測データの特徴量と、前記特徴量解析処理部から出力された前記計測データの解析結果と、を前記解析結果データベースに格納し、
前記学習用データセットには、前記特徴量抽出処理部及び前記特徴量解析処理部から出力された各出力データの良し悪しに応じて数値化されて各出力データに付与された評価スコアが、前記計測データの解析結果に対する評価結果として含まれており、
前記学習部は、
前記計測データと、前記特徴量抽出処理部から出力された前記計測データの特徴量と、その特徴量に対して付与された評価スコアと、に基づいて、前記特徴量抽出処理部を再学習させ、
前記計測データと、前記特徴量解析処理部から出力された前記計測データの解析結果と、その解析結果に対して付与された評価スコアと、に基づいて、前記特徴量解析処理部を再学習させる、
請求項３に記載のデータ解析システム。 - 前記格納処理部は、
前記解析結果データセットとして、前記計測データと、前記前処理部から出力された前処理済みの計測データと、前記特徴量抽出処理部から出力された前記計測データの特徴量と、前記特徴量解析処理部から出力された前記計測データの解析結果と、を前記解析結果データベースに格納し、
前記学習用データセットには、前記前処理部、前記特徴量抽出処理部及び前記特徴量解析処理部から出力された各出力データの良し悪しに応じて数値化されて各出力データに付与された評価スコアが、前記計測データの解析結果に対する評価結果として含まれており、
前記学習部は、
前記計測データと、前記前処理部から出力された前記前処理済みの計測データと、その前処理済みの計測データに対して付与された評価スコアと、に基づいて、前記前処理を再学習させ、
前記計測データと、前記特徴量抽出処理部から出力された前記計測データの特徴量と、その特徴量に対して付与された評価スコアと、に基づいて、前記特徴量抽出処理部を再学習させ、
前記計測データと、前記特徴量解析処理部から出力された前記計測データの解析結果と、その解析結果に対して付与された評価スコアと、に基づいて、前記特徴量解析処理部を再学習させる、
請求項４に記載のデータ解析システム。 - 請求項１から請求項６までのいずれか１項に記載のデータ解析システムを備える材料情報取得システムであって、
外部の前記端末として、
前記データ解析システムを利用するユーザが前記計測データを前記データ解析システムに入力すると共に、前記計測データの解析結果を出力データとして受け取るための第１端末と、
前記解析結果データベースから前記解析結果データセットを取得すると共に、取得した前記解析結果データセットに基づいて行われた前記計測データの解析結果に対する評価結果を含む前記学習用データセットを前記データ解析システムに入力するための第２端末と、
を備える材料情報取得システム。 - 演算装置と、前記演算装置に接続される記憶装置と、前記演算装置に接続されて外部の端末と通信可能な通信部と、を備えるデータ解析システムによるデータ解析方法であって、
前記通信部を介して受信した、材料を分析した計測データを取得する計測データ取得工程と、
学習済みの機械学習モデルを用いて前記計測データを処理し、前記計測データの解析結果を出力するデータ解析工程と、
前記計測データと、前記計測データの解析結果と、を含むデータセットを解析結果データセットとして前記記憶装置の解析結果データベースに格納する格納処理工程と、
前記通信部を介して受信した、前記解析結果データセットに基づいて外部で行われた前記計測データの解析結果に対する評価結果を含む、学習用データセットを取得する学習用データセット取得工程と、
前記学習用データセットに基づいて、前記機械学習モデルを再学習させる学習工程と、
を備えるデータ解析方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019223756A JP7188373B2 (ja) | 2019-12-11 | 2019-12-11 | データ解析システム及びデータ解析方法 |
| EP20203000.3A EP3835766B1 (en) | 2019-12-11 | 2020-10-21 | Data analysis method |
| US17/084,096 US20210182734A1 (en) | 2019-12-11 | 2020-10-29 | Data analysis system and data analysis method |
| CN202011386666.7A CN112951342B (zh) | 2019-12-11 | 2020-12-02 | 数据解析系统以及数据解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019223756A JP7188373B2 (ja) | 2019-12-11 | 2019-12-11 | データ解析システム及びデータ解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021092467A JP2021092467A (ja) | 2021-06-17 |
| JP7188373B2 true JP7188373B2 (ja) | 2022-12-13 |
Family
ID=73037707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019223756A Active JP7188373B2 (ja) | 2019-12-11 | 2019-12-11 | データ解析システム及びデータ解析方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210182734A1 (ja) |
| EP (1) | EP3835766B1 (ja) |
| JP (1) | JP7188373B2 (ja) |
| CN (1) | CN112951342B (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11703468B2 (en) * | 2021-07-01 | 2023-07-18 | Fei Company | Method and system for determining sample composition from spectral data |
| CN113936183A (zh) * | 2021-09-10 | 2022-01-14 | 南方电网深圳数字电网研究院有限公司 | 基于模型训练的数据预测方法及装置 |
| CN116010507B (zh) * | 2023-03-24 | 2023-06-23 | 厚普环保科技(苏州)有限公司 | 一种基于大数据的水污染监测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018025618A1 (ja) | 2016-07-30 | 2018-02-08 | 株式会社リガク | 物質構造の探索方法とそれに用いるｘ線構造解析システム |
| WO2018207524A1 (ja) | 2017-05-07 | 2018-11-15 | 国立大学法人大阪大学 | 識別方法、分類分析方法、識別装置、分類分析装置および記憶媒体 |
| WO2019060490A1 (en) | 2017-09-22 | 2019-03-28 | Saudi Arabian Oil Company | THERMOGRAPHIC IMAGE PROCESSING USING NEURAL NETWORKS TO IDENTIFY CORROSION UNDER INSULATION (CUI) |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6118850A (en) * | 1997-02-28 | 2000-09-12 | Rutgers, The State University | Analysis methods for energy dispersive X-ray diffraction patterns |
| JP3593478B2 (ja) | 1999-10-20 | 2004-11-24 | 株式会社リガク | Ｘ線回折法におけるｘ線強度の較正方法 |
| KR100979071B1 (ko) * | 2002-02-22 | 2010-08-31 | 에이저 시스템즈 인크 | 이중 배향 다결정성 재료의 화학 기계적 연마 |
| JP4423617B2 (ja) * | 2007-01-10 | 2010-03-03 | 株式会社日立製作所 | プラント制御装置 |
| CN106127506B (zh) * | 2016-06-13 | 2019-12-17 | 浙江大学 | 一种基于主动学习解决商品冷启动问题的推荐方法 |
| JP6489529B2 (ja) * | 2016-08-31 | 2019-03-27 | 株式会社日産アーク | 構造複合体の状態推定方法及びシステム |
| US20180307979A1 (en) * | 2017-04-19 | 2018-10-25 | David Lee Selinger | Distributed deep learning using a distributed deep neural network |
| CN109376061A (zh) * | 2018-09-03 | 2019-02-22 | 杭州东方通信软件技术有限公司 | 一种信息处理方法及系统 |
| WO2020075782A1 (ja) * | 2018-10-09 | 2020-04-16 | 株式会社スカイマティクス | 診断支援システム及びその方法 |
| CN109801256B (zh) * | 2018-12-15 | 2023-05-26 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
| CN109766930B (zh) * | 2018-12-24 | 2020-02-07 | 太原理工大学 | 一种基于dcnn模型的矿井机械设备的剩余寿命预测方法 |
| CN110113638A (zh) * | 2019-05-10 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种预测方法、装置及电子设备 |
| CN110188331B (zh) * | 2019-06-03 | 2023-05-26 | 腾讯科技（深圳）有限公司 | 模型训练方法、对话系统评价方法、装置、设备及存储介质 |
-
2019
- 2019-12-11 JP JP2019223756A patent/JP7188373B2/ja active Active
-
2020
- 2020-10-21 EP EP20203000.3A patent/EP3835766B1/en active Active
- 2020-10-29 US US17/084,096 patent/US20210182734A1/en active Pending
- 2020-12-02 CN CN202011386666.7A patent/CN112951342B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018025618A1 (ja) | 2016-07-30 | 2018-02-08 | 株式会社リガク | 物質構造の探索方法とそれに用いるｘ線構造解析システム |
| WO2018207524A1 (ja) | 2017-05-07 | 2018-11-15 | 国立大学法人大阪大学 | 識別方法、分類分析方法、識別装置、分類分析装置および記憶媒体 |
| WO2019060490A1 (en) | 2017-09-22 | 2019-03-28 | Saudi Arabian Oil Company | THERMOGRAPHIC IMAGE PROCESSING USING NEURAL NETWORKS TO IDENTIFY CORROSION UNDER INSULATION (CUI) |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112951342A (zh) | 2021-06-11 |
| US20210182734A1 (en) | 2021-06-17 |
| EP3835766A1 (en) | 2021-06-16 |
| JP2021092467A (ja) | 2021-06-17 |
| CN112951342B (zh) | 2024-04-16 |
| EP3835766B1 (en) | 2024-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7188373B2 (ja) | データ解析システム及びデータ解析方法 | |
| Pradhan et al. | Deep learning a boon for biophotonics? | |
| Merdietio Boedi et al. | Effect of lower third molar segmentations on automated tooth development staging using a convolutional neural network | |
| CN105590020B (zh) | 改进的数据比较方法 | |
| CN115326783B (zh) | 拉曼光谱预处理模型生成方法、系统、终端及存储介质 | |
| CN116560895B (zh) | 用于机械装备的故障诊断方法 | |
| Janik et al. | Interpretability of a deep learning model in the application of cardiac MRI segmentation with an ACDC challenge dataset | |
| CN113077456B (zh) | 基于功能性磁共振成像构建网络模型的训练方法和装置 | |
| US20220301689A1 (en) | Anomaly detection in medical imaging data | |
| EP3989126B1 (en) | Method for the automatic identification and quantification of radioisotopes in gamma spectra | |
| CN110648763A (zh) | 利用人工智能进行光谱分析以进行肿瘤评估的方法及设备 | |
| US20200279148A1 (en) | Material structure analysis method and material structure analyzer | |
| Varalakshmi et al. | Detection of Osteoporosis with DEXA Scan Images using Deep Learning Models | |
| EP4127662A1 (en) | Systems and methods for interpreting high energy interactions | |
| Hahn et al. | Disentangling latent factors of variational auto-encoder with whitening | |
| CN115277205B (zh) | 模型训练方法及装置、端口的风险识别方法 | |
| Zou et al. | Automatic diagnosis of melanoma based on EfficientNet and Patch Strategy | |
| Yang et al. | Recognition of the hardness of licorice seeds using a semi-supervised learning method and near-infrared spectral data | |
| Mosci et al. | Dimensionality reduction and generalization | |
| Likhitha et al. | Skin cancer classification using CNN in comparison with support vector machine for better accuracy | |
| Magalhães et al. | Hyperspectral image synthesis from sparse RGB data: a comparative study combining linear regression, multilayer perceptron, and clustering | |
| CN110473161A (zh) | 创建图像链的方法 | |
| Altuntaş et al. | Categorization of breast carcinoma histopathology images by utilizing region-based convolutional neural networks | |
| Cattelan et al. | How to fix a broken confidence estimator: Evaluating post-hoc methods for selective classification with deep neural networks | |
| Kaya et al. | eFis: A Fuzzy Inference Method for Predicting Malignancy of Small Pulmonary Nodules |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7188373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |