WO2022195935A1 - 学習用データ作成方法及び学習用データ作成装置 - Google Patents

学習用データ作成方法及び学習用データ作成装置 Download PDF

Info

Publication number
WO2022195935A1
WO2022195935A1 PCT/JP2021/036791 JP2021036791W WO2022195935A1 WO 2022195935 A1 WO2022195935 A1 WO 2022195935A1 JP 2021036791 W JP2021036791 W JP 2021036791W WO 2022195935 A1 WO2022195935 A1 WO 2022195935A1
Authority
WO
WIPO (PCT)
Prior art keywords
peak
data
peaks
measurement
extracted
Prior art date
Application number
PCT/JP2021/036791
Other languages
English (en)
French (fr)
Inventor
健朗 坂井
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to EP21931678.3A priority Critical patent/EP4310494A1/en
Priority to US18/282,755 priority patent/US20240167988A1/en
Priority to JP2023506724A priority patent/JPWO2022195935A1/ja
Priority to CN202180094903.9A priority patent/CN117083523A/zh
Publication of WO2022195935A1 publication Critical patent/WO2022195935A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/86Signal analysis
    • G01N30/8624Detection of slopes or peaks; baseline correction
    • G01N30/8631Peaks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/86Signal analysis
    • G01N30/8624Detection of slopes or peaks; baseline correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/62Detectors specially adapted therefor
    • G01N30/72Mass spectrometers
    • G01N30/7206Mass spectrometers interfaced to gas chromatograph
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/86Signal analysis
    • G01N30/8693Models, e.g. prediction of retention times, method development and validation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N30/00Investigating or analysing materials by separation into components using adsorption, absorption or similar phenomena or using ion-exchange, e.g. chromatography or field flow fractionation
    • G01N30/02Column chromatography
    • G01N30/62Detectors specially adapted therefor
    • G01N30/72Mass spectrometers

Definitions

  • the present invention relates to a technique for creating learning data from measurement data obtained by measuring a sample using an analyzer such as a chromatograph mass spectrometer.
  • Patent Document 1 describes evaluating the freshness of fish meat by quantitatively analyzing non-volatile biogenic amines generated when fish meat spoils.
  • the discriminator created in this way is a feature amount common to the learning data with the same label information (for example, measured intensity peaks derived from multiple substances characteristic of reference samples with the same label information (same freshness)) position and intensity) to identify the freshness of the target sample. Therefore, erroneous determinations and oversights are less likely to occur than analysis based on only a single or specific type of indicator substance.
  • a learning model is developed by machine learning using a large amount of learning data in which the feature values contained in the measurement data of the reference sample are correctly extracted. need to build. For example, when using measurement data (mass chromatogram) obtained by gas chromatograph mass spectrometry, the feature amount (retention time, mass-to-charge ratio , and measured intensity) are extracted to create learning data.
  • the problem to be solved by the present invention is to suppress the loss of feature amounts when creating learning data by extracting peaks from measurement data obtained by analyzing a reference sample whose attributes are known. It is to provide a technique capable of creating learning data.
  • the present invention which has been made to solve the above problems, is a method for creating learning data used to create a discriminator for discriminating a plurality of target samples having mutually different attributes, comprising: Acquiring measurement data including a plurality of measured intensity peaks for a predetermined parameter for each of a plurality of reference samples with known attributes, Extracting peak information about the plurality of peaks using a first method prepared in advance for each of the measurement data of the plurality of reference samples, Determining the presence or absence of peak defects by comparing the peak information extracted by the first method with the peak information of a reference sample having the same attribute prepared in advance, Peak information about the plurality of peaks using a second method with a different algorithm and/or parameters for extracting peaks from the first method for the measurement data of the reference sample determined to be missing the peak.
  • Another aspect of the present invention which has been made to solve the above problems, is a device for creating learning data used to create a discriminator for discriminating a plurality of target samples having mutually different attributes, , a measurement data acquisition unit that acquires mass chromatogram data by measurement using a chromatograph-mass spectrometer for each of a plurality of reference samples with known attributes; a reference sample information storage unit storing peak information included in a mass chromatogram of a reference sample having the same attribute as the reference sample; a method information storage unit storing information of a first method for extracting peaks from the mass chromatogram data and a second method having different algorithms and/or parameters for extracting peaks from the first method; , a first peak extraction unit that extracts peak information about the plurality of peaks using the first method for each of the plurality of mass chromatogram data of the reference samples; a first determination unit that determines whether or not there is a missing peak by comparing the peak information extracted by the first peak extraction unit with the peak information of the reference sample having the
  • the reference sample is a food sample
  • the above attributes are freshness and origin
  • the reference sample is a biological sample, for example, the presence or absence of a specific disease.
  • measurement data including a plurality of measured intensity peaks for a predetermined parameter is acquired for each of a plurality of samples whose attributes are known.
  • mass chromatogram data is acquired as measurement data by measurement using a chromatograph mass spectrometer for each of a plurality of reference samples with known attributes. Acquisition of measurement data may be performed by actually measuring a sample with an analyzer, or may be performed by reading out measurement data obtained in a previous measurement.
  • the peak of the measured intensity is extracted using the first method prepared in advance. Then, it is determined whether or not all the peaks have been extracted (whether or not there is a lack of peaks) by comparing the extracted peaks with the peak information of the reference sample of the same attribute prepared in advance.
  • Information registered in a library for example, can be used as the peak information of the reference sample.
  • the measurement data of a plurality of reference samples having the same attribute are integrated to create integrated measurement data, and peak information extracted from the integrated measurement data by the first method can be used as the peak information of the reference sample.
  • the first method and the second method include combinations of algorithms for extracting peaks and parameters such as thresholds for peak heights. A conventionally used algorithm may be used as the algorithm for extracting the peak, or a characteristic algorithm that will be described in the examples below may be used.
  • the second method For the measurement data of the sample determined to have a missing peak, the second method with a different algorithm or parameter for extracting the peak from the first method is used to extract the peak of the measured intensity. Then, the peak extracted by the second method is compared with peak information of a reference sample having the same attribute, which is prepared in advance, to determine whether or not there is a missing peak. Finally, from the measured data determined to have no missing peaks extracted by the first method or the second method, the feature values corresponding to each of the plurality of peaks of the measured data are acquired to create learning data. do.
  • the learning data creation method and apparatus from the measurement data determined to have no missing peaks, the feature amount corresponding to the peak of the measured intensity of the measurement data is acquired to create the learning data. , it is possible to create learning data that suppresses missing features. Even if the first method cannot extract all the peaks from the measured data, the second method can be used to extract all the peaks from the measured data. is created, it is possible to suppress the decrease in the number of learning data.
  • FIG. 1 is a configuration diagram of a principal part of a sample evaluation system including an embodiment of a learning data creation device according to the present invention
  • 4 is a flow chart according to an embodiment of a learning data creation method according to the present invention
  • FIG. 2 is a schematic diagram of mass chromatogram data, which is measurement data acquired in this example.
  • the schematic diagram regarding the conventional peak extraction method An example of the results of extracting peaks from a mass chromatogram using a conventional peak extraction method. Another example of the result of extracting peaks from a mass chromatogram by a conventional peak extraction method. Yet another example of the results of extracting peaks from a mass chromatogram using conventional peak extraction methods.
  • the sample evaluation system 1 of this embodiment is used to estimate the attributes of a target sample. Specifically, for example, it is used to estimate the freshness and origin of a target sample, which is food, and to determine whether or not a subject has a specific disease based on a biological sample.
  • FIG. 1 shows the main configuration of a sample evaluation system 1 including the learning data creation device of this embodiment.
  • a sample evaluation system 1 of this embodiment is roughly divided into a gas chromatograph-mass spectrometer (GC-MS) 2 and a control/processing unit 3 .
  • GC-MS gas chromatograph-mass spectrometer
  • the control/processing unit 3 includes a storage unit 31.
  • the storage unit 31 is provided with a method information storage unit 311 and a reference sample information storage unit 312 .
  • the method information storage unit 311 stores method information used for extracting peaks from mass chromatogram data obtained by sample measurement using the gas chromatograph mass spectrometer 2 .
  • the method information includes information on a combination of parameters such as an algorithm for extracting peaks and a threshold for peak height. Algorithms for extracting peaks may include the conventionally used link point method, horizontal method, new baseline method, and a method using minimal measurement points (described later), which is characteristic of this embodiment.
  • the reference sample information storage unit 312 stores mass chromatogram data of a plurality of reference samples with different attributes and peak information (retention times, mass-to-charge ratios, and measured intensities) on a plurality of peaks appearing in the mass chromatograms for various samples. ) is stored.
  • the storage unit 312 also stores measurement conditions and the like for measuring various samples with the gas chromatograph mass spectrometer 2 .
  • the control/processing unit 3 further includes, as functional blocks, a measurement data acquisition unit 32, a reference sample data generation unit 33, a first peak extraction unit 34, a second peak extraction unit 35, a determination unit 36, a measurement data display unit 36, A learning data creating unit 38 , a learning model creating unit 39 , and a discriminator creating unit 40 are provided.
  • the substance of the control/processing unit 3 is a computer called a personal computer or a higher-performance work station, and each functional block described above is executed by executing a sample evaluation system program pre-installed in the computer by the processor of the computer. is embodied.
  • An input unit 4 such as a keyboard and a mouse and a display unit 5 such as a liquid crystal display are connected to the control/processing unit 3 .
  • a method information storage unit 311, a reference sample information storage unit 312, a measurement data acquisition unit 32, a reference sample data generation unit 33, a first peak extraction unit 34, a second peak extraction unit 35, a determination unit 36, a measurement data display unit 36, and a learning data creation unit 38 constitute the learning data creation device 10 of this embodiment.
  • the learning data creation device 10 is incorporated as part of the control/processing unit 3, but the learning data creation device 10 may be configured as an independent device from the control/processing unit 3.
  • a discriminator is created for estimating the attributes of the target sample.
  • the user sets a reference sample in an autosampler (not shown) connected to the gas chromatograph mass spectrometer 2 prior to creating the discriminator.
  • the reference sample is of the same type as the target sample and has known attributes. Also, a plurality of reference samples are set for each attribute.
  • the measurement data acquisition unit 32 introduces the reference samples set in the autosampler into the gas chromatograph mass spectrometer 2 in a predetermined order.
  • each component is ionized by an ionization source such as an electron ionization source after being introduced into the mass spectrometer, and ion detection is performed after mass separation. detected by the instrument.
  • Output signals from the ion detector are sequentially sent to the control/processing unit 3 , and measurement data (mass chromatogram data) of each reference sample are stored in the storage unit 31 . Mass chromatogram data is thus obtained for all reference samples (step 1).
  • the mass chromatogram data represents the measured intensity of ions with respect to two parameters, time and mass-to-charge ratio, as schematically shown in FIG. At time (retention time centered at t1), the mass-to-charge ratio of ions generated from the component has a peak.
  • the reference sample data creation unit 33 groups the reference samples by attribute. Then, mass chromatogram data of reference samples having the same attribute are integrated to create integrated mass chromatogram data (step 2). The reference sample data creation unit 33 subsequently activates the first peak extraction unit 34 to create an extracted ion current chromatogram (a chromatogram of the measured intensity of ions with a specific mass-to-charge ratio) from the integrated mass chromatogram data. Then, peaks are extracted using the algorithm and parameters stored in the method information storage unit 311 (step 3).
  • FIG. 4 As a method for extracting peaks from an extracted ion current chromatogram or a total ion current chromatogram showing the intensity of all ions, conventionally, for example, a link point method, a horizontal method, and the like are used (FIG. 4).
  • a link point method the peaks extracted by each method are hatched.
  • the peak start point S is the point at which the slope of the chromatogram waveform exceeds a predetermined value
  • the peak end point E is the point at which the slope of the waveform thereafter falls below the predetermined value.
  • a baseline is defined by connecting the peak start point S and the peak end point E, and the peak is extracted.
  • the horizontal method after defining the peak start point S and the peak end point E in the same manner as above, a horizontal line is drawn through the point with the smaller measured intensity of these two points, and the intersection with the perpendicular line from the other point is defined as the baseline and the peak is extracted.
  • a new baseline method is used.
  • the peak start point S and the peak end point E are defined in the same manner as described above, and the peaks are separated with the minimum point located between the two peaks as the peak separation point M.
  • the baseline may increase with time in the latter half of the chromatogram due to a phenomenon called column bleed.
  • peaks are automatically extracted from chromatogram data using preset algorithms such as the link point method, horizontal method, and new baseline method. As shown in FIG. 5, the rise of the baseline due to the drift in the latter half of the chromatogram is extracted as a peak.
  • this parameter is set to a value of 50, but even with this parameter value, the rise of the baseline due to drift is still extracted as a peak.
  • FIG. 7 shows this parameter set to a value of 100. In FIG. 7, the drift is not extracted as a peak, and it can be said that this point is appropriate. However, the slope of the baseline is too large in the first half of the chromatogram, making it difficult to obtain correct peak heights and areas.
  • the peaks are extracted by connecting the minimum points of the chromatogram waveform to define the baseline.
  • the chromatogram is obtained by connecting many measurement points.
  • the algorithm of the present embodiment among the measurement points forming the chromatogram, the one with the smaller measured intensity than any of the two adjacent measurement points is extracted as the minimal measurement point.
  • a baseline as shown in the lower part of FIG. 8 is defined.
  • the method of defining the baseline from the minimum measurement points is not limited to linear interpolation, and may be an approximation curve or the like connecting these minimum measurement points.
  • peaks whose height from the baseline exceeds a predetermined threshold are extracted.
  • peaks do not overlap unless both of the two parameters, retention time and mass-to-charge ratio, are common, so a baseline can be defined by linear interpolation, but the parameters for measured intensity are In one chromatogram (such as a total ion current chromatogram), overlapping peaks may appear, in which case a minima may appear between the two peaks.
  • linear interpolation of minimum measurement points including minimum points between peaks, fails to define the baseline correctly.
  • finding an approximate curve for all minimum measurement points reduces the influence of outliers such as local minima in superimposed peaks and correctly defines the baseline. do it.
  • the analyst may eliminate outliers, such as minima between peaks, and linearly interpolate other minima to define the baseline.
  • FIG. 5 shows the result of having extracted the peak (circle in the figure shows a peak top) higher than the determined threshold value.
  • the method of this example can be used to correctly extract peaks.
  • the position information of a plurality of peaks extracted from integrated mass chromatogram data is used as the peak information of the reference sample.
  • the reference sample data creation unit 33 stores the peak information of the reference sample in the reference sample information storage unit 312 for each attribute.
  • the first peak extraction unit 34 extracts peaks from the mass chromatogram data of each reference sample using the algorithm and parameters stored in the method information storage unit 311 (Step 5).
  • the determination unit 36 reads from the reference sample information storage unit 312 the peak information of the reference sample having the same attribute as that of the reference sample. Then, the peak information of the reference sample and the peak information of the standard sample are compared (step 6).
  • the determination unit 36 determines that the peak information of the reference sample matches the peak information of the reference sample (that is, there is no missing peak) (NO in step 7)
  • the mass chromatogram data of the reference sample is extracted.
  • a feature amount corresponding to the peak is acquired to create learning data (step 11).
  • the feature quantity extracted here includes a combination of retention time and mass-to-charge ratio corresponding to the peak top of each peak.
  • the height or area value of the peak may be included in the feature amount. In other words, as training data, something equivalent to a peak list is created.
  • the reference sample Display a screen notifying that a peak is missing for the sample.
  • the measurement data display unit 37 also creates an extracted ion current chromatogram corresponding to the mass-to-charge ratio of the missing peak from the mass chromatogram data of the reference sample and displays it on the screen of the display unit 5 . In the mass chromatogram displayed on the screen, the positions where the peaks were not extracted by the first peak extractor 34 although they should be extracted (that is, the positions included in the peak information of the reference sample).
  • the mark is superimposed on the retention time and mass-to-charge ratio position of the peak that was not included in the peak information of the reference sample.
  • the user confirms the waveform of the extracted ion current chromatogram at the position where the mark is displayed, and determines whether the second peak extraction unit 35 can extract the peak by changing the algorithm or parameters. can do.
  • the determination unit 36 also determines whether or not the number of times the peak extraction process has been performed on the reference sample has reached a predetermined number (predetermined number of times). This number is set to, for example, 5 times. At this stage, the first peak extraction unit 34 has only extracted the peak (the number of times of peak extraction processing is 1), so it is determined that the predetermined number of times has not been reached (NO in step 8). be.
  • the second peak extraction unit 35 changes the algorithm and/or parameters used in the previous peak extraction (step 9).
  • the algorithm is not changed, but the threshold (baseline height) for determining the peak is lowered.
  • the threshold (parameter) for peak extraction is changed to 90% of the threshold for peak extraction by the first peak extraction unit 34 (the threshold is lowered by 10%).
  • the second peak extraction unit 35 extracts peaks again from the mass chromatogram data of the reference sample using the changed threshold (step 5). Then, it is compared with the peak information of the reference sample again (step 6), and if it is determined that there is no missing peak (NO in step 7), the feature amount corresponding to each of the plurality of extracted peaks is obtained and learned. data is created (step 11). After creating the learning data, it is determined whether or not the mass chromatogram data of all the reference samples have been processed (step 12). Then, if there is unprocessed data, the mass chromatogram data of the next reference sample is processed in the same procedure as above from step 5 onwards.
  • step 7 it is determined whether the number of times of peak extraction processing has reached a predetermined number (step 8). again change the algorithm and/or parameters (step 9).
  • the threshold is set to 100 during peak extraction processing by the first peak extraction unit 34, and the threshold is lowered by 10. Alternatively, the threshold may be lowered by 10% with reference to the time of the previous peak extraction processing.
  • step 8 If the peak loss is not resolved even after performing the peak extraction process a predetermined number of times (YES in step 8), the process for the mass chromatogram data of the reference sample is terminated, and the mass chromatogram of the next reference sample is processed. For the data, the processing after step 5 is performed in the same procedure as above.
  • the learning model building unit 39 builds a learning model by machine learning using the learning data created in the above procedure (step 13).
  • a machine learning method for example, what is called supervised learning can be used.
  • multivariate analysis methods such as logistic regression, orthogonal partial least squares, and k-nearest neighbors. can be done.
  • the discriminator creation unit 40 creates a discriminator based on the learning model and stores it in the storage unit 31 (step 14).
  • the second peak extraction unit 35 extracts the peak a predetermined number of times. try. Therefore, reduction in the number of learning data can be suppressed.
  • the learning data is created after confirming that all peaks have been extracted by comparison with the peak information of the reference sample, it is possible to create learning data with no missing feature values.
  • the user may instruct the second peak extractor 35 to extract a peak.
  • the mass chromatogram data obtained by measuring the reference sample with the gas chromatograph mass spectrometer 2 was processed.
  • a configuration similar to that of the embodiment can be applied.
  • the peak here may also include downward peaks appearing in the absorption spectrum or the like.
  • One aspect of the present invention is a method for creating learning data used to create a discriminator for identifying a plurality of target samples with different attributes, wherein for each of a plurality of reference samples with known attributes, obtaining measurement data comprising a plurality of measured intensity peaks for a given parameter; Extracting peak information about the plurality of peaks using a first method prepared in advance for each of the measurement data of the plurality of reference samples, Determining the presence or absence of peak defects by comparing the peak information extracted by the first method with the peak information of a reference sample having the same attribute prepared in advance, Peak information about the plurality of peaks using a second method with a different algorithm and/or parameters for extracting peaks from the first method for the measurement data of the reference sample determined to be missing the peak.
  • FIG. 8 Another aspect of the present invention is an apparatus for creating a learning model used in machine learning for creating a learning model constituting a classifier that identifies a plurality of target samples having different attributes, a measurement data acquisition unit that acquires mass chromatogram data by measurement using a chromatograph-mass spectrometer for each of a plurality of reference samples with known attributes; a reference sample information storage unit storing peak information included in a mass chromatogram of a reference sample having the same attribute as the reference sample; a method information storage unit storing information of a first method for extracting peaks from the mass chromatogram data and a second method having different algorithms and/or parameters for extracting peaks from the first method; , a first peak extraction unit that extracts peak information about the plurality of peaks using the first method for each of the plurality of mass chromatogram data of the reference samples; a first determination unit that determines whether or not there is a missing peak by comparing the peak information extracted by the first peak extraction unit with the peak information of the reference sample
  • the learning data creation method of the first item first, for each of a plurality of samples whose attributes are known, measurement data including a plurality of measured intensity peaks for a predetermined parameter is acquired.
  • mass chromatogram data is acquired as measurement data by measurement using a chromatograph mass spectrometer. Acquisition of measurement data may be performed by actually measuring a sample with an analyzer, or may be performed by reading out measurement data obtained in a previous measurement.
  • the peak of the measured intensity is extracted using the first method prepared in advance. Then, it is determined whether or not all the peaks have been extracted (whether or not there is a lack of peaks) by comparing the extracted peaks with the peak information of the reference sample of the same attribute prepared in advance.
  • Information registered in a library for example, can be used as the peak information of the reference sample.
  • the second method For the measurement data of the sample determined to have a missing peak, the second method with a different algorithm or parameter for extracting the peak from the first method is used to extract the peak of the measured intensity. Then, the peak extracted by the second method is compared with peak information of a reference sample having the same attribute, which is prepared in advance, to determine whether or not there is a missing peak. Finally, from the measured data determined to have no missing peaks extracted by the first method or the second method, the feature values corresponding to each of the plurality of peaks of the measured data are acquired to create learning data. do.
  • a feature quantity corresponding to the peak of the measured intensity of the measured data is obtained from the measured data determined to have no missing peaks. Since the learning data is created by using the method, it is possible to create the learning data in which the loss of the feature amount is suppressed. Even if the first method cannot extract all the peaks from the measured data, the second method can be used to extract all the peaks from the measured data. , it is possible to suppress the decrease in the number of learning data.
  • the user confirms on the screen the measurement data determined to have a missing peak, thereby confirming whether or not there is an extractable intensity peak. can do.
  • the user designates only the measurement data in which the peak of the intensity that can be extracted exists, thereby reducing the processing load related to the extraction of peak information by the second method. can be mitigated.
  • the peak information of reference samples is obtained even for samples for which measurement data has not been recorded in the database, such as samples for which a sufficient number of measurements have not been performed in the past or unknown samples. can be used.
  • the first method and/or the second method selects, among a plurality of measurement points constituting the measurement data, a minimum measurement point for which the measured intensity of the measurement point is lower than the measured intensities of both adjacent measurement points. and extract as determining a baseline at the plurality of measurement points using the minimum measurement points; At each of the plurality of measurement points, a peak is extracted based on whether a value obtained by subtracting the baseline from the measured intensity at the measurement point exceeds a predetermined threshold.
  • the magnitude of the baseline also changes over time. Since the baseline is determined using the minimal measurement points in the learning data creation method of Section 6, it is suitable for extracting peaks from measurement data in which not only the measured intensity but also the baseline changes with respect to the parameter. can be used. Also, when extracting a peak from such measurement data, only the threshold used to determine whether it is a peak is changed from the first method, as in the learning data creation method described in Section 7. can be used as the second method.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する方法であって、属性が既知である複数の参照試料の測定データを取得し、参照試料の測定データについて第1メソッドを用いてピーク情報を抽出し、第1メソッドにより抽出されたピーク情報を基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、ピークが欠損していると判定された参照試料の測定データについて第1メソッドとはアルゴリズム又は/及びパラメータが異なる第2メソッドを用いてピーク情報を抽出し、第2メソッドにより抽出されたピーク情報を基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、ピークに欠損がないと判定された測定データから特徴量を取得して学習用データを作成する。

Description

学習用データ作成方法及び学習用データ作成装置
 本発明は、クロマトグラフ質量分析装置等の分析装置を用いて試料を測定することにより得られた測定データから学習用データを作成する技術に関する。
 食品の生産、加工、流通等の各過程においては高いレベルの品質管理が求められており、近年、その要請は一層高まっている。従来、食品の製造や加工の現場での品質の劣化の評価は、色、臭い、味などの人間の主観的な評価に基づくものが一般的であった。これに対し、より客観的で且つ効率的な評価を行うために分析装置を用いた品質評価が試みられている。例えば特許文献1には、魚肉が腐敗する際に発生する不揮発性生体アミン類を定量分析することにより魚肉の鮮度を評価することが記載されている。
 しかし、食品試料には多種多様な物質が含まれており、指標物質の濃度を解析するのみでは品質の変化を十分に捉えることができない場合がある。また、多くの場合、同一種類かつ同一鮮度の食品であっても物質の含有量は個別に異なり、特に食品の劣化の進行度合いが低いときに誤判定が生じたり見逃しが生じたりし易いという問題がある。
 そこで、対象物の属性を示すラベル情報(鮮度等)が既知である複数の参照試料(食品試料等)のそれぞれを特定の分析装置で測定することにより得られた測定データを学習用データとし、それらの学習用データを用いた機械学習により学習モデルを構築することが試みられている。この方法では、多数の参照試料の測定データを機械学習させることにより、予め決められた基準以上の精度で目的試料の鮮度を識別できる水準まで学習モデルのパラメータを収束させたものを識別器として使用する。こうして作成された識別器は、同じラベル情報を持つ学習用データに共通する特徴量(例えば、同じラベル情報を持つ(同じ鮮度の)参照試料に特徴的な複数の物質に由来する測定強度のピークの位置や強度)の相関を判別して目的試料の鮮度を識別する。従って、単一又は特定の種類の指標物質のみに基づく解析に比べて誤判定や見逃しが生じにくい。
特開2017-122677号公報 特開2020-165847号公報
 目的試料の鮮度を精度良く識別する識別器を作成するためには、参照試料の測定データに含まれている特徴量が正しく抽出された、多数の学習用データを用いた機械学習によって学習モデルを構築する必要がある。例えば、ガスクロマトグラフ質量分析により得られた測定データ(マスクロマトグラム)を用いる場合には、参照試料に含まれる各物質に由来する全てのピークのそれぞれに対応する特徴量(保持時間、質量電荷比、及び測定強度)を抽出して学習データを作成する。
 マスクロマトグラムからピークを抽出する(ピークピッキングを行う)際には、予め用意された複数のメソッド(ピークを抽出するアルゴリズムと、ピーク高さに関する閾値等のパラメータを組み合わせたもの)の中から、クロマトグラムのベースラインの形状に適したメソッドを使用者が選択する。ラベル情報が同じ参照試料であっても各参照試料に含まれている物質の量は同一ではない。また、多数の参照試料を複数回に分けて測定したり複数台の装置で測定したりすることもあるが、この場合、各参照試料に含まれている物質の量が同じであっても測定データにおけるベースラインの形状やピークの高さが試料毎に少しずつ異なる。これらのため、同じメソッド及びパラメータを用いてピークピッキングを行っても、一部の参照試料の測定データに含まれる小さなピークを抽出することができない場合があり、抽出されなかったピークに対応する特徴量が欠損した学習用データが作成されることになる。特徴量が欠損した学習用データを使用すると、学習モデルのパラメータを収束させることが困難になる。また、学習モデルのパラメータが収束したとしても、そのような学習モデルを識別器として用いると識別の精度が低下する可能性がある。ピークの一部が抽出されなかった測定データを排除し、全てのピークが抽出された測定データのみから学習用データを作成することも考えられるが、その場合、排除した測定データの数だけ学習用データの数が少なくなるため、やはり学習モデルのパラメータを収束させることが困難になったり、識別器の精度が低下したりする可能性がある。
 本発明が解決しようとする課題は、試料の属性が既知である参照試料を分析することにより得られる測定データからピークを抽出して学習用データを作成する際に、特徴量の欠損を抑えた学習用データを作成することができる技術を提供することである。
 上記課題を解決するために成された本発明は、互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する方法であって、
 属性が既知である複数の参照試料のそれぞれについて、所定のパラメータに対する複数の測定強度のピークを含む測定データを取得し、
 前記複数の参照試料の測定データのそれぞれについて、予め用意された第1メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
 前記第1メソッドにより抽出されたピーク情報を、予め用意された、同じ属性の基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
 前記ピークが欠損していると判定された参照試料の測定データについて、前記第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
 前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
 前記第1メソッド又は前記第2メソッドにより抽出されたピークに欠損がないと判定された測定データから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する
 ものである。
 また、上記課題を解決するために成された本発明の別の態様は、互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する装置であって、
 属性が既知である複数の参照試料のそれぞれについて、クロマトグラフ質量分析装置を用いた測定によりマスクロマトグラムデータを取得する測定データ取得部と、
 前記参照試料と同じ属性の基準試料のマスクロマトグラムに含まれるピーク情報が保存された基準試料情報記憶部と、
 前記マスクロマトグラムデータからピークを抽出するための第1メソッド、及び該第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドの情報が保存されたメソッド情報記憶部と、
 前記複数の参照試料のマスクロマトグラムデータのそれぞれについて、前記第1メソッドを用いて前記複数のピークに関するピーク情報を抽出する第1ピーク抽出部と、
 前記第1ピーク抽出部により抽出されたピーク情報を、同じ属性の前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第1判定部と、
 前記第1判定部によりピークが欠損していると判定された参照試料のマスクロマトグラムデータについて、前記第2メソッドを用いて前記複数のピークに関するピーク情報を抽出する第2ピーク抽出部と、
 前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第2判定部と、
 前記第1判定部又は前記第2判定部によりピークに欠損がないと判定されたマスクロマトグラムデータから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する学習用データ作成部と
 を備える。
 上記属性とは、例えば参照試料が食品試料の場合には鮮度や産地であり、例えば参照試料が生体試料の場合は特定の疾病の有無である。
 本発明に係る学習用データ作成方法では、まず、属性が既知である複数の試料のそれぞれについて、所定のパラメータに対する複数の測定強度のピークを含む測定データを取得する。また、本発明に係る学習用データ作成装置では、属性が既知である複数の参照試料のそれぞれについて、クロマトグラフ質量分析装置を用いた測定によりマスクロマトグラムデータを測定データとして取得する。測定データの取得は、実際に試料を分析装置で測定することにより行ってもよく、あるいは事前の測定で得られた測定データを読み出すことにより行ってもよい。
 次に、複数の試料の測定データのそれぞれについて、予め用意された第1メソッドを用いて測定強度のピークを抽出する。そして、抽出されたピークを、予め用意された、同じ属性の基準試料のピーク情報と照合することにより全てのピークが抽出されているか(ピークの欠損の有無)を判定する。基準試料のピーク情報には、例えばライブラリに登録されているものを用いることができる。あるいは、属性が同じ複数の参照試料の測定データを積算して積算測定データを作成し、その積算測定データから第1メソッドにより抽出したピークの情報を、基準試料のピーク情報として用いることもできる。第1メソッド及び第2メソッドは、ピークを抽出するアルゴリズムと、ピーク高さに関する閾値等のパラメータの組み合わせを含むものである。ピークを抽出するアルゴリズムには、従来用いられているものを用いてもよく、あるいは後記の実施例において説明する特徴的なアルゴリズムを用いてもよい。
 ピークが欠損していると判定された試料の測定データについては、第1メソッドとはピークを抽出するアルゴリズム又はパラメータが異なる第2メソッドを用いて測定強度のピークを抽出する。そして、第2メソッドにより抽出されたピークを、予め用意された、同じ属性の基準試料のピーク情報と照合することによりピークの欠損の有無を判定する。最後に、第1メソッド又は第2メソッドにより抽出されたピークに欠損がないと判定された測定データから、該測定データの複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する。
 本発明に係る学習用データ作成方法及び装置では、ピークに欠損がないと判定された測定データから、該測定データの測定強度のピークに対応する特徴量を取得して学習用データを作成するため、特徴量の欠損を抑えた学習用データを作成することができる。また、第1メソッドでは全てのピークを抽出することができない測定データであっても、第2メソッドを用いて全てのピークを抽出することができた測定データから特徴量を取得して学習用データを作成するため、学習用データの数の減少を抑えることもできる。
本発明に係る学習用データ作成装置の一実施例を含む試料評価システムの要部構成図。 本発明に係る学習用データ作成方法の一実施例に係るフローチャート。 本実施例で取得される測定データであるマスクロマトグラムデータの模式図。 従来のピーク抽出方法に関する模式図。 従来のピーク抽出方法によりマスクロマトグラムからピークを抽出した結果の例。 従来のピーク抽出方法によりマスクロマトグラムからピークを抽出した結果の別の例。 従来のピーク抽出方法によりマスクロマトグラムからピークを抽出した結果のさらに別の例。 本実施例におけるピーク抽出方法によるベースラインの画定に関する模式図。 本実施例のピーク抽出方法を用いてマスクロマトグラムのベースラインを画定した例。 本実施例のピーク抽出方法を用いてマスクロマトグラムのピークを抽出した結果の例。
 本発明の学習用データ作成方法及び装置の一実施例について、以下、図面を参照して説明する。
 本実施例の試料評価システム1は、目的試料の属性を推定するために用いられる。具体的には、例えば食品である目的試料の鮮度や産地を推定したり、生体試料に基づいて被検者が特定の疾病を有するか否かを判定したりするために用いられる。
 図1に、本実施形態の学習用データ作成装置を含む、試料評価システム1の要部構成を示す。本実施例の試料評価システム1は、大別して、ガスクロマトグラフ質量分析装置(GC-MS)2と制御・処理部3から構成される。
 制御・処理部3は、記憶部31を備えている。記憶部31には、メソッド情報記憶部311と基準試料情報記憶部312が設けられている。メソッド情報記憶部311には、ガスクロマトグラフ質量分析装置2を用いた試料の測定により得られたマスクロマトグラムデータからピークを抽出するために用いるメソッドの情報が保存されている。メソッドの情報には、ピークを抽出するアルゴリズムと、ピーク高さに関する閾値等のパラメータの組み合わせに関する情報が含まれている。ピークを抽出するアルゴリズムには、従来用いられているリンク点法、水平法、新ベースライン法や、本実施例における特徴的な、極小測定点を用いる手法(後記)が含まれうる。
 基準試料情報記憶部312には、種々の試料について、属性が異なる複数の基準試料のマスクロマトグラムデータ及び該マスクロマトグラムに現れる複数のピークに関するピーク情報(保持時間、質量電荷比、及び測定強度)が保存されている。記憶部312には、その他、各種の試料をガスクロマトグラフ質量分析装置2で測定する際の測定条件などが保存されている。
 制御・処理部3は、さらに、機能ブロックとして、測定データ取得部32、基準試料データ作成部33、第1ピーク抽出部34、第2ピーク抽出部35、判定部36、測定データ表示部36、学習用データ作成部38、学習モデル構築部39、及び識別器作成部40を備えている。制御・処理部3の実体は、パーソナルコンピュータ又はより高性能なワークステーションと呼ばれるコンピュータであり、該コンピュータに予めインストールされた試料評価システム用プログラムを該コンピュータのプロセッサで実行ことにより上記の各機能ブロックが具現化される。また、制御・処理部3には、キーボードやマウスといった入力部4と、液晶ディスプレイ等の表示部5が接続されている。
 制御・処理部3の構成要素のうち、メソッド情報記憶部311及び基準試料情報記憶部312と、測定データ取得部32、基準試料データ作成部33、第1ピーク抽出部34、第2ピーク抽出部35、判定部36、測定データ表示部36、及び学習用データ作成部38の機能ブロックとが本実施例の学習用データ作成装置10を構成する。本実施例では学習用データ作成装置10を制御・処理部3の一部に組み込んでいるが、学習用データ作成装置10を制御・処理部3から独立した装置として構成してもよい。
 次に、本実施例の試料評価システム1の動作について、図2のフローチャートを参照しつつ説明する。この例では、目的試料の属性を推定するための識別器を作成する。
 使用者は、識別器の作成に先立ち、ガスクロマトグラフ質量分析装置2に接続されたオートサンプラ(図示略)に参照試料をセットしておく。参照試料は、目的試料と同種のものであって、その属性が既知のものである。また、属性毎に複数の参照試料をセットしておく。
 使用者が、識別器の作成開始を指示すると、測定データ取得部32は、オートサンプラにセットされた参照試料を所定の順にガスクロマトグラフ質量分析装置2に導入する。ガスクロマトグラフ質量分析装置2では、ガスクロマトグラフのカラム内で成分毎に分離されたあと、質量分析装置に導入されて電子イオン化源等のイオン化源により各成分がイオン化され、質量分離されたあとイオン検出器で検出される。イオン検出器からの出力信号は順次、制御・処理部3に送られ、各参照試料の測定データ(マスクロマトグラムデータ)が記憶部31に保存される。こうして、全ての参照試料についてマスクロマトグラムデータが取得される(ステップ1)。マスクロマトグラムデータは、図3に模式的に示すように、時間及び質量電荷比という2つのパラメータに対するイオンの測定強度を表したものであり、試料に含まれる成分がガスクロマトグラムのカラムから流出する時間(t1を中心とする保持時間)に、当該成分から生成されるイオンの質量電荷比のピークを有する。
 全ての参照試料の測定が終了してマスクロマトグラムデータが保存されると、基準試料データ作成部33は、参照試料を属性毎にグループ化する。そして属性が同じである参照試料のマスクロマトグラムデータを積算して積算マスクロマトグラムデータを作成する(ステップ2)。基準試料データ作成部33は、続いて、第1ピーク抽出部34を機能させ、積算マスクロマトグラムデータから、抽出イオン電流クロマトグラム(特定の質量電荷比のイオンの測定強度のクロマトグラム)を作成し、メソッド情報記憶部311に保存されているアルゴリズム及びパラメータを用いてピークを抽出する(ステップ3)。
 ここで、第1ピーク抽出部34により抽出イオン電流クロマトグラムからピークを抽出する処理について説明する。抽出イオン電流クロマトグラムや、全イオンの強度を示す全イオン電流クロマトグラムからピークを抽出する方法として、従来、例えばリンク点法、水平法などが用いられている(図4)。図4ではそれぞれの方法により抽出されるピークにハッチングを付している。リンク点法では、クロマトグラムの波形の傾きが予め決められた値を上回った点をピーク開始点S、その後、波形の傾きが予め決められた値を下回った点をピーク終了点Eとする。そして、ピーク開始点Sとピーク終了点Eを結んでベースラインを画定してピークを抽出する。また、水平法では、上記同様にピーク開始点S及びピーク終了点Eを画定したあと、これら2点のうち測定強度が小さい方の点を通る水平線を引き、他方の点からの垂線との交点をベースラインとして画定してピークを抽出する。さらに、複数のピークが重畳したものを分離する際には、例えば新ベースライン法が用いられる。新ベースライン法では、上記同様にピーク開始点S及びピーク終了点Eを画定し、2つのピーク間に位置する極小点をピーク分離点Mとしてピークを分離する。
 ベースラインの変動が少ない測定データの場合、リンク点法と水平法のいずれを用いてもピーク抽出の精度に大きな差が生じることはない。しかし、ガスクロマトグラフを用いた測定で得られる測定データの場合、カラムブリードと呼ばれる現象によって、クロマトグラムの後半部分でベースラインが時間とともに増大することがある。従来、リンク点法や水平法、新ベースライン法などの予め設定されたアルゴリズムを用いてクロマトグラムデータから自動的にピークを抽出しているが、設定されているアルゴリズムやパラメータが適切でないと、図5に示すように、クロマトグラムの後半部分のドリフトによるベースラインの上昇がピークとして抽出されてしまう。
 このようなドリフトに対応するために、ドリフトによるベースラインの上昇を考慮するパラメータを設定することができるようになっている場合がある。図6は、このパラメータを50という値に設定したものであるが、このパラメータ値を設定しても、依然としてドリフトによるベースラインの上昇がピークとして抽出されている。一方、図7はこのパラメータを100という値に設定したものである。図7では、ドリフトがピークとして抽出されておらず、この点においては適切であるといえる。しかし、クロマトグラムの前半部分でベースラインの傾きが大きくなりすぎており、ピークの高さや面積を正しく取得することが困難になっている。
 そこで、本実施例では、クロマトグラム波形の極小点を結んでベースラインを画定してピークを抽出する。図8上部に模式的に示すように、クロマトグラムは多数の測定点を結んだものである。本実施例のアルゴリズムでは、クロマトグラムを構成する測定点のうち、隣接する2つの測定点のいずれよりも測定強度が小さいものを極小測定点として抽出する。そして、抽出した極小測定点を線形補間することにより、図8下部に示すようなベースラインを画定する。なお、極小測定点からベースラインを画定する方法は線形補間に限らず、これらの極小測定点を結ぶ近似曲線等としてもよい。そして、このベースラインからの高さが予め決められた閾値を超えるものをピークとして抽出する。
 抽出イオン電流クロマトグラムでは、保持時間と質量電荷比という2つのパラメータのいずれもが共通しない限りピークが重畳することはないため、線形補間によりベースラインを画定すればよいが、測定強度に対するパラメータが1つであるクロマトグラム(全イオン電流クロマトグラム等)では、重畳ピークが現れることがあり、その場合、2つのピーク間に極小点が現れうる。こうした場合にピーク間の極小点を含む極小測定点を線形補間するとベースラインを正しく画定することができない。そうした場合には、極小測定点を線形補間する代わりに、例えば全ての極小測定点に対する近似曲線を求めることで、重畳ピーク内の極小点等の外れ値の影響を低減して正しくベースラインを画定するとよい。あるいは、ピーク間の極小点等の外れ値を分析者が削除し、それ以外の極小測定点を線形補間してベースラインを画定してもよい。
 図9は、図5~7に示したクロマトグラムと同様に後半部分に大きなドリフトが存在するマスクロマトグラムデータについてベースラインを画定した結果、図10はこのベースラインを基準として、それよりも予め決められた閾値より高いピーク(図中の丸印がピークトップを示す)を抽出した結果を示す図である。この結果から分かるように、クロマトグラムの後半に大きなドリフトが存在している場合でも、本実施例の方法を用いることにより正しくピークを抽出することができる。
 属性が同じである複数の参照試料のマスクロマトグラムデータのうちのいずれかに抽出が困難なピークが含まれている場合でも、それらを積算すると他の参照試料の測定強度によって補われ、ピークの抽出が容易になる。従って、積算マスクロマトグラムデータを用いれば、全てのピークを容易に抽出することができる。そこで、本実施例では、積算マスクロマトグラムデータから抽出した複数のピークの位置情報を、基準試料のピーク情報として用いる。基準試料データ作成部33は、属性毎に基準試料のピーク情報を基準試料情報記憶部312に保存する。
 次に、第1ピーク抽出部34は、各参照試料のマスクロマトグラムデータから上記同様に、メソッド情報記憶部311に保存されているアルゴリズム及びパラメータを用いてピークを抽出する(ステップ5)。
 第1ピーク抽出部34によりピークが抽出されると、判定部36は、当該参照試料と同じ属性の基準試料のピーク情報を基準試料情報記憶部312から読み出す。そして、参照試料のピーク情報と基準試料のピーク情報を比較する(ステップ6)。
 判定部36が、参照試料のピーク情報が基準試料のピーク情報と一致している(即ちピークの欠損がない)と判定すると(ステップ7でNO)、その参照試料のマスクロマトグラムデータから抽出されたピークに対応する特徴量を取得して学習用データを作成する(ステップ11)。ここで抽出する特徴量には、各ピークのピークトップに対応する保持時間と質量電荷比の組が含まれる。また、これらに加えて当該ピークの高さ又は面積値を特徴量に含めてもよい。つまり、学習用データとして、ピークリストに相当するものが作成される
 判定部36は、参照試料のピーク情報が基準試料のピーク情報と一致しない(抽出されるべき複数のうちのピークの一部が抽出されていない)と判定すると(ステップ7でYES)、当該参照試料についてピークが欠損していることを通知する画面を表示する。また、測定データ表示部37は、その参照試料のマスクロマトグラムデータから、欠損したピークの質量電荷比に対応する抽出イオン電流クロマトグラムを作成して表示部5の画面に表示する。画面に表示されるマスクロマトグラムには、本来、抽出されるべきピークであるにもかかわらず第1ピーク抽出部34ではピークが抽出されなかった位置(即ち、基準試料のピーク情報に含まれているが、参照試料のピーク情報に含まれなかったピークの保持時間及び質量電荷比の位置)に目印を重畳表示する。使用者は、目印が表示された位置の抽出イオン電流クロマトグラムの波形を確認して、アルゴリズム又はパラメータの変更によって第2ピーク抽出部35がピークを抽出することが可能であるか否かを判断することができる。
 また、判定部36は、当該参照試料に対してピークを抽出する処理を行った回数が、予め決められた回数(所定回数)に達しているか否かを判定する。この回数は、例えば5回に設定される。この段階では、未だ第1ピーク抽出部34によるピークの抽出を行っただけである(ピーク抽出処理回数は1回である)ため、所定回数には達していない(ステップ8でNO)と判定される。
 ステップ8でNOと判定されると、第2ピーク抽出部35は、先に行ったピーク抽出時のアルゴリズム及び/又はパラメータを変更する(ステップ9)。本例では、アルゴリズムは変更せず、ピークとして判断する閾値(ベースラインの高さ)を下げる。具体的には、例えば、ピーク抽出時の閾値(パラメータ)を第1ピーク抽出部34によるピーク抽出時の閾値の90%に変更する(閾値を10%下げる)。
 続いて、第2ピーク抽出部35は、変更後の閾値を用いて、再び当該参照試料のマスクロマトグラムデータからピークを抽出する(ステップ5)。そして、再び基準試料のピーク情報と比較し(ステップ6)、ピークの欠損がないと判定されると(ステップ7でNO)、抽出した複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する(ステップ11)。学習用データを作成すると、全ての参照試料のマスクロマトグラムデータについての処理が終わっているか否かを判定する(ステップ12)。そして、未処理のデータがある場合には、次の参照試料のマスクロマトグラムデータについて、上記同様の手順でステップ5以降の処理を行う。
 一方、再びピークの欠損があると判定されると(ステップ7でYES)、ピーク抽出処理の回数が所定回数に達しているか否かを判定し(ステップ8)、所定回数に達していない場合には、再びアルゴリズム及び/又はパラメータを変更する(ステップ9)。本例では、第1ピーク抽出部34によるピーク抽出処理時の閾値を100として、閾値を10ずつ下げていく。あるいは、前回のピーク抽出処理時を基準として閾値を10%下げるようにしてもよい。
 所定回数、ピークを抽出する処理を行ってもピークの欠損が解消されない場合(ステップ8でYES)には、当該参照試料のマスクロマトグラムデータに関する処理を終了し、次の参照試料のマスクロマトグラムデータについて、上記同様の手順でステップ5以降の処理を行う。
 全ての参照試料のマスクロマトグラムデータの処理を完了すると(ステップ12でYES)、学習モデル構築部39は、上記手順で作成された学習用データを用いた機械学習により学習モデルを構築する(ステップ13)。機械学習の手法としては、例えば教師有り学習と呼ばれるものを用いることができる。具体的には、サポートベクタマシン、ニューラルネットワーク、ランダムフォレストなどの代表的な機械学習の手法のほか、ロジスティック回帰、直交部分的最小二乗法、k-近傍法などの多変量解析の手法を用いることができる。機械学習により学習モデルが構築されると、識別器作成部40は、その学習モデルにより識別器を作成し、記憶部31に保存する(ステップ14)。
 従来、学習用データを作成する際には、属性が既知である参照試料のマスクロマトグラムデータから抽出されたピークに欠損がある場合に、例えば、そのマスクロマトグラムデータを除外し、全てのピークが抽出されたもののみを用いて学習用データを作成していた。その結果、除外したマスクロマトグラムデータの数だけ学習用データの数が少なくなり、学習モデルのパラメータを収束させることが困難になったり、識別器の精度が低下したりする場合があった。あるいは、特許文献2では、全ての学習用データに共通に現れていない(いずれかの学習用データにおいて欠損がある)ピークの情報を全て削除して学習用データを作成している。この場合、ピークが属性の判断に有用である可能性があるピークの情報を削除した学習用データが作成されるため、やはり、学習モデルのパラメータを収束させることが困難になったり、識別器の精度が低下したりする可能性がある。
 これに対し、本実施例では、第1ピーク抽出部34によるピーク抽出処理でピークが欠損している場合でも、アルゴリズム又はパラメータを変更しつつ、第2ピーク抽出部35によって所定回数、ピークの抽出を試みる。そのため、学習用データの数の減少を抑えることができる。また、基準試料のピーク情報との比較によって全てのピークが抽出されていることを確認したうえで学習用データを作成するため、特徴量の欠損がない学習用データを作成することができる。
 上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例において挙げた数値はあくまでも一例に過ぎず、目的試料や測定データの特性等に応じて適宜に変更することができる。
 また、上記実施例において、ピークの欠損があると判定されたマスクロマトグラムを使用者が表示部5の画面で確認し、欠損しているピーク位置にピークを確認することができた場合にのみ、使用者が第2ピーク抽出部35によるピークの抽出を指示するようにしてもよい。このように構成すれば、ピークの抽出が不可能である(あるいは極めて困難な)マスクロマトグラムデータの処理に時間をかけることなく、効率よく学習用データを作成することができる。
 上記実施例では、極小測定点からベースラインを画定してピークを抽出するというアルゴリズムのみを用い、第2ピーク抽出部35によりピークを抽出する際には閾値のみを変更する構成としたが、第2ピーク抽出部35によりピークを抽出する際に、ピークを抽出するアルゴリズムを変更するようにしてもよい。
 上記実施例では、ガスクロマトグラフ質量分析装置2により参照試料を測定して得たマスクロマトグラムデータを処理したが、所定のパラメータに対する複数の測定強度のピークを含む、様々な測定データに対して本実施例と同様の構成を適用することができる。なお、ここでいうピークには、吸光スペクトルなどに現れる下向きのピークも含まれうる。
[態様]
 上述した複数の例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(第1項)
 本発明の一態様は、互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する方法であって
 属性が既知である複数の参照試料のそれぞれについて、所定のパラメータに対する複数の測定強度のピークを含む測定データを取得し、
 前記複数の参照試料の測定データのそれぞれについて、予め用意された第1メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
 前記第1メソッドにより抽出されたピーク情報を、予め用意された、同じ属性の基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
 前記ピークが欠損していると判定された参照試料の測定データについて、前記第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
 前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
 前記第1メソッド又は前記第2メソッドにより抽出されたピークに欠損がないと判定された測定データから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する
 ものである。
(第8項)
 本発明の別の一態様は、互いに属性が異なる複数の目的試料を識別する識別器を構成する学習モデルを作成するための機械学習において使用する学習モデルを作成する装置であって、
 属性が既知である複数の参照試料のそれぞれについて、クロマトグラフ質量分析装置を用いた測定によりマスクロマトグラムデータを取得する測定データ取得部と、
 前記参照試料と同じ属性の基準試料のマスクロマトグラムに含まれるピーク情報が保存された基準試料情報記憶部と、
 前記マスクロマトグラムデータからピークを抽出するための第1メソッド、及び該第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドの情報が保存されたメソッド情報記憶部と、
 前記複数の参照試料のマスクロマトグラムデータのそれぞれについて、前記第1メソッドを用いて前記複数のピークに関するピーク情報を抽出する第1ピーク抽出部と、
 前記第1ピーク抽出部により抽出されたピーク情報を、同じ属性の前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第1判定部と、
 前記第1判定部によりピークが欠損していると判定された参照試料のマスクロマトグラムデータについて、前記第2メソッドを用いて前記複数のピークに関するピーク情報を抽出する第2ピーク抽出部と、
 前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第2判定部と、
 前記第1判定部又は前記第2判定部によりピークに欠損がないと判定されたマスクロマトグラムデータから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する学習用データ作成部と
 を備える。
 第1項の学習用データ作成方法では、まず、属性が既知である複数の試料のそれぞれについて、所定のパラメータに対する複数の測定強度のピークを含む測定データを取得する。また、第8項の学習用データ作成装置では、属性が既知である複数の参照試料のそれぞれについて、クロマトグラフ質量分析装置を用いた測定によりマスクロマトグラムデータを測定データとして取得する。測定データの取得は、実際に試料を分析装置で測定することにより行ってもよく、あるいは事前の測定で得られた測定データを読み出すことにより行ってもよい。
 次に、複数の試料の測定データのそれぞれについて、予め用意された第1メソッドを用いて測定強度のピークを抽出する。そして、抽出されたピークを、予め用意された、同じ属性の基準試料のピーク情報と照合することにより全てのピークが抽出されているか(ピークの欠損の有無)を判定する。基準試料のピーク情報には、例えばライブラリに登録されているものを用いることができる。
 ピークが欠損していると判定された試料の測定データについては、第1メソッドとはピークを抽出するアルゴリズム又はパラメータが異なる第2メソッドを用いて測定強度のピークを抽出する。そして、第2メソッドにより抽出されたピークを、予め用意された、同じ属性の基準試料のピーク情報と照合することによりピークの欠損の有無を判定する。最後に、第1メソッド又は第2メソッドにより抽出されたピークに欠損がないと判定された測定データから、該測定データの複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する。
 第1項の学習用データ作成方法及び第8項の学習用データ作成装置では、ピークに欠損がないと判定された測定データから、該測定データの測定強度のピークに対応する特徴量を取得して学習用データを作成するため、特徴量の欠損を抑えた学習用データを作成することができる。また、第1メソッドでは全てのピークを抽出することができない測定データであっても、第2メソッドを用いて全てのピークを抽出することができた測定データから特徴量を取得して学習用データを作成するため、学習用データの数の減少を抑えることができる。
(第2項)
 第1項に記載の学習用データ作成方法において、
 前記第1メソッド又は前記第2メソッドにより抽出されたピーク情報にピークの欠損があると判定された測定データを画面表示する。
(第3項)
 第2項に記載の学習用データ作成方法において、
 前記画面表示された測定データのうち、使用者により指定されたものについて前記第2メソッドによりピーク情報を抽出する。
 第2項の学習用データ作成方法では、ピークが欠損していると判定された測定データを画面上で使用者が確認することにより、抽出可能な強度のピークが存在しているか否かを確認することができる。また、第3項の学習用データ作成方法では、抽出可能な強度のピークが存在している測定データのみを使用者が指定することにより、第2メソッドによるピーク情報の抽出に係る処理の負荷を軽減することができる。
(第4項)
 第1項から第3項のいずれかに記載の学習用データ作成方法において、
 属性が同一である複数の目的試料のそれぞれについて前記測定データを取得し、
 前記属性が同一である複数の参照試料の測定データを積算して積算測定データを作成し、
 前記基準試料のピーク情報として、前記第1メソッドを用いて前記積算測定データに含まれる複数のピークに関するピーク情報を抽出したものを使用する。
 第4項の学習用データ作成方法では、過去に十分な数の測定が行われていない試料や、未知試料のように、データベース等に測定データが収録されていない試料についても基準試料のピーク情報を使用することができる。
(第5項)
 第1項から第4項のいずれかに記載の学習用データ作成方法において、
 アルゴリズム又は/及びパラメータが異なるメソッドを用いて前記複数のピークに関するピーク情報を抽出し、前記ピークの欠損の有無を判定する処理を、該ピークの欠損がないと判定されるまで所定回数繰り返す。
 第5項の学習用データ作成方法では、自動的に学習用データを作成する処理が所定回数繰り返し行われるため、使用者がピーク情報を収集する処理の要否を都度、判断する必要がなく、使用者の負担が軽減される。
(第6項)
 第1項から第5項に記載の学習用データ作成方法において、
 前記第1メソッド及び/又は前記第2メソッドが、前記測定データを構成する複数の測定点のうち、当該測定点の測定強度が両隣の測定点の測定強度のいずれよりも低いものを極小測定点として抽出し、
 前記極小測定点を用いて前記複数の測定点におけるベースラインを決定し、
 前記複数の測定点のそれぞれにおいて、該測定点の測定強度から前記ベースラインを差し引いた値が予め決められた閾値を超えていることに基づいてピークを抽出する。
(第7項)
 第6項に記載の学習用データ作成方法において、
 前記第1メソッドと前記第2メソッドがいずれも前記極小測定点を用いてベースラインを決定してピークを抽出するものであり、前記第1メソッドと前記第2メソッドにおいて前記閾値が異なる。
 ガスクロマトグラフ質量分析により得られるマスクロマトグラムデータでは、時間とともにベースラインの大きさも変化する。第6項の学習用データ作成方法では極小測定点を用いてベースラインを決定するため、パラメータに対して測定強度だけでなくベースラインも変化するような測定データからピークを抽出するために好適に用いることができる。また、こうした測定データからピークを抽出する際には、第7項に記載の学習用データ作成方法のように、ピークであるか否かを判断するために用いる閾値のみを第1メソッドから変更したものを第2メソッドとして用いることができる。
1…試料評価システム
10…学習用データ作成装置
2…ガスクロマトグラフ質量分析装置
3…制御・処理部
 31…記憶部
  311…メソッド情報記憶部
  312…基準試料情報記憶部
  312…記憶部
 32…測定データ取得部
 33…基準試料データ作成部
34…第1ピーク抽出部
35…第2ピーク抽出部
36…判定部
37…測定データ表示部
38…学習用データ作成部
39…学習モデル構築部
39…識別器作成部
4…入力部
5…表示部

Claims (8)

  1.  互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する方法であって
     属性が既知である複数の参照試料のそれぞれについて、所定のパラメータに対する複数の測定強度のピークを含む測定データを取得し、
     前記複数の参照試料の測定データのそれぞれについて、予め用意された第1メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
     前記第1メソッドにより抽出されたピーク情報を、予め用意された、同じ属性の基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
     前記ピークが欠損していると判定された参照試料の測定データについて、前記第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドを用いて前記複数のピークに関するピーク情報を抽出し、
     前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定し、
     前記第1メソッド又は前記第2メソッドにより抽出されたピークに欠損がないと判定された測定データから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する
     ものである、学習用データ作成方法。
  2.  前記第1メソッド又は前記第2メソッドにより抽出されたピーク情報にピークの欠損があると判定された測定データを画面表示する、請求項1に記載の学習用データ作成方法。
  3.  前記画面表示された測定データのうち、使用者により指定されたものについて前記第2メソッドによりピーク情報を抽出する、請求項2に記載の学習用データ作成方法。
  4.  属性が同一である複数の目的試料のそれぞれについて前記測定データを取得し、
     前記属性が同一である複数の参照試料の測定データを積算して積算測定データを作成し、
     前記基準試料のピーク情報として、前記第1メソッドを用いて前記積算測定データに含まれる複数のピークに関するピーク情報を抽出したものを使用する
     ものである、請求項1に記載の学習用データ作成方法。
  5.  アルゴリズム又は/及びパラメータが異なるメソッドを用いて前記複数のピークに関するピーク情報を抽出し、前記ピークの欠損の有無を判定する処理を、該ピークの欠損がないと判定されるまで所定回数繰り返す、請求項1に記載の学習用データ作成方法。
  6.  前記第1メソッド及び/又は前記第2メソッドが、前記測定データを構成する複数の測定点のうち、当該測定点の測定強度が両隣の測定点の測定強度のいずれよりも低いものを極小測定点として抽出し、
     前記極小測定点を用いて前記複数の測定点におけるベースラインを決定し、
     前記複数の測定点のそれぞれにおいて、該測定点の測定強度から前記ベースラインを差し引いた値が予め決められた閾値を超えていることに基づいてピークを抽出する
     ものである、請求項1に記載の学習用データ作成方法。
  7.  前記第1メソッドと前記第2メソッドがいずれも前記極小測定点を用いてベースラインを決定してピークを抽出するものであり、前記第1メソッドと前記第2メソッドにおいて前記閾値が異なる、請求項6に記載の学習用データ作成方法。
  8.  互いに属性が異なる複数の目的試料を識別する識別器を作成するために使用する学習用データを作成する装置であって、
     属性が既知である複数の参照試料のそれぞれについて、クロマトグラフ質量分析装置を用いた測定によりマスクロマトグラムデータを取得する測定データ取得部と、
     前記参照試料と同じ属性の基準試料のマスクロマトグラムに含まれるピーク情報が保存された基準試料情報記憶部と、
     前記マスクロマトグラムデータからピークを抽出するための第1メソッド、及び該第1メソッドとはピークを抽出するためのアルゴリズム又は/及びパラメータが異なる第2メソッドの情報が保存されたメソッド情報記憶部と、
     前記複数の参照試料のマスクロマトグラムデータのそれぞれについて、前記第1メソッドを用いて前記複数のピークに関するピーク情報を抽出する第1ピーク抽出部と、
     前記第1ピーク抽出部により抽出されたピーク情報を、同じ属性の前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第1判定部と、
     前記第1判定部によりピークが欠損していると判定された参照試料のマスクロマトグラムデータについて、前記第2メソッドを用いて前記複数のピークに関するピーク情報を抽出する第2ピーク抽出部と、
     前記第2メソッドにより抽出されたピーク情報を、前記基準試料のピーク情報と照合することによりピークの欠損の有無を判定する第2判定部と、
     前記第1判定部又は前記第2判定部によりピークに欠損がないと判定されたマスクロマトグラムデータから、前記複数のピークのそれぞれに対応する特徴量を取得して学習用データを作成する学習用データ作成部と
     を備える、学習用データ作成装置。
PCT/JP2021/036791 2021-03-19 2021-10-05 学習用データ作成方法及び学習用データ作成装置 WO2022195935A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21931678.3A EP4310494A1 (en) 2021-03-19 2021-10-05 Training data creation method and training data creation device
US18/282,755 US20240167988A1 (en) 2021-03-19 2021-10-05 Learning Data Creation Method and Learning Data Creation Device
JP2023506724A JPWO2022195935A1 (ja) 2021-03-19 2021-10-05
CN202180094903.9A CN117083523A (zh) 2021-03-19 2021-10-05 学习用数据制作方法以及学习用数据制作装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163163205P 2021-03-19 2021-03-19
US63/163,205 2021-03-19

Publications (1)

Publication Number Publication Date
WO2022195935A1 true WO2022195935A1 (ja) 2022-09-22

Family

ID=83319963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036791 WO2022195935A1 (ja) 2021-03-19 2021-10-05 学習用データ作成方法及び学習用データ作成装置

Country Status (5)

Country Link
US (1) US20240167988A1 (ja)
EP (1) EP4310494A1 (ja)
JP (1) JPWO2022195935A1 (ja)
CN (1) CN117083523A (ja)
WO (1) WO2022195935A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204397A (ja) * 2008-02-27 2009-09-10 Shimadzu Corp クロマトグラフ用データ処理装置
JP2017122677A (ja) 2016-01-08 2017-07-13 東洋製罐グループホールディングス株式会社 イオン感応膜、イオン選択性電極、及びイオンセンサ
JP2019056664A (ja) * 2017-09-22 2019-04-11 東海電子株式会社 におい判定システム、および、におい判定プログラム
JP2019086475A (ja) * 2017-11-09 2019-06-06 富士通株式会社 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
WO2020070786A1 (ja) * 2018-10-02 2020-04-09 株式会社島津製作所 識別器の生成方法
JP2020165847A (ja) 2019-03-29 2020-10-08 株式会社島津製作所 食品の品質判定方法、及び、食品品質判定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204397A (ja) * 2008-02-27 2009-09-10 Shimadzu Corp クロマトグラフ用データ処理装置
JP2017122677A (ja) 2016-01-08 2017-07-13 東洋製罐グループホールディングス株式会社 イオン感応膜、イオン選択性電極、及びイオンセンサ
JP2019056664A (ja) * 2017-09-22 2019-04-11 東海電子株式会社 におい判定システム、および、におい判定プログラム
JP2019086475A (ja) * 2017-11-09 2019-06-06 富士通株式会社 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
WO2020070786A1 (ja) * 2018-10-02 2020-04-09 株式会社島津製作所 識別器の生成方法
JP2020165847A (ja) 2019-03-29 2020-10-08 株式会社島津製作所 食品の品質判定方法、及び、食品品質判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Analysis sequence", 20 March 2015 (2015-03-20), XP055967952, Retrieved from the Internet <URL:www.lcdez.com/_userdata/Support/ChromatoStage/Help/%E6%B3%A2%E5%BD%A2%E5%87%A6%E7%90%86%E3%81%AE%E5%8E%9F%E7%90%86%EF%BC%8D%E8%A7%A3%E6%9E%90%E3%82%B7%E3%83%BC%E3%82%B1%E3%83%B3%E3%82%B9.htm> [retrieved on 20221004] *

Also Published As

Publication number Publication date
US20240167988A1 (en) 2024-05-23
JPWO2022195935A1 (ja) 2022-09-22
CN117083523A (zh) 2023-11-17
EP4310494A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
JP2020165847A (ja) 食品の品質判定方法、及び、食品品質判定装置
JP5365579B2 (ja) クロマトグラフ質量分析用データ処理装置
JP2005308741A (ja) 少なくとも1つの成分および生成する生成物の観点でサンプルを特性付けし、特性付けデータを提供するための2つ以上の技術に基づいた少なくとも1つのサンプルの分析;方法、システムおよび指示プログラム
US7584162B2 (en) Manufacture data analysis method and manufacture data analyzer apparatus
Burton et al. Instrumental and experimental effects in LC–MS-based metabolomics
CN110214271B (zh) 分析数据解析方法以及分析数据解析装置
US11442047B2 (en) Chromatograph mass spectrometry data processing device and chromatograph mass spectrometry data processing program
CN103134850A (zh) 一种基于特征香气的茶叶品质快速检测装置及检测方法
Chen et al. Gas chromatography‐ion mobility spectrometry detection of odor fingerprint as markers of rapeseed oil refined grade
US20140132607A1 (en) Chromatograph mass spectrometry data processing device
EP1515151B1 (en) Method of resonance spectroscopy for the analysis of statistical properties of samples
JP6308107B2 (ja) クロマトグラフ質量分析データ処理装置
JP4470505B2 (ja) クロマトグラフ質量分析用データ処理装置
WO2022195935A1 (ja) 学習用データ作成方法及び学習用データ作成装置
US11474086B2 (en) Measurement data processing method, measurement data processing device, and program for processing measurement data
JP2022052158A (ja) 学習用データの生成装置、モデル学習装置、試料の特性推定装置、及びクロマトグラフ質量分析装置
US10444206B2 (en) Chromatography/mass spectrometry data processing device
JPWO2020044435A1 (ja) データ解析方法、データ解析装置、及びデータ解析用の学習モデル作成方法
JP6403204B2 (ja) 質量分析データ処理装置および質量分析データ処理方法
US20220373522A1 (en) Waveform Analytical Method and Waveform Analytical Device
CN114199989A (zh) 一种基于质谱数据融合的广陈皮识别方法及系统
US20230288381A1 (en) Sample analyzing device
WO2018158801A1 (ja) スペクトルデータの特徴抽出装置および方法
US11946916B2 (en) Waveform processing assistance device and waveform processing assistance method
US20230280316A1 (en) Learning data producing method, waveform analysis device, waveform analysis method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931678

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023506724

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180094903.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18282755

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021931678

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021931678

Country of ref document: EP

Effective date: 20231019