WO2021045024A1 - ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 - Google Patents
ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 Download PDFInfo
- Publication number
- WO2021045024A1 WO2021045024A1 PCT/JP2020/032979 JP2020032979W WO2021045024A1 WO 2021045024 A1 WO2021045024 A1 WO 2021045024A1 JP 2020032979 W JP2020032979 W JP 2020032979W WO 2021045024 A1 WO2021045024 A1 WO 2021045024A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gate
- scatter plot
- learning model
- gate area
- plot group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 78
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000000684 flow cytometry Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 47
- 238000007689 inspection Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 abstract description 33
- 238000010586 diagram Methods 0.000 abstract description 20
- 238000012549 training Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 66
- 239000000523 sample Substances 0.000 description 21
- 238000012360 testing method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 101000738771 Homo sapiens Receptor-type tyrosine-protein phosphatase C Proteins 0.000 description 5
- 102100037422 Receptor-type tyrosine-protein phosphatase C Human genes 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000013642 negative control Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 206010025323 Lymphomas Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000024932 T cell mediated immunity Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000508 aqueous-phase reforming Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1404—Handling flow, e.g. hydrodynamic focusing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
- G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1402—Data analysis by thresholding or gating operations performed on the acquired signals or stored data
Definitions
- the present invention relates to a program or the like for estimating a gate region in flow cytometry.
- Flow Cytometry is a technology that can measure multiple features for each single cell.
- flow cytometry a suspension in which cells are suspended is prepared, and the suspension is flowed in a measuring device so that the cells flow in a row. Light is applied to each flowing cell, and indicators such as cell size, cell internal complexity, and cell constituents can be obtained from the scattering and fluorescence of the light.
- Flow cytometry is used in medicine, for example, for cell-mediated immunity testing.
- the testing institution analyzes multiple index values obtained by flow cytometry and returns the analysis results as test results to the testing requesting institution.
- Gating is one of the analysis techniques. Gating is a technique for selecting and analyzing only a specific population from the obtained data. Conventionally, the group to be analyzed has been specified by an inspector by drawing an ellipse or a polygon (called a "gate") in a two-dimensional scatter plot. The setting of such a gate depends largely on the experience and knowledge of the inspector. Therefore, it is difficult for an inspector with little experience and knowledge to set an appropriate gate.
- Patent Documents 1, 2, etc. a technique for automating gate setting has been proposed.
- the prior art is a setting method using cell density information or a rule-based method, and the experience and knowledge accumulated by the inspector is not fully utilized.
- the present invention has been made in view of such a situation.
- the purpose is to provide a gate area estimation program or the like that estimates the gate area using a learning model.
- the gate area estimation program acquires a scatter plot group including a plurality of scatter plots obtained from the measurement of flow cytometry having different measurement items, and learns based on the teacher data including the scatter plot group and the gate area. It is characterized in that a computer is made to perform a process of inputting the acquired scatter group into the performed training model and outputting the estimated gate area obtained from the training model.
- LLA leukemia / lymphoma analysis
- the dispensing process is a process of separating one sample (hereinafter referred to as "ID").
- ID a process of separating one sample
- SEQ a sample
- SEQ2 the 10 dispensed samples
- SEQ1 is a negative control.
- Negative control is a term that means to test a subject who is already known to have a negative result under the same conditions as the subject whose effect is to be verified.
- negative control is a term that means the subject to be inspected.
- the test result is analyzed from the relative difference by comparing the target to be verified with the result in the negative control.
- FSC Forward Scattered Light
- SSC Side Scattered Light
- FL indicates fluorescence, but here, a plurality of fluorescence detectors included in the flow cytometer are shown. The numbers indicate the sequence numbers of the fluorescence detectors.
- FL1 indicates the first fluorescence detector, and here, it is the name of an item in which the marker information of each SEQ is set as a marker.
- FL2 indicates the second fluorescence detector, and here, it is the name of an item in which the marker information of each SEQ is set as a marker.
- FL3 indicates the third fluorescence detector, and here, it is the name of the item in which the marker information of the CD45 is set.
- the flow cytometer creates two scatter plots for each SEQ and displays the scatter plots on a display or the like.
- one axis is SSC and the other axis is FL3.
- one axis is SSC and the other axis is FSC.
- the inspector estimates the disease from the aspect of the scatter plot and creates a gate useful for identifying the disease on each scatter plot. Then, a scatter plot of FL1-FL2 consisting of only cells existing in the gate range is created at each SEQ and observed as a marker reaction. In the reporting process, two particularly useful gates are determined for reporting and a report is prepared.
- FIG. 1 is an explanatory diagram showing a configuration example of an inspection system.
- the inspection system includes a flow cytometer (gate area estimation device) 10 and a learning server 3.
- the flow cytometer 10 and the learning server 3 are communicably connected to each other via the network N.
- the flow cytometer 10 includes a processing unit 1 that performs various processes related to the operation of the entire device, and a measuring unit 2 that accepts a sample and performs measurement by flow cytometry.
- the learning server 3 is composed of a server computer, a workstation, and the like.
- the learning server 3 is not an indispensable configuration in the inspection system.
- the learning server 3 mainly plays a role of complementing the flow cytometer 10, and stores measurement data and a learning model as a backup. Further, instead of the flow cytometer 10, the learning server 3 may generate a learning model and relearn the learning model. In this case, the learning server 3 transmits parameters and the like that characterize the learning model to the flow cytometer.
- the function of the learning server 3 may be provided by a cloud service or cloud storage.
- FIG. 2 is a block diagram showing a hardware configuration example of the processing unit.
- the processing unit 1 includes a control unit 11, a main storage unit 12, an auxiliary storage unit 13, an input unit 14, a display unit 15, a communication unit 16, and a reading unit 17.
- the control unit 11, the main storage unit 12, the auxiliary storage unit 13, the input unit 14, the display unit 15, the communication unit 16, and the reading unit 17 are connected by the bus B.
- the processing unit 1 may be separate from the flow cytometer 10.
- the processing unit 1 may be constructed by a PC (Personal Computer), a notebook computer, a tablet computer, or the like.
- the processing unit 1 may be composed of a multi-computer composed of a plurality of computers, a virtual machine virtually constructed by software, or a quantum computer.
- the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing devices.
- the control unit 11 reads and executes an OS (Operating System) and a control program 1P (gate area estimation program) stored in the auxiliary storage unit 13 to perform various information processing and control related to the flow cytometer 10. Perform processing, etc. Further, the control unit 11 includes functional units such as an acquisition unit and an output unit.
- the main storage unit 12 is a SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), a flash memory, or the like.
- the main storage unit 12 temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
- the auxiliary storage unit 13 is a hard disk, SSD (Solid State Drive), or the like, and stores the control program 1P and various DBs (Databases) required for the control unit 11 to execute processing.
- the auxiliary storage unit 13 stores the measured value DB 131, the feature information DB 132, the gate DB 133, the alternative positive rate DB 135, and the regression model 134.
- the alternative positive rate DB135 is not essential in this embodiment.
- the auxiliary storage unit 13 may be an external storage device connected to the flow cytometer 10.
- Various DBs and the like stored in the auxiliary storage unit 13 may be stored in a database server or cloud storage connected by the network N.
- the input unit 14 is a keyboard or a mouse.
- the display unit 15 includes a liquid crystal display panel and the like.
- the display unit 15 displays various information such as information for performing measurement, measurement results, and gate information.
- the display unit 15 may be a touch panel display integrated with the input unit 14.
- the information to be displayed on the display unit 15 may be displayed on the external display device of the flow cytometer 10.
- the communication unit 16 communicates with the learning server 3 via the network N. Further, the control unit 11 may use the communication unit 16 to download the control program 1P from another computer via the network N or the like and store it in the auxiliary storage unit 13.
- the reading unit 17 reads a portable storage medium 1a including a CD (Compact Disc) -ROM and a DVD (Digital Versatile Disc) -ROM.
- the control unit 11 may read the control program 1P from the portable storage medium 1a via the reading unit 17 and store it in the auxiliary storage unit 13. Further, the control unit 11 may download the control program 1P from another computer via the network N or the like and store it in the auxiliary storage unit 13. Furthermore, the control unit 11 may read the control program 1P from the semiconductor memory 1b.
- FIG. 3 is an explanatory diagram showing an example of the measured value DB 131.
- the measured value DB 131 stores the measured value measured by the flow cytometer 10.
- FIG. 3 shows an example of one record stored in the measured value DB 131.
- Each record of the measured value DB 131 includes a basic unit 1311 and a data unit 1312.
- the basic part 1311 includes a reception number column, a reception date column, an inspection number column, an inspection date column, a medical record number column, a name column, a gender column, an age column, and a collection date column.
- the reception number column stores the reception number that is issued when an inspection request is received.
- the reception date column stores the date when the inspection request is received.
- the inspection number string stores the inspection number that is issued when the inspection is performed.
- the inspection date column stores the date when the inspection was performed.
- the medical record number string stores the medical record number corresponding to the inspection request.
- the name column stores the name of the subject who provided the sample.
- the gender column remembers the gender of the subject. For example, if the subject is male, the gender column remembers M. If the subject is female, the gender column remembers F.
- the age column remembers the age of the subject.
- the collection date column stores the date when the sample was collected from the subject. In the data unit 1312, each column stores the measured value for each cell for the measurement item. Each row stores the measured value for each measurement item for one cell.
- FIG. 4 is an explanatory diagram showing an example of the feature information DB.
- the feature information DB 132 stores information indicating features obtained from measured values (hereinafter, also referred to as “feature information”).
- the feature information is, for example, a scatter plot or a histogram.
- the feature information DB 132 includes a reception number string, an inspection number string, a sequence number string, a type column, a horizontal axis column, a vertical axis column, and an image string.
- the reception number column stores the reception number.
- the inspection number string stores the inspection number.
- the sequence number string stores the sequence number of the feature information in the same inspection.
- the type column stores the type of feature information. For example, the types are scatter plots and histograms as described above.
- the horizontal axis column stores the items adopted as the horizontal axis in the scatter plot and the histogram.
- the vertical column stores the items adopted as the vertical axis in the scatter plot.
- the vertical axis represents the number of cells, so the vertical column stores the number of cells.
- the image sequence stores scatter plots and histograms as images.
- FIG. 5 is an explanatory diagram showing an example of a gate DB. It is explanatory drawing which shows the example of the gate DB 133.
- the gate DB 133 stores the set gate information (gate information) for the scatter plot.
- the gate information is information for determining the gate area.
- the gate information includes information on a figure showing the outline of the gate area, a value range of measured values included in the gate area, a set of measured values included in the gate area, and the like. It may be the pixel coordinate value of the point included in the gate area on the scatter plot image.
- the gate information is a figure showing the outline of the gate area, and the shape is an elliptical shape, but the shape is not limited thereto.
- the figure may be a polygon composed of a plurality of sides or a figure connecting a plurality of curves.
- the gate DB 133 includes a reception number string, an inspection number string, a horizontal axis column, a vertical axis column, a gate number column, a CX column, a CY column, a DX column, a DY column, and an ANG column.
- the reception number column stores the reception number.
- the inspection number string stores the inspection number.
- the horizontal axis column stores the items adopted as the horizontal axis in the scatter plot.
- the vertical column stores the items adopted as the vertical axis in the scatter plot.
- the gate number sequence stores the sequence number of the gate.
- the CX column stores the center x coordinate value of the ellipse.
- the CY column stores the y coordinate value of the center of the ellipse.
- the DX column stores the value of the minor axis of the ellipse.
- the DY column stores the value of the major axis of the ellipse.
- the ANG column stores the tilt angle of the ellipse. For example, the tilt angle is the angle formed by the horizontal axis and the major axis of the ellipse.
- FIG. 6 is an explanatory diagram relating to the generation process of the regression model.
- FIG. 6 shows a process of performing machine learning to generate a regression model 134. The generation process of the regression model 134 will be described with reference to FIG.
- the processing unit 1 performs deep learning to learn an appropriate gate feature amount for the scatter plot image created based on the measurement result obtained by the measuring unit 2.
- the processing unit 1 generates a regression model 134 in which a plurality of scatter plot images (scatter plot group) are input and gate information is output.
- the plurality of scatter plot images are a plurality of scatter plot images in which items on at least one axis are different. For example, there are two scatter plot images including a scatter plot image in which the horizontal axis is SSC and the vertical axis is FL3, and a scatter plot image in which the horizontal axis is SSC and the vertical axis is FSC. You may enter three or more scatter plot images.
- the neural network is, for example, CNN (Convolution Neural Network).
- the regression model 134 includes a plurality of feature extractors that learn the features of each scatter plot image, a coupler that combines the features output by each feature extractor, and gate information based on the combined features. It has a plurality of predictors that predict and output items (center X coordinate, center Y coordinate, major axis, minor axis, inclination angle). It should be noted that the regression model 134 may be input with a set of measured values on which the scatter plot is based, instead of the scatter plot image.
- Each feature extractor includes an input layer and an intermediate layer.
- the input layer has a plurality of neurons that receive input of the pixel value of each pixel included in the scatter plot image, and passes the input pixel value to the intermediate layer.
- the middle layer has multiple neurons, and features are extracted from the scatter plot image and passed to the output layer.
- the feature extractor is CNN
- the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved by the convolution layer. It has a concatenated configuration.
- the intermediate layer finally extracts the image feature amount while compressing the pixel information.
- a configuration in which a plurality of scatter plot images are input to one feature extractor may be used.
- the regression model 134 is described as being a CNN, but the regression model 134 is not limited to the CNN and is constructed by other learning algorithms such as a neural network other than the CNN, a Bayesian network, and a decision tree. It may be a trained model.
- the processing unit 1 performs learning using teacher data in which a plurality of scatter plot images and correct answer values of gate information corresponding to the scatter plot are associated with each other.
- the teacher data is data in which gate information is labeled for a plurality of scatter plot images.
- two types of scatter plots are referred to as a set of scatter plots.
- the gate information includes a value indicating usefulness.
- the processing unit 1 inputs two scatter plot images, which are teacher data, into different feature extractors.
- the features output by each feature extractor are combined by the combiner.
- the combination by the combiner includes a method of simply combining the features (Concatenate), a method of adding the values indicating the features (Add), and a method of selecting the maximum feature (Maxpool).
- each predictor Based on the combined features, each predictor outputs gate information as a prediction result.
- the combination of values output by each predictor is a set of gate information.
- the output gate information may be a plurality of sets. In this case, a number of predictors corresponding to a plurality of sets are provided. For example, when the gate information having the first priority and the gate information having the second priority are output, the number of predictors in FIG. 6 is 5 to 10.
- the processing unit 1 compares the gate information obtained from the predictor with the information labeled for the scatter plot image in the teacher data, that is, the correct answer value, and extracts features so that the output value from the predictor approaches the correct answer value.
- the parameters include, for example, the weight between neurons (coupling coefficient), the coefficient of the activation function used in each neuron, and the like.
- the method of optimizing the parameters is not particularly limited, but for example, the processing unit 1 optimizes various parameters by using the backpropagation method.
- the processing unit 1 performs the above processing on the data for each examination included in the teacher data, and generates the regression model 134.
- FIG. 7 is a flowchart showing a procedure example of the regression model generation process.
- the control unit 11 acquires the inspection history (step S1).
- the inspection history is an accumulation of past inspection results, and is a past measurement value stored in the measurement value DB 131.
- the control unit 11 selects one history to be processed (step S2).
- the control unit 11 acquires the feature information corresponding to the selected history (step S3).
- the feature information is, for example, a scatter plot.
- the feature information is acquired from the feature information DB 132. If the feature information is not stored, it may be generated from the measured value.
- the control unit 11 acquires the gate information corresponding to the selected history (step S4).
- the gate information is acquired from the gate DB 133.
- the control unit 11 learns the regression model 134 using the acquired feature information and gate information as teacher data (step S5).
- the control unit 11 determines whether or not there is an unprocessed inspection history (step S6). When the control unit 11 determines that there is an unprocessed inspection history (YES in step S6), the control unit 11 returns the process to step S2 and performs a process related to the unprocessed inspection history. When the control unit 11 determines that there is no unprocessed inspection history (NO in step S6), the control unit 11 stores the regression model 134 (step S7) and ends the process.
- FIG. 8 is a flowchart showing a procedure example of the gate information output process.
- the control unit 11 acquires the measured value from the measuring unit 2 or the measured value DB 131 (step S11).
- the control unit 11 acquires the feature information for the measured value (step S12).
- the control unit 11 inputs the feature information into the regression model 134 and estimates the gate (step S13).
- the control unit 11 outputs gate information (estimated gate area) (step S14), and ends the process.
- FIG. 9 is an explanatory diagram showing an example of a scatter plot in which a gate is set.
- FIG. 9 is a scatter plot of SSC on the horizontal axis and FL3 on the vertical axis. Three gates are set. Both gates are oval.
- FIG. 10 is an explanatory diagram showing an example of in-gate analysis.
- the upper part of FIG. 10 is the same scatter plot as that of FIG.
- the lower part of FIG. 10 shows a scatter plot for each cell population contained in the gate.
- the horizontal axis of the three scatter plots is FL1 and the vertical axis is FL2. The inspector looks at the three scatter plots and corrects the gate if the set gate is not appropriate.
- the flow cytometer is equipped with a draw tool and the ellipse that sets the gate is editable.
- the inspector can change the position and size of the ellipse and the ratio of the major axis to the minor axis by using a pointing device such as a mouse included in the input unit 14. You can also add or remove gates.
- the gate information (correction area data) regarding the gate for which the correction is confirmed is stored in the gate information DB 133.
- the new measurements, feature information, and gate information will be teacher data for retraining the regression model 134.
- FIG. 11 is a flowchart showing an example of the procedure of the re-learning process.
- the control unit 11 acquires the update gate information (step S41).
- the updated gate information is the changed gate information when the inspector changes the gate based on the gate information output by the regression model 134.
- the control unit 11 selects the update gate information to be processed (step S42).
- the control unit 11 acquires two scatter plot images (feature information) corresponding to the gate information (step S43).
- the control unit 11 relearns the regression model 134 using the changed gate information and the two scatter plot images as teacher data (step S44).
- the control unit 11 determines whether or not there is unprocessed update gate information (step S45).
- control unit 11 determines that there is unprocessed update gate information (YES in step S45)
- the control unit 11 returns the process to step S42 and processes the unprocessed update gate information.
- control unit 11 determines that there is no unprocessed update gate information (NO in step S45)
- it updates the regression model 134 based on the result of relearning (step S46), and ends the process.
- the re-learning process may be performed by the learning server 3 instead of being performed by the flow cytometer 10.
- the changed parameters of the regression model 134 are transmitted from the learning server 3 to the flow cytometer 10, and the regression model 134 stored in the flow cytometer 10 is updated.
- the re-learning process may be executed every time update gate information is generated, may be executed at predetermined intervals as in a daily batch, or may be executed when a predetermined number of update gate information is generated. May be good.
- the regression model 134 shows an example of outputting a single numerical value (center X coordinate, center Y coordinate, major axis, minor axis, or inclination angle) from each of the plurality of output layers, but the present invention is not limited to this. It may be a set of numerical data. It may be five-dimensional data including the center X coordinate, the center Y coordinate, the major axis, the minor axis, and the inclination angle. For example, (10,15,20,10,15), (5,15,25,5,20), (10,15, ...), ..., Each node whose output layer contains a combination of values. Each node may output the probability for the combination of values.
- the gate information input / output to the learning model is a numerical value, but it may be an image. Learning and estimation in this case are performed as follows.
- U-NET which is one of the semantic segmentation models, is used as the learning model.
- U-NET is a kind of FCN (Fully Convolutional Networks), and includes an encoder that performs downsampling and a decoder that performs upsampling.
- U-NET is a neural network consisting only of a convolutional layer and a pooling layer without a fully connected layer. At the time of learning, images of a plurality of scatter plots are input to U-NET.
- U-NET Since U-NET outputs an image obtained by dividing the gate area and the non-gate area, learning is performed so that the gate area shown in the output image approaches the correct answer.
- two scatter plot images are input to U-NET.
- a scatter plot image showing the gate area is obtained as the output.
- the outline of the ellipse indicating the gate is detected by edge extraction. From the detected outline, the center coordinates (CX, CY) of the ellipse, the major axis DX, the minor axis DY, and the rotation angle ANG are obtained. Then, the cells contained in the gate are identified.
- the identification can be realized by using an internal / external determination algorithm for a polygon of a known point.
- the number of gate areas to be learned and output may be plural.
- the gate setting can be performed based on the gate setting proposed by the regression model 134, so that the work time can be shortened.
- the alternative positive rate is added as the input of the regression model 134.
- the feature amount is detected by a reaction with a fluorescent marker attached to the cell.
- the values measured by the markers are relative and require a threshold between positive and negative to use.
- the threshold is determined by observing the population within the gate from the negative control sample. By determining the threshold value from the negative sample, the positive degree of the marker in the subdivided sample measured by adding the marker can be obtained.
- the inspector corrects the gate by looking at the positive rate (the ratio of cells that become positive) in the gate. Therefore, the positive rate is likely to be useful even when the gate is set by the regression model 134.
- the positive rate is an index that can be calculated after the gate is set, it cannot be obtained before the gate is set. Therefore, an index that can be calculated even when the gate is not set and is considered to be effective for the gate setting is introduced as well as the positive rate. This index is called the alternative positive rate.
- the alternative positive rate is calculated as follows.
- the cell populations present in the sample have different thresholds for distinguishing between positive and negative. Therefore, the cell population is subdivided, and the threshold value is set within the subdivided population.
- a three-dimensional automatic clustering method, k-means is applied to the distribution of FSC, SSC, and FL3 of SEQ1 to form n small populations.
- n is a natural number.
- n 10.
- FIG. 12 is an explanatory diagram showing an example of 10 small groups. The pentagonal mark indicates the center of each subpopulation used for k-means. In FIG.
- the horizontal axis is SSC and the vertical axis is FL3 in a two-dimensional display, but in reality, the axis in the paper normal direction is FSC, which is a three-dimensional clustering.
- the threshold value is a value containing 90% of cells in a small population.
- the number of cells for each fraction in each small population is calculated.
- FIG. 13 is an explanatory diagram showing the number of cells for each fraction for each of the 10 small populations.
- the total number of cells for each fraction is obtained, and the obtained total is divided by the total number of cells to obtain the ratio.
- the substitute positive rate is calculated by calculating the ratio for each fraction for each SEQ.
- the number of cells in each fraction in the small population is UL (the number of cells in the upper left, the number of cells that are FL1 negative and FL2 positive), UR (the number of cells in the upper right, the number of cells that are FL1 positive and FL2 positive). Number), LR (number of cells in the lower right, number of cells positive for FL1 and negative for FL2), LL (number of cells in the lower left, number of cells negative for FL1 and negative for FL2).
- APR Alternative Positive Rate
- SEQ1 is a negative sample, there are almost no cells in the compartments other than the lower left.
- SEQ2 and later the center point of each small group obtained in SEQ1 is reflected in each SEQ. Divide into 10 subpopulations based on the center point closest to each cell.
- the threshold obtained in SEQ1 is applied to generate four fractions.
- the number of cells is calculated for each fraction of each subpopulation.
- FIG. 14 is an explanatory diagram showing the number of cells for each fraction for each of the 10 small populations.
- FIG. 14 is an example of SEQ2.
- the upper left is increased from 0.001 to 0.057. This indicates that there is a cell population in the sample that responds to the SEQ 2 marker.
- FIG. 15 is an explanatory diagram showing an example of calculation result of APR from SEQ 1 to SEQ 10. Then, a 10-by-4 matrix in which the APRs of each SEQ are combined is defined as the APR of the entire sample.
- FIG. 16 is an explanatory diagram showing an example of the calculation result of APR of one sample as a whole. It is a 10-by-4 matrix in which the APR of each SEQ shown in FIG. 15 is combined.
- one sample is dispensed, and among the test results performed for each dispensed sample, the distribution obtained from the result of the predetermined dispensed sample is clustered, and the threshold value indicating negative for each cluster is set.
- Calculate divide each cluster into small clusters according to the threshold, calculate the ratio of the number of cells contained in the divided small clusters to the total number of cells, and calculate the ratio of the number of cells contained in the divided small clusters to the total number of cells.
- the center point is reflected in the distribution obtained from the test results of the dispensed sample other than the result of the predetermined dispensed sample, the distribution is clustered according to the distance to the center point, and each cluster is smaller than the calculated threshold value.
- It is a matrix divided into clusters the ratio of the number of cells contained in the divided small clusters to the total number of cells is calculated, and the ratio for each small cluster is used as an element. It is desirable that the prescribed sample is a negative sample.
- FIG. 17 is an explanatory diagram showing an example of an alternative positive rate DB.
- the alternative positive rate DB135 stores the alternative positive rate (APR) calculated from the measured values.
- the alternative positive rate DB135 includes a test number column, a number column, an LL column, a UL column, an LR column, and a UR column.
- the inspection number string stores the inspection number.
- the number string stores the SEQ number.
- the LL column stores the cell number ratio in the lower left fraction.
- the UL column stores the cell count ratio in the upper left fraction.
- the LR column stores the cell number ratio in the lower right fraction.
- the UR column stores the cell number ratio in the upper right fraction.
- FIG. 18 is an explanatory diagram relating to the generation process of the regression model.
- FIG. 6 shown in the first embodiment is modified.
- the two accept scatter plot images as in FIG. One is a feature extractor that accepts APR.
- the combiner is extracted by three feature extractors and the feature quantities are combined.
- the predictor predicts and outputs each item of gate information (center X coordinate, center Y coordinate, major axis, minor axis, inclination angle) based on the combined features.
- the processing unit 1 compares the gate information obtained from the predictor with the information labeled for the scatter plot image in the teacher data, that is, the correct answer value, and extracts features so that the output value from the predictor approaches the correct answer value. Optimize the parameters used for arithmetic processing in the device and predictor. Other matters are the same as those in the first embodiment.
- the APR may be input to the coupler without going through the feature extractor. Further, the combination of values may be assigned to each node included in the output layer, and each node may output the probability for the combination of values.
- FIG. 19 is a flowchart showing another procedure example of the regression model generation process. The same step numbers are assigned to the processes similar to those in FIG. 7. After executing steps S1 to S3, the control unit 11 calculates the alternative positive rate (step S8).
- FIG. 20 is a flowchart showing a procedure example of the alternative positive rate calculation process.
- the control unit 11 performs clustering using k-means in the distribution of FSC, SSC, and FL3 in SEQ 1 (step S21).
- the control unit 11 calculates a threshold value indicating a negative value for each population obtained from the result of clustering (step S22).
- the control unit 11 calculates the number of cells for each section of each population (step S23).
- the control unit 11 calculates the cell ratio for each compartment and calculates the APR of SEQ 1 (step S24).
- the control unit 11 sets the counter variable i to 2 (step S25).
- the control unit 11 sets SEQi as a processing target (step S26).
- the control unit 11 reflects the central point of each group of SEQ1 in SEQi (step S27).
- the control unit 11 classifies each cell based on the center point (step S28). As mentioned above, each cell is divided into groups of cells with the same closer center point and divided into 10 populations.
- the control unit 11 applies the threshold value in SEQ 1 to each group (step S29).
- the control unit 11 calculates the cell number ratio of each section defined by the threshold value for each population, and calculates the APR (step S30).
- the control unit 11 increments the counter variable i by 1 (step S31).
- the control unit 11 determines whether or not the counter variable i is 10 or less (step S32).
- control unit 11 determines that the counter variable i is 10 or less (YES in step S32)
- the control unit 11 returns the process to step S26.
- the control unit 11 determines that the counter variable i is not 10 or less (NO in step S32)
- the control unit 11 outputs the alternative positive rate (step S33). The control unit 11 returns the process to the caller.
- step S5 the control unit 11 learns the regression model 134.
- the scatter plot image and the APR are input.
- the label indicating the correct answer value is the gate information.
- FIG. 21 is a flowchart showing another procedure example of the gate information output process.
- the same step numbers are assigned to the processes similar to those in FIG.
- the control unit 11 calculates the alternative positive rate (step S15).
- the control unit 11 inputs the scatter plot image and the alternative positive rate into the regression model 134 to estimate the gate (step S13).
- the control unit 11 outputs the gate information (step S14) and ends the process. Since the subsequent work of the inspector is the same as that of the first embodiment, the description thereof will be omitted.
- the alternative positive rate is included as the teacher data of the regression model 134. Also, when estimating the gate information by the regression model 134, the alternative positive rate is included. As a result, it is expected that the accuracy of the gate information output by the regression model 134 will be improved.
- the modified example of the first embodiment can be applied.
- Input a plurality of scatter plot images and APR into U-NET. Since U-NET outputs an image obtained by dividing the gate area and the non-gate area, learning is performed so that the gate area shown in the output image approaches the correct answer. After learning, when estimating the gate area, two scatter plot images and APR are input to U-NET. A scatter plot image showing the gate area is obtained as the output. Other processes are the same as those described above.
- CD45 gating in LLA is taken as an example, but CD45 gating in Malignant Lymphoma Analysis (MLA) examination can also be performed by the same procedure.
- the regression model used for CD45 gating in the malignant lymphoma analysis test is provided separately from the regression model 134 in LLA and stored in the auxiliary storage unit 13. Further, a column indicating the test content is added to the measured value DB 131, the feature information DB 132, the gate DB 133, and the alternative positive rate DB 135 so that it can be identified whether the data is LLA data or MLA data. Even when learning or estimating the gate, the inspection content is specified by the input unit 14 whether it is LLA or MLA.
- FIG. 22 is a flowchart showing another procedure example of the regression model generation process.
- the control unit 11 acquires the inspection content (step S51).
- the inspection contents are LLA, MLA, and the like.
- the control unit 11 acquires a learning model corresponding to the inspection content (step S52).
- the learning model is a regression model 134 for LLA, a regression model for MLA, and the like. Since step S53 and subsequent steps are the same as those of step S2 and subsequent steps in FIG. 7, the description thereof will be omitted.
- APR may be added to the input data as in the second embodiment.
- FIG. 23 is a flowchart showing another procedure example of the gate information output process.
- the control unit 11 acquires the inspection content and the measurement data (step S71).
- the control unit 11 acquires the feature information corresponding to the measurement data (step S72).
- the control unit 11 selects a learning model according to the inspection content (step S73).
- the control unit 11 inputs the feature information into the selected learning model and estimates the gate (step S74).
- the control unit 11 outputs the gate information (step S75) and ends the process.
- the APR may be generated from the measurement data and the APR may be added as the input data in step S74.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Dispersion Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
学習モデルを用いてゲート領域を推定するゲート領域推定プログラム等を提供すること。 ゲート領域推定プログラムは、測定項目が異なるフローサイトメトリーの測定より得た複数の散布図を含む散布図群を取得し、散布図群とゲート領域とを含む教師データに基づき学習を行った学習モデルに、取得した散布図群を入力し、前記学習モデルから得た推定ゲート領域を出力する処理をコンピュータに行わせる。
Description
本発明は、フローサイトメトリーにおけるゲート領域を推定するプログラム等に関する。
フローサイトメトリー(Flow Cytometry:FCM)は、単一の細胞毎に複数の特徴量を測定できる技術である。フローサイトメトリーでは、細胞を懸濁させた懸濁液を調製し、当該細胞が一列になって流れるように、測定装置内に懸濁液を流す。一個一個流れる細胞に光を当て、その光の散乱や蛍光具合により、細胞の大きさ、細胞内部の複雑さ、細胞の構成物質などの指標が得られる。フローサイトメトリーは医療においては、例えば、細胞性免疫検査に利用されている。
細胞性免疫検査では、検査機関はフローサイトメトリーで得られた複数の指標値の解析を行い、解析結果を検査結果として検査依頼機関へ返却する。解析技術の1つにゲーティングがある。ゲーティングは得られたデータの中から特定の集団のみを選んで解析する技術である。従来、解析対象とする集団の特定は、検査士が2次元の散布図において、楕円形や多角形(「ゲート」という)を描くことにより指定していた。このようなゲートの設定は、検査士の経験や知識による所が大きい。そのため、経験や知識が少ない検査士が適切なゲート設定を行うことは困難である。
それに対して、ゲート設定を自動化する技術が提案されている(特許文献1、2等)。しかしながら、従来技術は細胞の密度情報を用いた設定方法や、ルールベースによる手法での設定であり、検査士が蓄積してきた経験や知識が十分、活用されていない。
本発明はこのような状況に鑑みてなされたものである。その目的は、学習モデルを用いてゲート領域を推定するゲート領域推定プログラム等の提供である。
本発明に係るゲート領域推定プログラムは、測定項目が異なるフローサイトメトリーの測定より得た複数の散布図を含む散布図群を取得し、散布図群とゲート領域とを含む教師データに基づき学習を行った学習モデルに、取得した散布群を入力し、前記学習モデルから得た推定ゲート領域を出力する処理をコンピュータに行わせることを特徴とする。
本発明にあっては、熟練の検査士と同様なゲート設定を行うことが可能となる。
以下実施の形態を、図面を参照して説明する。以下の説明においては、白血病・リンパ腫解析(LLA:Leukemia, Lymphoma Analysis)検査におけるCD45ゲーティングを例として説明する。最初に、LLA検査の工程について説明する。LLA検査は大まかに5つの工程を含む。1.分注、2.前処理、3.測定・描写、4.解析、5.報告である。
分注工程では、一つの検体(以下、「ID」と記す。)を分ける工程である。LLA検査では一つのIDを最大10個に分注して検査を行う。分注した各検体をSEQと記す。また、分注した10の検体をSEQ1、SEQ2、…、SEQ10と記す。前処理工程では、各SEQに共通な処理(細胞濃度の調整など)を行い、個別に表面マーカを付ける。SEQ1はネガティブコントロールとする。ネガティブコントロールは、効果を検証したい対象と同一の条件で、既に陰性の結果が出ることが分かっている対象に検査を行うことを意味する語である。あるいは、ネガティブコントロールは当該検査対象を意味する語である。検査においては、検証したい対象と、ネガティブコントロールにおける結果を比較することで、その相対的な差異から検査結果が解析される。
測定・描写工程では、10個のSEQをフローサイトメータで測定を行い、蛍光値を得る。各SEQ内の個々の細胞について、測定値を含めた5つの項目からなる情報が得られる。項目の内訳は、FSC、SSC、FL1、FL2、FL3である。FSCは前方散乱光(FSC:Forward Scattered Light)の測定値を示す。レーザービームの光軸に対して前方で検出される散乱光の値を示す。FSCは細胞の表面積または大きさにほぼ比例するため、細胞の大きさを示す指標値となる。SSCは側方散乱光(SSC:Side Scattered Light)の測定値を示す。側方散乱光は、レーザービームの光軸に対して90°の角度で検出される光である。SSCは、その大部分が細胞内の物質に光が当たって散乱したものである。SSCは、細胞の顆粒性状、内部構造にほぼ比例するため、細胞の顆粒性状、内部構造を示す指標値となる。FLは蛍光(Fluorescence)を示すが、ここではフローサイトメータが備える複数の蛍光用検出器を示す。数字は蛍光用検出器の順番号を示す。FL1は1番目の蛍光検出器を示すが、ここでは、マーカとして各SEQのマーカ情報が設定される項目の名称である。FL2は2番目の蛍光検出器を示すが、ここでは、マーカとして各SEQのマーカ情報が設定される項目の名称である。FL3は3番目の蛍光用検出器を示すが、ここでは、CD45のマーカ情報が設定される項目の名称である。
フローサイトメータは、各SEQで2つの散布図を作成し、散布図をディスプレイ等に表示する。例えば、一つの散布図は、一方の軸をSSCとし、他方の軸をFL3とする。もう一つの散布図は、一方の軸をSSCとし、他方の軸をFSCとする。
解析工程では、散布図の様相より、検査士が疾患を推定し、各散布図上に疾患特定に有用なゲートを作成する。そして、ゲート範囲に存在する細胞のみからなるFL1―FL2の散布図を各SEQで作成し、マーカ反応として観察する。報告工程では、特に有用なゲートを2つ報告用に決定し、報告書を作成する。
(実施の形態1)
以下の説明では、解析工程で従来検査士が作成しているゲートを学習モデルに行わせる形態について説明する。図1は検査システムの構成例を示す説明図である。検査システムはフローサイトメータ(ゲート領域推定装置)10と学習サーバ3とを含む。フローサイトメータ10と学習サーバ3とはネットワークNを介して、通信可能に接続されている。フローサイトメータ10は、装置全体の動作に関する種々の処理を行う処理部1と、検体を受け入れ、フローサイトメトリーによる測定を行う測定部2とを含む。
以下の説明では、解析工程で従来検査士が作成しているゲートを学習モデルに行わせる形態について説明する。図1は検査システムの構成例を示す説明図である。検査システムはフローサイトメータ(ゲート領域推定装置)10と学習サーバ3とを含む。フローサイトメータ10と学習サーバ3とはネットワークNを介して、通信可能に接続されている。フローサイトメータ10は、装置全体の動作に関する種々の処理を行う処理部1と、検体を受け入れ、フローサイトメトリーによる測定を行う測定部2とを含む。
学習サーバ3は、サーバコンピュータ、ワークステーション等で構成する。学習サーバ3は検査システムにおいて、必須の構成ではない。学習サーバ3は、主としてフローサイトメータ10を補完する役目を担い、測定データや学習モデルをバックアップとして記憶する。また、フローサイトメータ10に代わって、学習サーバ3が学習モデルの生成、学習モデルの再学習を行ってもよい。この場合、学習サーバ3は、学習モデルを特徴付けるパラメータ等をフローサイトメータに送信する。なお、学習サーバ3の機能を、クラウドサービス、クラウドストレージで提供してもよい。
図2は、処理部のハードウェア構成例を示すブロック図である。処理部1は制御部11、主記憶部12、補助記憶部13、入力部14、表示部15、通信部16、及び読み取り部17を含む。制御部11、主記憶部12、補助記憶部13、入力部14、表示部15、通信部16、及び読み取り部17はバスBにより接続されている。処理部1はフローサイトメータ10と別体としても良い。処理部1は、PC(Personal Computer)、ノートパソコン、タブレットコンピュータ等で構築してもよい。処理部1を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成してもよい。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有する。制御部11は、補助記憶部13に記憶された図示しないOS(Operating System)や制御プログラム1P(ゲート領域推定プログラム)を読み出して実行することにより、フローサイトメータ10に係る種々の情報処理、制御処理等を行う。また、制御部11は取得部、出力部等の機能部を含む。
主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等である。主記憶部12は主として制御部11が演算処理を実行するために必要なデータを一時的に記憶する。
補助記憶部13はハードディスク又はSSD(Solid State Drive)等であり、制御部11が処理を実行するために必要な制御プログラム1Pや各種DB(Database)を記憶する。補助記憶部13は、測定値DB131、特徴情報DB132、ゲートDB133、代替陽性率DB135、及び回帰モデル134を記憶する。代替陽性率DB135は本実施の形態においては、必須ではない。補助記憶部13はフローサイトメータ10に接続された外部記憶装置であってもよい。補助記憶部13に記憶する各種DB等を、ネットワークNで接続されたデータベースサーバやクラウドストレージに記憶してもよい。
入力部14はキーボードやマウスである。表示部15は液晶表示パネル等を含む。表示部15は測定を行うための情報や測定結果、ゲート情報などを種々の情報を表示する。表示部15は入力部14と一体化したタッチパネルディスプレイでもよい。なお、表示部15に表示する情報をフローサイトメータ10の外部表示装置に表示を行ってもよい。
通信部16はネットワークNを介して、学習サーバ3と通信を行う。また、制御部11が通信部16を用い、ネットワークN等を介して他のコンピュータから制御プログラム1Pをダウンロードし、補助記憶部13に記憶してもよい。
読み取り部17はCD(Compact Disc)-ROM及びDVD(Digital Versatile Disc)-ROMを含む可搬型記憶媒体1aを読み取る。制御部11が読み取り部17を介して、制御プログラム1Pを可搬型記憶媒体1aより読み取り、補助記憶部13に記憶してもよい。また、ネットワークN等を介して他のコンピュータから制御部11が制御プログラム1Pをダウンロードし、補助記憶部13に記憶してもよい。さらにまた、半導体メモリ1bから、制御部11が制御プログラム1Pを読み込んでもよい。
補助記憶部13が記憶するデータベースについて説明する。図3は測定値DB131の例を示す説明図である。測定値DB131はフローサイトメータ10による測定の測定値を記憶する。図3に示すのは測定値DB131に記憶される1レコードの例である。測定値DB131の各レコードは、基本部1311とデータ部1312とを含む。基本部1311は受付番号列、受付日列、検査番号列、検査日列、カルテ番号列、氏名列、性別列、年齢列、及び採取日列を含む。受付番号列は検査依頼を受け付けた際に発番する受付番号を記憶する。受付日列は、検査依頼を受け付けた日付を記憶する。検査番号列は検査を行う際に発番する検査番号を記憶する。検査日列は検査を実施した日付を記憶する。カルテ番号列は検査依頼に対応するカルテの番号を記憶する。氏名列は検体を提供した被検査者の氏名を記憶する。性別列は被検査者の性別を記憶する。例えば、被検査者が男性であれば、性別列はMを記憶する。被検査者が女性であれば、性別列はFを記憶する。年齢列は被検査者の年齢を記憶する。採取日列は被検査者から検体を採取した日付を記憶する。データ部1312において、各列は測定項目について、細胞毎の測定値を記憶する。各行は一つの細胞について、測定項目毎の測定値を記憶する。
図4は特徴情報DBの例を示す説明図である。特徴情報DB132は測定値から得られる特徴を示す情報(以下、「特徴情報」とも言う。)を記憶する。特徴情報は例えば、散布図やヒストグラムである。特徴情報DB132は、受付番号列、検査番号列、順番号列、種別列、横軸列、縦軸列、及び画像列を含む。受付番号列は、受付番号を記憶する。検査番号列は、検査番号を記憶する。順番号列は同一検査内での特徴情報の順番号を記憶する。種別列は特徴情報の種別を記憶する。例えば、種別は上述したように散布図やヒストグラムである。横軸列は散布図やヒストグラムにおいて横軸として採用した項目を記憶する。縦軸列は散布図において縦軸として採用した項目を記憶する。ヒストグラムの場合、縦軸は細胞数であるので、縦軸列は細胞数を記憶する。画像列は散布図やヒストグラムを画像として記憶する。
図5はゲートDBの例を示す説明図である。ゲートDB133の例を示す説明図である。ゲートDB133は散布図に対して、設定されたゲートの情報(ゲート情報)を記憶する。ゲート情報はゲート領域を確定するための情報である。ゲート情報はゲート領域の外形線を示す図形の情報、ゲート領域に含まれる測定値の値範囲、ゲート領域に含まれる測定値の集合などである。散布図画像上において、ゲート領域に含まれる点のピクセル座標値でもよい。ここでは、ゲート情報はゲート領域の外形線を示す図形とし、その形状は楕円形状とするが、それに限られない。図形は複数の辺から構成される多角形や、複数の曲線を結んだ図形でもよい。ゲートDB133は、受付番号列、検査番号列、横軸列、縦軸列、ゲート番号列、CX列、CY列、DX列、DY列、及びANG列を含む。受付番号列は受付番号を記憶する。検査番号列は検査番号を記憶する。横軸列は散布図において横軸として採用した項目を記憶する。縦軸列は散布図において縦軸として採用した項目を記憶する。ゲート番号列はゲートの順番号を記憶する。CX列は楕円の中心x座標値を記憶する。CY列は楕円の中心y座標値を記憶する。DX列は楕円の短径の値を記憶する。DY列は楕円の長径の値を記憶する。ANG列は楕円の傾き角度を記憶する。例えば、傾き角度は横軸と楕円の長径とがなす角度である。ゲート形状として、多角形を設定可能とする場合、ゲートDB133は多角形を形づくる複数点の座標列を記憶する。
図6は回帰モデルの生成処理に関する説明図である。図6は、機械学習を行って回帰モデル134生成する処理を示している。図6に基づき、回帰モデル134の生成処理について説明する。
本実施の形態にフローサイトメータ10において、処理部1は、測定部2で得た測定結果に基づき作成した散布図画像に対する適切なゲートの特徴量を学習するディープラーニングを行う。ディープラーニングを行うことで、処理部1は複数の散布図画像(散布図群)を入力とし、ゲート情報を出力とする回帰モデル134を生成する。複数の散布図画像とは、少なくとも1軸の項目が異なる複数の散布図画像である。例えば、横軸がSSCで縦軸がFL3の散布図画像と、横軸がSSCで縦軸がFSCの散布図画像とからなる2つの散布図画像である。3つ以上の散布図画像を入力してもよい。ニューラルネットワークは例えばCNN(Convolution Neural Network)である。回帰モデル134は、各散布図画像の特徴量をそれぞれ学習する複数の特徴抽出器と、各特徴抽出器が出力した特徴量を結合する結合器と、結合した特徴量に基づき、ゲート情報の各項目(中心X座標、中心Y座標、長径、短径、傾斜角度)を予測し出力する複数の予測器とを有する。なお、回帰モデル134に散布図画像ではなく、散布図の基になる測定値の集合を入力してもよい。
各特徴抽出器は、入力層、中間層を含む。入力層は、散布図画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、散布図画像内からの特徴量を抽出して出力層に受け渡す。例えば特徴抽出器がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有する。中間層は、画素情報を圧縮しながら最終的に画像特徴量を抽出する。散布図画像を入力する特徴抽出器を画像毎に設けるのではなく、1つの特徴抽出器に複数の散布図画像に入力する構成でもよい。
なお、本実施の形態では回帰モデル134がCNNであるものとして説明するが、回帰モデル134はCNNに限定されず、CNN以外のニューラルネットワーク、ベイジアンネットワーク、決定木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。
処理部1は、複数の散布図画像と、散布図に対応したゲート情報の正解値とが対応付けられた教師データを用いて学習を行う。例えば図6に示すように、教師データは、複数の散布図画像に対し、ゲート情報がラベル付けされたデータである。なお、ここでは簡略のため、2種類の散布図を1組の散布図とする。また、1組の散布図に対して、1つのゲートを設けるものとして説明するが、複数のゲートを設けてもよい。この場合、ゲート情報には有用度を示す値を含める。
処理部1は、教師データである2つの散布図画像をそれぞれ異なる特徴抽出器に入力する。各特徴抽出器が出力した特徴量が結合器により結合される。結合器による結合は、単純に特徴量を結合する方法(Concatenate)、特徴量を示す値を加算する(Add)方法、特徴量の最大のものを選択する(Maxpool)方法などがある。
結合された特徴量に基づき、各予測器は予測結果として、ゲート情報を出力する。各予測器が出力する値の組み合わせで、1組のゲート情報となる。出力するゲート情報は複数組であってよい。この場合、複数組に応じた数の予測器を設ける。例えば、優先順位1位のゲート情報と、優先順位2位のゲート情報とを出力する場合、図6における予測器の数が5から10個となる。
処理部1は予測器から得たゲート情報を、教師データにおいて散布図画像に対しラベル付けされた情報、すなわち正解値と比較し、予測器からの出力値が正解値に近づくように、特徴抽出器や予測器での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば処理部1は誤差逆伝播法を用いて各種パラメータの最適化を行う。処理部1は、教師データに含まれる検査毎のデータについて上記の処理を行い、回帰モデル134を生成する。
次に、処理部1の制御部11が行う処理について説明する。図7は回帰モデル生成処理の手順例を示すフローチャートである。制御部11は検査履歴を取得する(ステップS1)。検査履歴は過去の検査結果の蓄積であり、測定値DB131に記憶された過去の測定値である。制御部11は処理対象とする1つの履歴を選択する(ステップS2)。制御部11は選択した履歴に対応する特徴情報を取得する(ステップS3)。特徴情報は例えば散布図である。特徴情報は特徴情報DB132から取得する。特徴情報が記憶されていない場合、測定値から生成してもよい。制御部11は選択した履歴に対応するゲート情報を取得する(ステップS4)。ゲート情報はゲートDB133より取得する。制御部11は取得した特徴情報とゲート情報とを教師データとして、回帰モデル134の学習を行う(ステップS5)。制御部11は未処理の検査履歴がある否かを判定する(ステップS6)。制御部11は未処理の検査履歴があると判定した場合(ステップS6でYES)、処理をステップS2に戻し、未処理の検査履歴に関する処理を行う。制御部11は未処理の検査履歴がないと判定した場合(ステップS6でNO)、回帰モデル134を記憶し(ステップS7)、処理を終了する。
続いて、回帰モデル134を用いたゲートの設定について説明する。図8はゲート情報出力処理の手順例を示すフローチャートである。制御部11は測定部2、又は測定値DB131から、測定値を取得する(ステップS11)。制御部11は測定値に対する特徴情報を取得する(ステップS12)。制御部11は特徴情報を回帰モデル134に入力し、ゲートの推定を行う(ステップS13)。制御部11はゲート情報(推定ゲート領域)を出力し(ステップS14)、処理を終了する。
ゲート情報に基づき、表示部15に表示する散布図にゲートを設定する。図9はゲートが設定された散布図の例を示す説明図である。図9は横軸がSSC、縦軸がFL3の散布図である。ゲートは3つ設定されている。いずれのゲートも楕円状である。図10はゲート内解析の例を示す説明図である。図10の上段は図9と同じ散布図である。図10の下段は、ゲート内に含まれる細胞の集団毎に散布図を表示している。3つの散布図の横軸はFL1、縦軸はFL2である。検査士は3つの散布図を見て、設定されたゲートが適切でない場合、ゲートを修正する。フローサイトメータはドローツールを備えており、ゲートを設定する楕円が編集可能である。検査士は入力部14に含まれるマウスなどのポインティングデバイスを用いて、楕円の位置や大きさ、長径と短径との比率を変更可能である。ゲートの追加や削除も可能である。修正が確定したゲートに関するゲート情報(修正領域データ)は、ゲート情報DB133に記憶される。新たな測定値、特徴情報、及びゲート情報は、回帰モデル134の再学習用の教師データとなる。
図11は再学習処理の手順例を示すフローチャートである。制御部11は、更新ゲート情報を取得する(ステップS41)。更新ゲート情報は、回帰モデル134が出力したゲート情報に基づくゲートを検査士が変更した場合の変更後のゲート情報である。制御部11は処理対象とする更新ゲート情報を選択する(ステップS42)。制御部11はゲート情報に対応する2つの散布図画像(特徴情報)を取得する(ステップS43)。制御部11は変更後のゲート情報、2つの散布図画像を教師データとして、回帰モデル134の再学習を行う(ステップS44)。制御部11は未処理の更新ゲート情報があるか否か判定する(ステップS45)。制御部11は未処理の更新ゲート情報があると判定した場合(ステップS45でYES)、処理をステップS42に戻し、未処理の更新ゲート情報についての処理を行う。制御部11は未処理の更新ゲート情報がないと判定した場合(ステップS45でNO)、再学習の結果に基づき回帰モデル134を更新し(ステップS46)、処理を終了する。
なお、再学習処理は、フローサイトメータ10が行うのではなく、学習サーバ3が行ってもよい。この場合、再学習の結果、変更された回帰モデル134のパラメータが、学習サーバ3からフローサイトメータ10に送信され、フローサイトメータ10が記憶する回帰モデル134が更新される。また、再学習処理は、更新ゲート情報が発生する毎に実行してもよいし、日次バッチのように所定の間隔で実行してもよいし、更新ゲート情報が所定数発生したら実行してもよい。
回帰モデル134は複数の出力層それぞれから単一の数値(中心X座標、中心Y座標、長径、短径、又は傾斜角度)を出力する例を示したが、それに限らない。数値の組データであってもよい。中心X座標、中心Y座標、長径、短径、及び傾斜角度を含む5次元のデータでもよい。例えば、(10,15,20,10,15)、(5,15,25,5,20)、(10,15,…)、…のように、値の組み合わせを出力層に含まれる各ノードに割り当て、各ノードは値の組み合わせに対する確率を出力するようにしてもよい。
(変形例)
学習モデルに入出力するゲート情報を数値としたが、画像としてもよい。この場合の学習、推定は次のように行う。学習モデルとしてセマンティックセグメンテーションのモデルの一つであるU-NETを用いる。U-NETはFCN(Fully Convolutional Networks)の一種であり、ダウンサンプリングを行うエンコーダと、アップサンプリングを行うデコーダとを含む。U-NETは全結合層がなく、畳み込み層とプーリング層だけで構成されるニューラルネットワークである。学習時、複数の散布図の画像をU-NETへ入力する。U-NETはゲート領域とそうでない領域を分割した画像を出力するので、出力された画像に示されたゲート領域が正解に近づくように学習を行う。学習後、ゲート領域を推定する場合は、2つの散布図画像をU-NETに入力する。出力としてゲート領域が示された散布図画像が得られる。得られた画像に対して、エッジ抽出により、ゲートを示す楕円の外形線を検出する。検出した外形線から楕円の中心座標(CX、CY)、長径DX、短径DY、回転角度ANGを求める。そして、ゲート内に含まれる細胞を特定する。当該特定は、公知である点の多角形に対する内外判定アルゴリズムを利用して実現可能である。学習及び出力させるゲート領域の数は、複数でもよい。
学習モデルに入出力するゲート情報を数値としたが、画像としてもよい。この場合の学習、推定は次のように行う。学習モデルとしてセマンティックセグメンテーションのモデルの一つであるU-NETを用いる。U-NETはFCN(Fully Convolutional Networks)の一種であり、ダウンサンプリングを行うエンコーダと、アップサンプリングを行うデコーダとを含む。U-NETは全結合層がなく、畳み込み層とプーリング層だけで構成されるニューラルネットワークである。学習時、複数の散布図の画像をU-NETへ入力する。U-NETはゲート領域とそうでない領域を分割した画像を出力するので、出力された画像に示されたゲート領域が正解に近づくように学習を行う。学習後、ゲート領域を推定する場合は、2つの散布図画像をU-NETに入力する。出力としてゲート領域が示された散布図画像が得られる。得られた画像に対して、エッジ抽出により、ゲートを示す楕円の外形線を検出する。検出した外形線から楕円の中心座標(CX、CY)、長径DX、短径DY、回転角度ANGを求める。そして、ゲート内に含まれる細胞を特定する。当該特定は、公知である点の多角形に対する内外判定アルゴリズムを利用して実現可能である。学習及び出力させるゲート領域の数は、複数でもよい。
本実施の形態においては、経験の浅い検査士であっても、疾患特定において重要な細胞集団を示すためのゲート設定が可能となる。また、熟練した検査士の場合、従来と異なり、回帰モデル134が提案したゲート設定に基づき、ゲート設定を行えるので、作業時間を短縮することが可能となる。
(実施の形態2)
本実施の形態では、回帰モデル134の入力として、代替陽性率を加える。まず、フローサイトメトリーでは細胞に付した蛍光マーカによる反応で特徴量を検出する。マーカによる測定値は相対値であり、用いるには陽性と陰性との間で閾値が必要である。閾値は陰性コントロール検体から、ゲート内の集団を観察して決められる。陰性検体から閾値を求めたことで、マーカを加えて測定した小分け検体におけるマーカの陽性度が得られる。従来、ゲート設定を行う際、検査士はゲート内の陽性率(陽性となる細胞の割合)を見てゲートの修正を行っている。そのため、回帰モデル134によりゲート設定を行なう場合においても、陽性率は有用である可能性が高い。しかし、陽性率はゲート設定を行った後に算出できる指標であるため、ゲート設定前には得ることができない。そこで、ゲート設定を行っていない状態においても、算出可能であり、陽性率と同様にゲート設定に有効と考える指標を導入する。当該指標を代替陽性率と呼ぶ。
本実施の形態では、回帰モデル134の入力として、代替陽性率を加える。まず、フローサイトメトリーでは細胞に付した蛍光マーカによる反応で特徴量を検出する。マーカによる測定値は相対値であり、用いるには陽性と陰性との間で閾値が必要である。閾値は陰性コントロール検体から、ゲート内の集団を観察して決められる。陰性検体から閾値を求めたことで、マーカを加えて測定した小分け検体におけるマーカの陽性度が得られる。従来、ゲート設定を行う際、検査士はゲート内の陽性率(陽性となる細胞の割合)を見てゲートの修正を行っている。そのため、回帰モデル134によりゲート設定を行なう場合においても、陽性率は有用である可能性が高い。しかし、陽性率はゲート設定を行った後に算出できる指標であるため、ゲート設定前には得ることができない。そこで、ゲート設定を行っていない状態においても、算出可能であり、陽性率と同様にゲート設定に有効と考える指標を導入する。当該指標を代替陽性率と呼ぶ。
代替陽性率は次のように算出する。検体内に存在する細胞集団は、それぞれ陽性、陰性を分ける閾値が異なる。そこで、細胞集団を小分けし、小分けした集団内で閾値を設定する。本実施の形態では、SEQ1のFSC、SSC、FL3の分布において、3次元の自動クラスタリング手法、k-meansを適用し、n個の小集団を作る。nは自然数である。ここではn=10である。図12は10個の小集団の例を示す説明図である。五角形のマークはk-meansに用いられる各小集団の中心を示す。図12では横軸がSSC、縦軸がFL3の2次元表示となっているが、実際は紙面法線方向の軸がFSCである3次元のクラスタリングである。SEQ1の各小集団のFL1とFL2より、陰性を示す閾値を機械的に算出する。例えば、小集団内の90%の細胞を含む値を閾値とする。次に各小集団における分画毎の細胞数を求める。図13は10個の小集団それぞれについて、分画毎の細胞数を示す説明図である。次に、分画毎の細胞数の合計を求め、求めた合計を全細胞数で除算し、割合を求める。この分画毎の割合をSEQ毎に算出したものを代替陽性率とする。小集団内の各分画の細胞数をUL(左上の細胞数、FL1が陰性かつFL2が陽性である細胞の数)、UR(右上の細胞数、FL1が陽性かつFL2が陽性である細胞の数)、LR(右下の細胞数、FL1が陽性かつFL2が陰性である細胞の数)、LL(左下の細胞数、FL1が陰性かつFL2が陰性である細胞の数)とする。各小集団をk(k=1,2,…,10)、全体の細胞数をNとすると、代替陽性率(APR:Alternative Positive Rate)は、以下の数式(1)で算出できる。
そして、SEQ1のAPRは以下となる。
なお、SEQ1は陰性検体なので、左下以外の区画には殆ど細胞は存在しない。SEQ2以降については、SEQ1で求めた各小集団の中心点をSEQそれぞれに反映する。各細胞から最も近い中心点に基づいて、10個の小集団に分ける。各小集団に対し、SEQ1で得た閾値を適用し、4つの分画を生成する。SEQ1と同様に各小集団の各分画について、細胞数を求める。図14は、10個の小集団それぞれについて、分画毎の細胞数を示す説明図である。図14はSEQ2についての例である。図14に示した分画毎の細胞数に基づき上記の式(1)を用いて、APRを算出すると以下のようになる。
SEQ1のAPRと比較すると、左上が0.001から0.057へ上昇している。これは、検体内にSEQ2のマーカに反応する細胞集団があることを示している。
同様に、SEQ3からSEQ10について、APRを算出する。以下に、各SEQのAPR算出例を示す。図15はSEQ1からSEQ10までのAPRの算出結果例を示す説明図である。そして、各SEQのAPRを合わせた10行4列の行列を1検体全体のAPRとする。図16は1検体全体のAPRの算出結果例を示す説明図である。図15に示した各SEQのAPRを合わせた10行4列の行列となっている。代替陽性率は、1つの検体を分注し、分注した検体毎に行った検査結果のうち、所定の分注した検体の結果から得られる分布をクラスタリングし、クラスタ毎に陰性を示す閾値を算出し、各クラスタを閾値により小クラスタに分割し、分割した小クラスタに含まれる細胞数の全細胞数に対する割合を算出し、所定の分注した検体の結果から得た分布についての各クラスタの中心点を、所定の分注した検体の結果以外の分注した検体の検査結果から得られる分布に反映させ、中心点への距離により、分布をクラスタリングし、各クラスタを前記算出した閾値により小クラスタに分割し、分割した小クラスタに含まれる細胞数の全細胞数に対する割合を算出し、すべての小クラスタ毎の割合を要素とする行列である。なお、所定の分注した検体は陰性検体が望ましい。
図17は代替陽性率DBの例を示す説明図である。代替陽性率DB135は測定値から算出した代替陽性率(APR)を記憶する。代替陽性率DB135は検査番号列、番号列、LL列、UL列、LR列、及びUR列を含む。検査番号列は検査番号を記憶する。番号列はSEQの番号を記憶する。LL列は左下分画の細胞数割合を記憶する。UL列は左上分画の細胞数割合を記憶する。LR列は右下分画の細胞数割合を記憶する。UR列は右上分画の細胞数割合を記憶する。
本実施の形態においては、回帰モデル134の学習の教師データとして計測値から求めたAPRを含める。図18は回帰モデルの生成処理に関する説明図である。実施の形態1で示した図6を変更したものである。本実施の形態においては、特徴抽出器が3つとしてある。2つは図6と同様に散布図画像を受け付ける。1つはAPRを受け付ける特徴抽出器である。結合器は3つの特徴抽出器が抽出し特徴量を結合する。予測器は、結合された特徴量に基づき、ゲート情報の各項目(中心X座標、中心Y座標、長径、短径、傾斜角度)を予測し出力する。処理部1は予測器から得たゲート情報を、教師データにおいて散布図画像に対しラベル付けされた情報、すなわち正解値と比較し、予測器からの出力値が正解値に近づくように、特徴抽出器や予測器での演算処理に用いるパラメータを最適化する。その他の事項については、実施の形態1と同様である。なお、APRは、特徴抽出器を介することなく、結合器へ入力してもよい。また、値の組み合わせを出力層に含まれる各ノードに割り当て、各ノードは値の組み合わせに対する確率を出力するようにしてもよい。
図19は回帰モデル生成処理の他の手順例を示すフローチャートである。図7と同様な処理については同じステップ番号を付している。制御部11はステップS1からS3を実行した後、代替陽性率を算出する(ステップS8)。
図20は、代替陽性率算出処理の手順例を示すフローチャートである。制御部11は、SEQ1におけるFSC、SSC、FL3の分布において、k-meansを利用したクラスタリングを行う(ステップS21)。制御部11は、クラスタリングの結果より得た集団毎に陰性を示す閾値を算出する(ステップS22)。制御部11は各集団の区画毎に細胞数を算出する(ステップS23)。制御部11は区画毎の細胞割合を算出し、SEQ1のAPRを算出する(ステップS24)。制御部11はカウンタ変数iに2を設定する(ステップS25)。制御部11はSEQiを処理対象として設定する(ステップS26)。制御部11はSEQ1の各集団の中心点をSEQiに反映する(ステップS27)。制御部11は中心点を基準にして、各細胞をクラス分けする(ステップS28)。上述したように、各細胞はもっと近い中心点が同一である細胞のグループに分けられ、10個の集団に分けられる。制御部11は各集団について、SEQ1での閾値を適用する(ステップS29)。制御部11は各集団について閾値で定められた各区画の細胞数割合を算出し、APRを算出する(ステップS30)。制御部11はカウンタ変数iに1増加させる(ステップS31)。制御部11はカウンタ変数iが10以下か否かを判定する(ステップS32)。制御部11はカウンタ変数iが10以下であると判定した場合(ステップS32でYES)、処理をステップS26に戻す。制御部11はカウンタ変数iが10以下でないと判定した場合(ステップS32でNO)、代替陽性率を出力する(ステップS33)。制御部11は処理を呼び出し元に戻す。
処理は図19のステップS4から再開される。ステップS5で制御部11は回帰モデル134の学習を行う。上述したように、本実施の形態においては、散布図画像とAPRが入力である。正解値を示すラベルはゲート情報である。以下、ステップS6以降は、図7と同様であるから、説明を省略する。
続いて、回帰モデル134を用いたゲートの設定について説明する。図21はゲート情報出力処理の他の手順例を示すフローチャートである。図8と同様な処理については同じステップ番号を付している。制御部11はステップS12を実行した後、代替陽性率算出を行う(ステップS15)。制御部11は散布図画像と代替陽性率を回帰モデル134に入力しゲートの推定を行う(ステップS13)。制御部11はゲート情報を出力し(ステップS14)、処理を終了する。その後の検査士の作業は実施の形態1と同様であるから説明を省略する。
本実施の形態においては、回帰モデル134の教師データとして、代替陽性率を含めている。また、回帰モデル134により、ゲート情報の推定を行う場合にも、代替陽性率を含める。それにより、回帰モデル134が出力するゲート情報の精度向上が期待される。
本実施の形態においても、実施の形態1の変形例が適用可能である。複数の散布図画像とAPRとをU-NETに入力する。U-NETはゲート領域とそうでない領域を分割した画像を出力するので、出力された画像に示されたゲート領域が正解に近づくように学習を行う。学習後、ゲート領域を推定する場合は、2つの散布図画像とAPRとをU-NETに入力する。出力としてゲート領域が示された散布図画像が得られる。その他の処理は上述した内容と同様である。
なお、上述の実施の形態では、LLAにおけるCD45ゲーティングを例としたが、悪性リンパ腫解析(MLA:Malignant Lymphoma Analysis)検査におけるCD45ゲーティングでも、同様な手順で実行可能である。悪性リンパ腫解析検査におけるCD45ゲーティングで用いる回帰モデルは、LLAにおける回帰モデル134と別に設け、補助記憶部13に記憶する。また、測定値DB131、特徴情報DB132、ゲートDB133、代替陽性率DB135には、検査内容を示す列を追加し、LLAのデータであるのか、MLAのデータであるのか識別可能とする。学習やゲートの推定を行う場合においても、LLAであるのか、MLAであるのか、検査内容を入力部14で指定する。
図22は回帰モデル生成処理の他の手順例を示すフローチャートである。制御部11は検査内容を取得する(ステップS51)。例えば、上述したように検査内容は、LLA、MLA等である。制御部11は検査内容に対応した学習モデルを取得する(ステップS52)。学習モデルは、LLA用の回帰モデル134、MLA用の回帰モデル等である。ステップS53以降は、図7のステップS2以降と同様であるので、説明を省略する。なお、実施の形態2と同様にAPRを入力データに加えてもよい。
図23はゲート情報出力処理の他の手順例を示すフローチャートである。制御部11は検査内容及び測定データを取得する(ステップS71)。制御部11は測定データに対応した特徴情報を取得する(ステップS72)。制御部11は検査内容に応じた学習モデルを選択する(ステップS73)。制御部11は特徴情報を選択した学習モデルに入力し、ゲートの推定を行う(ステップS74)。制御部11はゲート情報を出力し(ステップS75)、処理を終了する。実施の形態2と同様に、APRを入力として受け付ける学習モデルの場合、測定データからAPRを生成し、ステップS74における入力データとしてAPRを加えてもよい。
各実施の形態で記載されている技術的特徴(構成要件)はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
10 フローサイトメータ
1 処理部
11 制御部
12 主記憶部
13 補助記憶部
131 測定値DB
132 特徴情報DB
133 ゲートDB
134 回帰モデル
135 代替陽性率DB
14 入力部
15 表示部
16 通信部
17 読み取り部
1P 制御プログラム
1a 可搬型記憶媒体
1b 半導体メモリ
2 測定部
3 学習サーバ
1 処理部
11 制御部
12 主記憶部
13 補助記憶部
131 測定値DB
132 特徴情報DB
133 ゲートDB
134 回帰モデル
135 代替陽性率DB
14 入力部
15 表示部
16 通信部
17 読み取り部
1P 制御プログラム
1a 可搬型記憶媒体
1b 半導体メモリ
2 測定部
3 学習サーバ
Claims (9)
- 測定項目が異なるフローサイトメトリーの測定より得た複数の散布図を含む散布図群を取得し、
散布図群とゲート領域とを含む教師データに基づき学習を行った学習モデルに、取得した散布図群を入力し、
前記学習モデルから得た推定ゲート領域を出力する
処理をコンピュータに行わせることを特徴とするゲート領域推定プログラム。 - 前記推定ゲート領域を有用度と共に複数出力する
ことを特徴とする請求項1に記載のゲート領域推定プログラム。 - 前記学習モデルは、前記散布図群と前記ゲート領域と代替陽性率とを含む教師データに基づき学習を行ったものであり、
前記学習モデルに、散布図群と代替陽性率とを入力し、
前記学習モデルから前記推定ゲート領域を得る
ことを特徴とする請求項1又は請求項2に記載のゲート領域推定プログラム。 - 前記ゲート領域は楕円形状をなす
ことを特徴とする請求項1から請求項3のいずれか1項に記載のゲート領域推定プログラム。 - 前記推定ゲート領域を修正した修正領域データを取得し、
取得した修正領域データに基づき、前記学習モデルを再学習する
ことを特徴とする請求項1から請求項4のいずれか1項に記載のゲート領域推定プログラム。 - 複数の散布図を含む散布図群と検査内容とを取得し、
取得した検査内容に応じた前記学習モデルに、取得した散布図群を入力する
ことを特徴とする請求項1から請求項5のいずれか1項に記載のゲート領域推定プログラム。 - 測定項目が異なるフローサイトメトリーの測定より得た複数の散布図を含む散布図群を取得する取得部と、
散布図群とゲート領域とを含む教師データに基づき学習を行った学習モデルに、取得した散布図群を入力する入力部と、
前記学習モデルから得た推定ゲート領域を出力する出力部と
を備えることを特徴とするゲート領域推定装置。 - 測定項目が異なるフローサイトメトリーにより得た複数の散布図を含む散布図群と、前記散布図群に対応したゲート領域とを対応付けた教師データを取得し、
取得した教師データに基づき、前記散布図群を入力した場合に、前記散布図群に対応したゲート領域を出力する学習モデルを生成する
処理をコンピュータが実行することを特徴とする学習モデルの生成方法。 - 前記教師データは、代替陽性率を含み、
前記散布図群と代替陽性率とが入力された場合に、ゲート領域を出力するよう前記学習モデルを学習する
ことを特徴とする請求項8に記載の学習モデルの生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080061932.0A CN114364965A (zh) | 2019-09-02 | 2020-09-01 | 门区推定程序、门区推定装置、学习模型的生成方法 |
JP2021543763A JP7445672B2 (ja) | 2019-09-02 | 2020-09-01 | ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 |
US17/639,608 US20220334043A1 (en) | 2019-09-02 | 2020-09-01 | Non-transitory computer-readable storage medium, gate region estimation device, and method of generating learning model |
EP20860166.6A EP4027131A4 (en) | 2019-09-02 | 2020-09-01 | GRID REGION ESTIMATION PROGRAM, GRID REGION ESTIMATION DEVICE, AND LEARNING MODEL GENERATION METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-159937 | 2019-09-02 | ||
JP2019159937 | 2019-09-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021045024A1 true WO2021045024A1 (ja) | 2021-03-11 |
Family
ID=74852451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/032979 WO2021045024A1 (ja) | 2019-09-02 | 2020-09-01 | ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220334043A1 (ja) |
EP (1) | EP4027131A4 (ja) |
JP (1) | JP7445672B2 (ja) |
CN (1) | CN114364965A (ja) |
WO (1) | WO2021045024A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021193673A1 (ja) * | 2020-03-25 | 2021-09-30 | 合同会社H.U.グループ中央研究所 | ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011515655A (ja) * | 2008-02-08 | 2011-05-19 | ヘルス ディスカバリー コーポレイション | サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム |
JP5047803B2 (ja) | 2004-11-19 | 2012-10-10 | トリリウム ダイアグノスティクス,エルエルシー | 白血球FcγRI受容体(CD64)の定量化のための、ソフトウェアを統合したフローサイトメトリーアッセイ |
EP3054279A1 (en) * | 2015-02-06 | 2016-08-10 | St. Anna Kinderkrebsforschung e.V. | Methods for classification and visualization of cellular populations on a single cell level based on microscopy images |
JP2018505392A (ja) * | 2014-12-10 | 2018-02-22 | ネオゲノミクス ラボラトリーズ, インコーポレイテッド | 自動化されたフローサイトメトリ分析方法及びシステム |
WO2018181458A1 (ja) * | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
JP6480918B2 (ja) | 2013-05-17 | 2019-03-13 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | フローサイトメトリにおける効率的なコンター及びゲーティング |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649231B2 (ja) * | 2005-02-28 | 2011-03-09 | 株式会社カネカ | フローサイトメータ、細胞の解析方法、細胞解析プログラム、蛍光検出器の感度設定方法および陽性率判定法における基準ゲート設定方法 |
CN101493400B (zh) * | 2008-01-25 | 2012-06-27 | 深圳迈瑞生物医疗电子股份有限公司 | 一种基于形状特征的自动分类校正的方法 |
JP4985480B2 (ja) * | 2008-03-05 | 2012-07-25 | 国立大学法人山口大学 | がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム |
CN101923648B (zh) * | 2009-06-15 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 支持向量机的聚类方法与装置 |
US9513224B2 (en) * | 2013-02-18 | 2016-12-06 | Theranos, Inc. | Image analysis and measurement of biological samples |
JP6112597B2 (ja) * | 2012-11-14 | 2017-04-12 | 国立大学法人高知大学 | Cbcスキャッタグラムを用いた診断支援装置 |
CN106841012B (zh) * | 2017-01-05 | 2019-05-21 | 浙江大学 | 基于分布式图模型的流式细胞计数据自动门控方法 |
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
CN109932306A (zh) * | 2019-05-20 | 2019-06-25 | 上海宝藤生物医药科技股份有限公司 | 一种流式结果的分析方法、系统、流式细胞仪及介质 |
-
2020
- 2020-09-01 CN CN202080061932.0A patent/CN114364965A/zh active Pending
- 2020-09-01 WO PCT/JP2020/032979 patent/WO2021045024A1/ja unknown
- 2020-09-01 US US17/639,608 patent/US20220334043A1/en active Pending
- 2020-09-01 JP JP2021543763A patent/JP7445672B2/ja active Active
- 2020-09-01 EP EP20860166.6A patent/EP4027131A4/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5047803B2 (ja) | 2004-11-19 | 2012-10-10 | トリリウム ダイアグノスティクス,エルエルシー | 白血球FcγRI受容体(CD64)の定量化のための、ソフトウェアを統合したフローサイトメトリーアッセイ |
JP2011515655A (ja) * | 2008-02-08 | 2011-05-19 | ヘルス ディスカバリー コーポレイション | サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム |
JP6480918B2 (ja) | 2013-05-17 | 2019-03-13 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | フローサイトメトリにおける効率的なコンター及びゲーティング |
JP2018505392A (ja) * | 2014-12-10 | 2018-02-22 | ネオゲノミクス ラボラトリーズ, インコーポレイテッド | 自動化されたフローサイトメトリ分析方法及びシステム |
EP3054279A1 (en) * | 2015-02-06 | 2016-08-10 | St. Anna Kinderkrebsforschung e.V. | Methods for classification and visualization of cellular populations on a single cell level based on microscopy images |
WO2018181458A1 (ja) * | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4027131A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021193673A1 (ja) * | 2020-03-25 | 2021-09-30 | 合同会社H.U.グループ中央研究所 | ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021045024A1 (ja) | 2021-03-11 |
US20220334043A1 (en) | 2022-10-20 |
EP4027131A4 (en) | 2023-10-04 |
CN114364965A (zh) | 2022-04-15 |
JP7445672B2 (ja) | 2024-03-07 |
EP4027131A1 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yan et al. | Deep-learning-based prediction of late age-related macular degeneration progression | |
US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
CN110287932B (zh) | 基于深度学习图像语义分割的道路阻断信息提取方法 | |
Sharma et al. | Crowdsourcing for chromosome segmentation and deep classification | |
US10303979B2 (en) | System and method for classifying and segmenting microscopy images with deep multiple instance learning | |
US20230148321A1 (en) | Method for artificial intelligence (ai) model selection | |
US20130051650A1 (en) | Systems and methods for tissue classification | |
JP6753622B2 (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
Ferlaino et al. | Towards deep cellular phenotyping in placental histology | |
CN110268072A (zh) | 确定旁系同源基因的方法和系统 | |
Foucart et al. | Artifact identification in digital pathology from weak and noisy supervision with deep residual networks | |
WO2021045024A1 (ja) | ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 | |
Alhazmi | [Retracted] Detection of WBC, RBC, and Platelets in Blood Samples Using Deep Learning | |
CN114098779A (zh) | 尘肺病等级智能判别方法 | |
Kotiyal et al. | Diabetic retinopathy binary image classification using PySpark | |
CA3204439A1 (en) | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework | |
US20240070537A1 (en) | Microscopy System and Method for Generating a Machine-Learned Model for Processing Microscope Data | |
US9965702B1 (en) | Method for analysis and interpretation of flow cytometry data | |
WO2021193673A1 (ja) | ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置 | |
Sameki et al. | ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently. | |
WO2019175959A1 (ja) | 細胞状態判定方法及び細胞状態判定装置 | |
Goldschmidt et al. | Quantifying yeast colony morphologies with feature engineering from time-lapse photography | |
Bellemo et al. | Artificial intelligence using deep learning in classifying side of the eyes and width of field for retinal fundus photographs | |
Barhak | Visualization and pre-processing of intensive care unit data using python data science tools | |
Chincholi et al. | Transforming glaucoma diagnosis: transformers at the forefront |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20860166 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021543763 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020860166 Country of ref document: EP Effective date: 20220404 |