WO2020004101A1 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
WO2020004101A1
WO2020004101A1 PCT/JP2019/023833 JP2019023833W WO2020004101A1 WO 2020004101 A1 WO2020004101 A1 WO 2020004101A1 JP 2019023833 W JP2019023833 W JP 2019023833W WO 2020004101 A1 WO2020004101 A1 WO 2020004101A1
Authority
WO
WIPO (PCT)
Prior art keywords
certainty factor
display control
graph
gate
image
Prior art date
Application number
PCT/JP2019/023833
Other languages
English (en)
French (fr)
Inventor
圭介 合田
尚 新田
武昭 杉村
Original Assignee
株式会社Ｃｙｂｏ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｃｙｂｏ filed Critical 株式会社Ｃｙｂｏ
Priority to EP19824977.3A priority Critical patent/EP3816935A4/en
Priority to CN201980041251.5A priority patent/CN112313702B/zh
Priority to JP2019554569A priority patent/JP6753622B2/ja
Priority to CA3102749A priority patent/CA3102749A1/en
Priority to AU2019293020A priority patent/AU2019293020B2/en
Priority to CN202311687873.XA priority patent/CN117496511A/zh
Priority to US15/733,808 priority patent/US20210232869A1/en
Publication of WO2020004101A1 publication Critical patent/WO2020004101A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Definitions

  • the present invention relates to a display control device, a display control method, and a display control program.
  • the object of the present invention is to provide a display control device, a display control method, and a display control program capable of presenting the class determination performance by an artificial neural network in a format that can be easily interpreted by humans.
  • One embodiment of the present invention is A certainty factor obtaining unit that obtains the certainty factor calculated by the certainty factor calculation unit that calculates the certainty factor of the class determination result of the input image, A display control unit configured to display a distribution of the certainty factor obtained by the certainty factor obtaining unit for each of the input images, wherein at least one of the display axes of the graph is a certainty factor axis indicating the certainty factor.
  • a certainty factor obtaining unit that obtains the certainty factor calculated by the certainty factor calculation unit that calculates the certainty factor of the class determination result of the input image
  • a display control unit configured to display a distribution of the certainty factor obtained by the certainty factor obtaining unit for each of the input images, wherein at least one of the display axes of the graph is a certainty factor axis indicating the certainty factor.
  • One embodiment of the present invention is Obtain the confidence of the class judgment result of the input image, The distribution of the certainty factor for each input image, at least one of the display axes of the graph is displayed as a certainty factor axis indicating the certainty factor, This is a display control method.
  • One embodiment of the present invention is In the computer provided in the display control device, Obtaining a certainty factor of the class determination result of the input image; A step of displaying the distribution of the input image of the certainty factor on at least one axis among display axes of a graph as a certainty factor axis indicating the certainty factor, Is a display control program for executing the program.
  • the class determination performance by the artificial neural network can be presented in a format that is easy for humans to interpret.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of a class determination system according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a configuration of a class determination unit according to the present embodiment.
  • FIG. 6 is a diagram illustrating an example of a calculation result of a certainty factor by the class determination system according to the present embodiment.
  • FIG. 4 is a diagram illustrating an example of the operation of the class determination system according to the present embodiment. The figure which shows an example of the certainty factor graph image of this embodiment.
  • FIG. 4 is a diagram illustrating an example of a graph displayed by a display control unit according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of gating by the display control device according to the present embodiment.
  • FIG. 9 is a diagram illustrating a modification of gating by the display control device of the present embodiment.
  • FIG. 9 is a diagram illustrating another modification of gating by the display control device of the present embodiment.
  • the figure which shows an example of the structure of the neural network of this embodiment. Diagram showing an example of the relationship between the cell image and the certainty factor for each class The figure which shows an example of the histogram of a certainty factor, and a gating result The figure which shows an example of the result of having quantified the classification accuracy of the platelet aggregate.
  • FIG. 1 shows an example of a functional configuration of a class determination system 1 of the present embodiment.
  • the class determination system 1 is provided in an imaging cytometer (Imaging Cytometer) (not shown) which is a form of a flow cytometer (FCM) (not shown).
  • the class determination system 1 acquires a cell image, and determines the type of a cell captured in the acquired cell image.
  • the class CL to be determined by the class determination system 1 is “cell type”.
  • the class determination system 1 performs the class determination using the cell type as the class CL, obtains the certainty factor PR for each class CL (that is, the result of estimating the cell type) as the determination result, and outputs the certainty factor. Displayed in the unit 230. Further, a gate GT is set on the certainty output unit 230, and it is determined whether or not the acquired image is included in the set gate GT (gate determination).
  • the cell sorter having the cell sorting function outputs the gate determination result GR to a sorting mechanism (not shown). The sorting mechanism of the cell sorter sorts cells based on the gate determination result GR output from the class determination system 1.
  • the class determination system 1 is described as being connected to a cell sorter of an imaging cytometry device and determining the type of a cell, but is not limited thereto.
  • the class determination system 1 is not limited to the one used in the exemplified imaging cytometry.
  • other cell observation applications such as a general flow cytometer, a mass cytometer (Mass Cytometer), and a microscope, and other than cells It may be used for classifying images.
  • the class determination system 1 includes a display control device 10 and a class determination device 20.
  • the display control device 10 and the class determination device 20 may be realized by one computer device or may be realized by separate computer devices.
  • the class determination system 1 includes an operation detection unit 30 and a display unit 40.
  • the operation detection unit 30 is an operation device such as a keyboard, a mouse, and a touch panel of a computer device, and detects an operation by an operator.
  • the display unit 40 is, for example, a display device such as a liquid crystal display, and displays an image.
  • the class determination device 20 includes an image acquisition unit 210, a class determination unit 220, and a certainty factor output unit 230.
  • the image acquisition unit 210 acquires a cell image captured by an imaging unit (not shown) of the cell sorter as an input image IP.
  • the image acquisition unit 210 outputs the acquired input image IP to the class determination unit 220.
  • the class determination unit 220 determines the type of the cell captured in the input image IP as the class CL.
  • the class determination unit 220 is implemented as a learned model by a convolutional neural network (CNN / hereinafter, also referred to as a neural network CNN).
  • CNN convolutional neural network
  • the example where the class determination unit 220 is realized by the neural network CNN is an example.
  • the class determination unit 220 includes, for example, a deep neural network (deep @ neural @ network; DNN), a probabilistic neural network (Probabilistic @ neural @ network; PNN), a forward-propagation neural network (feedforward neural network; FFNN), and a recurrent neural network ( Recurrent (neural networks) (RNNs), Autoassociator, Deep Belief Network (DBNs), Radial basis function (RBF) network, Boltzmann machine, Boltzmann machine, etc.
  • the network exemplified here is also referred to as an artificial neural network in the following description.
  • FIG. 2 illustrates an example of a configuration of the class determination unit 220 according to the present embodiment.
  • any of various cells such as platelet aggregates PA, platelets SP, and white blood cells LK is imaged.
  • platelet aggregate PA is associated with class CLa
  • platelet SP is associated with CLb
  • white blood cell LK is associated with class CLc.
  • the leukocytes LK include granulocytes GL (neutrophils, eosinophils and basophils), lymphocytes LC, monocytes MC and the like.
  • the lymphocytes LC are associated with the class CLd
  • the T lymphocytes LC among the lymphocytes LC are associated with the class CLd1
  • the B lymphocytes LC are associated with the class CLd2.
  • the granulocyte GL is associated with the class CLe.
  • the class determination unit 220 determines which of the classes CL the type of cell captured in the input image IP corresponds to, and determines the certainty factor PR for each class CL. Is output.
  • the class determination unit 220 outputs a certainty factor (Probability) for the class CL.
  • the certainty factor PR will be described.
  • the certainty factor PR is associated with each of a plurality of types of classes CL at a ratio of 1: 1.
  • the class CLa has the certainty PRa
  • the class CLb has the certainty PRb
  • the class CLc has the certainty PRc.
  • the certainty factor PR of a certain class CL indicates that the larger the value is, the higher the likelihood that the input signal (for example, the input image IP) to the neural network CNN corresponds to the class CL is. This indicates that the likelihood that the input signal falls into the class CL is low.
  • the confidence PR of the class CLa (the platelet aggregate PA in the above example) is high when the input image IP is an image of the platelet aggregate PA, and the input image IP is an image other than the platelet aggregate PA. In some cases, it is calculated lower.
  • the certainty factor PR may be normalized to a certain value range (for example, 0 to 1). In this case, the certainty factor PR of a certain class CL is such that the closer the value is to 1, the higher the likelihood that the input signal falls in the class CL, and the closer the value is to 0, the more likely the input signal falls in the class CL. Indicates low degree.
  • the sum total obtained by adding the certainty factor PR of each class CL for each class CL is a certain value (for example, 1). For example, when an input image IP is classified into the above-described three types of classes CL, the sum of the certainty factors PRa to PRc corresponding to these classes CL is 1.
  • a vector value corresponding to the number of types of the class CL is set as an output value.
  • the output value from the final layer can be the certainty factor PR.
  • the certainty factor PR may be any value as long as the likelihood that a certain input signal corresponds to a certain class CL can be expressed by comparison between the classes CL.
  • FIG. 3 shows an example of a calculation result of the certainty factor PR by the class determination system 1 of the present embodiment.
  • the class determination unit 220 calculates the certainty factor PR of each class CL for each input image IP.
  • the class determination unit 220 is convinced of the likelihood that the input image IP1 corresponds to the class CLa for the first input image IP1.
  • the degree PRa the likelihood that the input image IP1 corresponds to the class CLb is calculated as the certainty degree PRb
  • the likelihood that the input image IP1 corresponds to the class CLc is calculated as the certainty degree PRc.
  • the class determination unit 220 calculates the confidence PRa as 95%, the confidence PRb as 4%, and the confidence PRc as 1%.
  • the confidence output unit 230 outputs the confidence PR calculated by the class determination unit 220 to the display control device 10.
  • the display control device 10 includes a certainty factor acquisition unit 110, a display control unit 120, a set value acquisition unit 130, and a gate determination unit 140.
  • the certainty obtaining unit 110 obtains the certainty PR calculated by the class determining unit 220 (the certainty calculating unit) that calculates the certainty PR of the class determination result RCL of the input image IP.
  • the display control unit 120 generates an image of the graph G based on the distribution of the certainty factor PR obtained by the certainty factor obtaining unit 110 for each input image IP.
  • the image of the graph G generated by the display control unit 120 includes the certainty axis PAX as the display axis DAX of the graph G.
  • the display axis DAX refers to an axis of the graph G displayed on the display unit 40.
  • the certainty axis PAX is an axis indicating the magnitude of the certainty PR among the axes of the graph G.
  • the display control unit 120 displays at least one of the display axes DAX of the graph G as the confidence axis PAX.
  • the class determination system 1 displays the X axis as the certainty axis PAX among these two axes.
  • the display control unit 120 may display both of these two axes (that is, the X axis and the Y axis) as the certainty axis PAX.
  • the graph G does not necessarily have to have two axes, and may have a number of axes corresponding to the number of types of the class CL determined by the class determination unit 220.
  • the display control unit 120 may display a three-axis graph G.
  • the class determination system 1 may use all of the three axes of the graph G as the confidence axes PAX. That is, the display control unit 120 sets the distribution of the certainty factor PR acquired by the certainty factor acquisition unit 110 for each input image IP to at least one of the display axes DAX of the graph G as the certainty factor axis PAX indicating the certainty factor PR.
  • the image of the graph G generated by the display control unit 120 is also referred to as a certainty graph image PG.
  • the setting value acquisition unit 130 acquires a gate setting value GV for the certainty factor PR displayed on the graph G.
  • the gate determining unit 140 determines whether or not the input image IP is inside the gate setting value GV based on the gate setting value GV acquired by the setting value acquiring unit 130.
  • FIG. 4 shows an example of the operation of the class determination system 1 of the present embodiment.
  • the image acquisition unit 210 acquires an image of a cell (or tissue) captured from a flow cytometry device (not shown) as an input image IP (Step S210).
  • the image acquisition unit 210 outputs the acquired input image IP to the class determination unit 220.
  • the class determination unit 220 calculates a certainty factor PR for each determination target class CL for the input image IP acquired in step S210 (step S220).
  • the certainty factor output unit 230 outputs the certainty factor PR calculated in step S220 to the display control device 10 (step S230).
  • the certainty factor acquisition unit 110 acquires the certainty factor PR calculated in step S230 (step S110).
  • the display control unit 120 generates an image of the graph G based on the certainty factor PR acquired in step S110 (step S120).
  • the display control unit 120 outputs the certainty factor graph image PG generated in step S120 to the display unit 40 (step S130).
  • the certainty graph image PG generated in step S120 is displayed on the display unit 40.
  • the setting value acquisition unit 130 acquires the gate setting value GV (Step S140).
  • the gate setting value GV may be given manually by a keyboard, a mouse, a touch panel, or the like, or may be automatically calculated based on the distribution state of the certainty factor graph image PG.
  • the setting value acquisition unit 130 outputs the acquired gate setting value GV to the display control unit 120.
  • the gate setting value GV is a value for setting a gate GT for the certainty factor graph image PG displayed in step S130.
  • the display control unit 120 displays the gate image GP based on the acquired gate setting value GV on the certainty factor graph image PG.
  • the display control unit 120 outputs the certainty graph image PG generated in step S130 and the gate setting value GV for the certainty graph image PG to the gate determination unit 140.
  • the gate determination unit 140 determines whether the input image IP acquired in step S210 is inside the gate setting value GV created in step S140, and generates a gate determination result GR as the determination result. (Step S150).
  • whether the input image IP is inside the gate set value GV is determined by plotting the certainty factor PR of the input image IP within the range of the certainty factor PR indicated by the gate set value GV on the certainty factor graph image PG. Or not.
  • the gate determination unit 140 determines the input image IP based on the certainty graph image PG output from the display control unit 120 in step S140 and the gate setting value GV for the certainty graph image PG. Is within the gate set value GV.
  • the gate determination unit 140 outputs the generated gate determination result GR to a cell sorter (not shown).
  • the class determination system 1 can be programmed to selectively sort cells included (or not included) in the gate set value GV. Further, the class determination system 1 can selectively display data (images, numerical data, plots, etc.) of cells (or cells not included) included in the gate setting value GV based on the gate determination result GR.
  • the display control unit 120 can display data such as an input image IP and a graph G corresponding to a desired cell using the gate determination result GR by the gate determination unit 140.
  • the display control unit 120 may calculate and output a statistical value such as the number or ratio of the input images IP included in the gate GT based on the gate determination result GR, or may display the statistical value on the graph G. It is possible.
  • the display control unit 120 determines the position of the data point for the data point corresponding to the input image included in the gate GT based on the gate determination result GR of whether or not the individual input image IP is included in the gate GT. It is also possible to change the color and shape of the point indicated.
  • FIG. 5 shows an example of the certainty factor graph image PG of the present embodiment.
  • the display control unit 120 displays the distribution of the certainty factor PR for each input image IP with at least one of the display axes DAX of the graph G as the certainty factor axis PAX.
  • the display control unit 120 displays the graph G with the X axis as the confidence axis PAX and the Y axis as the appearance frequency of the confidence PR among the display axes DAX of the graph G. .
  • the appearance frequency of the certainty factor PR on the Y-axis is a value obtained by counting the certainty factor PR of a certain class CL for each input image IP when the class determination unit 220 determines the class CL for each of the plurality of input images IP. It is.
  • the appearance frequency of the certainty factor PR is also referred to as a frequency F of the input image IP at a certain certainty factor PR.
  • the certainty graph image PG is a histogram in which the X axis indicates the certainty axis PAX and the Y axis indicates the frequency F.
  • the class determination unit 220 determines whether or not the input image IP is an image of the platelet aggregate PA.
  • the class determination unit 220 calculates the certainty factor PRa that the cell (or tissue) captured in the input image IP is the platelet aggregate PA. For example, when the image of the platelet aggregate PA is given as the input image IP, the class determination unit 220 sets the confidence PR (that is, the confidence PRa) that the input image IP is the image of the platelet aggregate PA to 95. Calculate as%. That is, in this case, the class determination unit 220 determines that the given input image IP has a high likelihood of being an image of the platelet aggregate PA.
  • the class determination unit 220 calculates the certainty factor PRa as 4%. That is, in this case, the class determination unit 220 determines that the given input image IP has a low likelihood of being an image of the platelet aggregate PA.
  • the class determination unit 220 calculates a certainty factor PRa for each of the plurality of input images IP, and plots the distribution of the calculated certainty factors PRa on the X axis as the certainty axis PAX and the Y axis as the axis indicating the frequency F. Is displayed on the display unit 40 as a certainty graph image PG.
  • FIGS. 5A to 5C show differences in the class determination performance of the class determination unit 220.
  • FIG. When the class determination performance is relatively high, the certainty factor PR is distributed as shown in FIG. That is, when the class determination performance is relatively high, the distribution of the certainty factor PR is divided into a “distribution DS1A” region where the certainty factor PR is relatively low and an “distribution DS1B” region where the certainty factor PR is relatively high. Divide clearly. In other words, when the certainty factor graph image PG shown in FIG. 5A is displayed on the display unit 40, the operator can interpret that the class determination performance is relatively high. When the class determination performance is relatively low, the certainty factor PR is distributed as shown in FIG.
  • the distribution of the certainty factor PR is divided into a “distribution DS1C” region where the certainty factor PR is relatively low and an “distribution DS1D” region where the certainty factor PR is relatively high. Although divided, these two areas are closer to each other than in the case shown in FIG. That is, when the class determination performance is relatively low, it is difficult to clearly separate an area having a relatively low confidence PR from an area having a relatively high confidence PR. In other words, when the certainty factor graph image PG shown in FIG. 5B is displayed on the display unit 40, the operator can interpret that the class determination performance is relatively low. If the class determination performance is even lower, the certainty factor PR is distributed as shown in FIG.
  • the distribution of the certainty factor PR is only the area of the distribution DS1E, and it becomes impossible to discriminate between the area having the high certainty factor PR and the area having the low certainty factor PR.
  • the certainty factor graph image PG shown in FIG. 5C is displayed on the display unit 40, the operator determines that the class determination performance is lower than the state shown in FIG. Can be interpreted as The “class determination performance” is also referred to as “class CL classification accuracy”.
  • the determination performance of the class determination unit 220 is in a format that is easy for the operator (ie, human) to interpret. That is, according to the class determination system 1 of the present embodiment, the performance of determining the class CL by the neural network CNN can be presented in a format that is easy for the operator to interpret.
  • the neural network CNN determines the class CL of the input image IP.
  • the learning state of the neural network CNN is appropriate (that is, the class determination performance of the neural network CNN)
  • an input signal for example, an input image IP
  • RCL output by the neural network CNN indicates “platelet aggregate PA”
  • the class determination result RCL output from the neural network CNN is determined only as two choices of correct or incorrect, and the degree of validity of the class determination result RCL, that is, the class determination of the neural network CNN, The performance could not be determined.
  • the class determination system 1 of the present embodiment causes the neural network CNN to output the certainty factor PR used for the class determination from the neural network CNN, and displays the certainty factor PR as the display axis DAX of the graph G.
  • the certainty factor PR is a value calculated by the neural network CNN as an index indicating the likelihood that a certain input signal corresponds to a certain class CL
  • the degree of validity of the class determination by the neural network CNN is determined. Is shown.
  • the distribution of the certainty factor PR can be an index indicating the class determination performance of the neural network CNN.
  • the class determination system 1 of the present embodiment can present the class determination performance by the neural network CNN in a form that is easy for humans to interpret by showing the graph G with the distribution of the certainty factor PR as an axis.
  • the gate determination unit 140 may evaluate the class determination performance.
  • the cause of the case where the class determination performance is low is that the performance of the model of the neural network CNN that has performed the class determination is poor, or the image quality of the input image is low. Possible cause.
  • it is effective to perform re-learning.
  • the re-learning method For example, if it is determined from the distribution of the certainty factor of a certain parameter that the gate is not valid, it is effective to add a new image for learning to the class of the parameter and re-learn. It is. Further, it is effective to generate and add an image used for learning by performing image processing such as inversion and rotation on the existing image used for learning, and to perform re-learning.
  • image processing such as inversion and rotation on the existing image used for learning
  • FIG. 5C when it is not possible to discriminate between a region having a high degree of certainty and a region having a low degree of certainty, a plurality of cells having different shapes are included in the population classified into one class. May be apparently present.
  • the gate determination unit 140 may determine whether re-learning is necessary or determine a re-learning method based on the evaluation result of the class determination performance.
  • FIG. 6 shows an example of a graph G displayed by the display control unit 120 of the present embodiment.
  • the display control unit 120 displays the certainty graph image PG with the certainty PRd of the class CLd as the X axis and the certainty PRE of the class CLe as the Y axis among the display axes DAX of the graph G.
  • the class CLd corresponds to the lymphocyte LC
  • the class CLe corresponds to the granulocyte GL.
  • the distribution DS2A indicates an area where the class determination unit 220 has determined the class of the input image IP as an image of the lymphocyte LC.
  • the distribution DS2B indicates an area where the class determination unit 220 has determined that the input image IP is a class image of the granulocyte GL.
  • the distribution DS2C indicates an area in which the class determination unit 220 has determined that the input image IP is not an image of any of the lymphocyte LC and the granulocyte GL. That is, in the example shown in the drawing, the display control unit 120 causes a plurality of display axes DAX of the display axes DAX of the graph G to be displayed as the certainty degree axes PAX. As described above, by displaying the graph G with the plurality of display axes DAX being the confidence axes PAX, the class determination system 1 can present the class determination performance by the neural network CNN in a format that is easy for humans to interpret.
  • the confidence axis PAX is described as an axis that directly indicates the confidence PR of a certain class CL, but is not limited thereto.
  • the certainty axis PAX may be an axis indicating the certainty PR (ie, the combined certainty PRCB) obtained by combining the certainty PRs of the plurality of classes CL.
  • the X-axis of the graph G may be a combined certainty factor PRCB obtained by adding the certainty factors PRa and PRb by a polynomial.
  • the combination certainty factor PRCB is represented by the sum of a value obtained by multiplying the certainty factor PRa by a weight and a value obtained by multiplying the certainty factor PRb by a weight. That is, in this case, the display control unit 120 displays an axis indicating the combination certainty factor PRCB based on the combination of the certainty factors PR of the plurality of classes CL indicated by the class determination result RCL as the certainty factor axis PAX.
  • the display control device 10 can display the gate image GP over the graph G by performing an operation of inputting the gate setting value GV to the operation detection unit 30 by the operator.
  • gate refers to a threshold for extracting a specific region from a graph G such as a histogram.
  • the term “gating” refers to an operation of extracting a specific region by performing a gate on the graph G. For example, this gating is effective when only information of a specific type of cell is to be extracted from a certain graph G. Further, for example, when the class CL to be gated extends over a plurality of classes CL, it is effective to use a combination certainty factor PRCB obtained by adding the plurality of certainty factors PR by a polynomial as described above. An example of this gating will be described with reference to FIG.
  • FIG. 7 shows an example of gating by the display control device 10 of the present embodiment.
  • FIG. 7A shows again the certainty factor graph image PG shown in FIG.
  • the display control device 10 can display a certainty graph image PG (FIG. 7B) for the distribution DS2A among the certainty graph images PG.
  • the operator performs an operation of inputting the gate setting value GV to the operation detection unit 30.
  • the operation of inputting the gate setting value GV includes, for example, a numerical value input and a shape input such as a rectangle, a circle, or a polygon for the image of the graph G.
  • the operation detection unit 30 When detecting the operation of inputting the gate setting value GV, the operation detection unit 30 outputs information indicating the detected operation to the display control device 10.
  • the setting value acquisition unit 130 acquires the gate setting value GV from the information output by the operation detection unit 30.
  • the display control unit 120 causes the graph G to display a gate image GP indicating the gate GT based on the gate setting value GV acquired by the setting value acquiring unit 130.
  • the setting value acquisition unit 130 acquires the gate setting value GV1.
  • the display control unit 120 causes the display unit 40 to display the gate image GP1 (that is, the polygonal gate image GP) so as to overlap the certainty factor graph image PG.
  • the gate image GP1 shown in FIG. 7A surrounds the area of the distribution DS2A.
  • the distribution DS2A indicates an area where the certainty factor PRd of the class CLd is relatively high (that is, an area where the input image IP has a high likelihood of being an image of the lymphocyte LC).
  • the display control unit 120 determines that the area surrounded by the gate image GP is an area in which the certainty factor PRd of the class CLd is relatively high, the display control unit 120 generates a new image of the graph G and causes the display unit 40 to display the image. (FIG. 7 (B)).
  • the graph G shown in FIG. 7B is a certainty graph image PG in which the X axis is a certainty factor PRd and the Y axis is a frequency F. That is, the display control unit 120 can display a new graph G based on the position of the gate image GP in the display area of the graph G.
  • a gate can also be set for the graph G in FIG. That is, the operator performs an operation of inputting the gate setting value GV2 to the operation detection unit 30 in order to set a gate for the graph G shown in FIG. 7B.
  • the gate setting value GV2 is a numerical value indicating the width of the certainty factor PRd.
  • the setting value acquisition unit 130 acquires the gate setting value GV2 from the operation detection unit 30.
  • the display control unit 120 causes the graph G to display a gate image GP2 indicating the gate GT based on the gate setting value GV2 acquired by the setting value acquiring unit 130.
  • the gate image GP2 is an image surrounding the distribution DS2E in the example illustrated in FIG. 7B.
  • the distribution DS2E is a region where the confidence PRd is relatively high (that is, a region where the likelihood that the input image IP is an image of the lymphocyte LC is high). That is, in the example shown in FIG. 7B, gating on the lymphocytes LC is performed.
  • the display control device 10 can display the plurality of graphs G stepwise based on the operation detected by the operation detection unit 30.
  • the display control device 10 can present in a format that is easy for humans to interpret by visually expressing the narrowing down by the so-called gate region using the image of the graph G.
  • FIG. 8 shows a modification of gating by the display control device 10 of the present embodiment.
  • the graph G before gating (FIG. 7A) is the certainty degree graph image PG.
  • This modification is different from the above-described example in that the graph G before gating is not the certainty graph image PG.
  • the graph G shown in FIG. 8A is a distribution diagram in which the parameter PM-A is on the X axis and the parameter PM-B is on the Y axis.
  • the parameter PM-A is a parameter indicating a degree of a reaction of each cell with an antibody (eg, CD45-FITC).
  • the parameter PM-B is a parameter indicating the degree of scattered light (for example, side scattered light) of each cell.
  • the graph G shown in the figure shows the distribution of granulocytes GL, monocytes MC, and lymphocytes LC. In this example, gating is performed on the lymphocytes LC.
  • the operator sets the range surrounding the area of the lymphocyte LC in the graph G as the gate setting value GV3.
  • the operation detection unit 30 detects a setting operation of the gate setting value GV3 and outputs the operation to the display control device 10.
  • the display control unit 120 displays a gate image GP3 corresponding to the gate setting value GV3. Further, the display control unit 120 generates an image of the graph G shown in FIG. 8B based on the gate setting value GV3, and causes the display unit 40 to display the image.
  • the graph G shown in FIG. 8B is a certainty graph image PG in which the X axis is the certainty PRd1 and the Y axis is the certainty PRd2.
  • the certainty factor PRd1 is, for example, the certainty factor PR for the class CLd1 (T lymphocyte LCT).
  • the certainty factor PRd2 is, for example, the certainty factor PR for the class CLd2 (B lymphocyte LCB).
  • any of a region having a relatively high likelihood of being a T lymphocyte LCT (distribution DS3A) and a region having a relatively high likelihood of being a B lymphocyte LCB (distribution DS3B) are shown.
  • a region having a relatively low degree (distribution DS3C). Note that gating can be performed on the graph G by the gate setting value GV4 and the gate image GP4.
  • FIG. 9 shows another modification of gating by the display control device 10 of the present embodiment. Also in this modified example, gating can be performed with the gate set value GV, as in the example of FIG. 7B described above. Note that this modification is different from the above-described example in that the gate set value GV can be changed according to the purpose of gating.
  • screening is an example of the purpose of gating. In the screening, when a larger number of false positives may be included in order to avoid missing positives, the gate set value GV is set wider (for example, the gate set value GV23 shown in FIG. 9C). ). Further, when it is assumed that positives may be omitted in order to eliminate false positives as much as possible, the gate set value GV is set narrower (for example, the gate set value GV21 shown in FIG. 9A). ).
  • the case of imaging cytometry has been described as the class determination system 1.
  • the entire image is Individual cell images may be cut out, and the cut out images may be provided to the class determination system 1.
  • a microscope such as a confocal microscope or a two-photon microscope, which captures a three-dimensional structure of an object.
  • the microscope may be combined with a microscope that performs various multidimensional imaging, such as performing time-lapse imaging in the time axis direction instead of the depth direction (Z direction) or imaging by switching wavelengths. Even in a multidimensional image obtained by multidimensional imaging, an image obtained by cutting out individual cells can be provided to the class determination system 1.
  • Method 1 An operation (simple addition, deconvolution, maximum value for each pixel, and the like) between images is performed on a plurality of captured images having different depth directions (Z directions), and the images are combined into a single image. Then, a certainty factor is obtained for the obtained single image, and the class is determined.
  • Method 2 A plurality of captured images having different depth directions (Z directions) are made into a single voxel image including the Z direction, a certainty factor is obtained for the voxel images, and a class determination is performed.
  • Methodhod 3) A plurality of captured images having different depth directions (Z directions) are separately input to the class determination system 1, and certainty factors are obtained for each Z position.
  • a set of certainty factors can be obtained for one cell.
  • a certainty factor is obtained for each Z position. Therefore, in the method 3, the image at the optimum Z position can be selected based on the distribution of the certainty factor.
  • a multidimensional image in the depth direction (Z direction) is described, but the same applies to a case where the time or the wavelength is changed.
  • the display control unit 120 may display the certainty factor obtained for the multidimensional image obtained by the multidimensional imaging by mapping the certainty factor to the original multidimensional image.
  • the mapping refers to displaying the distribution of the certainty factor on the original multidimensional image using a method such as a contour plot, a heat map, a dot plot, or a bar graph.
  • the display control unit 120 may map the cells of the gated class to the original multidimensional image and display the cells. For example, it is conceivable to represent the position of the cell of the gated class as a dot on the original multidimensional image, or to represent the area where the cell of the gated class exists with a curve or by changing the color tone. . According to the display method as described above, it becomes easier for a human to interpret the class determination result for a cell image having a time distribution or a spatial distribution.
  • FIG. 10 shows an example of the configuration of the neural network CNN of the present embodiment.
  • FIG. 11 shows an example of the relationship between the cell image and the certainty factor PR for each class CL.
  • FIG. 12 shows an example of a histogram of the certainty factor PR and the gating result. In the example illustrated in FIG. 12, the histogram indicates the certainty factor PR classified as the white blood cell LK.
  • an area where the certainty factor PR is equal to or less than a predetermined value is gated. That is, the leukocyte LK having low likelihood is gated.
  • cells (or tissues) other than the leukocyte LK are extracted.
  • a result of the gating cells (or tissues) containing the platelet aggregate PA are extracted.
  • a graph G is displayed using the confidence PR of the platelet aggregate PA as the X axis, and a region where the likelihood of the platelet aggregate PA is high is gated. In the vicinity of the gate, the number and ratio of cells (or tissues) included in the gate are displayed. Displaying the statistical value indicating the gating result in this manner is useful because the classification result can be quantitatively recognized.
  • a group of input images IP having a high likelihood of being platelet aggregate PA is limited from all input images IP.
  • a histogram of the certainty factor PR belonging to the platelet aggregate PA is drawn, and a group of the input images IP having a certainty factor value equal to or greater than a certain value is designated by a gate.
  • FIG. 13 shows an example of the result of quantifying the classification accuracy of the platelet aggregate PA.
  • a result of quantifying the classification accuracy of the platelet aggregate PA by the gate setting shown in FIG. 12 using a data set that has been artificially classified in advance is shown.
  • FIG. 14 shows an example of the sorting performance by a cell sorter (when a stimulus by TRAP is given).
  • FIG. 15 shows an example of the sorting performance by the cell sorter (when no stimulation by TRAP is given).
  • a cell population to be sorted using a cell sorter (not shown) is designated by the gate setting shown in FIG. 12, and cell sorting is performed in accordance with the gating setting.
  • FIG. 16 shows an example of a histogram display of the certainty factor PR classified as the platelet aggregate PA.
  • the group is relatively biased to both ends of the histogram.
  • more groups belong to the middle region of the histogram.
  • FIG. 17 shows an example where the display format of the graph G is a scatter diagram.
  • FIG. 17 is an example of a scatter diagram in which the horizontal axis (X axis) shows the certainty factor PR for the platelet aggregate PA and the vertical axis (Y axis) shows the certainty factor PR for the single platelet (platelet SP).
  • X axis shows the certainty factor PR for the platelet aggregate PA
  • Y axis shows the certainty factor PR for the single platelet (platelet SP).
  • FIG. 18 is a diagram illustrating an example of a result of classifying the input image IP by the certainty factor PR.
  • FIG. 18A shows a group of input images IP having a certainty factor greater than 0.999
  • FIG. 18B shows a group of input images IP having a certainty factor between 0.99 and 0.999
  • FIG. 9 shows a group of input images IP included between 0.98 and 0.99.
  • the class determination unit 220 may be realized by existing means such as decision tree learning, support vector machine, clustering, Bayesian network, hidden Markov model, ensemble learning, and boosting.
  • each of the above devices has a computer inside.
  • the process of each process of each device described above is stored in a computer-readable recording medium in the form of a program, and the program is read and executed by a computer to perform the process.
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to a computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the functions described above. Furthermore, what can realize the above-mentioned function in combination with a program already recorded in the computer system, that is, a so-called difference file (difference program) may be used.
  • difference file difference program
  • SYMBOLS 1 ... Class determination system, 10 ... Display control device, 110 ... Confidence acquisition part, 120 ... Display control part, 130 ... Setting value acquisition part, 20 ... Class determination device, 210 ... Image acquisition part, 220 ... Class determination part, 230: confidence output unit, PR: confidence, IP: input image IP, PG: confidence graph image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

人工ニューラルネットワークによるクラス判定性能を、人間が解釈しやすい形式にして提示することができる表示制御装置及び表示制御プログラムを提供する。　表示制御装置は、入力画像のクラス判定結果の確信度を算出する確信度算出部によって算出される確信度を取得する確信度取得部と、確信度取得部が取得する確信度の入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を、確信度を示す確信度軸にして表示させる表示制御部と、を備える。

Description

表示制御装置、表示制御方法及び表示制御プログラム
　本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。
　従来、流路を順次流れる細胞の種類を画像処理によって判別することにより、細胞の種類ごとに細胞を分類するフローサイトメーターや、さらに細胞の種類ごとに細胞を分取するセルソーターに関する技術が開示されている（例えば、再公表ＷＯ２０１３／１４７１１４号公報を参照。）。
　従来、細胞の種類を判別するために、人工ニューラルネットワークを用いたディープラーニングなどの機械学習手法によるクラス判定結果を用いることがあった。しかし、人工ニューラルネットワークの内部階層における重みづけなどの判別条件について、その意義を人間が解釈することは困難である。このような従来技術によると、人工ニューラルネットワークの判別条件について人間が解釈困難であることから、そのクラス判定性能を評価することができない。
　本発明は、人工ニューラルネットワークによるクラス判定性能を、人間が解釈しやすい形式にして提示できる表示制御装置、表示制御方法及び表示制御プログラムを提供することを目的とする。
　本発明の一実施形態は、
　入力画像のクラス判定結果の確信度を算出する確信度算出部によって算出される前記確信度を取得する確信度取得部と、
　前記確信度取得部が取得する前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示させる表示制御部と、を備える表示制御装置である。
　本発明の一実施形態は、
　入力画像のクラス判定結果の確信度を取得し、
　前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示する、
　表示制御方法である。
　本発明の一実施形態は、
　表示制御装置が備えるコンピュータに、
　入力画像のクラス判定結果の確信度を取得するステップと、
　前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を、前記確信度を示す確信度軸にして表示させるステップと、
　を実行させるための表示制御プログラムである。
　本発明によれば、人工ニューラルネットワークによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
本実施形態のクラス判定システムの機能構成の一例を示す図 本実施形態のクラス判定部の構成の一例を示す図 本実施形態のクラス判定システムによる確信度の算出結果の一例を示す図 本実施形態のクラス判定システムの動作の一例を示す図 本実施形態の確信度グラフ画像の一例を示す図 本実施形態の表示制御部が表示させるグラフの一例を示す図 本実施形態の表示制御装置によるゲーティングの一例を示す図 本実施形態の表示制御装置によるゲーティングの変形例を示す図 本実施形態の表示制御装置によるゲーティングの他の変形例を示す図 本実施形態のニューラルネットワークの構成の一例を示す図 細胞画像と、各クラスについての確信度との関係の一例を示す図 確信度のヒストグラム及びゲーティング結果の一例を示す図 血小板凝集塊の分類精度を定量した結果の一例を示す図 セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えた場合）を示す図 セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えていない場合）を示す図 血小板凝集塊に分類される確信度のヒストグラム表示の一例を示す図 グラフの表示形式を散布図とした場合の一例を示す図 入力画像を確信度別に分類した結果の一例を示す図
　以下、本実施形態のクラス判定システム１について図を参照して説明する。
　［クラス判定システム１の機能構成］
　図１は、本実施形態のクラス判定システム１の機能構成の一例を示す。クラス判定システム１は、一例として、フローサイトメーター（Flow Cytometer；ＦＣＭ）（不図示）の一形態であるイメージングサイトメーター（Imaging Cytometer）（不図示）に備えられる。この場合、クラス判定システム１は、細胞画像を取得し、取得した細胞画像に撮像されている細胞の種類を判定する。ここで、クラス判定システム１の判定対象であるクラスＣＬとは、「細胞の種類」である。すなわち、クラス判定システム１は、細胞の種類をクラスＣＬとしてクラス判定を行い、その判定結果として各クラスＣＬに対する確信度ＰＲ（つまり、細胞の種類を推定した結果）を取得して、確信度出力部２３０に表示する。さらに確信度出力部２３０上にゲートＧＴを設定し、取得した画像が設定したゲートＧＴに含まれるか否かの判定（ゲート判定）を行う。細胞分取機能がついたセルソーターでは、このゲート判定結果ＧＲをソート機構（不図示）に出力する。セルソーターのソート機構は、クラス判定システム１が出力するゲート判定結果ＧＲに基づいて細胞を分取する。
　なお、以下の説明では、クラス判定システム１が、イメージングサイトメトリー装置のセルソーターに接続され、細胞の種類を判定するものであるとして説明するが、これに限られない。クラス判定システム１は、例示したイメージングサイトメトリーに利用されるものに限られず、例えば、一般的なフローサイトメーターや質量サイトメーター（Mass Cytometer）、顕微鏡などの他の細胞観察用途や、細胞以外の画像のクラス分け用途に利用されてもよい。
　クラス判定システム１は、表示制御装置１０と、クラス判定装置２０とを備える。表示制御装置１０及びクラス判定装置２０は、１台のコンピュータ装置によって実現されてもよいし、別々のコンピュータ装置によって実現されてもよい。
　また、クラス判定システム１は、操作検出部３０と、表示部４０とを備える。
　操作検出部３０は、例えば、コンピュータ装置のキーボードやマウス、タッチパネルなどの操作デバイスであり、操作者による操作を検出する。
　表示部４０は、例えば、液晶ディスプレイなどの表示デバイスであり、画像を表示する。
　［クラス判定装置２０の機能構成］
　クラス判定装置２０は、画像取得部２１０と、クラス判定部２２０と、確信度出力部２３０とを備える。
　画像取得部２１０は、セルソーターの撮像部（不図示）において撮像された細胞画像を入力画像ＩＰとして取得する。画像取得部２１０は、取得した入力画像ＩＰをクラス判定部２２０に出力する。
　クラス判定部２２０は、入力画像ＩＰに撮像されている細胞の種類をクラスＣＬとして判定する。クラス判定部２２０は、一例として、コンボリューショナル・ニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ＣＮＮ／以下、ニューラルネットワークＣＮＮとも称する。）による学習済みモデルとして実現される。
　なお、クラス判定部２２０がニューラルネットワークＣＮＮによって実現されることは一例である。クラス判定部２２０は、例えば、深層ニューラルネットワーク（ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ＤＮＮ）、確率的ニューラルネットワーク（Ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ＰＮＮ）、順伝搬型ニューラルネットワーク（フィードフォワードニューラルネットワーク；ＦＦＮＮ）、再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ；ＲＮＮｓ）、Ａｕｔｏａｓｓｏｃｉａｔｏｒ、Ｄｅｅｐ　Ｂｅｌｉｅｆ　Ｎｅｔｗｏｒｋｓ（ＤＢＮｓ）、Ｒａｄｉａｌ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ（ＲＢＦ）　ｎｅｔｗｏｒｋ、ボルツマンマシン、制約付きボルツマンマシンなどによって実現されていてもよい。ここに例示したネットワークのことを、以下の説明において人工ニューラルネットワークとも称する。
　図２は、本実施形態のクラス判定部２２０の構成の一例を示す。クラス判定部２２０に供給される入力画像ＩＰには、例えば、血小板凝集塊ＰＡ、血小板ＳＰ、白血球ＬＫなどの各種の細胞（又は組織）のうち、いずれかが撮像されている。この一例において、血小板凝集塊ＰＡはクラスＣＬａに、血小板ＳＰはＣＬｂに、白血球ＬＫはクラスＣＬｃにそれぞれ対応づけられている。白血球ＬＫには、顆粒球ＧＬ（好中球、好酸球及び好塩基球）、リンパ球ＬＣ、単球ＭＣなどが含まれる。本実施形態の一例では、リンパ球ＬＣはクラスＣＬｄに、リンパ球ＬＣのうちＴリンパ球ＬＣはクラスＣＬｄ１に、Ｂリンパ球ＬＣはクラスＣＬｄ２に、それぞれ対応付けられている。また、顆粒球ＧＬはクラスＣＬｅに対応付けられている。
　この一例の場合、クラス判定部２２０は、入力画像ＩＰに撮像されている細胞の種類が、上述したクラスＣＬのうちのいずれのクラスＣＬに該当するのかを判定し、各クラスＣＬに対する確信度ＰＲを出力する。
　［確信度について］
　クラス判定部２２０は、クラスＣＬに対する確信度（Ｐｒｏｂａｂｉｌｉｔｙ）を出力する。ここで、確信度ＰＲについて説明する。確信度ＰＲは、複数の種類のクラスＣＬに対し、それぞれ１：１にして対応づけられている。例えば、上述したクラスＣＬのうち、クラスＣＬａ～クラスＣＬｃの３種類のクラスＣＬについて、クラスＣＬａには確信度ＰＲａが、クラスＣＬｂには確信度ＰＲｂが、クラスＣＬｃには確信度ＰＲｃが、それぞれ対応づけられている。
　あるクラスＣＬの確信度ＰＲは、その値が大きいほど、ニューラルネットワークＣＮＮへの入力信号（例えば、入力画像ＩＰ）がそのクラスＣＬに該当する尤度が高いことを示し、その値が小さいほど、入力信号がそのクラスＣＬに該当する尤度が低いことを示す。例えば、クラスＣＬａ（上述の例では、血小板凝集塊ＰＡ）の確信度ＰＲは、入力画像ＩＰが血小板凝集塊ＰＡの画像である場合には高く、入力画像ＩＰが血小板凝集塊ＰＡ以外の画像である場合には低く算出される。
　確信度ＰＲは、ある値の範囲（例えば、０～１）に正規化されていてもよい。この場合、あるクラスＣＬの確信度ＰＲは、値が１に近いほど、入力信号がそのクラスＣＬに該当する尤度が高く、値が０に近いほど、入力信号がそのクラスＣＬに該当する尤度が低いことを示す。また、各クラスＣＬの確信度ＰＲをクラスＣＬごとに加算した総和は、ある値（例えば、１）である。例えば、ある入力画像ＩＰについて、上述した３種類のクラスＣＬに分類する場合、これらのクラスＣＬに対応する確信度ＰＲａ～確信度ＰＲｃの総和は、１である。
　なお、上述した人工ニューラルネットワークにおいては、クラスＣＬの種類数に対応したベクトル値を出力値とする。この人工ニューラルネットワークを構成する各層のうち、例えば最終層にＳｏｆｔｍａｘ層を採用することにより、最終層からの出力値が確信度ＰＲとなりうる。また、確信度ＰＲは、ある入力信号があるクラスＣＬに該当する尤度を、クラスＣＬ相互間の比較によって表現できればよく、その単位は任意である。
　図３は、本実施形態のクラス判定システム１による確信度ＰＲの算出結果の一例を示す。
　クラス判定部２２０は、入力画像ＩＰごとに、各クラスＣＬの確信度ＰＲを算出する。具体的な一例として、クラスＣＬａ～クラスＣＬｃの３種類のクラスＣＬに分類される場合、クラス判定部２２０は、第１の入力画像ＩＰ１について、入力画像ＩＰ１がクラスＣＬａに該当する尤度を確信度ＰＲａとして、入力画像ＩＰ１がクラスＣＬｂに該当する尤度を確信度ＰＲｂとして、入力画像ＩＰ１がクラスＣＬｃに該当する尤度を確信度ＰＲｃとして、それぞれ算出する。図３に示す一例では、クラス判定部２２０は、確信度ＰＲａを９５％、確信度ＰＲｂを４％、確信度ＰＲｃを１％として、それぞれ算出する。
　図１に戻り、確信度出力部２３０は、クラス判定部２２０が算出した確信度ＰＲを表示制御装置１０に対して出力する。
　［表示制御装置１０の機能構成］
　表示制御装置１０は、確信度取得部１１０と、表示制御部１２０と、設定値取得部１３０と、ゲート判定部１４０とを備える。
　確信度取得部１１０は、入力画像ＩＰのクラス判定結果ＲＣＬの確信度ＰＲを算出するクラス判定部２２０（確信度算出部）によって算出される確信度ＰＲを取得する。
　表示制御部１２０は、確信度取得部１１０が取得する確信度ＰＲの入力画像ＩＰ毎の分布に基づいて、グラフＧの画像を生成する。表示制御部１２０が生成するグラフＧの画像には、グラフＧの表示軸ＤＡＸとして確信度軸ＰＡＸが含まれる。ここで、表示軸ＤＡＸとは、表示部４０に表示されるグラフＧの軸をいう。また、確信度軸ＰＡＸとは、グラフＧの軸のうち、確信度ＰＲの大きさを示す軸をいう。表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、少なくとも一軸を、確信度軸ＰＡＸにして表示させる。例えば、グラフＧがＸ軸及びＹ軸の２軸による直交座標平面を示す場合、クラス判定システム１は、これら２軸のうち、Ｘ軸を確信度軸ＰＡＸにして表示させる。なお、表示制御部１２０は、これら２軸（すなわち、Ｘ軸及びＹ軸）をいずれも確信度軸ＰＡＸにして表示させてもよい。また、グラフＧは必ずしも２軸でなくてもよく、クラス判定部２２０が判定するクラスＣＬの種類の数に応じた数の軸を有するものであってもよい。例えば、クラス判定部２２０が判定するクラスＣＬの種類数が３種類である場合には、表示制御部１２０は、３軸のグラフＧを表示させてもよい。この場合、クラス判定システム１は、グラフＧの３軸のうち、すべての軸を確信度軸ＰＡＸとしてもよい。
　すなわち、表示制御部１２０は、確信度取得部１１０が取得する確信度ＰＲの入力画像ＩＰ毎の分布を、グラフＧの表示軸ＤＡＸのうち少なくとも一軸を、確信度ＰＲを示す確信度軸ＰＡＸにして表示させる。
　なお、以下の説明において、この表示制御部１２０が生成するグラフＧの画像のことを、確信度グラフ画像ＰＧとも称する。
　設定値取得部１３０は、グラフＧに表示される確信度ＰＲについてのゲート設定値ＧＶを取得する。
　ゲート判定部１４０は、設定値取得部１３０が取得するゲート設定値ＧＶに基づいて、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かを判定する。
　次に、これら各部の動作の一例について、図４を参照して説明する。
　［クラス判定システム１の動作］
　図４は、本実施形態のクラス判定システム１の動作の一例を示す。
　画像取得部２１０は、細胞（又は組織）が撮像された画像を、フローサイトメトリー装置（不図示）から、入力画像ＩＰとして取得する（ステップＳ２１０）。画像取得部２１０は、取得した入力画像ＩＰをクラス判定部２２０に出力する。
　クラス判定部２２０は、ステップＳ２１０において取得された入力画像ＩＰについて、判定対象のクラスＣＬごとに確信度ＰＲを算出する（ステップＳ２２０）。
　確信度出力部２３０は、ステップＳ２２０において算出した確信度ＰＲを、表示制御装置１０に対して出力する（ステップＳ２３０）。
　確信度取得部１１０は、ステップＳ２３０において算出された確信度ＰＲを取得する（ステップＳ１１０）。
　表示制御部１２０は、ステップＳ１１０において取得された確信度ＰＲに基づいて、グラフＧの画像を生成する（ステップＳ１２０）。
　表示制御部１２０は、ステップＳ１２０において生成した確信度グラフ画像ＰＧを表示部４０に対して出力する（ステップＳ１３０）。この結果、表示部４０には、ステップＳ１２０において生成された確信度グラフ画像ＰＧが表示される。
　設定値取得部１３０は、ゲート設定値ＧＶを取得する（ステップＳ１４０）。ゲート設定値ＧＶとは、キーボードやマウス、タッチパネルなどの手動によって与えられるものであってもよく、確信度グラフ画像ＰＧの分布状況などに基づいて自動的に計算されるものであってもよい。設定値取得部１３０は、取得したゲート設定値ＧＶを表示制御部１２０に出力する。ゲート設定値ＧＶとは、ステップＳ１３０において表示された確信度グラフ画像ＰＧに対してゲートＧＴを設定するための値である。
　なお、表示制御部１２０は、取得されたゲート設定値ＧＶに基づくゲート画像ＧＰを確信度グラフ画像ＰＧ上に表示する。
　また、表示制御部１２０は、ステップＳ１３０において生成した確信度グラフ画像ＰＧと、確信度グラフ画像ＰＧについてのゲート設定値ＧＶとを、ゲート判定部１４０に対して出力する。
　ゲート判定部１４０は、ステップＳ２１０において取得された入力画像ＩＰが、ステップＳ１４０において作成されたゲート設定値ＧＶの内部にあるか否かの判定を行い、その判定結果としてのゲート判定結果ＧＲを生成する（ステップＳ１５０）。ここで、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かとは、確信度グラフ画像ＰＧ上においてゲート設定値ＧＶが示す確信度ＰＲの範囲内に、入力画像ＩＰの確信度ＰＲがプロットされるか否かを意味する。本実施形態の一例として、ゲート判定部１４０は、ステップＳ１４０において表示制御部１２０から出力される確信度グラフ画像ＰＧと、確信度グラフ画像ＰＧについてのゲート設定値ＧＶとに基づいて、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かを判定する。
　ゲート判定部１４０は、生成したゲート判定結果ＧＲをセルソーター（不図示）に出力する。このように構成することにより、クラス判定システム１は、ゲート設定値ＧＶに含まれる細胞（あるいは含まれない細胞）を選択的に分取するようにプログラムできる。また、クラス判定システム１は、ゲート判定結果ＧＲに基づいて、ゲート設定値ＧＶに含まれる細胞（あるいは含まれない細胞）のデータ（画像、数値データ、プロットなど）を選択的に表示できる。
　表示制御部１２０は、ゲート判定部１４０によるゲート判定結果ＧＲを用いて所望の細胞に対応した入力画像ＩＰやグラフＧなどのデータを表示させることもできる。また、表示制御部１２０は、ゲート判定結果ＧＲに基づいて、ゲートＧＴに含まれる入力画像ＩＰの個数や割合などの統計値を計算して出力させたり、グラフＧ上に表示させたりすることも可能である。また、表示制御部１２０は、個々の入力画像ＩＰがゲートＧＴに含まれるか否かのゲート判定結果ＧＲに基づいて、ゲートＧＴに含まれる入力画像に対応したデータ点について、データ点の位置を示すポイントの色や形状を変えることも可能である。
　表示制御部１２０が生成する確信度グラフ画像ＰＧの一例について、図５を参照して説明する。
　［確信度グラフ画像ＰＧの一例］
　図５は、本実施形態の確信度グラフ画像ＰＧの一例を示す。上述したように、表示制御部１２０は、確信度ＰＲの入力画像ＩＰ毎の分布を、グラフＧの表示軸ＤＡＸのうち少なくとも一軸を、確信度軸ＰＡＸにして表示させる。図５（Ａ）に示す一例では、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、Ｘ軸を確信度軸ＰＡＸとし、Ｙ軸を確信度ＰＲの出現頻度として、グラフＧを表示させる。ここでＹ軸の確信度ＰＲの出現頻度とは、複数の入力画像ＩＰについてクラス判定部２２０がクラスＣＬをそれぞれ判定した場合において、あるクラスＣＬの確信度ＰＲを入力画像ＩＰごとに計数した値である。確信度ＰＲの出現頻度のことを、ある確信度ＰＲにおける入力画像ＩＰの度数Ｆとも称する。図５（Ａ）に示す一例の場合、確信度グラフ画像ＰＧとは、Ｘ軸が確信度軸ＰＡＸを示し、Ｙ軸が度数Ｆを示すヒストグラムである。
　具体的な一例として、クラス判定部２２０が、入力画像ＩＰが血小板凝集塊ＰＡの画像であるか否かを判定する場合について説明する。クラス判定部２２０は、入力画像ＩＰに撮像されている細胞（又は組織）が血小板凝集塊ＰＡであることの確信度ＰＲａを算出する。例えば、血小板凝集塊ＰＡの画像が入力画像ＩＰとして与えられた場合、クラス判定部２２０は、入力画像ＩＰが血小板凝集塊ＰＡの画像であることの確信度ＰＲ（つまり、確信度ＰＲａ）を９５％と算出する。すなわちこの場合、クラス判定部２２０は、与えられた入力画像ＩＰが血小板凝集塊ＰＡの画像である尤度が高いと判定する。また、白血球ＬＫの画像が入力画像ＩＰとして与えられた場合、クラス判定部２２０は、確信度ＰＲａを４％と算出する。すなわちこの場合、クラス判定部２２０は、与えられた入力画像ＩＰが血小板凝集塊ＰＡの画像である尤度が低いと判定する。
　クラス判定部２２０は、複数の入力画像ＩＰについて確信度ＰＲａをそれぞれ算出し、算出した確信度ＰＲａの分布を、Ｘ軸を確信度軸ＰＡＸにし、Ｙ軸を度数Ｆを示す軸にしたグラフＧを、確信度グラフ画像ＰＧとして表示部４０に表示させる。
　ここで、図５（Ａ）～（Ｃ）には、クラス判定部２２０によるクラス判定性能の違いを示す。クラス判定性能が比較的高い場合には、図５（Ａ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能が比較的高い場合には、確信度ＰＲの分布が、確信度ＰＲが比較的低い「分布ＤＳ１Ａ」の領域と、確信度ＰＲが比較的高い「分布ＤＳ１Ｂ」の領域とに明確に分かれる。換言すれば、図５（Ａ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が比較的高い状態であると解釈できる。
　また、クラス判定性能が比較的低い場合には、図５（Ｂ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能が比較的低い場合には、確信度ＰＲの分布が、確信度ＰＲが比較的低い「分布ＤＳ１Ｃ」の領域と、確信度ＰＲが比較的高い「分布ＤＳ１Ｄ」の領域とに分かれるが、これら２つの領域どうしが、図５（Ａ）に示す場合に比べて接近する。つまり、クラス判定性能が比較的低い場合には、確信度ＰＲが比較的低い領域と、確信度ＰＲが比較的高い領域とを明確に分離し難い状態になる。換言すれば、図５（Ｂ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が比較的低い状態であると解釈できる。
　また、クラス判定性能がさらに低い場合には、図５（Ｃ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能がさらに低い場合には、確信度ＰＲの分布が、分布ＤＳ１Ｅの領域のみになり、確信度ＰＲの高い領域と、確信度ＰＲの低い領域とを判別できなくなる。換言すれば、図５（Ｃ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が、図５（Ｂ）の状態に比べてさらに低い状態であると解釈できる。
　なお、「クラス判定性能」のことを「クラスＣＬの分類精度」とも称する。
　上述したように、グラフＧの少なくとも１軸を確信度軸ＰＡＸとすることにより、クラス判定部２２０の判定性能が、操作者（すなわち人間）にとって解釈しやすい形式になる。すなわち、本実施形態のクラス判定システム１によれば、ニューラルネットワークＣＮＮによるクラスＣＬの判定性能を操作者が解釈しやすい形式にして提示できる。
　ところで、ニューラルネットワークＣＮＮの内部の各層における重みづけの意味について、人間が解釈することは一般的に困難である。このため、ニューラルネットワークＣＮＮが、入力画像ＩＰのクラスＣＬをどのような判定条件によって判定しているのかについて、人間が解釈することは一般的に困難である。したがって、ニューラルネットワークＣＮＮの学習状態が妥当であるか否か（つまり、ニューラルネットワークＣＮＮのクラス判定性能）を評価する場合において、ニューラルネットワークＣＮＮの内部の状態を観察することによって評価することは、一般的に困難である。このため従来、ニューラルネットワークＣＮＮのクラス判定性能を評価する場合において、ニューラルネットワークＣＮＮに与えた入力信号（例えば、入力画像ＩＰ）と、入力信号に基づいてニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬとを照合して、その当否を判定する手法が行われている。例えば、ニューラルネットワークＣＮＮに対して「血小板凝集塊ＰＡ」の入力画像ＩＰを与えた場合において、ニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬが「血小板凝集塊ＰＡ」を示していれば、このニューラルネットワークＣＮＮは妥当に学習されている、と判定する。しかし、この従来手法によると、ニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬが正しいか誤っているかの２択として判定するにとどまり、クラス判定結果ＲＣＬの妥当性の程度、つまりニューラルネットワークＣＮＮのクラス判定性能までは判定できなかった。
　本実施形態のクラス判定システム１は、ニューラルネットワークＣＮＮがクラス判定に用いる確信度ＰＲをニューラルネットワークＣＮＮから出力させ、確信度ＰＲをグラフＧの表示軸ＤＡＸとして表示させる。上述したように、確信度ＰＲは、ある入力信号があるクラスＣＬに該当する尤度を示す指標としてニューラルネットワークＣＮＮが算出する値であることから、ニューラルネットワークＣＮＮによるクラス判定の妥当性の程度を示している。したがって、確信度ＰＲの分布は、ニューラルネットワークＣＮＮのクラス判定性能を示す指標となりうる。ここで、図５を参照して説明したように、確信度ＰＲの分布をグラフＧの軸にすることにより、ニューラルネットワークＣＮＮの内部の状況を人間にも解釈させやすい形式にすることができる。
　本実施形態のクラス判定システム１は、確信度ＰＲの分布を軸にしたグラフＧに示すことにより、ニューラルネットワークＣＮＮによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
　上記ではニューラルネットワークＣＮＮによるクラス判定性能を人間が解釈する場合について説明したが、ゲート判定部１４０がクラス判定性能を評価してもよい。
　なお、図５（Ｃ）に示すように、クラス判定性能が低くなる場合の原因としては、クラス判定を行ったニューラルネットワークＣＮＮのモデルの性能が悪いことや、入力した画像の画質が低いことが原因として考えられる。ニューラルネットワークＣＮＮのモデルの性能を向上させるためには、再学習を行うことが有効である。
　以下、再学習の方法を例示する。例えば、ある特定のパラメータについての確信度の分布より、ゲートが有効ではないことが判明した場合、当該パラメータのクラスに対して、新規で学習に使用する画像を追加し、再学習することが有効である。
　また、学習に使用した既存画像に対して、反転や回転などの画像処理を行うことにより、学習に使用する画像を生成して追加し、再学習することが有効である。
　また、図５（Ｃ）に示すように、確信度の高い領域と確信度の低い領域を判別することができない場合、一つのクラスに分類されていた集団の中に、複数の異なる形状の細胞が存在することが明らかとなる場合がある。このような場合、既存の分類を分割して新しい分類を追加し、再学習することが有効である。
　また、２つ以上の既存の分類を統合して１つの分類とし、再学習することが有効な場合もある。
　また、クラス判定部のモデル（レイヤー数、各層を接続する構造など）を変更し、再学習することが有効な場合もある。
　必要に応じて、上記再学習の方法を適宜組み合わせることにより、ニューラルネットワークＣＮＮのモデルの性能が向上することが期待できる。
　なお、ゲート判定部１４０は、クラス判定性能の評価結果に基づき、再学習の要否判断や再学習方法の決定を行ってもよい。
　［表示形式の変形例］
　図６は、本実施形態の表示制御部１２０が表示させるグラフＧの一例を示す。本変形例において、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、クラスＣＬｄの確信度ＰＲｄをＸ軸、クラスＣＬｅの確信度ＰＲｅをＹ軸にして、確信度グラフ画像ＰＧを表示させる。上述した一例では、クラスＣＬｄはリンパ球ＬＣ、クラスＣＬｅは顆粒球ＧＬにそれぞれ対応する。この場合、分布ＤＳ２Ａは、クラス判定部２２０が、入力画像ＩＰをリンパ球ＬＣの画像であるとクラス判定した領域を示している。分布ＤＳ２Ｂは、クラス判定部２２０が、入力画像ＩＰを顆粒球ＧＬの画像であるとクラス判定した領域を示している。また、分布ＤＳ２Ｃは、クラス判定部２２０が、入力画像ＩＰをリンパ球ＬＣ及び顆粒球ＧＬのいずれの画像でもないとクラス判定した領域を示している。
　すなわち、同図に示す一例では、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうちの複数の表示軸ＤＡＸを確信度軸ＰＡＸにして表示させる。
　このように、複数の表示軸ＤＡＸを確信度軸ＰＡＸにしてグラフＧを表示させることにより、クラス判定システム１は、ニューラルネットワークＣＮＮによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
　なお、上述した各例においては、確信度軸ＰＡＸが、あるクラスＣＬの確信度ＰＲをそのまま示す軸であるとして説明したが、これに限られない。確信度軸ＰＡＸは、複数のクラスＣＬの確信度ＰＲどうしの組み合わせによる確信度ＰＲ（すなわち、組み合わせ確信度ＰＲＣＢ）を示す軸であってもよい。例えば、グラフＧのＸ軸が、確信度ＰＲａと確信度ＰＲｂとが多項式によって加算された組み合わせ確信度ＰＲＣＢとされていてもよい。例えば、組み合わせ確信度ＰＲＣＢが、確信度ＰＲａに重みを掛け合わせた値と、確信度ＰＲｂに重みを掛け合わせた値との和によって表される。すなわちこの場合、表示制御部１２０は、クラス判定結果ＲＣＬが示す複数のクラスＣＬの確信度ＰＲどうしの組み合わせによる組み合わせ確信度ＰＲＣＢを示す軸を、確信度軸ＰＡＸとして表示させる。
　なお、操作者が操作検出部３０に対してゲート設定値ＧＶを入力する操作を行うことにより、表示制御装置１０は、グラフＧにゲート画像ＧＰを重ねて表示できる。ここで「ゲート」とは、ヒストグラムなどのグラフＧの中から、特定の領域を抽出するためのしきい値をいう。また「ゲーティング」とは、グラフＧに対してゲートを行い特定の領域を抽出する作業をいう。
　例えば、あるグラフＧから特定の種類の細胞の情報だけを抽出したい場合には、このゲーティングが有効である。
　また、例えば、ゲーティングしたいクラスＣＬが複数のクラスＣＬにまたがる場合には、上述したような複数の確信度ＰＲどうしを多項式によって加算した組み合わせ確信度ＰＲＣＢを用いることが有効である。
　このゲーティングの一例について、図７を参照して説明する。
　［ゲーティングの一例］
　図７は、本実施形態の表示制御装置１０によるゲーティングの一例を示す。図７（Ａ）には、図６に示した確信度グラフ画像ＰＧを再度示す。表示制御装置１０は、この確信度グラフ画像ＰＧのうち、分布ＤＳ２Ａについての確信度グラフ画像ＰＧ（図７（Ｂ））を表示させることができる。
　操作者は、操作検出部３０に対してゲート設定値ＧＶを入力する操作を行う。ゲート設定値ＧＶを入力する操作には、例えば、数値入力、グラフＧの画像に対する矩形、円形又は多角形などの形状入力などがある。操作検出部３０は、ゲート設定値ＧＶを入力する操作を検出すると、検出した操作を示す情報を表示制御装置１０に出力する。
　設定値取得部１３０は、操作検出部３０が出力する情報からゲート設定値ＧＶを取得する。
　表示制御部１２０は、設定値取得部１３０が取得するゲート設定値ＧＶに基づくゲートＧＴを示すゲート画像ＧＰを、グラフＧに表示させる。
　図７（Ａ）に示す一例では、設定値取得部１３０は、ゲート設定値ＧＶ１を取得する。また、表示制御部１２０は、ゲート画像ＧＰ１（すなわち、多角形のゲート画像ＧＰ）を確信度グラフ画像ＰＧに重ねて、表示部４０に表示させる。
　図７（Ａ）に示すゲート画像ＧＰ１は、分布ＤＳ２Ａの領域を囲っている。分布ＤＳ２Ａは、クラスＣＬｄの確信度ＰＲｄが比較的高い領域（すなわち、入力画像ＩＰがリンパ球ＬＣの画像である尤度が高い領域）を示している。
　表示制御部１２０は、ゲート画像ＧＰによって囲まれた領域が、クラスＣＬｄの確信度ＰＲｄが比較的高い領域であると判定した場合、新たなグラフＧの画像を生成し、表示部４０に表示させる（図７（Ｂ））。図７（Ｂ）に示すグラフＧとは、Ｘ軸を確信度ＰＲｄとし、Ｙ軸を度数Ｆとする確信度グラフ画像ＰＧである。
　すなわち、表示制御部１２０は、グラフＧの表示領域におけるゲート画像ＧＰの位置に基づいて、新たなグラフＧを表示させることができる。
　図７（Ｂ）に示されるグラフＧの一例の場合、確信度ＰＲｄが比較的低い「分布ＤＳ２Ｄ」の領域と、確信度ＰＲｄが比較的高い「分布ＤＳ１Ｅ」の領域とに分かれて示される。図７（Ｂ）のグラフＧに対してもゲートを設定できる。
　すなわち、操作者は、図７（Ｂ）に示されるグラフＧに対してゲートを設定するために、操作検出部３０に対してゲート設定値ＧＶ２を入力する操作を行う。この一例の場合、ゲート設定値ＧＶ２とは、確信度ＰＲｄの幅を示す数値である。操作検出部３０は、ゲート設定値ＧＶ２を入力する操作を検出すると、検出した操作を示す情報を表示制御装置１０に出力する。
　設定値取得部１３０は、操作検出部３０からゲート設定値ＧＶ２を取得する。
　表示制御部１２０は、設定値取得部１３０が取得するゲート設定値ＧＶ２に基づくゲートＧＴを示すゲート画像ＧＰ２を、グラフＧに表示させる。ゲート画像ＧＰ２とは、図７（Ｂ）に示す一例では、分布ＤＳ２Ｅを囲む画像である。ここで、分布ＤＳ２Ｅは、確信度ＰＲｄが比較的高い領域（すなわち、入力画像ＩＰがリンパ球ＬＣの画像である尤度が高い領域）である。つまり、図７（Ｂ）に示す一例では、リンパ球ＬＣに対するゲーティングが行われている。
　このようにして表示制御装置１０は、操作検出部３０が検出する操作に基づいて、複数のグラフＧを段階的に表示させることができる。すなわち、表示制御装置１０は、いわゆるゲートリージョンによる絞り込みをグラフＧの画像によって視覚的に表現することにより、人間が解釈しやすい形式にして提示できる。
　［ゲーティングの変形例（１）］
　図８は、本実施形態の表示制御装置１０によるゲーティングの変形例を示す。上述した図７に示す例においては、ゲーティング前のグラフＧ（図７（Ａ））が確信度グラフ画像ＰＧであった。本変形例においては、ゲーティング前のグラフＧが確信度グラフ画像ＰＧではない点において、上述した一例と異なる。
　図８（Ａ）に示すグラフＧとは、パラメータＰＭ－ＡをＸ軸、パラメータＰＭ－ＢをＹ軸にした分布図である。一例として、パラメータＰＭ－Ａとは、抗体（例えば、ＣＤ４５－ＦＩＴＣ）についての各細胞の反応の程度を示すパラメータである。また、パラメータＰＭ－Ｂとは、各細胞の散乱光（例えば、側方散乱光）の程度を示すパラメータである。同図に示すグラフＧには、顆粒球ＧＬ、単球ＭＣ、及びリンパ球ＬＣの分布が示される。この一例では、リンパ球ＬＣに対してゲーティングがなされる。操作者は、グラフＧのうち、リンパ球ＬＣの領域を囲む範囲をゲート設定値ＧＶ３として設定する。操作検出部３０は、ゲート設定値ＧＶ３の設定操作を検出して、表示制御装置１０に出力する。表示制御部１２０は、ゲート設定値ＧＶ３に対応するゲート画像ＧＰ３を表示する。また、表示制御部１２０は、ゲート設定値ＧＶ３に基づいて、図８（Ｂ）に示すグラフＧの画像を生成し、表示部４０に表示させる。
　図８（Ｂ）に示すグラフＧとは、Ｘ軸を確信度ＰＲｄ１とし、Ｙ軸を確信度ＰＲｄ２とする確信度グラフ画像ＰＧである。ここで、確信度ＰＲｄ１とは、一例として、クラスＣＬｄ１（Ｔリンパ球ＬＣＴ）についての確信度ＰＲである。また、確信度ＰＲｄ２とは、一例として、クラスＣＬｄ２（Ｂリンパ球ＬＣＢ）についての確信度ＰＲである。同図に示すグラフＧには、Ｔリンパ球ＬＣＴである尤度が比較的高い領域（分布ＤＳ３Ａ）と、Ｂリンパ球ＬＣＢである尤度が比較的高い領域（分布ＤＳ３Ｂ）と、いずれの尤度も比較的低い領域（分布ＤＳ３Ｃ）とが含まれる。
　なお、このグラフＧに対してもゲート設定値ＧＶ４及びゲート画像ＧＰ４によってゲーティングが可能である。
　［ゲーティングの変形例（２）］
　図９は、本実施形態の表示制御装置１０によるゲーティングの他の変形例を示す。本変形例においても、上述した図７（Ｂ）の一例と同様にして、ゲート設定値ＧＶによってゲーティング可能である。なお、本変形例の場合、ゲーティングの目的に応じて、ゲート設定値ＧＶを変更できる点で、上述した一例と異なる。ここで、ゲーティングの目的の一例として、スクリーニングがある。スクリーニングにおいて、陽性を取りこぼさないようにするために偽陽性をより多く含んでも構わない場合には、ゲート設定値ＧＶがより広く設定される（例えば、図９（Ｃ）に示すゲート設定値ＧＶ２３）。また、偽陽性を極力排除するために陽性が取りこぼされても構わないとされる場合には、ゲート設定値ＧＶがより狭く設定される（例えば、図９（Ａ）に示すゲート設定値ＧＶ２１）。
　なお、上記実施形態では、クラス判定システム１としてイメージングサイトメトリーの場合について説明したが、顕微鏡を用いる場合のように、一つの画像中に複数の細胞が存在する場合には、まず全体の画像から個別の細胞画像を切り出し、切り出した画像をクラス判定システム１に与えてもよい。
　また、共焦点顕微鏡や２光子顕微鏡など、対象物の３次元構造を撮像する顕微鏡と組み合わせてもよい。また、奥行き方向（Ｚ方向）ではなく、時間軸方向にタイムラプス撮像したり、波長を切り替えて撮像するなど、各種の多次元撮像を行う顕微鏡と組み合わせてもよい。多次元撮像で得られた多次元画像でも、個々の細胞を切り出した画像をクラス判定システム１に与えることができる。
　クラス判定システム１を３次元以上の多次元撮像可能な顕微鏡と組み合わせて用いる場合、多次元画像データを本発明に適用するために、以下の方法が考えられる。
（方法１）　奥行き方向（Ｚ方向）の異なる複数の撮像画像に対して、画像間の演算（単純加算、デコンボリューション、ピクセルごとの最大値など）を行い、単一の画像に合成する。そして、得られた単一の画像を対象として確信度を得て、クラス判定を行う。
（方法２）　奥行き方向（Ｚ方向）の異なる複数の撮像画像を、Ｚ方向を含む単一のボクセル画像とし、ボクセル画像を対象として確信度を得て、クラス判定を行う。
（方法３）　奥行き方向（Ｚ方向）の異なる複数の撮像画像を、別々にクラス判定システム１に入力し、Ｚ位置ごとに確信度を得る。
　方法１、方法２によれば、一つの細胞に対して一式の確信度が得られる。これに対し、方法３では、Ｚ位置ごとに確信度が得られる。そのため、方法３では、確信度の分布に基づいて最適なＺ位置の画像を選択することもできる。
　なお、上記の例では奥行き方向（Ｚ方向）の多次元画像を説明しているが、時間や波長を異ならせる場合も同様である。
　また、表示制御部１２０は、多次元撮像で得られた多次元画像に対して得られた確信度を、元の多次元画像にマッピングして表示させてもよい。ここでマッピングとは、例えば、等高線プロットやヒートマップ、ドットプロット、棒グラフなどの手法を用いて確信度の分布を元の多次元画像上に表示させることを指す。
　また、表示制御部１２０は、ゲーティングしたクラスの細胞を、元の多次元画像にマッピングして表示させてもよい。例えば、ゲーティングしたクラスの細胞の位置を元の多次元画像上にドットとして表現したり、ゲーティングしたクラスの細胞が存在する領域を曲線で囲ったり色調を変えて表現することなどが考えられる。
　上記のような表示方法により、時間分布や空間分布を有する細胞画像に対して、クラス判定結果を人間がより解釈しやすくなる。
　［実施例］
　図１０から図１８を参照して、本実施形態のクラス判定システム１の実施例について説明する。
　図１０は、本実施形態のニューラルネットワークＣＮＮの構成の一例を示す。
　図１１は、細胞画像と、各クラスＣＬについての確信度ＰＲとの関係の一例を示す。
　図１２は、確信度ＰＲのヒストグラム及びゲーティング結果の一例を示す。
　図１２に示す一例では、ヒストグラムが、白血球ＬＫに分類される確信度ＰＲを示す。同図において確信度ＰＲが所定値以下の領域をゲーティングしている。すなわち、白血球ＬＫの尤度が低いものをゲーティングしている。このゲーティングの結果、白血球ＬＫ以外の細胞（又は組織）が抽出される。この一例では、ゲーティングの結果、血小板凝集塊ＰＡを含む細胞（又は組織）が抽出される。次に、抽出された結果に基づき、血小板凝集塊ＰＡの確信度ＰＲをＸ軸にしてグラフＧを表示させ、血小板凝集塊ＰＡの尤度が高い領域をゲーティングする。またゲート近傍には、ゲートに含まれる細胞（又は組織）の個数および割合が表示されている。このようにゲーティングの結果を示す統計値を表示することは、分類の結果を定量的に認知できるようになるため有用である。
　一連のゲーティングによって、すべての入力画像ＩＰ中から血小板凝集塊ＰＡである尤度が高い入力画像ＩＰの群を限定している。すなわち、入力画像ＩＰのうち、白血球ＬＫに対する適合度が低いものをまず選択している。続いて、選択された入力画像ＩＰのうち、血小板凝集塊ＰＡに属する確信度ＰＲのヒストグラムを描画し、確信度ＰＲの値が一定値以上の入力画像ＩＰの群をゲートで指定している。
　図１３は、血小板凝集塊ＰＡの分類精度を定量した結果の一例を示す。この一例においては、あらかじめ人為的にクラス分類されたデータセットを用いて、図１２において示したゲート設定による血小板凝集塊ＰＡの分類精度を定量した結果を示す。
　図１４は、セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えた場合）を示す。
　図１５は、セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えていない場合）を示す。
　図１４及び図１５に示す一例では、セルソーター（不図示）を用いて分取する細胞集団を、図１２において示したゲート設定によって指定し、そのゲーティング設定に即して細胞分取を行い、分取したサンプルを顕微鏡で確認して、分取性能を確かめた実験例である。図１４及び図１５に示す一例のヒストグラムどうしの比較から、ＴＲＡＰ刺激によって血小板凝集塊が増加していることが分かる。さらに設定したアルゴリズムに基づいてセルソーターで細胞分取によって、血小板凝集塊が濃縮できたことも確認された。
　図１６は、血小板凝集塊ＰＡに分類される確信度ＰＲのヒストグラム表示の一例を示す。図１６（Ａ）に示す一例では、比較的にヒストグラムの両端に集団が偏っている。これと比較すると、図１６（Ｂ）に示す一例では、ヒストグラムの中間領域により多くの集団が属している。分類が高精度で行われる場合においては、ヒストグラム両端近傍に集団が偏在すると期待されることから、図１６（Ｂ）のように中間領域に多数の画像が含まれるケースでは分類の品質があまり高くないと言える。このように、本発明を用いることで分類の精度や正確性についての情報を得ることができる。
　図１７は、グラフＧの表示形式を散布図とした場合の一例を示す。図１７は、横軸（Ｘ軸）に血小板凝集塊ＰＡに対する確信度ＰＲ、縦軸（Ｙ軸）に単一血小板（血小板ＳＰ）に対する確信度ＰＲを示した散布図の例である。このように多次元のプロットで表示することも可能である。
　図１８は、入力画像ＩＰを確信度ＰＲ別に分類した結果の一例を示す図である。血小板凝集塊ＰＡのヒストグラム上に異なる範囲でゲートを設定し、そこに含まれる入力画像ＩＰの一例を列挙したデータである。図１８（Ａ）は確信度が0.999より大きい入力画像ＩＰの群、図１８（Ｂ）は確信度が0.99から0.999の間に含まれる入力画像ＩＰの群、図１８（Ｃ）は確信度が0.98から0.99の間に含まれる入力画像ＩＰの群を示したものである。
このように、ヒストグラム上でゲート設定を変化させることで、分類対象とする入力画像ＩＰの群を絞り込むことが可能となる。
　なお、上述した実施形態及び変形例において、クラス判定部２２０がニューラルネットワークＣＮＮによって実現される例について説明したが、これに限られない。
　クラス判定部２２０は、決定木学習、サポートベクタマシン、クラスタリング、ベイジアンネットワーク、隠れマルコフモデル、アンサンブル学習、ブースティングなどの既存の手段によって実現されていてもよい。
　以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
　なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
　また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１…クラス判定システム、１０…表示制御装置、１１０…確信度取得部、１２０…表示制御部、１３０…設定値取得部、２０…クラス判定装置、２１０…画像取得部、２２０…クラス判定部、２３０…確信度出力部、ＰＲ…確信度、ＩＰ…入力画像ＩＰ、ＰＧ…確信度グラフ画像

Claims (9)

  1. 　入力画像のクラス判定結果の確信度を算出する確信度算出部によって算出される前記確信度を取得する確信度取得部と、
    　前記確信度取得部が取得する前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示させる表示制御部と、
    　を備える表示制御装置。
  2. 　前記表示制御部は、
    　前記グラフの表示軸のうちの複数の表示軸を前記確信度軸にして表示させる
    　請求項１に記載の表示制御装置。
  3. 　前記表示制御部は、
    　前記クラス判定結果が示す複数のクラスの前記確信度どうしの組み合わせによる組み合わせ確信度を示す軸を、前記確信度軸として表示させる
    　請求項１又は請求項２に記載の表示制御装置。
  4. 　前記グラフに表示される前記確信度についてのゲートの設定値を取得する設定値取得部
    　をさらに備え、
    　前記表示制御部は、
    　前記設定値取得部が取得する前記設定値に基づくゲートを示すゲート画像を、前記グラフに表示させる
    　請求項１から請求項３のいずれか一項に記載の表示制御装置。
  5. 　前記設定値取得部が取得する前記ゲートの設定値に基づいて、前記入力画像が前記ゲートの設定値の内部にあるか否かを判定するゲート判定部
    　を更に備える請求項４に記載の表示制御装置。
  6. 　入力画像のクラス判定結果の確信度を取得し、
    　前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示する、
    　表示制御方法。
  7. 　前記グラフに表示される前記確信度についてのゲートの設定値を取得し、
    　前記設定値に基づくゲートを示すゲート画像を、前記グラフに表示する、
    　請求項６に記載の表示制御方法。
  8. 　前記クラス判定結果の確信度に基づき、ゲート判定部が再学習の要否判断、又は、再学習方法の決定を行う、
    　請求項６又は７に記載の画像表示方法。
  9. 　表示制御装置が備えるコンピュータに、
    　入力画像のクラス判定結果の確信度を取得するステップと、
    　前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を、前記確信度を示す確信度軸にして表示させるステップと、
    　を実行させるための表示制御プログラム。
PCT/JP2019/023833 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム WO2020004101A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP19824977.3A EP3816935A4 (en) 2018-06-27 2019-06-17 DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM
CN201980041251.5A CN112313702B (zh) 2018-06-27 2019-06-17 显示控制设备、显示控制方法以及显示控制程序
JP2019554569A JP6753622B2 (ja) 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム
CA3102749A CA3102749A1 (en) 2018-06-27 2019-06-17 Display control device, display control method, and display control program
AU2019293020A AU2019293020B2 (en) 2018-06-27 2019-06-17 Display control device, display control method, and display control program
CN202311687873.XA CN117496511A (zh) 2018-06-27 2019-06-17 显示控制设备、显示控制方法以及显示控制程序
US15/733,808 US20210232869A1 (en) 2018-06-27 2019-06-17 Display control device, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018122096 2018-06-27
JP2018-122096 2018-06-27

Publications (1)

Publication Number Publication Date
WO2020004101A1 true WO2020004101A1 (ja) 2020-01-02

Family

ID=68986491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023833 WO2020004101A1 (ja) 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (7)

Country Link
US (1) US20210232869A1 (ja)
EP (1) EP3816935A4 (ja)
JP (2) JP6753622B2 (ja)
CN (2) CN117496511A (ja)
AU (1) AU2019293020B2 (ja)
CA (1) CA3102749A1 (ja)
WO (1) WO2020004101A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193673A1 (ja) * 2020-03-25 2021-09-30 合同会社Ｈ．Ｕ．グループ中央研究所 ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置
JP2022049767A (ja) * 2020-09-17 2022-03-30 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010076882A1 (ja) * 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2013147114A1 (ja) 2012-03-30 2013-10-03 公益財団法人神奈川科学技術アカデミー イメージングセルソーター
WO2017072854A1 (ja) * 2015-10-27 2017-05-04 株式会社日立製作所 監視装置、監視システムおよび監視方法
WO2017081829A1 (ja) * 2015-11-13 2017-05-18 富士通株式会社 行動検知装置、行動検知方法及び行動検知プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293025A (ja) * 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
CN1214340C (zh) * 2000-04-24 2005-08-10 国际遥距成象系统公司 多个神经网络的成像设备和方法
JP2006318405A (ja) * 2005-05-16 2006-11-24 Mitsubishi Electric Building Techno Service Co Ltd 設備機器の情報提供装置
US7964402B2 (en) * 2006-05-25 2011-06-21 Sanford-Burnham Medical Research Institute Methods for culture and production of single cell populations of human embryonic stem cells
CN101187985B (zh) * 2006-11-17 2012-02-01 东软集团股份有限公司 确定对象分类器分类边界的方法及装置
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
JP6070420B2 (ja) 2013-05-31 2017-02-01 富士ゼロックス株式会社 画像処理装置及びプログラム
US9355088B2 (en) * 2013-07-12 2016-05-31 Microsoft Technology Licensing, Llc Feature completion in computer-human interactive learning
US9886669B2 (en) * 2014-02-26 2018-02-06 Microsoft Technology Licensing, Llc Interactive visualization of machine-learning performance
JP2015176588A (ja) * 2014-03-18 2015-10-05 株式会社東芝 表示装置、画像表示システムおよび情報処理方法
EP3469338A4 (en) * 2016-06-10 2020-01-15 The Regents of the University of California IMAGE-BASED CELL SORTING SYSTEMS AND METHODS
US10460256B2 (en) * 2016-08-09 2019-10-29 Microsot Technology Licensing, LLC Interactive performance visualization of multi-class classifier
US10945864B2 (en) * 2016-08-17 2021-03-16 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
KR102469620B1 (ko) * 2016-08-22 2022-11-21 아이리스 인터내셔널 인크. 생물학적 입자의 분류 시스템 및 방법
US11200483B2 (en) 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010076882A1 (ja) * 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2013147114A1 (ja) 2012-03-30 2013-10-03 公益財団法人神奈川科学技術アカデミー イメージングセルソーター
WO2017072854A1 (ja) * 2015-10-27 2017-05-04 株式会社日立製作所 監視装置、監視システムおよび監視方法
WO2017081829A1 (ja) * 2015-11-13 2017-05-18 富士通株式会社 行動検知装置、行動検知方法及び行動検知プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193673A1 (ja) * 2020-03-25 2021-09-30 合同会社Ｈ．Ｕ．グループ中央研究所 ゲート領域推定プログラム、ゲート領域推定方法、及びゲート領域推定装置
JP2022049767A (ja) * 2020-09-17 2022-03-30 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム

Also Published As

Publication number Publication date
CN112313702A (zh) 2021-02-02
JP2021002354A (ja) 2021-01-07
JP6753622B2 (ja) 2020-09-09
CA3102749A1 (en) 2020-01-02
AU2019293020A1 (en) 2021-01-07
JP7361395B2 (ja) 2023-10-16
JPWO2020004101A1 (ja) 2020-07-02
CN112313702B (zh) 2023-12-29
AU2019293020B2 (en) 2024-01-18
US20210232869A1 (en) 2021-07-29
EP3816935A1 (en) 2021-05-05
CN117496511A (zh) 2024-02-02
EP3816935A4 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP7361395B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US6947586B2 (en) Multi-neural net imaging apparatus and method
JP5425814B2 (ja) サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム
Vaickus et al. Automating the Paris System for urine cytopathology—A hybrid deep‐learning and morphometric approach
US11994459B2 (en) Adaptive sorting for particle analyzers
US20040126008A1 (en) Analyte recognition for urinalysis diagnostic system
CN104156945B (zh) 基于多目标粒子群算法的灰度图像分割方法
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
US11029242B2 (en) Index sorting systems and methods
US20230066976A1 (en) Systematic characterization of objects in a biological sample
US11788946B2 (en) Optimized sorting gates
CA2377602C (en) Multi-neural net imaging apparatus and method
EP1301894B1 (en) Multi-neural net imaging apparatus and method
Röhrl et al. Towards Interpretable Classification of Leukocytes based on Deep Learning
HARSHITHA DETECTION OF CANCER IN HUMAN BLOOD BASED ON MICROSCOPIC IMAGES
WO2014112567A1 (ja) 細胞群分類装置及び、細胞群分類方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019554569

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19824977

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3102749

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019293020

Country of ref document: AU

Date of ref document: 20190617

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019824977

Country of ref document: EP

Effective date: 20210127