WO2023017843A1 - 診断装置、情報取得方法及びプログラム - Google Patents

診断装置、情報取得方法及びプログラム Download PDF

Info

Publication number
WO2023017843A1
WO2023017843A1 PCT/JP2022/030614 JP2022030614W WO2023017843A1 WO 2023017843 A1 WO2023017843 A1 WO 2023017843A1 JP 2022030614 W JP2022030614 W JP 2022030614W WO 2023017843 A1 WO2023017843 A1 WO 2023017843A1
Authority
WO
WIPO (PCT)
Prior art keywords
cells
information
individual
distribution
cell nuclei
Prior art date
Application number
PCT/JP2022/030614
Other languages
English (en)
French (fr)
Inventor
孝一 大島
寛明 三好
健作 佐藤
美晴 永石
一郎 竹内
秀堅 本谷
Original Assignee
学校法人 久留米大学
国立大学法人 名古屋工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人 久留米大学, 国立大学法人 名古屋工業大学 filed Critical 学校法人 久留米大学
Priority to EP22855905.0A priority Critical patent/EP4386076A1/en
Publication of WO2023017843A1 publication Critical patent/WO2023017843A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to diagnostic devices, information acquisition methods, and programs.
  • Malignant lymphoma is the most common hematologic malignancy in Japanese adults. Early-stage malignant lymphoma with few subjective symptoms is a disease that is difficult to detect in its early stages (see Patent Document 1). Malignant lymphoma can develop in any organ throughout the body, and is classified into more than 100 disease types ranging from frequent to extremely rare. Since treatment strategies for malignant lymphoma vary greatly depending on the disease type, the differentiation of disease types based on pathological diagnosis has a great impact on the patient's prognosis.
  • a pathological diagnosis of malignant lymphoma is performed mainly by pathologists with skilled knowledge and experience, and after sharing the results with the attending physician, a definitive diagnosis is reached.
  • no diagnostic method based on objective indicators from pathological tissue has been developed, making it difficult to share information obtained from pathological tissue accurately among physicians.
  • diagnosis is different. Therefore, while various new treatment methods suitable for each disease type are being developed, it is necessary to provide a unified diagnostic index for diagnosing malignant lymphoma in order to accurately distinguish various disease types and guide appropriate treatment.
  • the present invention has been made under the above circumstances, and aims to provide a diagnostic device, an information acquisition method, and a program capable of providing a unified diagnostic index for diagnosing malignant lymphoma.
  • the diagnostic device comprises: an extraction unit that extracts individual cell nuclei, individual cells, and cell distribution from a pathological image showing a plurality of cells including lymphocytes; Numericalization for quantifying the characteristics of individual cell nuclei, the characteristics of individual cells, and the characteristics of the distribution of cells based on the individual cell nuclei, the individual cells, and the distribution of the cells extracted by the extraction unit. Department and Prepare.
  • the extraction unit reading a pathological image captured at a resolution at which individual cell nuclei and individual cell characteristics can be recognized, and extracting individual cell nuclei, individual cells, and cell distribution from the read pathological image; You can do it.
  • the extractor is performing machine learning based on sample data representing the relationship between a sample image, which is a sample of the pathological image, and individual cell nuclei, individual cells, and cell distribution states manually extracted from the sample image; extracting individual cell nuclei, individual cells, and cell distribution from the pathological image based on machine learning results; You can do it.
  • the extractor is Extracting individual cells, individual cell nuclei, and the state of distribution of cells from a first image having a resolution that enables recognition of individual cell nuclei and individual cells collected from a living organism, and distribution of the cells collected from the living organism. Extracting the distribution state of cells from a second image having a recognizable range of state features, You can do it.
  • the extractor is Machine learning is performed based on sample data indicating the relationship between a first sample image corresponding to the first image and cells and cell nuclei manually extracted from the first sample image, and corresponding to the second image performing machine learning based on sample data indicating the relationship between a second sample image and the distribution state of cells manually extracted from the second sample image; Based on the results of machine learning, extracting individual cells and individual cell nuclei from the first image, and extracting the distribution state of cells from the second image. You can do it.
  • the digitization unit Characteristics of individual cell nuclei, characteristics of individual cells, and distribution of cells, which are correlated with information related to malignant lymphoma, based on the individual cell nuclei, individual cells, and the distribution of cells extracted by the extraction unit. quantifying the characteristics of You can do it.
  • the digitization unit Performing machine learning based on sample data showing the relationship between individual cell nucleus characteristics, individual cell characteristics and cell distribution characteristics, and information on malignant lymphoma, Based on the results of machine learning, narrow down the features to be quantified from among the features of individual cell nuclei, features of individual cells, and features of cell distribution, You can do it.
  • an estimating unit for estimating information about malignant lymphoma based on the characteristics of individual cell nuclei, the characteristics of individual cells, and the characteristics of distribution of cells quantified by the quantifying unit; You can do it.
  • the estimation unit machine learning based on sample data showing the relationship between individual cell nucleus characteristics, individual cell characteristics, cell distribution characteristics, and information on malignant lymphoma; Based on the results of machine learning, information on malignant lymphoma is estimated from the characteristics of individual cell nuclei, the characteristics of individual cells, and the characteristics of the distribution state of cells quantified by the quantification unit. You can do it.
  • the estimation unit Genomic information, gene expression information, protein information, or clinical information correlated with malignant lymphoma, in addition to individual cell nucleus characteristics, individual cell characteristics, and cell distribution characteristics quantified by the quantification unit inferring information about malignant lymphoma based on at least one additional information; You can do it.
  • Information about malignant lymphoma includes at least one of information indicating the presence or absence of malignant lymphoma, type or stage of progression, genomic information correlated with malignant lymphoma, gene expression information, protein information or clinical information. You can do it.
  • the estimation unit Performing machine learning based on sample data showing the relationship between the characteristics of individual cell nuclei, the characteristics of individual cells, the characteristics of the distribution of cells, the additional information, and information about malignant lymphoma, estimating information about malignant lymphoma based on machine learning results; You can do it.
  • the cells include vascular endothelial cells, mesenchymal cells including fibroblasts, hematologic cells other than lymphoid cells including histiocytes, epithelial cells or nervous cells. You can do it.
  • An information acquisition method comprises: An information acquisition method executed by an information processing device, an extraction step of extracting individual cell nuclei, individual cells, and cell distribution from a pathological image showing a plurality of cells including lymphocytes; Numericalization that quantifies the characteristics of individual cell nuclei, the characteristics of individual cells, and the characteristics of the distribution of cells based on the individual cell nuclei, the individual cells, and the distribution of the cells extracted in the extraction step. a step; including.
  • a program comprises the computer, an extraction unit that extracts individual cell nuclei, individual cells, and cell distribution from a pathological image showing a plurality of cells including lymphocytes; Numericalization for quantifying the characteristics of individual cell nuclei, the characteristics of individual cells, and the characteristics of the distribution of cells based on the individual cell nuclei, the individual cells, and the distribution of the cells extracted by the extraction unit. part, function as
  • individual cell nuclei, individual cells, and cell distribution characteristics of a plurality of cells, including lymphocytes, which change in various ways due to malignant lymphoma are quantified.
  • Individual cell nuclei, individual cells, and the state of cell distribution change in various ways depending on the disease of malignant lymphoma, and the characteristics of the changes differ for each type. For this reason, individual cell nuclei, individual cells, and individual cell distribution characteristics, which are quantified, serve as objective and unified indices for diagnosing malignant lymphoma. Therefore, according to the present invention, a unified diagnostic index for diagnosing malignant lymphoma can be provided.
  • FIG. 1 is a block diagram showing the configuration of a diagnostic device according to Embodiment 1 of the present invention
  • FIG. 2 is an example of a pathological image in which cell nuclei can be confirmed, which is input to the diagnostic apparatus of FIG. 1; 1. It is an example of the pathological image which can confirm the distribution state input into the diagnostic apparatus of FIG. It is an example of a pathological image that can be divided.
  • FIG. 2 is a block diagram showing the configuration of sample data used for machine learning by an extraction unit that constitutes the diagnostic device of FIG. 1;
  • FIG. 2 is a block diagram showing the configuration of sample data used for machine learning of a digitizing unit that constitutes the diagnostic apparatus of FIG. 1;
  • 2 is a block diagram showing the hardware configuration of the diagnostic device of FIG. 1;
  • FIG. 1 is a block diagram showing the configuration of a diagnostic device according to Embodiment 1 of the present invention
  • FIG. 2 is an example of a pathological image in which cell nuclei can be confirmed, which is input to the diagnostic
  • FIG. 2 is a flow chart showing a flow of processing in a learning stage of the diagnosis device of FIG. 1;
  • FIG. 2 is a block diagram showing the flow of machine learning in an extraction unit that constitutes the diagnostic device of FIG. 1;
  • FIG. 2 is a first example of a graph showing characteristics of numerical information of cell features used in machine learning in a digitizing unit that constitutes the diagnostic apparatus of FIG. 1.
  • FIG. 3 is a second example of a graph showing characteristics of numerical information of cell features used in machine learning in the quantification unit that constitutes the diagnostic apparatus of FIG. 1 ;
  • FIG. FIG. 2 is a flow chart showing the flow of processing in a diagnostic stage of the diagnostic device of FIG. 1;
  • FIG. 10 is a block diagram showing the configuration of sample data used for machine learning of an estimating unit that constitutes the diagnostic device of FIG. 9;
  • FIG. 10 is a flow chart showing a flow of processing in a learning stage of the diagnosis device of FIG. 9;
  • FIG. 10 is a block diagram showing machine learning in an estimating unit that constitutes the diagnostic device of FIG. 9;
  • FIG. 10 is a flow chart showing the flow of processing in the diagnostic stage of the diagnostic device of FIG. 9;
  • FIG. 10 is a block diagram showing the configuration of a diagnostic device according to Embodiment 3 of the present invention;
  • FIG. 15 is a block diagram showing a modification of the configuration of the diagnostic device of FIG. 14;
  • FIG. 11 is a block diagram showing the configuration of a diagnostic device according to Embodiment 4 of the present invention;
  • FIG. 17 is a block diagram showing the configuration of sample data used for machine learning by an extraction unit that constitutes the diagnostic device of FIG. 16;
  • FIG. 10 is a graph showing the first axis coefficient of a two-dimensional scatter diagram obtained by linear discriminant analysis of cell nucleus morphology with 22 characteristic parameters;
  • FIG. 10 is a graph showing the second axis coefficient of a two-dimensional scatter diagram obtained by linear discriminant analysis of cell nucleus morphology with 22 characteristic parameters;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between DLBCL and FL cell nuclei when linear discriminant analysis is performed using parameters representing features of cell nucleus morphology.
  • FIG. 19B is a graph showing the values of the first axis coefficients in the case of FIG. 19A;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction of DLBCL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features of cell nucleus morphology.
  • FIG. FIG. 19C is a graph showing the values of the first axis coefficients in the case of FIG. 19C;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction of FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features of cell nucleus morphology.
  • FIG. 19E is a graph showing the values of the first axis coefficients in the case of FIG. 19E;
  • FIG. 10 is a graph showing the first axis coefficient of a two-dimensional scatter diagram obtained by performing linear discriminant analysis using parameters that indicate features related to the shape (internal texture) of cell nuclei.
  • FIG. FIG. 10 is a graph showing the second axis coefficient of a two-dimensional scatter diagram obtained by performing linear discriminant analysis using parameters that indicate features relating to the shape (internal texture) of cell nuclei.
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between DLBCL cell nuclei and FL cell nuclei when linear discriminant analysis is performed using parameters representing features related to shape
  • FIG. 21B is a graph showing the values of the first axis coefficients in the case of FIG. 21A
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction of DLBCL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to shape
  • FIG. FIG. 21C is a graph showing the values of the first axis coefficients in the case of FIG. 21C;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to shape;
  • FIG. 21E is a graph showing the values of the first axis coefficients in the case of FIG. 21E;
  • FIG. 10 is a graph showing the first axis coefficient of a two-dimensional scatter diagram obtained by performing linear discriminant analysis of cell nucleus morphology with parameters that indicate features related to the color of cell nuclei.
  • FIG. FIG. 10 is a graph showing the second axis coefficient of a two-dimensional scatter diagram obtained by performing linear discriminant analysis of cell nucleus morphology with parameters indicating features related to the color of cell nuclei.
  • FIG. FIG. 10 is a graph showing the distribution state of features in the first axis direction between FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to shape;
  • FIG. 21E is a graph showing the values of
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between DLBCL cell nuclei and FL cell nuclei when linear discriminant analysis is performed using parameters representing color-related features.
  • FIG. 23B is a graph showing the values of the first axis coefficients in the case of FIG. 23A;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction of DLBCL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing color-related features.
  • FIG. 23D is a graph showing the values of the first axis coefficients in the case of FIG. 23C;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to color;
  • FIG. 23E is a graph showing the values of the first axis coefficients in the case of FIG. 23E;
  • FIG. 10 is a graph showing the first axis coefficient of a two-dimensional scatter diagram of features obtained by linear discriminant analysis of cell nucleus morphology using parameters representing features related to the outer shape of the cell nucleus.
  • FIG. FIG. 10 is a graph showing the second axis coefficient of a two-dimensional scatter diagram of features obtained by linear discriminant analysis of cell nucleus morphology using parameters representing features related to the outer shape of the cell nucleus.
  • FIG. FIG. 10 is a graph showing the distribution state of features in the first axis direction between FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to color;
  • FIG. 23E is a graph
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between DLBCL cell nuclei and FL cell nuclei when linear discriminant analysis is performed using parameters representing features related to the shape.
  • 25B is a graph showing the values of the first axis coefficients in the case of FIG. 25A;
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction of DLBCL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to external shape.
  • FIG. 25C is a graph showing the values of the first axis coefficients in the case of FIG. 25C; FIG.
  • FIG. 10 is a graph showing the distribution state of features in the first axis direction between FL cell nuclei and Reactive cell nuclei when linear discriminant analysis is performed using parameters representing features related to the external shape;
  • FIG. 25E is a graph showing the values of the first axis coefficients in the case of FIG. 25E;
  • FIG. 2 is a two-dimensional scatter diagram showing distribution of characteristics of DLBCL cell nuclei digitized by the diagnostic apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a two-dimensional scatter diagram showing the distribution of FL cell nucleus characteristics digitized by the diagnostic apparatus according to the first embodiment of the present invention;
  • FIG. 4 is a two-dimensional scatter diagram showing distribution of characteristics of reactive cell nuclei digitized by the diagnostic apparatus according to the first embodiment of the present invention.
  • FIG. 4 shows probability density distributions of nuclear features of DLBCL.
  • FIG. 13 shows probability density distributions of nuclear features of FL.
  • FIG. 10 is a diagram showing the probability density distribution of Reactive cell nucleus features.
  • Embodiment 1 of the present invention diagnoses malignant lymphoma.
  • Malignant lymphoma is a type of lymphoid tumor. Malignant lymphoma is roughly classified into Hodgkin's lymphoma and non-Hodgkin's lymphoma. Hodkin's lymphoma accounts for about 5.9% of malignant lymphomas in Japan. The majority of malignant lymphomas are non-hodgkin's lymphomas. Non-hodgkin lymphomas are broadly divided into B-cell tumors and T-NK cell tumors.
  • B-cell tumors include diffuse large B-cell lymphoma (DLBCL), follicular lymphoma (FL), MALT lymphoma, and small lymphoma.
  • DLBCL diffuse large B-cell lymphoma
  • FL follicular lymphoma
  • MALT lymphoma MALT lymphoma
  • small lymphoma small lymphoma.
  • cystic lymphoma chronic lymphocytic leukemia
  • mantle cell lymphoma mantle cell lymphoma
  • Nurkitt lymphoma There are over 100 types of malignant lymphoma.
  • a diagnostic apparatus estimates information about a patient's malignant lymphoma, such as the presence or absence of malignant lymphoma, its type, stage of progression, and the like.
  • diagnosis device is built on a computer. That is, the diagnosis device is an information processing device in which information processing by software is specifically realized using hardware resources.
  • a pathological image 2 is an image showing a plurality of cells including lymphocytes. Lymphocytes include T cells, B cells, NK cells, and the like. Lymphocytes are collected from, for example, lymph nodes. Cells appearing in the pathological image 2 include various cells other than lymphocytes. Such cells C include, for example, vascular endothelial cells, mesenchymal cells including fibroblasts, blood cells other than lymphoid cells including histiocytes, epithelial cells, and nervous cells.
  • Pathological image 2 is an image of stained cells (for example, HE (Hematoxylin-Eosin) staining).
  • This pathological image 2 has a resolution at which individual cell nuclei N and individual cells C can be recognized, for example, as shown in FIG. 2A.
  • the pathological image 2 has a range in which the distribution state of the cells C can be recognized, as shown in FIG. 2B, for example.
  • the pathological image 2 (2a) in FIG. 2A can be a part of the pathological image 2 shown in FIG. 2B.
  • the pathological image 2 can be divided into a plurality of pathological images 2a, and the divided pathological images 2a can be sequentially read by the diagnostic apparatus 1.
  • FIG. That is, the pathological image 2 is an image obtained by imaging a range in which the characteristics of the distribution state of the cells C can be recognized at a resolution that allows the characteristics of the individual cell nuclei N and the individual cells C to be recognized.
  • the diagnostic apparatus 1 performs image processing on the loaded pathological image 2 and outputs numerical information 4.
  • the numerical information 4 is divided into cell nucleus numerical information 4a, cell numerical information 4b, and distribution state numerical information 4c.
  • the cell nucleus numerical information 4a is information obtained by digitizing the characteristics of each cell nucleus N appearing in the pathological image 2.
  • FIG. The cell numerical information 4b is information obtained by digitizing the features of individual cells C appearing in the pathological image 2.
  • the distribution state numerical information 4 c is information obtained by digitizing the characteristics of the distribution state of the cells C appearing in the pathological image 2 .
  • These numerical information 4 do not collectively represent the features of a plurality of cell nuclei N and the features of a plurality of cells C, but only represent the features of individual cell nuclei N and individual cells C.
  • the characteristics of individual cell nuclei N are related to their size, shape or color.
  • the characteristics of individual cells C relate to their size, shape or color.
  • a feature relating to the state of distribution of cells C is a feature relating to uniformity of distribution of a plurality of cells C. FIG. For example, if the cells C of the same type are gathered in a certain area and distributed to form a unique pattern, the size and shape of the pattern, the density of the cells C within the pattern, and the distribution of the pattern itself are included in this feature.
  • Such features are composed of a wide variety of items, and the numerical information 4 (4a, 4b, 4c) output from the diagnostic device 1 is a numerical value group in which a set of numerical values calculated for each item is compiled. .
  • Numerical information 4 ( 4 a , 4 b , 4 c ) serves as a diagnostic index that objectively indicates characteristics regarding the distribution state of cell nucleus N, cell C, and cell C in pathological image 2 .
  • the cells C are not limited to lymphocytes.
  • vascular endothelial cells, mesenchymal cells including fibroblasts, hematologic cells other than lymphoid cells including histiocytes, epithelial cells, nervous cells, and the like are also subject to numerical characterization. This is because cells C other than lymphocytes are also affected by malignant lymphoma.
  • the diagnostic device 1 includes an extraction unit 10 and a digitization unit 11, as shown in FIG.
  • the extraction unit 10 extracts individual cell nuclei N, individual cells C, and the distribution state of the cells C from the read pathological image 2 .
  • Extraction information 3 is a summary of the extracted individual cell nuclei N, individual cells C, and the distribution state of the cells C.
  • FIG. Based on the individual cell nuclei N, the individual cells C, and the distribution state of the cells C extracted by the extracting unit 10, the digitizing unit 11 calculates the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, and the cell C Quantify the characteristics of the distribution state of Numerical information 4 is a collection of digitized information.
  • the extraction unit 10 performs image processing on the input pathological image 2 and performs processing for identifying the cell nuclei N of each cell C appearing in the pathological image 2 and other regions. After this processing, the extraction unit 10 outputs cell nucleus extraction information 3a, which is part of the extraction information 3.
  • FIG. The cell nucleus extraction information 3a is information that makes it possible to distinguish between the image of the cell nucleus N of each cell C and the other images in the pathological image 2 .
  • the extraction unit 10 performs image processing on the input pathological image 2 and performs processing for identifying cells C appearing in the pathological image 2 from other regions. After this process, the extraction unit 10 outputs cell extraction information 3b, which is part of the extraction information 3.
  • the cell extraction information 3b is information capable of distinguishing the image of each cell C from the other images in the pathological image 2.
  • the extraction unit 10 detects the type and positional information of the cells C with respect to the extracted individual cells C, extracts the distribution state of the cells C based on the type and positional information of the cells C, and extracts the distribution Generate state extraction information 3c.
  • the distribution state extraction information 3c includes the aggregate pattern P of cells C of the same type in the pathological image 2.
  • the digitization unit 11 will be described in more detail. Based on the cell nucleus extraction information 3a, the digitization unit 11 performs image processing on the image of each cell nucleus N, digitizes the characteristics of the size, shape, or color of each cell nucleus N, , the cell nucleus numerical information 4a, which is a numerical value group consisting of numerical values for each characteristic, is generated. In addition, based on the cell extraction information 3b, the digitization unit 11 performs image processing on the image of each cell C, digitizes the characteristics of the size, shape, or color of each cell C, , the cell numerical value information 4b, which is a numerical value group consisting of numerical values for each characteristic, is generated.
  • the digitization unit 11 performs image processing on the extracted plurality of cells C, digitizes the characteristics of the distribution state of the cells C, and distributes the distribution of each cell C.
  • the distribution state numerical value information 4c which is a numerical value group consisting of numerical values for each set pattern P, is generated.
  • the cell nucleus numerical information 4a which quantifies the characteristics related to the size and shape of the cell nucleus N, includes the area of the cell nucleus N, the length of the outline of the cell nucleus N, the width and height of the minimum rectangle containing the target area of the cell nucleus N, length, major axis, minor axis of approximate ellipse, angle between major axis (major axis) and minor axis (minor axis), roundness, distance between points on object edge (maximum distance, minimum distance), approximation There are measured values for the aspect ratio, circularity, convexity, etc. of an ellipse.
  • the approximated ellipse is the ellipse with the smallest error from the contour of the cell.
  • the circularity is expressed by 4 ⁇ area/(contour length) 2 . If this numerical value is 1.0, it is a perfect circle, and the closer it is to 0, the longer and thinner it becomes.
  • Circularity is represented by 4 ⁇ area/ ⁇ /(main axis length) 2 .
  • the distance between the points on the edge of the object is the maximum distance between the farthest parts of the two parts that can be regarded as facing each other in the contour, and the closest distance, that is, the part where the cell nucleus N is constricted. is the minimum distance.
  • the cell nucleus numerical value information 4a which quantifies the features related to the color of the cell nucleus N, includes the average value, standard deviation, mode, minimum value, maximum value, sum, median value, third-order moment, and fourth-order moment of luminance in the cell nucleus N. , the percentage of the object area luminance threshold for the entire image.
  • the third-order moment and fourth-order moment are indices representing the distortion of the luminance distribution with respect to the normal distribution.
  • the third-order moment becomes 0 when the luminance histogram distribution is symmetrical to the left and right. It is negative when tailing to the left and positive when tailing to the right.
  • the fourth-order moment is 0 when the distribution of the luminance histogram is a normal distribution, becomes negative when the distribution is more spread out, and becomes positive when the peak is sharper. It should be noted that, in addition to the features relating to luminance, features relating to the saturation and hue of the cell nucleus N may be included. Numerical information 4 obtained by digitizing characteristics relating to the size, shape, or color of each cell nucleus N is output from the digitizing unit 11 as cell nucleus numerical information 4a.
  • the above-described measured values regarding the size, shape, and color of the cell nucleus N are statistical values of each measured value obtained in advance from, for example, pathological images acquired in the past, for example, the statistical values of the measured values of a plurality of cell nuclei N.
  • a value normalized using the average value, standard deviation, and variance can be included in the cell nucleus numerical information 4a.
  • the cell numerical value information 4b which quantifies the characteristics related to the size and shape of the cell C, includes the length of the outline of the cell C, the width and height of the minimum rectangle containing the target area of the cell C, length, major axis, minor axis of approximate ellipse, angle between major axis (major axis) and minor axis (minor axis), roundness, distance between points on object edge (maximum distance, minimum distance), approximation There are measurement values such as the aspect ratio of an ellipse, the degree of circularity, and the degree of convexity.
  • the cell numerical value information 4b which quantifies the features related to the color of the cell C, includes the average value, standard deviation, mode, minimum value, maximum value, sum, median value, third moment, 4 There are measured values such as the second moment, the percentage of the object area luminance threshold to the whole image, and so on.
  • the third-order moment and fourth-order moment are indices representing the distortion of the luminance distribution with respect to the normal distribution. It should be noted that, in addition to the features relating to luminance, features relating to the saturation and hue of the cells C may be included.
  • Numerical information 4 obtained by digitizing characteristics relating to the size, shape, or color of each cell C is output from the digitizing unit 11 as cell numerical information 4b.
  • the above-mentioned measured values related to the size, shape, and color of the cells C are statistical values of each measured value of the cells C obtained in advance from, for example, pathological images acquired in the past, for example, in a plurality of cells C
  • a value normalized using the average value, standard deviation, and variance of the measured values can be included in the cell numerical information 4b.
  • the aggregate pattern P of cells C of the same type obtained from the types and positional coordinates of a plurality of cells C is the feature of the distribution state of cells C.
  • Numerical information quantifying the characteristics of the distribution state of cells C such as the presence or absence of the same type of aggregation pattern P, the type, shape, size, number of aggregations, density in the aggregation, etc. include. These numerical information are output from the digitization unit 11 as the distribution state numerical information 4c.
  • the above-mentioned measured values regarding the distribution state of the cells C are statistical values of each measured value of the distribution state obtained in advance from, for example, pathological images acquired in the past, for example, the number of cells C in a plurality of pathological images.
  • the distribution state numerical information 4c can include values normalized using the average value, standard deviation, and variance of the actual measurement values regarding the distribution state.
  • the extraction unit 10 is a machine learning device that performs image processing by machine learning.
  • the extraction unit 10 performs machine learning before actually inputting the pathological image 2 to be diagnosed.
  • a sample image 2A which is a sample of the pathological image 2 is prepared for the machine learning of the extraction unit 10, as shown in FIG.
  • a sample image 2A is a pathological image in which a plurality of cells C are included.
  • Sample images 3A, 3B, and 3C are associated with the sample image 2A and stored.
  • Sample image 3A is an image in which individual nuclei N of imaged cells C are manually extracted by a clinician.
  • a sample image 3B is an image obtained by manually extracting individual cells C appearing in the pathological image 2 by a clinician.
  • a sample image 3C is an image obtained by manually extracting an aggregate pattern P of cells C of the same type appearing in the pathological image 2 by a clinician.
  • a sample image 3C is an image showing the distribution state of the cells C manually extracted from the sample image 2A.
  • sample images 3A to 3C are images showing individual cell nuclei N, individual cells C, and the distribution state (aggregate pattern P) of the cells C manually extracted from the sample image 2A.
  • the combination of sample images 2A, 3A to 3C is the relationship between sample image 2A, which is a sample of pathological image 2, and individual cell nuclei N, individual cells C, and the distribution state of cells C manually extracted from sample image 2A. This is sample data showing
  • the extraction unit 10 performs machine learning using sample images from which the cell nuclei N and cells C are manually extracted by the clinician.
  • the extraction unit 10 extracts individual cell nuclei N, individual cells C, and the distribution state of the cells C from the pathological image 2 based on the results of machine learning. Since the sample images 3A to 3C serve as teacher data, this machine learning is supervised learning.
  • Sample images 3A-3C are images in which individual cell nuclei N, individual cells C, and the distribution of cells C are extracted by a clinician. For this reason, the extraction know-how by the clinician is incorporated into the extraction unit 10 by machine learning, and the extraction unit 10 performs image processing that reflects the clinician's know-how, and individual cell nuclei N, individual cells C and cells The distribution state of C can be extracted.
  • a learning device that performs deep learning of images can be used.
  • a learning device for example, one incorporating a convolutional neural network can be used.
  • the sample image 2A shown in FIG. 3 is input to this convolutional neural network using, for example, the error backpropagation method, individual cell nuclei N are extracted as shown in the sample image 3A, and the cell nucleus extraction information 3a is obtained.
  • Each cell C is extracted to generate cell extraction information 3b as in sample image 3B, and the distribution state of cells C is extracted to generate distribution state extraction information 3c as in sample image 3C.
  • Machine learning is performed as follows.
  • a plurality of sample data 31 are prepared by combining the sample images 2A and 3A to 3C. For example, it is desirable to prepare a plurality of sets of sample data 31 for persons not suffering from malignant lymphoma and sample data 31 for each type of malignant lymphoma. The greater the number of samples in each set, the more accurately the extraction unit 10 can extract individual cell nuclei N, individual cells C, and the state of distribution of cells C.
  • FIG. 1 the number of samples in each set, the more accurately the extraction unit 10 can extract individual cell nuclei N, individual cells C, and the state of distribution of cells C.
  • the quantifying unit 11 quantifies the characteristics of the individual cell nuclei N having correlation with the information on the malignant lymphoma, and the individual and the characteristics of the distribution state of the cells C are quantified.
  • the digitization unit 11 calculates cell nucleus numerical information 4a by digitizing the features of the shape and color of each cell nucleus N.
  • the quantifying unit 11 calculates cell numerical information 4b that quantifies the characteristics of the shape and color of each cell C based on the cells C extracted from the pathological image 2 .
  • the quantification unit 11 calculates distribution state numerical information 4c that quantifies the characteristics regarding the distribution state of the cells C based on the distribution state of the cells C extracted from the pathological image 2 .
  • the digitization unit 11 can be configured by a machine learning device.
  • the digitization unit 11 performs machine learning before inputting the extracted information 3 actually obtained from the pathological image 2 to be diagnosed.
  • Sample data 31 shown in FIG. 4 is prepared for this machine learning.
  • sample images 3A, 3B, and 3C of a person not suffering from malignant lymphoma (no disease) are prepared, and types of malignant lymphoma (types 1, 2, 3, 4, . . . ), sample images 3A, 3B, and 3C are prepared.
  • sample image 3A corresponds to the cell nucleus extraction information 3a
  • sample image 3B corresponds to the cell extraction information 3b
  • sample image 3C corresponds to the distribution state extraction information 3c.
  • sample data 31 include sample images 3A to 3C from which features of individual cell nuclei N, features of individual cells C, and features of distribution of cells C are extracted, and information on malignant lymphoma, that is, the presence or absence of malignant lymphoma. , is data indicating the relationship with the type.
  • the digitization unit 11 performs machine learning based on the sample data 31 shown in FIG.
  • the quantifying unit 11 uses machine learning to narrow down the features to be quantified to those that are correlated with malignant lymphoma from among the features of individual cell nuclei N, the features of individual cells C, and the features of the distribution state of cells C. .
  • the quantification unit 11 recognizes a significant difference between the characteristics of individual cell nuclei N, the characteristics of individual cells C, and the distribution state of cells C, depending on the presence or absence of malignant lymphoma. Distinguish between what is acceptable and what is not. For example, when there is a significant difference in the size and convexity of the cell nucleus N between the presence and absence of malignant lymphoma, the digitizing unit 11 can narrow down the features to be quantified to information showing such a significant difference.
  • the features to be quantified can be narrowed down to the information showing the significant difference. can. Furthermore, when there is a significant difference between the presence or absence of malignant lymphoma in the collective pattern P of the distribution state of the cells C, the features to be quantified can be narrowed down to the information showing the significant difference.
  • machine learning for example, a technique of dimension reduction by principal component analysis can be adopted. Note that “narrowing down” includes generating new features (features that are the main components) represented by linear combinations of the above features, changing the weights of the features in the new features, and changing the weighting of the features. includes doing.
  • the diagnostic device 1 shown in FIG. 1 is realized, for example, by a computer having the hardware configuration shown in FIG. 5 realizing a software program.
  • the diagnostic apparatus 1 includes a CPU (Central Processing Unit) 21 that controls the entire apparatus, a main storage unit 22 that operates as a work area of the CPU 21, and an external storage unit that stores the operating program of the CPU 21. 23, an operation unit 24, a display unit 25, a communication interface 26, and an internal bus 28 connecting them.
  • a CPU Central Processing Unit
  • the main storage unit 22 is composed of RAM (Random Access Memory) and the like.
  • a diagnosis program 29 of the CPU 21 , a machine learning program 30 , sample data 31 , and pathological images 2 are loaded from the external storage unit 23 into the main storage unit 22 .
  • the main storage unit 22 is also used as a work area for the CPU 21 (temporary storage area for data).
  • the external storage unit 23 is composed of non-volatile memory such as flash memory and hard disk.
  • a diagnostic program 29 to be executed by the CPU 21 and a machine learning program 30 are stored in advance in the external storage unit 23 .
  • the external storage unit 23 further stores sample data 31 and a pathological image 2 collected from a living body, which is a patient to be diagnosed.
  • the sample data 31 includes, as described above, data composed of combinations of sample images 2A and 3A to 3C (see FIG. 3) and combinations of sample images 3A to 3C for which the presence or absence of malignant lymphoma and the type thereof are known. Data (see Figure 4) are included.
  • the operation unit 24 is composed of devices such as a keyboard and a mouse, and an interface device that connects these devices to the internal bus 28 .
  • the display unit 25 is composed of display devices such as a CRT (Cathode Ray Tube) and a liquid crystal monitor.
  • the communication interface 26 is an interface that transmits and receives data to and from an external device.
  • the sample data 31 or the pathological image 2 are transmitted/received via the communication interface 26 .
  • the processing executed by the diagnostic device 1 is divided into the learning stage processing shown in FIG. 6 and the diagnosis stage processing shown in FIG.
  • the machine learning program 30 is read from the external storage unit 23 into the main storage unit 22, and the CPU 21 executes the machine learning program 30 to execute processing.
  • the diagnostic device 1 first reads the sample data 31 (step S1).
  • sample data 31 is read from the external storage unit 23 into the main storage unit 22 .
  • the extraction unit 10 of the diagnostic device 1 performs machine learning using combinations of the sample images 2A, 3A to 3C (see FIG. 3) of the sample data 31 (step S2).
  • the extraction unit 10 adjusts the internal parameters so that sample images 3A to 3C are output when the sample image 2A is input. That is, the difference between the image that is the cell nucleus extraction information 3a output from the extraction unit 10 and the sample image 3A, the difference between the image that is the cell extraction information 3b and the sample image 3B, the image that is the distribution state extraction information 3c and the sample image.
  • the internal parameters are adjusted so that the difference from 3C becomes small.
  • the internal parameters are stored in the main storage unit 22 and the external storage unit 23 because they are used in the diagnostic program 29 to be described later.
  • the digitization unit 11 of the diagnostic apparatus 1 performs machine learning using a combination of sample images 3A to 3C (see FIG. 4) for which the presence or absence of malignant lymphoma and the type of malignant lymphoma are known among the sample data 31 (step S3).
  • the combination of the sample images 3A to 3C used here can use the cell nucleus extraction information 3a, the cell extraction information 3b, and the distribution state extraction information 3c output from the extraction unit 10 for which machine learning has been completed.
  • the quantification unit 11 sequentially inputs the sample data 31, which is a combination of the sample images 3A to 3C shown in FIG. A distribution of numerical information A1 and A2 relating to the characteristics of the distribution state of is generated.
  • a distribution of numerical information A1 and A2 relating to the characteristics of the distribution state of is generated.
  • the numerical information A3 and A4 are correlated with the types of malignant lymphoma (types 1, 2, and 3). The digitizing unit 11 thus determines whether or not each item of the numerical information 4 has the above-described correlation, and narrows down the calculation targets to those having the correlation.
  • the digitization unit 11 obtains whether or not each item of the numerical information 4 has the above-described correlation, and narrows down the calculation targets to those having the correlation.
  • the extracted features are stored in the main storage unit 22 or the external storage unit 23. FIG. When step S3 is completed, the diagnostic device 1 terminates the processing of the learning stage.
  • the diagnostic program 29 is loaded from the external storage section 23 into the main storage section 22, and the CPU 21 executes the diagnostic program 29 to execute the process.
  • the diagnostic device 1 first reads the pathological image 2 (step S11).
  • the pathological image 2 is read from the external storage unit 23 to the main storage unit 22 .
  • the extraction unit 10 of the diagnostic apparatus 1 performs an extraction step of extracting individual cell nuclei N, individual cells C, and the distribution state of the cells C from the pathological image 2 (step S12).
  • the internal parameters obtained in step S2 (see FIG. 6) of the learning stage are set, and the individual cell nuclei N, the individual cells C, and the distribution state of the cells C are extracted from the pathological image 2 according to the internal parameters. do.
  • the individual cell nuclei N, the individual cells C, and the distribution state of the cells C are extracted from the pathological image 2 as a result of machine learning.
  • the digitizing unit 11 of the diagnostic apparatus 1 calculates the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, and the distribution state of the cells C.
  • a digitizing step is performed to digitize the features of and (step S13).
  • the diagnostic device 1 terminates the processing of the learning stage.
  • the individual cell nuclei N of a plurality of cells C including lymphocytes that change variously due to malignant lymphoma, the individual cells C, the cells Quantify the characteristics of the distribution state of C.
  • Individual cell nuclei N, individual cells C, and the distribution of cells C change depending on the disease of malignant lymphoma, and the characteristics of changes differ depending on the type.
  • the individual cell nucleus N, the individual cell C, and the characteristics of their distribution state, which are digitized, serve as objective and unified indices for doctors to diagnose malignant lymphoma. Therefore, according to the present embodiment, it is possible to provide a unified diagnostic index for diagnosing malignant lymphoma.
  • the characteristics of individual cell nuclei N which are various lymphocytes or other cells, and the characteristics of individual cells C are quantified without losing the characteristics, so that malignant cells can be detected.
  • Various effects of lymphoma on lymphocytes or other cells can be thoroughly captured and information on them can be obtained.
  • Conventional image diagnosis of malignant lymphoma cells has been performed by pathologists according to their diagnostic skills. In this case, the pathologist perceives the characteristics of the individual cell nucleus N, the individual cell C, and the distribution state of the cell C intuitively. .
  • individual cell nuclei N, individual cells C, and characteristics relating to the state of distribution of cells C are quantified.
  • These numerical values can be used as objective diagnostic indices for malignant lymphoma. That is, according to this diagnostic apparatus 1, the individual cell nuclei N, the individual cells C, and the characteristics of the distribution state of the cells C are fully captured, and an objective and accurate diagnostic index for diagnosing malignant lymphoma can be obtained. can be done.
  • the digitization unit 11 performs machine learning to digitize the numerical information 4 out of the features of the individual cell nuclei N, the features of the individual cells C, and the features of the distribution state of the cells C. is to be narrowed down. In this way, information to be quantified can be narrowed down to significant information that is correlated with malignant lymphoma, so that more objective and accurate diagnosis of malignant lymphoma becomes possible.
  • numerical information 4 obtained from a plurality of combinations of sample images 3A to 3C may be individually identified as having significant differences between the presence or absence of malignant lymphoma and significant differences depending on the type of malignant lymphoma.
  • the digitizing unit 11 is set so as to calculate only the numerical information 4 about the determined features, after extracting from among the features of the cell nuclei N, the features of the individual cells C, and the features relating to the state of distribution of the cells C. may
  • the diagnostic apparatus 1 In order to fully grasp the distribution of individual cell nuclei N, individual cells C, and cell C and make a diagnosis, it is necessary to have the ability to process a huge amount of information and connect it to the diagnosis of malignant lymphoma.
  • the diagnostic apparatus 1 by introducing a machine learning device and reflecting the skills possessed by the clinician in the information processing by the machine learning device, a huge amount of information leads to an accurate diagnosis of malignant lymphoma.
  • Such processing can be realized.
  • the machine learning method exemplified in the present embodiment is merely an example, and various other methods can be adopted.
  • Embodiment 2 of the present invention will be described.
  • the cell nucleus N and the cell C are extracted from the pathological image 2 to be diagnosed, and based on the extracted cell nucleus N and the cell C, the characteristics of the individual cell nuclei N and the characteristics of the individual cells C are obtained. , and the characteristics of the distribution state of cells C are described.
  • the diagnostic device 1 according to the present embodiment differs from the diagnostic device 1 according to the first embodiment in that, as shown in FIG. there is The configurations of the extraction unit 10 and the digitization unit 11 are the same as those of the first embodiment.
  • the estimation unit 12 estimates information about malignant lymphoma based on the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, and the characteristics of the distribution state of the cells C, which are digitized by the quantification unit 11.
  • the estimation unit 12 outputs information about malignant lymphoma as estimation information 5 .
  • the information on malignant lymphoma includes presence/absence information 5a indicating the presence or absence of malignant lymphoma, type information 5b indicating the type of malignant lymphoma, and progression stage information 5c indicating the progression stage of malignant lymphoma.
  • the estimation unit 12 is a machine learning device that performs image processing by machine learning.
  • the estimation unit 12 performs machine learning before actually inputting the pathological image 2 to be diagnosed.
  • this machine learning is performed using the sample data 31 shown in FIG. As shown in FIG. 10, this sample data 31 includes numerical information 4A corresponding to numerical information 4 which is the input data of the estimating section 12, and estimated information 5A corresponding to the estimated information 5 which is the output data of the estimating section 12. It is data consisting of a combination of
  • Numerical information 4A includes numerical information of characteristics of cell nuclei N (nucleus numerical information 4a′), numerical information of characteristics of cells C (cell numerical information 4b′), and numerical information of characteristics of cell C distribution (distribution State numerical information 4c').
  • the estimated information 5A is a combination of malignant lymphoma presence/absence information 5a', malignant lymphoma type information 5b', and malignant lymphoma progression stage information 5c'.
  • presence/absence information 5a', type information 5b', and progress stage information 5c of estimated information 5A are obtained.
  • ' is output, the machine learning in the estimating unit 12 is performed.
  • a machine learner for example, in addition to deep learning, various learners such as a learner that performs class classification, which is supervised learning, can be applied.
  • a learner for example, a support vector machine, a decision tree learner, or an ensemble learner can be applied.
  • the estimating unit 12 estimates information about malignant lymphoma from the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, and the distribution state of the cells C, which are quantified by the quantifying unit 11. .
  • the hardware configuration of the diagnostic device 1 according to this embodiment is the same as that of the first embodiment (FIG. 5).
  • the processing performed in the diagnostic device 1 is divided into a learning stage processing shown in FIG. 11 and a diagnosis stage processing shown in FIG.
  • the machine learning program 30 is read from the external storage unit 23 into the main storage unit 22, and the CPU 21 executes the machine learning program 30 to execute processing. .
  • the diagnostic device 1 reads sample data (step S1), performs machine learning by the extraction unit 10 (step S2), and performs machine learning by the quantification unit 11 (step S3).
  • Machine learning in the estimation unit 12 (step S4) is performed.
  • the estimating unit 12 performs mechanical analysis based on the sample data 31 showing the relationship between the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, the characteristics of the distribution state of the cells C, and the information on malignant lymphoma. do the learning.
  • FIG. 1 shows the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, the characteristics of the distribution state of the cells C, and the information on malignant lymphoma. do the learning.
  • the estimation unit 12 when the cell nucleus numerical information 4a', the cell numerical information 4b', and the distribution state numerical information 4c' are input, the output, the presence/absence information 5a', and the type information 5b' , the internal parameters are adjusted so that the difference from the progress stage information 5c' becomes small.
  • the cell nucleus numerical information 4a', the cell numerical information 4b', and the distribution state numerical information 4c' the information output from the digitization unit 11 that has completed the machine learning in step S3 can be used.
  • the diagnostic device 1 performs reading of sample data (step S11), extraction step (step S12), and quantification step (step S13), as in the above embodiment.
  • an estimation step of estimating information about the malignant lymphoma based on the characteristics of the individual cell nuclei N, the characteristics of the individual cells C, and the characteristics of the distribution state of the cells C, which are digitized by the quantification unit 11. (Step S14). Since the estimation unit 12 performs estimation using the internal parameters adjusted by the machine learning in step S4 in the learning stage, the estimation result can be unified and objective based on the diagnoses so far.
  • numerical information (cell nucleus numerical information 4a) indicating the characteristics of individual cell nuclei N digitized by the digitization unit 11, numerical information indicating characteristics of individual cells C ( Based on the cell numerical information 4b) and the numerical information indicating the characteristics of the distribution state of the cells C (distribution state numerical information 4c), information on malignant lymphoma, that is, the presence or absence of malignant lymphoma, the type, and the stage of progression are estimated with high accuracy, It becomes possible to obtain the presence/absence information 5a, the type information 5b, and the progress stage information 5c.
  • the diagnostic apparatus 1 estimates information about malignant lymphoma based on the characteristics of the individual cell nuclei N, the individual cells C, and the state of distribution of the cells C obtained from the pathological image 2 .
  • the diagnostic apparatus 1 according to the present embodiment as shown in FIG. 14, in addition to the numerical information 4 on the characteristics of the individual cell nuclei N, the individual cells C, and the distribution state of the cells C obtained from the pathological image 2, malignant lymphoma Based on at least one additional information 6 of genomic information 6a, gene expression information 6b, protein information 6c, or clinical information 6d that has a correlation with the malignant lymphoma, ie, estimated information 5 is estimated.
  • the genome information 6a is information on DNA (deoxyribonucleic acid) in the cell.
  • the genomic information 6a includes information about chromosomal abnormalities that occur when suffering from malignant lymphoma.
  • chromosomal abnormalities such as t(14:18) in FL, t(11:18) in MALT lymphoma, t(11:14) in mantle cell lymphoma, and t(8:14) in Burkitt lymphoma Is recognized.
  • Information indicating genetic abnormalities including such chromosomal abnormalities is the genomic information 6a.
  • the gene expression information 6b is information indicating genes expressed due to malignant lymphoma. For example, expression of genes such as BCL2 in FL, cyclinD1 in mantle cell lymphoma, and MYC in Burkitt lymphoma is observed. Information indicating such cancer-related genes is the gene expression information 6b.
  • the protein information 6c is information on proteins expressed in lymphocytes of malignant lymphoma.
  • the protein information 6c includes information including cell surface markers such as CD3 (Cluster of Differentiation 3), cytoplasmic CD3 ⁇ , CD5, CD45, CD20, CD79a, CD10, immunoglobulin (cytoplasmic immunoglobulin).
  • the clinical information 6d is information indicating the results of the patient's medical history, physical findings, general examination, and histopathological diagnosis.
  • Patient's B symptoms fever, night sweats, weight loss
  • lymphadenopathy blood test (blood count, biochemistry, serum), immune response, interview, virus test, urinalysis, imaging test (chest X-ray) , CT (Computed Tomography), upper gastrointestinal endoscopy, PET (Positron Emission Tomography), scintigraphy, lymph node biopsy, bone marrow, pleural effusion, ascites, and cerebrospinal fluid test results.
  • the estimation unit 12 inputs, in addition to the numerical information 4, genome information 6a, gene expression information 6b, protein information 6c, or clinical information 6d that are correlated with malignant lymphoma.
  • the estimation unit 12 estimates information about malignant lymphoma by considering not only the numerical information 4 but also the genome information 6a, the gene expression information 6b, the protein information 6c, or the clinical information 6d.
  • the estimating unit 12 performs machine learning based on sample data 31 showing the relationship between the characteristics of individual cell nuclei N, the characteristics of individual cells C, the characteristics of the distribution state of cells C, additional information 6, and information on malignant lymphoma. conduct.
  • the estimation unit 12 estimates information about malignant lymphoma based on the results of machine learning.
  • malignant lymphoma can be obtained based on not only the pathological image 2 but also genome, gene expression, and protein test results that are correlated with other malignant lymphomas, test results at medical institutions, and diagnosis results by doctors. can be estimated accurately.
  • the information about malignant lymphoma includes malignant lymphoma presence/absence information 5a, type information 5b or progression stage information 5c, genome information 5d correlated with malignant lymphoma, gene expression information 5e, and protein information. 5f or clinical information 5g.
  • information such as "Poor prognosis due to correlation with a specific gene” and "Poor prognosis due to correlation with a specific protein" can be output as information on malignant lymphoma.
  • At least one of the additional information 6 of the genome information 6a, the gene expression information 6b, the protein information 6c, or the clinical information 6d is input, and the genome information 5d, the gene expression information 5e, the protein information 5f, or the clinical information 5g is input. can be output. At this time, it is sufficient that information is not duplicated between input and output.
  • Embodiment 4 of the present invention will be described.
  • one pathological image 2 that is, has a range in which the characteristics of the distribution state of cells C can be recognized, and the characteristics of individual cell nuclei N and individual cells C
  • the diagnostic apparatus 1 according to the present embodiment uses a first image G1 and a second image G2 as pathological images 2, as shown in FIG.
  • the first image G1 is an image for recognizing individual cell nuclei N and individual cells C.
  • the second image G2 is an image for recognizing the distribution state of the cells C.
  • FIG. 2C the pathological image 2 shown in FIG. 2C can be used as the first image G1
  • one of the pathological images 2a shown in FIG. 2C can be used as the second image G2.
  • the first image G1 and the second image G2 should be images of cells collected from the same living body.
  • the extraction unit 10 extracts the individual cell nuclei N and the individual cells C from the first image G1 in which the individual cell nuclei N and the individual cells C can be recognized, and the range in which the characteristics of the distribution state of the cells C can be recognized.
  • a group pattern P of cells C of the same type is extracted from the second image G2 of .
  • the extraction unit 10 performs machine learning in the same manner as in the first to third embodiments. This machine learning is performed using sample data 31A and sample data 31B as sample data 31, as shown in FIG.
  • the sample data 31A includes a first sample image G1A corresponding to the first image G1, a sample image 3A obtained by manually extracting individual cell nuclei N from the first sample image G1A, and individual cells C from the first sample image G1A. is data in combination with manually extracted sample image 3B. That is, the sample data 31A is data indicating the relationship between the first sample image G1A corresponding to the first image G1 and the individual cell nuclei N and individual cells C manually extracted from the first sample image G1A.
  • the sample data 31B is data composed of a combination of a second sample image G2A corresponding to the second image G2 and a sample image 3C obtained by manually extracting the distribution state of individual cells C from the second sample image G2A. That is, the sample data 31B is data indicating the relationship between the second sample image G2A corresponding to the second image G2 and the distribution state of the individual cells C manually extracted from the second sample image G2A.
  • the extraction unit 10 performs machine learning using the sample data 31A and 31B, extracts individual cell nuclei N and individual cells C from the first image G1 based on the results of the machine learning, and extracts the second image G2. , the distribution state of cells C is extracted.
  • the machine learning and digitization of features in the digitizing unit 11 and the machine learning and estimation in the estimating unit 12 are performed in the same manner as described in the first to third embodiments.
  • the individual cell nuclei N, the individual cells C, and the distribution state of the cells C are extracted from the pathological image 2 by machine learning through processing that reflects the skill of the pathologist. be able to. Further, according to this diagnostic apparatus 1, by machine learning, individual cell nuclei N, individual cells C, and characteristics related to the distribution state of cells C, which are correlated with malignant lymphoma, are quantified to objectively diagnose malignant lymphoma. An indicator can be provided. Furthermore, machine learning enables accurate diagnosis of malignant lymphoma based on quantified individual cell nuclei N, individual cells C, and characteristics relating to the state of distribution of cells C.
  • the machine learning method is not particularly limited as long as it can be applied to the extraction unit 10, the quantification unit 11, and the estimation unit 12, and all learning methods such as supervised learning, unsupervised learning, and reinforcement learning can be applied. can be done.
  • the information on malignant lymphoma includes the presence/absence, type, stage of progression, and the like.
  • the invention is not limited to this. Any one or at least two of the presence or absence of malignant lymphoma, the type, and the stage of progression may be estimated as information related to malignant lymphoma.
  • the estimated information 5 may also include information indicating the prognosis of malignant lymphoma (life prognosis, functional prognosis, and social prognosis).
  • Diffuse large B-cell lymphoma hereinafter referred to as DLBCL
  • FL follicular lymphoma
  • reactive lymphadenopathy reactive lymphodenitis
  • the characteristics such as the morphology (shape (internal texture), color, external shape) of the cell nucleus (shape (internal texture), color, external shape) of the cell nucleus (which is called Reactive) were calculated as numerical information, and the effect of quantifying the characteristics was confirmed by linear discriminant analysis.
  • N outlines represented by 200 data the average of the outlines can be obtained by adding all the 200 data for each component and dividing by N.
  • This feature teaches what kind of deformation component is strong with respect to the average shape when the shapes of the N outlines are diverse.
  • principal component analysis it is possible to obtain, as components, a component that expands or contracts, for example, in a circular shape around the centroid of the cell nucleus, or a deformation component that expands or contracts only along one axis, not just scaling.
  • the parameters representing the above 22 features are defined as a to v.
  • linear discriminant analysis was performed with parameters a to v indicating the above 22 features to obtain the first and second axes that can best discriminate DLBCL, FL and Reactive.
  • the first and second axes indicate the values of the first discriminant function and the second discriminant function obtained by linear discriminant analysis.
  • the graphs shown in FIGS. 18A and 18B are the weight of each feature on the first axis and the second axis obtained by performing linear discriminant analysis, that is, the first axis coefficient of each parameter a to v corresponding to the first axis , and the second axis coefficient of each parameter a to v corresponding to the second axis.
  • "b: length of perimeter” has the highest weight for classification on the first axis
  • "g: length” has the highest contribution to classification on the second axis.
  • FIG. 19A shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nuclei and the FL cell nuclei when linear discriminant analysis is performed with parameters a to v indicating the above 22 features. ing. As shown in FIG. 19A, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and FL.
  • FIG. 19B shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the largest weight was "b: length of outer circumference".
  • FIG. 19C shows the distribution state (probability density) of the features in the first axis direction of the DLBCL cell nucleus and the Reactive cell nucleus when linear discriminant analysis is performed with parameters a to v indicating the above 22 features. ing. As shown in FIG. 19C, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and Reactive.
  • FIG. 19D shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the largest weight is "b: the length of the outer circumference", but the weights of the coefficients such as d, a, and f are also large.
  • FIG. 19E shows the distribution state (probability density) of the features in the first axis direction between the FL cell nucleus and the Reactive cell nucleus when linear discriminant analysis is performed with parameters a to v indicating the above 22 features. ing. As shown in FIG. 19E, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between FL and Reactive.
  • FIG. 19F shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the largest weight is "g: secondary axis (minor axis) of ellipse approximation".
  • linear discriminant analysis of DLBCL, FL and Reactive is performed with parameters a to i related to nine shapes (internal texture), and the first axis and Got the second axis.
  • the graphs shown in FIGS. 20A and 20B show the weight of each feature on the first axis and the second axis obtained by performing linear discriminant analysis, that is, the first axis coefficient of each parameter a to i corresponding to the first axis. 2nd axis coefficient of each parameter a to i corresponding to the second axis.
  • "b: length of perimeter” has the largest contribution to classification on the first axis, and the largest contribution to classification on the second axis. became "g: secondary axis (minor axis) of ellipse approximation".
  • FIG. 21A shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nuclei and the FL cell nuclei when linear discriminant analysis is performed with parameters a to i indicating features related to the shape of the cell nuclei. ing. As shown in FIG. 21A, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and FL.
  • FIG. 21B shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the largest weight was "b: length of outer circumference".
  • FIG. 21C shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nucleus and the Reactive cell nucleus when linear discriminant analysis is performed with parameters a to i indicating features related to the shape of the cell nucleus. ing. As shown in FIG. 21C, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and Reactive.
  • FIG. 21D shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, "a: area" has the largest weight.
  • FIG. 21E shows the distribution state (probability density) of the features in the first axis direction between the FL cell nucleus and the Reactive cell nucleus when linear discriminant analysis is performed with parameters a to i indicating features related to the shape of the cell nucleus. ing. As shown in FIG. 21E, it was revealed that the characteristics of the cell nuclei in the first axis direction follow different distributions between FL and Reactive.
  • FIG. 21F shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the largest weight is "g: secondary axis (minor axis) of ellipse approximation".
  • the first and second axes that can best discriminate DLBCL, FL, and Reactive were obtained with seven color-related parameters j ⁇ p.
  • the first and second axes indicate the values of the first discriminant function and the second discriminant function obtained by linear discriminant analysis.
  • the graphs shown in FIGS. 22A and 22B are the weight of each feature on the first axis and the second axis obtained by performing linear discriminant analysis, that is, the first axis coefficient of each parameter j to p corresponding to the first axis and 2nd axis coefficients of parameters j to p corresponding to the second axis.
  • "m: maximum value of brightness” has the largest contribution to classification on the first axis, and the largest contribution to classification on the second axis. became "k: standard deviation of brightness".
  • FIG. 23A shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nuclei and the FL cell nuclei when linear discriminant analysis is performed with parameters j to p indicating features related to the color of the cell nuclei. ing. As shown in FIG. 23A, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and FL.
  • FIG. 23B shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, "m: maximum value of luminance" has the highest weight.
  • FIG. 23C shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nuclei and the Reactive cell nuclei when linear discriminant analysis is performed with parameters j to p indicating the features related to the color of the cell nuclei. ing. As shown in FIG. 23C, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and Reactive.
  • FIG. 23D shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, "m: maximum value of luminance" has the highest weight.
  • FIG. 23E shows the distribution state (probability density) of the features in the first axis direction between the FL cell nuclei and the Reactive cell nuclei when linear discriminant analysis is performed with parameters j to p indicating the features related to the color of the cell nuclei. ing. As shown in FIG. 23E, it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between FL and Reactive.
  • FIG. 23F shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, "m: maximum value of luminance" has the highest weight.
  • FIGS. 24A and 24B show the weight of each feature on the first axis obtained by performing linear discriminant analysis, that is, the first axis coefficient.
  • the largest contribution to classification on the first axis is “r: Top 1 suitable for expressing the diversity of outline shapes obtained by principal component analysis th (mutually orthogonal) deformation components”, and the largest contribution to classification on the second axis is The third (mutually orthogonal) deformation component suitable for
  • FIG. 25A shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nuclei and the FL cell nuclei when linear discriminant analysis is performed with parameters q to v indicating the features related to the outer shape of the cell nuclei. ing.
  • FIG. 25A it was revealed that the characteristics of the cell nucleus in the first axis direction follow different distributions between DLBCL and FL.
  • FIG. 25B shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the one with the highest weight is "r: the top-ranked deformation component (perpendicular to each other) suitable for representing the diversity of the shape of the outline obtained by the principal component analysis".
  • FIG. 25C shows the distribution state (probability density) of the features in the first axis direction between the DLBCL cell nucleus and the Reactive cell nucleus when linear discriminant analysis is performed with parameters q to v indicating the features related to the outer shape of the cell nucleus. ing. As shown in FIG. 25C, it was revealed that the characteristics of the cell nuclei in the first axis direction follow different distributions between DLBCL and Reactive.
  • FIG. 25D shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the one with the highest weight is "r: the top-ranked deformation component (perpendicular to each other) suitable for representing the diversity of the shape of the outline obtained by the principal component analysis".
  • FIG. 25E shows the distribution state (probability density) of the features in the first axis direction between the FL cell nuclei and the Reactive cell nuclei when linear discriminant analysis is performed with parameters q to v indicating the features related to the outer shape of the cell nuclei. ing. As shown in FIG. 25E, it was revealed that the characteristics of the cell nuclei in the first axis direction follow different distributions between FL and Reactive.
  • FIG. 25F shows the weight of each feature with respect to the first axis, ie the first axis coefficient, obtained by performing linear discriminant analysis. In this case, the one with the highest weight is "r: the top-ranked deformation component (perpendicular to each other) suitable for representing the diversity of the shape of the outline obtained by the principal component analysis".
  • FIG. 26A shows the distribution of nuclear features of DLBCL
  • FIG. 26B shows the distribution of nuclear features of FL
  • FIG. 26C shows the distribution of reactive nuclear features
  • FIG. 26D shows the probability density of the cell nucleus feature of DLBCL
  • FIG. 26E shows the probability density of the cell nucleus of FL
  • FIG. 26F shows the probability density of the cell nucleus feature of Reactive.
  • DLBCL, FL, and Reactive could be visualized to have specific cell nucleus morphologies.
  • the hardware configuration and software configuration of the diagnostic device 1 are examples, and can be arbitrarily changed and modified.
  • a dedicated system can be implemented using a normal computer system.
  • the diagnostic device 1 that executes the above processing may be configured by:
  • the diagnostic device 1 may be configured by storing the computer program in a storage device of a server device on a communication network such as the Internet, and downloading the program by a normal computer system.
  • the functions of the diagnostic device 1 are realized by sharing the work of the OS (operating system) and the application program, or by cooperation between the OS and the application program, only the application program part may be stored in the recording medium or storage device. good.
  • the computer program may be posted on a Bulletin Board System (BBS) on a communication network and distributed over the network. Then, the computer program may be configured to be started and executed in the same manner as other application programs under the control of the OS so that the above processes can be executed.
  • BSS Bulletin Board System
  • the present invention can be applied to diagnosis of malignant lymphoma.
  • 1 Diagnostic device 2, 2a Pathological image, 2A Sample image, 3 Extraction information, 3A, 3B, 3C Sample image, 3a Cell nucleus extraction information, 3b Cell extraction information, 3c Distribution state extraction information, 4, 4A Numerical information, 4a, 4a' Cell nucleus numerical information, 4b, 4b' Cell numerical information, 4c, 4c' Distribution state numerical information, 5, 5A Estimation information, 5a, 5a' Presence/absence information, 5b, 5b' Type information, 5c, 5c' Progress stage information , 5d Genome information, 5e Gene expression information, 5f Protein information, 5g Clinical information, 6 Additional information, 6a Genome information, 6b Gene expression information, 6c Protein information, 6d Clinical information, 10 Extraction part, 11 Numericalization part, 12 Estimation Unit, 21 CPU, 22 Main storage unit, 23 External storage unit, 24 Operation unit, 25 Display unit, 26 Communication interface, 28 Internal bus, 29 Diagnostic program, 30 Machine learning program, 31, 31A, 31B Sample data, C Cell , G

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Analytical Chemistry (AREA)
  • Microbiology (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Epidemiology (AREA)
  • Sustainable Development (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

診断装置（１）は、抽出部（１０）と、数値化部（１１）と、を備える。抽出部（１０）は、リンパ細胞を含む複数の細胞が写る病理画像（２）から、個々の細胞核、個々の細胞及び細胞の分布状態（抽出情報（３））を抽出する。数値化部（１１）は、抽出部（１０）で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴（数値情報（４））とを数値化する。

Description

診断装置、情報取得方法及びプログラム
　本発明は、診断装置、情報取得方法及びプログラムに関する。
　悪性リンパ腫は、日本の成人において最も頻度の高い血液腫瘍である。自覚症状が出にくい初期の悪性リンパ腫は、早期発見の難しい病気である（特許文献１参照）。悪性リンパ腫は、全身のあらゆる臓器に発生する可能性があり、頻度の高いものから非常に稀なものまで１００を超える病型に分類される。悪性リンパ腫は、病型毎に治療方針が大きく異なるため、病理診断に基づく病型の鑑別は患者の予後に大きな影響を与える。
特開２０１６－８０６７２号公報
　悪性リンパ腫の病理診断は、熟練した知識や経験を有する病理専門医が中心に行い、その結果を主治医と共有した後、確定診断に至る。これまで、病理組織から客観的な指標に基づいて診断する方法は構築されていないため、病理組織から得られる情報を医師間で正確に共有することが困難であり、診断する医師により統一的な判断が得られない（診断が異なる）例も生じている。そこで、各病型に適した様々な新規治療法が開発される中、多彩な病型を正確に鑑別し適切な治療へ導くため、悪性リンパ腫の診断を行う統一的な診断指標を提供することができる診断装置の開発が求められている。
　本発明は、上記実情の下になされたものであり、悪性リンパ腫の診断を行う統一的な診断指標を提供することができる診断装置、情報取得方法及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明の第１の観点に係る診断装置は、
　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出部と、
　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化部と、
　を備える。
　この場合、前記抽出部は、
　細胞の分布状態の特徴を認識可能な範囲を、個々の細胞核及び個々の細胞の特徴を認識可能な解像度で撮像された病理画像を読み込み、
　読み込んだ前記病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する、
　こととしてもよい。
　前記抽出部は、
　前記病理画像のサンプルであるサンプル画像と、前記サンプル画像から手動で抽出された個々の細胞核、個々の細胞及び細胞の分布状態との関係を示すサンプルデータに基づいて機械学習を行い、
　機械学習の結果に基づいて、前記病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する、
　こととしてもよい。
　前記抽出部は、
　生体から採取された個々の細胞核及び個々の細胞を認識可能な解像度を有する第１画像から、個々の細胞、個々の細胞核及び細胞の分布状態を抽出するとともに、前記生体から採取された細胞の分布状態の特徴を認識可能な範囲を有する第２画像から、細胞の分布状態を抽出する、
　こととしてもよい。
　前記抽出部は、
　前記第１画像に対応する第１サンプル画像と、前記第１サンプル画像から手動で抽出された細胞及び細胞核との関係を示すサンプルデータに基づいて機械学習を行うとともに、前記第２画像に対応する第２サンプル画像と、前記第２サンプル画像から手動で抽出された細胞の分布状態との関係を示すサンプルデータに基づいて機械学習を行い、
　機械学習の結果に基づいて、前記第１画像から、個々の細胞及び個々の細胞核を抽出するとともに、前記第２画像から、細胞の分布状態を抽出する、
　こととしてもよい。
　前記数値化部は、
　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、悪性リンパ腫に関する情報と相関性を有する個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する、
　こととしてもよい。
　前記数値化部は、
　個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
　機械学習の結果に基づいて、個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴の中から、数値化する特徴を絞り込む、
　こととしてもよい。
　前記数値化部で数値化された個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とに基づいて、悪性リンパ腫に関する情報を推定する推定部を備える、
　こととしてもよい。
　前記推定部は、
　個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
　機械学習の結果に基づいて、前記数値化部で数値化された個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴から、悪性リンパ腫に関する情報を推定する、
　こととしてもよい。
　前記推定部は、
　前記数値化部で数値化された個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴に加え、悪性リンパ腫と相関性を有するゲノム情報、遺伝子発現情報、タンパク情報又は臨床情報の少なくとも１つの付加情報に基づいて、悪性リンパ腫に関する情報を推定する、
　こととしてもよい。
　悪性リンパ腫に関する情報には、悪性リンパ腫の有無、種別又は進行段階を示す情報、悪性リンパ腫と相関性を有するゲノム情報、遺伝子発現情報、タンパク情報又は臨床情報との少なくとも１つが含まれる、
　こととしてもよい。
　前記推定部は、
　個々の細胞核の特徴、個々の細胞の特徴、細胞の分布状態の特徴及び前記付加情報と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
　機械学習の結果に基づいて、悪性リンパ腫に関する情報を推定する、
　こととしてもよい。
　前記細胞には、血管内皮細胞、線維芽細胞を含む間葉系細胞、組織球を含むリンパ細胞以外の血液系細胞、上皮系細胞又は神経系細胞が含まれる、
　こととしてもよい。
　本発明の第２の観点に係る情報取得方法は、
　情報処理装置によって実行される情報取得方法であって、
　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出ステップと、
　前記抽出ステップで抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化ステップと、
　を含む。
　本発明の第３の観点に係るプログラムは、
　コンピュータを、
　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出部、
　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化部、
　として機能させる。
　本発明によれば、悪性リンパ腫の罹患により様々に変化するリンパ細胞を含む複数の細胞の個々の細胞核、個々の細胞、細胞の分布状態の特徴を数値化する。個々の細胞核、個々の細胞、細胞の分布状態は、悪性リンパ腫の罹患によって様々に変化し、その種別毎に変化の特徴が異なる。このため、数値化された個々の細胞核、個々の細胞、個々の細胞の分布状態の特徴は、悪性リンパ腫の診断を行う上で客観的かつ統一的な指標となる。したがって、本発明によれば、悪性リンパ腫の診断を行う統一的な診断指標を提供することができる。
本発明の実施の形態１に係る診断装置の構成を示すブロック図である。 図１の診断装置に入力される細胞核を確認できる病理画像の一例である。 図１の診断装置に入力される分布状態を確認できる病理画像の一例である。 分割可能な病理画像の一例である。 図１の診断装置を構成する抽出部の機械学習に用いられるサンプルデータの構成を示すブロック図である。 図１の診断装置を構成する数値化部の機械学習に用いられるサンプルデータの構成を示すブロック図である。 図１の診断装置のハードウエア構成を示すブロック図である。 図１の診断装置の学習段階の処理の流れを示すフローチャートである。 図１の診断装置を構成する抽出部における機械学習の流れを示すブロック図である。 図１の診断装置を構成する数値化部における機械学習で用いられる細胞の特徴の数値情報の特性を示すグラフの第１例である。 図１の診断装置を構成する数値化部における機械学習で用いられる細胞の特徴の数値情報の特性を示すグラフの第２例である。 図１の診断装置の診断段階の処理の流れを示すフローチャートである。 本発明の実施の形態２に係る診断装置の構成を示すブロック図である。 図９の診断装置を構成する推定部の機械学習に用いられるサンプルデータの構成を示すブロック図である。 図９の診断装置の学習段階の処理の流れを示すフローチャートである。 図９の診断装置を構成する推定部における機械学習を示すブロック図である。 図９の診断装置の診断段階の処理の流れを示すフローチャートである。 本発明の実施の形態３に係る診断装置の構成を示すブロック図である。 図１４の診断装置の構成の変形例を示すブロック図である。 本発明の実施の形態４に係る診断装置の構成を示すブロック図である。 図１６の診断装置を構成する抽出部の機械学習に用いられるサンプルデータの構成を示すブロック図である。 ２２個の特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた２次元散布図の第１軸係数を示すグラフである。 ２２個の特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた２次元散布図の第２軸係数を示すグラフである。 細胞核形態の特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図１９Ａの場合の第１軸係数の値を示すグラフである。 細胞核形態の特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図１９Ｃの場合の第１軸係数の値を示すグラフである。 細胞核形態の特徴を示すパラメータで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図１９Ｅの場合の第１軸係数の値を示すグラフである。 細胞核の形状（内部テクスチャ）に関する特徴を示すパラメータで線形判別分析を行って得られた２次元散布図の第１軸係数を示すグラフである。 細胞核の形状（内部テクスチャ）に関する特徴を示すパラメータで線形判別分析を行って得られた２次元散布図の第２軸係数を示すグラフである。 形状に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２１Ａの場合の第１軸係数の値を示すグラフである。 形状に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２１Ｃの場合の第１軸係数の値を示すグラフである。 形状に関する特徴を示すパラメータで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２１Ｅの場合の第１軸係数の値を示すグラフである。 細胞核の色に関する特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた２次元散布図の第１軸係数を示すグラフである。 細胞核の色に関する特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた２次元散布図の第２軸係数を示すグラフである。 色に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２３Ａの場合の第１軸係数の値を示すグラフである。 色に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２３Ｃの場合の第１軸係数の値を示すグラフである。 色に関する特徴を示すパラメータで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２３Ｅの場合の第１軸係数の値を示すグラフである。 細胞核の外形に関する特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた特徴の２次元散布図の第１軸係数を示すグラフである。 細胞核の外形に関する特徴を示すパラメータで細胞核形態の線形判別分析を行って得られた特徴の２次元散布図の第２軸係数を示すグラフである。 外形に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２５Ａの場合の第１軸係数の値を示すグラフである。 外形に関する特徴を示すパラメータで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２５Ｃの場合の第１軸係数の値を示すグラフである。 外形に関する特徴を示すパラメータで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態を示すグラフである。 図２５Ｅの場合の第１軸係数の値を示すグラフである。 本発明の実施の形態１の診断装置で数値化されたＤＬＢＣＬの細胞核の特徴の分布を示す２次元散布図である。 本発明の実施の形態１の診断装置で数値化されたＦＬの細胞核の特徴の分布を示す２次元散布図である。 本発明の実施の形態１の診断装置で数値化されたＲｅａｃｔｉｖｅの細胞核の特徴の分布を示す２次元散布図である。 ＤＬＢＣＬの細胞核の特徴の確率密度分布を示す図である。 ＦＬの細胞核の特徴の確率密度分布を示す図である。 Ｒｅａｃｔｉｖｅの細胞核の特徴の確率密度分布を示す図である。
　以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分には同一の符号が付される。
実施の形態１．
　まず、本発明の実施の形態１について説明する。本実施の形態に係る情報処理装置としての診断装置は、悪性リンパ腫の診断を行う。悪性リンパ腫は、リンパ系腫瘍の一種である。悪性リンパ腫は、Ｈｏｄｇｋｉｎリンパ腫と非ｈｏｄｇｋｉｎリンパ腫とに大別される。日本においては、悪性リンパ腫のうち、Ｈｏｄｋｉｎリンパ腫は、５．９％程度である。悪性リンパ腫の大半は、非ｈｏｄｇｋｉｎリンパ腫である。非ｈｏｄｇｋｉｎリンパ腫は、Ｂ細胞腫瘍とＴ・ＮＫ細胞腫瘍とに大別され、Ｂ細胞腫瘍には、びまん性大細胞型Ｂ細胞リンパ腫（ＤＬＢＣＬ）、濾胞性リンパ腫（ＦＬ）、ＭＡＬＴリンパ腫、小リンパ球性リンパ腫、慢性リンパ性白血病、マントル細胞リンパ腫、Ｎｕｒｋｉｔｔリンパ腫など、様々な種別（病型）が存在する。悪性リンパ腫の種別の数は１００を超える。本実施の形態に係る診断装置は、患者の悪性リンパ腫に関する情報、例えば悪性リンパ腫の罹患の有無、その種別、進行段階等を推定する。
　この診断装置は、コンピュータ上に構築される。すなわち、診断装置は、ソフトウエアによる情報処理が、ハードウエア資源を用いて具体的に実現される情報処理装置である。
　図１に示すように、診断装置１は、病理画像２を入力する。病理画像２は、リンパ細胞を含む複数の細胞が写る画像である。リンパ細胞には、Ｔ細胞、Ｂ細胞、ＮＫ細胞などがある。リンパ細胞は、例えばリンパ節等から採取される。病理画像２に写る細胞には、リンパ細胞以外にも様々な細胞が含まれる。このような細胞Ｃには、例えば、血管内皮細胞、線維芽細胞を含む間葉系細胞、組織球を含むリンパ細胞以外の血液系細胞、上皮系細胞又は神経系細胞が含まれる。
　病理画像２は、染色（例えばＨＥ（Hematoxylin-Eosin）染色）された細胞の画像となっている。この病理画像２は、例えば図２Ａに示すように、その個々の細胞核Ｎ及び個々の細胞Ｃを認識することができる解像度を有している。さらに、病理画像２は、例えば図２Ｂに示すように、細胞Ｃの分布状態を認識することができる範囲を有している。本実施の形態では、図２Ｃに示すように、図２Ａの病理画像２（２ａ）は、図２Ｂに示す病理画像２の一部とすることができる。図２Ｃに示すように、病理画像２は、複数の病理画像２ａに分割され、分割された病理画像２ａが、診断装置１に順次読み込まれるようにすることができる。すなわち、病理画像２は、細胞Ｃの分布状態の特徴を認識可能な範囲を、個々の細胞核Ｎ及び個々の細胞Ｃの特徴を認識可能な解像度で撮像された画像となる。
　診断装置１は、読み込んだ病理画像２に対して画像処理を行って、数値情報４を出力する。数値情報４には、細胞核数値情報４ａと、細胞数値情報４ｂと、分布状態数値情報４ｃと、に分けられる。細胞核数値情報４ａは、病理画像２に写る個々の細胞核Ｎの特徴を数値化した情報である。細胞数値情報４ｂは、病理画像２に写る個々の細胞Ｃの特徴を数値化した情報である。分布状態数値情報４ｃは、病理画像２に写る細胞Ｃの分布状態の特徴を数値化した情報である。これらの数値情報４は、複数の細胞核Ｎの特徴及び複数の細胞Ｃの特徴をまとめて表したものではなく、あくまで個々の細胞核Ｎ及び個々の細胞Ｃの特徴を表したものである。
　個々の細胞核Ｎの特徴は、その大きさ、形又は色に関するものである。個々の細胞Ｃの特徴は、細胞Ｃの大きさ、形又は色に関するものである。細胞Ｃの分布状態に関する特徴は、複数の細胞Ｃの分布の均一性に関する特徴である。例えば、同種の細胞Ｃが、ある領域に集合し、特有のパターンを形成するように分布していれば、そのパターンの大きさ、形、パターン内の細胞Ｃの密集度、パターン自体の分布がこの特徴に含まれる。このような特徴は、多岐に渡る項目から成り、診断装置１から出力される数値情報４（４ａ，４ｂ，４ｃ）は、その項目毎に算出された数値の集合がまとめられた数値群となる。数値情報４（４ａ，４ｂ，４ｃ）は、病理画像２における細胞核Ｎ、細胞Ｃ及び細胞Ｃの分布状態に関する特徴を客観的に示す診断指標となる。なお、この細胞Ｃは、リンパ細胞に限られない。例えば、血管内皮細胞、線維芽細胞を含む間葉系細胞、組織球を含むリンパ細胞以外の血液系細胞、上皮系細胞又は神経系細胞なども、特徴の数値化の対象となる。リンパ細胞以外の細胞Ｃも、悪性リンパ腫の影響を受けるためである。
　診断装置１の構成についてより詳細に説明する。診断装置１は、図１に示すように、抽出部１０と、数値化部１１と、を備える。抽出部１０は、読み込んだ病理画像２から、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出する。抽出された個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態をまとめたものが抽出情報３である。数値化部１１は、抽出部１０で抽出された個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態に基づいて、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴と、を数値化する。数値化されたものをまとめたものが数値情報４である。
　抽出部１０についてより詳細に説明する。抽出部１０は、入力された病理画像２に対して画像処理を行って、その病理画像２に写る各細胞Ｃの細胞核Ｎと他の領域とを識別する処理を行う。この処理後、抽出部１０は、抽出情報３の一部である細胞核抽出情報３ａを出力する。細胞核抽出情報３ａは、病理画像２において、個々の細胞Ｃの細胞核Ｎの画像とそれ以外の画像とを区別可能とする情報である。また、抽出部１０は、入力された病理画像２に対して画像処理を行って、その病理画像２に写る細胞Ｃと他の領域とを識別する処理を行う。この処理後、抽出部１０は、抽出情報３の一部である細胞抽出情報３ｂを出力する。細胞抽出情報３ｂは、病理画像２において、個々の細胞Ｃの画像とそれ以外の画像とを区別可能な情報である。さらに、抽出部１０は、抽出された個々の細胞Ｃに対して細胞Ｃの種類と位置情報とを検出し、細胞Ｃの種類と位置情報とに基づいて細胞Ｃの分布状態を抽出し、分布状態抽出情報３ｃを生成する。分布状態抽出情報３ｃは、病理画像２において、同種の細胞Ｃの集合パターンＰを含んでいる。
　数値化部１１についてより詳細に説明する。数値化部１１は、細胞核抽出情報３ａに基づいて、個々の細胞核Ｎの画像に対して画像処理を行い、個々の細胞核Ｎの大きさ、形又は色に関する特徴を数値化し、個々の細胞核Ｎ毎、その特徴毎の数値から成る数値群である細胞核数値情報４ａを生成する。また、数値化部１１は、細胞抽出情報３ｂに基づいて、個々の細胞Ｃの画像に対して画像処理を行い、個々の細胞Ｃの大きさ、形又は色に関する特徴を数値化し、細胞Ｃ毎、その特徴毎の数値から成る数値群である細胞数値情報４ｂを生成する。さらに、数値化部１１は、分布状態抽出情報３ｃに基づいて、抽出された複数の細胞Ｃに対して画像処理を行い、それら細胞Ｃの分布状態に関する特徴を数値化し、細胞Ｃ毎、その分布状態の特徴、例えば集合パターンＰ毎の数値から成る数値群である分布状態数値情報４ｃを生成する。
　細胞核Ｎの大きさ、形に関する特徴を数値化した細胞核数値情報４ａには、細胞核Ｎの面積の他、細胞核Ｎの輪郭の長さ、細胞核Ｎの対象物領域を収める最小の長方形の幅、高さ、近似楕円の長軸、短軸、長軸（主軸）と短軸（副軸）の間の角度、真円度、対象物辺縁上の点間距離（最大距離、最小距離）、近似楕円の縦横比、円形度、凸度等の実測値がある。ここで、近似楕円は、細胞の輪郭との誤差が最も少ない楕円である。真円度は、４π×面積／（輪郭の長さ）２で表される。この数値が１．０であれば、真円であり、０に近づくほど長細い形になる。円形度は、４×面積／π／（主軸長）２で表される。また、対象物辺縁上の点間距離は、輪郭において互いに対向しているとみなせる２つの部分において、最も離れた部分同士の距離が最大距離であり、最も近い、すなわち細胞核Ｎがくびれた部分の距離が最小距離である。
　細胞核Ｎの色に関する特徴を数値化した細胞核数値情報４ａには、細胞核Ｎにおける輝度の平均値、標準偏差、最頻値、最小値、最大値、総和、中央値、３次モーメント、４次モーメント、対象物領域輝度閾値の画像全体に対する百分率等の実測値がある。３次モーメント、４次モーメントは、輝度の分布の正規分布に対する歪みを表す指標である。３次モーメントは、輝度のヒストグラムの分布が左右に対称だと０になる。左にテイリングしていると負に、右にテイリングしていると正になる。４次モーメントは、輝度のヒストグラムの分布が正規分布だと０、より広がっていると負になり、より鋭いピークであれば正になる。なお、輝度に関する特徴の他、細胞核Ｎの彩度、色相に関する特徴を含むようにしてもよい。個々の細胞核Ｎの大きさ、形又は色に関する特徴を数値化した数値情報４が細胞核数値情報４ａとして数値化部１１から出力される。なお、細胞核Ｎの大きさ、形及び色に関する上述した実測値を、例えば過去に取得された病理画像等から予め求められている各実測値の統計値、例えば、複数の細胞核Ｎにおける実測値の平均値、標準偏差、分散を用いて正規化した値を、細胞核数値情報４ａに含めることができる。
　細胞Ｃの大きさ、形に関する特徴を数値化した細胞数値情報４ｂには、細胞Ｃの面積の他、細胞Ｃの輪郭の長さ、細胞Ｃの対象物領域を収める最小の長方形の幅、高さ、近似楕円の長軸、短軸、長軸（主軸）と短軸（副軸）の間の角度、真円度、対象物辺縁上の点間距離（最大距離、最小距離）、近似楕円の縦横比、円形度、凸度等の計測値がある。
　また、細胞Ｃの色に関する特徴を数値化した細胞数値情報４ｂには、細胞Ｃにおける輝度の平均値、標準偏差、最頻値、最小値、最大値、総和、中央値、３次モーメント、４次モーメント、対象物領域輝度閾値の画像全体に対する百分率等の実測値がある。３次モーメント、４次モーメントは、輝度の分布の正規分布に対する歪みを表す指標である。なお、輝度に関する特徴の他、細胞Ｃの彩度、色相に関する特徴を含むようにしてもよい。個々の細胞Ｃの大きさ、形又は色に関する特徴を数値化した数値情報４が細胞数値情報４ｂとして数値化部１１から出力される。なお、細胞Ｃの大きさ、形及び色に関する上述した実測値を、例えば過去に取得された病理画像等から予め求められている細胞Ｃの各実測値の統計値、例えば、複数の細胞Ｃにおける実測値の平均値、標準偏差、分散を用いて正規化した値を、細胞数値情報４ｂに含めることができる。
　複数の細胞Ｃの種別及び位置座標から得られた同種の細胞Ｃの集合パターンＰが、細胞Ｃの分布状態の特徴となる。同種の集合パターンＰの有無、集合を形成する細胞の種類、形状、大きさ、集合の個数、集合の中の密集度等の実測値が、細胞Ｃの分布状態の特徴を数値化した数値情報に含まれる。これらの数値情報が、分布状態数値情報４ｃとして、数値化部１１から出力される。なお、細胞Ｃの分布状態に関する上述した実測値を、例えば過去に取得された病理画像等から予め求められている分布状態の各実測値の統計値、例えば、複数の病理画像での細胞Ｃの分布状態に関する実測値の平均値、標準偏差、分散を用いて正規化した値を、分布状態数値情報４ｃに含めることができる。
　抽出部１０は、機械学習により、画像処理を行う機械学習器である。抽出部１０では、実際に診断対象の病理画像２を入力する前に、機械学習を行う。抽出部１０の機械学習のために、図３に示すように、病理画像２のサンプルであるサンプル画像２Ａが用意される。サンプル画像２Ａは、複数の細胞Ｃが含まれる病理画像である。サンプル画像２Ａには、サンプル画像３Ａ、３Ｂ、３Ｃが関連付けられて記憶されている。サンプル画像３Ａは、画像に写る細胞Ｃの個々の細胞核Ｎが臨床医によって手動で抽出された画像である。サンプル画像３Ｂは、病理画像２に写る個々の細胞Ｃが臨床医によって手動で抽出された画像である。サンプル画像３Ｃは、病理画像２に写る同種の細胞Ｃの集合パターンＰが臨床医によって手動で抽出された画像である。サンプル画像３Ｃは、サンプル画像２Ａから手動で抽出された細胞Ｃの分布状態を示す画像である。
　まとめると、サンプル画像３Ａ～３Ｃは、サンプル画像２Ａから手動で抽出された個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態（集合パターンＰ）を示す画像となる。サンプル画像２Ａ、３Ａ～３Ｃの組み合わせは、病理画像２のサンプルであるサンプル画像２Ａと、サンプル画像２Ａから手動で抽出された個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態との関係を示すサンプルデータとなる。
　抽出部１０は、臨床医によって手動で細胞核Ｎ及び細胞Ｃが抽出されたサンプル画像を用いた機械学習を行う。抽出部１０は、機械学習の結果に基づいて、病理画像２から、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出する。サンプル画像３Ａ～３Ｃが教師データとなるため、この機械学習は、教師あり学習となる。サンプル画像３Ａ～３Ｃは、臨床医によって個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態が抽出された画像である。このため、機械学習により臨床医による抽出のノウハウが抽出部１０に取り込まれ、抽出部１０が、臨床医のノウハウが反映された画像処理を行って、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出することができる。
　このような機械学習器として、例えば画像の深層学習を行う学習器を用いることができる。このような学習器としては、例えば畳み込みニューラルネットワークが組み込まれたものを用いることができる。この畳み込みニューラルネットワークに対して例えば誤差逆伝播法を用いて、図３に示すサンプル画像２Ａが入力された場合に、サンプル画像３Ａのように、個々の細胞核Ｎが抽出されて細胞核抽出情報３ａが生成され、サンプル画像３Ｂのように、個々の細胞Ｃが抽出されて細胞抽出情報３ｂが生成され、サンプル画像３Ｃのように、細胞Ｃの分布状態が抽出されて分布状態抽出情報３ｃが生成されるように機械学習が行われる。
　なお、実際には、サンプル画像２Ａ、３Ａ～３Ｃの組み合わせによるサンプルデータ３１が、複数用意されている。例えば、悪性リンパ腫に罹患していない者のサンプルデータ３１、悪性リンパ腫の種別ごとのサンプルデータ３１が複数組用意されているのが望ましい。各組のサンプルが多ければ多いほど、抽出部１０による個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態の抽出の精度を上げることができる。
　数値化部１１は、抽出部１０で抽出された個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態に基づいて、悪性リンパ腫に関する情報と相関性を有する個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴とを数値化する。数値化部１１は、病理画像２から抽出された細胞核Ｎに基づいて個々の細胞核Ｎの形状および色に関する特徴を数値化した細胞核数値情報４ａを算出する。また、数値化部１１は、病理画像２から抽出された細胞Ｃに基づいて個々の細胞Ｃの形状および色に関する特徴を数値化した細胞数値情報４ｂを算出する。さらに、数値化部１１は、病理画像２から抽出された細胞Ｃの分布状態に基づいて細胞Ｃの分布状態に関する特徴を数値化した分布状態数値情報４ｃを算出する。
　数値化部１１は、機械学習器によって構成することができる。数値化部１１では、実際に診断対象の病理画像２から得られる抽出情報３を入力する前に、機械学習を行う。この機械学習のために、図４に示すサンプルデータ３１が用意される。図４に示すように、このサンプルデータ３１として、悪性リンパ腫に罹患していない者（罹患なし）でのサンプル画像３Ａ、３Ｂ、３Ｃが用意され、悪性リンパ腫の種別（種別１、２、３、４、・・・）毎に、サンプル画像３Ａ、３Ｂ、３Ｃが用意される。前述のように、サンプル画像３Ａは、細胞核抽出情報３ａに対応し、サンプル画像３Ｂは、細胞抽出情報３ｂに対応し、サンプル画像３Ｃは、分布状態抽出情報３ｃに対応する。これらのサンプルデータ３１は、個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴及び細胞Ｃの分布状態の特徴が抽出されているサンプル画像３Ａ～３Ｃと、悪性リンパ腫に関する情報、すなわち悪性リンパ腫の有無、種別との関係を示すデータである。
　数値化部１１は、図４に示すサンプルデータ３１に基づいて機械学習を行う。数値化部１１は、機械学習により、個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴及び細胞Ｃの分布状態の特徴の中から、数値化する特徴を悪性リンパ腫と相関性があるものに絞り込む。
　具体的には、この機械学習では、数値化部１１は、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴を、悪性リンパ腫の有無で有意差が認められるものと認められないものとに区別する。例えば、細胞核Ｎの大きさ、凸度が悪性リンパ腫の有無で有意差が認められる場合には、数値化部１１で、数値化する特徴を、それら有意差が認められる情報に絞り込むことができる。また、細胞Ｃの面積、輝度を示す数値情報が悪性リンパ腫の有無で有意差が認められる場合には、数値化部１１で、数値化する特徴を、それら有意差が認められる情報に絞り込むことができる。さらに、細胞Ｃの分布状態の集合パターンＰに悪性リンパ腫の有無で有意差が認められる場合には、数値化する特徴を、それら有意差が認められる情報に絞り込むことができる。このような機械学習としては、例えば、主成分分析による次元削減の手法を採用することができる。なお、「絞り込む」ことには、上記各特徴の線形結合等で表される新たな特徴（主成分となる特徴）を生成し、新たな特徴における各特徴の重みを変更し、特徴の重み付けを行うことを含んでいる。
　このような絞り込みを行うことにより、数値化部１１での数値情報４を算出する特徴の数を減らして、その算出に要する時間を短縮することができるため、悪性リンパ腫の診断を効率化することができる。
　図１に示す診断装置１は、例えば、図５に示すハードウエア構成を有するコンピュータがソフトウエアプログラムを実現することにより実現される。具体的には、診断装置１は、装置全体の制御を司るＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１の作業領域等として動作する主記憶部２２と、ＣＰＵ２１の動作プログラム等を記憶する外部記憶部２３と、操作部２４と、表示部２５と、通信インターフェイス２６と、これらを接続する内部バス２８から構成される。
　主記憶部２２は、ＲＡＭ（Random Access Memory）等から構成されている。主記憶部２２には、ＣＰＵ２１の診断プログラム２９と、機械学習プログラム３０と、サンプルデータ３１と、病理画像２とが外部記憶部２３からロードされる。また、主記憶部２２は、ＣＰＵ２１の作業領域（データの一時記憶領域）としても用いられる。
　外部記憶部２３は、フラッシュメモリ、ハードディスク等の不揮発性メモリから構成される。外部記憶部２３には、ＣＰＵ２１に実行させるための診断プログラム２９と、機械学習プログラム３０と、が予め記憶されている。また、外部記憶部２３には、さらに、サンプルデータ３１と、診断対象の患者である生体から採取された病理画像２とが記憶される。サンプルデータ３１には、上述のように、サンプル画像２Ａ、３Ａ～３Ｃの組み合わせから成るデータ（図３参照）と、悪性リンパ腫の有無、種別が判明しているサンプル画像３Ａ～３Ｃの組み合わせから成るデータ（図４参照）が含まれる。
　操作部２４は、キーボード及びマウス等のデバイスと、これらのデバイスを内部バス２８に接続するインターフェイス装置から構成されている。
　表示部２５は、ＣＲＴ（Cathode Ray Tube）、液晶モニタ等の表示用デバイスから構成される。
　通信インターフェイス２６は、外部機器とのデータ送受信を行うインターフェイスである。通信インターフェイス２６を介して、サンプルデータ３１又は病理画像２が送受信される。
　次に、本実施の形態に係る診断装置１の動作によって実現される情報取得方法、すなわち診断装置１によって実行される処理について説明する。診断装置１によって実行される処理は、図６に示す学習段階の処理と、図８に示す診断段階の処理とに分かれている。
　まず、学習段階の処理について説明する。この学習段階では、機械学習プログラム３０が外部記憶部２３から主記憶部２２に読み込まれ、ＣＰＵ２１が、機械学習プログラム３０を実行することにより、処理が実行される。
　図６に示すように、まず、診断装置１は、サンプルデータ３１の読み込みを行う（ステップＳ１）。ここでは、サンプルデータ３１が外部記憶部２３から主記憶部２２に読み込まれる。
　続いて、診断装置１の抽出部１０は、サンプルデータ３１のうち、サンプル画像２Ａ，３Ａ～３Ｃの組み合わせ（図３参照）を用いて機械学習を行う（ステップＳ２）。この機械学習により、例えば、図７Ａに示すように、抽出部１０は、サンプル画像２Ａを入力した場合に、サンプル画像３Ａ～３Ｃを出力するように、内部パラメータが調整される。すなわち、抽出部１０の出力である細胞核抽出情報３ａである画像とサンプル画像３Ａとの差分、細胞抽出情報３ｂである画像とサンプル画像３Ｂとの差分、分布状態抽出情報３ｃである画像とサンプル画像３Ｃとの差分が小さくなるように内部パラメータが調整される。内部パラメータは、後述される診断プログラム２９で用いられるため、主記憶部２２及び外部記憶部２３に記憶される。
　続いて、診断装置１の数値化部１１は、サンプルデータ３１のうち、悪性リンパ腫の有無、種別が判明しているサンプル画像３Ａ～３Ｃの組み合わせ（図４参照）を用いて機械学習を行う（ステップＳ３）。なお、ここで用いるサンプル画像３Ａ～３Ｃの組み合わせは、機械学習が完了した抽出部１０から出力された細胞核抽出情報３ａ、細胞抽出情報３ｂ、分布状態抽出情報３ｃを用いることができる。
　この機械学習により、数値化部１１は、図４に示すサンプル画像３Ａ～３Ｃの組み合わせであるサンプルデータ３１を順次入力して、図７Ｂに示すように、例えば、細胞核Ｎ、細胞Ｃ及び細胞Ｃの分布状態の特徴に関する数値情報Ａ１，Ａ２の分布を生成する。悪性リンパ腫に罹患していない者と悪性リンパ腫の罹患者とについてそれぞれ生成された分布が、図７Ｂに示すように区別できる場合には、数値情報Ａ１，Ａ２は、悪性リンパ腫の有無について相関性を有することになる。また、図７Ｃに示すように、数値情報Ａ３，Ａ４は、悪性リンパ腫の種別（種別１、２、３）について相関性を有することになる。数値化部１１は、このように、数値情報４の各項目について、上述のような相関性があるか否かを求め、算出対象を相関性があったものに絞り込む。この他、数値化部１１は、数値情報４の各項目について、上述のような相関性があるか否かを求め、算出対象を相関性があったものに絞り込む。抽出された特徴は、主記憶部２２又は外部記憶部２３に記憶される。ステップＳ３が完了すると、診断装置１は、学習段階の処理を終了する。
　次に、診断段階の処理について説明する。この診断段階では、診断プログラム２９が外部記憶部２３から主記憶部２２に読み込まれ、ＣＰＵ２１が、診断プログラム２９を実行することにより、処理が実行される。
　図８に示すように、まず、診断装置１は、病理画像２の読み込みを行う（ステップＳ１１）。ここでは、病理画像２が外部記憶部２３から主記憶部２２に読み込まれる。
　続いて、診断装置１の抽出部１０は、病理画像２から、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出する抽出ステップを行う（ステップＳ１２）。ここでは、学習段階のステップＳ２（図６参照）で求められた内部パラメータを設定し、その内部パラメータに従って、病理画像２から、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出する。これにより、機械学習の結果により、病理画像２から個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態が抽出される。
　続いて、診断装置１の数値化部１１は、抽出部１０で抽出された細胞核Ｎ及び細胞Ｃに基づいて、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴とを数値化する数値化ステップを行う（ステップＳ１３）。ここでは、学習段階のステップＳ３（図６参照）で抽出された、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴のみ数値情報４を算出する。ステップＳ１３が完了すると、診断装置１は、学習段階の処理を終了する。
　以上詳細に説明したように、本実施の形態に係る診断装置１によれば、悪性リンパ腫の罹患により様々に変化するリンパ細胞を含む複数の細胞Ｃの個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態の特徴を数値化する。個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態は、悪性リンパ腫の罹患によって変化し、その種別毎に変化の特徴が異なる。数値化された個々の細胞核Ｎ、個々の細胞Ｃ、その分布状態の特徴は、医師が悪性リンパ腫の診断を行う上での客観的、統一的な指標となる。したがって、本実施の形態によれば、悪性リンパ腫の診断を行う統一的な診断指標を提供することができる。
　さらに詳細には、この診断装置１によれば、様々なリンパ細胞又は他の細胞である個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴を失うことなく、その特徴を数値化するので、悪性リンパ腫がリンパ細胞又は他の細胞に与える様々な影響を余さず捉え、それらの情報を取得することができる。これまでの悪性リンパ腫の細胞の画像診断では、病理医が、自身が得た診断のスキルに沿って行っていた。この場合、病理医は、個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態に関する特徴を感覚的に捉えて行っているので、同じ病理画像２でも病理医によって判断が異なる場合があった。これに対して、この診断装置１では、個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態に関する特徴を数値化している。これらの数値を悪性リンパ腫の客観的な診断指標として用いることができる。すなわち、この診断装置１によれば、個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態に関する特徴を余さず捉え、悪性リンパ腫を診断するための客観的かつ正確な診断指標を得ることができる。
　また、本実施の形態では、数値化部１１が機械学習を行って、個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴、細胞Ｃの分布状態の特徴の中から、数値化する数値情報４を絞り込むものとしている。このようにすれば、数値化する情報を、悪性リンパ腫と相関性のある有意な情報に絞り込むことができるので、さらに客観的かつ正確な悪性リンパ腫の診断が可能となる。
　しかしながら、本発明はこれには限られない。例えば、予め別の情報処理装置で、サンプル画像３Ａ～３Ｃの複数の組み合わせから求められる数値情報４の、悪性リンパ腫の有無での有意差、悪性リンパ腫の種別で有意差が認められる特徴を、個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴、細胞Ｃの分布状態に関する特徴の中から抽出しておき、決定された特徴に関する数値情報４のみ算出するように数値化部１１を設定するようにしてもよい。
　個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態を余さず捉え、診断を行うには、膨大な情報を処理して悪性リンパ腫の診断に結びつける能力が必要になる。本実施の形態に係る診断装置１では、機械学習器を投入し、その機械学習器で臨床医が持つスキルを情報処理に反映することにより、膨大な情報が、悪性リンパ腫の正確な診断に結びつくような処理を実現することができる。なお、本実施の形態で例示される機械学習の方法はあくまで一例であり、他の様々な方法を採用できる。また、機械学習でなくてもできる部分については、例えば、回帰分析等の統計的手法を用いることも可能である。
実施の形態２．
　次に、本発明の実施の形態２について説明する。上記実施の形態１では、診断対象の病理画像２から細胞核Ｎ及び細胞Ｃを抽出し、抽出された細胞核Ｎ及び細胞Ｃに基づいて、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴とを数値化する構成及び動作について説明している。本実施の形態に係る診断装置１は、図９に示すように、抽出部１０及び数値化部１１に加え、推定部１２を備える点が、上記実施の形態１に係る診断装置１と異なっている。抽出部１０及び数値化部１１の構成は、上記実施の形態１と同じである。
　推定部１２は、数値化部１１で数値化された個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴とに基づいて、悪性リンパ腫に関する情報を推定する。推定部１２は、悪性リンパ腫に関する情報を推定情報５として出力する。悪性リンパ腫に関する情報には、悪性リンパ腫の罹患の有無を示す有無情報５ａ、悪性リンパ腫の種別を示す種別情報５ｂ、悪性リンパ腫の進行段階を示す進行段階情報５ｃが含まれる。
　推定部１２は、機械学習により、画像処理を行う機械学習器である。推定部１２では、実際に診断対象の病理画像２を入力する前に、機械学習を行う。
　この機械学習は、図１０に示すサンプルデータ３１を用いて行われる。図１０に示すように、このサンプルデータ３１は、推定部１２の入力データである数値情報４に対応する数値情報４Ａと、推定部１２の出力データである推定情報５に対応する推定情報５Ａとの組み合わせから成るデータである。
　数値情報４Ａは、ある患者の細胞核Ｎの特徴の数値情報（細胞核数値情報４ａ’）、細胞Ｃの特徴の数値情報（細胞数値情報４ｂ’）及び細胞Ｃの分布状態の特徴の数値情報（分布状態数値情報４ｃ’）と、から成る。また、推定情報５Ａは、悪性リンパ腫の有無情報５ａ’、悪性リンパ腫の種別情報５ｂ’、悪性リンパ腫の進行段階情報５ｃ’との組み合わせから成る。機械学習では、数値情報４Ａの細胞核数値情報４ａ’、細胞数値情報４ｂ’及び分布状態数値情報４ｃ’が入力されると、推定情報５Ａの有無情報５ａ’、種別情報５ｂ’、進行段階情報５ｃ’が出力されるように、推定部１２における機械学習が行われる。
　このような機械学習器として、例えば深層学習の他、教師有り学習であるクラス分類を行う学習器など様々な学習器を適用することができる。このような学習器としては、例えばサポートベクターマシン、決定木学習器、アンサンブル学習器を適用することができる。推定部１２は、機械学習の結果に基づいて、数値化部１１で数値化された個々の細胞核Ｎの特徴、個々の細胞Ｃ及び細胞Ｃの分布状態の特徴から、悪性リンパ腫に関する情報を推定する。
　本実施の形態に係る診断装置１のハードウエア構成は、上記実施の形態１（図５）と同じである。
　次に、本実施の形態に係る診断装置１によって実行される情報取得方法を実現する処理について説明する。診断装置１において行われる処理は、図１１に示す学習段階の処理と、図１３に示す診断段階の処理とに分かれている。
　学習段階においては、上記実施の形態１と同様に、機械学習プログラム３０が外部記憶部２３から主記憶部２２に読み込まれ、ＣＰＵ２１が、機械学習プログラム３０を実行することにより、処理が実行される。そして、図１１に示すように、診断装置１は、サンプルデータの読み込み（ステップＳ１）、抽出部１０の機械学習（ステップＳ２）、数値化部１１の機械学習（ステップＳ３）を行った後、推定部１２における機械学習（ステップＳ４）を行う。ステップＳ４において、推定部１２は、個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴と、悪性リンパ腫に関する情報との関係を示すサンプルデータ３１に基づいて機械学習を行う。図１２に示すように、推定部１２では、細胞核数値情報４ａ’と、細胞数値情報４ｂ’と、分布状態数値情報４ｃ’とを入力したときの出力と、有無情報５ａ’、種別情報５ｂ’、進行段階情報５ｃ’との差分が小さくなるように、内部パラメータの調整が行われる。ここで、細胞核数値情報４ａ’と、細胞数値情報４ｂ’と、分布状態数値情報４ｃ’としては、ステップＳ３で機械学習が完了した数値化部１１から出力された情報を用いることができる。
　診断段階においては、上記実施の形態と同様に、図１３に示すように、診断装置１は、サンプルデータの読み込み（ステップＳ１１）、抽出ステップ（ステップＳ１２）、数値化ステップ（ステップＳ１３）を行った後、数値化部１１で数値化された個々の細胞核Ｎの特徴と、個々の細胞Ｃの特徴と、細胞Ｃの分布状態の特徴とに基づいて、悪性リンパ腫に関する情報を推定する推定ステップを行う（ステップＳ１４）。推定部１２では、学習段階でのステップＳ４の機械学習により調整された内部パラメータで推定が行われるので、推定結果を、これまでの診断に基づく統一的かつ客観的なものとすることができる。
　本実施の形態に係る診断装置１によれば、数値化部１１で数値化された個々の細胞核Ｎの特徴を示す数値情報（細胞核数値情報４ａ）、個々の細胞Ｃの特徴を示す数値情報（細胞数値情報４ｂ）、細胞Ｃの分布状態の特徴を示す数値情報（分布状態数値情報４ｃ）に基づいて、悪性リンパ腫に関する情報、すなわち悪性リンパ腫の有無、種別、進行段階を高精度に推定し、有無情報５ａ、種別情報５ｂ及び進行段階情報５ｃを得ることが可能となる。
実施の形態３．
　次に、本発明の実施の形態３について説明する。上記実施の形態２に係る診断装置１では、病理画像２から得られる個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態の特徴に基づいて悪性リンパ腫に関する情報を推定している。本実施の形態に係る診断装置１では、図１４に示すように、病理画像２から得られる個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態の特徴の数値情報４に加え、悪性リンパ腫と相関性を有するゲノム情報６ａ、遺伝子発現情報６ｂ、タンパク情報６ｃ又は臨床情報６ｄの少なくとも１つの付加情報６に基づいて、悪性リンパ腫に関する情報、すなわち推定情報５を推定する。
　ここで、ゲノム情報６ａは、その細胞におけるＤＮＡ（デオキシリボ核酸）の情報である。例えば、悪性リンパ腫に罹患した時に発生する染色体異常に関する情報がゲノム情報６ａに含まれる。例えば、ＦＬでは、ｔ（１４：１８）、ＭＡＬＴリンパ腫では、ｔ（１１：１８）、マントル細胞リンパ腫では、ｔ（１１：１４）、Ｂｕｒｋｉｔｔリンパ腫では、ｔ（８：１４）などの染色体異常が認められる。このような染色体異常を含む遺伝子異常を示す情報がゲノム情報６ａとなる。
　遺伝子発現情報６ｂは、悪性リンパ腫に起因して発現する遺伝子を示す情報である。例えば、ＦＬでは、ＢＣＬ２、マントル細胞リンパ腫では、ｃｙｃｌｉｎＤ１、Ｂｕｒｋｉｔｔリンパ腫では、ＭＹＣなどの遺伝子の発現が認められる。このような癌関連遺伝子を示す情報が遺伝子発現情報６ｂとなる。
　タンパク情報６ｃは、悪性リンパ腫のリンパ細胞に発現するタンパク質に関する情報である。ＣＤ３（Cluster of Differentiation 3）、細胞質内ＣＤ３ε、ＣＤ５、ＣＤ４５、ＣＤ２０、ＣＤ７９ａ、ＣＤ１０、免疫グロブリン（細胞質内免疫グロブリン）などが細胞表面マーカーを含む情報がタンパク情報６ｃに含まれる。
　臨床情報６ｄとは、患者の病歴、身体所見、一般検査、病理組織診断の結果を示す情報である。患者のＢ症状（発熱、盗汗、体重減少）、皮膚そう痒、リンパ節腫脹、血液検査（血算、生化学、血清）、免疫反応、問診、ウイルス検査、尿検査、画像検査（胸部Ｘ線、ＣＴ（Computed Tomography）、上部消化管内視鏡、ＰＥＴ（Positron Emission Tomography）、シンチグラフィ、リンパ節生検、骨髄、胸水、腹水、脳脊髄液の検査結果などが含まれる。
　図１４に示すように、推定部１２は、数値情報４に加え、悪性リンパ腫と相関性を有するゲノム情報６ａ、遺伝子発現情報６ｂ、タンパク情報６ｃ又は臨床情報６ｄを入力する。推定部１２は、数値情報４だけでなく、ゲノム情報６ａ、遺伝子発現情報６ｂ、タンパク情報６ｃ又は臨床情報６ｄを考慮して、悪性リンパ腫に関する情報を推定する。推定部１２は、個々の細胞核Ｎの特徴、個々の細胞Ｃの特徴、細胞Ｃの分布状態の特徴及び付加情報６と、悪性リンパ腫に関する情報との関係を示すサンプルデータ３１に基づいて機械学習を行う。推定部１２は、機械学習の結果に基づいて、悪性リンパ腫に関する情報を推定する。
　このようにすれば、病理画像２だけでなく、その他の悪性リンパ腫に相関性のあるゲノム、遺伝子発現、タンパクの検査結果、医療機関における検査結果、医師による診断結果に基づいて、悪性リンパ腫に関する情報を正確に推定することができる。
　なお、図１５に示すように、悪性リンパ腫に関する情報には、悪性リンパ腫の有無情報５ａ、種別情報５ｂ又は進行段階情報５ｃ、悪性リンパ腫と相関性を有するゲノム情報５ｄ、遺伝子発現情報５ｅ、タンパク情報５ｆ又は臨床情報５ｇとの少なくとも１つが含まれるようにしてもよい。例えば、「特定の遺伝子との相関がみられるので予後が悪い」、「特定のタンパクとの相関がみられるので予後が悪い」等の情報を悪性リンパ腫に関する情報として出力することができる。すなわち、推定部１２について、ゲノム情報６ａ、遺伝子発現情報６ｂ、タンパク情報６ｃ又は臨床情報６ｄの少なくとも１つの付加情報６を入力とし、ゲノム情報５ｄ、遺伝子発現情報５ｅ、タンパク情報５ｆ又は臨床情報５ｇの少なくとも１つの付加情報６を出力とすることができる。このとき、入力と出力とで、情報が重複しないようにすればよい。
実施の形態４．
　次に、本発明の実施の形態４について説明する。上記実施の形態１～３に係る診断装置１では、１枚の病理画像２、すなわち、細胞Ｃの分布状態の特徴を認識可能な範囲を有し、個々の細胞核Ｎ及び個々の細胞Ｃの特徴を認識可能な解像度で撮像した病理画像２に基づいて、個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を示す特徴の数値情報４を算出している。本実施の形態に係る診断装置１は、図１６に示すように、病理画像２として、第１画像Ｇ１，第２画像Ｇ２を用いる。第１画像Ｇ１は、個々の細胞核Ｎ及び個々の細胞Ｃを認識するための画像である。第２画像Ｇ２は、細胞Ｃの分布状態を認識するための画像である。第１画像Ｇ１としては、例えば図２Ｃに示す病理画像２を用いることができ、第２画像Ｇ２として、例えば図２Ｃに示す病理画像２ａのうちの１枚を用いることができる。このように、第１画像Ｇ１，第２画像Ｇ２は、同じ生体から採取された細胞の画像とする必要がある。
　抽出部１０は、個々の細胞核Ｎ及び個々の細胞Ｃを認識可能な第１画像Ｇ１から、個々の細胞核Ｎ及び個々の細胞Ｃを抽出するとともに、細胞Ｃの分布状態の特徴を認識可能な範囲の第２画像Ｇ２から、同種の細胞Ｃの集合パターンＰを抽出する。
　抽出部１０は、上記実施の形態１～３と同様に、機械学習を行う。この機械学習は、サンプルデータ３１として、図１７に示すように、サンプルデータ３１Ａと、サンプルデータ３１Ｂとを用いて行われる。
　サンプルデータ３１Ａは、第１画像Ｇ１に対応する第１サンプル画像Ｇ１Ａと、第１サンプル画像Ｇ１Ａから個々の細胞核Ｎが手動で抽出されたサンプル画像３Ａと、第１サンプル画像Ｇ１Ａから個々の細胞Ｃが手動で抽出されたサンプル画像３Ｂとの組み合わせから成るデータである。すなわち、サンプルデータ３１Ａは、第１画像Ｇ１に対応する第１サンプル画像Ｇ１Ａと、第１サンプル画像Ｇ１Ａから手動で抽出された個々の細胞核Ｎ及び個々の細胞Ｃとの関係を示すデータである。
　サンプルデータ３１Ｂは、第２画像Ｇ２に対応する第２サンプル画像Ｇ２Ａと、第２サンプル画像Ｇ２Ａから個々の細胞Ｃの分布状態が手動で抽出されたサンプル画像３Ｃとの組み合わせから成るデータである。すなわち、サンプルデータ３１Ｂは、第２画像Ｇ２に対応する第２サンプル画像Ｇ２Ａと、第２サンプル画像Ｇ２Ａから手動で抽出された個々の細胞Ｃの分布状態との関係を示すデータである。抽出部１０は、サンプルデータ３１Ａ，３１Ｂを用いて機械学習を行い、機械学習の結果に基づいて、第１画像Ｇ１から、個々の細胞核Ｎ及び個々の細胞Ｃを抽出するとともに、第２画像Ｇ２から、細胞Ｃの分布状態を抽出する。
　数値化部１１における機械学習及び特徴の数値化と、推定部１２における機械学習及び推定は、上記実施の形態１～３に説明したのと同様に行われる。
　上述したように、この診断装置１によれば、機械学習により、病理画像２から、病理医のスキルが反映された処理で個々の細胞核Ｎ、個々の細胞Ｃ及び細胞Ｃの分布状態を抽出することができる。また、この診断装置１によれば、機械学習により、悪性リンパ腫と相関性のある個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態に関する特徴を数値化して、悪性リンパ腫の客観的な診断指標を提供することができる。さらに、機械学習により、数値化された個々の細胞核Ｎ、個々の細胞Ｃ、細胞Ｃの分布状態に関する特徴に基づいて、正確な悪性リンパ腫の診断が可能である。この診断と、ゲノム情報、遺伝子発現情報、タンパク情報又は臨床情報とを組み合わせて機械学習を行われることにより、より正確な悪性リンパ腫の診断が可能となる。機械学習の方法は、抽出部１０、数値化部１１及び推定部１２に適用できるものであれば、特に限定されず、教師あり学習、教師なし学習、強化学習等のあらゆる学習法を適用することができる。
　また、上記実施の形態１では、悪性リンパ腫に関する情報、すなわち推定情報５として、有無、種別、進行段階等を含むものとしている。しかしながら、本発明はこれには限られない。悪性リンパ腫の有無、種別、進行段階のいずれか１つ又は少なくとも２つを悪性リンパ腫に関する情報として推定してもよい。また、悪性リンパ腫の予後予測（生命予後，機能予後および社会的予後）を示す情報を、推定情報５に含めるようにしてもよい。
（評価結果１）
　上記実施の形態に係る診断装置１を用いてびまん性大細胞型Ｂ細胞リンパ腫（以下、ＤＬＢＣＬとする）、濾胞性リンパ腫（以下、ＦＬとする）、反応性リンパ節症（Reactive　lymphoadenitis；以下、Ｒｅａｃｔｉｖｅとする）の細胞核の形態（形状（内部テクスチャ）、色、外形）等の特徴を数値情報として算出し、線形判別分析により、特徴の数値化による効果の確認を行った。
　ここでは、４５０×４５０ピクセルの３０個の細胞核の画像をデータセットとして評価を行った。診断装置１において、以下の２２個の特徴を示すパラメータを用いて、それぞれの特徴の数値化を行った。
形状（内部テクスチャ）に関するパラメータ
　ａ：Area：面積
　ｂ：Perimeter：外周の長さ
　ｃ：MajorRectLength：レクト構造体（細胞核を内包する四角形）の主軸（長軸）
　ｄ：MinorRectLength：レクト構造体の副軸（短軸）
　ｅ：ConvexRatio：ふくらみ率
　ｆ：MajorEllipLength：楕円近似の主軸（長軸）
　ｇ：MinorEllipLength：楕円近似の副軸（短軸）
　ｈ：Eccentricity：偏心度
　ｉ：Roundness：真円度
色に関するパラメータ
　ｊ：MeanGray：輝度の平均値
　ｋ：StdDevGray：輝度の標準偏差
　ｌ：ModeGray：輝度のモード、もっとも出現頻度の高い輝度
　ｍ：MaxGray：輝度の最大値
　ｏ：Skewness：輝度の３次のモーメント
　ｐ：Kurtosis：輝度の４次モーメント
外形に関するパラメータ
　ｑ：ConcaveCount：外形線の凹んでいる領域の数
　ｒ～ｖ：First k PCA components of contour coordinates (k=5)：主成分分析で得られる、外形線の形の多様性を表現するのに適した上位ｋ＝５の（互いに直交する）変形成分。すなわち、変形の成分の強さ（その変形成分に沿った形の分散の大きさ）の強い順に並べたときの最初のｋ＝５の成分
　ここで、contour coordinatesは、外形線を多角形で近似したときの頂点の座標で外形線の形を表現したものを意味する。四角形における４つの頂点のそれぞれの座標が例えば（０，０），（１，０），（１，１），（０，１）だった場合、この四角形はこれら４つの頂点の座標を並べた２×４＝８つの数字（０，０，１，０，１，１，０，１）で表現される。外形線を１００角形で近似した場合、contour coordinatesは、２×１００＝２００のデータから成るデータ列で表現される。
　２００のデータで表現された外形線がＮ個あるとき、それらの外形線の平均は２００のデータを成分ごとに全部加算してＮで割ることにより求められる。この特徴は、Ｎ個の外形線の形が多様であるときに，平均形状に対してどのような変形成分が強いかを教示する。主成分分析を適用すると、細胞核の重心を中心として例えば円形のまま拡大縮小したりする成分や、拡大縮小だけではなく一方の軸に沿ってのみ拡大縮小する変形成分もコンポーネントとして得ることができる。
　以下では、上記２２個の特徴を示すパラメータをａ～ｖとして説明を行う。
　上述の３０のデータセットを用いて上記２２の特徴を示すパラメータａ～ｖで線形判別分析を行って、ＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅを最も良く判別できる第１軸及び第２軸を得た。第１軸及び第２軸は、線形判別分析により得られた第１判別関数及び第２判別関数の値を示す。
　図１８Ａ及び図１８Ｂに示すグラフは、線形判別分析を行って得られた第１軸、第２軸に関する各特徴の重み、すなわち第１軸に対応する各パラメータａ～ｖの第１軸係数と、第２軸に対応する各パラメータａ～ｖの第２軸係数とを示している。係数の値が大きければ大きいほど、特徴ａ～ｖの第１判別関数に対する重みが大きいことを示している。図１８Ａ及び図１８Ｂに示すように、第１軸で最も分類に対する重みが大きいのは「ｂ：外周の長さ」となり、第２軸で最も分類への寄与度が大きいのは、「ｇ：楕円近似の副軸（短軸）」となった。
　図１９Ａには、上記２２個の特徴を示すパラメータａ～ｖで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図１９Ａに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＦＬとでそれぞれ異なる分布に従うことが明らかとなった。図１９Ｂは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｂ：外周の長さ」となった。
　図１９Ｃには、上記２２個の特徴を示すパラメータａ～ｖで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図１９Ｃに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図１９Ｄは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｂ：外周の長さ」となっているが、ｄ、ａ、ｆ等の係数の重みも大きくなっている。
　図１９Ｅには、上記２２個の特徴を示すパラメータａ～ｖで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図１９Ｅに示すように、第１軸方向の細胞核の特徴は、ＦＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図１９Ｆは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｇ：楕円近似の副軸（短軸）」となっている。
　また、上記２２の特徴のうち、９つの形状（内部ティクスチャ）に関するパラメータａ～ｉでＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅの線形判別分析を行って、ＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅを最も良く判別できる第１軸及び第２軸を得た。図２０Ａ及び図２０Ｂに示すグラフは、線形判別分析を行って得られた第１軸、第２軸に関する各特徴の重み、すなわち第１軸に対応する各パラメータａ～ｉの第１軸係数と第２軸に対応する各パラメータａ～ｉの第２軸係数とを示している。図２０Ａ及び図２０Ｂに示すように、第１軸で最も分類への寄与度が大きいのは「ｂ：外周の長さ」ということになり、第２軸で最も分類への寄与度が大きいのは、「ｇ：楕円近似の副軸（短軸）」となった。
　図２１Ａには、細胞核の形状に関する特徴を示すパラメータａ～ｉで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２１Ａに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＦＬとでそれぞれ異なる分布に従うことが明らかとなった。図２１Ｂは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｂ：外周の長さ」となった。
　図２１Ｃには、細胞核の形状に関する特徴を示すパラメータａ～ｉで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２１Ｃに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２１Ｄは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ａ：面積」となった。
　図２１Ｅには、細胞核の形状に関する特徴を示すパラメータａ～ｉで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２１Ｅに示すように、第１軸方向の細胞核の特徴は、ＦＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２１Ｆは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｇ：楕円近似の副軸（短軸）」となった。
　また、上述のデータセットを用いて上記２２の特徴のうち、７つの色に関するパラメータｊ～ｐでＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅを最も良く判別できる第１軸及び第２軸を得た。第１軸及び第２軸は、線形判別分析により得られた第１判別関数及び第２判別関数の値を示す。図２２Ａ及び図２２Ｂに示すグラフは、線形判別分析を行って得られた第１軸、第２軸に関する各特徴の重み、すなわち第１軸に対応する各パラメータｊ～ｐの第１軸係数と第２軸に対応する各パラメータｊ～ｐの第２軸係数とを示している。図２２Ａ及び図２２Ｂに示すように、第１軸で最も分類への寄与度が大きいのは「ｍ：輝度の最大値」ということになり、第２軸で最も分類への寄与度が大きいのは、「ｋ：輝度の標準偏差」となった。
　図２３Ａには、細胞核の色に関する特徴を示すパラメータｊ～ｐで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２３Ａに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＦＬとでそれぞれ異なる分布に従うことが明らかとなった。図２３Ｂは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｍ：輝度の最大値」となった。
　図２３Ｃには、細胞核の色に関する特徴を示すパラメータｊ～ｐで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２３Ｃに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２３Ｄは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｍ：輝度の最大値」となった。
　図２３Ｅには、細胞核の色に関する特徴を示すパラメータｊ～ｐで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２３Ｅに示すように、第１軸方向の細胞核の特徴は、ＦＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２３Ｆは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｍ：輝度の最大値」となった。
　また、細胞核の外形に関する６つの特徴を示すパラメータｑ～ｖで線形判別分析を行って、ＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅを最も良く判別できる第１軸及び第２軸を得た。図２４Ａ及び図２４Ｂに示すグラフは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。図２４Ａ及び図２４Ｂに示すように、第１軸で最も分類への寄与度が大きいのは「ｒ：主成分分析で得られる、外形線の形の多様性を表現するのに適した上位１番目の（互いに直交する）変形成分」ということになり、第２軸で最も分類への寄与度が大きいのは、「ｔ：主成分分析で得られる、外形線の形の多様性を表現するのに適した３番目の（互いに直交する）変形成分」となった。
　図２５Ａには、細胞核の外形に関する特徴を示すパラメータｑ～ｖで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＦＬの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２５Ａに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＦＬとでそれぞれ異なる分布に従うことが明らかとなった。図２５Ｂは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｒ：主成分分析で得られる、外形線の形の多様性を表現するのに適した上位１番目の（互いに直交する）変形成分」となった。
　図２５Ｃには、細胞核の外形に関する特徴を示すパラメータｑ～ｖで線形判別分析を行った場合のＤＬＢＣＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２５Ｃに示すように、第１軸方向の細胞核の特徴は、ＤＬＢＣＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２５Ｄは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｒ：主成分分析で得られる、外形線の形の多様性を表現するのに適した上位１番目の（互いに直交する）変形成分」となった。
　図２５Ｅには、細胞核の外形に関する特徴を示すパラメータｑ～ｖで線形判別分析を行った場合のＦＬの細胞核とＲｅａｃｔｉｖｅの細胞核との第１軸方向の特徴の分布状態（確率密度）が示されている。図２５Ｅに示すように、第１軸方向の細胞核の特徴は、ＦＬとＲｅａｃｔｉｖｅとでそれぞれ異なる分布に従うことが明らかとなった。図２５Ｆは、線形判別分析を行って得られた第１軸に関する各特徴の重み、すなわち第１軸係数を示している。この場合、最も重みが大きいのは、「ｒ：主成分分析で得られる、外形線の形の多様性を表現するのに適した上位１番目の（互いに直交する）変形成分」となった。
（評価結果２）
　上記実施の形態に係る診断装置１を用いてＤＬＢＣＬ、ＦＬ及びＲｅａｃｔｉｖｅの細胞核形態を数値情報として算出し、ＴＳＮＥ（t-Distributed Stochastic Neighbor Embedding）解析を行って２次元（第１軸、第２軸）に次元削減した。図２６Ａには、ＤＬＢＣＬの細胞核の特徴の分布が示され、図２６Ｂには、ＦＬの細胞核の特徴の分布が示され、図２６Ｃには、Ｒｅａｃｔｉｖｅの細胞核の特徴の分布が示されている。また、図２６Ｄには、ＤＬＢＣＬの細胞核の特徴の確率密度が示され、図２６Ｅには、ＦＬの細胞核の確率密度が示され、図２６Ｆには、Ｒｅａｃｔｉｖｅの細胞核の特徴の確率密度が示されている。これらの図から分かるように、ＤＬＢＣＬと、ＦＬと、Ｒｅａｃｔｉｖｅとで、特異的な細胞核の形態を有することが可視化することができた。
　このように、診断装置１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
　ＣＰＵ２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５、通信インターフェイス２６及び内部バス２８などから構成される診断装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する診断装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで診断装置１を構成してもよい。
　診断装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
　搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
　この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
　なお、本願については、２０２１年８月１２日に出願された日本国特許出願２０２１－１３１７１１号を基礎とする優先権を主張し、本明細書中に日本国特許出願２０２１－１３１７１１号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明は、悪性リンパ腫の診断に適用することができる。
　１　診断装置、２，２ａ　病理画像、２Ａ　サンプル画像、３　抽出情報、３Ａ，３Ｂ，３Ｃ　サンプル画像、３ａ　細胞核抽出情報、３ｂ　細胞抽出情報、３ｃ　分布状態抽出情報、４，４Ａ　数値情報、４ａ、４ａ’　細胞核数値情報、４ｂ，４ｂ’　細胞数値情報、４ｃ，４ｃ’　分布状態数値情報、５，５Ａ　推定情報、５ａ，５ａ’　有無情報、５ｂ，５ｂ’　種別情報、５ｃ，５ｃ’　進行段階情報、５ｄ　ゲノム情報、５ｅ　遺伝子発現情報、５ｆ　タンパク情報、５ｇ　臨床情報、６　付加情報、６ａ　ゲノム情報、６ｂ　遺伝子発現情報、６ｃ　タンパク情報、６ｄ　臨床情報、１０　抽出部、１１　数値化部、１２　推定部、２１　ＣＰＵ、２２　主記憶部、２３　外部記憶部、２４　操作部、２５　表示部、２６　通信インターフェイス、２８　内部バス、２９　診断プログラム、３０　機械学習プログラム、３１，３１Ａ，３１Ｂ　サンプルデータ、Ｃ　細胞、Ｇ１　第１画像、Ｇ２　第２画像、Ｇ１Ａ　第１サンプル画像、Ｇ２Ａ　第２サンプル画像、Ｎ　細胞核、Ｐ　集合パターン

Claims (15)

  1. 　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出部と、
    　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化部と、
    　を備える診断装置。
  2. 　前記抽出部は、
    　細胞の分布状態の特徴を認識可能な範囲を、個々の細胞核及び個々の細胞の特徴を認識可能な解像度で撮像された病理画像を読み込み、
    　読み込んだ前記病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する、
    　請求項１に記載の診断装置。
  3. 　前記抽出部は、
    　前記病理画像のサンプルであるサンプル画像と、前記サンプル画像から手動で抽出された個々の細胞核、個々の細胞及び細胞の分布状態との関係を示すサンプルデータに基づいて機械学習を行い、
    　機械学習の結果に基づいて、前記病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する、
    　請求項２に記載の診断装置。
  4. 　前記抽出部は、
    　生体から採取された個々の細胞核及び個々の細胞を認識可能な解像度を有する第１画像から、個々の細胞、個々の細胞核及び細胞の分布状態を抽出するとともに、前記生体から採取された細胞の分布状態の特徴を認識可能な範囲を有する第２画像から、細胞の分布状態を抽出する、
    　請求項１に記載の診断装置。
  5. 　前記抽出部は、
    　前記第１画像に対応する第１サンプル画像と、前記第１サンプル画像から手動で抽出された細胞及び細胞核との関係を示すサンプルデータに基づいて機械学習を行うとともに、前記第２画像に対応する第２サンプル画像と、前記第２サンプル画像から手動で抽出された細胞の分布状態との関係を示すサンプルデータに基づいて機械学習を行い、
    　機械学習の結果に基づいて、前記第１画像から、個々の細胞及び個々の細胞核を抽出するとともに、前記第２画像から、細胞の分布状態を抽出する、
    　請求項４に記載の診断装置。
  6. 　前記数値化部は、
    　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、悪性リンパ腫に関する情報と相関性を有する個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する、
    　請求項１から４のいずれか一項に記載の診断装置。 
  7. 　前記数値化部は、
    　個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
    　機械学習の結果に基づいて、個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴の中から、数値化する特徴を絞り込む、
    　請求項６に記載の診断装置。
  8. 　前記数値化部で数値化された個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とに基づいて、悪性リンパ腫に関する情報を推定する推定部を備える、
    　請求項１から７のいずれか一項に記載の診断装置。
  9. 　前記推定部は、
    　個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
    　機械学習の結果に基づいて、前記数値化部で数値化された個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴から、悪性リンパ腫に関する情報を推定する、
    　請求項８に記載の診断装置。
  10. 　前記推定部は、
    　前記数値化部で数値化された個々の細胞核の特徴、個々の細胞の特徴及び細胞の分布状態の特徴に加え、悪性リンパ腫と相関性を有するゲノム情報、遺伝子発現情報、タンパク情報又は臨床情報の少なくとも１つの付加情報に基づいて、悪性リンパ腫に関する情報を推定する、
    　請求項９に記載の診断装置。
  11. 　悪性リンパ腫に関する情報には、悪性リンパ腫の有無、種別又は進行段階を示す情報、悪性リンパ腫と相関性を有するゲノム情報、遺伝子発現情報、タンパク情報又は臨床情報との少なくとも１つが含まれる、
    　請求項１０に記載の診断装置。
  12. 　前記推定部は、
    　個々の細胞核の特徴、個々の細胞の特徴、細胞の分布状態の特徴及び前記付加情報と、悪性リンパ腫に関する情報との関係を示すサンプルデータに基づいて機械学習を行い、
    　機械学習の結果に基づいて、悪性リンパ腫に関する情報を推定する、
    　請求項１０又は１１に記載の診断装置。
  13. 　前記細胞には、血管内皮細胞、線維芽細胞を含む間葉系細胞、組織球を含むリンパ細胞以外の血液系細胞、上皮系細胞又は神経系細胞が含まれる、
    　請求項１から１２のいずれか一項に記載の診断装置。
  14. 　情報処理装置によって実行される情報取得方法であって、
    　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出ステップと、
    　前記抽出ステップで抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化ステップと、
    　を含む情報取得方法。
  15. 　コンピュータを、
    　リンパ細胞を含む複数の細胞が写る病理画像から、個々の細胞核、個々の細胞及び細胞の分布状態を抽出する抽出部、
    　前記抽出部で抽出された個々の細胞核、個々の細胞及び細胞の分布状態に基づいて、個々の細胞核の特徴と、個々の細胞の特徴と、細胞の分布状態の特徴とを数値化する数値化部、
    　として機能させるプログラム。
PCT/JP2022/030614 2021-08-12 2022-08-10 診断装置、情報取得方法及びプログラム WO2023017843A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22855905.0A EP4386076A1 (en) 2021-08-12 2022-08-10 Diagnosis device, information acquisition method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-131711 2021-08-12
JP2021131711 2021-08-12

Publications (1)

Publication Number Publication Date
WO2023017843A1 true WO2023017843A1 (ja) 2023-02-16

Family

ID=85200670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030614 WO2023017843A1 (ja) 2021-08-12 2022-08-10 診断装置、情報取得方法及びプログラム

Country Status (2)

Country Link
EP (1) EP4386076A1 (ja)
WO (1) WO2023017843A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059842A (ja) * 1999-08-25 2001-03-06 Nec Corp 病理診断装置
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
JP2016080672A (ja) 2014-10-17 2016-05-16 勇 廣▲瀬▼ 悪性リンパ腫の検出法
JP2020180954A (ja) * 2019-04-26 2020-11-05 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
JP2021131711A (ja) 2020-02-19 2021-09-09 キヤノン株式会社 制御装置、システム、リソグラフィ装置、物品の製造方法、制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059842A (ja) * 1999-08-25 2001-03-06 Nec Corp 病理診断装置
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
JP2016080672A (ja) 2014-10-17 2016-05-16 勇 廣▲瀬▼ 悪性リンパ腫の検出法
JP2020180954A (ja) * 2019-04-26 2020-11-05 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
JP2021131711A (ja) 2020-02-19 2021-09-09 キヤノン株式会社 制御装置、システム、リソグラフィ装置、物品の製造方法、制御方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RYOICHI KOGA, NORIAKI HASHIMOTO, TATSUYA YOKOTA (NIT), MASATO NAKAGURO, KEI KOHNO, SHIGEO NAKAMURA (NUI), ICHIRO TAKEUCHI, HIDEKAT: "Extracting and Visualization of Essential Features for Staining Translation of Pathological Images", IEICE TECHNICAL REPORT; MI, IEICE, JP, vol. 119, no. 399 (MI2019-116), 30 November 2019 (2019-11-30), JP, pages 215 - 218, XP009543612 *

Also Published As

Publication number Publication date
EP4386076A1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
Li et al. Fully automated detection of retinal disorders by image-based deep learning
Mohamed et al. Understanding clinical mammographic breast density assessment: a deep learning perspective
JP6321026B2 (ja) 画像テクスチャ特徴を用いる統合表現型解析
US10621307B2 (en) Image-based patient profiles
JP2022505205A (ja) 腸の病理学のための画像スコアリング
KR20180022607A (ko) 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정
US9811904B2 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
Wang et al. Correlation between CT based radiomics features and gene expression data in non-small cell lung cancer
KR20120041468A (ko) 간질성 폐질환 검출 시스템 및 그 방법
Qu et al. An experimental study of data heterogeneity in federated learning methods for medical imaging
Yang et al. Assessing inter-annotator agreement for medical image segmentation
Li et al. Lesion-aware convolutional neural network for chest radiograph classification
US20230316510A1 (en) Systems and methods for generating biomarker activation maps
WO2023017843A1 (ja) 診断装置、情報取得方法及びプログラム
Mirchandani et al. Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans
Mridha et al. Deep learning in lung and colon cancer classifications
Frewing et al. Don't fear the artificial intelligence: a systematic review of machine learning for prostate cancer detection in pathology
CN114842960A (zh) 一种基于ct影像和临床数据评估新冠患者病情进展和预后的方法
Nalla et al. Influence of Convolutional Neural Network Depth on the Efficacy of Automated Breast Cancer Screening Systems
Calandriello et al. Quantitative CT analysis in ILD and the use of artificial intelligence on imaging of ILD
Ryan et al. Cluster activation mapping with applications to medical imaging
US11798163B2 (en) Systems and methods for quantitative phenotyping of fibrosis
TWI768483B (zh) 用於識別腦白質高信號之方法及裝置
Soltanian-Zadeh Statistical and Deep Learning Frameworks for High Throughput Neuronal Signal and Image Processing
Riyono et al. Enchancing Lung Disease Classification through K-Means Clustering, Chan-Vese Segmentation, and Canny Edge Detection on X-Ray Segmented Images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22855905

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023541464

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022855905

Country of ref document: EP

Effective date: 20240312