WO2021015249A1 - 推定器学習装置、推定器学習方法、及び、推定器学習プログラム - Google Patents

推定器学習装置、推定器学習方法、及び、推定器学習プログラム Download PDF

Info

Publication number
WO2021015249A1
WO2021015249A1 PCT/JP2020/028497 JP2020028497W WO2021015249A1 WO 2021015249 A1 WO2021015249 A1 WO 2021015249A1 JP 2020028497 W JP2020028497 W JP 2020028497W WO 2021015249 A1 WO2021015249 A1 WO 2021015249A1
Authority
WO
WIPO (PCT)
Prior art keywords
estimator
absorbance
cell nucleus
stained
wavelength band
Prior art date
Application number
PCT/JP2020/028497
Other languages
English (en)
French (fr)
Inventor
雅浩 石川
小林　直樹
千沙登 岡本
真代 黒田
秀一 茅野
誠 橋爪
研宙 大内田
千佳 岩本
Original Assignee
学校法人埼玉医科大学
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人埼玉医科大学, 国立大学法人九州大学 filed Critical 学校法人埼玉医科大学
Priority to JP2021534079A priority Critical patent/JP7473223B2/ja
Priority to US17/629,570 priority patent/US20220270245A1/en
Publication of WO2021015249A1 publication Critical patent/WO2021015249A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1776—Colour camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an estimator learning device, an estimator learning method, and an estimator learning program.
  • Pathological diagnosis is clinically performed as a definitive diagnosis method such as cancer grade diagnosis and determination of medical treatment policy.
  • HS hyperspectral
  • Cell and tissue specimens used for pathological diagnosis are often colorless and transparent, so it may be difficult to observe them. Therefore, in order to facilitate observation with a microscope, cells and tissues are stained in advance and then observed.
  • stained images of multiple bands can be obtained. It is desired to estimate whether or not cancer is present using stained images of a plurality of bands.
  • An object of the present invention is to provide a technique capable of estimating whether or not a cell nucleus in a stained image is in a predetermined state.
  • the first aspect is An image acquisition unit that acquires stained images of biological material samples stained with a predetermined dyeing solution taken in a plurality of wavelength bands, respectively.
  • a cell nucleus extraction unit that extracts a region of the cell nucleus contained in the biological material sample in each of the stained images,
  • a color information acquisition unit that calculates the absorbance of each wavelength band in the region of the cell nucleus from each of the stained images, From the absorbance of each wavelength band, based on the relationship between the absorbance of each wavelength band and the information on whether or not the cell nucleus contained in the biological material sample associated with the biological material sample is in a predetermined state.
  • An estimator learning unit that learns an estimator that estimates whether or not the cell nucleus is in a predetermined state, To prepare It is an estimator learning device.
  • the aspect of disclosure may be realized by executing the program by the information processing device. That is, the structure of the disclosure can be specified as a program for causing the information processing apparatus to execute the process executed by each means in the above-described embodiment, or as a computer-readable recording medium on which the program is recorded. Further, the structure of the disclosure may be specified by a method in which the information processing apparatus executes the processing executed by each of the above means. The configuration of the disclosure may be specified as a system including an information processing device that performs processing executed by each of the above means.
  • the present invention it is possible to provide a technique capable of estimating whether or not the cell nucleus in a stained image is in a predetermined state.
  • FIG. 1 is a diagram showing a configuration example of the estimator learning system of the embodiment.
  • FIG. 2 is a diagram showing a configuration example of the cancer estimation system of the embodiment.
  • FIG. 3 is a diagram showing a hardware configuration example of the information processing device.
  • FIG. 4 is a diagram showing an example of an operation flow during learning of the cancer estimator in the estimator learning device.
  • FIG. 5 is a diagram showing an example of cell nuclei selected in the stained image.
  • FIG. 6 is a diagram showing an example of a graph of wavelength dependence of transmittance in the region of the cell nucleus of the stained image.
  • FIG. 7 is a diagram showing an example of a graph of wavelength dependence of REH in the region of the cell nucleus of the stained image.
  • FIG. 8 is a diagram showing an example of an operation flow at the time of cancer estimation in the estimation device.
  • FIG. 1 is a diagram showing a configuration example of the estimator learning system of the present embodiment.
  • the estimator learning system 10 of the present embodiment includes an estimator learning device 100 and a hyperspectral camera 200.
  • the estimator learning device 100 includes an image acquisition unit 102, a cell nucleus extraction unit 104, a color information acquisition unit 106, a dye amount calculation unit 108, an absorbance estimation unit 110, and an estimator learning unit 112.
  • the estimator learning device 100 and the hyperspectral camera 200 are communicably connected to each other directly or via a network or the like.
  • the estimator learning device 100 acquires a stained image of a sample for each band from the hyperspectral camera 200.
  • the estimator learning device 100 extracts a region of the cell nucleus from the stained image, determines the absorbance of the cell nucleus, and estimates the amount of dye.
  • the estimator learning device 100 estimates the absorbance from the estimated amount of dye and the spectral absorption coefficient.
  • the estimator learning device 100 generates a cancer estimator based on the absorbance based on the stained image, the estimated amount of dye, and the information on whether the cell nucleus is cancerous or non-cancerous.
  • the sample is, for example, a biological material sample such as a cell or a tissue. Cell nuclei other than cancer cell nuclei are non-cancer cell nuclei. Programs, data, tables and the like used in the estimator learning device 100 are stored in the storage means of the estimator learning device 100.
  • the image acquisition unit 102 acquires a stained image of the sample from the hyperspectral camera 200.
  • the cell nucleus extraction unit 104 extracts the cell nucleus region in the stained image by allowing the user or the like to select the cell nucleus region in the stained image of the sample acquired by the image acquisition unit 102.
  • the cell nucleus extraction unit 104 may extract a region of the cell nucleus from the stained image by image recognition.
  • the color information acquisition unit 106 calculates color information (absorbance of each band) from the region of the cell nucleus of the stained image of the sample.
  • the dye amount calculation unit 108 calculates the dye amount from the color information of the cell nucleus region of the acquired multi-band stained image.
  • the absorbance estimation unit 110 estimates the absorbance based on the spectral absorption coefficient and the dye amount calculated by the dye amount calculation unit 108.
  • the estimator learning unit 112 learns the cancer estimator based on the absorbance of the cell nucleus of the stained image, the absorbance estimated by the absorbance estimation unit 110, and the information on whether the cell nucleus is cancerous or non-cancerous. ..
  • the estimator learning unit 112 stores the learned cancer estimator in the storage means.
  • the cancer estimator is an example of an estimator. Whether the cell nucleus is cancerous or non-cancerous is an example of whether or not the cell nucleus is in a predetermined state. Whether or not it is in a predetermined state is, for example, whether or not it is some kind of illness.
  • the hyperspectral camera 200 is a camera capable of shooting a shooting target for each band (frequency band, wavelength band) divided into a plurality of bands.
  • the hyperspectral camera 200 captures the stained sample band by band.
  • the frequency (wavelength) to be photographed by the hyperspectral camera 200 is, for example, an infrared region to an ultraviolet region.
  • the hyperspectral camera 200 can capture images in, for example, 10 or more wavelength bands.
  • the hyperspectral camera 200 can shoot in more wavelength bands than the RGB camera.
  • the number of wavelength bands (bands) captured by the hyperspectral camera 200 is preferably 17 or more.
  • the number of wavelength bands (bands) captured by the hyperspectral camera 200 is more preferably 51 or more.
  • FIG. 2 is a diagram showing a configuration example of the cancer estimation system of the present embodiment.
  • the cancer estimation system 20 of the present embodiment includes a hyperspectral camera 200 and an estimation device 300.
  • the estimation device 300 includes an image acquisition unit 302, a cell nucleus extraction unit 304, a color information acquisition unit 306, a dye amount calculation unit 308, an absorbance estimation unit 310, an estimation unit 312, and an estimator 314.
  • the hyperspectral camera 200 is similar to the hyperspectral camera 200 of FIG.
  • the estimation device 300 and the hyperspectral camera 200 are communicably connected to each other directly or via a network or the like.
  • the estimation device 300 acquires a stained image of a sample for each band from the hyperspectral camera 200.
  • the estimation device 300 extracts a region of the cell nucleus from the stained image, determines the absorbance of the cell nucleus, and estimates the amount of dye.
  • the estimation device 300 estimates the absorbance from the estimated amount of dye and the spectral absorption coefficient.
  • the estimation device 300 uses the absorbance based on the stained image, the estimated amount of dye, and the estimator learned by the estimator learning device 100 to determine whether or not the cell nuclei in the stained image are cancerous (non-cancerous). ) Is estimated.
  • the sample is, for example, a biological substance such as a cell or a tissue. Programs, data, tables, etc. used in the estimation device 300 are stored in the storage means of the estimation device 300.
  • the image acquisition unit 302 includes an image acquisition unit 302, a cell nucleus extraction unit 304, a color information acquisition unit 306, a dye amount calculation unit 308, and an absorbance estimation unit 310 includes the image acquisition unit 102, the cell nucleus extraction unit 104, and color information acquisition in FIG. This is the same as that of the unit 106, the dye amount calculation unit 108, and the absorbance estimation unit 110.
  • the estimation unit 312 estimates whether or not the cell nucleus in the stained image is cancer by using the cancer estimator 314 learned by the estimator learning device 100 based on the absorbance of the stained image and the like.
  • the cancer estimator 314 is a cancer estimator constructed by the estimator learning device 100, respectively.
  • the estimator learning device 100 that learns the cancer estimator and the estimator 300 that performs cancer estimation may be integrated and operated as one device.
  • FIG. 3 is a diagram showing a hardware configuration example of the information processing device.
  • the information processing device 90 shown in FIG. 3 has a general computer configuration.
  • the estimator learning device 100 is realized by using the information processing device 90 as shown in FIG.
  • the information processing device 90 of FIG. 3 includes a processor 91, a memory 92, a storage unit 93, an input unit 94, an output unit 95, and a communication control unit 96. These are connected to each other by a bus.
  • the memory 92 and the storage unit 93 are computer-readable recording media.
  • the hardware configuration of the information processing device is not limited to the example shown in FIG. 3, and components may be omitted, replaced, or added as appropriate.
  • the information processing device 90 meets a predetermined purpose by having the processor 91 load the program stored in the recording medium into the work area of the memory 92 and execute the program, and each component or the like is controlled through the execution of the program.
  • the function can be realized.
  • the processor 91 is, for example, a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 92 includes, for example, a RAM (RandomAccessMemory) and a ROM (ReadOnlyMemory).
  • the memory 92 is also called a main storage device.
  • the storage unit 93 is, for example, an EPROM (Erasable Programmable ROM) or a hard disk drive (HDD, Hard Disk Drive). Further, the storage unit 93 can include a removable medium, that is, a portable recording medium.
  • the removable medium is, for example, a USB (Universal Serial Bus) memory or a disc recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the storage unit 93 is also called a secondary storage device.
  • the storage unit 93 stores various programs, various data, and various tables used in the information processing device 90 in a readable and writable recording medium.
  • the storage unit 93 stores an operating system (Operating System: OS), various programs, various tables, and the like.
  • OS Operating System
  • the information stored in the storage unit 93 may be stored in the memory 92. Further, the information stored in the memory 92 may be stored in the storage unit 93.
  • the operating system is software that mediates between software and hardware, manages memory space, manages files, manages processes and tasks, and so on.
  • the operating system includes a communication interface.
  • the communication interface is a program that exchanges data with other external devices and the like connected via the communication control unit 96.
  • External devices and the like include, for example, other information processing devices, external storage devices, and the like.
  • the input unit 94 includes a keyboard, a pointing device, a wireless remote controller, a touch panel, and the like. Further, the input unit 94 can include a video or image input device such as a camera, or an audio input device such as a microphone.
  • the output unit 95 includes a display device such as an LCD (Liquid Crystal Display), an EL (Electroluminescence) panel, a CRT (Cathode Ray Tube) display, a PDP (Plasma Display Panel), and an output device such as a printer. Further, the output unit 95 can include an audio output device such as a speaker.
  • a display device such as an LCD (Liquid Crystal Display), an EL (Electroluminescence) panel, a CRT (Cathode Ray Tube) display, a PDP (Plasma Display Panel), and an output device such as a printer.
  • the output unit 95 can include an audio output device such as a speaker.
  • the communication control unit 96 connects to another device and controls communication between the information processing device 90 and the other device.
  • the communication control unit 96 is, for example, a LAN (Local Area Network) interface board, a wireless communication circuit for wireless communication, and a communication circuit for wired communication.
  • the LAN interface board and wireless communication circuit are connected to a network such as the Internet.
  • the information processing device 90 deploys the program stored in the auxiliary storage unit to the work area of the main storage unit so that the processor can execute it, and controls peripheral devices and the like through the execution of the program. As a result, the information processing apparatus can realize a function that meets a predetermined purpose.
  • the main storage unit and the auxiliary storage unit are recording media that can be read by the information processing device.
  • FIG. 4 is a diagram showing an example of an operation flow during learning of the cancer estimator in the estimator learning device.
  • the image acquisition unit 102 acquires a stained image of the stained sample taken by the hyperspectral camera 200 from the hyperspectral camera 200.
  • the image acquisition unit 102 stores the acquired stained image in the storage means.
  • the sample is, for example, a section sample of a biological substance such as a cell or a tissue.
  • the stained image was taken by staining the sample with a predetermined staining solution. By adding a predetermined staining solution to the sample, a predetermined portion is colored. The part to be colored and the color depend on the dyeing solution.
  • the hyperspectral camera 200 captures stained images in a plurality of bands (frequency bands).
  • the stains are, for example, Hematoxylin and Eosin. A plurality of stains may be used as the stain.
  • the hyperspectral camera 200 By using the hyperspectral camera 200, more detailed information on the transmitted light transmitted through the sample can be obtained. It is known whether the cells contained in the stained image taken by the hyperspectral camera 200 are cancerous or non-cancerous. Each stained image is stored in the storage means in association with whether it is cancerous or non-cancerous.
  • the cell nucleus extraction unit 104 extracts the region of the cell nucleus in the stained image by allowing the user or the like to select the region of the cell nucleus in the stained image of the sample acquired in S101.
  • the cell nucleus extraction unit 104 displays the stained image on a display means such as a display, and causes a user or the like to input (select) a region of the cell nucleus in the stained image by an input means such as a pointing device, thereby causing the cell nucleus in the stained image. Extract the area of.
  • the cell nucleus extraction unit 104 may extract a region of the cell nucleus from the stained image by an image recognition technique or the like.
  • the cell nucleus extraction unit 104 stores the region of the cell nucleus in the storage means together with the stained image.
  • FIG. 5 is a diagram showing an example of cell nuclei selected in the stained image.
  • FIG. 5A is an example of a stained image obtained by staining a section specimen of a biological substance such as a cell or a tissue with a staining solution.
  • FIG. 5B is an example of a stained image containing a region of the selected cell nucleus.
  • the region of the cell nucleus is selected from the stained image of FIG. 5 (A).
  • the gray region indicated by each arrow is the region selected as the region of the cell nucleus.
  • the color information acquisition unit 106 obtains the absorbance of each pixel (position) in the cell nucleus in the stained image of each band from the extracted cell nucleus region of the stained image of each band.
  • the pixels in the cell nucleus used here may be a predetermined number of pixels, not all the pixels included in the region of the cell nucleus extracted in S102.
  • Absorbance is a quantity that indicates how much the intensity of light weakens when it passes through a medium.
  • the absorbance of each pixel depends on the brightness of each pixel.
  • the color information acquisition unit 106 obtains the absorbance of each pixel from the brightness of each pixel in the dyed image for each band.
  • the absorbance of each band depends on the amount of dye in the staining solution taken into the sample, the spectral absorption coefficient of the staining solution, and the like.
  • the dye amount calculation unit 108 calculates the dye amount of the dye solution taken into the sample for each pixel based on the absorbance obtained in S103 and the known spectral absorption coefficient of the stain solution.
  • the spectral absorption coefficient is a quantity that indicates how much light is absorbed by the medium when it is incident on the medium.
  • the spectral absorption coefficient of the stain depends on the wavelength of the incident light. Assuming that the absorbance vector is a, the spectroscopic absorption coefficient matrix is X, the dye amount is C, and the difference vector is e, it is expressed as follows according to Lambert-Beer's law.
  • the absorbance vector a is a vector representation of the absorbance for each band.
  • the spectral absorption coefficient matrix X is a matrix representation of the absorption coefficients for each staining solution and each band.
  • the spectral absorption coefficient matrix X is stored in the storage means in advance.
  • the difference vector e is a vector (residual component) in which the absorbance vector a cannot be represented by the combination of the spectral absorption coefficient X and the dye amount C.
  • the dye amount calculation unit 108 calculates the estimated dye amount C ′ that minimizes the difference vector e by the least squares estimation.
  • the dye amount calculation unit 108 obtains the estimated dye amount C'for each pixel (for each position) of each staining solution taken into the sample by multiplying the estimation matrix X + by the absorbance vector a as follows. Can be done.
  • XT is the transposed matrix of X.
  • the absorbance estimation unit 110 can obtain the estimated absorbance vector a ′ by multiplying the absorption spectroscopic coefficient X by the estimated dye amount C ′ obtained in S104 as follows.
  • the absorbance vector a' is an absorbance vector (estimated absorbance) estimated by the spectral absorption coefficient X of the staining solution and the estimated dye amount C'of the staining solution taken into the sample.
  • the difference vector e is expressed as follows based on the absorbance vector a calculated in S103 and the absorbance vector a ′ estimated here.
  • the estimator learning unit 112 includes the absorbance vector a of the cell nucleus of the stained image calculated in S103, the absorbance vector a'(difference vector e) of the cell nucleus of the stained image estimated in S105, and the stained image.
  • the relationship with information on whether the cell nucleus is cancerous or non-cancerous is analyzed by machine learning or the like.
  • a method using a learning space such as deep learning by a neural network, Regression SVM, Regression Random Forest, multiple regression analysis, and Look Up Table can be used.
  • other deep learning may be used for the analysis.
  • the estimator learning unit 112 uses, for example, the absorbance vector a and the difference vector e of the stained image as input data, and the cancer or non-cancer information of the cell nucleus in the stained image as output data.
  • the estimator learning unit 112 may normalize each of the absorbance vector a and the difference vector e as input data.
  • the estimator learning unit 112 can normalize by dividing the absorbance vector by, for example, the absorbance at 540 nm, which is the beak wavelength of eosin.
  • the estimator learning unit 112 learns the cancer estimator by supervised learning in which the input data and the output data are linked.
  • the cancer estimator is optimized by using a combination of more absorbance vectors a and difference vectors e with cancer or non-cancer information in the cell nucleus.
  • the cancer estimator can be learned for each stain.
  • the estimator learning unit 112 uses any one of the absorbance vector a, the absorbance vector a', and the difference vector e and information on whether the cell nucleus is cancerous or non-cancerous to be a cancer estimator. You may learn.
  • the cancer estimator is stored in the storage means.
  • Vector normalization can be realized, for example, by dividing the vector with the largest absolute value among the components of the vector to obtain a new vector (normalized vector).
  • the estimator learning device 100 can learn the cancer estimator of various stains by learning the cancer estimator using the stained image obtained by staining the sample with various stains.
  • ⁇ Modified example of cancer estimator learning> In the cell nucleus in the stained image, dark-colored pixels (low transmittance, high absorbance) and light-colored pixels (high transmittance, low absorbance) are present. Further, the dark / light pixels include dark / light pixels dyed with eosin and dark / light pixels dyed with hematoxylin. In the above example, the cancer estimator is trained without distinguishing between the portion having high transmittance and the portion having low transmittance (the portion having high absorbance and the portion having low absorbance) in the cell nucleus.
  • the estimator learning unit 112 refers to pixels in the cell nucleus region of the stained image in which the maximum value of absorbance at 515 nm to 565 nm, which is the wavelength of the color stained with eosin, is equal to or greater than the threshold (the minimum value of transmittance is equal to or less than the threshold). Extracted as dark pixels of eosin. Further, the estimator learning unit 112 is a pixel in which the maximum value of the absorbance at 515 nm to 565 nm, which is the wavelength of the color stained with eosin, is less than the threshold value (the minimum value of the transmittance is above the threshold value) in the region of the cell nucleus of the stained image.
  • the estimator learning unit 112 classifies the cell nucleus region of the stained image into dark pixels of eosin and light pixels of eosin, and learns a cancer estimator for each of them.
  • the estimator learning unit 112 changes the threshold value of the maximum value of the transmittance at a wavelength of 515 nm to 565 nm, which separates the dark pixels and the light pixels of eosin, in increments of 0.05, for example, from 0.15 to 0.40. , Learn the cancer estimator for each.
  • the estimator learning unit 112 calculates the accuracy of the cancer estimator according to each threshold value.
  • the estimator learning unit 112 sets the threshold value at which the accuracy is highest as the threshold value of the maximum value of the absorbance at a wavelength of 515 nm to 565 nm, which separates the dark pixels and the light pixels of eosin.
  • the estimator learning unit 112 may be classified according to the difference in absorbance (transmittance) due to hematoxylin.
  • the estimator learning unit 112 has the maximum value of the absorbance at 585 nm-635 nm, which is the wavelength of the color stained with hematoxylin, equal to or greater than the threshold value (the minimum value of the transmittance is equal to or lower than the threshold value) in the region of the cell nucleus of the stained image. Pixels are extracted as hematoxylin-rich pixels.
  • the estimator learning unit 112 is a pixel in which the maximum value of the absorbance at 585 nm-635 nm, which is the wavelength of the color stained with hematoxylin, is less than the threshold value (the minimum value of the transmittance is above the threshold value) in the region of the cell nucleus of the stained image. Is extracted as a thin pixel of hematoxylin.
  • the estimator learning unit 112 classifies the cell nucleus region of the stained image into a pixel having a dark hematoxylin and a pixel having a light hematoxylin, and learns a cancer estimator for each of them.
  • the estimator learning unit 112 changes the threshold value of the maximum value of the transmittance at a wavelength of 585 nm to 635 nm, which separates the dark pixels and the light pixels of hematoxylin, for example, in increments of 0.05 from 0.30 to 0.70. , Learn the cancer estimator for each.
  • the estimator learning unit 112 calculates the accuracy of the cancer estimator according to each threshold value.
  • the estimator learning unit 112 sets the threshold value at which the accuracy is highest as the threshold value of the maximum value of the absorbance at a wavelength of 585 nm to 635 nm, which separates the dark pixels and the light pixels of hematoxylin.
  • FIG. 6 is a diagram showing an example of a graph of wavelength dependence of transmittance in the region of the cell nucleus of the stained image.
  • the horizontal axis of the graph of FIG. 6 is the wavelength of light, and the vertical axis is the transmittance of light.
  • the transmittance is the minimum value at 540 nm in the region of 515 nm to 565 nm, which is the wavelength of the color dyed with eosin. Further, in the graph of FIG. 6, the transmittance is the minimum value at 585 nm in the region of 515 nm to 565 nm, which is the wavelength of the color dyed with hematoxylin.
  • the estimator learning unit 112 may classify by the ratio of the absorbance of eosin and the absorbance of hematoxylin.
  • the color depth of dyeing with hematoxylin is classified according to the color depth of dyeing with eosin. That is, it is classified according to whether the color of hematoxylin stain is darker or lighter than the color of stain with eosin.
  • the estimator learning unit 112 determines the staining with hematoxylin among the values (REH: Ratio of Eosin to Hematoxylin) obtained by dividing the absorbance by the absorbance at 540 nm, which is the peak wavelength of eosin, in the region of the cell nucleus of the stained image.
  • the pixels in which the maximum value of the color wavelength of 585 nm to 635 nm is equal to or larger than the threshold value are extracted as pixels having a relatively high concentration of hematoxylin.
  • the estimator learning unit 112 sets the pixels in the cell nucleus region of the stained image as having relatively thin hematoxylin for the pixels in which the maximum value of REH at 585 nm-635 nm, which is the wavelength of the color stained with hematoxylin, is less than the threshold value. Extract.
  • the estimator learning unit 112 classifies the cell nucleus region of the stained image into pixels having a relatively high concentration of hematoxylin and pixels having a relatively high concentration of hematoxylin, and learns a cancer estimator for each of them. Dividing the absorbance by the absorbance at 540 nm, which is the peak wavelength of eosin, is an example of normalization of absorbance.
  • FIG. 7 is a diagram showing an example of a graph of wavelength dependence of REH in the region of the cell nucleus of the stained image.
  • the horizontal axis of the graph of FIG. 7 is wavelength, and the vertical axis is REH.
  • REH is calculated by dividing the absorbance by the absorbance at 540 nm, which is the peak wavelength of eosin. Therefore, REH becomes 1 at a wavelength of 540 nm.
  • the maximum value of REH at 585 nm-635 nm which is the wavelength of the color dyed with hematoxylin, is 0.50 at the wavelength of 585 nm.
  • the estimator learning unit 112 sets the threshold value of the maximum value of REH having a wavelength of 585 nm to 635 nm, for example, 0.40, which separates dark pixels and light pixels in which the color of hematoxylin staining is relatively darker than the color of staining with eosin. Train the cancer estimator for each, changing from to 0.70 in 0.05 increments. The estimator learning unit 112 calculates the accuracy of the cancer estimator according to each threshold value. The estimator learning unit 112 sets the threshold value at which the accuracy is highest as the threshold value of the maximum value of the absorbance at a wavelength of 585 nm to 635 nm, which separates the dark pixels and the light pixels of hematoxylin.
  • the estimator learning unit 112 has the highest accuracy among the cancer estimators classified by the transmittance of eosin, the permeability of hematoxylin, and the ratio of absorbances of eosin and hematoxylin (REH).
  • the cancer estimator is used as the cancer estimator.
  • the performance of the cancer estimator can be further improved.
  • the cancer estimator is used, but it may be a disease or event other than cancer.
  • the cancer estimator is an example of an estimator.
  • FIG. 8 is a diagram showing an example of an operation flow at the time of cancer estimation in the estimation device.
  • the estimation device 300 performs cancer estimation using a stained image obtained by staining cells to be estimated for cancer and the above-mentioned cancer estimator.
  • the image acquisition unit 302 acquires a stained image of the stained sample taken by the hyperspectral camera 200 from the hyperspectral camera 200.
  • the image acquisition unit 302 stores the acquired stained image in the storage means.
  • the sample is a section sample of a biological substance such as a cell or tissue to be estimated for cancer.
  • the stained image was taken by staining the sample with a predetermined staining solution. By adding a predetermined staining solution to the sample, a predetermined portion is colored. The part to be colored and the color depend on the dyeing solution.
  • the hyperspectral camera 200 captures stained images in a plurality of bands (frequency bands).
  • the stains are, for example, Hematoxylin and Eosin. A plurality of stains may be used as the stain.
  • S202 to S205 are the same as S102 to S105 in FIG.
  • the estimation unit 312 uses the absorbance vector a of the cell nucleus of the stained image calculated in S203, the absorbance vector a'(difference vector e) of the cell nucleus of the stained image estimated in S205 as input data, and the cancer estimator. 314 is used to estimate cancer or non-cancer.
  • the estimation unit 312 estimates whether or not the cancer is cancer by using the cancer estimator 314 learned by the estimator learning device 100.
  • the estimation unit 312 stores the estimation result of cancer or not in a storage means such as a storage device, or outputs the estimation result to a display means such as a display.
  • the input data items (absorbance vector, difference vector, etc.) are the same as the input data items when the cancer estimator 314 is learned.
  • the estimation device 300 can perform cancer estimation using the stained image including the cell nucleus to be the target of cancer estimation and the cancer estimator 314 learned by the estimator learning device 100.
  • the performance of the cancer estimator learned by the estimator learning device 100 is shown by using a stained image of a section of non-cancer tissue and a stained image of a section of cancer tissue.
  • a section of each tissue is preliminarily determined by a pathologist to be cancerous or non-cancerous.
  • a stained image taken by an RGB camera instead of the hyperspectral camera 200 is used, and the performance of the learned cancer estimator is also shown in the same manner as the estimator learning device 100.
  • RGB camera a stained image of a band containing red, a stained image of a band containing green, and a stained image of a band containing blue can be obtained.
  • the accuracy of the cancer estimator was 79.8%, the sensitivity was 82.8%, and the specificity was 74.2%.
  • Sensitivity is the probability that cancer cells are estimated to be cancer.
  • Specificity is the probability that non-cancerous cells are estimated to be non-cancerous.
  • the accuracy is the probability that it is a cancer cell among those judged to be cancer.
  • the accuracy of the cancer estimator is 83.3%, the sensitivity is 88.4%, and the specificity is 88.4%. It was 74.0%.
  • a stained image taken by the hyperspectral camera 200 is used. By using the hyperspectral camera 200, the performance of the cancer estimator is generally improved as compared with the case of using the RGB camera.
  • the accuracy of the cancer estimator is 89.9% and the sensitivity is 90.
  • the specificity was 8.2% and the specificity was 89.2%.
  • the normalized absorbance vector a and the normalized difference vector e are used, and the threshold value due to the transmittance of eosin is changed in 0.05 increments from 0.15 to 0.40. And categorized, and learned the cancer estimator. At this time, the accuracy of the entire cancer estimator including the dark case and the light case was the highest at 91% when the threshold value was 0.20. Further, in the estimator learning device 100, the normalized absorbance vector a and the normalized difference vector e are used, and the threshold value due to the transmittance of hematoxylin is set in 0.05 increments from 0.30 to 0.70. I changed it in and classified it, and learned the cancer estimator.
  • the accuracy of the entire cancer estimator including the dark case and the light case was the highest at 90% when the threshold value was 0.45.
  • the normalized absorbance vector a and the normalized difference vector e are used, and the threshold value by REH is changed in 0.05 increments from 0.40 to 0.70.
  • the cancer estimator was learned by classifying. At this time, the accuracy of the entire cancer estimator including the dark case and the light case was the highest at 88% when the threshold value was 0.70. Therefore, in the estimator learning device 100, the cancer estimator is classified by using the normalized absorbance vector a and the normalized difference vector e and using the threshold value of 0.20 based on the transmittance of eosin. When the above was learned, the accuracy was 91%, which was the highest result.
  • the cancer estimator was trained by classifying using the normalized absorbance vector a and the normalized difference vector e and using the threshold value based on the transmittance of eosin.
  • the threshold value based on the transmittance of eosin was 0.20 (20%).
  • the transmittance of eosin was below the threshold value (when it was high)
  • the accuracy of the cancer estimator was 92.1%
  • the sensitivity was 91.7%
  • the specificity was 92.5%.
  • the transmittance of eosin was above the threshold value (thin)
  • the accuracy of the cancer estimator was 90.0%
  • the sensitivity was 91.2%
  • the specificity was 86.4%.
  • the accuracy of the overall cancer estimator including the cases below the threshold value and the cases above the threshold value was 90.9%, the sensitivity was 91.4%, and the specificity was 89.9%.
  • the performance of the cancer estimator is improved regardless of whether it is dark or light, as compared with the case where it is not classified.
  • the performance of the cancer estimator learned by the estimator learning device 100 is shown by using the stained image of the section of the non-cancer tissue and the stained image of the section of the cancer tissue.
  • the non-cancerous tissue section and the cancerous tissue section are sections taken from different subjects. Therefore, the non-cancerous tissue section of subject A and the cancerous tissue section of subject B may have different shades due to the influence of the difference between the subjects.
  • an HE stained image and a MIB1 stained image are used.
  • the HE-stained image is an image taken by staining a section with a staining solution of hematoxylin and eosin.
  • an HE-stained image taken with a hyperspectral camera 200 in 51 bands is used.
  • the MIB1 stained image is a stained image in which a section is further stained with Ki-67 with a MIB-1 antibody in immunostaining, and the cell nucleus stained in brown is a positive cell nucleus and the cell nucleus stained in blue is a negative cell nucleus.
  • a positive cell nucleus (Ki-67 positive nucleus) is tentatively regarded as a cancer cell.
  • the estimator learning device 100 uses a set of the absorbance vector a and the difference vector e of each cell nucleus of the HE-stained image taken in 51 bands and the information of the positive cell nucleus or the negative cell nucleus of each cell nucleus of the MIB1 stained image. Learn the estimator.
  • feature selection was performed by the Forward step wise method using a Support Vector Machine.
  • the accuracy of positive cell nucleus estimation by the cancer estimator was 65%.
  • the accuracy of positive cell nucleus estimation is the probability of being a positive cell nucleus among the cell nuclei estimated to be positive cell nuclei.
  • the estimator learning device 100 acquires a stained image including cell nuclei stained with a staining solution taken for each band by the hyperspectral camera 200. By using the hyperspectral camera 200, stained images of many bands can be obtained.
  • the estimator learning device 100 extracts the region of the cell nucleus in the stained image by allowing a user or the like to select the region of the cell nucleus in the stained image of the acquired sample.
  • the estimator learning device 100 obtains the absorbance of each pixel (position) in the cell nucleus in the stained image from the extracted cell nucleus region of the stained image of each band.
  • the estimator learning device 100 calculates the amount of dye in the stain taken into the sample for each pixel based on the absorbance and the known spectral absorption coefficient of the stain. Further, the estimator learning device 100 estimates the absorbance vector based on the calculated amount of dye and the spectral absorption coefficient X of the staining solution. The estimator learning device 100 calculates a difference vector, which is the difference between the absorbance vector obtained from the stained image and the estimated absorbance vector.
  • the estimator learning device 100 includes an absorbance vector a of the cell nucleus of the stained image, a difference vector e which is a difference between the absorbance vector a'of the cell nucleus of the estimated stained image and the absorbance vector, and the cell nucleus cancer contained in the stained image.
  • the relationship with the information on whether or not there is cancer is analyzed by machine learning or the like, and the cancer estimator is learned.
  • the cancer estimator can estimate whether the cell nucleus is cancerous or non-cancerous based on the absorbance vector of the cell nucleus of the stained image and the like.
  • the estimator learning device 100 can construct a cancer estimator with higher performance by using stained images of more bands.
  • the estimator learning device 100 can calculate the difference vector e based on Beer-Lambert's law.
  • the estimator learning device 100 can construct a cancer estimator having higher performance by learning the cancer estimator using the difference vector e.
  • the estimation device 300 is a stained image based on a stained image including cell nuclei stained with a staining solution taken for each band by the hyperspectral camera 200 and a cancer estimator 314 learned by the estimator learning device 100. Estimate whether the cell nucleus inside is cancerous or non-cancerous.
  • Computer readable recording medium A program that enables a computer or other machine or device (hereinafter, computer or the like) to realize any of the above functions can be recorded on a recording medium that can be read by the computer or the like. Then, by causing a computer or the like to read and execute the program of this recording medium, the function can be provided.
  • a recording medium that can be read by a computer or the like is a recording medium that can store information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read from the computer or the like.
  • elements constituting a computer such as a CPU and a memory may be provided, and the CPU may execute a program.
  • those that can be removed from a computer or the like include, for example, flexible discs, magneto-optical discs, CD-ROMs, CD-R / Ws, DVDs, DATs, 8 mm tapes, memory cards, and the like.
  • System 100 Estimator learning device 102: Image acquisition unit 104: Cell nucleus extraction unit 106: Color information acquisition unit 108: Dye amount calculation unit 110: Absorptivity estimation unit 112: Estimator learning unit 200: Hyperspectral camera 300: Estimate Device 302: Image acquisition unit 304: Cell nucleus extraction unit 306: Color information acquisition unit 308: Dye amount calculation unit 310: Absorption estimation unit 312: Estimator unit 314: Cancer estimator 90: Information processing device 91: Processor 92: Memory 93 : Storage unit 94: Input unit 95: Output unit 96: Communication control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

染色画像における細胞核が所定状態であるか否かを推定する。　所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、を備える、推定器学習装置とする。

Description

推定器学習装置、推定器学習方法、及び、推定器学習プログラム
　本発明は、推定器学習装置、推定器学習方法、及び、推定器学習プログラムに関する。
　病理診断は、がんのグレード診断や診療方針の決定など確定診断法として臨床で行われている。これに対して、新たな病理診断の情報提供法として病理標本へのハイパースペクトル（ＨＳ）カメラの応用が検討されている。
特許第６３９２４７６号公報 特開２０１７－２０３６３７号公報 特開２０１１－１８１０１５号公報 特開２０１３－１１３８１８号公報
Detecting brain tumor in pathological slides using hyperspectral imaging, Samuel Ortega, Himar Febelo, Rafael Camacho, Maria de la Luz Plaza, Gustavo M. Callico, Reberto Samiento, Biomedical Opt Express. 2018 Feb 1; 9(2): 818-831.
　病理診断等で使用される細胞や組織の標本は、無色透明であることが多いため観察しにくいことがある。そこで、顕微鏡での観察を容易にするために、あらかじめ細胞や組織を染色してから、観察することが行われている。
　染色された細胞をハイパースペクトルカメラで撮影することにより、複数のバンドの染色画像が得られる。複数のバンドの染色画像を用いて、がんか否かを推定することが望まれている。
　本発明は、染色画像における細胞核が所定の状態であるか否かを推定できる技術を提供することを目的とする。
　上記課題を解決するために、以下の手段を採用する。
　即ち、第１の態様は、
　所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、
　それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、
　それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、
　前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、
を備える、
推定器学習装置である。
　開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
　本発明によれば、染色画像における細胞核が所定の状態であるか否かを推定できる技術を提供することができる。
図１は、実施形態の推定器学習のシステムの構成例を示す図である。 図２は、実施形態のがん推定のシステムの構成例を示す図である。 図３は、情報処理装置のハードウェア構成例を示す図である。 図４は、推定器学習装置におけるがん推定器の学習の際の動作フローの例を示す図である。 図５は、染色画像において選択された細胞核の例を示す図である。 図６は、染色画像の細胞核の領域における、透過率の波長依存性のグラフの例を示す図である。 図７は、染色画像の細胞核の領域における、ＲＥＨの波長依存性のグラフの例を示す図である。 図８は、推定装置におけるがん推定の際の動作フローの例を示す図である。
　以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　〔実施形態１〕
　（構成例１）
　図１は、本実施形態の推定器学習のシステムの構成例を示す図である。本実施形態の推定器学習のシステム１０は、推定器学習装置１００、ハイパースペクトルカメラ２００を含む。推定器学習装置１００は、画像取得部１０２、細胞核抽出部１０４、色情報取得部１０６、色素量算出部１０８、吸光度推定部１１０、推定器学習部１１２を含む。推定器学習装置１００と、ハイパースペクトルカメラ２００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。
　推定器学習装置１００は、ハイパースペクトルカメラ２００からバンドごとの試料の染色画像を取得する。推定器学習装置１００は、染色画像から、細胞核の領域を抽出し、細胞核の吸光度を求め、色素量を推定する。推定器学習装置１００は、推定された色素量と、分光吸収係数から、吸光度を推定する。推定器学習装置１００は、染色画像に基づく吸光度及び推定した色素量と、細胞核ががんであるか非がんであるかの情報に基づいて、がん推定器を生成する。試料は、例えば、細胞や組織などの生体物質試料である。がんの細胞核以外の細胞核は、非がんの細胞核である。推定器学習装置１００で使用される、プログラム、データ及びテーブル等は、推定器学習装置１００の記憶手段に格納される。
　画像取得部１０２は、ハイパースペクトルカメラ２００から試料の染色画像を取得する。
　細胞核抽出部１０４は、画像取得部１０２で取得された試料の染色画像において、細胞核の領域を、利用者等に選択させることにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、画像認識により、染色画像から細胞核の領域を抽出してもよい。
　色情報取得部１０６は、試料の染色画像の細胞核の領域から、色情報（各バンドの吸光度）を算出する。
　色素量算出部１０８は、取得されたマルチバンドの染色画像の細胞核の領域の色情報から、色素量を算出する。
　吸光度推定部１１０は、分光吸収係数と色素量算出部１０８で算出された色素量とに基づいて、吸光度を推定する。
　推定器学習部１１２は、染色画像の細胞核の吸光度及び吸光度推定部１１０で推定された吸光度と、細胞核ががんであるか非がんであるかの情報とに基づいて、がん推定器を学習する。推定器学習部１１２は、学習したがん推定器を記憶手段に格納する。がん推定器は、推定器の一例である。細胞核ががんであるか非がんであるかは、細胞核が所定状態であるか否かの一例である。所定状態であるか否かは、例えば、何らかの病気であるか否かなどである。
　ハイパースペクトルカメラ２００は、撮影対象を複数に分けられたバンド（周波数帯、波長帯）毎に撮影することができるカメラである。ハイパースペクトルカメラ２００は、染色された試料をバンドごとに撮影する。ハイパースペクトルカメラ２００における撮影対象の周波数（波長）は、例えば、赤外線領域から紫外線領域である。ハイパースペクトルカメラ２００は、例えば、１０以上の波長帯（バンド）で撮影することができる。ハイパースペクトルカメラ２００は、ＲＧＢカメラよりも多い波長帯で撮影することができる。ハイパースペクトルカメラ２００が撮影する波長帯（バンド）数は、１７以上であることが好ましい。ハイパースペクトルカメラ２００が撮影する波長帯（バンド）数は、５１以上であることがより好ましい。
　図２は、本実施形態のがん推定のシステムの構成例を示す図である。本実施形態のがん推定のシステム２０は、ハイパースペクトルカメラ２００、推定装置３００を含む。推定装置３００は、画像取得部３０２、細胞核抽出部３０４、色情報取得部３０６、色素量算出部３０８、吸光度推定部３１０、推定部３１２、推定器３１４を含む。ハイパースペクトルカメラ２００は、図１のハイパースペクトルカメラ２００と同様である。推定装置３００と、ハイパースペクトルカメラ２００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。
　推定装置３００は、ハイパースペクトルカメラ２００からバンドごとの試料の染色画像を取得する。推定装置３００は、染色画像から、細胞核の領域を抽出し、細胞核の吸光度を求め、色素量を推定する。推定装置３００は、推定された色素量と、分光吸収係数から、吸光度を推定する。推定装置３００は、染色画像に基づく吸光度及び推定した色素量と、推定器学習装置１００で学習された推定器を用いて、染色画像内の細胞核ががんであるか否か（非がんであるか）の推定を行なう。試料は、例えば、細胞や組織などの生体物質である。推定装置３００で使用される、プログラム、データ及びテーブル等は、推定装置３００の記憶手段に格納される。
　画像取得部３０２は、画像取得部３０２、細胞核抽出部３０４、色情報取得部３０６、色素量算出部３０８、吸光度推定部３１０は、図１の画像取得部１０２、細胞核抽出部１０４、色情報取得部１０６、色素量算出部１０８、吸光度推定部１１０と同様である。
　推定部３１２は、染色画像の吸光度等に基づいて、推定器学習装置１００によって学習されたがん推定器３１４を用いて、染色画像内の細胞核ががんであるか否かの推定を行なう。
　がん推定器３１４は、それぞれ、推定器学習装置１００で構築された、がん推定器である。
　がん推定器の学習を行う推定器学習装置１００とがん推定を行う推定装置３００とは、一体化して１つの装置として動作してもよい。
　図３は、情報処理装置のハードウェア構成例を示す図である。図３に示す情報処理装置９０は、一般的なコンピュータの構成を有している。推定器学習装置１００は、図３に示すような情報処理装置９０を用いることによって、実現される。図３の情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図３に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
　情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。
　プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。
　メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。
　記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）である。また、記憶部９３は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。
　記憶部９３は、情報処理装置９０で使用される、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に格納される情報は、記憶部９３に格納されてもよい。
　オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部９６を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。
　入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。
　出力部９５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パネル、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）等の表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。
　通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。
　情報処理装置９０は、プロセッサが補助記憶部に記憶されたプログラムを主記憶部の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器等の制御を行う。これにより、情報処理装置は、所定の目的に合致した機能を実現することができる。主記憶部及び補助記憶部は、情報処理装置が読み取り可能な記録媒体である。
　（動作例）
　〈がん推定器学習〉
　図４は、推定器学習装置におけるがん推定器の学習の際の動作フローの例を示す図である。
　Ｓ１０１では、画像取得部１０２は、ハイパースペクトルカメラ２００で撮影された染色された試料の染色画像をハイパースペクトルカメラ２００から取得する。画像取得部１０２は、取得した染色画像を、記憶手段に格納する。試料は、例えば、細胞や組織等の生体物質の切片標本である。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。ハイパースペクトルカメラ２００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）である。染色液として、複数の染色液が使用されてもよい。ハイパースペクトルカメラ２００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。ハイパースペクトルカメラ２００で撮影された染色画像に含まれる細胞について、がんであるか非がんであるかは、既知である。各染色画像は、がんであるか、非がんであるかを対応付けられて、記憶手段に格納されている。
　Ｓ１０２では、細胞核抽出部１０４は、Ｓ１０１で取得された試料の染色画像において、細胞核の領域を、利用者等に選択させることにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、ディスプレイ等の表示手段に染色画像を表示して、利用者等にポインティングデバイス等の入力手段により染色画像における細胞核の領域を入力させる（選択させる）ことにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、画像認識技術等により、染色画像から細胞核の領域を抽出してもよい。細胞核抽出部１０４は、細胞核の領域を染色画像とともに記憶手段に格納する。
　図５は、染色画像において選択された細胞核の例を示す図である。図５（Ａ）は、細胞や組織等の生体物質の切片標本を染色液で染色した染色画像の例である。図５（Ｂ）は、選択された細胞核の領域を含む染色画像の例である。図５（Ｂ）は、図５（Ａ）の染色画像から細胞核の領域を選択されている。図５（Ｂ）において、各矢印で示される灰色領域が、細胞核の領域として選択された領域である。
　Ｓ１０３では、色情報取得部１０６は、各バンドの染色画像の抽出された細胞核の領域から、各バンドの染色画像内の細胞核における各画素（位置）の吸光度を求める。ここで使用する細胞核における画素は、Ｓ１０２で抽出された細胞核の領域に含まれるすべての画素でなく、所定数の画素でもよい。吸光度は、光が媒質を通った際に光の強度がどの程度弱まるかを示す量である。各画素の吸光度は、各画素の明るさに依存する。色情報取得部１０６は、バンド毎に、染色画像における各画素の明るさから各画素の吸光度を求める。各バンドの吸光度は、試料に取り込まれた染色液の色素量及び染色液の分光吸収係数等に依存する。
　Ｓ１０４では、色素量算出部１０８は、Ｓ１０３で求めた吸光度、既知である染色液の分光吸収係数に基づいて、画素毎に、試料に取り込まれた染色液の色素量を算出する。分光吸収係数は、光が媒質に入射したときに媒質がどの程度光を吸収するかを示す量である。染色液の分光吸収係数は、入射する光の波長に依存する。吸光度ベクトルをａ、分光吸収係数行列をＸ、色素量をＣ、差分ベクトルをｅとすると、ランバートベールの法則により、次のように表される。吸光度ベクトルａは、バンド毎の吸光度をベクトル表示したものである。分光吸収係数行列Ｘは、染色液毎、バンド毎の吸収係数を行列表示したものである。分光吸収係数行列Ｘは、あらかじめ、記憶手段に格納される。差分ベクトルｅは、分光吸収係数Ｘと色素量Ｃとの組み合わせで吸光度ベクトルａを表せないベクトル（残差成分）である。色素量算出部１０８は、差分ベクトルｅが最小となる推定色素量Ｃ′を最小二乗推定により算出する。
Figure JPOXMLDOC01-appb-M000001
　色素量算出部１０８は、次のように、推定行列Ｘ＋を吸光度ベクトルａに乗算することによって、試料に取り込まれた染色液毎の画素毎（位置毎）の推定色素量Ｃ′を求めることができる。ＸＴは、Ｘの転置行列である。
Figure JPOXMLDOC01-appb-M000002
　Ｓ１０５では、吸光度推定部１１０は、次のように、吸収分光係数ＸにＳ１０４で求めた推定色素量Ｃ′を乗算することで、推定された吸光度ベクトルａ′を求めることができる。吸光度ベクトルａ′は、染色液の分光吸収係数Ｘと試料に取り込まれた染色液の推定色素量Ｃ′とによって推定される吸光度ベクトル（推定吸光度）である。
Figure JPOXMLDOC01-appb-M000003
　差分ベクトルｅは、Ｓ１０３で算出された吸光度ベクトルａとここで推定された吸光度ベクトルａ′とに基づいて、次のように表される。
Figure JPOXMLDOC01-appb-M000004
　Ｓ１０６では、推定器学習部１１２は、Ｓ１０３で算出した染色画像の細胞核の吸光度ベクトルａと、Ｓ１０５で推定した染色画像の細胞核の吸光度ベクトルａ′（差分ベクトルｅ）と、当該染色画像に含まれる細胞核ががんであるか非がんであるかの情報との関係を、機械学習等により分析する。分析には、ニューラルネットワークによるディープラーニング、Regression SVM、Regression Random Forest、多重回帰分析、Look Up Table等の学習空間を利用する手法等が使用され得る。また、分析には他の深層学習が利用されてもよい。推定器学習部１１２は、例えば、染色画像の吸光度ベクトルａ及び差分ベクトルｅを入力データとし、染色画像における細胞核のがんまたは非がんの情報を出力データとする。推定器学習部１１２は、吸光度ベクトルａ及び差分ベクトルｅを入力データとする際、それぞれ、正規化してもよい。推定器学習部１１２は、吸光度ベクトルを、例えば、エオジンのビーク波長である５４０ｎｍの吸光度で割ることにより、正規化することができる。推定器学習部１１２は、当該入力データと当該出力データとが紐付けられた教師あり学習により、がん推定器を学習する。がん推定器は、より多くの吸光度ベクトルａ及び差分ベクトルｅと細胞核のがんまたは非がんの情報との組を用いることで最適化される。また、がん推定器は、染色液毎に学習することができる。推定器学習部１１２は、吸光度ベクトルａ、吸光度ベクトルａ′、及び、差分ベクトルｅのうちいずれか１つと、細胞核ががんであるか非がんであるかの情報とを用いて、がん推定器を学習してもよい。がん推定器は、記憶手段に格納される。ベクトルの正規化は、例えば、ベクトルの成分のうち絶対値が最も大きい値で、当該ベクトルを割ったものを、新たなベクトル（正規化されたベクトル）とすることで実現できる。
　また、推定器学習装置１００は、試料を様々な染色液で染色した染色画像を用いて、がん推定器を学習することで、様々な染色液のがん推定器を学習することができる。
　〈がん推定器学習の変形例〉
　染色画像における細胞核には、色の濃い画素（透過率が低い、吸光度が高い）、色の薄い画素（透過率が高い、吸光度が低い）が存在する。また、色の濃い／薄い画素には、エオジンによる染色の色の濃い／薄い画素、及び、ヘマトキシリンによる染色の色の濃い／薄い画素がある。上記の例では、細胞核における透過率が高い部分と低い部分（吸光度の高い部分と低い部分）とを区別せずに、がん推定器を学習している。細胞核における透過率が高い部分と低い部分（吸光度が高い部分と低い部分）とでは、性質が異なると考えられるため、ここでは区別して学習する。なお、吸光度は、透過率の逆数の対数である（吸光度＝－ｌｏｇ（透過率））。透過率が増加すると、吸光度は単調減少する。吸光度の代わりに透過率が使用されてもよい。
　推定器学習部１１２は、染色画像の細胞核の領域において、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの吸光度の最大値が閾値以上（透過率の最小値が閾値以下）である画素について、エオジンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの吸光度の最大値が閾値未満（透過率の最小値が閾値超）である画素について、エオジンの薄い画素として抽出する。推定器学習部１１２は、染色画像の細胞核の領域を、エオジンの濃い画素、エオジンの薄い画素に分類して、それぞれについて、がん推定器を学習する。
　推定器学習部１１２は、エオジンの濃い画素及び薄い画素を分ける、波長５１５ｎｍ－５６５ｎｍの透過率の最大値の閾値を、例えば、０．１５から０．４０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、エオジンの濃い画素及び薄い画素を分ける、波長５１５ｎｍ－５６５ｎｍの吸光度の最大値の閾値とする。
　また、推定器学習部１１２は、ヘマトキシリンによる吸光度（透過率）の違いで分類してもよい。この場合、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの吸光度の最大値が閾値以上（透過率の最小値が閾値以下）である画素について、ヘマトキシリンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの吸光度の最大値が閾値未満（透過率の最小値が閾値超）である画素について、ヘマトキシリンの薄い画素として抽出する。なお、推定器学習部１１２は、染色画像の細胞核の領域を、ヘマトキシリンの濃い画素、ヘマトキシリンの薄い画素に分類して、それぞれについて、がん推定器を学習する。
　推定器学習部１１２は、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの透過率の最大値の閾値を、例えば、０．３０から０．７０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの吸光度の最大値の閾値とする。
　図６は、染色画像の細胞核の領域における、透過率の波長依存性のグラフの例を示す図である。図６のグラフの横軸は光の波長であり、縦軸は光の透過率である。図６のグラフでは、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの領域において、透過率は５４０ｎｍで最小値となる。また、図６のグラフでは、ヘマトキシリンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの領域において、透過率は５８５ｎｍで最小値となる。
　また、推定器学習部１１２は、エオジンの吸光度とヘマトキシリンの吸光度との比で分類してもよい。ここでは、エオジンによる染色の色の濃さに対するヘマトキシリンによる染色の色の濃さで分類する。すなわち、エオジンによる染色の色に対して相対的にヘマトキシリンによる染色の色が濃いか薄いかで分類する。この場合、推定器学習部１１２は、染色画像の細胞核の領域において、吸光度を、エオジンのピーク波長である５４０ｎｍの吸光度で割った値（REH: Ratio of Eosin to Hematoxylin）のうち、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの最大値が閾値以上であるである画素について、相対的にヘマトキシリンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍにおけるＲＥＨの最大値が閾値未満である画素について、相対的にヘマトキシリンの薄い画素として抽出する。推定器学習部１１２は、染色画像の細胞核の領域を、相対的にヘマトキシリンの濃い画素、相対的にヘマトキシリンの濃い画素に分類して、それぞれについて、がん推定器を学習する。吸光度を、エオジンのピーク波長である５４０ｎｍの吸光度で割ることは、吸光度の正規化の一例である。
　図７は、染色画像の細胞核の領域における、ＲＥＨの波長依存性のグラフの例を示す図である。図７のグラフの横軸は波長であり、縦軸はＲＥＨである。ＲＥＨは、吸光度をエオジンのピーク波長である５４０ｎｍの吸光度で割ることで算出される。よって、ＲＥＨは、波長５４０ｎｍで１となる。また、図７のグラフにおいて、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍのＲＥＨの最大値は、波長５８５ｎｍで０．５０である。
　推定器学習部１１２は、ヘマトキシリンによる染色の色がエオジンによる染色の色に対して相対的に濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍのＲＥＨの最大値の閾値を、例えば、０．４０から０．７０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの吸光度の最大値の閾値とする。
　さらに、推定器学習部１１２は、エオジンの透過率による分類、ヘマトキシリンの透過率による分類、エオジンとヘマトキシリンとの吸光度の比（ＲＥＨ）による分類によるがん推定器のうち、最も精度が高くなるがん推定器を、がん推定器として採用する。
　染色画像を細胞核のエオジンやヘマトキシリンの透過率（吸光度）、ＲＥＨの違いで分類することにより、がん推定器の性能をより向上させることができる。ここでは、がん推定器としているが、がん以外の病気や事象などであってもよい。がん推定器は、推定器の一例である。
　〈がん推定〉
　図８は、推定装置におけるがん推定の際の動作フローの例を示す図である。ここでは、推定装置３００は、がん推定対象の細胞を染色した染色画像と、上記のがん推定器とを用いて、がん推定を行なう。
　Ｓ２０１では、画像取得部３０２は、ハイパースペクトルカメラ２００で撮影された染色された試料の染色画像をハイパースペクトルカメラ２００から取得する。画像取得部３０２は、取得した染色画像を、記憶手段に格納する。試料は、がん推定の対象となる細胞や組織等の生体物質の切片標本である。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。ハイパースペクトルカメラ２００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）である。染色液として、複数の染色液が使用されてもよい。ハイパースペクトルカメラ２００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。
　Ｓ２０２からＳ２０５までは、図４のＳ１０２からＳ１０５までと同様である。
　Ｓ２０６では、推定部３１２は、Ｓ２０３で算出した染色画像の細胞核の吸光度ベクトルａと、Ｓ２０５で推定した染色画像の細胞核の吸光度ベクトルａ′（差分ベクトルｅ）等を入力データとして、がん推定器３１４を用いて、がんか非がんかを推定する。ここでは、推定部３１２は、推定器学習装置１００で学習されたがん推定器３１４を用いることで、がんか否かを推定する。推定部３１２は、がんか否かの推定結果を記憶装置などの記憶手段に格納したり、ディスプレイなどの表示手段に出力したりする。入力データの項目（吸光度ベクトル、差分ベクトル等）は、がん推定器３１４を学習した際の入力データの項目と同じとする。
　これにより、推定装置３００は、がん推定の対象となる細胞核を含む染色画像と、推定器学習装置１００で学習されたがん推定器３１４を用いて、がん推定を行うことができる。
　（がん推定器によるがん推定の性能）
　ここでは、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。各組織の切片は、あらかじめ、病理医によってがんか非がんかが判定されている。比較対象として、ハイパースペクトルカメラ２００の代わりにＲＧＢカメラで撮影された染色画像を用いて、推定器学習装置１００と同様に、学習したがん推定器の性能についても示す。ＲＧＢカメラでは、赤色を含むバンドの染色画像、緑色を含むバンドの染色画像、青色を含むバンドの染色画像が得られる。ＲＧＢカメラで撮影された染色画像を用いた場合、がん推定器の精度は７９．８％、感度は８２．８％、特異度は７４．２％であった。感度は、がんの細胞をがんと推定した確率である。特異度は、非がんの細胞を非がんと推定した確率である。精度は、がんと判定したもののうち、がんの細胞である確率である。
　推定器学習装置１００において、正規化されていない吸光度ベクトルａを用いて、がん推定器を学習した場合、がん推定器の精度は８３．３％、感度は８８．４％、特異度は７４．０％であった。ここでは、ハイパースペクトルカメラ２００で撮影された染色画像を用いている。ハイパースペクトルカメラ２００を用いることで、ＲＧＢカメラを用いた場合より、概ね、がん推定器の性能が向上している。
　推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、がん推定器を学習した場合、がん推定器の精度は８９．９％、感度は９０．２％、特異度は８９．２％であった。正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いることで、正規化されていない吸光度ベクトルａを用いた場合より、がん推定器の性能が向上している。
　推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値を０．１５から０．４０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．２０のとき、９１％で最も高くなった。また、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、ヘマトキシリンの透過率による閾値を０．３０から０．７０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．４５のとき、９０％で最も高くなった。さらに、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、ＲＥＨによる閾値を０．４０から０．７０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．７０のとき、８８％で最も高くなった。よって、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値０．２０を用いて分類して、がん推定器を学習した場合に、精度が９１％で最も高い結果となった。
　推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値を用いて分類して、がん推定器を学習した。エオジンの透過率による閾値は、０．２０（２０％）とした。エオジンの透過率が閾値以下である場合（濃い場合）、がん推定器の精度は９２．１％、感度は９１．７％、特異度は９２．５％であった。また、エオジンの透過率が閾値超である場合（薄い場合）、がん推定器の精度は９０．０％、感度は９１．２％、特異度は８６．４％であった。また、閾値以下の場合及び閾値超の場合を含めた全体のがん推定器の精度は９０．９％、感度は９１．４％、特異度は８９．９％であった。エオジンの透過率による閾値を用いて分類することで、濃い場合であっても、薄い場合であっても、分類しない場合より、がん推定器の性能が向上している。
　（その他）
　上記では、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示した。非がん組織の切片とがん組織の切片とは、異なる被験者より採取した切片である。そのため、被験者Ａの非がん組織の切片と被験者Ｂのがん組織の切片とでは、被験者の違いの影響で、色合いが異なる可能性がある。ここでは、同一切片の同一組織における陽性細胞核（増殖している細胞核）と陰性細胞核（正常な細胞核、陽性細胞核以外の細胞核）を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。ここでは、ＨＥ染色画像と、ＭＩＢ１染色画像とが使用される。ＨＥ染色画像は、切片を、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）の染色液で染色して撮影した画像である。ここでは、ハイパースペクトルカメラ２００で５１バンドで撮影されたＨＥ染色画像を用いている。ＭＩＢ１染色画像は、切片を、さらに、免疫染色においてＫｉ－６７をＭＩＢ－１抗体で染色して、茶色に染まる細胞核を陽性細胞核とし青色に染まる細胞核を陰性細胞核とした染色画像である。ここでは、陽性細胞核（Ｋｉ－６７陽性核）を仮にがん細胞とみなす。推定器学習装置１００は、５１バンドで撮影したＨＥ染色画像の各細胞核の吸光度ベクトルａ及び差分ベクトルｅと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習する。ここでは、Support Vector Machineを用いてForward step wise法で特徴選択を行った。このとき、がん推定器の陽性細胞核推定の精度は、６５％であった。陽性細胞核推定の精度は、陽性細胞核と推定した細胞核のうち、陽性細胞核である確率である。
　比較対象として、５１バンドで撮影したＨＥ染色画像の細胞核の吸光度ベクトルａと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習した場合、がん推定器の陽性細胞核推定の精度は６３％であった。さらに、１７バンドで撮影したＨＥ染色画像の細胞核の吸光度ベクトルａと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習した場合、がん推定器の陽性細胞核推定の精度は６１％であった。よって、差分ベクトルｅを用いてがん推定器を学習することで、推定の精度が向上することが分かる。
　（実施形態の作用、効果）
　推定器学習装置１００は、ハイパースペクトルカメラ２００でバンド毎に撮影された染色液で染色された細胞核を含む染色画像を取得する。ハイパースペクトルカメラ２００を用いることで、多くのバンドの染色画像を得ることができる。推定器学習装置１００は、取得された試料の染色画像において、細胞核の領域を、利用者等に選択させること等により、染色画像における細胞核の領域を抽出する。推定器学習装置１００は、各バンドの染色画像の抽出された細胞核の領域から、染色画像内の細胞核における各画素（位置）の吸光度を求める。推定器学習装置１００は、吸光度、既知である染色液の分光吸収係数に基づいて、画素毎に、試料に取り込まれた染色液の色素量を算出する。また、推定器学習装置１００は、算出された色素量と染色液の分光吸収係数Ｘに基づいて、吸光度ベクトルを推定する。推定器学習装置１００は、染色画像から求めた吸光度ベクトルと、推定された吸光度ベクトルとの差分である、差分ベクトルを算出する。推定器学習装置１００は、染色画像の細胞核の吸光度ベクトルａ及び推定した染色画像の細胞核の吸光度ベクトルａ′と吸光度ベクトルとの差分である差分ベクトルｅと、当該染色画像に含まれる細胞核ががんであるか非がんであるかの情報との関係を、機械学習等により分析し、がん推定器を学習する。がん推定器は、染色画像の細胞核の吸光度ベクトル等に基づいて、当該細胞核ががんであるか非がんであるかを推定することができる。推定器学習装置１００は、より多くのバンドの染色画像を用いることで、より性能の高い、がん推定器を構築することができる。推定器学習装置１００は、ランバートベールの法則に基づいて、差分ベクトルｅを算出することができる。推定器学習装置１００は、差分ベクトルｅを用いて、がん推定器を学習することで、より性能の高い、がん推定器を構築することができる。
　推定装置３００は、ハイパースペクトルカメラ２００でバンド毎に撮影された染色液で染色された細胞核を含む染色画像と、推定器学習装置１００で学習されたがん推定器３１４とに基づいて、染色画像内の細胞核ががんであるか非がんであるかを推定する。
　〈コンピュータ読み取り可能な記録媒体〉
　コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
　ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。
　また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。
　また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
　（その他）
　以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
１０　　：システム
１００　：推定器学習装置
１０２　：画像取得部
１０４　：細胞核抽出部
１０６　：色情報取得部
１０８　：色素量算出部
１１０　：吸光度推定部
１１２　：推定器学習部
２００　：ハイパースペクトルカメラ
３００　：推定装置
３０２　：画像取得部
３０４　：細胞核抽出部
３０６　：色情報取得部
３０８　：色素量算出部
３１０　：吸光度推定部
３１２　：推定部
３１４　：がん推定器
９０　　：情報処理装置
９１　　：プロセッサ
９２　　：メモリ
９３　　：記憶部
９４　　：入力部
９５　　：出力部
９６　　：通信制御部 

Claims (7)

  1. 　所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、
    　それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、
    　それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、
    　前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、
    を備える、
    推定器学習装置。
  2. 　前記色情報取得部で算出された前記細胞核の領域の前記各波長帯の吸光度と、前記染色液の分光吸収係数に基づいて、前記細胞核の領域に取り込まれた前記染色液の色素量を推定する色素量算出部と、
    　前記色素量と前記分光吸収係数とに基づいて、前記細胞核の領域における各波長帯の推定の吸光度である各波長帯の推定吸光度を推定する吸光度推定部と、を備え、
    　前記推定器学習部は、前記各波長帯の吸光度及び前記各波長帯の吸光度と前記各波長帯の推定吸光度との差分と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度及び前記差分から前記細胞核が所定状態であるか否かを推定する前記推定器を学習する、
    請求項１に記載の推定器学習装置。
  3. 　前記各波長帯の吸光度及び前記差分は、それぞれ、正規化されている、
    請求項２に記載の推定器学習装置。
  4. 　前記推定器学習部は、所定の波長帯における前記吸光度が所定値以上であるもの及び前記所定値未満であるものうちいずれか一方を使用して、前記推定器を学習する、
    請求項１から３のいずれか１項に記載の推定器学習装置。
  5. 　前記細胞核が前記所定状態であるか否かは、前記細胞核ががんであるか非がんであるかである、
    請求項１から４のいずれか１項に記載の推定器学習装置。
  6. 　推定器学習装置が、
    　所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得し、
    　それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出し、
    　それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出し、
    　前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する
    ことを実行する推定器学習方法。
  7. 　推定器学習装置が、
    　所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得し、
    　それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出し、
    　それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出し、
    　前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する
    ことを実行するための推定器学習プログラム。 
PCT/JP2020/028497 2019-07-24 2020-07-22 推定器学習装置、推定器学習方法、及び、推定器学習プログラム WO2021015249A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021534079A JP7473223B2 (ja) 2019-07-24 2020-07-22 推定器学習装置、推定器学習方法、及び、推定器学習プログラム
US17/629,570 US20220270245A1 (en) 2019-07-24 2020-07-22 Estimator learning device, estimator learning method, and estimator learning program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019136420 2019-07-24
JP2019-136420 2019-07-24

Publications (1)

Publication Number Publication Date
WO2021015249A1 true WO2021015249A1 (ja) 2021-01-28

Family

ID=74194240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028497 WO2021015249A1 (ja) 2019-07-24 2020-07-22 推定器学習装置、推定器学習方法、及び、推定器学習プログラム

Country Status (3)

Country Link
US (1) US20220270245A1 (ja)
JP (1) JP7473223B2 (ja)
WO (1) WO2021015249A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488358A (zh) * 2022-03-08 2022-05-13 中国科学院上海微系统与信息技术研究所 一种光子晶体滤波器及其制备方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240110905A1 (en) * 2022-10-03 2024-04-04 Saudi Arabian Oil Company Methods of geologic sample analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2012154628A (ja) * 2011-01-21 2012-08-16 Olympus Corp 顕微鏡システム、情報処理装置、及び情報処理プログラム
JP2015007619A (ja) * 2013-05-30 2015-01-15 キヤノン株式会社 分光画像データ処理装置および２次元分光装置
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
WO2017195772A1 (ja) * 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5117274B2 (ja) * 2008-05-02 2013-01-16 オリンパス株式会社 画像処理装置および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
JP2012154628A (ja) * 2011-01-21 2012-08-16 Olympus Corp 顕微鏡システム、情報処理装置、及び情報処理プログラム
JP2015007619A (ja) * 2013-05-30 2015-01-15 キヤノン株式会社 分光画像データ処理装置および２次元分光装置
WO2017195772A1 (ja) * 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488358A (zh) * 2022-03-08 2022-05-13 中国科学院上海微系统与信息技术研究所 一种光子晶体滤波器及其制备方法

Also Published As

Publication number Publication date
JP7473223B2 (ja) 2024-04-23
US20220270245A1 (en) 2022-08-25
JPWO2021015249A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7273215B2 (ja) 画像処理のための自動アッセイ評価および正規化
US20240135544A1 (en) Method and system for digital staining of label-free fluorescence images using deep learning
US10621412B2 (en) Dot detection, color classification of dots and counting of color classified dots
US8948488B2 (en) Methods and systems for digitally enhancing an image of a stained material
US11062168B2 (en) Systems and methods of unmixing images with varying acquisition properties
US20160035100A1 (en) Spectral Unmixing
Li et al. Red blood cell count automation using microscopic hyperspectral imaging technology
WO2021015249A1 (ja) 推定器学習装置、推定器学習方法、及び、推定器学習プログラム
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
Gummeson et al. Automatic Gleason grading of H and E stained microscopic prostate images using deep convolutional neural networks
JP2005331394A (ja) 画像処理装置
Bilgin et al. Digitally adjusting chromogenic dye proportions in brightfield microscopy images
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
Septiana et al. Elastic and collagen fibers discriminant analysis using H&E stained hyperspectral images
JP7470339B2 (ja) 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム
Liu et al. Signal to noise ratio quantifies the contribution of spectral channels to classification of human head and neck tissues ex vivo using deep learning and multispectral imaging
Aljuhani et al. Whole slide imaging: deep learning and artificial intelligence
JP6901072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
Wang et al. Customization and testing of a mobile reader app for an open-access SARS-CoV-2 antigen lateral flow assay
Mannam et al. Improving fluorescence lifetime imaging microscopy phasor accuracy using convolutional neural networks
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
Reddy et al. Optimizing the design of FT-IR spectroscopic imaging instruments to obtain increased spatial resolution of chemical species
Madooei et al. A probabilistic approach to quantification of melanin and hemoglobin content in dermoscopy images
Prasad et al. Color image analysis to grade shades of a color and its application to quantify stained tissues
Hashimoto et al. Color enhancement of multispectral images for effective visualization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844462

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2021534079

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844462

Country of ref document: EP

Kind code of ref document: A1