WO2020075226A1 - 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム - Google Patents

画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2020075226A1
WO2020075226A1 PCT/JP2018/037633 JP2018037633W WO2020075226A1 WO 2020075226 A1 WO2020075226 A1 WO 2020075226A1 JP 2018037633 W JP2018037633 W JP 2018037633W WO 2020075226 A1 WO2020075226 A1 WO 2020075226A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
teacher
dye
dyeing
input
Prior art date
Application number
PCT/JP2018/037633
Other languages
English (en)
French (fr)
Inventor
武 大塚
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020551080A priority Critical patent/JP7090171B2/ja
Priority to PCT/JP2018/037633 priority patent/WO2020075226A1/ja
Publication of WO2020075226A1 publication Critical patent/WO2020075226A1/ja
Priority to US17/182,643 priority patent/US20210174147A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing apparatus operating method, an image processing apparatus, and an image processing apparatus operating program.
  • a pathological specimen is prepared by subjecting a specimen removed from a patient to cutting, fixing, embedding, thin sectioning, staining, encapsulation, and the like. Then, the pathological specimen is observed with a microscope to diagnose the presence or absence of a disease and the degree thereof based on the tissue shape and the stained state.
  • a primary diagnosis is made, and if a disease is suspected, a secondary diagnosis is made.
  • the primary diagnosis the presence or absence of a disease is diagnosed from the tissue shape of the pathological specimen.
  • HE staining hematoxylin-eosin staining
  • cell nuclei, bone tissues, etc. are stained blue-violet
  • cytoplasm, connective tissues, red blood cells, etc. are stained red.
  • the pathologist diagnoses the presence or absence of a disease morphologically from the tissue shape.
  • the presence or absence of a disease is diagnosed from the expression of molecules.
  • a sample is subjected to immunostaining to visualize the expression of molecules from an antigen-antibody reaction.
  • the pathologist diagnoses the presence or absence of a disease from the expression of the molecule.
  • the pathologist selects an appropriate treatment method from the positive rate (ratio of negative cells to positive cells).
  • the pathological specimen can be imaged by connecting a camera to the microscope and taking an image. Further, the virtual microscope system (virtual slide system) can image the entire pathological specimen. By imaging the pathological specimen, the image can be used for education and remote pathology.
  • the virtual microscope system virtual slide system
  • Diagnosis support includes a method of imitating a pathologist's diagnosis by image processing and a method of performing machine learning using a large amount of teacher images. Linear discrimination, deep learning, etc. are used for machine learning.
  • diagnosis support will reduce the burden on the pathologist.
  • Deep learning has a function that can automatically calculate preset feature quantities, is beginning to be put into practical use with the progress of computational resources, and is used in a wide range of applications centered on image recognition and voice recognition. Deep learning is also used for analysis of pathological specimen images, and Non-Patent Document 1 discloses a method for detecting breast cancer from pathological specimen images with high accuracy using deep learning. In deep learning, if a large number of highly accurate teacher images can be prepared, high-accuracy diagnosis support can be easily performed even when compared with conventional image processing.
  • Color variations occur in the pathological specimen image due to various causes. For example, in the sample preparation state such as the staining density, color variation occurs depending on the preference of the pathologist, the skill of the clinical laboratory technician, and the performance of the sample preparation facility. As a result, when the color variation of the pathological specimen image is out of the range of the teacher image, it is not possible to appropriately perform diagnostic support on the image. Therefore, in order to appropriately perform diagnosis support, it is required to collect a large number of teacher images generated by different sample manufacturing steps at a plurality of sample manufacturing facilities.
  • the present invention has been made in view of the above, and an operating method of an image processing apparatus, an image processing apparatus, and an operating program of an image processing apparatus capable of increasing the number of teacher images while maintaining accuracy in diagnosis support.
  • the purpose is to provide.
  • an operation method of an image processing apparatus is such that a staining characteristic recording unit includes a plurality of different sample preparation process protocols including staining with a plurality of dyes.
  • a staining characteristic recording unit includes a plurality of different sample preparation process protocols including staining with a plurality of dyes.
  • teacher images which are dyed specimen images created by
  • the dye spectrum and dye amount which are the dyeing characteristics of each dye in each pixel
  • the sample preparation step protocol and the estimated staining characteristic are associated with each other and recorded in the recording unit
  • the staining characteristic estimation unit is prepared by a sample preparation step protocol different from the plurality of teacher images including staining with the plurality of dyes, and learning.
  • a dyeing characteristic conversion unit determines the dyeing characteristic of at least one selected dye of the input teacher image by the dyeing of the selected dye of any one of the plurality of teacher images.
  • a virtual image generation unit based on the staining characteristic of the dye converted by the staining characteristic conversion unit, by a sample manufacturing process protocol different from the sample manufacturing process protocol of the plurality of teacher images and the input teacher image. An image of a virtual stained specimen that has been stained is generated.
  • the dyeing characteristic conversion unit may change the dyeing characteristics of each dye of the input teacher image to each dye of each teacher image recorded in the recording unit.
  • the dyeing characteristics converter Virtually stained specimen images stained by different specimen preparation process protocols are repeatedly generated.
  • the tissue characteristic estimating unit estimates the tissue to which each pixel belongs from the staining characteristic of each pixel of the plurality of teacher images and the input teacher image
  • the staining characteristic conversion unit converts the staining characteristic of at least one selected tissue of the input teacher image into the staining characteristic of the selected tissue of any one of the teacher images recorded in the recording unit
  • the virtual image generation unit stains a virtual image based on the staining characteristic of the tissue converted by the staining characteristic conversion unit using a sample preparation process protocol different from the sample preparation process protocol of the plurality of teacher images and the input teacher image. Generate a stained specimen image.
  • the staining characteristic estimating unit determines, from the spectrum of each pixel, an input image that is a stained sample image including staining with the plurality of dyes. Estimating the dyeing characteristics of each dye in the pixel, the estimation operator calculation unit, from the dataset of the plurality of teacher images or the sample preparation process protocol of the input teacher image and the correct image, the correct image of the input image, An estimation operator that performs estimation or class classification using regression analysis is calculated, and the correct image estimation unit estimates a correct image from the input image based on the estimation operator.
  • the staining characteristic estimation unit classifies each pixel from the staining characteristic of each pixel of the input teacher image, and the tissue characteristic estimation unit, The feature amount calculated based on each of the staining characteristics of the pixels belonging to the classified tissue is classified as the staining characteristic of each tissue according to the classification of each pixel.
  • the image processing apparatus for each teacher image, a plurality of teacher images, which are stained specimen images created by a plurality of different specimen manufacturing process protocols including staining with a plurality of dyes.
  • Each pixel with respect to the input teacher image which is a dyed specimen image that is created as a teacher image for learning, which is created by a recording section and a sample preparation process protocol that is different from the plurality of teacher images including staining with the plurality of dyes.
  • a dyeing characteristic estimation unit that estimates the dyeing characteristic of each dye in each pixel from the spectral spectrum of at least one of the input teacher images
  • a dyeing characteristic conversion unit that converts the dyeing characteristic of the selected dye into the dyeing characteristic of the selected dye of any one of the plurality of teacher images
  • a virtual image generation unit that generates a virtual stained specimen image that is stained by a specimen preparation process protocol different from the specimen preparation process protocol of the plurality of teacher images and the input teacher image based on the staining characteristics of the dye.
  • the operation program of the image processing apparatus is such that the staining characteristic recording unit is a plurality of teachers that are stained specimen images prepared by a plurality of mutually different specimen preparation process protocols including staining with a plurality of dyes.
  • the dye spectrum and dye amount which are the dyeing characteristics of each dye in each pixel, are estimated from the spectral spectrum of each pixel for each teacher image, and the sample preparation process protocol of the teacher image and the estimated dyeing characteristics are calculated.
  • the stained specimen image recorded in the recording unit in association with each other is a stained specimen image which is produced by a specimen preparation process protocol different from the plurality of teacher images including staining with the plurality of dyes and which is input as a teacher image for learning.
  • the dyeing characteristic of each dye in each pixel is estimated from the spectral spectrum of each pixel, and the dyeing characteristic conversion unit ,
  • the at least one selected dye of the input teacher image is converted into the dyed property of the selected dye of any one of the plurality of teacher images, the virtual image generation unit,
  • a virtual stained specimen image that is stained by a specimen preparation process protocol different from the specimen preparation process protocol of the plurality of teacher images and the input teacher image is generated.
  • the image processing apparatus is caused to execute the above.
  • an image processing apparatus operating method an image processing apparatus, and an image processing apparatus operating program capable of increasing the number of teacher images while maintaining the accuracy of diagnosis support.
  • FIG. 1 is a block diagram showing a configuration example of an imaging system including an image processing device according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3 is a diagram showing a list of sample preparation process protocols.
  • FIG. 4 is a diagram showing a spectrum of one pixel of the input teacher image.
  • FIG. 5 is a diagram showing the H dye spectrum of one pixel of the input teacher image.
  • FIG. 6 is a diagram showing the H pigment amount of one pixel of the input teacher image.
  • FIG. 7 is a diagram showing the DAB dye spectrum of one pixel of the input teacher image.
  • FIG. 8 is a diagram showing the DAB dye amount of one pixel of the input teacher image.
  • FIG. 1 is a block diagram showing a configuration example of an imaging system including an image processing device according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 9 is a diagram showing the H dye spectrum of the teacher image to be converted.
  • FIG. 10 is a diagram showing the H pigment amount of the teacher image to be converted.
  • FIG. 11 is a block diagram showing a configuration example of an imaging system including an image processing device according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 13 is a diagram showing a list of sample preparation process protocols.
  • FIG. 14 is a diagram showing the H dye spectrum of each pixel of the input teacher image.
  • FIG. 15 is a diagram showing the DAB dye spectrum of each pixel of the input teacher image.
  • FIG. 16 is a diagram showing how the cell nucleus and the cytoplasm are separated.
  • FIG. 17 is a diagram showing the H dye spectrum of the cell nucleus and the cytoplasm.
  • FIG. 18 is a diagram showing the amount of H pigment in the cell nucleus and cytoplasm.
  • FIG. 19 is a diagram showing DAB dye spectra of cell nuclei and cytoplasm.
  • FIG. 20 is a diagram showing DAB dye amounts in the cell nucleus and cytoplasm.
  • FIG. 21 is a diagram showing the H dye spectrum of the cell nucleus and cytoplasm of the teacher image to be converted.
  • FIG. 22 is a diagram showing the H pigment amounts of the cell nucleus and cytoplasm of the teacher image to be converted.
  • FIG. 23 is a block diagram showing a configuration example of an image pickup system including the image processing device according to the third embodiment of the present invention.
  • FIG. 24 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 25 is a block diagram showing a configuration example of an imaging system including the image processing device according to the fourth embodiment of the
  • Embodiments of an image processing apparatus operating method, an image processing apparatus, and an image processing apparatus operating program according to the present invention will be described below with reference to the drawings.
  • the present invention is not limited to these embodiments.
  • INDUSTRIAL APPLICABILITY The present invention can be applied to an operation method of an image processing apparatus, an image processing apparatus, and an operation program of the image processing apparatus, which perform diagnosis support using a plurality of teacher images.
  • FIG. 1 is a block diagram showing a configuration example of an imaging system including an image processing device according to the first embodiment of the present invention.
  • the image pickup system 1 includes an image pickup apparatus 170 such as a fluorescence microscope, and an image processing apparatus 100 including a computer such as a personal computer connectable to the image pickup apparatus 170.
  • the image processing apparatus 100 is acquired by the image acquisition unit 110 that acquires image data from the imaging apparatus 170, the control unit 120 that controls the operation of the entire system including the image processing apparatus 100 and the imaging apparatus 170, and the image acquisition unit 110.
  • a recording unit 130 that stores image data and the like, an arithmetic unit 140 that executes predetermined image processing based on the image data stored in the recording unit 130, an input unit 150, and a display unit 160 are provided.
  • the image acquisition unit 110 is appropriately configured according to the aspect of the system including the image processing apparatus 100.
  • the image acquisition unit 110 is configured by an interface that captures the image data output from the imaging device 170.
  • the image acquisition unit 110 includes a communication device connected to the server and the like, and performs image data communication with the server to acquire the image data.
  • the image acquisition unit 110 may be configured by a reader device that detachably mounts a portable recording medium and reads out image data recorded on the recording medium.
  • the control unit 120 is configured by using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that perform a specific function such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that perform a specific function such as an ASIC (Application Specific Integrated Circuit).
  • various programs stored in the recording unit 130 are read to give instructions and data to each unit that configures the image processing apparatus 100, and control the overall operation of the image processing apparatus 100. And control.
  • the control unit 120 is a dedicated processor, the processor may execute various processes independently, or by using various data stored in the recording unit 130, the processor and the recording unit 130 cooperate or You may combine and may perform various processes.
  • the control unit 120 includes an image acquisition control unit 121 that controls the operations of the image acquisition unit 110 and the imaging device 170 to acquire an image, and receives an input signal input from the input unit 150 and an input signal from the image acquisition unit 110.
  • the operations of the image acquisition unit 110 and the imaging device 170 are controlled based on the image and the programs and data stored in the recording unit 130.
  • the recording unit 130 is an information storage device such as a ROM (Read Only Memory) such as a rewritable flash memory or various IC memories such as a RAM (Random Access Memory), a hard disk connected to a built-in or data communication terminal, or a DVD-ROM. And an information writing / reading device for the information storage device.
  • the recording unit 130 includes a program recording unit 131 that stores an image processing program, and an image data recording unit 132 that stores image data and various parameters used during execution of the image processing program.
  • the arithmetic unit 140 is configured using a general-purpose processor such as a CPU or a GPU (Graphics Processing Unit), or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • a general-purpose processor such as a CPU or a GPU (Graphics Processing Unit), or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC.
  • the calculation unit 140 is a general-purpose processor
  • the image processing program stored in the program recording unit 131 is read to execute image processing for estimating the depth at which a specific tissue exists based on the multiband image.
  • the processor may execute various processes independently, or by using various data stored in the recording unit 130, the processor and the recording unit 130 cooperate or Image processing may be performed by combining them.
  • the calculation unit 140 includes a dyeing property recording unit 141, a dyeing property estimating unit 142, a dyeing property converting unit 143, and a virtual image generating unit 144.
  • the dyeing characteristic recording unit 141 for a plurality of teacher images, which are stained sample images created by a plurality of different sample manufacturing process protocols including staining with a plurality of dyes, from the spectral spectrum of each pixel for each teacher image.
  • the dye spectrum and dye amount, which are the dyeing properties of each dye in the pixel, are estimated, and the sample preparation process protocol of the teacher image and the estimated dyeing properties are associated and recorded in the recording unit 130.
  • the staining characteristic estimation unit 142 for an input teacher image that is a dyed sample image that is created as a training teacher image and is created by a sample creation process protocol that is different from a plurality of teacher images including dyes with a plurality of dyes, The dyeing characteristic of each dye in each pixel is estimated from the spectrum of each pixel.
  • the dyeing property conversion unit 143 repeatedly converts the dyeing property of each dye of the input teacher image into the dyeing property of each dye of each teacher image recorded in the recording unit 130. However, the dyeing property conversion unit 143 may convert the dyeing property of at least one selected dye in the input teacher image into the dyeing property of the selected dye in any one of the plurality of teacher images.
  • the virtual image generation unit 144 is a virtual stained specimen that is stained by a specimen preparation process protocol different from the specimen preparation process protocol of the plurality of teacher images and the input teacher images based on the dyeing characteristics of the dyes converted by the staining property conversion unit 143. Generate an image. Specifically, the virtual image generation unit 144 stains based on the dyeing characteristics of the dyes converted by the dyeing characteristics conversion unit 143 using a sample preparation process protocol different from the sample preparation process protocol of the input teacher image and the plurality of teacher images. The virtual stained sample image is repeatedly generated.
  • the input unit 150 is configured by various input devices such as a keyboard, a mouse, a touch panel, and various switches, and outputs an input signal according to an operation input to the control unit 120.
  • the display unit 160 is realized by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, and a CRT (Cathode Ray Tube) display, and is based on a display signal input from the control unit 120. Display various screens.
  • a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, and a CRT (Cathode Ray Tube) display, and is based on a display signal input from the control unit 120. Display various screens.
  • the image pickup device 170 includes an image pickup device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and is incident on the light receiving surface of the image pickup device under the control of the image acquisition unit 110 of the image processing device 100. The light is converted into an electric signal according to the intensity of the light and output as image data.
  • the image pickup apparatus 170 may be provided with an RGB camera to capture an RGB image or a multiband image. Multi-band imaging includes a method of changing the wavelength of illumination light, a method of providing a filter on the optical path of light from a light source that is white light to change the wavelength of light to be transmitted, and a method of using a multicolor sensor.
  • the optical path may be branched and light may be simultaneously received by a plurality of cameras having different spectral characteristics.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • the dyeing characteristic recording unit 141 estimates a dye spectrum and a dye amount, which are dyeing characteristics of each dye in each pixel, from the spectral spectrum of each pixel of the teacher image, and prepares a sample of the teacher image.
  • the process protocol and the estimated dyeing characteristic are associated and recorded in the recording unit 130 (step S1).
  • the arithmetic unit 140 determines whether or not the dyeing characteristics of all the teacher images have been estimated (step S2). When the arithmetic unit 140 determines that the dyeing characteristics of all the teacher images have not been estimated, the process returns to step S1 and the process is repeated. That is, the calculation unit 140 repeats the process until the dyeing characteristics of all the teacher images are estimated.
  • FIG. 3 is a diagram showing a list of sample preparation process protocols.
  • the staining characteristic recording unit 141 uses a plurality of different specimen preparation process protocols (Protocol 1) that are stained by the processing of steps S1 and S2, for example, hematoxylin (H) staining and DAB (Diamino Benzidine) staining. 2, ... N), the dye spectrum and the dye amount are estimated as the dyeing characteristics for each of the N teacher images, which are the dyed specimen images, and the recording unit 130 associates them with each other. To record. As a result, the database of dyeing characteristics shown in FIG. 3 can be generated. In the column of the sample preparation process protocol of the database shown in FIG. 3, the process of preparing each teacher image is recorded.
  • conditions such as fixation, excision, embedding, thin sectioning, staining, encapsulation, types of chemicals used, etc. are recorded as a sample preparation process protocol.
  • the dye spectrum and dye amount estimated for each of the H dye and the DAB dye are stored in the column of dyeing characteristics of the database shown in FIG.
  • the file name in which the dyeing characteristics are recorded is described in FIG. 3, for example, in the file “H dye spectrum A”, the data group of the H dye spectrum in each pixel of each teacher image is recorded.
  • a data group of the H pigment amount in each pixel of each teacher image is recorded in the “H pigment amount A” file.
  • the staining may be other counterstaining, special staining, or immunostaining.
  • the dyeing property estimation unit 142 estimates the dyeing property of each dye in each pixel from the spectral spectrum of each pixel for the input teacher image (step S3).
  • the input teacher image is a stained specimen image which is input as a learning teacher image and is prepared by a specimen preparation process protocol including staining by H staining and DAB staining, and the specimen preparation process protocol is N teacher images.
  • the sample preparation process protocol is different from each of the above.
  • FIG. 4 is a diagram showing a spectrum of one pixel of the input teacher image.
  • the dyeing characteristic estimation unit 142 estimates a spectrum as shown in FIG. 4 for each pixel of the input teacher image.
  • FIG. 5 is a diagram showing the H dye spectrum of one pixel of the input teacher image.
  • FIG. 6 is a diagram showing the H pigment amount of one pixel of the input teacher image.
  • FIG. 7 is a diagram showing the DAB dye spectrum of one pixel of the input teacher image.
  • FIG. 8 is a diagram showing the DAB dye amount of one pixel of the input teacher image.
  • the dyeing characteristic estimation unit 142 for each pixel of the input teacher image, changes from the spectrum shown in FIG. 4 to the H dye spectrum shown in FIG. 5, the H dye amount shown in FIG. 6, the DAB dye spectrum shown in FIG. The DAB dye amount shown is estimated respectively.
  • the estimation of dyeing characteristics may be performed from a spectral image, or a spectral spectrum may be estimated from an input image.
  • Japanese Unexamined Patent Application Publication No. 2009-270890 discloses a method of estimating a spectral spectrum from a multiband image. When a pathological sample is observed with transmitted light, the amount of pigment may be estimated based on Lambert-Beer's law because the sample is thin and absorption is dominant. When estimating from a small number of bands, it is preferable to make various efforts to accurately estimate the dye amount. Further, JP 2011-53074 A, JP 2009-8481 A and JP 2012-207961 A disclose methods for estimating a dye spectrum from an input image.
  • a method of using a plurality of dye spectra, a method of correcting the dye spectra to match the measurement spectra, a method of correcting the dye spectra based on a change model, and the like can be appropriately selected and used.
  • the dyeing property conversion unit 143 converts the dyeing property of each dye of the input teacher image into the dyeing property of the dye of the teacher image recorded in the recording unit 130 (step S4).
  • FIG. 9 is a diagram showing the H dye spectrum of the teacher image to be converted.
  • FIG. 10 is a diagram showing the H pigment amount of the teacher image to be converted. 9 and 10 correspond to, for example, the H dye spectrum A and the H dye amount A of Protocol 1 shown in FIG. 3, respectively.
  • the dyeing characteristic conversion unit 143 converts the H pigment spectrum of the input teacher image shown in FIG. 4 into the H pigment spectrum of the teacher image shown in FIG. 9, and the H pigment amount of the input teacher image shown in FIG. It is converted into the H dye amount of the teacher image shown.
  • the H dye spectrum may be obtained by converting the H dye spectrum of each pixel in the input teacher image into a spectrum obtained by averaging the H dye spectrum of each pixel in the teacher image. Further, the H pigment amount may be calculated, for example, according to the ratio of the maximum value of the H pigment spectrum of each pixel of the input teacher image and the average value of the average spectrum of the H pigment spectrum of each pixel in the teacher image. .
  • the DAB dye may be converted in the same manner.
  • the virtual image generation unit 144 stains the sample image with the sample preparation process protocol different from the sample preparation process protocol of the input teacher image and the plurality of teacher images based on the dyeing property of the dye converted by the dyeing property conversion unit 143.
  • the stained specimen image is repeatedly generated (step S5).
  • the calculation unit 140 determines whether or not conversion has been performed for all pigments in all teacher images (step S6).
  • the processing returns to step S4 and the processing is repeated. That is, the calculation unit 140 repeats the process until conversion is performed for all pigments in all teacher images.
  • the input teacher image is converted with the teacher images created by N different sample manufacturing process protocols.
  • a total of 2N virtual stained sample images can be generated.
  • the absorbance a ′ (x, y, ⁇ ) after conversion which is expressed using the coordinates (x, y) and the wavelength ⁇ , is D, which is the reference dye amount of any dye of any teacher image, and which is any teacher.
  • the reference spectrum of an arbitrary dye in the image is A ( ⁇ )
  • the dye amount of the arbitrary dye at the coordinates (x, y) is d (x, y), which can be expressed by the following formula (1).
  • the subscript H represents the dye amount of hematoxylin stain
  • DAB represents the dye amount of DAB stain
  • src represents the dye amount before conversion
  • dest represents the dye amount after conversion.
  • the sRGB image can be expressed by the following equations (3) to (5) using the converted transmittance s (x, y, ⁇ ) obtained by the equation (2).
  • X (x, y), Y (x, y), and Z (x, y) are values in the XYZ color space after conversion of the coordinates (x, y).
  • f X ( ⁇ ), f Y ( ⁇ ), and f Z ( ⁇ ) are values of the XYZ color matching function.
  • sRGB linear can be calculated by the following equation (6).
  • R linear , G linear , and B linear are the values of linear sRGB after conversion.
  • C linear (x, y, b) 0.0031308 (x, y, b)
  • C srgb (x, y, b) 12.96 ⁇ C linear (x, y, b)
  • C srgb (x, y , b) 1.055 ⁇ C linear (x, y, b) by calculating the 1/24 -0.055
  • a non-linear sRCG image can be generated.
  • C linear and C srgb are either values of the converted linear sRGB or values of the converted sRGB.
  • the virtual stained specimen image is not limited to the RGB image, and a special light image, a multiband image, or a spectral image may be generated.
  • a virtual stained sample image is calculated by multiplying the spectral spectrum by the camera sensitivity characteristic and the illumination characteristic.
  • the filter characteristics may be considered in addition to the camera sensitivity characteristics.
  • a large number of pathological specimen images prepared by the virtual specimen preparation process protocol are prepared by exchanging the staining characteristics of the input teacher image and the teacher image. be able to. Then, by using the prepared virtual stained specimen image as a new teacher image, the number of teacher images can be increased in large numbers. In this conversion, since conversion of dye information is performed, the number of teacher images can be increased while maintaining accuracy in diagnosis support. In the first embodiment described above, conversion is performed for all pigments in all teacher images, but a virtual stained specimen image can be created by performing conversion with at least one pigment in at least one teacher image. You can
  • FIG. 11 is a block diagram showing a configuration example of an imaging system including an image processing device according to the second embodiment of the present invention.
  • the calculation unit 140A of the image processing apparatus 100A estimates the tissue to which each pixel belongs from the staining characteristics of each pixel of the plurality of teacher images and the input teacher image. Equipped with.
  • FIG. 12 is a flowchart showing the operation of the image processing apparatus shown in FIG. As shown in FIG. 12, as in the first embodiment, the dyeing characteristic recording unit 141 estimates the dye spectrum and the dye amount, which are the dyeing characteristics of each dye in each pixel, from the spectral spectrum of each pixel of the teacher image ( Step S11).
  • the tissue characteristic estimation unit 145A estimates the tissue to which each pixel belongs from the dyeing characteristics of each pixel of the plurality of teacher images, and records it in the recording unit 130 in association with the sample preparation process protocol of the teacher image and the estimated tissue. Yes (step S12).
  • the calculation unit 140 determines whether or not the organizations of all the teacher images have been estimated (step S13).
  • the process returns to step S1 and the process is repeated. That is, the calculation unit 140 repeats the process until the tissues of all the teacher images are estimated.
  • FIG. 13 is a diagram showing a list of sample preparation process protocols.
  • the calculation unit 140 performs a plurality of different sample preparation process protocols (protocols 1, 2, ... N) stained by, for example, H staining and DAB staining by the processing of steps S11 to S13.
  • the dye spectrum and the dye amount are estimated as the dyeing characteristics of the tissue for each of the N teacher images that are the prepared stained specimen images, and they are recorded in the recording unit 130 in association with each other.
  • a database of tissue staining characteristics shown in FIG. 13 can be generated. Similar to FIG. 3 of the first embodiment, the process of making each teacher image is recorded in the column of the sample making process protocol of the database shown in FIG. In the column of tissue staining characteristics of the database shown in FIG. 13, the dye spectrum and the dye amount estimated for the H dye and the DAB dye are stored for each of the cell nucleus and cytoplasm.
  • the dyeing property estimation unit 142 estimates the dyeing property of each dye in each pixel from the spectral spectrum of each pixel for the input teacher image (step S14).
  • FIG. 14 is a diagram showing the H dye spectrum of each pixel of the input teacher image.
  • FIG. 15 is a diagram showing the DAB dye spectrum of each pixel of the input teacher image.
  • the dyeing characteristic estimation unit 142 estimates the spectrum of each dye shown in FIGS. 14 and 15 from the spectrum shown in FIG.
  • the tissue characteristic estimation unit 145A estimates the tissue to which each pixel belongs from the staining characteristic of each pixel of the input teacher image (step S15).
  • FIG. 16 is a diagram showing how the cell nucleus and the cytoplasm are separated.
  • the tissue characteristic estimation unit 145A estimates and plots the H pigment amount and the H shift amount for each pixel from the H pigment spectrum shown in FIG. Then, each pixel is classified into the cytoplasm contained in the region R1 or the cell nucleus contained in the region R2 according to the region where the plotted points are located.
  • the H shift amount is a value corresponding to the peak of the H dye spectrum.
  • the tissue is not limited to the cell nucleus and cytoplasm, but may be cell membranes, red blood cells, fibers, mucus, fat and the like.
  • the staining characteristics of each tissue may be automatically calculated as disclosed in JP 2012-117844 A and JP 2012-233784 A. From these documents, as a method of automatically calculating the staining characteristics of each tissue, a method of classifying a tissue from a pigment amount distribution or a method of classifying a tissue from a wavelength feature amount such as a wavelength shift amount should be appropriately selected and used. You can Alternatively, the sample pixel of each tissue may be manually selected to set the staining characteristic of each tissue.
  • FIG. 17 is a diagram showing the H dye spectrum of the cell nucleus and cytoplasm.
  • FIG. 18 is a diagram showing the amount of H pigment in the cell nucleus and cytoplasm.
  • FIG. 19 is a diagram showing DAB dye spectra of cell nuclei and cytoplasm.
  • FIG. 20 is a diagram showing DAB dye amounts in the cell nucleus and cytoplasm.
  • the staining characteristic estimation unit 142 for each pixel of the input teacher image, from the spectrum of each pigment shown in FIGS. 14 and 15, the H pigment spectrum of the cell nucleus and cytoplasm shown in FIG. 17, and the cell nucleus and cytoplasm shown in FIG.
  • the amount of H pigment, the DAB pigment spectrum of the cell nucleus and cytoplasm shown in FIG. 19, and the DAB pigment amount of the cell nucleus and cytoplasm shown in FIG. 20 are estimated.
  • the staining characteristic conversion unit 143 converts the staining characteristic of each tissue of the input teacher image into the tissue staining characteristic of the teacher image recorded in the recording unit 130 (step S16).
  • FIG. 21 is a diagram showing the H dye spectrum of the cell nucleus and cytoplasm of the teacher image to be converted.
  • FIG. 22 is a diagram showing the H pigment amounts of the cell nucleus and cytoplasm of the teacher image to be converted. 21 and 22 correspond to "H dye spectrum A1" and "H dye amount A1" of protocol 1 shown in FIG. 13, respectively.
  • the dyeing characteristic conversion unit 143 converts the H pigment spectrum of the input teacher image shown in FIG. 17 into the H pigment spectrum of the teacher image shown in FIG. 21, and the H pigment amount of the input teacher image shown in FIG. It is converted into the H dye amount of the teacher image shown.
  • the virtual image generation unit 144 stains the sample image with the sample preparation process protocol different from the sample preparation process protocol of the input teacher image and the plurality of teacher images based on the tissue staining property converted by the staining property conversion unit 143.
  • the stained specimen image is repeatedly generated (step S17).
  • the calculation unit 140 determines whether or not all the organizations of all the teacher images have been converted (step S18).
  • the process returns to step S16 and the process is repeated. That is, the arithmetic unit 140 repeats the process until conversion is performed for all the tissues of all the teacher images.
  • the input teacher image is converted with the teacher images created by N different sample manufacturing process protocols.
  • the calculation method is the same as that in the first embodiment, but when calculating the absorbance a ′ (x, y, ⁇ ), the absorbance of the cell nucleus is calculated by the following equation (7) instead of the equation (1).
  • the absorbance of the cytoplasm can be calculated by the following formula (8) instead of the formula (1).
  • FIG. 23 is a block diagram showing a configuration example of an image pickup system including the image processing device according to the third embodiment of the present invention.
  • the calculation unit 140B of the image processing apparatus 100B extracts the correct answer image of the input image from the data set of the plurality of teacher images or the sample making process protocol of the input teacher image and the correct answer image.
  • An estimation operator calculation unit 146B that calculates an estimation operator that performs estimation or class classification using regression analysis, and a correct image estimation unit 147B that estimates a correct image from an input image based on the estimation operator.
  • FIG. 24 is a flowchart showing the operation of the image processing apparatus shown in FIG. Before performing the processing of FIG. 24, the series of processing described in FIG. 12 has already been performed. As shown in FIG. 24, a dye spectrum and a dye amount, which are dyeing characteristics of each dye in each pixel, are estimated from the spectral spectrum of each pixel with respect to an input image that is a dyed specimen image including dyeing with a plurality of dyes ( Step S21).
  • the tissue characteristic estimation unit 145A estimates the tissue to which each pixel belongs from the staining characteristic of each pixel of the input image, and records it in the recording unit 130 in association with the sample preparation process protocol of the input image and the estimated tissue ( Step S22).
  • the estimation operator calculation unit 146B determines an estimation operator that performs the estimation or class classification using the regression analysis of the correct image of the input image from the data set of the plurality of teacher images or the sample preparation process protocol of the input teacher image and the correct image. Calculate (step S23).
  • the estimation using regression analysis may be linear regression or machine learning (including deep learning). Therefore, the estimation operator may be a regression matrix or a deep learning network.
  • the class classification may be linear discrimination or machine learning (including deep learning). Therefore, the estimation operator may be a linear discriminant function or a deep learning network.
  • the correct image estimation unit 147B estimates the correct image from the input image based on the estimation operator (step S24).
  • the regression matrix is represented by the following formula (9), where e, r, g, and b are pixel values of the correct image estimated at arbitrary coordinates of the input image, and m R , m G , and m B are regression matrices. It can be expressed as (10).
  • regression estimation is performed using “Image-to-Image Translation with Conditional Advertisement Networks”, arXiv: 1611.07004v1 [cs. CV] 21 Nov 2016 can be optimized by the method described in it.
  • transfer learning may be performed using a network learned for another purpose. Estimates can be easily made by transfer learning.
  • the configuration for performing machine learning (including deep learning) and the correct image estimation unit 147B may have different configurations. Furthermore, the configuration for performing machine learning (including deep learning) may be provided in a server or the like connected via an Internet line.
  • Modification 3-1 In the modified example 3-1, a data set of an immunostained image as a teacher image and an image in which positive cells and negative cells are detected from the immunostained image as a correct image is prepared.
  • the correct image can be prepared, for example, by a doctor manually marking regions corresponding to positive cells and negative cells on an immunostained image.
  • the estimation operator calculation unit 146B calculates, as an estimation operator, a class classification process for classifying the input image, which is an immunostained image, into positive cells, negative cells, and other regions based on the prepared data set.
  • the correct image estimation unit 147B estimates an image in which positive cells and negative cells are detected as correct images from the input image, based on the estimation operator. As a result, the pathologist can easily distinguish the positive cells and the negative cells from the correct image, and the burden on the pathologist is reduced.
  • Modification 3-2 a data set of an HE-stained image as a teacher image and an image in which a normal region and a cancer region are detected from the HE-stained image as a correct image is prepared.
  • the correct image can be prepared, for example, by a doctor manually marking areas corresponding to the normal area and the cancer area on the HE-stained image.
  • the estimation operator calculation unit 146B calculates, as an estimation operator, a class classification process for classifying the input image, which is an HE-stained image, into a normal region and a cancer region based on the prepared data set.
  • the correct image estimation unit 147B estimates an image in which a normal region and a cancer region are detected as correct images from the input image based on the estimation operator. As a result, the pathologist can easily identify the normal area and the cancer area from the correct image, and the burden on the pathologist is reduced.
  • Modification 3-3 a data set of a multiple-stained sample image as a teacher image and a dye spectrum image or a dye amount image of each stain from the multiple-stained sample image as a correct image is prepared.
  • the correct answer image can be calculated from the spectral image.
  • the estimation operator calculating unit 146B calculates, as an estimation operator, a process of regression-estimating a virtual dye spectrum image or dye amount image of each stain from an input image which is a multi-stained sample image, based on the prepared data set.
  • the correct image estimation unit 147B estimates a virtual dye spectrum image or dye amount image of each stain from the input image as a correct image based on the estimation operator.
  • Modification 3-4 a data set of an IHC stained image as a teacher image and a standard stained characteristic image of a standard sample making process protocol as a correct image is prepared.
  • the estimation operator calculation unit 146B calculates, as an estimation operator, a process of regression-estimating the standard staining characteristic image from the input image which is the IHC staining image, based on the prepared data set.
  • the correct image estimation unit 147B estimates the standard dyeing characteristic image as the correct image from the input image based on the estimation operator.
  • Modification 3-5 a data set of a tissue sample image as a teacher image and an image in which tissues such as cell nuclei and cytoplasm are classified with respect to the tissue sample image as a correct image is prepared.
  • the estimation operator calculation unit 146B calculates, as an estimation operator, a class classification process for classifying an input image, which is a tissue sample image, into cell nucleus, cytoplasm, etc. based on the prepared data set.
  • the correct image estimation unit 147B estimates an image classified as a correct image from the input image into cell nuclei, cytoplasm, etc. based on the estimation operator.
  • FIG. 25 is a block diagram showing a configuration example of an imaging system including the image processing device according to the fourth embodiment of the present invention.
  • the imaging system 1C according to the fourth embodiment includes a microscope device 200 provided with an imaging device 170 and an image processing device 100.
  • the image processing apparatus 100A or the image processing apparatus 100B shown in FIG. 10 may be provided.
  • the microscope apparatus 200 includes a substantially C-shaped arm 200a provided with an epi-illumination unit 201 and a transillumination unit 202, a sample stage 203 mounted on the arm 200a, on which an object SP to be observed is mounted, and a mirror. It has an objective lens 204 provided on one end side of the tube 205 so as to face the sample stage 203 via a trinocular tube unit 207, and a stage position changing unit 206 for moving the sample stage 203.
  • the trinocular barrel unit 207 branches the observation light of the subject SP incident from the objective lens 204 into an imaging device 170 provided on the other end side of the lens barrel 205 and an eyepiece lens unit 208 described later.
  • the eyepiece lens unit 208 is for the user to directly observe the subject SP.
  • the epi-illumination unit 201 includes an epi-illumination light source 201a and an epi-illumination optical system 201b, and irradiates the subject SP with epi-illumination light.
  • the epi-illumination optical system 201b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the epi-illumination light source 201a and guide it in the direction of the observation optical path L.
  • the transillumination unit 202 includes a transillumination light source 202a and a transillumination optical system 202b, and emits transillumination light to the subject SP.
  • the transmitted illumination optical system 202b includes various optical members (a filter unit, a shutter, a field stop, an aperture stop, etc.) that collects the illumination light emitted from the transmitted illumination light source 202a and guides it in the direction of the observation optical path L.
  • the objective lens 204 is attached to a revolver 209 capable of holding a plurality of objective lenses having different magnifications (for example, the objective lenses 204 and 204 ').
  • the imaging magnification can be changed by rotating the revolver 209 and changing the objective lenses 204 and 204 ′ facing the sample stage 203.
  • a zoom unit including a plurality of zoom lenses and a drive unit that changes the positions of these zoom lenses is provided inside the lens barrel 205.
  • the zoom unit enlarges or reduces the subject image in the imaging field of view by adjusting the position of each zoom lens.
  • the stage position changing unit 206 includes a driving unit 206a such as a stepping motor, and changes the imaging field of view by moving the position of the sample stage 203 within the XY plane. Further, the stage position changing unit 206 moves the sample stage 203 along the Z axis so that the objective lens 204 is focused on the subject SP.
  • a driving unit 206a such as a stepping motor
  • Multi-band imaging of the magnified image of the subject SP generated by the microscope apparatus 200 is performed by the imaging device 170, and a teacher image, which is a color image of the subject SP, is displayed on the display unit 160. Then, the image processing apparatus 100, the image processing apparatus 100A, or the image processing apparatus 100B generates a virtual stained specimen image from the teacher image.
  • Imaging system 100, 100A, 100B Image processing device 110 Image acquisition unit 120 Control unit 121 Image acquisition control unit 130 Recording unit 131 Program recording unit 132 Image data recording unit 140, 140A, 140B Computing unit 141 Staining Characteristic recording unit 142 Staining characteristic estimation unit 143 Staining characteristic conversion unit 144 Virtual image generation unit 145A Tissue characteristic estimation unit 146B Estimated operator calculation unit 147B Correct answer image estimation unit 150 Input unit 160 Display unit 170 Imaging device 200 Microscope device 200a Arm 201 Epi-illumination Unit 201a Epi-illumination light source 201b Epi-illumination optical system 202 Transmission illumination unit 202a Transmission illumination light source 202b Transmission illumination optical system 203 Specimen stage 204, 204 'Objective lens 205 Lens barrel 206 Stage Location changing unit 206a driver 207 trinocular unit 208 ocular units 209 revolver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

画像処理装置は、染色特性記録部が、染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の色素の前記染色特性を、教師画像の色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、仮想的な染色標本画像を生成する。これにより、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置を提供する。

Description

画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
　本発明は、画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムに関する。
　病理診断では、患者から摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入等の処理を施して、病理標本を作製する。そして、病理標本を顕微鏡により観察し、組織形状や染色状態から病気の有無や程度を診断する。
　病理診断では、一次診断を行い、病気が疑われる場合に二次診断を行う。一次診断では、病理標本の組織形状から病気の有無を診断する。例えば、標本にＨＥ染色（ヘマトキシリン－エオジン染色）を施し、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色される。病理医は、組織形状から形態学的に病気の有無を診断する。
　二次診断では、分子の発現から病気の有無を診断する。例えば、標本に免疫染色を施し、抗原・抗体反応から分子の発現を可視化する。そして、病理医が、分子の発現から病気の有無を診断する。また、病理医は、陽性率（陰性細胞と陽性細胞との比率）から適切な治療方法を選択する。
　病理標本は、顕微鏡にカメラを接続して撮像することにより、画像化することができる。また、バーチャル顕微鏡システム（バーチャルスライドシステム）では、病理標本全体を画像化することができる。病理標本を画像化することにより、教育や遠隔病理等に画像を利用することができる。
　さらに、病理標本画像に対して画像処理を施すことにより、診断を支援する方法が開発されている。診断支援には、病理医の診断を画像処理により模倣する方法と、大量の教師画像を用いて機械学習を行う方法とがある。機械学習には、線形判別、深層学習等が用いられる。病理診断は、病理医の不足等により病理医の負担が大きくなっている。そのため、診断支援により、病理医の負担を軽減することが期待されている。
　深層学習は、予め設定された特徴量を自動的に計算できる機能を有し、計算資源の進歩にともなって実用され始めており、画像認識や音声認識を中心に幅広い用途で利用されている。深層学習は、病理標本画像の解析にも用いられており、非特許文献１には、深層学習を用いて、病理標本画像から乳がんを高精度に検出する方法が開示されている。深層学習は、精度のよい多数の教師画像を用意することができれば、従来の画像処理と比較しても容易に高精度な診断支援を行うことができる。
　病理標本画像には、様々な原因により色ばらつきが生じる。例えば、染色濃度等の標本作製状態は、病理医の好みや、臨床検査技師のスキル、標本作製設備の性能に応じて色ばらつきが生じる。その結果、病理標本画像の色ばらつきが、教師画像の範囲から外れる場合、その画像に対する診断支援を適切に行うことができない。そこで、適切に診断支援を行うためには、複数の標本作製施設において異なる標本作製工程によって生成された多数の教師画像を収集することが求められる。
　しかしながら、複数の標本製作施設においてあらゆる標本作製工程にそれぞれ対応して生成された画像を収集することは困難である。そのため、従来、教師画像の標本作製工程とは異なる標本作製工程によって生成された画像は、診断支援の対象外とされていた。また、教師画像に色空間内において画像補正を施し、教師画像の枚数を増やす技術もあるが、色空間内における画一的な画像補正では、診断支援の精度が低下してしまう。
　本発明は、上記に鑑みてなされたものであって、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置の作動方法は、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
　また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
　また、本発明の一態様に係る画像処理装置の作動方法は、組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。
　また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する。
　また、本発明の一態様に係る画像処理装置の作動方法は、前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする。
　また、本発明の一態様に係る画像処理装置は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、を備える。
　また、本発明の一態様に係る画像処理装置の作動プログラムは、染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、を画像処理装置に実行させる。
　本発明によれば、診断支援における精度を維持しながら教師画像の枚数を増やすことができる画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムを実現することができる。
図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、標本作製工程プロトコルの一覧を表す図である。 図４は、入力教師画像の一画素の分光スペクトルを表す図である。 図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。 図６は、入力教師画像の一画素のＨ色素量を表す図である。 図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。 図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。 図９は、変換する教師画像のＨ色素スペクトルを表す図である。 図１０は、変換する教師画像のＨ色素量を表す図である。 図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。 図１３は、標本作製工程プロトコルの一覧を表す図である。 図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。 図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。 図１６は、細胞核と細胞質とを分離する様子を表す図である。 図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。 図１８は、細胞核と細胞質とのＨ色素量を表す図である。 図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。 図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。 図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。 図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。 図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。 図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。 図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。
　以下に、図面を参照して本発明に係る画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、複数の教師画像を用いて診断支援を行う画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム一般に適用することができる。
　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１に示すように、撮像システム１は、蛍光顕微鏡等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。
　画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記録部１３０と、記録部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０と、を備える。
　画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば、撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
　制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記録部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して種々の処理を実行しても良い。
　制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記録部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。
　記録部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＤＶＤ－ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記録部１３０は、画像処理プログラムを記憶するプログラム記録部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記録部１３２と、を備える。
　演算部１４０は、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記録部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部１３０が記憶する各種データ等を用いることで、プロセッサと記録部１３０が協働又は結合して画像処理を実行しても良い。
　詳細には、演算部１４０は、染色特性記録部１４１と、染色特性推定部１４２と、染色特性変換部１４３と、仮想画像生成部１４４と、を備える。
　染色特性記録部１４１は、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する。
　染色特性推定部１４２は、複数の色素による染色を含む複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力されたた染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する。
　染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された各教師画像の各色素の染色特性に繰り返し変換する。ただし、染色特性変換部１４３は、入力教師画像の少なくとも１つの選択した色素の染色特性を、複数の教師画像のうちいずれか１つの教師画像の選択した色素の染色特性に変換すればよい。
　仮想画像生成部１４４は、染色特性変換部１４３が変換した色素の染色特性に基づいて、複数の教師画像及び入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する。具体的には、仮想画像生成部１４４が、染色特性変換部１４３が変換した各色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する。
　入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。
　表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ　ＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。
　撮像装置１７０は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を含み、画像処理装置１００の画像取得部１１０による制御のもと、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。なお、撮像装置１７０は、ＲＧＢカメラを備え、ＲＧＢ画像を撮影してもよいし、マルチバンド画像を撮影してもよい。マルチバンド撮影には、照明光の波長を変更する方法、白色光である光源からの光の光路上にフィルタを設けて透過させる光の波長を変更する方法、多色センサを用いる方法がある。光路上にフィルタを設ける方法には、複数枚の透過させる波長が異なるバンドパスフィルタを用いる方法、回折格子を用いる方法、液晶又は音響による波長可変フィルタを用いる方法がある。また、光路を分岐して分光特性の異なる複数のカメラで同時受光してもよい。
　次に、本実施の形態１に係る撮像システムを用いて仮想的な教師画像を生成する処理を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。図２に示すように、まず、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと推定した染色特性とを関連づけて記録部１３０に記録する（ステップＳ１）。
　続いて、演算部１４０は、全ての教師画像の染色特性を推定したか否かを判定する（ステップＳ２）。演算部１４０が、全ての教師画像の染色特性を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の染色特性を推定するまで、処理を繰り返す。
　図３は、標本作製工程プロトコルの一覧を表す図である。図３に示すように、染色特性記録部１４１は、ステップＳ１～Ｓ２の処理により、例えばヘマトキシリン（Ｈ）染色、ＤＡＢ（Ｄｉａｍｉｎｏ　Ｂｅｎｚｉｄｉｎｅ）染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図３に示す染色特性のデータベースを生成することができる。図３に示すデータベースの標本作製工程プロトコルの欄には、各教師画像を作製した際の工程が記録されている。具体的には、固定、切り出し、包埋、薄切、染色、封入時の条件や使用した薬品の種類等を標本作製工程プロトコルとして記録する。また、図３に示すデータベースの染色特性の欄には、Ｈ色素、ＤＡＢ色素のそれぞれについて推定した色素スペクトル及び色素量が格納されている。図３には、染色特性を記録したファイル名のみが記載されているが、例えば「Ｈ色素スペクトルＡ」のファイルには、各教師画像の各画素におけるＨ色素スペクトルのデータ群が記録されており、「Ｈ色素量Ａ」のファイルには、各教師画像の各画素におけるＨ色素量のデータ群が記録されている。なお、実施の形態１において、ヘマトキシリン染色、ＤＡＢ染色により染色を行う例について説明するが、染色は、他の対比染色、特殊染色、免疫染色でもよい。
　その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ３）。入力教師画像は、学習用の教師画像として入力され、Ｈ染色、ＤＡＢ染色による染色を含む標本作製工程プロトコルにより作製された染色標本画像であって、その標本作製工程プロトコルは、Ｎ枚の教師画像のそれぞれと異なる標本作製工程プロトコルである。
　図４は、入力教師画像の一画素の分光スペクトルを表す図である。染色特性推定部１４２は、図４に示すような分光スペクトルを入力教師画像の各画素について推定する。
　図５は、入力教師画像の一画素のＨ色素スペクトルを表す図である。図６は、入力教師画像の一画素のＨ色素量を表す図である。図７は、入力教師画像の一画素のＤＡＢ色素スペクトルを表す図である。図８は、入力教師画像の一画素のＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図４に示す分光スペクトルから、図５に示すＨ色素スペクトル、図６に示すＨ色素量、図７に示すＤＡＢ色素スペクトル、図８に示すＤＡＢ色素量をそれぞれ推定する。
　染色特性の推定は、分光画像から推定してもよいし、入力画像から分光スペクトルを推定してもよい。特開２００９－２７０８９０号公報には、多バンド画像から分光スペクトルを推定する方法が開示されている。病理標本を透過光で観察する場合、標本が薄く、吸収が支配的であるから、ランベルト・ベールの法則に基づいて、色素量を推定してもよい。少バンド数から推定する場合、正確に色素量を推定するために様々な工夫をなすことが好ましい。また、特開２０１１－５３０７４号公報、特開２００９－８４８１号公報、特開２０１２－２０７９６１号公報には、入力画像から色素スペクトルを推定する方法が開示されている。これらの文献から、複数の色素スペクトルを用いる方法、色素スペクトルを計測スペクトルに一致するように補正する方法、色素スペクトルを変化モデルに基づいて補正する方法等を適宜選択して用いることができる。
　さらに、染色特性変換部１４３は、入力教師画像の各色素の染色特性を、記録部１３０に記録された教師画像の色素の染色特性に変換する（ステップＳ４）。図９は、変換する教師画像のＨ色素スペクトルを表す図である。図１０は、変換する教師画像のＨ色素量を表す図である。図９及び図１０は、例えば図３に示すプロトコル１のＨ色素スペクトルＡ及びＨ色素量Ａにそれぞれ対応する。そして、染色特性変換部１４３は、図４に示す入力教師画像のＨ色素スペクトルを図９に示す教師画像のＨ色素スペクトルに変換し、図５に示す入力教師画像のＨ色素量を図１０に示す教師画像のＨ色素量に変換する。なお、Ｈ色素スペクトルは、例えば入力教師画像の各画素のＨ色素スペクトルを教師画像内の各画素のＨ色素スペクトルを平均したスペクトルと変換すればよい。また、Ｈ色素量は、例えば入力教師画像の各画素のＨ色素スペクトルの最大値と、教師画像内の各画素のＨ色素スペクトルの平均したスペクトルの最大値との比率に応じて算出すればよい。ＤＡＢ色素についても同様の方法で変換すればよい。
　そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した色素の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ５）。
　続いて、演算部１４０は、全ての教師画像の全ての色素について変換したか否かを判定する（ステップＳ６）。演算部１４０が、全ての教師画像の全ての色素について変換していないと判定した場合、ステップＳ４に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての色素について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、Ｈ色素を変換する場合と、ＤＡＢ色素を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
　以下において、具体的な計算方法を説明する。まず、座標（ｘ，ｙ）と波長λを用いて表される変換後の吸光度ａ’（ｘ，ｙ，λ）は、任意の教師画像の任意の色素の基準色素量をＤ、任意の教師画像の任意の色素の基準スペクトルをＡ（λ）、座標（ｘ，ｙ）の任意の色素の色素量をｄ（ｘ，ｙ）として、以下の式（１）のように表すことができる。なお、添え字Ｈはヘマトキシリン染色の色素量、ＤＡＢはＤＡＢ染色の色素量、ｓｒｃは変換前の色素量、ｄｅｓｔは変換後の色素量を表す。
Figure JPOXMLDOC01-appb-M000001
　続いて、変換後の透過率ｓ（ｘ，ｙ，λ）は、式（１）により求めた変換後の吸光度ａ’（ｘ，ｙ，λ）を用いて、以下の式（２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　さらに、ｓＲＧＢ画像は、式（２）により求めた変換後の透過率ｓ（ｘ，ｙ，λ）を用いて、以下の式（３）～（５）のように表すことができる。なお、Ｘ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）は、座標（ｘ，ｙ）の変換後のＸＹＺ色空間の値である。また、ｆＸ（λ）、ｆＹ（λ）、ｆＺ（λ）は、ＸＹＺ等色関数の値である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　そして、ｓＲＧＢｌｉｎｅａｒは、以下の式（６）により算出することができる。なお、Ｒｌｉｎｅａｒ、Ｇｌｉｎｅａｒ、Ｂｌｉｎｅａｒは、変換後の線形ｓＲＧＢの値である。
Figure JPOXMLDOC01-appb-M000006
　さらに、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）≦０．００３１３０８（ｘ，ｙ，ｂ）の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１２．９６・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）、Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）＞０．００３１３０８の場合、Ｃｓｒｇｂ（ｘ，ｙ，ｂ）＝１．０５５・Ｃｌｉｎｅａｒ（ｘ，ｙ，ｂ）１／２４－０．０５５を計算することにより、非線形なｓＲＣＧ画像を生成することができる。なお、Ｃｌｉｎｅａｒ、Ｃｓｒｇｂは、変換後の線形ｓＲＧＢのいずれかの値、変換後のｓＲＧＢのいずれかの値である。
　なお、仮想的な染色標本画像として、ＲＧＢ画像に限らず、特殊光画像、多バンド画像、又は、分光画像を生成してもよい。特殊光画像、多バンド画像を生成する場合は、分光スペクトルにカメラ感度特性及び照明特性を乗算することにより仮想的な染色標本画像を算出する。なお、カメラ感度特性に加えてフィルタ特性を考慮してもよい。
　以上説明したように、実施の形態１によれば、入力教師画像の染色特性と教師画像の染色特性とを入れ換えることにより、仮想的な標本作製工程プロトコルにより作製した多数の病理標本画像を作製することができる。そして、作製した仮想的な染色標本画像を新たな教師画像とすることにより、教師画像の枚数を大量に増やすことができる。この変換では、色素の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。なお、上述した実施の形態１では、全ての教師画像の全ての色素について変換を行ったが、少なくとも１枚の教師画像の１つの色素と変換を行えば仮想的な染色標本画像を作製することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図１１は、本発明の実施の形態２に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図１１に示すように、撮像システム１Ａにおいて、画像処理装置１００Ａの演算部１４０Ａは、複数の教師画像及び入力教師画像の各画素の染色特性から各画素が属する組織を推定する組織特性推定部１４５Ａを備える。
　図１２は、図１１に示す画像処理装置の動作を示すフローチャートである。図１２に示すように、実施の形態１と同様に、染色特性記録部１４１は、教師画像の各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ１１）。
　そして、組織特性推定部１４５Ａは、複数の教師画像の各画素の染色特性から各画素が属する組織を推定し、該教師画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ１２）。
　続いて、演算部１４０は、全ての教師画像の組織を推定したか否かを判定する（ステップＳ１３）。演算部１４０が、全ての教師画像の組織を推定していないと判定した場合、ステップＳ１に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の組織を推定するまで、処理を繰り返す。
　図１３は、標本作製工程プロトコルの一覧を表す図である。図１３に示すように、演算部１４０は、ステップＳ１１～Ｓ１３の処理により、例えばＨ染色、ＤＡＢ染色により染色された互いに異なる複数の標本作製工程プロトコル（プロトコル１、２、・・・Ｎ）により作製された染色標本画像であるＮ枚の教師画像に対して、教師画像ごとに組織の染色特性として色素スペクトル及び色素量を推定し、それらを互いに関連づけて記録部１３０に記録する。その結果、図１３に示す組織の染色特性のデータベースを生成することができる。図１３に示すデータベースの標本作製工程プロトコルの欄には、実施の形態１の図３と同様に、各教師画像を作製した際の工程が記録されている。また、図１３に示すデータベースの組織の染色特性の欄には、細胞核及び細胞質のそれぞれについて、Ｈ色素、ＤＡＢ色素にそれぞれについて推定した色素スペクトル及び色素量が格納されている。
　その後、染色特性推定部１４２は、入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性を推定する（ステップＳ１４）。
　図１４は、入力教師画像の各画素のＨ色素スペクトルを表す図である。図１５は、入力教師画像の各画素のＤＡＢ色素スペクトルを表す図である。染色特性推定部１４２は、図４に示す分光スペクトルから、図１４、図１５に示す各色素のスペクトルを推定する。
　続いて、組織特性推定部１４５Ａは、入力教師画像の各画素の染色特性から各画素が属する組織を推定する（ステップＳ１５）。図１６は、細胞核と細胞質とを分離する様子を表す図である。組織特性推定部１４５Ａは、図１４に示すＨ色素スペクトルから、画素ごとにＨ色素量とＨシフト量とを推定してプロットする。そして、プロットした点が位置する領域に応じて、領域Ｒ１に含まれる細胞質か、領域Ｒ２に含まれる細胞核か、各画素を分類する。なお、Ｈシフト量とは、Ｈ色素スペクトルのピークに対応する値である。また、組織は、細胞核、細胞質に限られず、細胞膜、赤血球、線維、粘液、脂肪等であってもよい。
　なお、特開２０１２－１１７８４４号公報及び特開２０１２－２３３７８４号公報に開示されているように、各組織の染色特性を自動的に算出してもよい。これらの文献から、各組織の染色特性を自動的に算出する方法は、色素量分布から組織分類する方法、又は波長シフト量等の波長特徴量から組織分類する方法等を適宜選択して用いることができる。また、手動により各組織のサンプル画素を選択し、各組織の染色特性を設定してもよい。
　図１７は、細胞核と細胞質とのＨ色素スペクトルを表す図である。図１８は、細胞核と細胞質とのＨ色素量を表す図である。図１９は、細胞核と細胞質とのＤＡＢ色素スペクトルを表す図である。図２０は、細胞核と細胞質とのＤＡＢ色素量を表す図である。染色特性推定部１４２は、入力教師画像の各画素について、図１４、図１５に示す各色素のスペクトルから、図１７に示す細胞核と細胞質とのＨ色素スペクトル、図１８に示す細胞核と細胞質とのＨ色素量、図１９に示す細胞核と細胞質とのＤＡＢ色素スペクトル、図２０に示す細胞核と細胞質とのＤＡＢ色素量をそれぞれ推定する。
　さらに、染色特性変換部１４３は、入力教師画像の各組織の染色特性を、記録部１３０に記録された教師画像の組織の染色特性に変換する（ステップＳ１６）。図２１は、変換する教師画像の細胞核と細胞質とのＨ色素スペクトルを表す図である。図２２は、変換する教師画像の細胞核と細胞質とのＨ色素量を表す図である。図２１及び図２２は、例えば図１３に示すプロトコル１の「Ｈ色素スペクトルＡ１」及び「Ｈ色素量Ａ１」にそれぞれ対応する。そして、染色特性変換部１４３は、図１７に示す入力教師画像のＨ色素スペクトルを図２１に示す教師画像のＨ色素スペクトルに変換し、図１８に示す入力教師画像のＨ色素量を図２２に示す教師画像のＨ色素量に変換する。
　そして、仮想画像生成部１４４が、染色特性変換部１４３が変換した組織の染色特性に基づいて、入力教師画像及び複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する（ステップＳ１７）。
　続いて、演算部１４０は、全ての教師画像の全ての組織について変換したか否かを判定する（ステップＳ１８）。演算部１４０が、全ての教師画像の全ての組織について変換していないと判定した場合、ステップＳ１６に戻り処理が繰り返される。すなわち、演算部１４０は、全ての教師画像の全ての組織について変換するまで、処理を繰り返す。その結果、入力教師画像に対して、Ｎ枚の異なる標本作製工程プロトコルにより作製された教師画像と変換が行われる。さらに、細胞核を変換する場合と、細胞質を変換する場合とを考慮すると、合計で２Ｎ枚の仮想的な染色標本画像を生成することができる。
　なお、計算方法は、実施の形態１と同様であるが、吸光度ａ’（ｘ，ｙ，λ）を計算する際に、細胞核の吸光度は、式（１）に代えて以下の式（７）により求めることができ、細胞質の吸光度は、式（１）に代えて以下の式（８）により求めることができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　以上説明したように、実施の形態２によれば、組織の情報を維持した変換を行うため、診断支援における精度を維持しながら教師画像の枚数を増やすことができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図２３は、本発明の実施の形態３に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２３に示すように、撮像システム１Ｂにおいて、画像処理装置１００Ｂの演算部１４０Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する推定オペレータ算出部１４６Ｂと、推定オペレータに基づいて、入力画像から正解画像を推定する正解画像推定部１４７Ｂと、を備える。
　図２４は、図２３に示す画像処理装置の動作を示すフローチャートである。図２４の処理を行う前に、図１２に記載した一連の処理は既に行われている。図２４に示すように、複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定する（ステップＳ２１）。
　そして、組織特性推定部１４５Ａは、入力画像の各画素の染色特性から各画素が属する組織を推定し、該入力画像の標本作製工程プロトコルと推定した組織とを関連づけて記録部１３０に記録する（ステップＳ２２）。
　推定オペレータ算出部１４６Ｂは、複数の教師画像又は入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出する（ステップＳ２３）。
　回帰分析を用いた推定は、線形回帰でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、回帰行列でもよいし、深層学習のネットワークでもよい。
　また、クラス分類は、線形判別でもよいし、機械学習（深層学習を含む）でもよい。従って、推定オペレータは、線形判別関数でもよいし、深層学習のネットワークでもよい。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像を推定する（ステップＳ２４）。
　以下において、具体的な計算方法を説明する。まず、回帰行列は、ｅ、ｒ、ｇ、ｂを入力画像の任意の座標において推定される正解画像の画素値、ｍＲ、ｍＧ、ｍＢを回帰行列として、以下の式（９）、（１０）のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　また、Ｅ、Ｃ、Ｍを行列表記とすると、以下の式（１１）、（１２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　また、深層学習のネットワークを用いる場合、回帰推定は、“Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ　Ｔｒａｎｓｌａｔｉｏｎ　ｗｉｔｈ　Ｃｏｎｄｉｔｉｏｎａｌ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋｓ”　，　ａｒＸｉｖ：１６１１．０７００４ｖ１　［ｃｓ．ＣＶ］　２１　Ｎｏｖ　２０１６に記載されている方法によって最適化することができる。
　また、クラス分類を行う場合、“ＩｍａｇｅＮｅｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｗｉｔｈ　Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ”　，　Ａｌｅｘ　Ｋｒｉｚｈｅｖｓｋｙ　ａｎｄ　Ｓｕｔｓｋｅｖｅｒ，　Ｉｌｙａ　ａｎｄ　Ｇｅｏｆｆｒｅｙ　Ｅ．　Ｈｉｎｔｏｎ　－　ＮＩＰＳ２０１２＿４８２４に記載されている方法によって最適化することができる。
　また、別の用途のために学習したネットワークを利用して、転移学習を行ってもよい。転移学習によって、容易に推定を行うことができる。
　なお、機械学習（深層学習を含む）を行う構成と、正解画像推定部１４７Ｂとを別の構成としてもよい。さらに、機械学習（深層学習を含む）を行う構成は、インターネット回線を経由して接続されたサーバ等に設けられていてもよい。
（変形例３－１）
　変形例３－１では、教師画像としての免疫染色画像と、正解画像としての免疫染色画像から陽性細胞及び陰性細胞を検出した画像とのデータセットを用意する。正解画像は、例えば免疫染色画像に対して、医師が手作業で陽性細胞及び陰性細胞に対応する領域をマーキングすることにより準備することができる。
　推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、免疫染色画像である入力画像を陽性細胞、陰性細胞、それ以外の領域に分類するクラス分類処理を推定オペレータとして算出する。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として陽性細胞及び陰性細胞を検出した画像を推定する。その結果、病理医は、正解画像により陽性細胞及び陰性細胞を容易に識別することができ、病理医の負担が軽減される。
（変形例３－２）
　変形例３－２では、教師画像としてのＨＥ染色画像と、正解画像としてのＨＥ染色画像から正常領域及びがん領域を検出した画像とのデータセットを用意する。正解画像は、例えばＨＥ染色画像に対して、医師が手作業で正常領域及びがん領域に対応する領域をマーキングすることにより準備することができる。
　推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＨＥ染色画像である入力画像を正常領域、がん領域に分類するクラス分類処理を推定オペレータとして算出する。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として正常領域及びがん領域を検出した画像を推定する。その結果、病理医は、正解画像により正常領域及びがん領域を容易に識別することができ、病理医の負担が軽減される。
（変形例３－３）
　変形例３－３では、教師画像としての多重染色標本画像と、正解画像としての多重染色標本画像から各染色の色素スペクトル画像又は色素量画像とのデータセットを用意する。正解画像は、分光画像から算出することができる。
　推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、多重染色標本画像である入力画像から各染色の仮想的な色素スペクトル画像又は色素量画像を回帰推定する処理を推定オペレータとして算出する。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として各染色の仮想的な色素スペクトル画像又は色素量画像を推定する。
（変形例３－４）
　変形例３－４では、教師画像としてのＩＨＣ染色画像と、正解画像として標準とする標本作製工程プロトコルの標準染色特性画像とのデータセットを用意する。
　推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、ＩＨＣ染色画像である入力画像から標準染色特性画像を回帰推定する処理を推定オペレータとして算出する。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として標準染色特性画像を推定する。
（変形例３－５）
　変形例３－５では、教師画像としての組織標本画像と、正解画像としての組織標本画像に対して細胞核、細胞質等の組織を分類した画像とのデータセットを用意する。
　推定オペレータ算出部１４６Ｂは、用意したデータセットに基づいて、組織標本画像である入力画像を細胞核、細胞質等に分類するクラス分類処理を推定オペレータとして算出する。
　正解画像推定部１４７Ｂは、推定オペレータに基づいて、入力画像から正解画像として細胞核、細胞質等に分類した画像を推定する。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。図２５は、本発明の実施の形態４に係る画像処理装置を含む撮像システムの構成例を示すブロック図である。図２５に示すように、本実施の形態４に係る撮像システム１Ｃは、撮像装置１７０が設けられた顕微鏡装置２００と、画像処理装置１００と、を備える。なお、画像処理装置１００の代わりに、図１０に示す画像処理装置１００Ａ又は画像処理装置１００Ｂを設けても良い。
　顕微鏡装置２００は、落射照明ユニット２０１及び透過照明ユニット２０２が設けられた略Ｃ字形のアーム２００ａと、該アーム２００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ２０３と、鏡筒２０５の一端側に三眼鏡筒ユニット２０７を介して標本ステージ２０３と対向するように設けられた対物レンズ２０４と、標本ステージ２０３を移動させるステージ位置変更部２０６と、を有する。三眼鏡筒ユニット２０７は、対物レンズ２０４から入射した被写体ＳＰの観察光を、鏡筒２０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット２０８とに分岐する。接眼レンズユニット２０８は、ユーザが被写体ＳＰを直接観察するためのものである。
　落射照明ユニット２０１は、落射照明用光源２０１ａ及び落射照明光学系２０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系２０１ｂは、落射照明用光源２０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　透過照明ユニット２０２は、透過照明用光源２０２ａ及び透過照明光学系２０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系２０２ｂは、透過照明用光源２０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　対物レンズ２０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２０４、２０４’）を保持可能なレボルバ２０９に取り付けられている。このレボルバ２０９を回転させて、標本ステージ２０３と対向する対物レンズ２０４、２０４’を変更することにより、撮像倍率を変化させることができる。
　鏡筒２０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
　ステージ位置変更部２０６は、例えばステッピングモータ等の駆動部２０６ａを含み、標本ステージ２０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部２０６には、標本ステージ２０３をＺ軸に沿って移動させることにより、対物レンズ２０４の焦点を被写体ＳＰに合わせる。
　このような顕微鏡装置２００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することより、被写体ＳＰのカラー画像である教師画像が表示部１６０に表示される。そして、画像処理装置１００、画像処理装置１００Ａ、又は画像処理装置１００Ｂが、教師画像から仮想的な染色標本画像を生成する。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１、１Ａ、１Ｂ、１Ｃ　撮像システム
　１００、１００Ａ、１００Ｂ　画像処理装置
　１１０　画像取得部
　１２０　制御部
　１２１　画像取得制御部
　１３０　記録部
　１３１　プログラム記録部
　１３２　画像データ記録部
　１４０、１４０Ａ、１４０Ｂ　演算部
　１４１　染色特性記録部
　１４２　染色特性推定部
　１４３　染色特性変換部
　１４４　仮想画像生成部
　１４５Ａ　組織特性推定部
　１４６Ｂ　推定オペレータ算出部
　１４７Ｂ　正解画像推定部
　１５０　入力部
　１６０　表示部
　１７０　撮像装置
　２００　顕微鏡装置
　２００ａ　アーム
　２０１　落射照明ユニット
　２０１ａ　落射照明用光源
　２０１ｂ　落射照明光学系
　２０２　透過照明ユニット
　２０２ａ　透過照明用光源
　２０２ｂ　透過照明光学系
　２０３　標本ステージ
　２０４、２０４’　対物レンズ
　２０５　鏡筒
　２０６　ステージ位置変更部
　２０６ａ　駆動部
　２０７　三眼鏡筒ユニット
　２０８　接眼レンズユニット
　２０９　レボルバ

Claims (7)

  1. 　染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
    　染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    　染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
    　仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する画像処理装置の作動方法。
  2. 　前記染色特性変換部が、前記入力教師画像の各色素の前記染色特性を、前記記録部に記録された各教師画像の各色素の前記染色特性に繰り返し変換し、
    　前記仮想画像生成部が、前記染色特性変換部が変換した各色素の前記染色特性に基づいて、前記入力教師画像及び前記複数の教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を繰り返し生成する請求項１に記載の画像処理装置の作動方法。
  3. 　組織特性推定部が、前記複数の教師画像及び前記入力教師画像の各画素の前記染色特性から各画素が属する組織を推定し、
    　前記染色特性変換部が、前記入力教師画像の少なくとも１つの選択した組織の前記染色特性を、前記記録部に記録されたいずれか１つの教師画像の前記選択した組織の前記染色特性に変換し、
    　前記仮想画像生成部が、前記染色特性変換部が変換した組織の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する請求項１又は２に記載の画像処理装置の作動方法。
  4. 　前記染色特性推定部が、前記複数の色素による染色を含む染色標本画像である入力画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    　推定オペレータ算出部が、前記複数の教師画像又は前記入力教師画像の標本作製工程プロトコルと正解画像とのデータセットから、前記入力画像の正解画像を、回帰分析を用いた推定又はクラス分類を行う推定オペレータを算出し、
    　正解画像推定部が、前記推定オペレータに基づいて、前記入力画像から正解画像を推定する請求項１～３のいずれか１つに記載の画像処理装置の作動方法。
  5. 　前記染色特性推定部が、前記入力教師画像の各画素の前記染色特性から、各画素を分類し、
    　前記組織特性推定部が、各画素の分類に応じて複数の組織に分類し、分類した組織に属する画素の前記染色特性のそれぞれに基づいて算出される特徴量を各組織の前記染色特性とする請求項３に記載の画像処理装置の作動方法。
  6. 　複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録する染色特性記録部と、
    　前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定する染色特性推定部と、
    　前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換する染色特性変換部と、
    　前記染色特性変換部が変換し各色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成する仮想画像生成部と、
    　を備える画像処理装置。
  7. 　染色特性記録部が、複数の色素による染色を含む互いに異なる複数の標本作製工程プロトコルにより作製された染色標本画像である複数の教師画像に対して、教師画像ごとに各画素の分光スペクトルから各画素における各色素の染色特性である色素スペクトル及び色素量を推定し、該教師画像の標本作製工程プロトコルと前記推定した染色特性とを関連づけて記録部に記録し、
    　染色特性推定部が、前記複数の色素による染色を含む前記複数の教師画像と異なる標本作製工程プロトコルにより作製され、学習用の教師画像として入力された染色標本画像である入力教師画像に対して、各画素の分光スペクトルから各画素における各色素の前記染色特性を推定し、
    　染色特性変換部が、前記入力教師画像の少なくとも１つの選択した色素の前記染色特性を、前記複数の教師画像のうちいずれか１つの教師画像の前記選択した色素の前記染色特性に変換し、
    　仮想画像生成部が、前記染色特性変換部が変換した色素の前記染色特性に基づいて、前記複数の教師画像及び前記入力教師画像の標本作製工程プロトコルと異なる標本作製工程プロトコルにより染色した仮想的な染色標本画像を生成すること、
    　を画像処理装置に実行させる画像処理装置の作動プログラム。
PCT/JP2018/037633 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム WO2020075226A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020551080A JP7090171B2 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
PCT/JP2018/037633 WO2020075226A1 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
US17/182,643 US20210174147A1 (en) 2018-10-09 2021-02-23 Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037633 WO2020075226A1 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/182,643 Continuation US20210174147A1 (en) 2018-10-09 2021-02-23 Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020075226A1 true WO2020075226A1 (ja) 2020-04-16

Family

ID=70165130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037633 WO2020075226A1 (ja) 2018-10-09 2018-10-09 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム

Country Status (3)

Country Link
US (1) US20210174147A1 (ja)
JP (1) JP7090171B2 (ja)
WO (1) WO2020075226A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116646B (zh) * 2020-09-23 2023-11-24 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331394A (ja) * 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
JP2010156612A (ja) * 2008-12-26 2010-07-15 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2011002341A (ja) * 2009-06-18 2011-01-06 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法
ES2641480T3 (es) * 2013-03-15 2017-11-10 Ventana Medical Systems, Inc. Sistema de aprendizaje automático basado en objetos de tejido para puntuación automatizada de portaobjetos digitales completos
WO2018229052A1 (en) * 2017-06-15 2018-12-20 Visiopharm A/S Method for training a deep learning model to obtain histopathological information from images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331394A (ja) * 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
JP2010156612A (ja) * 2008-12-26 2010-07-15 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2011002341A (ja) * 2009-06-18 2011-01-06 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJITANI, MASAYUKI: "Stain transformation of pathological image by CNN learned using data set considering image similarity", IEICE TECHNICAL REPORT, vol. 117, no. 281, 30 October 2017 (2017-10-30), pages 9 - 14 *

Also Published As

Publication number Publication date
JPWO2020075226A1 (ja) 2021-09-02
JP7090171B2 (ja) 2022-06-23
US20210174147A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US20230030424A1 (en) Method and system for digital staining of microscopy images using deep learning
ES2301706T3 (es) Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware.
US8780191B2 (en) Virtual microscope system
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
JP5185151B2 (ja) 顕微鏡観察システム
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
JP5738564B2 (ja) 画像処理システム
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
WO2017009989A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
US9406118B2 (en) Stain image color correcting apparatus, method, and system
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP2009014355A (ja) 画像処理装置および画像処理プログラム
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551080

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936703

Country of ref document: EP

Kind code of ref document: A1