WO2019188647A1 - 画像処理方法、画像処理装置及びプログラム - Google Patents

画像処理方法、画像処理装置及びプログラム Download PDF

Info

Publication number
WO2019188647A1
WO2019188647A1 PCT/JP2019/011661 JP2019011661W WO2019188647A1 WO 2019188647 A1 WO2019188647 A1 WO 2019188647A1 JP 2019011661 W JP2019011661 W JP 2019011661W WO 2019188647 A1 WO2019188647 A1 WO 2019188647A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
staining
region
image
stained
Prior art date
Application number
PCT/JP2019/011661
Other languages
English (en)
French (fr)
Inventor
祐輝 風山
山▲崎▼　亮
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2020510774A priority Critical patent/JP7259844B2/ja
Priority to US17/041,880 priority patent/US20210133965A1/en
Priority to EP19775438.5A priority patent/EP3779410A1/en
Publication of WO2019188647A1 publication Critical patent/WO2019188647A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing method, an image processing apparatus, and a program.
  • identifying a specific biological substance such as a protein that is overexpressed in a tissue section and its expression level can be very important information for determining a prognosis and determining a subsequent treatment plan.
  • fluorescent staining techniques that stain specific biological materials using fluorescent substances, such as fluorescent images obtained by fluorescent in situ hybridization (FISH), and cells using existing immunostaining techniques
  • FISH fluorescent in situ hybridization
  • Techniques for analyzing protein expression levels and molecular conductor analyzes at the cell level by combining cell morphology images obtained by staining have been developed. For this purpose, since it is necessary to accurately identify the cell type from the cell morphology image, it is indispensable to judge by a specialist such as a pathologist. However, it took time to manually observe a huge number of cells from a tissue section and identify the type of cells.
  • Patent Document 1 uses a nuclear staining image and a cell membrane staining image obtained by photographing a cell multiple-stained with a label-specific binding partner for a nucleus and a label-specific binding partner for a cell membrane for the same visual field, A method for automatically extracting cell contours is disclosed. In this way, by automatically performing cell identification and the like without relying on human hands by image recognition technology, the burden on the medical site is greatly reduced.
  • a cell type is identified based on a difference in the staining state from a multiple staining image obtained by multiple staining of cells using dyes targeting a plurality of types of biological substances in the cell.
  • macrophages are cells that form a cancer microenvironment, and some macrophages are known to shift from antitumor M1 type to tumor promoting M2 type in cancer microenvironment. Yes. These are called tumor-associated macrophages (TAM) and are considered promising targets in tumor therapy.
  • TAM tumor-associated macrophages
  • TAM tumor-associated macrophages
  • multiple staining targeting each of a protein specifically expressed in M1 type macrophages and a protein specifically expressed in M2 type macrophages It can be identified from the difference.
  • the complex identification target as described above that is, a single positive cell stained with only a single dye, or a plurality of cells It was difficult to distinguish cells in a fragmented stained state, such as multiple positive cells stained with a dye, based on the difference in stained state.
  • the present invention has been made in view of the above problems, and provides an image processing method, an image processing apparatus, and a program capable of identifying the types of cells in a complex stained state in cell identification using image recognition technology.
  • the purpose is to do.
  • an image processing method comprises: In the image processing method for identifying the cell type based on the difference in the staining state of the cell from the multiple stained image obtained by imaging the tissue specimen that has been multiplely stained with a plurality of dyes having different colors, In the multiple staining image, a staining information identification step for identifying a cell candidate region where cells in a specific staining state exist, A region forming step of forming a cell region in which cells in the specific staining state are identified by performing a predetermined region forming process on the cell candidate region, and The staining information identification step includes Spatial correlation between dyes and the relative positional relationship between the components of the cell, indicating whether staining with other dyes was detected in a pixel located in the vicinity of a pixel where staining with one dye was detected And identifying the staining state of the cells on the multiple staining image based on For each position on the multiple staining image, the existence probability of the cells in the specific
  • the invention according to claim 2 is the image processing method according to claim 1,
  • the tissue specimen includes cells in which a plurality of different biological materials are stained with dyes having different colors.
  • the invention according to claim 3 is the image processing method according to claim 1 or 2,
  • the region forming step as the predetermined region forming process, a small area region is deleted from the cell candidate region and / or a defective region is interpolated.
  • the invention according to claim 4 is the image processing method according to any one of claims 1 to 3,
  • the division information identification step includes For each position on the multiple-stained image, the existence probability of the division criterion is calculated based on the spatial correlation between the plurality of dyes and the relative positional relationship between the components of the cell, and the existence probability is calculated in space. It is characterized by generating a probability map based on the division criteria.
  • the invention according to claim 5 is the image processing method according to claim 4,
  • the division criterion is a nucleus arranged inside a dyed region with the dye.
  • the invention according to claim 6 is the image processing method according to claim 4,
  • the division criterion is a non-stained region surrounded by the dye-stained region inside the cell candidate region.
  • the invention according to claim 7 is the image processing method according to any one of claims 4 to 6,
  • the region forming step includes, as the predetermined region forming process, a dividing step of dividing the cell candidate region output by the staining information identifying step on the basis of the dividing criterion output by the dividing information identifying step. It is characterized by.
  • the invention according to claim 8 provides: In an image processing device that identifies the type of cell based on the difference in the staining state of a cell from a multiple stained image obtained by imaging a tissue sample that has been stained multiple times with a plurality of dyes with different colors, In the multiple staining image, a staining information identification unit that identifies a cell candidate region where cells in a specific staining state exist, A region forming unit that forms a cell region in which cells in the specific staining state are identified by performing a predetermined region forming process on the cell candidate region; and The staining information identification unit Spatial correlation between dyes and the relative positional relationship between the components of the cell, indicating whether staining with other dyes was detected in a pixel located in the vicinity of a pixel where staining with one dye was detected And identifying the staining state of the cells on the multiple staining image based on For each position on the multiple staining image, the existence probability of the cells in the specific staining state is calculated, and
  • the invention according to claim 9 is: A computer of an image processing device that identifies the cell type based on the difference in the staining state of the cell from the multiple stained image obtained by imaging the tissue specimen that has been multiplely stained with a plurality of dyes with different colors,
  • a staining information identification unit for identifying a cell candidate region where cells in a specific staining state are present
  • Spatial correlation between dyes and the relative positional relationship between the components of the cell indicating whether staining with other dyes was detected in a pixel located in the vicinity of a pixel where staining with one dye was detected
  • identifying the staining state of the cells on the multiple staining image based on For each position on the multiple staining image, the existence probability of the cells in the specific staining state
  • an image processing method an image processing apparatus, and a program capable of identifying the types of cells in a complex stained state in cell identification using image recognition technology.
  • FIG. 1 It is a figure which shows the system configuration
  • FIG. 1 shows an example of the overall configuration of an image processing system 100 according to the present invention.
  • the image processing system 100 is a system that acquires a microscope image of a tissue specimen stained with a predetermined dye, analyzes the acquired microscope image, and identifies and outputs cell types on the tissue specimen.
  • the image processing system 100 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A via an interface such as a cable 3A so that data can be transmitted and received.
  • the connection method between the microscope image acquisition device 1A and the image processing device 2A is not particularly limited.
  • the microscope image acquisition apparatus 1A and the image processing apparatus 2A may be connected via a LAN (Local Area Network) or may be configured to be connected wirelessly.
  • LAN Local Area Network
  • the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue specimen on a slide placed on a slide fixing stage, and transmits the microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiation means includes a light source, a filter, and the like, and irradiates the tissue specimen on the slide placed on the slide fixing stage with light.
  • the imaging means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light and reflected light emitted from the tissue specimen on the slide by the irradiated light.
  • the imaging means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, captures an image formed on the imaging surface by the imaging means, and generates digital image data of the microscope image.
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined.
  • the microscope image acquisition apparatus 1A includes a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation, and may be configured to switch between bright field / fluorescence by switching the unit.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope microscope
  • Table 2002-514319 may be used.
  • the virtual microscope slide creation device it is possible to acquire image data that allows the entire tissue specimen image on the slide to be viewed on the display unit at a time.
  • the image processing device 2A analyzes the microscopic image transmitted from the microscopic image acquisition device 1A, thereby identifying and outputting the cell type in the tissue specimen to be observed.
  • FIG. 2 shows a functional configuration example of the image processing apparatus 2A.
  • the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
  • the control unit 21 executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation.
  • the control unit 21 executes the cell identification process 1 (see FIG. 3) or the like in cooperation with the program stored in the storage unit 25, and executes the staining information identification step and the region formation step, respectively.
  • a function as a region forming unit in the second embodiment, further, a division information identifying step and a means for executing the division step).
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and a key pressing signal pressed by the keyboard and an operation signal by the mouse. Are output to the control unit 21 as an input signal.
  • the display unit 23 includes, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with display signal instructions input from the control unit 21.
  • the display unit 23 functions as an output unit for outputting a cell region as a result of the cell identification process 1.
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 functions as a bright field image input unit.
  • the storage unit 25 includes, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs, various data, and the like.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like and be connected to an external device via a communication network such as a LAN.
  • the image processing apparatus 2A in the present embodiment analyzes using a stained image of a tissue specimen transmitted from the microscope image acquisition apparatus 1A, in particular, a multiple stained image in which a plurality of types of biological materials are stained with a plurality of dyes having different colors. I do.
  • the multiple staining image in the present embodiment is an image obtained by imaging a tissue specimen in which two or more proteins specifically expressed in macrophages are visualized by a plurality of dyes using the microscope image acquisition device 1A. .
  • Two types arbitrarily selected from proteins and genes may be used, and the biological material may be a tissue specimen in which a chromosome, an endoplasmic reticulum or the like is visualized with a dye.
  • the method for acquiring the multiple stained image will be described in detail including the dye used for acquiring the multiple stained image, the staining method of the tissue specimen with the dye, and the like.
  • the protein can be arbitrarily selected from proteins specifically expressed in macrophages, for example, PD-1, CD163, CD204, CD68, Iba1, CD11c, CD206, CD80, CD86, CD163, CD181, CD197, iNOS, Arginase1, CD38, Egr2, etc. are mentioned.
  • at least one of two or more types of macrophage proteins to be stained is a protein specifically expressed in M2 macrophages (eg, CD163, CD204, etc.), and a tumor tissue is used as a tissue specimen.
  • M2 macrophages eg, CD163, CD204, etc.
  • TAM tumor-associated macrophages
  • the gene may be DNA, or RNA such as mRNA, tRNA, miRNA (such as miR4717), siRNA, and non-coding-RNA.
  • CD68 is stained as a protein expressed in both M1 macrophages and M2 macrophages
  • CD163 is stained as a protein specifically expressed in M2 macrophages (or TAM) using the following dyes, respectively. . Therefore, it can be determined that cells expressing both CD68 and CD163 are M2 macrophages (or TAM), and cells expressing only CD68 are M1 macrophages.
  • the tissue specimen is preferably stained by contacting the tissue specimen with the labeling substance to directly or indirectly bind the labeling substance to the macrophage protein to be stained.
  • immunostaining is preferred in which a labeled antibody obtained by binding a labeling substance to an indirectly binding antibody is reacted with a tissue specimen.
  • the tissue specimen is preferably stained by pigment staining.
  • the dye staining is not particularly limited as long as it is a technique for staining each macrophage protein with a dye capable of bright field observation.
  • a labeling substance enzyme
  • an enzyme antibody method for staining a target substance by depositing a dye on a tissue specimen by adding a dye (substrate) that develops color by reaction can be used.
  • immunostaining is performed by adding a dye that is a substrate of the enzyme to a tissue specimen that has been reacted in advance with a labeled antibody in which the enzyme is bound to an antibody that binds directly or indirectly to the target protein.
  • Peroxidase and alkaline phosphatase are used as the enzyme, and 3,3′-diaminobenzidine (DAB), HistoGreen, TMB, Betazoid DAB, Cardassian DAB, Bajoran Purple, Vina Green, Romulin AEC, Ferangul, Ferangul Is mentioned.
  • DAB 3,3′-diaminobenzidine
  • HistoGreen HistoGreen
  • TMB Betazoid DAB
  • Cardassian DAB Bajoran Purple
  • Vina Green Romulin AEC
  • Ferangul Ferangul Is mentioned.
  • CD68 and CD163 are stained with DAB and HistoGreen, respectively.
  • tissue specimen is a tissue section collected from a subject or a cell obtained by culturing cells contained in a tissue collected from a subject, and in this embodiment, a tissue section collected from a tumor tissue is used. To do.
  • the tissue specimen generally takes the form of a specimen slide on which a tissue section or cells are placed, which is commonly used when evaluating the expression level of a target protein by immunostaining.
  • the preparation method of the tissue specimen is not particularly limited. In general, for example, a tissue section collected from a subject is fixed using formalin or the like, dehydrated with alcohol, xylene treated, and heated to high temperature paraffin. Tissue samples prepared by paraffin embedding by immersing them in can be obtained by making sections of 3 to 4 ⁇ m, and placing the tissue sections on a glass slide and drying the specimen slide Can be produced.
  • tissue specimen staining method The tissue specimen staining method will be described below.
  • the staining method described below is not limited to tissue sections and can also be applied to cell staining.
  • the tissue specimen is immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, xylene may be exchanged during the immersion.
  • the tissue specimen is immersed in a container containing ethanol to remove xylene.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Further, if necessary, ethanol may be exchanged during the immersion.
  • the tissue specimen is immersed in a container containing water to remove ethanol.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Moreover, you may exchange water in the middle of immersion as needed.
  • the activation process of the target biological substance is performed according to a known method.
  • the activation conditions are not particularly defined, but as the activation liquid, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer, etc. Can be used.
  • As the heating device an autoclave, a microwave, a pressure cooker, a water bath, or the like can be used.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the temperature can be 50-130 ° C. and the time can be 5-30 minutes.
  • the tissue specimen after the activation treatment is immersed in a container containing Phosphate Buffered Saline (PBS) and washed.
  • PBS Phosphate Buffered Saline
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, the PBS may be replaced during the immersion
  • Blocking treatment After the activation treatment, it is preferable to perform treatment such as blocking as necessary for the purpose of reducing background noise and the like before performing each staining. For example, nonspecific adsorption of an antibody to a tissue specimen can be suppressed by dropping a surfactant such as PBS containing BSA (bovine serum albumin) or Tween 20 as a blocking agent.
  • a surfactant such as PBS containing BSA (bovine serum albumin) or Tween 20 as a blocking agent.
  • PBS containing BSA bovine serum albumin
  • Tween 20 as a blocking agent.
  • a treatment such as a peroxidase block with hydrogen peroxide in order to prevent a nonspecific color reaction due to endogenous peroxidase.
  • washing with PBS or the like is preferable.
  • the washing conditions can be adjusted as appropriate according to the treatment performed. For example, the washing conditions can be performed at room temperature for 3 minutes to 30 minutes.
  • the stained tissue sample is dyed.
  • a labeled antibody obtained by directly or indirectly binding an antibody capable of binding directly or indirectly to a macrophage protein to be detected and a labeling substance are dispersed in an appropriate medium, and a tissue section or the like is dispersed.
  • the target macrophage protein is stained by placing it on the tissue specimen and reacting with the target biological material.
  • a labeled antibody bound to a primary antibody may be used as a labeled antibody
  • a labeled antibody bound to a secondary antibody may be used as a labeled antibody.
  • the labeled antibody is stained by binding directly to the macrophage protein in the tissue specimen.
  • a labeled antibody is bound to a secondary antibody as a labeled antibody
  • the labeled antibody is bound in the tissue sample by binding to the primary antibody previously bound to the macrophage protein in the tissue sample.
  • the macrophage protein is stained.
  • the binding between the antibody and the labeling substance may be direct or indirect.
  • a staining mode in which the labeled antibody is a secondary antibody and the secondary antibody and the labeling substance are indirectly bound [tissue specimen (target protein)] ... [primary antibody (probe)] ... [Secondary antibody]-[Biotin] / [Avidin]-[Labeling substance].
  • "" indicates binding by antigen-antibody reaction
  • "-" indicates binding by a covalent bond which may be via a linker molecule as necessary
  • "/" indicates avidin / biotin. Represents binding by reaction. ).
  • Such staining can be achieved, for example, by first immersing the tissue specimen in the primary antibody solution, then immersing the tissue specimen in the secondary antibody-biotin conjugate solution, and finally immersing the tissue section in the avidin-labeled substance solution. Can be performed by dipping.
  • an antibody (IgG) that specifically recognizes and binds a protein as a target biological substance as an antigen can be used.
  • an antibody (IgG) that specifically recognizes and binds to the primary antibody as an antigen can be used.
  • Both the primary antibody and the secondary antibody may be polyclonal antibodies, but from the viewpoint of quantitative stability, monoclonal antibodies are preferred.
  • the type of animal that produces the antibody (immunized animal) is not particularly limited, and may be selected from mice, rats, guinea pigs, rabbits, goats, sheep, and the like as in the past.
  • fluorescent staining for fluorescent labeling an arbitrary substance may be performed.
  • an arbitrary gene can be stained by a fluorescent in situ hybridization (FISH) method using a fluorescent dye.
  • FISH fluorescent in situ hybridization
  • the tissue specimen that has undergone the staining step is subjected to treatment such as fixation / dehydration, penetration, and encapsulation so as to be suitable for the above-described imaging for signal measurement.
  • the immobilization / dehydration treatment may be performed by immersing the tissue specimen in a fixation treatment solution (crosslinking agent such as formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol, methanol).
  • a fixation treatment solution crosslinking agent such as formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol, methanol
  • a clearing solution xylene or the like
  • the enclosing process may be performed by immersing the specimen slide after the clearing process in the enclosing liquid.
  • the conditions for performing these treatments for example, the temperature and immersion time when the specimen slide is immersed in a predetermined treatment solution, can be appropriately adjusted according to the conventional immunostaining method so as to obtain an
  • the operator prepares a tissue specimen obtained by staining CD68 and CD163 with DAB and HistoGreen, respectively, by the above-described method. Thereafter, the microscope image acquiring apparatus 1A acquires multiple stained images by the procedures (a1) to (a3).
  • A1 The operator places the tissue specimen on the slide and places the slide on the slide fixing stage of the microscope image acquisition apparatus 1A.
  • A2) Set to the bright field unit, adjust the imaging magnification and focus, and place the observation target area on the tissue in the field of view.
  • A3) Photographing is performed by an imaging unit to generate image data of a multiple stained image, and the image data is transmitted to the image processing apparatus 2A.
  • FIG. 3 shows a flowchart of the cell identification process 1 executed in the image processing apparatus 2A. 3 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • step S11 when a multiple staining image is input from the microscope image acquisition apparatus 1A through the communication I / F 24 (step S11), a staining information identification process is executed by the control unit 21 (step S12: staining information identification process).
  • FIG. 4 shows a detailed flow of the staining information identification process in step S12.
  • the process of step S12 is performed by cooperation with the program memorize
  • the double positive region is a region that is considered to contain double positive cells, that is, TAM in which coloring of both DAB and HistoGreen is confirmed on the multiple staining image.
  • DAB that labels CD68 develops color on the cytoplasm
  • HistoGreen that labels CD163 develops on the cell membrane. These color development positions do not completely match, and the dyes stain in different portions. The area where the color development of both dyes is confirmed in close proximity is likely to contain double positive cells.
  • the DAB single positive region and the HistoGreen single positive region are regions where only one color development of DAB and HistoGreen is confirmed, respectively, and there is a high possibility that each includes DAB single positive cells and HistoGreen single positive cells.
  • the probability map is a diagram showing in a form that can be spatially grasped by calculating as a probability which type of cell is included for each stained region.
  • the probability map is generated, for example, as an output of a convolutional neural network (CNN) trained based on an image patch including a local region having a predetermined size.
  • CNN convolutional neural network
  • CNN automatically learns the features of the identification target in the neural network by performing supervised learning using a large number of images in which the identification target is copied as learning images. To do.
  • a neural network in the CNN has a hierarchical structure, and has an input layer, a convolution layer, a pooling layer, a fully connected layer, an output layer, and the like.
  • the convolution layer and the pooling layer By repeatedly repeating the convolution layer and the pooling layer multiple times for the image for the purpose, the features of the identification target copied in the input image are extracted, and finally the identification target captured in the image in the all connected layers is extracted. Identify.
  • the error between the identification result thus obtained and the label (correct answer) attached to the learning image is obtained, the neural network is back-propagated, and the parameters in each layer of the CNN are changed (error back-propagation method). .
  • the identification accuracy can be improved and various identification objects can be identified.
  • the CNN recognizes each of double positive cells, DAB single positive cells, and HistoGreen single positive cells in advance by an expert such as a pathologist as an image to be learned, and corresponds to each cell type. It can be trained using images with class labels. From the image to be learned, a region including peripheral pixels of pixels corresponding to these labels, that is, a local region including any of double positive cells, DAB single positive cells, or HistoGreen single positive cells is extracted as an image patch. . The CNN performs the above-described calculation of each layer on these image patches, identifies whether each is a double positive cell, a DAB single positive cell, or a HistoGreen single positive cell, and assigns it in advance to the identification result. It is trained by finding the error with the correct label (correct answer) and correcting the parameter by the error back propagation method.
  • the CNN trained as described above takes into account the spatial correlation between the dyes in the local region and the relative positional relationship between the cellular components for the input multiple stained image,
  • the cell type can be identified.
  • the spatial correlation between dyes refers to the positional relationship between dyes, such as the presence of a dye of another color near a dye of a certain color. For example, since double positive cells are stained with two types of dyes, if coloring with both dyes is confirmed in a local region including the cell of interest, the cells are likely to be double positive cells. Alternatively, if only coloring with a single dye is confirmed in a local region including the cell of interest, the cell is likely to be a single positive cell.
  • the positional relationship between cell components refers to a trivial inclusion relationship between cell components, such as the presence of a cytoplasm around the cell nucleus and a cell membrane on the outer side.
  • the color develops on the cell membrane so as to surround the brown color of DAB that develops in the cytoplasm. If the green color of HistoGreen is confirmed, it can be determined that the stained region surrounded by the green color of HistoGreen is a single double positive cell.
  • the spatial correlation between the dyes and the relative positional relationship between the components of the cells are taken into consideration, so that the multiple stained images stained with a plurality of dyes are used. It is possible to extract a complicated identification target such as a fragment-stained cell such as a double positive cell or a single positive cell, and identify the type of these cells based on the difference in staining state.
  • the CNN repeats the filter process in the convolution layer and the image reduction process in the pooling layer alternately and repeatedly from the multiple dyed image input in step S11, so that the feature is obtained from the multiple dyed image.
  • Each layer outputs a feature map in which the extracted features are two-dimensionally arranged by the number of filters.
  • the output feature map outputs a map that is completely combined in all the connection layers, and generates a probabilistic label for each cell region.
  • the probability map calculates the existence probability of each cell type (double positive cell, DAB single positive cell, and HistoGreen single positive cell) for each position on the multiple stained image, and spatially connects them to arrange them. It is a thing.
  • Each position described above may be a wide range including a plurality of pixels on the multiple stained image, or may be a single pixel. Therefore, it is assumed that the probability map is, for example, an output result obtained by calculating the existence probability for every second pixel on the multiple stained image or an output result obtained by calculating the existence probability for each pixel.
  • FIG. 5 shows a conceptual diagram of the probability map.
  • a multiple stained image in which double positive cells C 1 and DAB single positive cells C 2 are arranged as shown in FIG. 5A is input to the image processing apparatus 2A, the entire image is indicated by a by CNN. Filter to extract features. Based on the extracted features, a probability map for each cell type, such as a probability map M 1 of double positive cells and a probability map M 2 of DAB single positive cells shown in FIG. 5B, is output as a black and white mask.
  • b corresponds to the existence probability in the region where the filter a is applied. These are spatially connected over the entire multi-stained image to generate a probability map.
  • the calculated existence probability is expressed by a color.
  • the probability map may be a map representing the inside and outside of the cell with a binary value of 1/0, or a map obtained by converting the distance from the cell center into a color density, or the distance from the cell boundary as a color. It may be a map corresponding to a concept other than a real object directly, such as the one converted into the darkness.
  • the probability map calculated as described above is subjected to threshold processing by the control unit 21 (step S1204, step S1205, step S1206).
  • the threshold process is a process of discarding those that do not satisfy the threshold set in advance by the operator on the probability map. As a result, a probability map in which only regions having a certain existence probability for each region are displayed is output.
  • the region integration and reassignment processing is processing for determining which cell region is each stained region on the multiple stained image based on the probability map.
  • the region integration and reallocation processing first, in step S1201 to step S1206, the calculated double positive region, DAB single positive region, and HistoGreen single positive region are integrated.
  • overlapping portions are generated between the probability maps.
  • regions are formed so that the outputs of the respective cell candidate regions are exclusive. For this purpose, it is effective to rank the cell candidate regions. For example, a method of displaying double positive cells preferentially over single positive cells can be used.
  • the cell candidate region of the double positive region (step S1208), the cell candidate region of the DAB single positive region (step S1209), and the cell candidate region of the HistoGreen single positive region (Step S1210) is output, and the staining information identification process is completed.
  • step S ⁇ b> 13 region formation step
  • FIG. 6 shows a detailed flow of the process in step S13.
  • the process of step S13 is performed by cooperation with the program memorize
  • the control unit 21 first deletes a small area region whose area is less than a constant in each cell candidate region (step S1301).
  • the deletion of the small area region can be performed, for example, by an opening process for the binary image.
  • the opening process is a process for performing the expansion process the same number of times after performing the contraction process.
  • the contraction process is a process of replacing a target pixel with black when at least one pixel in the range of n ⁇ n pixels from the target pixel contains black.
  • the expansion process is a process of replacing a target pixel with white when at least one pixel in the range of n ⁇ n pixels (n is an integer of 2 or more) from the target pixel is white.
  • the control unit 21 interpolates a defect region (hole region) in each cell candidate region (step S1302).
  • the interpolation of the missing area can be performed, for example, by a closing process on the binary image.
  • the closing process is a process in which the contraction process is performed the same number of times after the expansion process is performed.
  • a cell candidate area in which the missing area is interpolated is output.
  • the image processing method is based on the difference in the staining state of cells from a multiple stained image obtained by imaging a tissue specimen that has been multiple-stained with a plurality of dyes having different colors. And identifying the cell type.
  • the staining information identification process the staining state of the cell is identified based on the spatial correlation between the dyes and the relative positional relationship between the components of the cell, and the existence probability is expressed for each cell type. Output a probability map. That is, according to the image processing method according to the present embodiment, it is possible to extract a complicated identification target such as a fragment-stained cell from a multiple stained image stained with a plurality of dyes.
  • tissue specimen including cells in which a plurality of different biological substances are stained with dyes having different colors is used. This makes it possible to identify the type of cell based on the difference in staining state.
  • a region forming process is performed in which a small area region is deleted and / or a defective region is interpolated with respect to the cell candidate region roughly extracted in the staining information identification process. Thereby, the output of the cell region can be obtained in a more complete form.
  • both the deletion of the small area area and the interpolation of the defective area are performed as the area forming process.
  • these processes may be performed as necessary, and only one of them is executed. It may be a thing.
  • region obtained by the staining information identification process for every cell is included.
  • candidate areas of double positive cells, DAB single positive cells, and HistoGreen single positive cells are output. If a plurality of cells are arranged close to each other, May be output as a single region. Therefore, the cell identification process in the present embodiment executes a division process for dividing and outputting a cell candidate region formed by connecting a plurality of such cells for each cell, and a reference for the division process. And a division information identification process for specifying a division criterion.
  • FIG. 7 shows a flowchart of the cell identification process 2 executed in the image processing apparatus 2A.
  • the cell identification process 2 shown in FIG. 7 is performed by cooperation with the program memorize
  • FIG. 7 shows a flowchart of the cell identification process 2 executed in the image processing apparatus 2A.
  • the cell identification process 2 shown in FIG. 7 is performed by cooperation with the program memorize
  • step S21 when a multiple staining image is input from the microscope image acquisition apparatus 1A through the communication I / F 24 (step S21), a staining information identification process is executed by the control unit 21 (step S22: staining information identification step). Since the process of step S22 is the same as the staining information identification process in the first embodiment, a description thereof will be omitted. That is, the cell candidate region of each of the double positive region, the DAB single positive region, and the HistoGreen single positive region is output by the process of step S22.
  • step S23 division information identification step
  • FIG. 8 shows a detailed flow of the process in step S23.
  • the process of step S23 is performed by cooperation with the program memorize
  • a division reference probability map is calculated under the control of the control unit 21 (step S2301).
  • the division criterion refers to an object or a region that serves as a reference when a single region is divided into a plurality of regions.
  • cell components such as cell nuclei, cytoplasm, and cell membrane are suitable as the division criteria, and when these are used as the division criteria, they can be stained with a separate dye.
  • the division criteria are not limited to specific components of such cells.
  • the division criteria are cell components such as biological structures, that is, the cells are separated from each other by the cell membrane, the cytoplasm and the cell nucleus are present inside the cell membrane, or the cell nucleus is encapsulated by the cytoplasm.
  • step S2301 the DAB staining region is set as a division criterion, and the existence probability is calculated as a probability map.
  • the division criterion probability map can be calculated by CNN in the same manner as the cell candidate region probability map. That is, when the DAB staining region is used as a division criterion, a division criterion probability map is calculated using a CNN trained to identify the DAB staining region surrounded by the above-mentioned HistoGreen staining region from the multiple staining image. It is effective.
  • the control unit 21 calculates a probability map of the region boundary (step S2302).
  • the region boundary refers to a boundary portion between one division criterion and an outer region (a surrounding staining region or an adjacent division criterion).
  • the division criterion probability map calculated in step S2301 may be output when the division criteria are connected to each other simply by performing threshold processing. Therefore, by correcting the division criterion probability map with the region boundary probability map, the individual division criterion can be separated.
  • the region boundary probability map can be calculated by, for example, a CNN trained so as to be able to identify the division criterion region boundary from the multiple stained image.
  • step S2303 the control unit 21 corrects the division reference probability map (step S2303). Specifically, the probability is corrected by subtracting the probability of the pixel on the probability map of the region boundary corresponding to the probability (numerical value) of each pixel of the division criterion probability map by multiplying it by an arbitrarily set weight. Is possible.
  • step S2304 threshold processing is applied to the corrected division criterion probability map (step S2304), the final division criterion region is output (step S2305), and the division information identification processing is completed.
  • step S ⁇ b> 24 region formation step.
  • FIG. 9 shows a detailed flow of the process in step S24.
  • the process of step S24 is performed by cooperation with the program memorize
  • Step S2401 division process
  • a watershed algorithm with a marker control can be applied to this division processing.
  • the watershed algorithm is a method of determining a water basin for storing water as an area boundary when the brightness gradient of an image is assumed to be a topographic map of mountains and valleys and water is flowed there.
  • the edge of the cell candidate region including a plurality of DAB staining regions A pixel is considered as a mountain, and pixels with low brightness are removed so that the cell candidate area is submerged while keeping the water level equal throughout the image, and each cell nucleus candidate area is one cell candidate.
  • the cell candidate area is reduced until it is included in the fragment of the area.
  • by enlarging the fragment of the cell candidate region to the cell candidate region before the start of reduction and using the pixels where the expanded cell candidate regions collide with each other as a boundary individual cells in the cell candidate region can be separated. .
  • control unit 21 executes deletion of the small area region (step S2402) and interpolation of the defective region (step S2403). Since these processes are the same as those in the first embodiment, a description thereof will be omitted.
  • the final cell region that is, the individual cells in the cell candidate region are separated and output (step S2404), and the region formation processing is completed.
  • the region formation process is completed, the cell identification process 2 in FIG. 7 is completed.
  • FIG. 10 shows an example of a cell region of a double positive region extracted using the image processing system 100 according to the present embodiment.
  • the cell candidate region of the double positive region is roughly extracted from the multiple stained image by the staining information identification process.
  • the DAB staining region is extracted as a division criterion by the division information identification process. Based on these, the region formation process divides the cells that are connected and output, and outputs the final cell region.
  • the image processing method executes the division information identification process for specifying the division criterion. As a result, it is possible to execute a dividing process for dividing the cell candidate regions that are connected and output for each cell. Further, in the division information identification process, a division reference probability map is generated and corrected by the region boundary probability map, whereby the division reference can be specified more accurately.
  • the division criterion may be a nucleus arranged inside the dyed region, or may be a component of a cell other than the nucleus.
  • the non-stained area surrounded by the stained area may be used as the division criterion. That is, the division process can be applied to all types of cells such as cells without nuclei and cells having a plurality of nuclei.
  • the watershed algorithm with marker control is used as the division process of the cell candidate region, but the present invention is not limited to this.
  • Graphcut can be used.
  • CD68 and CD163 are stained with DAB and HistoGreen is described as an example, but the present invention is not limited to this.
  • the present invention is also applied to regulatory T cells stained with C25 and FoxP3, cancer-associated fibroblasts (CAFs) stained with FAP, ⁇ SMA, and vimentin, and B cells stained with CD19 and CD20. Is possible.
  • CAFs cancer-associated fibroblasts
  • an HDD or a semiconductor non-volatile memory is used as a computer-readable medium for the program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave carrier wave is also applied as a medium for providing program data according to the present invention via a communication line.
  • the image processing apparatus is not necessarily configured as a single apparatus, and a staining information identification unit, a region formation unit, a division information identification unit, and the like that respectively execute a staining information identification step, a region formation step, and a division information identification step.
  • the structure which combined the apparatus specialized for every structure of these may be sufficient.
  • the present invention can be used for an image processing method, an image processing apparatus, and a program.
  • Microscope image acquisition device 2A Image processing device 21 Control unit (staining information identification unit, region forming unit) 22 Operation unit 23 Display unit 24 Communication I / F 25 storage unit 26 bus 3A cable 100 image processing system

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Urology & Nephrology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Hematology (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Sustainable Development (AREA)
  • Genetics & Genomics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microbiology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Analysis (AREA)

Abstract

本発明の課題は、画像認識技術を用いた細胞識別において、複雑な染色状態にある細胞の種類の識別が可能な画像処理方法、画像処理装置及びプログラムを提供することである。発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別工程と、細胞候補領域に対して所定の領域形成処理を行うことにより細胞領域を形成する領域形成工程と、を備え、染色情報識別工程は、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、多重染色画像上の細胞の染色状態を識別するとともに、多重染色画像上の各位置について、特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力する。

Description

画像処理方法、画像処理装置及びプログラム
　本発明は、画像処理方法、画像処理装置及びプログラムに関する。
　病理診断において、組織切片で過剰発現をしているタンパク質などの特定の生体物質及びその発現量を特定することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。
　近年、蛍光物質を用いて特定の生体物質を染色する蛍光染色技術、例えば蛍光 in situハイブリダイゼーション（fluorescent in situ hybridization：ＦＩＳＨ）によって得られた蛍光画像と、既存の免疫染色技術を用いて細胞を染色して得られた細胞形態画像と、を組み合わせて、細胞レベルのタンパク質発現量解析や分子導体解析を行う技術が開発されている。これには、細胞形態画像から細胞の種類の同定を正確に行う必要があるため、病理医などの専門家による判断が不可欠であった。しかし、人手によって組織切片から膨大な数の細胞を観察し、その種類を同定するのには時間を要するものであった。
　そこで近年、画像認識技術を用いて細胞画像から細胞領域を自動的に識別する手法が多く検討されている。
　例えば、特許文献１には、核に対する標識特異的結合パートナーと、細胞膜に対する標識特異的結合パートナーとによって多重染色された細胞を同一の視野について撮影した、核染色画像と細胞膜染色画像を用いて、細胞の輪郭を自動的に抽出する方法が開示されている。このように、画像認識技術によって人手によらず自動的に細胞識別等を行うことで、医療現場での負担が大幅に軽減されることとなる。
特開２０１１－１８６７５０号公報
　ところで、細胞内の複数種類の生体物質をターゲットとする染料を用いて細胞を多重に染色した多重染色画像から、その染色状態の違いに基づいて細胞の種類を同定する場合がある。
　例えば、マクロファージは、がんの微小環境を形成する細胞であり、マクロファージの一部は、癌の微小環境において抗腫瘍性のＭ１型から腫瘍促進性のＭ２型へとシフトすることが知られている。これらは腫瘍関連マクロファージ（Tumor-associated macrophages：ＴＡＭ）と呼ばれ、腫瘍治療において有望な標的と考えられている。組織切片上のＴＡＭの存在を識別するため、Ｍ１型マクロファージに特異的に発現するタンパク質と、Ｍ２型マクロファージに特異的に発現するタンパク質と、をそれぞれ標的とした多重染色を行うことで、染色状態の違いからその同定を行うことができる。
　特許文献１に記載の方法では、細胞形態画像から細胞を抽出することは可能であるものの、上記したような複雑な識別対象、即ち単一の染料のみによって染色された単陽性細胞、あるいは複数の染料によって染色された多重陽性細胞のような、断片的な染色状態にある細胞を、染色状態の違いに基づいて識別することは困難であった。
　本発明は上記課題に鑑みてなされたものであって、画像認識技術を用いた細胞識別において、複雑な染色状態にある細胞の種類の識別が可能な画像処理方法、画像処理装置及びプログラムを提供することを目的とする。
　上記課題を解決するため、請求項１に記載の画像処理方法は、
　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別工程と、
　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成工程と、を備え、
　前記染色情報識別工程は、
　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別するとともに、
　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力する
　ことを特徴とする。
　請求項２に記載の発明は、請求項１に記載の画像処理方法において、
　前記組織標本は、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む
　ことを特徴とする。
　請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、
　前記領域形成工程は、前記所定の領域形成処理として、前記細胞候補領域に対する小面積領域の削除及び／又は欠損領域の補間を行う
　ことを特徴とする。
　請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理方法において、
　前記細胞候補領域を所定の領域ごとに分割するための分割基準を識別する分割情報識別工程を含み、
　前記分割情報識別工程は、
　前記多重染色画像上の各位置について、前記複数の染料間の空間的相関及び細胞の構成要素間の相対的な位置関係に基づいて、前記分割基準の存在確率を算出し、当該存在確率を空間的につなぎ合わせた分割基準の確率マップを生成する
　ことを特徴とする。
　請求項５に記載の発明は、請求項４に記載の画像処理方法において、
　前記分割基準は、前記染料による染色領域の内部に配置された核である
　ことを特徴とする。
　請求項６に記載の発明は、請求項４に記載の画像処理方法において、
　前記分割基準は、前記細胞候補領域の内部であって、前記染料による染色領域に包囲された非染色領域である
　ことを特徴とする。
　請求項７に記載の発明は、請求項４から６のいずれか一項に記載の画像処理方法において、
　前記領域形成工程は、前記所定の領域形成処理として、前記染色情報識別工程によって出力された細胞候補領域を、前記分割情報識別工程によって出力された分割基準を基準として分割する、分割工程を含む
　ことを特徴とする。
　請求項８に記載の発明は、
　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置において、
　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別部と、
　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成部と、を備え、
　前記染色情報識別部は、
　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別するとともに、
　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力する
　ことを特徴とする。
　請求項９に記載の発明は、
　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置のコンピューターを、
　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別部、
　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成部、として機能させるためのプログラムであって、
　前記染色情報識別部に、
　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別させるとともに、
　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力させる。
　本発明によれば、画像認識技術を用いた細胞識別において、複雑な染色状態にある細胞の種類の識別が可能な画像処理方法、画像処理装置及びプログラムを提供することができる。
本発明の画像処理方法を適用した画像処理システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 第１実施形態に係る細胞識別処理１を示すフローチャートである。 第１実施形態に係る染色情報識別処理を示すフローチャートである。 確率マップの概念を示す図である。 確率マップの概念を示す図である。 第１実施形態に係る領域形成処理を示すフローチャートである。 第２実施形態に係る細胞識別処理２を示すフローチャートである。 第２実施形態に係る分割情報識別処理を示すフローチャートである。 第２実施形態に係る領域形成処理を示すフローチャートである。 第２実施形態における細胞識別処理２による出力の一例を示す図である。
≪第１実施形態≫
　以下、図を参照して本発明を実施するための第１実施形態について説明する。
＜画像処理システム１００の構成＞
　図１に、本発明に係る画像処理システム１００の全体構成例を示す。画像処理システム１００は、所定の染料で染色された組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、組織標本上の細胞の種類を同定して出力するシステムである。
　図１に示すように、画像処理システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニットを備えている。なお、顕微鏡画像取得装置１Ａは、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替え可能な構成としてもよい。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２－５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織標本における細胞の種類を同定して出力する。
　図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により細胞識別処理１（図３参照）等を実行し、染色情報識別工程、領域形成工程をそれぞれ実行する染色情報識別部、領域形成部（第２実施形態においては、さらに分割情報識別工程及び分割工程を実行する手段）としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、細胞識別処理１の結果としての細胞領域を出力するための出力手段として機能する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、明視野画像の入力手段として機能する。
　記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。
＜多重染色画像の取得＞
　本実施形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された組織標本の染色画像、特に発色の異なる複数の染料によって、複数種類の生体物質が染色された多重染色画像を用いて解析を行う。
　本実施形態における多重染色画像は、たとえばマクロファージに特異的に発現する２種以上のタンパク質が、複数の染料によって可視化された組織標本を、顕微鏡画像取得装置１Ａによって撮像して得られた画像である。タンパク質および遺伝子から任意に選ばれた２種類を用いてもよく、生体物質が染色体や小胞体などが染料によって可視化された組織標本であってもよい。
　ここで、多重染色画像の取得方法について、この多重染色画像の取得に際して用いられる染料、及び当該染料による組織標本の染色方法等も含めて詳細に説明する。
［タンパク質など］
　タンパク質は、たとえばマクロファージにおいて特異的に発現されるタンパク質から任意に選択することができ、例えば、ＰＤ－１、ＣＤ１６３、ＣＤ２０４、ＣＤ６８、Ｉｂａ１、ＣＤ１１ｃ、ＣＤ２０６、ＣＤ８０、ＣＤ８６、ＣＤ１６３、ＣＤ１８１、ＣＤ１９７、ｉＮＯＳ、Ａｒｇｉｎａｓｅ１、ＣＤ３８、Ｅｇｒ２等が挙げられる。
　なお、染色の対象とする２種以上のマクロファージタンパク質のうち、少なくとも一つが、Ｍ２マクロファージに特異的に発現するタンパク質（例えば、ＣＤ１６３、ＣＤ２０４等）であることが好ましく、組織標本として腫瘍組織を用いる場合には、腫瘍関連マクロファージ（ＴＡＭ）に特異的に発現するタンパク質であることが好ましい。
　また、がん細胞などにおいて発現・分泌される生体物質から任意に選択することができ、例えば、ＰＤＬ１、ＣＴＬＡ４、ＣＤ８、ＣＤ３０、ＣＤ４８、ＣＤ５９、ＩＤＯ、ＴＤＯ、ＣＳＦ－１Ｒ、ＨＤＡＣ、ＣＸＣＲ４、ＦＬＴ－３、ＴＩＧＩＴ、ＩＮＦ－α、ＩＮＦ－β、ＩＮＦ－ω、ＩＮＦ－ε、ＩＮＦ－κ、ＩＮＦ－γ、ＩＮＦ－λＣＳＦ、ＥＰＯ、ＥＧＦ、ＦＧＦ、ＰＤＧＦ、ＨＧＦ、ＴＧＦ、ＣＤ３、ＣＤ４、ＣＤ２５、ＣＤ２８、ＣＤ８０、ＣＤ８６、ＣＤ１６０、ＣＤ５７、ＯＸ４０（ＣＤ１３４）、ＯＸ４０Ｌ（ＣＤ２５２）、ＩＣＯＳ（ＣＤ２７８）、ＩＣＯＳＬ（ＣＤ２７５）、ＣＤ１５５、ＣＤ２２６、ＣＤ１１２、ＣＤ２７、ＣＤ７０、４－１ＢＢ（ＣＤ１３７）、４－１ＢＢＬ（ＣＤ１３７Ｌ）、ＧＩＴＲ（ＣＤ３５７）、ＧＩＴＲＬ、ＢＴＬＡ（ＣＤ２７２）、ＨＶＥＭ（ＣＤ２７０）、ＴＩＭ－３、ガレクチン－９（Ｇａｌｅｃｔｉｎ－９）、ＬＡＧ－３（ＣＤ２２３）、Ｂ７－Ｈ３（ＣＤ２７６）、Ｂ７－Ｈ４、Ｂ７－Ｈ５、ＣＤ４０、ＣＤ４０Ｌ、ＰＤ－１、ＰＤ－Ｌ２、２Ｂ４（ＣＤ２４４）、ＫＬＲＧ－１、Ｅ－Ｃａｄｈｅｒｉｎ、Ｎ－Ｃａｄｈｅｒｉｎ、Ｒ－Ｃａｄｈｅｒｉｎ、ＣＤ６８、ＣＤ１６３およびＣＳＦ１－Ｒを挙げることができる。
　さらに、遺伝子としてはＤＮＡであってもよいし、ｍＲＮＡ、ｔＲＮＡ、ｍｉＲＮＡ（ｍｉＲ４７１７等）、ｓｉＲＮＡ、ｎｏｎ－ｃｏｒｄｉｎｇ－ＲＮＡなどのＲＮＡであってもよい。
　本実施形態においては、Ｍ１マクロファージ及びＭ２マクロファージの両方に発現するタンパク質としてＣＤ６８を、Ｍ２マクロファージ（あるいはＴＡＭ）に特異的に発現するタンパク質としてＣＤ１６３を、それぞれ下記の染料を用いて染色するものとする。したがって、ＣＤ６８及びＣＤ１６３がともに発現している細胞はＭ２マクロファージ（あるいはＴＡＭ）であり、ＣＤ６８のみが発現している細胞はＭ１マクロファージであると判定することができる。
［染料］
　組織標本の染色は、組織標本と標識物質とを接触させることにより、染色の目的となるマクロファージタンパク質に標識物質を直接的または間接的に結合させて行うことが好ましく、例えば、マクロファージタンパク質に直接的または間接的に結合する抗体に標識物質を結合させた標識化抗体を、組織標本と反応させて行う免疫染色であることが好ましい。
　組織標本の染色は、色素染色によって行われることが好ましい。色素染色は各マクロファージタンパク質を明視野観察可能な色素で染色する手法であれば特に限定されず、例えば、標識物質（酵素）を任意の方法で染色の対象であるマクロファージタンパク質に結合させ、酵素基質反応により呈色する色素（基質）を添加することで色素を組織標本に沈着させることにより標的物質を染色する酵素抗体法を用いることができる。
　例えば、標的となるタンパク質と直接的または間接的に結合する抗体に酵素を結合させた標識化抗体をあらかじめ反応させた組織標本に、当該酵素の基質である色素を添加することで行う、免疫染色であることが好ましい。酵素としてはペルオキシダーゼ、アルカリフォスファターゼが、色素としては３，３’－ジアミノベンジジン（ＤＡＢ）、ＨｉｓｔｏＧｒｅｅｎ、ＴＭＢ、ＢｅｔａｚｏｉｄＤＡＢ、Ｃａｒｄａｓｓｉａｎ ＤＡＢ、Ｂａｊｏｒａｎ Ｐｕｒｐｌｅ、Ｖｉｎａ Ｇｒｅｅｎ、Ｒｏｍｕｌｉｎ ＡＥＣ、Ｆｅｒａｎｇｉ Ｂｌｕｅ、ＶｕｌｃａｎＦａｓｔ Ｒｅｄ、Ｗａｒｐ Ｒｅｄ等が挙げられる。なお、色素の安定性の観点から、ＤＡＢによる染色を行う場合には、他の染料による染色の前に行うことが好ましい。
　本実施形態においては、ＣＤ６８及びＣＤ１６３を、それぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色する。
［組織標本］
　組織標本とは、被験体から採取された組織切片や、被験体から採取された組織に含まれる細胞を培養した細胞であって、本実施形態においては腫瘍組織から採取した組織切片を用いるものとする。組織標本は、一般的には、免疫染色法により目的タンパク質の発現量を評価する場合などで慣用されているような、組織切片や細胞を載置した標本スライドの形態をとる。
　組織標本の作製法は特に限定されず、一般的には、例えば、被験体から採取した組織切片を、ホルマリン等を用いて固定し、アルコールで脱水処理した後、キシレン処理を行い、高温のパラフィン中に浸すことでパラフィン包埋を行うことで作製した組織試料を３～４μｍの切片にすることで得ることができ、当該組織切片をスライドガラス上に載置して乾燥することで標本スライドを作製することができる。
［染色方法］
　以下、組織標本の染色方法について述べる。以下に説明する染色方法は組織切片に限定されず、細胞染色にも適用可能である。
　１）脱パラフィン工程
　キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
　次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
　次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
　２）賦活化処理
　公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ　クエン酸緩衝液（ｐＨ６．０）、１ｍＭ　ＥＤＴＡ溶液（ｐＨ８．０）、５％　尿素、０．１Ｍ　トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０－１３０℃、時間は５－３０分で行うことができる。
　次いで、リン酸緩衝生理食塩水（Phosphate Buffered Saline：ＰＢＳ）を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。
　３）ブロッキング処理
　賦活化処理の後、各染色を行う前にバックグラウンドノイズの低減等を目的として、必要に応じてブロッキング等の処理を行うことが好ましい。例えば、ＢＳＡ（ウシ血清アルブミン）含有ＰＢＳやＴｗｅｅｎ２０などの界面活性剤をブロッキング剤として滴下することで抗体の組織標本への非特異的な吸着を抑制することがでる。また、例えば、色素染色においてペルオキシダーゼの酵素基質反応を用いる場合などにおいては、内因性ペルオキシダーゼによる非特異的な呈色反応を防ぐために過酸化水素によるペルオキシダーゼブロック等の処理を行うことが好ましい。
　これらの処理を行った後にはＰＢＳ等により洗浄を行うことが好ましい。洗浄条件は行った処理に応じて適宜調節することができ、例えば、室温で、３分以上３０分以下で行うことができる。
　４）染色処理
　洗浄後の組織標本に対して、色素染色を行う。
　免疫染色では、検出の目的となるマクロファージタンパク質に直接的または間接的に結合しうる抗体と標識物質とを直接的間接的に結合させた標識化抗体を適当な媒体に分散させ、組織切片等の組織標本に載せ、目的とする生体物質と反応させることで、目的のマクロファージタンパク質を染色する。
　一次抗体に標識物質を結合させたものを標識化抗体としてもよいし、二次抗体に標識物質を結合させたものを標識化抗体としてもよい。一次抗体に標識物質を結合させたものを標識化抗体とした場合には、標識化抗体は組織標本中のマクロファージタンパク質と直接結合することによりそれらを染色する。二次抗体に標識物質を結合させたものを標識化抗体とした場合には、標識化抗体は、組織標本中のマクロファージタンパク質に予め結合させておいた一次抗体に結合することにより、組織標本中のマクロファージタンパク質を染色する。
　また、抗体と標識物質との結合は直接的であっても間接的であってもよい。例えば標識化抗体が二次抗体であり、二次抗体と標識物質が間接的に結合している染色の様態の一つとして、［組織標本（目的タンパク質）］…［一次抗体（プローブ）］…［二次抗体］－［ビオチン］／［アビジン］－［標識物質］が挙げられる。
　“…”は抗原抗体反応により結合していることを表し、“－”は必要に応じてリンカー分子を介していてもよい共有結合により結合していることを表し、“／”はアビジン・ビオチン反応により結合していることを表す。）となる実施形態が挙げられる。このような染色は、例えば、最初に一次抗体の溶液に組織標本を浸漬し、次に二次抗体－ビオチン結合体の溶液に組織標本を浸漬し、最後にアビジン－標識物質の溶液に組織切片を浸漬することによって行うことができる。
　一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
　二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
　一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
　なお、上記の色素染色に併せて、任意の物質を蛍光標識する蛍光染色を行ってもよい。例えば、蛍光色素を用いた蛍光 in situ ハイブリダイゼーション（ＦＩＳＨ）法により、任意の遺伝子を染色させることなどが可能である。
　５）後処理
　染色工程を終えた組織標本は、上述したシグナル計測のための撮影等に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
　固定化・脱水処理は、組織標本を固定処理液（ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノール等の架橋剤）に浸漬すればよい。透徹は、固定化・脱水処理を終えた標本スライドを透徹液（キシレン等）に浸漬すればよい。封入処理は、透徹処理を終えた標本スライドを封入液に浸漬すればよい。これらの処理を行う上での条件、たとえば標本スライドを所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
＜画像処理システム１００の動作（画像処理方法を含む。）＞
　以下、画像処理システム１００において、上記説明した多重染色画像を取得して解析を行う動作について説明する。
　まず、操作者は、上記した方法により、ＣＤ６８及びＣＤ１６３をそれぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色した組織標本を用意する。
　その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）～（ａ３）の手順により多重染色画像が取得される。
（ａ１）操作者は、組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って多重染色画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　なお、組織標本に対して色素染色に加えて蛍光染色を行う場合には、（ａ３）の手順の後に、（ａ４）及び（ａ５）の手順により蛍光画像を取得する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　画像処理装置２Ａにおいては、明視野画像に基づき細胞識別処理１が実行される。
　図３に、画像処理装置２Ａにおいて実行される細胞識別処理１のフローチャートを示す。なお、図３に示す細胞識別処理１は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの多重染色画像が入力されると（ステップＳ１１）、制御部２１により染色情報識別処理が実行される（ステップＳ１２：染色情報識別工程）。
　図４に、ステップＳ１２における染色情報識別処理の詳細フローを示す。なお、ステップＳ１２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　染色情報識別処理では、制御部２１の制御下で、まず、２重陽性領域（ステップＳ１２０１）、ＤＡＢ単陽性領域（ステップＳ１２０２）及びＨｉｓｔｏＧｒｅｅｎ単陽性領域（ステップＳ１２０３）のそれぞれの確率マップが算出される。
　ここで、２重陽性領域とは、多重染色画像上において、ＤＡＢ及びＨｉｓｔｏＧｒｅｅｎの両方の発色が確認される２重陽性細胞、即ちＴＡＭを含むと考えらえる領域である。ＣＤ６８を標識するＤＡＢは細胞質に、ＣＤ１６３を標識するＨｉｓｔｏＧｒｅｅｎは細胞膜にそれぞれ発色し、これらの発色位置は完全には一致せず、染料が互いに異なる部位を断片的に染色する。両方の染料の発色が近接して確認される領域は、２重陽性細胞を含む可能性が高い。
　一方で、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域は、それぞれＤＡＢとＨｉｓｔｏＧｒｅｅｎの一方の発色のみが確認される領域であって、それぞれＤＡＢ単陽性細胞、ＨｉｓｔｏＧｒｅｅｎ単陽性細胞を含む可能性が高い。
　多重染色画像上ではこれらの領域が混在しているが、各染色領域がいずれの領域に含まれるかを正確に判断することで、各染色領域に含まれる細胞の種類を同定することができる。確率マップは、各染色領域について、いずれの種類の細胞を含むものであるかを確率として算出し、空間的に把握可能な態様で示した図である。
　以下、確率マップの生成方法について説明する。
　確率マップは、例えば、予め定められた大きさの局所領域を含む画像パッチをもとに訓練された畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）の出力として生成される。
　ＣＮＮは、従来のディープラーニングと同様に、識別対象が写された大量の画像を学習用の画像として教師あり学習を行うことで、画像に写った識別対象の特徴をニューラルネットワークに自動的に学習する。
　ＣＮＮは、例えば以下のように訓練される。一般的にＣＮＮにおけるニューラルネットワークは階層構造とされており、入力層と、畳み込み（convolution）層と、プーリング層と、全結合層と、出力層と、等を有しており、入力された学習用の画像に対して畳み込み層とプーリング層とを交互に複数回繰り返すことで、入力された画像に写された識別対象の特徴を抽出し、最後に全結合層で画像に写った識別対象の識別を行う。このようにして得た識別結果と、学習用の画像に付されたラベル（正解）との誤差を求め、ニューラルネットワークを逆伝播させ、ＣＮＮの各階層におけるパラメーターを変更する（誤差逆伝播法）。このように各層におけるパラメーターを変化させて、受け渡すデータを変化させることで、識別の精度を向上させて様々な識別対象を識別できるようになる。
　本実施形態においては、ＣＮＮは、例えば、学習対象の画像として病理学者等の識者によって、予め２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞のそれぞれが識別され、各細胞種に対応するクラスラベルが付与された画像を用いて訓練されることが可能である。学習対象の画像から、これらのラベルに対応する画素の周辺画素を含む領域、即ち２重陽性細胞、ＤＡＢ単陽性細胞あるいはＨｉｓｔｏＧｒｅｅｎ単陽性細胞のいずれかを含む局所領域が、画像パッチとして抽出される。ＣＮＮは、これらの画像パッチに対して上記したような各層の演算を行い、各々が２重陽性細胞、ＤＡＢ単陽性細胞あるいはＨｉｓｔｏＧｒｅｅｎ単陽性細胞のいずれであるかを識別し、識別結果と予め付与されたラベル（正解）との誤差を求め、誤差逆伝播法によりパラメーターを補正することで訓練される。
　上記のようにして訓練されたＣＮＮは、入力された多重染色画像に対して、局所領域における染料間の空間的相関と、細胞の構成要素間の相対的な位置関係とを考慮に入れて、細胞の種類を識別することができる。
　ここで、染料間の空間的相関とは、ある色の染料の近くに、他の色の染料が存在している等の、染料同士の位置関係を指す。例えば、２重陽性細胞は２種類の染料によって染色されるため、注目細胞を含む局所領域内において双方の染料による着色が確認されれば、その細胞は２重陽性細胞である可能性が高い。あるいは、注目細胞を含む局所領域内において単一の染料による着色しか確認されなければ、その細胞は単陽性細胞である可能性が高い。また、細胞の構成要素間の位置関係とは、細胞核の周りに細胞質、その更に外側に細胞膜が存在するといった、細胞の構成要素間の自明な包含関係を指す。
　本実施形態の例によれば、ＤＡＢとＨｉｓｔｏＧｒｅｅｎの双方の染料が近接して配置される局所領域（２重陽性領域）において、細胞質に発色するＤＡＢの茶褐色を包囲するように、細胞膜に発色するＨｉｓｔｏＧｒｅｅｎの緑色が確認されれば、ＨｉｓｔｏＧｒｅｅｎの緑色によって包囲される染色領域が、単一の２重陽性細胞であると判断できる。
　即ち、従来技術のように、単純にいずれかの染料によって染色された領域を細胞領域として抽出するのみでは、その染色状態の違いに基づいて細胞の種類を同定することは困難であった。これに対し本実施形態においては、上記したように染料間の空間的相関と、細胞の構成要素間の相対的な位置関係とを考慮することにより、複数の染料によって染色された多重染色画像から、２重陽性細胞や単陽性細胞といった断片的に染色された細胞のような複雑な識別対象を抽出し、染色状態の違いに基づいてこれらの細胞の種類を同定することが可能となる。
　具体的には、ＣＮＮは、ステップＳ１１において入力された多重染色画像に対して、畳み込み層におけるフィルター処理と、プーリング層における画像の縮小処理とを交互に複数回繰り返すことで、多重染色画像から特徴を抽出する。各層は、抽出した特徴を二次元的に配列させた特徴マップをフィルターの数だけ出力する。出力された特徴マップは、全結合層において完全結合されたマップを出力し、細胞領域ごとの確率的ラベルを生成する。即ち、確率マップは、多重染色画像上の各位置について細胞種ごと（２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞）の存在確率を算出し、それらを空間的につなぎ合わせて配列させたものである。なお、上記した各位置とは、多重染色画像上の複数のピクセルを含む広がりのある範囲であってもよいし、単一のピクセルであってもよい。したがって、確率マップは、例えば多重染色画像上の２つおきのピクセルごとに存在確率を算出した出力結果、あるいは各ピクセルについて存在確率を算出した出力結果などであることが想定される。
　図５に、確率マップの概念図を示す。例えば、図５Ａに示すような２重陽性細胞Ｃ1及びＤＡＢ単陽性細胞Ｃ2が配置された多重染色画像が画像処理装置２Ａに入力された場合、ＣＮＮにより、画像全体に対してａで示すフィルターをかけて特徴を抽出する。
　抽出された特徴に基づいて、図５Ｂに示す２重陽性細胞の確率マップＭ1及びＤＡＢ単陽性細胞の確率マップＭ2のような、細胞種毎の確率マップが白黒のマスクとして出力される。図中ｂは、フィルターａがかけられた領域における存在確率に対応する。これらが多重染色画像の全体に亘って空間的につなぎ合わされることによって、確率マップが生成される。
　ここで、確率マップ上においては、算出された存在確率は色によって表現される。その表現方法はどのようなものであってもよい。例えば、確率マップは、１／０の２値で細胞内外を表したマップであってもよく、あるいは、細胞中心からの距離を色の濃さに変換したもの、又は細胞境界からの距離を色の濃さに変換したもの等、直接的に実在する物体以外の概念に応じたマップであってもよい。なおこれらはあくまで一例であり、上記した例によって限定されるものではなく、任意に設計可能である。
　以上のようにして算出された確率マップは、制御部２１により、それぞれ閾値処理が施される（ステップＳ１２０４、ステップＳ１２０５、ステップＳ１２０６）。閾値処理とは、確率マップ上において、予め操作者によって設定された閾値に満たないものを切り捨てる処理である。これにより、各領域について一定以上の存在確率を有する領域のみが表示された確率マップが出力される。
　次いで、制御部２１により、領域の統合と再割り当て処理が実行される（ステップＳ１２０７）。領域の統合と再割り当て処理は、確率マップに基づいて、多重染色画像上の各染色領域がいずれの細胞領域であるかを判定する処理である。
　領域の統合と再割り当て処理においては、まず、ステップＳ１２０１～ステップＳ１２０６において、それぞれ算出された２重陽性領域、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域を統合する。このとき、各領域の確率マップに対してステップＳ１２０４～ステップＳ１２０６の閾値処理を施したのみでは、確率マップ同士に重なり合う部分が生じてしまう。このような共通部分を切り分けるため、それぞれの細胞候補領域の出力が排他的になるように領域の形成を行う。これには、細胞候補領域に順位づけを行うことが有効であり、例えば２重陽性細胞を単陽性細胞よりも優先的に表示させるなどの方法を用いることができる。
　以上のようにして、統合及び再割り当て処理が完了すると、２重陽性領域の細胞候補領域（ステップＳ１２０８）、ＤＡＢ単陽性領域の細胞候補領域（ステップＳ１２０９）、及びＨｉｓｔｏＧｒｅｅｎ単陽性領域の細胞候補領域（ステップＳ１２１０）がそれぞれ出力されて、染色情報識別処理が完了する。
　図３のフローチャートに戻り、制御部２１により、領域形成処理が実行される（ステップＳ１３：領域形成工程）。
　図６に、ステップＳ１３における処理の詳細フローを示す。なお、ステップＳ１３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　領域形成処理においては、制御部２１は、まず、各細胞候補領域において、面積が一定に満たない小面積領域を削除する（ステップＳ１３０１）。小面積領域の削除は、例えば、二値画像に対するオープニング処理によって行うことができる。オープニング処理は、収縮処理を行ってから同じ回数分だけ膨張処理を行う処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。オープニング処理により、ノイズ等の微小な領域が除去された細胞候補領域が出力される。
　続いて、制御部２１は、各細胞候補領域における欠損領域（穴領域）を補間する（ステップＳ１３０２）。欠損領域の補間は、例えば、二値画像に対するクロージング処理によって行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。クロージング処理により、欠損領域が補間された細胞候補領域が出力される。
　以上の処理によって細胞領域上のノイズや欠損等が削除され、最終的な細胞領域の識別結果が出力され（ステップＳ１３０３）、領域形成処理が完了する。
　領域形成処理を完了すると、図３の細胞識別処理１が完了する。
　以上説明したように、本実施形態に係る画像処理方法は、発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定することを特徴とする。染色情報識別処理においては、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、細胞の染色状態を識別するとともに、細胞の種類ごとに存在確率を表す確率マップを出力する。即ち、本実施形態に係る画像処理方法によれば、複数の染料によって染色された多重染色画像から、断片的に染色された細胞のような複雑な識別対象を抽出することが可能となる。
　また、本実施形態に係る画像処理方法においては、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む組織標本を用いる。これにより、染色状態の違いに基づいて細胞の種類を同定することが可能となる。
　また、本実施形態に係る画像処理方法においては、染色情報識別処理において粗抽出された細胞候補領域に対して、小面積領域の削除及び／又は欠損領域の補間を行う領域形成処理を実行する。これにより、より完全な形で細胞領域の出力を得ることができる。
　なお、上記実施形態においては、領域形成処理として小面積領域の削除及び欠損領域の補間の両方を行うものとしたが、これらの処理は必要に応じて行えばよく、いずれか一方のみを実行するものとしてもよい。
≪第２実施形態≫
　以下、図を参照して本発明を実施するための第２実施形態について説明する。なお、第１実施形態と同一の構成については、同一の符号を付して説明を省略する。
　第２実施形態においては、細胞識別処理において、染色情報識別処理によって得られた細胞候補領域を一細胞ごとに分割する、分割工程を含む。
　染色情報識別処理においては、２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞のそれぞれの候補領域が出力されるが、各領域内で複数の細胞が近接して配置されていると、これらの細胞がつながって一つの領域として出力される場合がある。そこで、本実施形態における細胞識別処理は、このような複数の細胞がつながって形成された細胞候補領域を一細胞ごとに分割して出力するための分割処理を実行するとともに、当該分割処理の基準となる分割基準を特定するための分割情報識別処理を含むことを特徴とする。
＜画像処理システム１００の動作（画像処理方法を含む。）＞
　以下、画像処理システム１００において、上記説明した多重染色画像を取得して解析を行う動作について説明する。なお、操作者による多重染色画像のデータの取得方法は、第１実施形態と同様であるため、説明を省略する。
　図７に、画像処理装置２Ａにおいて実行される細胞識別処理２のフローチャートを示す。なお、図７に示す細胞識別処理２は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの多重染色画像が入力されると（ステップＳ２１）、制御部２１により染色情報識別処理が実行される（ステップＳ２２：染色情報識別工程）。ステップＳ２２の処理は、第１実施形態における染色情報識別処理と同一であるため、説明を省略する。即ち、ステップＳ２２の処理によって、２重陽性領域、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域のそれぞれの細胞候補領域が出力される。
　一方で、多重染色画像の入力を受けて、制御部２１により分割情報識別処理が実行される（ステップＳ２３：分割情報識別工程）。
　図８に、ステップＳ２３における処理の詳細フローを示す。なお、ステップＳ２３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　分割情報識別処理では、制御部２１の制御下で、まず、分割基準の確率マップを算出する（ステップＳ２３０１）。
　ここで、分割基準とは、一つにつながった領域を複数の領域へ分割する際に基準となる物体や領域を指す。具体的には細胞核、細胞質及び細胞膜等の細胞の構成要素が分割基準として好適であり、これらを分割基準として用いる場合には、別個の染料によってこれら染色することも可能である。
　ただし、分割基準はこのような細胞の特定の構成要素に限定されない。分割基準は、生物学的構造、即ち細胞膜によって細胞同士が隔てられていること、細胞膜の内側に細胞質及び細胞核が存在すること、あるいは細胞質によって細胞核が内包されていること、などといった細胞の構成要素間の位置関係、及びこれらを染色する染料間の空間的相関を考慮して設定されることが好ましく、染料による染色領域に包囲された非染色領域、即ち、細胞核等が存在すると考えられる領域を、分割基準として設定することも可能である。
　また、一の染料（本実施形態においては、ＨｉｓｔｏＧｒｅｅｎ）によって包含された他の染料（本実施形態においては、ＤＡＢ）を分割基準として用いることも可能である。ステップＳ２３０１では、ＤＡＢ染色領域を分割基準として設定し、その存在確率を確率マップとして算出する。
　なお、分割基準の確率マップは、細胞候補領域の確率マップと同様に、ＣＮＮによって算出することが可能である。即ち、ＤＡＢ染色領域を分割基準とする場合には、多重染色画像から上記したＨｉｓｔｏＧｒｅｅｎ染色領域に包囲されたＤＡＢ染色領域を識別可能に訓練されたＣＮＮを用いて、分割基準の確率マップを算出することが有効である。
　一方で、多重染色画像の入力を受けて、制御部２１により領域境界の確率マップが算出される（ステップＳ２３０２）。領域境界とは、一の分割基準とその外側の領域（周囲の染色領域あるいは隣り合った分割基準等）との境界部分を指す。ステップＳ２３０１において算出された分割基準の確率マップは、単に閾値処理を施したのみでは、分割基準同士がつながって出力される場合がある。そこで、分割基準の確率マップを領域境界の確率マップによって補正することで、個々の分割基準を分離することができる。
　なお、領域境界の確率マップは、例えば、多重染色画像から分割基準の領域境界を識別可能に訓練されたＣＮＮによって算出することが可能である。
　ステップＳ２３０１及びステップＳ２３０２の処理を完了すると、制御部２１により、分割基準の確率マップが補正される（ステップＳ２３０３）。具体的には、分割基準の確率マップの各ピクセルにおける確率（数値）から、それに対応する領域境界の確率マップ上のピクセルにおける確率を、任意に設定された重みを乗じて減算することで、補正可能である。
　次いで、補正された分割基準の確率マップに閾値処理を施すと（ステップＳ２３０４）、最終的な分割基準の領域が出力されて（ステップＳ２３０５）、分割情報識別処理が完了する。
　図７のフローチャートに戻り、制御部２１により、領域形成処理が実行される（ステップＳ２４：領域形成工程）。
　図９に、ステップＳ２４における処理の詳細フローを示す。なお、ステップＳ２４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　領域形成処理では、制御部２１の制御下で、まず、染色情報識別処理において出力された各細胞候補領域に対して、分割情報識別処理において特定された分割基準を起点とする分割処理が施される（ステップＳ２４０１：分割工程）。この分割処理には、例えば、マーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムを適用することができる。
　ｗａｔｅｒｓｈｅｄアルゴリズムは、画像の輝度勾配を山と谷の地形図に見立て、そこに水を流すイメージをした時に、水を貯める分水嶺を領域の境界として判定する手法である。
　本実施形態において、分割情報識別処理で特定されたＤＡＢ染色領域（分割基準）をマーカーとするマーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムによって各細胞候補領域を分割する場合、ＤＡＢ染色領域を複数含む細胞候補領域のエッジ部分を山に見立て、当該細胞候補領域に対して、水位が画像全体で等しくなるように保ちながら浸水させるように、輝度の低い画素を除去していき、各細胞核の候補領域が一つの細胞候補領域の断片に含まれる状態となるまで、細胞候補領域を縮小する。次いで、細胞候補領域の断片を縮小開始前の細胞候補領域まで拡大させ、拡大された細胞候補領域同士がぶつかる画素を境界とすることで、細胞候補領域内の個々の細胞を分離することができる。
　細胞候補領域が一細胞ごとに分割されると、制御部２１により、小面積領域の削除（ステップＳ２４０２）及び欠損領域の補間（ステップＳ２４０３）が実行される。これらの処理は第１実施形態と同様であるため、説明を省略する。
　以上の処理の後、最終的な細胞領域、即ち細胞候補領域の個々の細胞が分離されて出力され（ステップＳ２４０４）、領域形成処理が完了する。
　領域形成処理を完了すると、図７の細胞識別処理２が完了する。
　図１０に、本実施形態に係る画像処理システム１００を用いて抽出された、２重陽性領域の細胞領域の一例を示す。
　図１０に示すように、染色情報識別処理により、多重染色画像から２重陽性領域の細胞候補領域が粗抽出される。一方で、分割情報識別処理により、ＤＡＢ染色領域を分割基準として抽出する。これらに基づいて、領域形成処理により、つながって出力された一細胞ごとに分割されて、最終的な細胞領域が出力される。
　以上説明したように、本実施形態に係る画像処理方法は、分割基準を特定するための分割情報識別処理を実行する。これにより、一つにつながって出力された細胞候補領域を細胞ごとに分割するための分割処理を実行することが可能となる。さらに、分割情報識別処理においては、分割基準の確率マップを生成するとともに、これを領域境界の確率マップによって補正することで、より正確に分割基準を特定することができる。
　また、上記したように、分割基準は染料による染色領域の内部に配置された核であってもよいし、その他、核以外の細胞の構成要素であってもよい。あるいは、染色領域に包囲された非染色領域を分割基準としてもよい。即ち、核のない細胞や、核を複数有する細胞など、あらゆる種類の細胞に対して当該分割処理を適用することが可能である。
　なお、上記実施形態においては、細胞候補領域の分割処理としてマーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムを用いるものとしたが、これに限定されない。その他、例えば、Ｇｒａｐｈｃｕｔを用いることも可能である。
[他の実施形態]
　なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　上記実施形態においては、ＣＤ６８及びＣＤ１６３をそれぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色する場合を例に挙げて説明したが、これに限定されるものではない。例えば、Ｃ２５及びＦｏｘＰ３を染色した制御性Ｔ細胞、ＦＡＰ、αＳＭＡ及びｖｉｍｅｎｔｉｎを染色した癌関連繊維芽細胞（cancer-associated fibroblasts：ＣＡＦｓ）、ＣＤ１９及びＣＤ２０を染色したＢ細胞などにも本発明を適用することが可能である。
　上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
　また、画像処理装置は必ずしも単体の装置で構成する必要はなく、染色情報識別工程、領域形成工程、及び分割情報識別工程をそれぞれ実行する、染色情報識別部、領域形成部、分割情報識別部などの構成毎に特化した装置を組み合わせた構成であってもよい。
　その他、画像処理システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　本発明は、画像処理方法、画像処理装置及びプログラムに利用できる。
１Ａ　顕微鏡画像取得装置
２Ａ　画像処理装置
２１　制御部（染色情報識別部、領域形成部）
２２　操作部
２３　表示部
２４　通信Ｉ／Ｆ
２５　記憶部
２６　バス
３Ａ　ケーブル
１００　画像処理システム

Claims (9)

  1. 　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
    　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別工程と、
    　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成工程と、を備え、
    　前記染色情報識別工程は、
    　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別するとともに、
    　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力する
    　画像処理方法。
  2. 　前記組織標本は、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む
    　請求項１に記載の画像処理方法。
  3. 　前記領域形成工程は、前記所定の領域形成処理として、前記細胞候補領域に対する小面積領域の削除及び／又は欠損領域の補間を行う
    　請求項１又は２に記載の画像処理方法。
  4. 　前記細胞候補領域を所定の領域ごとに分割するための分割基準を識別する分割情報識別工程を含み、
    　前記分割情報識別工程は、
    　前記多重染色画像上の各位置について、前記複数の染料間の空間的相関及び細胞の構成要素間の相対的な位置関係に基づいて、前記分割基準の存在確率を算出し、当該存在確率を空間的につなぎ合わせた分割基準の確率マップを生成する
    　請求項１から３のいずれか一項に記載の画像処理方法。
  5. 　前記分割基準は、前記染料による染色領域の内部に配置された核である
    　請求項４に記載の画像処理方法。
  6. 　前記分割基準は、前記細胞候補領域の内部であって、前記染料による染色領域に包囲された非染色領域である
    　請求項４に記載の画像処理方法。
  7. 　前記領域形成工程は、前記所定の領域形成処理として、前記染色情報識別工程によって出力された細胞候補領域を、前記分割情報識別工程によって出力された分割基準を基準として分割する、分割工程を含む
    　請求項４から６のいずれか一項に記載の画像処理方法。
  8. 　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置において、
    　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別部と、
    　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成部と、を備え、
    　前記染色情報識別部は、
    　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別するとともに、
    　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力する
    　画像処理装置。
  9. 　発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置のコンピューターを、
    　前記多重染色画像において、特定の染色状態にある細胞が存在する細胞候補領域を識別する染色情報識別部、
    　前記細胞候補領域に対して所定の領域形成処理を行うことにより、前記特定の染色状態にある細胞が同定された細胞領域を形成する領域形成部、として機能させるためのプログラムであって、
    　前記染色情報識別部に、
    　一の染料による染色が検出されたピクセルの近傍に位置するピクセルに他の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の細胞の染色状態を識別させるとともに、
    　前記多重染色画像上の各位置について、前記特定の染色状態にある細胞の存在確率を算出し、当該存在確率を空間的につなぎ合わせた確率マップを出力させる
    　ためのプログラム。
PCT/JP2019/011661 2018-03-30 2019-03-20 画像処理方法、画像処理装置及びプログラム WO2019188647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020510774A JP7259844B2 (ja) 2018-03-30 2019-03-20 画像処理方法、画像処理装置及びプログラム
US17/041,880 US20210133965A1 (en) 2018-03-30 2019-03-20 Image processing method, image processing device, and program
EP19775438.5A EP3779410A1 (en) 2018-03-30 2019-03-20 Image processing method, image processing device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018066856 2018-03-30
JP2018-066856 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019188647A1 true WO2019188647A1 (ja) 2019-10-03

Family

ID=68059884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011661 WO2019188647A1 (ja) 2018-03-30 2019-03-20 画像処理方法、画像処理装置及びプログラム

Country Status (4)

Country Link
US (1) US20210133965A1 (ja)
EP (1) EP3779410A1 (ja)
JP (1) JP7259844B2 (ja)
WO (1) WO2019188647A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220067938A1 (en) * 2020-08-25 2022-03-03 SCREEN Holdings Co., Ltd. Specimen analysis method and image processing method
WO2022059300A1 (ja) * 2020-09-15 2022-03-24 コニカミノルタ株式会社 画像処理方法、画像処理装置、および画像処理プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102122068B1 (ko) * 2018-11-19 2020-06-12 노을 주식회사 이미지 분석 시스템 및 분석 방법
JP7310447B2 (ja) * 2019-08-29 2023-07-19 セイコーエプソン株式会社 読取装置、汚れ表示方法および表示装置
CN114540469A (zh) * 2022-01-11 2022-05-27 深圳大学 一种基于非均一体积液滴和图像处理的数字核酸定量方法
CN118314570B (zh) * 2024-06-11 2024-08-06 重庆医科大学绍兴柯桥医学检验技术研究中心 一种检测卡误差修正的白细胞分类方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2011186750A (ja) 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2014115979A (ja) * 2012-11-15 2014-06-26 Ricoh Co Ltd 領域抽出装置、領域抽出方法およびプログラム
WO2015045962A1 (ja) * 2013-09-26 2015-04-02 コニカミノルタ株式会社 組織切片における生体物質の定量法
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム
JP2017516992A (ja) * 2014-05-23 2017-06-22 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
CA2704796A1 (en) * 2007-10-11 2009-04-16 British Columbia Cancer Agency Branch Systems and methods for automated characterization of genetic heterogeneity in tissue samples
JP2011022131A (ja) * 2009-06-18 2011-02-03 Olympus Corp 医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システム
US9842391B2 (en) * 2013-05-14 2017-12-12 Pathxl Limited Method and apparatus for processing an image of a tissue sample
AU2015265811B2 (en) * 2014-05-30 2020-04-30 Providence Health & Services - Oregon An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2011186750A (ja) 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2014115979A (ja) * 2012-11-15 2014-06-26 Ricoh Co Ltd 領域抽出装置、領域抽出方法およびプログラム
WO2015045962A1 (ja) * 2013-09-26 2015-04-02 コニカミノルタ株式会社 組織切片における生体物質の定量法
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム
JP2017516992A (ja) * 2014-05-23 2017-06-22 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220067938A1 (en) * 2020-08-25 2022-03-03 SCREEN Holdings Co., Ltd. Specimen analysis method and image processing method
WO2022059300A1 (ja) * 2020-09-15 2022-03-24 コニカミノルタ株式会社 画像処理方法、画像処理装置、および画像処理プログラム

Also Published As

Publication number Publication date
EP3779410A1 (en) 2021-02-17
JPWO2019188647A1 (ja) 2021-05-13
US20210133965A1 (en) 2021-05-06
JP7259844B2 (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2019188647A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP5892238B2 (ja) 医用画像処理装置及びプログラム
WO2016093090A1 (ja) 画像処理装置及び画像処理プログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
EP3861556A1 (en) Methods and systems for predicting response to pd-1 axis directed therapeutics
JP2022546058A (ja) 振動分光法を使用して検体固定の持続時間および品質を評価するためのシステムおよび方法
JP6740573B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JPWO2015190225A1 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
US11423533B2 (en) Image processing method and image processing system
US20240119746A1 (en) Apparatuses, systems and methods for generating synthetic image sets
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
JPWO2019172097A1 (ja) 画像処理方法、画像処理装置及びプログラム
EP3396375B1 (en) Image processing device and program
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
US20220392203A1 (en) Method of, and computerized system for labeling an image of cells of a patient
Jiménez-Sanchez Development and validation of image processing and analysis tools for the quantification of the tumor microenvironment in multiplex immunostained cancer tissues.
Tsakiroglou Prognostic insights from multiplexed spatial profiling of the tumour microenvironment
CN117940971A (zh) 用于预测双重数字病理学图像中的表型的机器学习技术
EP3576096A1 (en) Sensitivity analysis for digital pathology
Shafique et al. Composite Biomarker Image for Advanced Visualization in Histopathology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775438

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510774

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2019775438

Country of ref document: EP