WO2013146841A1 - 医用画像処理装置及びプログラム - Google Patents

医用画像処理装置及びプログラム Download PDF

Info

Publication number
WO2013146841A1
WO2013146841A1 PCT/JP2013/058917 JP2013058917W WO2013146841A1 WO 2013146841 A1 WO2013146841 A1 WO 2013146841A1 JP 2013058917 W JP2013058917 W JP 2013058917W WO 2013146841 A1 WO2013146841 A1 WO 2013146841A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fluorescent
cell
expression
feature amount
Prior art date
Application number
PCT/JP2013/058917
Other languages
English (en)
French (fr)
Inventor
昭教 角森
岡田　尚大
幸祐 権田
憲明 大内
みか 渡邉
Original Assignee
コニカミノルタ株式会社
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社, 国立大学法人東北大学 filed Critical コニカミノルタ株式会社
Priority to US14/387,405 priority Critical patent/US9483684B2/en
Priority to JP2014507942A priority patent/JP5892238B2/ja
Priority to EP13767991.6A priority patent/EP2833123A4/en
Publication of WO2013146841A1 publication Critical patent/WO2013146841A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a medical image processing apparatus and a program.
  • the collected tissue is first dehydrated to fix it, and then treated with paraffin, and then cut into thin slices with a thickness of 2 to 8 ⁇ m, the paraffin is removed, stained, and observed under a microscope.
  • a pathologist makes a diagnosis based on morphological information such as a change in the size and shape of a cell nucleus and a change in a pattern as a tissue, and staining information.
  • HE staining hematoxylin-eosin staining
  • DAB diaminobenzine
  • identifying proteins that are over-expressed in tissue sections and their expression levels can be very important information in determining prognosis and subsequent treatment plans.
  • the HER2 protein encoded by the HER2 gene is a receptor-type glycoprotein that penetrates the cell membrane, and is composed of three domains, extracellular, transmembrane, and intracellular. It is activated and is involved in cell proliferation and malignant transformation through signal transduction pathways. Overexpression of HER2 protein is observed in breast cancer, lung cancer, colon cancer, stomach cancer, bladder cancer and the like.
  • HER2 protein is considered to be a prognostic factor for breast cancer, and it is known that the prognosis of HER2-positive cases is significantly poor particularly in lymph node metastasis-positive cases. Further, HER2 protein is attracting attention as an important factor that determines the adaptation of a molecular target drug (trastuzumab), and as an effect predictor of anticancer agents such as anthracyclines and taxanes.
  • HER2 protein is considered to be a prognostic factor for breast cancer, and it is known that the prognosis of HER2-positive cases is significantly poor particularly in lymph node metastasis-positive cases.
  • HER2 protein is attracting attention as an important factor that determines the adaptation of a molecular target drug (trastuzumab), and as an effect predictor of anticancer agents such as anthracyclines and taxanes.
  • overexpression of HER2 protein is examined by an immunohistochemical method (IHC method), and overexpression of HER2 gene is examined by FISH method.
  • IHC method immunohistochemical method
  • FISH method FISH method
  • first, positive, negative, and border areas are selected by a simple IHC method, and if positive, trastuzumab administration is determined.
  • positive and negative are further selected by the FISH method.
  • the IHC method and the FISH method are compared, the IHC method is simple but has a problem of low accuracy.
  • the FISH method has high accuracy, but the work is complicated and the cost is high. In other words, it is desired to develop a technique that can achieve the same accuracy as the FISH method by the IHC method. In addition, it is desired to develop a method that has a low personality and can be automated.
  • Patent Document 1 a cell nucleus is extracted from an image of a biological tissue stained by the DAB method, a cell membrane is specified from the image of the biological tissue based on the cell nucleus, and a staining state of the cell membrane is determined.
  • a system for evaluating the expression of HER2 protein based on the above is described.
  • Patent Document 1 since the DAB method is amplified by an enzyme and lacks quantitativeness, the technique described in Patent Document 1 cannot know the quantitative expression level of HER2 protein. In addition, the cell membrane does not maintain a certain shape at the infiltrating portion, and analysis by specifying the cell membrane is difficult.
  • An object of the present invention is to enable a doctor to quantitatively grasp the expression level of a specific protein in a tissue section.
  • a medical image processing apparatus comprises: An input means for inputting a cell morphology image representing the morphology of a cell in the tissue section and a fluorescence image representing the expression of a specific protein in the tissue section as a fluorescent bright spot; Operation means for designating an analysis target region from the cell morphology image; A cell nucleus extracting means for extracting a cell nucleus region from the cell morphology image; A fluorescent bright spot extracting means for extracting a fluorescent bright spot indicating the expression of the specific protein from the fluorescent image; Based on the extracted cell nucleus region and the fluorescent bright spot existing in the analysis target region specified by the operation means, a feature amount indicating the expression level of the specific protein in the specified analysis target region is calculated. A feature amount calculating means; Output means for outputting the calculated feature value; Is provided.
  • the feature amount calculating means acquires information on the number of fluorescent luminescent spots and the number of cell nuclei in the analysis target area specified by the operating means, and the specified amount is calculated based on the acquired number of cell nuclei and fluorescent luminescent spots. It is preferable to calculate a feature amount indicating the expression level of the specific protein in the analysis target region.
  • the feature amount calculating means preferably calculates the number of fluorescent bright spots per cell nucleus in the designated analysis target region as a feature amount indicating the expression level of the specific protein.
  • a composite image generating means for generating a composite image of the cell morphology image and the fluorescence image;
  • the output means preferably outputs the composite image on which the annotation indicating the position of the analysis target region designated by the operation means is superimposed together with the feature amount.
  • the cell morphology image and the fluorescence image are preferably composed of a single image representing the morphology of the cells in the tissue section and expressing the expression of a specific protein in the tissue section as a fluorescent bright spot.
  • a program is Computer
  • An input means for inputting a cell morphology image representing the morphology of a cell in a tissue section and a fluorescence image representing the expression of a specific protein in the tissue section as a fluorescent bright spot;
  • An operation means for designating an analysis target region from the cell morphology image;
  • a cell nucleus extracting means for extracting a cell nucleus region from the cell morphology image;
  • a fluorescent bright spot extracting means for extracting a fluorescent bright spot indicating the expression of the specific protein from the fluorescent image;
  • Based on the extracted cell nucleus region and the fluorescent bright spot existing in the analysis target region specified by the operation means a feature amount indicating the expression level of the specific protein in the specified analysis target region is calculated.
  • Feature amount calculation means Output means for outputting the calculated feature amount; To function as.
  • FIG. 1 It is a figure which shows the system configuration
  • FIG. 1 shows an example of the overall configuration of a pathological diagnosis support system 100 according to the first embodiment.
  • the pathological diagnosis support system 100 acquires a microscopic image of a tissue section of a human body stained with a predetermined staining reagent, and analyzes the acquired microscopic image, thereby expressing the expression of a specific biological material in the tissue section to be observed. This is a system that outputs feature quantities quantitatively.
  • the pathological diagnosis support system 100 is configured by connecting a microscope image acquisition apparatus 1A and an image processing apparatus 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition device 1A and the image processing device 2A is not particularly limited.
  • the microscope image acquisition apparatus 1A and the image processing apparatus 2A may be connected via a LAN (Local Area Network) or may be configured to be connected wirelessly.
  • LAN Local Area Network
  • the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means includes a light source, a filter, and the like, and irradiates light to a tissue section on the slide placed on the slide fixing stage.
  • the imaging means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the imaging means includes a CCD (Charge Coupled Device) sensor and the like, and images the image formed on the imaging surface by the imaging means to generate digital image data (R, G, B image data) of the microscope image
  • the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
  • the microscope image acquisition apparatus 1A includes a bright field unit that combines an irradiation unit and an imaging unit suitable for bright field observation, and a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation. It is possible to switch between bright field / fluorescence by switching units.
  • the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
  • a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
  • the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
  • the image processing device 2A calculates a feature amount quantitatively indicating the expression level of a specific biological material in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition device 1A. It is a medical image processing apparatus that outputs a feature amount.
  • FIG. 2 shows a functional configuration example of the image processing apparatus 2A. As shown in FIG. 2, the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
  • the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
  • the control unit 21 executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation.
  • the control unit 21 executes the image analysis process A (see FIG. 10) in cooperation with a program stored in the storage unit 25, and extracts a cell nucleus extraction unit, a fluorescent bright spot extraction unit, a feature amount calculation unit, a synthesis A function as an image generation means is realized.
  • the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and a key pressing signal pressed by the keyboard and an operation signal by the mouse. Are output to the control unit 21 as an input signal.
  • the display unit 23 includes, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with display signal instructions input from the control unit 21.
  • the display unit 23 functions as an output unit for outputting the calculated feature amount.
  • the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
  • the communication I / F 24 functions as an input unit.
  • the storage unit 25 includes, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs, various data, and the like.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like and be connected to an external device via a communication network such as a LAN.
  • the image processing apparatus 2A in the first embodiment performs analysis using the bright field image (HE-stained image) and the fluorescence image transmitted from the microscope image acquisition apparatus 1A.
  • a bright-field image is a microscope image obtained by enlarging and photographing a HE (hematoxylin-eosin) -stained tissue section in a bright field with the microscope image acquisition apparatus 1A.
  • Hematoxylin is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, etc. (basophilic tissue, etc.).
  • Eosin is a red to pink pigment that stains the cytoplasm, connective tissue of soft tissues, red blood cells, fibrin, endocrine granules, etc.
  • FIG. 3 shows an example of a bright field image obtained by photographing a tissue section subjected to HE staining. As shown in FIG. 3, in the bright field image obtained by photographing the tissue section subjected to HE staining, the morphology of the cells in the tissue section appears. Cell nuclei are darker than the surrounding cytoplasm (blue-violet) and appear distinct from the surroundings, and the morphology of the cell nuclei can be clearly captured in the bright field image.
  • the fluorescent image is stained using a staining reagent including nanoparticles (referred to as fluorescent substance-containing nanoparticles) encapsulating a fluorescent substance bound with a biological substance recognition site that specifically binds and / or reacts with a specific biological substance.
  • a staining reagent including nanoparticles referred to as fluorescent substance-containing nanoparticles
  • This is a microscope image obtained by irradiating the tissue section with the excitation light of a predetermined wavelength in the microscope image acquisition device 1A to emit fluorescent substance-containing nanoparticles (fluorescence), and enlarging and photographing this fluorescence. . That is, the fluorescence that appears in the fluorescence image indicates the expression of a specific biological material corresponding to the biological material recognition site in the tissue section.
  • FIG. 4 shows an example of the fluorescence image.
  • a method for acquiring a fluorescent image including a staining reagent (fluorescent substance-containing nanoparticles) used for acquiring the fluorescent image, a method for staining a tissue section with the staining reagent, and the like.
  • fluorescent substance examples include fluorescent organic dyes and quantum dots (semiconductor particles). When excited by ultraviolet to near infrared light having a wavelength in the range of 200 to 700 nm, it preferably emits visible to near infrared light having a wavelength in the range of 400 to 1100 nm.
  • fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
  • fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
  • examples include molecules, NBD dye molecules, pyrene dye molecules, Texas Red dye molecules, cyanine dye molecules, and the like.
  • quantum dots containing II-VI group compounds, III-V group compounds, or group IV elements as components ("II-VI group quantum dots”, "III-V group quantum dots”, " Or “Group IV quantum dots”). You may use individually or what mixed multiple types.
  • CdSe CdS, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, and Ge, but are not limited thereto.
  • a quantum dot having the above quantum dot as a core and a shell provided thereon.
  • CdSe / ZnS when the core is CdSe and the shell is ZnS, it is expressed as CdSe / ZnS.
  • CdSe / ZnS, CdS / ZnS, InP / ZnS, InGaP / ZnS, Si / SiO 2 , Si / ZnS, Ge / GeO 2 , Ge / ZnS, and the like can be used, but are not limited thereto.
  • the quantum dots those subjected to surface treatment with an organic polymer or the like may be used as necessary. Examples thereof include CdSe / ZnS having a surface carboxy group (manufactured by Invitrogen), CdSe / ZnS having a surface amino group (manufactured by Invitrogen), and the like.
  • the fluorescent substance-encapsulating nanoparticles are those in which the fluorescent substance is dispersed inside the nanoparticles, whether the fluorescent substance and the nanoparticles themselves are chemically bonded or not. Good.
  • the material constituting the nanoparticles is not particularly limited, and examples thereof include polystyrene, polylactic acid, and silica.
  • Fluorescent substance-containing nanoparticles used in the present embodiment can be produced by a known method.
  • silica nanoparticles encapsulating a fluorescent organic dye can be synthesized with reference to the synthesis of FITC-encapsulated silica particles described in Langmuir 8, Vol. 2921 (1992).
  • Various fluorescent organic dye-containing silica nanoparticles can be synthesized by using a desired fluorescent organic dye in place of FITC.
  • Silica nanoparticles encapsulating quantum dots can be synthesized with reference to the synthesis of CdTe-encapsulated silica nanoparticles described in New Journal of Chemistry, Vol. 33, p. 561 (2009).
  • Polystyrene nanoparticles encapsulating a fluorescent organic dye may be copolymerized using an organic dye having a polymerizable functional group described in US Pat. No. 4,326,008 (1982) or polystyrene described in US Pat. No. 5,326,692 (1992). It can be produced using a method of impregnating nanoparticles with a fluorescent organic dye.
  • Polymer nanoparticles encapsulating quantum dots can be prepared using the method of impregnating polystyrene nanoparticles with quantum dots described in Nature Biotechnology, Vol. 19, page 631 (2001).
  • the average particle diameter is obtained by taking an electron micrograph using a scanning electron microscope (SEM), measuring the cross-sectional area of a sufficient number of particles, and taking each measured value as the area of the circle. As sought. In the present application, the arithmetic average of the particle sizes of 1000 particles is defined as the average particle size. The coefficient of variation was also a value calculated from the particle size distribution of 1000 particles.
  • the biological material recognition site is a site that specifically binds and / or reacts with the target biological material.
  • the target biological substance is not particularly limited as long as a substance that specifically binds to the target biological substance exists, but typically, protein (peptide), nucleic acid (oligonucleotide, polynucleotide), antibody, etc. Is mentioned. Accordingly, substances that bind to the target biological substance include antibodies that recognize the protein as an antigen, other proteins that specifically bind to the protein, and nucleic acids having a base sequence that hybridizes to the nucleic acid. Is mentioned.
  • an anti-HER2 antibody that specifically binds to HER2 which is a protein present on the cell surface
  • an anti-ER antibody that specifically binds to an estrogen receptor (ER) present in the cell nucleus and actin that forms a cytoskeleton
  • an anti-actin antibody that specifically binds to are preferable.
  • the mode of binding between the biological substance recognition site and the fluorescent substance-encapsulating nanoparticles is not particularly limited, and examples thereof include covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, physical adsorption, and chemical adsorption.
  • a bond having a strong bonding force such as a covalent bond is preferred from the viewpoint of bond stability.
  • an organic molecule that connects between the biological substance recognition site and the fluorescent substance-containing nanoparticle.
  • a polyethylene glycol chain can be used, and SM (PEG) 12 manufactured by Thermo Scientific can be used.
  • a silane coupling agent that is a compound widely used for bonding an inorganic substance and an organic substance can be used.
  • This silane coupling agent is a compound having an alkoxysilyl group that gives a silanol group by hydrolysis at one end of the molecule and a functional group such as a carboxyl group, an amino group, an epoxy group, an aldehyde group at the other end, Bonding with an inorganic substance through an oxygen atom of the silanol group.
  • silane coupling agent having a polyethylene glycol chain for example, PEG-silane no. SIM6492.7 manufactured by Gelest
  • silane coupling agent you may use 2 or more types together.
  • a publicly known method can be used for the reaction procedure of the fluorescent organic dye-encapsulated silica nanoparticles and the silane coupling agent.
  • the obtained fluorescent organic dye-encapsulated silica nanoparticles are dispersed in pure water, aminopropyltriethoxysilane is added, and the mixture is reacted at room temperature for 12 hours.
  • fluorescent organic dye-encapsulated silica nanoparticles whose surface is modified with an aminopropyl group can be obtained by centrifugation or filtration.
  • the antibody can be bound to the fluorescent organic dye-encapsulated silica nanoparticles via an amide bond.
  • a condensing agent such as EDC (1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate, Hydrochloride: manufactured by Pierce (registered trademark)
  • EDC 1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate, Hydrochloride: manufactured by Pierce (registered trademark)
  • a linker compound having a site that can be directly bonded to the fluorescent organic dye-encapsulated silica nanoparticles modified with organic molecules and a site that can be bonded to the molecular target substance can be used.
  • sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidemethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
  • sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidemethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
  • fluorescent substance-encapsulated polystyrene nanoparticles When binding a biological material recognition site to fluorescent substance-encapsulated polystyrene nanoparticles, the same procedure can be applied regardless of whether the fluorescent substance is a fluorescent organic dye or a quantum dot. That is, by impregnating a fluorescent organic dye or quantum dot into polystyrene nanoparticles having a functional group such as an amino group, fluorescent substance-containing polystyrene nanoparticles having a functional group can be obtained, and thereafter using EDC or sulfo-SMCC. Thus, antibody-bound fluorescent substance-encapsulated polystyrene nanoparticles can be produced.
  • Antibodies that recognize specific antigens include M. actin, MS actin, SM actin, ACTH, Alk-1, ⁇ 1-antichymotrypsin, ⁇ 1-antitrypsin, AFP, bcl-2, bcl-6, ⁇ -catenin, BCA 225, CA19-9, CA125, calcitonin, calretinin, CD1a, CD3, CD4, CD5, CD8, CD10, CD15, CD20, CD21, CD23, CD30, CD31, CD34, CD43, CD45, CD45R, CD56, CD57, CD61, CD68, CD79a, "CD99, MIC2", CD138, chromogranin, c-KIT, c-MET, collagen type IV, Cox-2, cyclin D1, keratin, cytokeratin (high molecular weight), pankeratin, pankeratin, cytokeratin 5/6, cytokeratin 7, cytokeratin 8, cytokeratin
  • the pathological section is immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, xylene may be exchanged during the immersion.
  • the pathological section is immersed in a container containing ethanol to remove xylene.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Further, if necessary, ethanol may be exchanged during the immersion.
  • the pathological section is immersed in a container containing water to remove ethanol.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Moreover, you may exchange water in the middle of immersion as needed.
  • the activation process of the target biological substance is performed according to a known method.
  • the activation conditions are not particularly defined, but as the activation liquid, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer, etc. are used. be able to.
  • As the heating device an autoclave, a microwave, a pressure cooker, a water bath, or the like can be used.
  • the temperature is not particularly limited, but can be performed at room temperature. The temperature can be 50-130 ° C. and the time can be 5-30 minutes.
  • the section after the activation treatment is immersed in a container containing PBS (Phosphate Buffered Saline) and washed.
  • PBS Phosphate Buffered Saline
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, the PBS may be replaced during the immersion.
  • each fluorescent substance-encapsulated nanoparticle PBS dispersion may be mixed in advance, or placed separately on a pathological section separately. Also good.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the reaction time is preferably 30 minutes or more and 24 hours or less.
  • a known blocking agent such as BSA-containing PBS
  • the stained section is immersed in a container containing PBS, and unreacted fluorescent substance-containing nanoparticles are removed.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, the PBS may be replaced during the immersion.
  • a cover glass is placed on the section and sealed. A commercially available encapsulant may be used as necessary.
  • HE dyeing is performed before enclosure with a cover glass.
  • Fluorescence image acquisition A wide-field microscope image (fluorescence image) is acquired from the stained pathological section using the microscope image acquisition device 1A.
  • an excitation light source and a fluorescence detection optical filter corresponding to the absorption maximum wavelength and fluorescence wavelength of the fluorescent material used for the staining reagent are selected.
  • the visual field of the fluorescent image is preferably 3 mm 2 or more, more preferably 30 mm 2 or more, and further preferably 300 mm 2 or more.
  • Nanoparticles 1 Cy5 encapsulated silica nanoparticles
  • a labeling material A was prepared.
  • CdSe / ZnS-encapsulated silica nanoparticles hereinafter referred to as “nanoparticles 2” were produced, and a labeling material B in which an anti-HER2 antibody was bound to the nanoparticles 2 was produced.
  • a plurality of fluorescent images are obtained by performing immunostaining using adjacent sections of human breast tissue whose FISH score has been measured in advance using the produced labeling materials A and B and the labeling materials C and D as comparative examples, and changing the visual field.
  • the visual field was obtained, and the number of fluorescent bright spots appearing in each fluorescent image was measured to examine the relationship with the FISH score.
  • Step (4) The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed.
  • SEM scanning electron microscope
  • Step (2) Quantum dot-encapsulated silica: synthesis of CdSe / ZnS-encapsulated silica nanoparticles having an emission wavelength of 655 nm
  • CdSe / ZnS-encapsulated silica nanoparticles (hereinafter referred to as “nanoparticles 2”) were prepared by the following steps (1) to (5).
  • Step (1) 10 ⁇ L of CdSe / ZnS decane dispersion (Invitrogen Qdot655) and 40 ⁇ L of tetraethoxysilane were mixed.
  • Step (2) 4 mL of ethanol and 1 mL of 14% aqueous ammonia were mixed.
  • Step (3) The mixture prepared in Step (1) was added to the mixture prepared in Step (2) while stirring at room temperature. Stirring was performed for 12 hours from the start of addition.
  • Step (4) The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed.
  • Step (1) 1 mg of nanoparticles 1 was dispersed in 5 mL of pure water. Next, 100 ⁇ L of an aminopropyltriethoxysilane aqueous dispersion was added and stirred at room temperature for 12 hours. Step (2): The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed. Step (3): Ethanol was added to disperse the sediment, followed by centrifugation again.
  • Step (4) The amino group-modified silica nanoparticles obtained in step (3) were adjusted to 3 nM using PBS containing 2 mM of EDTA (ethylenediaminetetraacetic acid).
  • Step (6) The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed.
  • Step (7) PBS containing 2 mM of EDTA was added, the precipitate was dispersed, and centrifuged again. The washing
  • Step (8) When 100 ⁇ g of the anti-HER2 antibody was dissolved in 100 ⁇ L of PBS, 1 M dithiothreitol (DTT) was added and reacted for 30 minutes.
  • Step (10) Using the nanoparticle 1 as a starting material, the particle dispersion obtained in step (7) and the reduced anti-HER2 antibody solution obtained in step (9) are mixed in PBS and allowed to react for 1 hour. It was. Step (11): 4 ⁇ L of 10 mM mercaptoethanol was added to stop the reaction. Step (12): The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed. Then, PBS containing 2 mM of EDTA was added, the precipitate was dispersed, and centrifuged again. The washing
  • Fluorescent substance-encapsulated silica nanoparticles bound with anti-HER2 antibody obtained from nanoparticle 1 as a starting material are labeled material A, and phosphor-encapsulated silica nanoparticles bound with anti-HER2 antibody obtained from nanoparticle 2 as a starting material. This is labeled material B.
  • an anti-HER2 antibody was bound to Cy5 to obtain a reduced anti-HER2 antibody solution (labeling material D).
  • labeling material D was bound to Cy5 to obtain a reduced anti-HER2 antibody solution.
  • labeling material C was prepared by binding an anti-HER2 antibody to CdSe.
  • tissue staining using fluorescent substance-containing nanoparticles Using the antibody-binding labeling materials A to D produced by the methods of the following steps (1) to (10), immunostaining was performed using adjacent sections of human breast tissue whose FISH score was measured in advance. As a stained section, a tissue array slide (CB-A712) manufactured by Cosmo Bio was used. Twenty-four sections with a FISH score of 1-9 were used.
  • Step (1) The pathological section was immersed in a container containing xylene for 30 minutes. The xylene was changed three times during the process.
  • Step (2) The pathological section was immersed in a container containing ethanol for 30 minutes. The ethanol was changed three times during the process.
  • Step (3) The pathological section was immersed in a container containing water for 30 minutes. The water was changed three times along the way.
  • Step (6) The section after autoclaving was immersed in a container containing PBS for 30 minutes.
  • Step (7) PBS containing 1% BSA was placed on the tissue and left for 1 hour.
  • a plurality of fluorescent images are obtained by changing the field of view (observation area), and the number of fluorescent bright spots (the number of bright spots) is obtained from each fluorescent image using image analysis software.
  • the microscope used was an upright microscope Axio Imager M2 manufactured by Carl Zeiss, and the objective lens was set to 20 times, and excitation light having a wavelength of 630 to 670 nm was irradiated to form an image of fluorescence emitted from the tissue section. Then, a fluorescence image (image data) was acquired with a microscope installation camera (monochrome), and the number of bright spots was measured with image analysis software.
  • the camera has a pixel size of 6.4 ⁇ m ⁇ 6.4 ⁇ m, a vertical pixel count of 1040, and a horizontal pixel count of 1388 (imaging area 8.9 mm ⁇ 6.7 mm).
  • the correlation coefficient R between the measured number of bright spots and the FISH score was calculated in each visual field.
  • the FISH score corresponds to the overexpression level of the HER2 gene, and the larger the value of the FISH score, the higher the overexpression level of the HER2 gene.
  • FIG. 5 shows the number of bright spots measured from fluorescent images of a plurality of different visual fields (0.3 mm 2 , 3 mm 2 , 32 mm 2 , 324 mm 2 ) and FISH when using the labeling material A (Cy5 inclusion labeling material). It is a figure which shows the relationship with a score. The value of R 2 shown in the figure is the square value of the correlation coefficient between the number of bright spots and the FISH score.
  • FIG. 6 shows the number of bright spots measured from fluorescent images of a plurality of different visual fields (0.3 mm 2 , 3 mm 2 , 32 mm 2 , 324 mm 2 ) and FISH when the labeling material B (CdSe-containing labeling material) is used. It is a figure which shows the relationship with a score.
  • FIG. 7 shows the number of bright spots measured from fluorescence images of a plurality of different visual fields (0.3 mm 2 , 3 mm 2 , 32 mm 2 , 324 mm 2 ) and the FISH score when the labeling material C (CdSe) is used. It is a figure which shows a relationship.
  • FIG. 8 shows the number of bright spots measured from fluorescent images of a plurality of different visual fields (0.3 mm 2 , 3 mm 2 , 32 mm 2 , 324 mm 2 ) and the FISH score when the labeling material D (Cy5) is used. It is a figure which shows a relationship.
  • Table 1 and FIG. 9 show the square value (R 2 ) of the correlation coefficient between the number of bright spots measured from the fluorescence image of each visual field (observation area) and the FISH score for each of the labeling materials A to D.
  • the square value (R 2 ) of the correlation coefficient between the number of bright spots and the FISH score is 0. 5387. This value is approximately 0.734 when converted to the correlation coefficient R, and it can be said that there is a strong correlation between the number of bright spots and the FISH score.
  • the square value (R 2 ) of the correlation coefficient between the number of bright spots and the FISH score is 0. It was 9887.
  • the field of view is 324 mm 2 , it can be said that the correlation is stronger than when the field of view is 32 mm 2 .
  • the labeling materials A and B use particles containing a fluorescent substance and are brighter than the labeling materials C and D using a single fluorescent substance, each point of the bright spot is captured from the image. Easy to measure the number of bright spots with high accuracy.
  • a tissue section stained with a staining reagent containing fluorescent substance-containing nanoparticles bound with a biological substance recognition site that recognizes a specific protein for example, HER2 protein in breast cancer tissue; hereinafter referred to as a specific protein.
  • a specific protein for example, HER2 protein in breast cancer tissue; hereinafter referred to as a specific protein.
  • the present invention is not limited to this example.
  • a bright field image and a fluorescence image are acquired by the procedures (a1) to (a5).
  • A1 The operator uses a microscope image of a slide on which a fluorescent reagent-encapsulated nanoparticle bound with a biological substance recognition site that recognizes a specific protein and a tissue section stained with a HE reagent are placed. Place on the slide fixing stage of the acquisition device 1A.
  • A2) Set to the bright field unit, adjust the imaging magnification and focus, and place the observation target area on the tissue in the field of view.
  • Shooting is performed by the imaging unit to generate bright field image data, and the image data is transmitted to the image processing apparatus 2A.
  • the tissue autofluorescence and eosin emission (background) are 10% (1.1 times). If the fluorescence emission point of the fluorescent substance-encapsulating nanoparticles has the above-mentioned difference in light emission amount, the microscope can be used in any processing system of 8 bits (0 to 255 gradations) and 12 bits (0 to 4095 gradations). It was possible to automatically detect fluorescent bright spots from images.
  • the excitation light wavelength in the fluorescence unit is selected to be in the range of 560 to 630 nm, and the fluorescent material has fluorescence having a peak in the range of 580 to 690 nm, more preferably in the range of 600 to 630 nm due to the excitation light. It is preferable to use one that emits light.
  • the difference between the autofluorescence of the tissue including the emission of eosin and the fluorescence from the fluorescent substance-containing nanoparticles is secured. This is because it is possible to ensure that they can be distinguished and recognized (difference of 10% (1.1 times) or more).
  • the autofluorescence of the tissue is weak, so the wavelength range of the excitation light is not limited to a general range of 200 nm to 700 nm, and the autofluorescence and fluorescent substance-containing nanoparticles are not particularly limited.
  • a difference in fluorescence emission from the light source so that both can be distinguished and recognized (a difference in light quantity between the two is 10% (1.1 times or more)).
  • FIG. 10 shows a flowchart of image analysis processing A in the image processing apparatus 2A.
  • the image analysis processing shown in FIG. 10 is executed in cooperation with the control unit 21 and a program stored in the storage unit 25.
  • step S1 When a bright field image is input from the microscope image acquisition apparatus 1A via the communication I / F 24 (step S1), the ROI to be analyzed is specified from the bright field image (step S2).
  • step S2 first, a bright field image obtained by photographing a tissue section is displayed on the display unit 23. When an area is designated by the operation unit 22 from the displayed bright field image, the designated area is set as an analysis target. Set as ROI (region of interest).
  • FIG. 11 shows an example of specifying the ROI in step S2.
  • a bright-field image particularly an HE-stained image
  • the size of the cell nucleus can be designated as the ROI to be analyzed, such as a region where the cell nuclei are irregular, a region where the cell nucleus is larger than normal, and the like.
  • the ROI the entire image can be designated, or an arbitrary area can be designated.
  • a region where the doctor who is the user wants to know the expression level of the specific protein quantitatively such as a cancer region or an infiltrating portion where cancer has spread to the surroundings can be designated.
  • a method for designating an arbitrary area it may be designated by a geometric area such as a rectangle or a circle, or a user may draw and designate a free curve with a mouse or the like.
  • step S3 a cell nucleus region is extracted from the bright field image.
  • FIG. 12 shows a detailed flow of the process in step S3.
  • the process of step S3 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • step S3 first, a bright-field image is converted into a monochrome image (step S301). Next, threshold processing is performed on the monochrome image using a predetermined threshold, and each pixel is binarized (step S302).
  • FIG. 13 shows an example of a binary image after threshold processing.
  • noise removal is performed (step S303).
  • the noise removal can be performed by performing a closing process on the binary image.
  • the closing process is a process in which the contraction process is performed the same number of times after the expansion process is performed.
  • the expansion process is a process of replacing a target pixel with white when at least one pixel in the range of n ⁇ n pixels (n is an integer of 2 or more) from the target pixel is white.
  • the contraction process is a process of replacing a target pixel with black when at least one pixel in the range of n ⁇ n pixels from the target pixel contains black.
  • FIG. 14 shows an example of an image after noise removal. As shown in FIG. 14, after noise removal, an image (cell nucleus image) from which cell nuclei are extracted is obtained.
  • a labeling process is performed on the image after noise removal, and a label Label_nucleus is assigned to each of the extracted cell nuclei (step S304).
  • the labeling process is a process for identifying an object in an image by assigning the same label (number) to connected pixels. By labeling, each cell nucleus can be identified from the image after noise removal and a label can be applied.
  • the label Label_nucleus is added to the new cell nucleus as MAX.
  • step S5 shows a detailed flow of the process in step S5.
  • the process of step S5 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • the R component is extracted from the fluorescence image (step S401).
  • Topat conversion is performed on the image from which the R component has been extracted (step S402).
  • the Tophat conversion is a process of subtracting the value of the corresponding pixel of the image obtained by applying the minimum value filter and the maximum value filter to the input image in this order from the value of each pixel of the input image.
  • the minimum value filter replaces the value of the target pixel with the minimum value of pixels in the vicinity of the target pixel (for example, 3 ⁇ 3 pixels).
  • the maximum value filter replaces the value of the target pixel with the maximum value among the pixels in the vicinity of the target pixel (for example, 3 ⁇ 3 pixels).
  • FIG. 17 shows a fluorescent luminescent spot image from which fluorescent luminescent spots obtained after noise removal in the fluorescent luminescent spot candidate image shown in FIG. 16 are extracted.
  • step S404 a labeling process is performed on the image after noise removal, and a label Label_point is assigned to each of the extracted fluorescent luminescent spots (step S404). Label_point is assigned in order from 1. After the labeling process ends, the process proceeds to step S6 in FIG.
  • step S6 of FIG. 10 a feature amount indicating the expression level of the specific protein in the ROI is calculated based on the extracted cell nucleus region and the fluorescent bright spot (step S6).
  • FIG. 18 shows a detailed flow of the process in step S6.
  • the process in step S6 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • the number H of Label_points assigned in the ROI designated in step S2 is counted (step S602).
  • the number C of Label_nucleus assigned in the ROI designated in step S2 is counted (step S603), and H / C is calculated (step S604).
  • H / C is the number of fluorescent bright spots per cell nucleus in the ROI.
  • step S605 when the area Area_ROI in the ROI is calculated (step S605), and further, H / Area_ROI is calculated (step S606), the process proceeds to step S7 in FIG.
  • the area Area_ROI is calculated based on the number of pixels in the ROI.
  • step S7 of FIG. 10 the calculated feature value is displayed and output on the display unit 23 (step S7).
  • FIG. 19 is a diagram showing an example of the analysis result screen 231 displayed on the display unit 23 in step S7.
  • the bright field image 231a, the fluorescence image 231b, and the cell nucleus image and the fluorescence bright spot image extracted from these images used for calculating the feature amount are added.
  • the composite image 231c created by the above, the characteristic amount 231d obtained by the analysis, the print button 231e, and the send button 231f are displayed.
  • an annotation (frame line) A indicating the ROI region designated in step S2 is superimposed on the composite image 231c.
  • the feature amount 231d includes the number of fluorescent bright spots in the ROI (number of Label_points H), the number of cell nuclei in the ROI (number C of Label_nucleus), and the number of fluorescent bright spots per cell nucleus in the ROI (H / C).
  • the fluorescent spot density (H / Area_ROI) in the ROI is displayed.
  • the fluorescent bright spot indicates the expression of a specific protein corresponding to the biological substance recognition site used as a staining reagent for tissue sections. Therefore, by referring to these feature quantities 231d, the doctor can quantitatively grasp the expression level of the specific protein in the ROI.
  • the HER2 protein exists around the cell membrane and is said to be involved in cell proliferation and malignant transformation through a signal transduction pathway.
  • the number of fluorescent bright spots showing the expression of HER2 protein in ROI is the amount of HER2 protein expressed around the cell membrane per cell in ROI. It can be said that it is a feature quantity that quantitatively indicates the malignancy of cancer of cells in the ROI.
  • the fluorescent bright spot density in the ROI represents the expression level of the HER2 protein that does not depend on the size of the region designated as the ROI, and can be said to be a feature amount that quantitatively indicates the malignancy of cancer in the ROI. . Therefore, by displaying these feature amounts, it is possible to provide quantitative information for prognosis prediction and treatment strategy to the doctor.
  • the analysis result screen 231 displays the ROI, the composite image obtained by adding the cell nucleus image and the fluorescence bright spot image together with the feature amount 231d, the doctor can determine the size and distribution of the cell nucleus in the ROI and the specific protein. It becomes possible to confirm the expression of. Furthermore, by displaying a bright field image that doctors have been using for diagnosis and a fluorescence image obtained by extracting only the fluorescent bright spots of a specific protein, the state of cells in the ROI and the expression state of the specific protein can be displayed. Can support grasp. Note that the bright field image 231a, the fluorescence image 231b, and the composite image 231C displayed on the analysis result screen 231 may be displayed in an enlarged or reduced manner for easy observation.
  • the analysis result can be printed out or output to an external device by pressing the print button 231e or the send button 231f.
  • the print button 231e is pressed by the operation unit 22
  • the data of the analysis result is transmitted by the control unit 21 to a printer (not shown) via a communication network such as the communication I / F 24 or LAN, and the analysis result is printed out.
  • the control unit 21 transmits the analysis result data to an external device (for example, PACS (Picture Archiving and Communication System for PACS) via a communication network such as the communication I / F 24 or the LAN. medical application)).
  • the analysis result to be output may be only the feature amount, or may include any or all of the bright field image, the fluorescence image, and the composite image, as shown in the analysis result screen 231.
  • the analysis process is performed using the bright field image and the fluorescence image.
  • the fluorescent substance inclusion in which the biological substance recognition site for recognizing the specific protein is bound.
  • analysis processing is performed using only a fluorescent image of a tissue section subjected to both staining with a staining reagent containing nanoparticles and HE staining.
  • a fluorescence image is acquired by the following procedures (b1) to (b3).
  • B1 The operator uses a microscope image of a slide on which a staining reagent using fluorescent substance-containing nanoparticles bound with a biological substance recognition site that recognizes a specific protein and a tissue section stained with the HE reagent are placed. Place on the slide fixing stage of the acquisition device 1A.
  • B2 Set in the fluorescence unit, adjust the imaging magnification and focus, and place the region to be observed on the tissue in the field of view.
  • A3) Shooting is performed by the imaging unit to generate image data of a fluorescent image, and the image data is transmitted to the image processing apparatus 2A.
  • the specific protein appears as a fluorescent bright spot when the fluorescent unit is irradiated with excitation light, and the tissue or the like exhibits autofluorescence.
  • the eosin that emits and stains the cytoplasm emits light.
  • the cytoplasm emits light because it is stained with eosin, but the cell nucleus does not emit light because it is not stained with eosin, and in the fluorescence image, the cell nucleus appears blacker than the surrounding cytoplasm (see FIG. 21).
  • a fluorescence image obtained by photographing a tissue section obtained by staining a tissue section with HE staining together with a fluorescent labeling material with a fluorescence unit not only a fluorescent bright spot but also a form of a cell including a cell nucleus of the tissue section Appears.
  • the region of the cell nucleus and the fluorescent luminescent spot are extracted using only the fluorescent images acquired in the above (b1) to (b3), and the expression level of the specific protein is determined based on these information.
  • the image analysis process B for calculating the indicated feature quantity is executed.
  • FIG. 20 shows a flowchart of the image analysis process B executed in the image processing apparatus 2A.
  • the image analysis process B shown in FIG. 20 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • step S11 When a fluorescent image is input from the microscope image acquisition apparatus 1A (step S11), first, the processing of steps S12 to S13 for extracting cell nuclei and the processing of step S14 for extracting fluorescent luminescent spots are executed.
  • step S12 the ROI to be analyzed is specified from the fluorescence image (step S12).
  • the fluorescence image is subjected to minimum value filtering, the fluorescence image after the minimum value filtering is displayed on the display unit 23, and an area is designated by the operation unit 22 from the displayed fluorescence image.
  • a region is set as an ROI (region of interest).
  • FIG. 21 shows an example of fluorescence images before and after the minimum value filtering process. As shown in FIG. 21, by performing the minimum value filter processing, the fluorescent bright spots can be removed from the fluorescence image, so that the doctor can easily observe the morphology of the cell nucleus and the ROI can be easily set.
  • FIG. 22 shows a detailed flow of the process in step S13.
  • the process in step S13 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
  • step S13 first, a fluorescent image is converted into a monochrome image (step S701).
  • step S702 contrast correction is performed on the monochrome image (step S702).
  • the fluorescence image as shown in FIG. 24A
  • the contrast between the cell nucleus and the surrounding tissue is small. Therefore, in step S702, in order to emphasize the contrast particularly in the high density region, processing for increasing the contrast in the high density region is performed by gamma conversion.
  • the value of each pixel is converted by the equation [Equation 1]. * In [Formula 1] is a multiplication symbol.
  • ⁇ is a parameter indicating the degree of the ⁇ curve. As shown in FIG. 23, when ⁇ > 1, the ⁇ curve is convex upward, and when ⁇ ⁇ 1, the convexity is downward.
  • FIG. 24B shows a monochrome image after gamma conversion.
  • step S703 threshold processing is performed on the monochrome image after contrast correction using a predetermined threshold to binarize each pixel (step S703), noise processing (step S704), and labeling processing are performed.
  • step S705 an image (cell nucleus image) from which cell nuclei are extracted as shown in FIG. 14 is acquired.
  • the processing in steps S703, S704, and S705 is the same as steps S302, S303, and S304 in FIG. After the labeling process, the process proceeds to step S15 in FIG.
  • step S14 a fluorescent bright spot is extracted from the fluorescent image (step S14). Since the process of step S14 is the same as that described with reference to FIG. 15 in the first embodiment, the description is incorporated. After extraction of the fluorescent bright spot, the process proceeds to step S15 in FIG.
  • step S15 of FIG. 20 an analysis process is performed based on the extracted information on the cell nucleus region and the information on the fluorescent bright spot, and a feature amount indicating the expression level of the specific protein in the ROI is calculated (step S15). . Since the processing in step S15 is the same as that described with reference to FIG. 18 in the first embodiment, the description is incorporated.
  • step S16 the calculated feature amount is displayed on the display unit 23 (step S16).
  • step S16 as in the analysis result screen 231 shown in FIG. 19, the analysis result screen on which the analysis source fluorescence image and the feature amount obtained by analyzing the fluorescence image are displayed is displayed.
  • a frame line indicating the designated ROI region is displayed on the fluorescence image of the analysis source.
  • the analysis result screen is provided with a print button and a send button, and the analysis result can be printed out or output to an external device.
  • the feature amount indicating the expression level of the specific protein in the ROI can be calculated even using only the fluorescence image.
  • this fluorescent image since one image includes both the morphology of the cell including the cell nucleus and the fluorescent bright spot indicating the expression of a specific ecological substance, the bright field image can be displayed together with the feature amount by displaying it together with the feature amount. Without comparing the two images and the fluorescence image, the doctor can grasp the cell morphology in the tissue, the expression status of the specific protein, and the feature amount at once without comparing the two images. Is possible.
  • the control unit 21 specifies the ROI to be analyzed by the operation unit 22 from the cell morphology image (bright field image or fluorescence image) representing the morphology of the cells in the tissue section. Then, while extracting the area
  • the cell morphology image (bright field image or fluorescence image) representing the morphology of the cells in the tissue section. Then, while extracting the area
  • the doctor since it is possible to provide a doctor with a feature amount indicating the expression of a specific protein calculated based on the cell nucleus and the fluorescent bright spot in the ROI, the doctor quantitatively grasps the expression amount of the specific protein in a desired region. And prognosis prediction and treatment strategies become easier.
  • the number of fluorescent bright spots per one is a feature amount that quantitatively indicates the malignancy of cancer of cells in the ROI. Therefore, by outputting the number of fluorescent bright spots per cell in the ROI as a feature quantity, it is possible to provide a doctor with quantitative information for prognosis prediction and treatment strategy.
  • the cell shape image on which the annotation indicating the position of the ROI is superimposed and the combined image of the fluorescence image are output together, so that the state of the distribution and size of the cells in the ROI It becomes easy to grasp the expression status of a specific protein.
  • the image processing apparatus 2A in the second embodiment in the ROI using a single fluorescence image that represents the morphology of the cells in the tissue section and expresses the expression of a specific protein in the tissue section as a fluorescent bright spot. Since the feature amount indicating the expression amount of the specific protein is calculated and output, the feature amount can be accurately calculated without performing a process of combining a plurality of images or positioning. Further, by displaying this fluorescent image on the display unit 23, the doctor can easily grasp both the cell nucleus and the protein expression from one image.
  • the HER2 protein in breast cancer is mentioned as an example of the specific protein, but the specific protein is not limited thereto.
  • the feature quantity that quantitatively indicates the expression level of the specific protein corresponding to the lesion type It can be provided to a doctor.
  • an HDD, a semiconductor nonvolatile memory, or the like is used as a computer-readable medium for the program according to the present invention, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • a carrier wave is also applied as a medium for providing program data according to the present invention via a communication line.
  • the medical field it may be used as a medical image processing apparatus that processes microscopic images of tissue sections.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

組織切片における特定のタンパク質の発現量を医師が定量的に把握できるようにする。 画像処理装置２Ａによれば、制御部２１は、組織切片における細胞の形態を表す細胞形態画像（明視野画像又は蛍光画像）から操作部２２により解析対象のＲＯＩが指定されると、明視野画像又は蛍光画像から細胞核の領域を抽出するとともに、蛍光画像から特定タンパク質の発現を示す蛍光輝点を抽出する。そして、操作部２２により指定されたＲＯＩに存在する細胞核の領域及び蛍光輝点に基づいて、指定されたＲＯＩにおける特定タンパクの発現量を示す特徴量を算出し出力する。

Description

医用画像処理装置及びプログラム
　本発明は、医用画像処理装置及びプログラムに関する。
　病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、２～８μｍの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察を行う。病理医は、この顕微鏡像の中で、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報をもとに診断を行っている。病理診断に用いられる組織染色方法としては、従来の色素染色法（例えばヘマトキシリン－エオジン染色；以下、ＨＥ染色）、酵素を用いた色素染色法（例えばＤＡＢ（ジアミノベンジン）染色）が知られている。
　病理診断において、組織切片で過剰発現をしているタンパク質及びその発現量を特定することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。
　例えば、ＨＥＲ２遺伝子のコードするＨＥＲ２タンパクは、細胞膜を貫通する受容体型糖タンパクであり、細胞外、膜貫通、細胞内の３ドメインから構成され、増殖因子が結合すると、チロシン残基のリン酸化により活性化され、シグナル伝達経路を介して細胞の増殖や悪性化に関与するとされている。乳癌、肺癌、大腸癌、胃癌、膀胱癌等においてＨＥＲ２タンパクの過剰発現がみられる。
　また、ＨＥＲ２タンパクは乳癌の予後因子であるとされており、特にリンパ節転移陽性例では、ＨＥＲ２陽性例の予後が有意に不良であることが知られている。また、ＨＥＲ２タンパクは、分子標的薬（トラスツズマブ）の適応を決める重要な因子として、また、アンスラサイクリン系、タキサン系等の抗癌剤の効果予測因子として注目されている。
　一般的に、ＨＥＲ２タンパクの過剰発現は免疫組織化学的方法（ＩＨＣ法）で検査され、ＨＥＲ２遺伝子の過剰発現はＦＩＳＨ法で検査されている。ＨＥＲ検査のガイドラインによると、まず簡便なＩＨＣ法で陽性、陰性、境界領域を選別し、陽性の場合にはトラスツズマブの投与を決定する。ＩＨＣ法で境界領域のものについては、さらにＦＩＳＨ法で陽性、陰性を選別する。
　ＩＨＣ法とＦＩＳＨ法を比べると、ＩＨＣ法は簡便だが、精度が低いという問題があった。一方、ＦＩＳＨ法は精度が高いが、作業が煩雑でありコストが高い。つまり、ＩＨＣ法でＦＩＳＨ法と同様の精度を出せる手法の開発が望まれている。また、属人性が低く、自動化可能な手法の開発が望まれている。
　例えば、特許文献１には、ＤＡＢ法により染色された生体組織の画像から細胞核を抽出し、その細胞核に基づいて生体組織の画像から細胞膜を特定し、細胞膜の染色状態を判別し、この判別結果に基づいてＨＥＲ２タンパクの発現を評価するシステムが記載されている。
特開２００９－１１５５９９号公報
　しかしながら、ＤＡＢ法は酵素による増幅があり定量性に欠けるため、特許文献１に記載の技術では、定量的なＨＥＲ２タンパクの発現量を知ることはできない。また、浸潤部では細胞膜が一定の形状を保っておらず、細胞膜を特定しての解析は困難である。
　本発明の課題は、組織切片における特定のタンパク質の発現量を医師が定量的に把握できるようにすることである。
　上記課題を解決するために、本発明の第１の側面によると、医用画像処理装置は、
　組織切片における細胞の形態を表す細胞形態画像及び前記組織切片における特定のタンパク質の発現を蛍光輝点で表す蛍光画像を入力する入力手段と、
　前記細胞形態画像から解析対象領域を指定するための操作手段と、
　前記細胞形態画像から細胞核の領域を抽出する細胞核抽出手段と、
　前記蛍光画像から前記特定のタンパク質の発現を示す蛍光輝点を抽出する蛍光輝点抽出手段と、
　前記操作手段により指定された解析対象領域に存在する前記抽出された細胞核の領域及び蛍光輝点に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出する特徴量算出手段と、
　前記算出された特徴量を出力する出力手段と、
を備える。
　上記の医用画像処理装置において、
　前記特徴量算出手段は、前記操作手段により指定された解析対象領域における蛍光輝点の数、及び細胞核の個数の情報を取得し、取得した細胞核及び蛍光輝点の個数に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出することが好ましい。
　上記の医用画像処理装置において、
　前記特徴量算出手段は、前記指定された解析対象領域における細胞核１個あたりの蛍光輝点の数を前記特定のタンパク質の発現量を示す特徴量として算出することが好ましい。
　上記の医用画像処理装置において、
　前記細胞形態画像と前記蛍光画像の合成画像を生成する合成画像生成手段を備え、
　前記出力手段は、前記操作手段により指定された解析対象領域の位置を示すアノテーションが重畳された前記合成画像を前記特徴量とともに出力することが好ましい。
　上記の医用画像処理装置において、
　前記細胞形態画像及び前記蛍光画像は、前記組織切片の細胞の形態を表すとともに前記組織切片における特定のタンパク質の発現を蛍光輝点で表す一枚の画像からなることが好ましい。
　本発明の第２の側面によると、プログラムは、
　コンピュータを、
　組織切片における細胞の形態を表す細胞形態画像及び前記組織切片における特定のタンパク質の発現を蛍光輝点で表す蛍光画像を入力する入力手段、
　前記細胞形態画像から解析対象領域を指定するための操作手段、
　前記細胞形態画像から細胞核の領域を抽出する細胞核抽出手段、
　前記蛍光画像から前記特定のタンパク質の発現を示す蛍光輝点を抽出する蛍光輝点抽出手段、
　前記操作手段により指定された解析対象領域に存在する前記抽出された細胞核の領域及び蛍光輝点に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出する特徴量算出手段、
　前記算出された特徴量を出力する出力手段、
として機能させる。
　本発明によれば、組織切片における特定のタンパク質の発現量を医師が定量的に把握することが可能となるので、予後の予測や治療戦略が容易となる。
病理診断支援システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 明視野画像の一例を示す図である。 蛍光画像の一例を示す図である。 標識材料Ａを用いた場合の輝点数とＦＩＳＨスコアとの関係を示す図である。 標識材料Ｂを用いた場合の輝点数とＦＩＳＨスコアとの関係を示す図である。 標識材料Ｃを用いた場合の輝点数とＦＩＳＨスコアとの関係を示す図である。 標識材料Ｄを用いた場合の輝点数とＦＩＳＨスコアとの関係を示す図である。 各標識材料Ａ～Ｄについて、各視野の顕微鏡画像から計測された輝点数とＦＩＳＨスコアとの相関係数の２乗値を示す図である。 第１の実施の形態において図２の制御部により実行される画像解析処理Ａを示すフローチャートである。 ＲＯＩの指定を説明するための図である。 図１０のステップＳ３の処理の詳細を示すフローチャートである。 閾値処理後の二値画像の一例を示す図である。 ノイズ除去後の二値画像の一例を示す図である。 図１０のステップＳ５の処理の詳細を示すフローチャートである。 蛍光輝点候補画像の一例を示す図である。 図１６に示す蛍光輝点候補画像におけるノイズ除去後に得られる蛍光輝点画像の一例を示す図である。 図１０のステップＳ６における処理の詳細を示すフローチャートである。 解析結果画面の一例を示す図である。 第２の実施の形態において図２の制御部により実行される画像解析処理Ｂを示すフローチャートである。 最小値フィルター処理前後の蛍光画像の一例を示す図である。 図２０のステップＳ１３における処理の詳細を示すフローチャートである。 ガンマ変換の係数を説明するための図である。 ガンマ変換前の蛍光画像の一例を示す図である。 図２４Ａに示す蛍光画像のガンマ変換後を示す図である。
　以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
－第１の実施の形態－
＜病理診断支援システム１００の構成＞
　図１に、第１の実施の形態における病理診断支援システム１００の全体構成例を示す。病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
　図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
　顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
　顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサ等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データ（Ｒ、Ｇ、Ｂの画像データ）を生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
　なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２－５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
　画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現量を定量的に示す特徴量を算出し、算出された特徴量を出力する医用画像処理装置である。
　図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により画像解析処理Ａ（図１０参照）を実行し、細胞核抽出手段、蛍光輝点抽出手段、特徴量算出手段、合成画像生成手段としての機能を実現する。
　操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、算出された特徴量を出力するための出力手段として機能する。
　通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。本実施の形態において、通信Ｉ／Ｆ２４は、入力手段として機能する。
　記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
　その他、画像処理装置２Ａは、ＬＡＮアダプタやルータ等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。
　第１の実施の形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された明視野画像（ＨＥ染色画像）及び蛍光画像を用いて解析を行う。
　明視野画像は、ＨＥ（ヘマトキシリン－エオジン）染色された組織切片を顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織等）を染色する。エオジンは赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織等）を染色する。図３に、ＨＥ染色を行った組織切片を撮影した明視野画像の一例を示す。図３に示すように、ＨＥ染色を行った組織切片を撮影した明視野画像においては、組織切片における細胞の形態が表れている。細胞核は、周囲の細胞質よりも濃い色（青紫色）で周囲と区別して表れており、明視野画像では、細胞核の形態をはっきり捉えることができる。
　蛍光画像は、特定の生体物質と特異的に結合及び／又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子（蛍光物質内包ナノ粒子と呼ぶ）を含む染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光（蛍光）させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図４に、蛍光画像の一例を示す。
＜蛍光画像の取得＞
　ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬（蛍光物質内包ナノ粒子）、染色試薬による組織切片の染色方法等も含めて詳細に説明する。
〔蛍光物質〕
　蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００～７００ｎｍの範囲内の波長の紫外～近赤外光により励起されたときに、４００～１１００ｎｍの範囲内の波長の可視～近赤外光の発光を示すことが好ましい。
　蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Ａｌｅｘａ　Ｆｌｕｏｒ（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Ｔｅｘａｓ　Ｒｅｄ系色素分子、シアニン系色素分子等を挙げることができる。
　具体的には、５－カルボキシ－フルオレセイン、６－カルボキシ－フルオレセイン、５，６－ジカルボキシ－フルオレセイン、６－カルボキシ－２’，４，４’，５’，７，７’－ヘキサクロロフルオレセイン、６－カルボキシ－２’，４，７，７’－テトラクロロフルオレセイン、６－カルボキシ－４’，５’－ジクロロ－２’，７’－ジメトキシフルオレセイン、ナフトフルオレセイン、５－カルボキシ－ローダミン、６－カルボキシ－ローダミン、５，６－ジカルボキシ－ローダミン、ローダミン　６Ｇ、テトラメチルローダミン、Ｘ－ローダミン、及びＡｌｅｘａ　Ｆｌｕｏｒ　３５０、Ａｌｅｘａ　Ｆｌｕｏｒ　４０５、Ａｌｅｘａ　Ｆｌｕｏｒ　４３０、Ａｌｅｘａ　Ｆｌｕｏｒ　４８８、Ａｌｅｘａ　Ｆｌｕｏｒ　５００、Ａｌｅｘａ　Ｆｌｕｏｒ　５１４、Ａｌｅｘａ　Ｆｌｕｏｒ　５３２、Ａｌｅｘａ　Ｆｌｕｏｒ　５４６、Ａｌｅｘａ　Ｆｌｕｏｒ　５５５、Ａｌｅｘａ　Ｆｌｕｏｒ　５６８、Ａｌｅｘａ　Ｆｌｕｏｒ　５９４、Ａｌｅｘａ　Ｆｌｕｏｒ　６１０、Ａｌｅｘａ　Ｆｌｕｏｒ　６３３、Ａｌｅｘａ　Ｆｌｕｏｒ　６３５、Ａｌｅｘａ　Ｆｌｕｏｒ　６４７、Ａｌｅｘａ　Ｆｌｕｏｒ　６６０、Ａｌｅｘａ　Ｆｌｕｏｒ　６８０、Ａｌｅｘａ　Ｆｌｕｏｒ　７００、Ａｌｅｘａ　Ｆｌｕｏｒ　７５０、ＢＯＤＩＰＹ　ＦＬ、ＢＯＤＩＰＹ　ＴＭＲ、ＢＯＤＩＰＹ　４９３／５０３、ＢＯＤＩＰＹ　５３０／５５０、ＢＯＤＩＰＹ　５５８／５６８、ＢＯＤＩＰＹ　５６４／５７０、ＢＯＤＩＰＹ　５７６／５８９、ＢＯＤＩＰＹ　５８１／５９１、ＢＯＤＩＰＹ　６３０／６５０、ＢＯＤＩＰＹ　６５０／６６５（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Ｃｙ５、Ｃｙ５．５、Ｃｙ７等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
　量子ドットとしては、II－VI族化合物、III－V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II－VI族量子ドット」、「III－V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。
　具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
　上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。例えば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳ等を用いることができるが、これらに限定されない。
　量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。
〔蛍光物質内包ナノ粒子〕
　本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
　ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ等を挙げることができる。
　本実施の形態で用いられる蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア　８巻　２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
　量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー　３３巻　５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
　蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
　量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
　本実施の形態で用いられる蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、３０～８００ｎｍ程度のものを用いることができる。また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることが好ましい。平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、１０００個の粒子の粒径の算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。
〔生体物質認識部位と蛍光物質内包ナノ粒子との結合〕
　本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び／又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗ＨＥＲ２抗体及び抗ＥＲ抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
　生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から共有結合等の結合力の強い結合が好ましい。
　また、生体物質認識部位と蛍光物質内包ナノ粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Ｔｈｅｒｍｏ　Ｓｃｉｅｎｔｉｆｉｃ社製ＳＭ（ＰＥＧ）１２を用いることができる。
　蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（例えば、Ｇｅｌｅｓｔ社製ＰＥＧ－ｓｉｌａｎｅ　ｎｏ．ＳＩＭ６４９２．７）等が挙げられる。シランカップリング剤を用いる場合、二種以上を併用してもよい。
　蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（１－Ｅｔｈｙｌ－３－［３－Ｄｉｍｅｔｈｙｌａｍｉｎｏｐｒｏｐｙｌ］ｃａｒｂｏｄｉｉｍｉｄｅ　Ｈｙｄｒｏｃｈｌｏｒｉｄｅ：Ｐｉｅｒｃｅ（登録商標）社製）のような縮合剤を用いることもできる。
　必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつｓｕｌｆｏ－ＳＭＣＣ（Ｓｕｌｆｏｓｕｃｃｉｎｉｍｉｄｙｌ　４［Ｎ－ｍａｌｅｉｍｉｄｏｍｅｔｈｙｌ］－ｃｙｃｌｏｈｅｘａｎｅ－１－ｃａｒｂｏｘｙｌａｔｅ：Ｐｉｅｒｃｅ社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
　蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降ＥＤＣ又はｓｕｌｆｏ－ＳＭＣＣを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
　特定抗原を認識する抗体としては、M.アクチン,M.S.アクチン,S.M.アクチン,ACTH,Alk-1,α1-アンチキモトリプシン,α1-アンチトリプシン,AFP,bcl-2,bcl-6,β-カテニン,BCA 225,CA19-9,CA125,カルシトニン,カルレチニン,CD1a,CD3,CD4,CD5,CD8,CD10,CD15,CD20,CD21,CD23,CD30,CD31,CD34,CD43,CD45,CD45R,CD56,CD57,CD61,CD68,CD79a,"CD99, MIC2",CD138,クロモグラニン,c-KIT,c-MET,コラーゲン タイプIV,Cox-2,サイクリンD1,ケラチン,サイトケラチン（高分子量）,パンケラチン,パンケラチン,サイトケラチン 5/6,サイトケラチン 7,サイトケラチン 8,サイトケラチン8/18,サイトケラチン 14,サイトケラチン 19,サイトケラチン 20,CMV,E-カドヘリン,EGFR,ER,EMA,EBV,第VIII因子関連抗原,ファッシン,FSH,ガレクチン-3,ガストリン,GFAP,グルカゴン,グリコフォリン A,グランザイム B,hCG,hGH,ヘリコバクターピロリ,HBc 抗原,HBs 抗原,ヘパトサイト特異抗原,HER2,HSV -I,HSV -II,HHV-8,IgA,IgG,IgM,IGF-1R,インヒビン,インスリン,カッパ L鎖,Ki67,ラムダ L鎖,LH,リゾチーム,マクロファージ,メランA,MLH-1,MSH-2,ミエロパーオキシダーゼ,ミオゲニン,ミオグロビン,ミオシン,ニューロフィラメント,NSE,p27 (Kip1),p53,p53,P63,PAX 5,PLAP,ニューモシスティス　カリニ,ポドプラニン（D2-40）,PGR,プロラクチン,PSA,前立腺酸性フォスファターゼ,Renal Cell Carcinoma,S100,ソマトスタチン,スペクトリン,シナプトフィジン,TAG-72,TdT,サイログロブリン,TSH,TTF-1,TRAcP,トリプターゼ,ビリン,ビメンチン,WT1,Zap-70が挙げられる。
〔染色方法〕
　以下、組織切片の染色方法について述べる。以下に説明する染色方法は病理切片組織に限定せず、細胞染色にも適用可能である。
　また、以下に説明する染色方法が適用できる切片の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
　１）脱パラフィン工程
　キシレンを入れた容器に病理切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
　次いで、エタノールを入れた容器に病理切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
　次いで、水を入れた容器に病理切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
　２）賦活化処理
　公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍクエン酸緩衝液（ｐＨ６．０）、１ｍＭＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍトリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０－１３０℃、時間は５－３０分で行うことができる。
　次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。
　３）生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いた染色
　生体物質認識部位が結合された蛍光物質内包ナノ粒子のＰＢＳ分散液を病理切片に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次病理切片に載せてもよい。
　温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
　蛍光物質内包ナノ粒子による染色を行う前に、ＢＳＡ含有ＰＢＳ等、公知のブロッキング剤を滴下することが好ましい。
　次いで、ＰＢＳを入れた容器に、染色後の切片を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
　なお、ＨＥ染色を行う場合、カバーガラスによる封入前にＨＥ染色を行う。
〔蛍光画像の取得〕
　染色した病理切片に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
　蛍光画像の視野は、３ｍｍ2以上であることが好ましく、３０ｍｍ2以上であることがさらに好ましく、３００ｍｍ2以上であることがさらに好ましい。
＜蛍光輝点とＦＩＳＨスコアとの関係＞
　ここで、本件出願人は、以下に説明するように、一実施例として、Ｃｙ５内包シリカナノ粒子（以下、ナノ粒子１という。）を作製し、ナノ粒子１に対して抗ＨＥＲ２抗体を結合させた標識材料Ａを作製した。また、ＣｄＳｅ／ＺｎＳ内包シリカナノ粒子（以下、ナノ粒子２という）を作製し、ナノ粒子２に対して抗ＨＥＲ２抗体を結合させた標識材料Ｂを作製した。そして、作製した標識材料Ａ、Ｂ及び比較例としての標識材料Ｃ、Ｄを用いて予めＦＩＳＨスコアを測定したヒト乳房組織の隣接切片を用いて免疫染色を行って視野を変えて複数の蛍光画像を取得し、各蛍光画像に現れている蛍光輝点の数を計測してＦＩＳＨスコアとの関連を調べる実験を行った。
〔蛍光物質内包ナノ粒子の合成〕
（合成例１：蛍光有機色素内包シリカ：Ｃｙ５内包シリカナノ粒子の合成）
　下記工程（１）～（５）の方法により、Ｃｙ５内包シリカナノ粒子（ナノ粒子１）を作製した。
　工程（１）：Ｃｙ５のＮ－ヒドロキシスクシンイミドエステル誘導体（ＧＥヘルスケア社製）１ｍｇ（０．００１２６ｍｍｏｌ）とテトラエトキシシラン４００μＬ（１．７９６ｍｍｏｌ）を混合した。
　工程（２）：エタノール４０ｍＬと１４％アンモニア水１０ｍＬを混合した。
　工程（３）：工程（２）で作製した混合液を室温下で撹拌しているところに、工程（１）で調製した混合液を添加した。添加開始から１２時間撹拌を行った。
　工程（４）：反応混合物を１００００Ｇで６０分遠心分離を行い、上澄みを除去した。
　工程（５）：エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を１回ずつ行った。
　得られたナノ粒子１を走査型電子顕微鏡（ＳＥＭ；日立（登録商標）社製Ｓ－８００型）で観察したところ、平均粒径は１１０ｎｍ、変動係数は１２％であった。
（合成例２：量子ドット内包シリカ：発光波長６５５ｎｍのＣｄＳｅ／ＺｎＳ内包シリカナノ粒子の合成）
　下記工程（１）～（５）の方法により、ＣｄＳｅ／ＺｎＳ内包シリカナノ粒子（以下、ナノ粒子２という。）を作製した。
　工程（１）：ＣｄＳｅ／ＺｎＳデカン分散液（インビトロジェン社Ｑｄｏｔ６５５）１０μＬとテトラエトキシシラン４０μＬを混合した。
　工程（２）：エタノール４ｍＬと１４％アンモニア水１ｍＬを混合した。
　工程（３）：工程（２）で作製した混合液を室温下で撹拌しているところに、工程（１）で作製した混合液を添加した。添加開始から１２時間撹拌を行った。
　工程（４）：反応混合物を１００００Ｇで６０分遠心分離を行い、上澄みを除去した。
　工程（５）：エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を１回ずつ行った。
　得られたナノ粒子２を走査型電子顕微鏡で観察したところ、平均粒径は１３０ｎｍ、変動係数は１３％であった。
〔蛍光物質内包シリカナノ粒子への抗体の結合〕
　下記工程（１）～（１２）の方法により、蛍光物質内包シリカナノ粒子に対して抗体を結合させた。ここでは、ナノ粒子１を用いた例を示すが、ナノ粒子２についても同様である。
　工程（１）：１ｍｇのナノ粒子１を純水５ｍＬに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液１００μＬを添加し、室温で１２時間撹拌した。
　工程（２）：反応混合物を１００００Ｇで６０分遠心分離を行い、上澄みを除去した。
　工程（３）：エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を１回ずつ行った。
　得られたアミノ基修飾したシリカナノ粒子のＦＴ－ＩＲ測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
　工程（４）：工程（３）で得られたアミノ基修飾したシリカナノ粒子を、ＥＤＴＡ（エチレンジアミン四酢酸）を２ｍＭ含有したＰＢＳを用いて３ｎＭに調整した。
　工程（５）：工程（４）で調整した溶液に、最終濃度１０ｍＭとなるようＳＭ（ＰＥＧ）１２（サーモサイエンティフィック社製、ｓｕｃｃｉｎｉｍｉｄｙｌ－［（Ｎ－ｍａｌｅｏｍｉｄｏｐｒｏｐｉｏｎａｍｉｄ）－ｄｏｄｅｃａｅｔｈｙｌｅｎｅｇｌｙｃｏｌ］ｅｓｔｅｒ）を混合し、１時間反応させた。
　工程（６）：反応混合液を１００００Ｇで６０分遠心分離を行い、上澄みを除去した。
　工程（７）：ＥＤＴＡを２ｍＭ含有したＰＢＳを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を３回行った。最後に５００μＬのＰＢＳを用いて再分散させた。
　工程（８）：抗ＨＥＲ２抗体１００μｇを１００μＬのＰＢＳに溶解させたところに、１Ｍジチオスレイトール（ＤＴＴ）を添加し、３０分反応させた。
　工程（９）：反応混合物についてゲルろ過カラムにより過剰のＤＴＴを除去し、還元化抗ＨＥＲ２抗体溶液を得た。
　工程（１０）：ナノ粒子１を出発原料として工程（７）で得られた粒子分散液と工程（９）で得られた還元化抗ＨＥＲ２抗体溶液とをＰＢＳ中で混合し、１時間反応させた。
　工程（１１）：１０ｍＭメルカプトエタノール４μＬを添加し、反応を停止させた。
　工程（１２）：反応混合物を１００００Ｇで６０分遠心分離を行い、上澄みを除去した後、ＥＤＴＡを２ｍＭ含有したＰＢＳを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を３回行った。最後に５００μＬのＰＢＳを用いて再分散させ、抗ＨＥＲ２抗体が結合された蛍光物質内包シリカナノ粒子を得た。
　ナノ粒子１を出発原料として得られた抗ＨＥＲ２抗体が結合された蛍光物質内包シリカナノ粒子を標識材料Ａ、ナノ粒子２を出発原料として得られた抗ＨＥＲ２抗体が結合された蛍光物質内包シリカナノ粒子を標識材料Ｂとする。
　また、比較例として、Ｃｙ５に抗ＨＥＲ２抗体を結合させ、還元化抗ＨＥＲ２抗体溶液（標識材料Ｄ）を得た。同様に、ＣｄＳｅに抗ＨＥＲ２抗体を結合させたものを標識材料Ｃとして作製した。
〔蛍光物質内包ナノ粒子を用いた組織染色〕
　下記工程（１）～（１０）の方法により、作製した抗体結合標識材料Ａ～Ｄを用い、予めＦＩＳＨスコアを測定したヒト乳房組織の隣接切片を用いて免疫染色を行った。染色切片はコスモバイオ社製の組織アレイスライド（ＣＢ－Ａ７１２）を用いた。ＦＩＳＨスコアで１～９の２４切片を用いた。
　工程（１）：キシレンを入れた容器に病理切片を３０分浸漬させた。途中３回キシレンを交換した。
　工程（２）：エタノールを入れた容器に病理切片を３０分浸漬させた。途中３回エタノールを交換した。
　工程（３）：水を入れた容器に病理切片を３０分浸漬させた。途中３回水を交換した。
　工程（４）：１０ｍＭクエン酸緩衝液（ｐＨ６．０）に病理切片を３０分浸漬させた。
　工程（５）：１２１度で１０分オートクレーブ処理を行った。
　工程（６）：ＰＢＳを入れた容器に、オートクレーブ処理後の切片を３０分浸漬させた。
　工程（７）：１％ＢＳＡ含有ＰＢＳを組織に載せて、１時間放置した。
　工程（８）：１％ＢＳＡ含有ＰＢＳで０．０５ｎＭに希釈した抗ＨＥＲ２抗体が結合された標識材料Ａ～Ｄを、各組織切片に載せて３時間放置した。
　工程（９）：ＰＢＳを入れた容器に、染色後の切片をそれぞれ３０分浸漬させた。
　工程（１０）：Ｍｅｒｃｋ　Ｃｈｅｍｉｃａｌｓ社製Ａｑｕａｔｅｘを滴下後、カバーガラスを載せ封入した。
〔実験結果〕　　
　各標識材料Ａ～Ｄを用いて染色した組織切片について、視野（観察面積）を変えて複数の蛍光画像を取得し、画像解析ソフトにより、各蛍光画像から蛍光輝点の数（輝点数）を計測した。
　なお、顕微鏡は、カールツアイス社製正立顕微鏡Ａｘｉｏ　Ｉｍａｇｅｒ　Ｍ２を用い、対物レンズを２０倍に設定し、６３０～６７０ｎｍの波長を有する励起光を照射して、組織切片から発せられる蛍光を結像し、顕微鏡設置カメラ（モノクロ）により蛍光画像（画像データ）を取得し、画像解析ソフトにより輝点数を計測した。なお、上記カメラは画素サイズ６．４μｍ×６．４μｍ、縦画素数１０４０個、横画素数１３８８個（撮像領域８．９ｍｍ×６．７ｍｍ）を有している。
　また、各標識材料Ａ～Ｄについて、各視野において、計測された輝点数とＦＩＳＨスコアとの相関係数Ｒを算出した。ＦＩＳＨスコアは、ＨＥＲ２遺伝子の過剰発現レベルと対応しており、ＦＩＳＨスコアの値が大きいほど、ＨＥＲ２遺伝子の過剰発現レベルが高いことを示している。
　図５は、標識材料Ａ（Ｃｙ５内包標識材料）を用いた場合の、複数の異なる視野（０．３ｍｍ2、３ｍｍ2、３２ｍｍ2、３２４ｍｍ2）の蛍光画像から計測された輝点数と、ＦＩＳＨスコアとの関係を示す図である。図中に示すＲ2の値は、輝点数とＦＩＳＨスコアとの相関係数の２乗値である。
　図６は、標識材料Ｂ（ＣｄＳｅ内包標識材料）を用いた場合の、複数の異なる視野（０．３ｍｍ2、３ｍｍ2、３２ｍｍ2、３２４ｍｍ2）の蛍光画像から計測された輝点数と、ＦＩＳＨスコアとの関係を示す図である。
　図７は、標識材料Ｃ（ＣｄＳｅ）を用いた場合の、複数の異なる視野（０．３ｍｍ2、３ｍｍ2、３２ｍｍ2、３２４ｍｍ2）の蛍光画像から計測された輝点数と、ＦＩＳＨスコアとの関係を示す図である。
　図８は、標識材料Ｄ（Ｃｙ５）を用いた場合の、複数の異なる視野（０．３ｍｍ2、３ｍｍ2、３２ｍｍ2、３２４ｍｍ2）の蛍光画像から計測された輝点数と、ＦＩＳＨスコアとの関係を示す図である。
　表１及び図９に、各標識材料Ａ～Ｄについて、各視野（観察面積）の蛍光画像から計測された輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）を示す。
Figure JPOXMLDOC01-appb-T000001
　標識材料Ａを用いて組織切片を染色し、０．３ｍｍ2の視野の蛍光画像から輝点数を計測した場合には、輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）は０．１２４１であり、輝点数とＦＩＳＨスコアには、相関が見られなかった。０．３ｍｍ2の視野では、視野が狭すぎ、ばらつきが大きいためであると考えられる。
　標識材料Ａを用いて組織切片を染色し、３ｍｍ2の視野の蛍光画像から輝点数を計測した場合には、輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）は０．５３８７であった。この値は、相関係数Ｒに換算すると約０．７３４となり、輝点数とＦＩＳＨスコアには、強い相関があるといえる。
　標識材料Ａを用いて組織切片を染色し、３２ｍｍ2の視野の蛍光画像から輝点数を計測した場合には、輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）は０．９０１１であった。視野が３２ｍｍ2の場合には、視野が３ｍｍ2の場合と比較して、さらに相関が強いといえる。
　標識材料Ａを用いて組織切片を染色し、３２４ｍｍ2の視野の蛍光画像から輝点数を計測した場合には、輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）は０．９８８７であった。視野が３２４ｍｍ2の場合には、視野が３２ｍｍ2の場合と比較して、さらに相関が強いといえる。
　標識材料Ｂを用いた場合も同様に、３ｍｍ2以上の視野では、輝点数とＦＩＳＨスコアには相関があり、視野が広いほど相関係数が大きくなることがわかった。
　また、標識材料Ａ，Ｂを用いた場合の結果から、３２４ｍｍ2の視野では輝点数とＦＩＳＨスコアとの相関係数の２乗値（Ｒ2）が十分１に近いことがわかった。
　一方、標識材料Ｃ又は標識材料Ｄを用いて組織切片を染色した場合には、輝点数とＦＩＳＨスコアには、相関が見られなかった。
　また、観察対象となる組織切片の厚さ（通常は数μｍ）の上方、或いは下方部に顕微鏡のピントを若干ずらした場合であっても、上記の状況に大きな差異は見られなかった。
　以上の結果から、標識材料Ａ，Ｂを用いて広視野で組織切片を観察した場合に、輝点数とＦＩＳＨスコアとの相関が良好であり、輝点数に基づいてＨＥＲ２の発現レベルを評価することが可能であることがわかった。すなわち、ＦＩＳＨ法のような手間のかかる方法を用いなくても、特定の生体物質を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子の染色試薬で組織切片を染色し、これを顕微鏡で拡大結像して撮影することにより得られた３ｍｍ2以上の視野の画像から輝点数を計測することにより、特定の生体物質の発現レベルを評価することができ、ＦＩＳＨ法に代わる方法として有効である。　　
　標識材料Ａ，Ｂは、蛍光物質を内包した粒子を用いており、蛍光物質単体を用いた標識材料Ｃ，Ｄと比較して高輝度であるため、画像から輝点の１点１点を捉えやすく、輝点数を精度良く計測することができる。
＜病理診断支援システム１００の動作＞
　以下、病理診断支援システム１００において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、特定のタンパク質（例えば、乳癌組織におけるＨＥＲ２タンパク。以下、特定タンパクと呼ぶ。）を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織切片を観察対象とする場合例にとり説明するが、これに限定されるものではない。
　まず、顕微鏡画像取得装置１Ａにおいて、（ａ１）～（ａ５）の手順により明視野画像及び蛍光画像が取得される。
（ａ１）操作者は、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬、及びＨＥ試薬により染色された組織切片を載置したスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに載置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　このように、顕微鏡画像取得装置１Ａにおいては、同一の組織切片のスライドから同一の撮影倍率で同一範囲（同一視野）の明視野画像及び蛍光画像を取得するので、明視野画像と蛍光画像の同一座標位置は組織切片の同一位置を示していることになり、両画像の位置合わせは不要である。
　なお、本願発明者等の検討によれば、ＨＥ染色と蛍光物質内包ナノ粒子による染色を同時に行う場合、組織の自家蛍光とエオジンの発光（バックグラウンド）に対し、１０％（１．１倍）以上の発光量差を蛍光物質内包ナノ粒子の蛍光輝点が有していれば、８ビット（０～２５５階調）、１２ビット（０～４０９５階調）の何れの処理系においても、顕微鏡画像から蛍光輝点の自動検出処理が可能であった。蛍光物質内包ナノ粒子による染色のみの場合においては、組織の自家蛍光に対し、１０％（１．１倍）以上の発光量差を蛍光物質内包ナノ粒子が有していれば、８ビット（０～２５５階調）、１２ビット（０～４０９５階調）の何れの処理系においても蛍光輝点の自動検出処理が可能であった。そのため、蛍光ユニットにおける励起光波長としては５６０～６３０ｎｍの範囲のものを選択し、前記蛍光物質としては当該励起光により５８０～６９０ｎｍの範囲、より好ましくは６００～６３０ｎｍの範囲にピークを有する蛍光を発するものを用いることが好ましい。この範囲にピークを有する蛍光物質であれば、上記範囲の励起光を選択したときに、エオジンの発光を含む組織の自家蛍光と蛍光物質内包ナノ粒子からの蛍光の発光差を確保して両者を区別して認識可能とする（両者の光量差１０％（１．１倍）以上）を確保できるからである。
　なお、ＨＥ染色を同時に行わない場合においては、組織の自家蛍光が微弱なため励起光の波長の範囲は、一般的な２００ｎｍ～７００ｎｍの範囲で特に限定せずとも自家蛍光と蛍光物質内包ナノ粒子からの蛍光の発光差を確保して両者を区別して認識可能とする（両者の光量差１０％（１．１倍）以上）を確保することができる。
　画像処理装置２Ａにおいては、明視野画像及び蛍光画像に基づき画像解析処理Ａが実行される。
　図１０に、画像処理装置２Ａにおける画像解析処理Ａのフローチャートを示す。図１０に示す画像解析処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　通信Ｉ／Ｆ２４を介して顕微鏡画像取得装置１Ａからの明視野画像が入力されると（ステップＳ１）、明視野画像から解析対象のＲＯＩの指定が行われる（ステップＳ２）。
　ステップＳ２においては、まず、表示部２３に組織切片を撮影した明視野画像が表示され、表示された明視野画像から操作部２２により領域が指定されると、指定された領域が解析対象としてのＲＯＩ（関心領域）として設定される。
　図１１に、ステップＳ２におけるＲＯＩの指定の一例を示す。ここで、明視野画像、特にＨＥ染色画像は医師が従来から病理診断に用いている画像であり、例えば、図１１に示すように、明視野画像において細胞核がたくさん集まっている領域、細胞核の大小が不揃いな領域、細胞核が正常と比べて大きい領域等の、癌の疑いのある領域と判断した領域を解析対象のＲＯＩに指定することができる。
　ＲＯＩとしては、画像全体を指定することもできるし、任意の領域を指定することもできる。任意領域としては、癌領域や周囲へ癌が拡大している浸潤部等、ユーザである医師が特定タンパクの発現量を定量的に知りたい領域を指定することができる。任意領域の指定方法としては、矩形や円形等の幾何学領域で指定することとしてもよいし、ユーザがマウス等で自由曲線を描いて指定することとしてもよい。
　次いで、明視野画像から細胞核の領域の抽出が行われる（ステップＳ３）。
　図１２に、ステップＳ３における処理の詳細フローを示す。ステップＳ３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ３においては、まず、明視野画像のモノクロ画像への変換が行われる（ステップＳ３０１）。
　次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素が２値化される（ステップＳ３０２）。図１３に、閾値処理後の二値画像の一例を示す。
　次いで、ノイズ除去が行われる（ステップＳ３０３）。ノイズ除去は、具体的には、二値画像にクロージング処理が施されることにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図１４に、ノイズ除去後の画像の一例を示す。図１４に示すように、ノイズ除去後には、細胞核が抽出された画像（細胞核画像）が得られる。
　次いで、ノイズ除去後の画像にラベリング処理が施され、抽出された細胞核のそれぞれにラベルLabel_nucleusが付与される（ステップＳ３０４）。ラベリング処理とは、連結している画素に同じラベル（番号）を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ除去後の画像から各細胞核を識別してラベルを付与することができる。
　なお、後述する蛍光輝点の抽出におけるラベルの番号と区別するため、コンピュータの保持できる最大値をＭＡＸとし、現在までに行ったラベリング回数をLabel_tempとすると、新たな細胞核にはラベルLabel_nucleusとして、ＭＡＸ－Label_tempが付与される。例えば、１０１個目の細胞核にラベルを付与する場合、Label_temp＝100であるので、ＭＡＸ＝65536とすると、Label_nucleusとして65436が付与される。ラベリング処理後、処理は図１０のステップＳ６に移行する。
　一方、図１０のステップＳ４において、通信Ｉ／Ｆ２４を介して顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ４）、蛍光画像から蛍光輝点の抽出が行われる（ステップＳ５）。図１５に、ステップＳ５における処理の詳細フローを示す。ステップＳ５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　まず、蛍光画像からＲ成分の抽出が行われる（ステップＳ４０１）。
　次いで、Ｒ成分が抽出された画像にＴｏｐｈａｔ変換が施される（ステップＳ４０２）。Ｔｏｐｈａｔ変換は、入力画像の各画素の値から、入力画像に最小値フィルター及び最大値フィルターをこの順でかけた画像の、対応する画素の値を減算する処理である。最小値フィルターは、注目画素の近傍の画素（例えば、３×３画素）のうちの最小値で注目画素の値を置き換えるものである。最大値フィルターは、注目画素の近傍の画素（例えば、３×３画素）のうちの最大値で注目画素の値を置き換えるものである。Ｔｏｐｈａｔ変換により、濃淡プロファイル上の小突起（近傍の画素に比べて輝度の高い領域）を抽出することができる。これにより、蛍光輝点候補画像を得ることができる。図１６に、蛍光輝点候補画像の一例を示す。
　次いで、蛍光輝点候補画像からノイズ除去が行われることにより、蛍光輝点が抽出された画像（蛍光輝点画像）が得られる（ステップＳ４０３）。図１７に、図１６に示す蛍光輝点候補画像におけるノイズ除去後に得られる蛍光輝点が抽出された蛍光輝点画像を示す。
　そして、ノイズ除去後の画像にラベリング処理が施され、抽出された蛍光輝点のそれぞれにラベルLabel_pointが付与される（ステップＳ４０４）。Label_pointは、１から順に付与される。ラベリング処理の終了後、処理は図１０のステップＳ６に移行する。
　図１０のステップＳ６においては、抽出された細胞核の領域と蛍光輝点に基づいて、ＲＯＩにおける特定タンパクの発現量を示す特徴量が算出される（ステップＳ６）。
　図１８に、ステップＳ６における処理の詳細フローを示す。ステップＳ６の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　まず、細胞核画像の各画素と蛍光輝点画像の対応する画素の値が加算され、合成画像が作成される（ステップＳ６０１）。次いで、ステップＳ２で指定されたＲＯＩ内に付与されているLabel_pointの数Ｈがカウントされる（ステップＳ６０２）。次いで、ステップＳ２で指定されたＲＯＩ内に付与されているLabel_nucleusの数Ｃがカウントされ（ステップＳ６０３）、Ｈ／Ｃが算出される（ステップＳ６０４）。Ｈ／Ｃは、ＲＯＩ内の細胞核１個当たりの蛍光輝点数である。
　また、ＲＯＩ内の面積Area_ROIが算出され（ステップＳ６０５）、更に、Ｈ/Area_ROIが算出されると（ステップＳ６０６）、処理は図１０のステップＳ７に移行する。面積Area_ROIは、ＲＯＩ内の画素数に基づいて算出される。
　図１０のステップＳ７においては、算出された特徴量が表示部２３に表示出力される（ステップＳ７）。
　図１９に、ステップＳ７において表示部２３に表示される解析結果画面２３１の一例を示す図である。図１９に示すように、解析結果画面２３１には、特徴量の算出に使用された明視野画像２３１ａと、蛍光画像２３１ｂと、これらの画像から抽出された細胞核画像と蛍光輝点画像が加算されることにより作成された合成画像２３１ｃと、解析により得られた特徴量２３１ｄと、印刷ボタン２３１ｅと、送信ボタン２３１ｆと、が表示される。合成画像２３１ｃには、図１９に示すように、ステップＳ２で指定されたＲＯＩの領域を示すアノテーション（枠線）Ａが重畳表示される。
　特徴量２３１ｄとしては、ＲＯＩ内の蛍光輝点の数（Label_pointの数Ｈ）、ＲＯＩ内の細胞核の個数（Label_nucleusの数Ｃ）、ＲＯＩ内の細胞核１個当たりの蛍光輝点数（Ｈ／Ｃ）、ＲＯＩ内の蛍光輝点密度（Ｈ/Area_ROI）が表示される。蛍光輝点は、組織切片の染色試薬に用いた生体物質認識部位に対応する特定タンパクの発現を示すものである。よって、これらの特徴量２３１ｄを参照することにより、医師はＲＯＩ内の特定タンパクの発現量を定量的に把握することが可能となる。
　ここで、ＨＥＲ２タンパクは、細胞膜の周囲に存在し、シグナル伝達経路を介して細胞の増殖や悪性化に関与されるといわれる。癌になると、細胞膜の周囲にＨＥＲ２タンパクの過剰発現がみられる。即ち、癌化した細胞の細胞膜には、ＨＥＲ２タンパクの過剰発現が見られる。よって、ＲＯＩ内のＨＥＲ２タンパクの発現を示す蛍光輝点の数、特に、細胞核１個当たりの蛍光輝点の数は、ＲＯＩ内における細胞１個あたりの細胞膜周囲に発現しているＨＥＲ２タンパクの量を示すものであり、ＲＯＩ内の細胞の癌の悪性度を定量的に示す特徴量といえる。また、ＲＯＩ内の蛍光輝点密度は、ＲＯＩとして指定された領域の大きさに依存しないＨＥＲ２タンパクの発現量を表すものであり、ＲＯＩ内の癌の悪性度を定量的に示す特徴量といえる。よって、これらの特徴量を表示することで、医師に予後の予測や治療戦略のための定量的な情報を提供することが可能となる。
　また、解析結果画面２３１には、特徴量２３１ｄとともに、ＲＯＩと、細胞核画像と蛍光輝点画像が加算された合成画像が表示されるので、医師は、ＲＯＩ内における細胞核の大きさや分布及び特定タンパクの発現を画像で確認することが可能となる。更に、医師が従来から診断に使用している明視野画像や、特定タンパクの蛍光輝点のみを抽出した蛍光画像を併せて表示することで、ＲＯＩ内の細胞の状態や特定タンパク質の発現状況の把握を支援することができる。
　なお、解析結果画面２３１に表示する明視野画像２３１ａ、蛍光画像２３１ｂ、合成画像２３１Ｃは、観察しやすいように何れか又は全てを拡大縮小して表示することとしてもよい。 
　解析結果は、印刷ボタン２３１ｅや送信ボタン２３１ｆを押下することでプリント出力又は外部機器への出力が可能となる。
　操作部２２により印刷ボタン２３１ｅが押下されると、制御部２１により解析結果のデータが通信Ｉ／Ｆ２４やＬＡＮ等の通信ネットワークを介して図示しないプリンタに送信され、解析結果が印刷出力される。また、操作部２２により送信ボタン２３１ｆが押下されると、制御部２１により解析結果のデータが通信Ｉ／Ｆ２４やＬＡＮ等の通信ネットワークを介して外部機器（例えば、ＰＡＣＳ（Picture Archiving and Communication System for medical application））に送信される。
　出力する解析結果は、特徴量のみであってもよいし、解析結果画面２３１の表示のように、明視野画像、蛍光画像、合成画像の何れか又は全てを含むものであってもよい。
－第２の実施の形態－
　次に、本発明の第２の実施の形態について説明する。
　第１の実施の形態においては、明視野画像と蛍光画像を用いて解析処理を行ったが、第２の実施の形態においては、特定タンパクを認識する生体物質認識部位が結合された蛍光物質内包ナノ粒子を含む染色試薬による染色と、ＨＥ染色の双方が施された組織切片の蛍光画像のみを用いて解析処理を行う場合について説明する。
　第２の実施の形態における病理診断支援システム１００の構成は、第１の実施の形態において説明したものと同様であるので説明を援用し、以下、異なる部分について説明する。
　顕微鏡画像取得装置１Ａにおいては、以下の（ｂ１）～（ｂ３）の手順で蛍光画像が取得される。
（ｂ１）操作者は、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬、及びＨＥ試薬により染色された組織切片を載置したスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに載置する。
（ｂ２）蛍光ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
　上述のように所定の蛍光標識材料による染色とともに組織切片にＨＥ染色を行った場合は、蛍光ユニットで励起光を照射した際に、特定タンパクが蛍光輝点として現れるほか、組織等が自家蛍光を発するとともに細胞質等を染色したエオジンが発光する。ここで、細胞質はエオジンにより染色されるため発光するが、細胞核はエオジンにより染色されないため発光せず、蛍光画像においては細胞核が周囲の細胞質より黒く表される（図２１参照）。よって、蛍光標識材料による染色とともに組織切片にＨＥ染色を行った組織切片を蛍光ユニットで撮影することにより得られた蛍光画像では、蛍光輝点のみならず、組織切片の細胞核を含む細胞の形態も表れている。
　そこで、画像処理装置２Ａにおいては、上記（ｂ１）～（ｂ３）により取得された蛍光画像のみを用いて細胞核の領域及び蛍光輝点を抽出し、これらの情報に基づいて特定タンパクの発現量を示す特徴量を算出する画像解析処理Ｂを実行する。
　図２０に、画像処理装置２Ａにおいて実行される画像解析処理Ｂのフローチャートを示す。図２０に示す画像解析処理Ｂは、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　顕微鏡画像取得装置１Ａから蛍光画像が入力されると（ステップＳ１１）、まず、細胞核を抽出するためのステップＳ１２～ステップＳ１３の処理と、蛍光輝点を抽出するためのステップＳ１４の処理が実行される。
　ステップＳ１２においては、蛍光画像から解析対象のＲＯＩの指定が行われる（ステップＳ１２）。
　ここでは、蛍光画像に最小値フィルター処理が施され、最小値フィルター処理後の蛍光画像が表示部２３に表示され、表示された蛍光画像から操作部２２により領域が指定されると、指定された領域がＲＯＩ（関心領域）として設定される。
　図２１に、最小値フィルター処理前後の蛍光画像の一例を示す。図２１に示すように、最小値フィルター処理を施すことにより、蛍光画像から蛍光輝点を除去することができるので、医師が細胞核の形態を観察しやすくなり、ＲＯＩの設定が容易となる。
　次いで、蛍光画像から細胞核の領域の抽出が行われる（ステップＳ１３）。
　図２２に、ステップＳ１３における処理の詳細フローを示す。ステップＳ１３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
　ステップＳ１３においては、まず、蛍光画像のモノクロ画像への変換が行われる（ステップＳ７０１）。
　次いで、モノクロ画像に対しコントラスト補正が行われる（ステップＳ７０２）。
　蛍光画像においては、図２４Ａに示すように、細胞核とその周辺の組織とのコントラストが小さい。そこで、ステップＳ７０２においては、特に高濃度の領域でのコントラストを強調するため、ガンマ変換により高濃度領域でのコントラストを上げる処理を行う。
　ガンマ変換は、各画素の値を［数１］の式により変換するものである。［数１］中の＊は乗算記号である。なお、γは、γカーブの度合いを示すパラメータで、図２３に示すようにγ＞１とするとγカーブは上に凸、γ＜１では下に凸となる。例えば、画素値が小さい方から大きいほうへ移行するにつれて濃度が高くなる場合はγ＜１としてガンマ変換を行い、その逆であればγ＞１としてγ変換を行う。図２４Ｂにガンマ変換後のモノクロ画像を示す。矢印で示す部分を図２４Ａと比較すると、コントラストがあがって細胞核の形態が明確となっていることがわかる。
Figure JPOXMLDOC01-appb-M000002
　次いで、コントラスト補正後のモノクロ画像に対し、予め定められた閾値を用いて閾値処理が施されて各画素が２値化され（ステップＳ７０３）、更に、ノイズ処理（ステップＳ７０４）、ラベリング処理が行われ（ステップＳ７０５）、図１４に示すような細胞核が抽出された画像（細胞核画像）が取得される。ステップＳ７０３、Ｓ７０４、Ｓ７０５における処理は、それぞれ図１２のステップＳ３０２、Ｓ３０３、Ｓ３０４と同様であるので説明を援用する。
　ラベリング処理後、処理は図２０のステップＳ１５に移行する。
　一方、ステップＳ１４においては、蛍光画像から蛍光輝点の抽出が行われる（ステップＳ１４）。このステップＳ１４の処理は第１の実施の形態において図１５を用いて説明したものと同様であるので説明を援用する。蛍光輝点の抽出後、処理は図２０のステップＳ１５に移行する。
　図２０のステップＳ１５においては、抽出された細胞核の領域の情報と蛍光輝点の情報に基づいて解析処理が行われ、ＲＯＩにおける特定タンパクの発現量を示す特徴量が算出される（ステップＳ１５）。このステップＳ１５の処理は第１の実施の形態で図１８を用いて説明したものと同様であるので説明を援用する。
　次いで、算出された特徴量が表示部２３に表示される（ステップＳ１６）。ステップＳ１６においては、図１９に示した解析結果画面２３１と同様に、解析元の蛍光画像、蛍光画像を解析することにより得られた特徴量が表示された解析結果画面が表示される。解析元の蛍光画像には、指定されたＲＯＩの領域を示す枠線が表示される。また、解析結果画面には印刷ボタンや送信ボタンが設けられ、解析結果を印刷出力したり外部機器に出力したりすることが可能である。
　このように、所定の蛍光標識材料による染色とともに組織切片にＨＥ染色を行った場合は、蛍光画像のみを用いても、ＲＯＩ内の特定タンパクの発現量を示す特徴量を算出することができる。この蛍光画像では、１枚の画像に細胞核を含む細胞の形態及び特定の生態物質の発現を示す蛍光輝点の双方を含むので、特徴量とともに表示することで、従来のように、明視野画像と蛍光画像の二つの画像を比較したり、二つの画像の位置合わせを行ったりすることなしに、医師は組織における細胞の形態、特定タンパクの発現状況、及びその特徴量を一度に把握することが可能となる。
　以上説明したように、画像処理装置２Ａによれば、制御部２１は、組織切片における細胞の形態を表す細胞形態画像（明視野画像又は蛍光画像）から操作部２２により解析対象のＲＯＩが指定されると、明視野画像又は蛍光画像から細胞核の領域を抽出するとともに、蛍光画像から特定タンパク質の発現を示す蛍光輝点を抽出する。そして、操作部２２により指定されたＲＯＩに存在する細胞核の領域及び蛍光輝点に基づいて、指定されたＲＯＩにおける特定タンパクの発現量を示す特徴量を算出し出力する。
　従って、ＲＯＩにおける細胞核及び蛍光輝点に基づいて算出された特定タンパクの発現を示す特徴量を医師に提供することができるので、医師は所望の領域の特定タンパクの発現量を定量的に把握することが可能となり、予後の予測や治療戦略が容易となる。
　ここで、上述のように、癌化した細胞の細胞膜には、特定タンパク、例えばＨＥＲ２タンパクの過剰発現が見られるので、ＲＯＩにおける細胞核１個当たりの特定タンパクの発現量を示す、ＲＯＩ内の細胞１個当たりの蛍光輝点の数は、ＲＯＩ内の細胞の癌の悪性度を定量的に示す特徴量といえる。よって、ＲＯＩ内の細胞１個当たりの蛍光輝点の数を特徴量として出力することで、医師に予後の予測や治療戦略のための定量的な情報を提供することが可能となる。
　また、特徴量を出力する際に、ＲＯＩの位置を示すアノテーションが重畳された細胞形態画像と蛍光画像の合成画像を併せて出力することで、ＲＯＩ内の細胞の分布や大きさ等の状態や特定タンパク質の発現状況の把握が容易となる。
　また、第２の実施の形態における画像処理装置２Ａによれば、組織切片の細胞の形態を表すとともに組織切片における特定のタンパク質の発現を蛍光輝点で表す一枚の蛍光画像を用いてＲＯＩにおける特定タンパクの発現量を示す特徴量を算出し出力するので、複数画像の合成や位置合わせの処理を行うことなく、正確に特徴量を算出することができる。また、この蛍光画像を表示部２３に表示することで、医師は、細胞核とタンパクの発現の双方を一枚の画像から容易に把握することが可能となる。
　なお、上記実施の形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
　例えば、上記第１の実施及び第２の実施の形態においては、特定タンパクの例として乳癌におけるＨＥＲ２タンパクを挙げたが、これに限定されない。診断対象となる病変（がん）種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。
　また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭ等の可搬型記録媒
体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
　その他、病理診断支援システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　なお、明細書、請求の範囲、図面及び要約を含む２０１２年３月３０日に出願された日本特許出願Ｎｏ．２０１２－０７８７１７号の全ての開示は、そのまま本出願の一部に組み込まれる。
　医療の分野において、組織切片の顕微鏡画像を処理する医用画像処理装置として利用可能性がある。
１００　病理診断支援システム
１Ａ　顕微鏡画像取得装置
２Ａ　画像処理装置
２１　制御部
２２　操作部
２３　表示部
２４　通信Ｉ／Ｆ
２５　記憶部
２６　バス
３Ａ　ケーブル

Claims (6)

  1. 　組織切片における細胞の形態を表す細胞形態画像及び前記組織切片における特定のタンパク質の発現を蛍光輝点で表す蛍光画像を入力する入力手段と、
    　前記細胞形態画像から解析対象領域を指定するための操作手段と、
    　前記細胞形態画像から細胞核の領域を抽出する細胞核抽出手段と、
    　前記蛍光画像から前記特定のタンパク質の発現を示す蛍光輝点を抽出する蛍光輝点抽出手段と、
    　前記操作手段により指定された解析対象領域に存在する前記抽出された細胞核の領域及び蛍光輝点に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出する特徴量算出手段と、
    　前記算出された特徴量を出力する出力手段と、
    を備える医用画像処理装置。
  2. 　前記特徴量算出手段は、前記操作手段により指定された解析対象領域における蛍光輝点の数、及び細胞核の個数の情報を取得し、取得した細胞核及び蛍光輝点の個数に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出する請求項１に記載の医用画像処理装置。
  3. 　前記特徴量算出手段は、前記指定された解析対象領域における細胞核１個あたりの蛍光輝点の数を前記特定のタンパク質の発現量を示す特徴量として算出する請求項２に記載の医用画像処理装置。
  4. 　前記細胞形態画像と前記蛍光画像の合成画像を生成する合成画像生成手段を備え、
    　前記出力手段は、前記操作手段により指定された解析対象領域の位置を示すアノテーションが重畳された前記合成画像を前記特徴量とともに出力する請求項１～３の何れか一項に記載の医用画像処理装置。
  5. 　前記細胞形態画像及び前記蛍光画像は、前記組織切片の細胞の形態を表すとともに前記組織切片における特定のタンパク質の発現を蛍光輝点で表す一枚の画像からなる請求項１～３の何れか一項に記載の医用画像処理装置。
  6. 　コンピュータを、
    　組織切片における細胞の形態を表す細胞形態画像及び前記組織切片における特定のタンパク質の発現を蛍光輝点で表す蛍光画像を入力する入力手段、
    　前記細胞形態画像から解析対象領域を指定するための操作手段、
    　前記細胞形態画像から細胞核の領域を抽出する細胞核抽出手段、
    　前記蛍光画像から前記特定のタンパク質の発現を示す蛍光輝点を抽出する蛍光輝点抽出手段、
    　前記操作手段により指定された解析対象領域に存在する前記抽出された細胞核の領域及び蛍光輝点に基づいて、前記指定された解析対象領域における前記特定のタンパク質の発現量を示す特徴量を算出する特徴量算出手段、
    　前記算出された特徴量を出力する出力手段、
    として機能させるためのプログラム。
PCT/JP2013/058917 2012-03-30 2013-03-27 医用画像処理装置及びプログラム WO2013146841A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/387,405 US9483684B2 (en) 2012-03-30 2013-03-27 Medical image processor and storage medium
JP2014507942A JP5892238B2 (ja) 2012-03-30 2013-03-27 医用画像処理装置及びプログラム
EP13767991.6A EP2833123A4 (en) 2012-03-30 2013-03-27 MEDICAL IMAGE PROCESSOR AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-078717 2012-03-30
JP2012078717 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013146841A1 true WO2013146841A1 (ja) 2013-10-03

Family

ID=49260090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058917 WO2013146841A1 (ja) 2012-03-30 2013-03-27 医用画像処理装置及びプログラム

Country Status (4)

Country Link
US (1) US9483684B2 (ja)
EP (1) EP2833123A4 (ja)
JP (1) JP5892238B2 (ja)
WO (1) WO2013146841A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP2016001141A (ja) * 2014-06-12 2016-01-07 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
EP2990781A1 (en) * 2014-08-29 2016-03-02 Sysmex Corporation Fluoroscence detection apparatus and fluoroscence detection method
WO2016080187A1 (ja) * 2014-11-18 2016-05-26 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP2016118428A (ja) * 2014-12-19 2016-06-30 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ， インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析
JPWO2016042963A1 (ja) * 2014-09-19 2017-09-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
EP3124969A4 (en) * 2014-03-24 2017-11-29 Konica Minolta, Inc. Biological-material quantitation method based on multiple-antigen immunostaining
EP3249401A4 (en) * 2015-01-22 2017-11-29 Konica Minolta, Inc. Biological substance quantitation method, pathological diagnosis support system, and program
JPWO2017126420A1 (ja) * 2016-01-19 2018-11-08 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2018180635A (ja) * 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019502894A (ja) * 2015-09-23 2019-01-31 ノバダック テクノロジーズ ユーエルシー 医療イメージングから導かれたデータの管理のための方法およびシステム
WO2019087853A1 (ja) * 2017-11-06 2019-05-09 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
JP2019086524A (ja) * 2017-04-14 2019-06-06 シスメックス株式会社 蛍光画像分析装置及び蛍光画像の分析方法
US10656092B2 (en) 2016-07-05 2020-05-19 Konica Minolta, Inc. Biological material quantifying method, image processing device, pathological diagnosis support system and recording medium
US10783636B2 (en) 2015-02-02 2020-09-22 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject
US11085880B2 (en) 2017-04-14 2021-08-10 Sysmex Corporation Fluorescence image analyzing apparatus, method of analyzing fluorescence image, and computer program
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
US11096602B2 (en) 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
US11521315B2 (en) 2019-03-29 2022-12-06 Sysmex Corporation Fluorescence image analyzer and fluorescence image analyzing method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3040724B1 (en) * 2013-09-26 2018-08-29 Konica Minolta, Inc. Method for determining quantity of biological material in tissue section
US9558393B2 (en) * 2014-03-27 2017-01-31 Konica Minolta, Inc. Image processing device and storage medium for image processing
EP3258264B1 (en) * 2015-02-10 2020-12-02 Konica Minolta, Inc. Biological substance quantitation method
JP6635108B2 (ja) * 2015-02-23 2020-01-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016203907A1 (ja) 2015-06-16 2016-12-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
US9990713B2 (en) * 2016-06-09 2018-06-05 Definiens Ag Detecting and visualizing correlations between measured correlation values and correlation reference values of a pathway
DE102016111730B3 (de) * 2016-06-27 2017-12-28 Leica Microsystems Cms Gmbh Beleuchtungseinrichtung sowie Mikroskop mit einer derartigen Beleuchtungseinrichtung
CN109003248B (zh) * 2018-07-23 2020-12-08 中国石油大学(华东) 一种细粒沉积岩纹层结构的表征方法
JP7150866B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3995879A4 (en) * 2018-09-28 2023-08-23 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION DEVICE
CN113693739B (zh) * 2021-08-27 2022-10-28 南京诺源医疗器械有限公司 肿瘤导航修正方法、装置及便携式荧光影像导航设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
US5326692A (en) 1992-05-13 1994-07-05 Molecular Probes, Inc. Fluorescent microparticles with controllable enhanced stokes shift
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2009115599A (ja) 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
WO2009110614A1 (ja) * 2008-03-07 2009-09-11 Kobayashi Yasunobu エフェクター細胞の機能測定法及び測定用キット並びに測定システム
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
WO2012039219A1 (ja) * 2010-09-22 2012-03-29 オリンパス株式会社 蛍光観察装置
JP2012078717A (ja) 2010-10-05 2012-04-19 Olympus Imaging Corp レンズ鏡筒

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
JP2004077389A (ja) * 2002-08-21 2004-03-11 Hitachi Software Eng Co Ltd 半導体ナノ粒子を含む機能性蛍光試薬
US7050613B2 (en) * 2002-11-07 2006-05-23 Fujitsu Limited Method for supporting cell image analysis
EP1688083B1 (en) * 2003-11-20 2018-09-12 Hamamatsu Photonics K.K. Lymph node detector
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
CA2596101A1 (en) * 2004-03-16 2005-09-29 Amnis Corporation Method for imaging and differential analysis of cells
DE102004028372A1 (de) * 2004-06-11 2006-01-05 Universität Bremen Verfahren und Vorrichtung zur Segmentierung einer digitalen Abbildung von Zellen
US20060041385A1 (en) * 2004-08-18 2006-02-23 Bauer Kenneth D Method of quantitating proteins and genes in cells using a combination of immunohistochemistry and in situ hybridization
US7387453B2 (en) 2005-09-02 2008-06-17 Pelco, Inc. Camera support and mounting assembly
WO2007074722A1 (ja) * 2005-12-27 2007-07-05 The Furukawa Electric Co., Ltd. 蛍光ナノシリカ粒子、ナノ蛍光材料、それを用いたバイオチップ及びそのアッセイ法
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
US8559693B2 (en) * 2007-10-11 2013-10-15 British Columbia Cancer Agency Branch Systems and methods for automated characterization of genetic heterogeneity in tissue samples
WO2009051703A1 (en) * 2007-10-15 2009-04-23 The Charles Stark Draper Laboratory, Inc. Ion-selective sensors
JP5259207B2 (ja) * 2008-02-05 2013-08-07 オリンパス株式会社 細胞画像解析装置及びその方法並びにそのソフトウェア
JP2009265067A (ja) * 2008-04-21 2009-11-12 Tokachi Telephone Network Kk 分子認識蛍光標識シリカナノ粒子
US8300938B2 (en) * 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
EP2613145B1 (en) 2010-08-30 2017-06-28 Konica Minolta, Inc. Tissue staining method, tissue evaluation method and biosubstance detection method
JP5682976B2 (ja) * 2010-09-17 2015-03-11 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
US5326692A (en) 1992-05-13 1994-07-05 Molecular Probes, Inc. Fluorescent microparticles with controllable enhanced stokes shift
US5326692B1 (en) 1992-05-13 1996-04-30 Molecular Probes Inc Fluorescent microparticles with controllable enhanced stokes shift
JP2002514319A (ja) 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2009115599A (ja) 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
WO2009110614A1 (ja) * 2008-03-07 2009-09-11 Kobayashi Yasunobu エフェクター細胞の機能測定法及び測定用キット並びに測定システム
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
WO2012039219A1 (ja) * 2010-09-22 2012-03-29 オリンパス株式会社 蛍光観察装置
JP2012078717A (ja) 2010-10-05 2012-04-19 Olympus Imaging Corp レンズ鏡筒

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LANGMUIR, vol. 8, 1992, pages 2921
NATURE BIOTECHNOLOGY, vol. 19, 2001, pages 631
NEW JOURNAL OF CHEMISTRY, vol. 33, 2009, pages 561
See also references of EP2833123A4

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5822054B1 (ja) * 2013-12-18 2015-11-24 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
US11035844B2 (en) 2013-12-18 2021-06-15 Konica Minolta, Inc. Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
US10175220B2 (en) 2013-12-18 2019-01-08 Konica Minolta, Inc. Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ， インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析
EP3124969A4 (en) * 2014-03-24 2017-11-29 Konica Minolta, Inc. Biological-material quantitation method based on multiple-antigen immunostaining
JP2016001141A (ja) * 2014-06-12 2016-01-07 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
EP2990781A1 (en) * 2014-08-29 2016-03-02 Sysmex Corporation Fluoroscence detection apparatus and fluoroscence detection method
US10094767B2 (en) 2014-09-19 2018-10-09 Konica Minolta, Inc. Image processor, image processing method, and program
JPWO2016042963A1 (ja) * 2014-09-19 2017-09-07 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2016080187A1 (ja) * 2014-11-18 2017-08-24 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
WO2016080187A1 (ja) * 2014-11-18 2016-05-26 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP2019153341A (ja) * 2014-11-18 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像生成方法、画像処理装置及びプログラム
JP2016118428A (ja) * 2014-12-19 2016-06-30 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
US10746740B2 (en) 2015-01-22 2020-08-18 Konica Minolta, Inc. Biological substance quantitation method, pathological diagnosis support system, and recording medium storing computer readable program
US20180275134A1 (en) * 2015-01-22 2018-09-27 Konica Minolta, Inc. Biological Substance Quantitation Method, Pathological Diagnosis Support System, And Recording Medium Storing Computer Readable Program
EP3249401A4 (en) * 2015-01-22 2017-11-29 Konica Minolta, Inc. Biological substance quantitation method, pathological diagnosis support system, and program
US11715205B2 (en) 2015-02-02 2023-08-01 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject
US10783636B2 (en) 2015-02-02 2020-09-22 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP2019502894A (ja) * 2015-09-23 2019-01-31 ノバダック テクノロジーズ ユーエルシー 医療イメージングから導かれたデータの管理のための方法およびシステム
JPWO2017126420A1 (ja) * 2016-01-19 2018-11-08 コニカミノルタ株式会社 画像処理装置及びプログラム
US10656092B2 (en) 2016-07-05 2020-05-19 Konica Minolta, Inc. Biological material quantifying method, image processing device, pathological diagnosis support system and recording medium
US11096602B2 (en) 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
JP2018180635A (ja) * 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019086524A (ja) * 2017-04-14 2019-06-06 シスメックス株式会社 蛍光画像分析装置及び蛍光画像の分析方法
US11085880B2 (en) 2017-04-14 2021-08-10 Sysmex Corporation Fluorescence image analyzing apparatus, method of analyzing fluorescence image, and computer program
JPWO2019087853A1 (ja) * 2017-11-06 2020-12-24 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
WO2019087853A1 (ja) * 2017-11-06 2019-05-09 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
JP7160047B2 (ja) 2017-11-06 2022-10-25 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
US11521315B2 (en) 2019-03-29 2022-12-06 Sysmex Corporation Fluorescence image analyzer and fluorescence image analyzing method
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム

Also Published As

Publication number Publication date
US20150049936A1 (en) 2015-02-19
EP2833123A4 (en) 2015-12-09
US9483684B2 (en) 2016-11-01
JP5892238B2 (ja) 2016-03-23
JPWO2013146841A1 (ja) 2015-12-14
EP2833123A1 (en) 2015-02-04

Similar Documents

Publication Publication Date Title
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5822054B1 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP6597316B2 (ja) 画像処理装置及びプログラム
WO2016136441A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
JP5887823B2 (ja) 組織評価方法
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
WO2015146938A1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767991

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507942

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14387405

Country of ref document: US

Ref document number: 2013767991

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE