WO2019078230A1 - 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム - Google Patents

生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム Download PDF

Info

Publication number
WO2019078230A1
WO2019078230A1 PCT/JP2018/038581 JP2018038581W WO2019078230A1 WO 2019078230 A1 WO2019078230 A1 WO 2019078230A1 JP 2018038581 W JP2018038581 W JP 2018038581W WO 2019078230 A1 WO2019078230 A1 WO 2019078230A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescent dye
image
luminance
bright spot
value
Prior art date
Application number
PCT/JP2018/038581
Other languages
English (en)
French (fr)
Inventor
雄一 尾崎
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US16/754,801 priority Critical patent/US11600020B2/en
Priority to JP2019549306A priority patent/JP7184046B2/ja
Priority to EP18868433.6A priority patent/EP3699588A4/en
Publication of WO2019078230A1 publication Critical patent/WO2019078230A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a biological material quantification method, an image processing apparatus, a pathological diagnosis support system, and a program, and more particularly to image processing used for pathological diagnosis.
  • quantifying the expression level of over-expressing biological substances in tissue sections can be very important information in predicting prognosis and deciding on a treatment plan thereafter.
  • luminance value fluctuates due to differences in luminance and light source intensity among individual fluorescent dye-accumulating particles, differences in individual microscope conditions, differences in conditions for producing fluorescent dye-accumulating particles, and differences in staining conditions such as target tissue sections. Therefore, in order to improve the accuracy of quantification, it is necessary to correct the luminance fluctuation due to these factors.
  • luminance is measured by the method of performing sensitivity calibration of a fluorescence detection device (see, for example, Patent Document 2), and the method of performing standardization with respect to the intensity of excitation light source and microscope intrinsic factor (see, for example, Patent Document 3). Corrections for fluctuations have been made.
  • the number of fluorescent dye-accumulated particles attached to the target sample varies depending on the surface modification conditions of the fluorescent dye-accumulated particles, the staining conditions of the target tissue section, etc.
  • the methods of Patent Document 2 and Patent Document 3 can not cope with such a variation in the number of deposits. Therefore, for example, in Patent Document 4, culture cells with an apparent expression level of the protein are observed as a standard sample under the same conditions as the target sample, and the expression level of the biological substance in the standard sample is calculated A method is disclosed. Thereby, quantitative evaluation can be performed without being influenced by fluctuation factors such as staining conditions.
  • the present invention has been made in view of the above problems, and is capable of quantitatively analyzing a biological substance without being affected by both the luminance fluctuation per fluorescent dye accumulation particle and the change in the number of attached fluorescent dye accumulation particles to a target sample.
  • An object of the present invention is to provide a possible biological material quantification method, an image processing apparatus, a pathological diagnosis support system and a program.
  • the method for quantifying a biological substance according to claim 1 is In a biological material quantification method for quantifying the expression amount of a specific biological material in a target specimen stained using fluorescent dye-accumulating particles capable of binding to a specific biological material, An input step of inputting a first fluorescence image obtained by imaging the target sample; A brightness calculating step of extracting a bright spot portion from the first fluorescent image and calculating a first brightness value which is a brightness value of the bright spot portion; The first luminance value, a second luminance value which is a luminance value of a bright spot portion extracted in a second fluorescence image obtained by imaging a standard sample in which the expression amount of the specific biological material is measured in advance, and In the third fluorescence image obtained by imaging the preparation in which the fluorescent dye-accumulating particles are dispersed without aggregation, the distribution of the third luminance value, which is the luminance value for each bright spot representing the luminescence of the fluorescent dye-accumulating particles, is used Calculation step of calculating the number of
  • the invention according to claim 2 relates to the method for quantifying a biological substance according to claim 1,
  • the bright spot portion is a region where the fluorescent dye accumulation particles are present
  • the first brightness value is a first brightness integrated value which is an integrated value of the brightness values of the bright spot portion extracted in the first fluorescent image
  • the second brightness value is a second brightness integrated value which is an integrated value of the brightness values of the bright spots extracted in the second fluorescence image
  • the third brightness value is a third brightness integrated value which is an integrated value of the brightness values of the bright spots extracted in the third fluorescent image.
  • the invention according to claim 3 is the method for quantifying a biological substance according to claim 2.
  • a provisional particle number calculation step of calculating a provisional number of fluorescent dye accumulated particles contained in the bright spot portion extracted in the first fluorescent image using the first luminance integrated value and the unit luminance value;
  • a particle number correction step of correcting the provisional number of fluorescent dye accumulated particles contained in the bright spot portion extracted in the first fluorescence image, using the second luminance integrated value.
  • the invention according to claim 4 relates to the method for quantifying a biological substance according to claim 2.
  • Calculation step Exposure time at the time of imaging of the first fluorescence image and the second fluorescence image based on comparison of the unit luminance value and a reference luminance value per particle of the fluorescent dye accumulated particle predicted under a predetermined condition
  • a particle number correction step of correcting the provisional number of fluorescent dye accumulated particles contained in the bright spot portion extracted in the first fluorescence image, using the second luminance integrated value,
  • the invention according to claim 5 relates to the method for quantifying a biological substance according to claim 3 or 4.
  • the number of fluorescent dye accumulated particles bound to the bright spot portion in the second fluorescence image calculated using the second luminance integrated value, and the reference fluorescent dye bound to the bright spot portion predicted under a predetermined condition Correction is performed using a particle number correction coefficient calculated from the ratio to the number of accumulated particles.
  • the invention according to claim 6 is the method for quantifying a biological substance according to any one of claims 3 to 5,
  • the unit luminance value calculating step is A third integrated value of luminance, which is a mode value, is calculated as the unit luminance value.
  • the invention according to claim 7 relates to the method for quantifying a biological substance according to any one of claims 1 to 6,
  • the target sample is stained using a plurality of types of fluorescent dye-accumulating particles that can be imaged using a plurality of filters having different emission wavelengths and corresponding to each emission wavelength,
  • One fluorescence dye accumulated particle is dispersed without aggregation, and the fluorescence correction coefficient calculated from the luminance ratio between the plurality of third fluorescence images captured using each of the plurality of filters is used to calculate the fluorescence
  • the method is characterized in that it includes a crosstalk removal step of removing crosstalk imaged through a filter that does not correspond to dye accumulation particles.
  • the image processing apparatus is In an image processing apparatus for quantifying the expression amount of a specific biological substance in a target specimen stained using fluorochrome-accumulating particles capable of binding to a specific biological substance, An input unit for inputting a first fluorescence image obtained by imaging the target sample; A luminance calculating unit that extracts a bright spot portion from the first fluorescent image and calculates a first luminance integrated value which is an integrated value of luminance values of the bright spot portion; The first integrated luminance value, the second integrated value of the luminance value of the bright spot portion extracted in the second fluorescence image obtained by imaging a standard sample in which the expression amount of the specific biological material is measured in advance A third integrated image of the luminance integrated value and a third fluorescence image obtained by imaging the preparation in which the fluorescent dye-accumulating particles are dispersed without aggregation, the luminance value for each bright spot portion representing the luminescence of the fluorescent dye-accumulating particles Particle number calculation means for calculating the number of fluorescent dye accumulated particles contained in the bright spot portion extracted in the first
  • the program according to claim 9 is A computer for quantifying the expression level of a specific biological substance in a target specimen stained with fluorescent dye-accumulating particles capable of binding to the specific biological substance,
  • An input unit for inputting a first fluorescence image obtained by imaging the target sample;
  • a brightness calculating unit that extracts a bright spot portion from the first fluorescent image and calculates a first brightness integrated value, which is an integrated value of brightness values of the bright spot portion.
  • the first integrated luminance value, the second integrated value of the luminance value of the bright spot portion extracted in the second fluorescence image obtained by imaging a standard sample in which the expression amount of the specific biological material is measured in advance A third integrated image of the luminance integrated value and a third fluorescence image obtained by imaging the preparation in which the fluorescent dye-accumulating particles are dispersed without aggregation, the luminance value for each bright spot portion representing the luminescence of the fluorescent dye-accumulating particles
  • An image processing apparatus according to claim 8; It is characterized by comprising an image acquisition device for acquiring the first fluorescence image, the second fluorescence image, and the third fluorescence image.
  • a method of quantifying a biological substance capable of quantitative analysis of a biological substance without being influenced by both of the luminance fluctuation per particle of the fluorescent pigment accumulated particle and the fluctuation in the number of attached fluorescent pigment accumulated particles to the target sample.
  • a processing device, a pathological diagnosis support system and a program can be provided.
  • FIG. 1 It is a figure which shows the system configuration
  • FIG. 1 shows an example of the overall configuration of a pathological diagnosis support system 100 using the tissue evaluation method of the present invention.
  • the pathological diagnosis support system 100 acquires a microscopic image of a tissue specimen stained with a predetermined staining reagent, and analyzes the acquired microscopic image to quantify expression of a specific biological substance in the tissue specimen to be observed. It is a system which outputs the feature-value represented to these.
  • the pathological diagnosis support system 100 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition device 1A and the image processing device 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected by a LAN (Local Area Network), or may be connected by wireless.
  • the pathological diagnosis support system 100 may be an apparatus in which the microscope image acquisition apparatus 1A and the image processing apparatus 2A are integrally formed.
  • an image acquired using an arbitrary external device may be input to the image processing apparatus using a storage such as an HDD, a CD, or a DVD.
  • the microscope image acquisition device 1A is a known optical microscope with a camera, which acquires a microscope image of a tissue sample on a slide mounted on a slide fixing stage, and functions as an image acquisition device.
  • the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means is constituted by a light source, a filter and the like, and irradiates the tissue sample on the slide mounted on the slide fixing stage with light.
  • the imaging means is constituted by an eyepiece lens, an objective lens, etc., and images transmitted light, reflected light or fluorescence emitted from the tissue sample on the slide by the irradiated light.
  • the imaging unit is a microscope-equipped camera that includes a CCD (Charge Coupled Device) sensor or the like and captures an image formed on the imaging surface by the imaging unit to generate digital image data of a microscope image.
  • the communication I / F transmits the image data of the generated microscope image to the image processing device 2A.
  • the image processing device 2A calculates the expression distribution of a specific biological substance in the tissue sample to be observed by analyzing the microscope images (bright field image and fluorescence image) transmitted from the microscope image acquisition device 1A.
  • the image processing apparatus 2A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25 and the like, and the units are connected via a bus 26. There is.
  • the control unit 21 includes a central processing unit (CPU), a random access memory (RAM), and the like, and executes various processes in cooperation with various programs stored in the storage unit 25. Control the operation of For example, the control unit 21 executes an image analysis process in cooperation with a program stored in the storage unit 25, and performs a brightness calculation process, a particle number calculation process, a unit brightness value calculation process, a provisional particle number calculation process, particles A function as means for executing a number correction process, an exposure time calculation process, and a crosstalk removal process is realized.
  • CPU central processing unit
  • RAM random access memory
  • the operation unit 22 includes a keyboard having a character input key, a number input key, various function keys, etc., and a pointing device such as a mouse, and a signal for pressing a key pressed by the keyboard and an operation signal from the mouse And are output to the control unit 21 as an input signal.
  • the display unit 23 includes, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with an instruction of a display signal input from the control unit 21. In the present embodiment, the display unit 23 functions as, for example, an output unit for outputting an image analysis result.
  • the communication I / F 24 is an interface for transmitting and receiving data to and from an external device such as the microscope image acquisition device 1A.
  • the storage unit 25 is configured of, for example, a hard disk drive (HDD), a nonvolatile memory of a semiconductor, or the like. As described above, the storage unit 25 stores various programs, various data, and the like.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like, and may be connected to an external device via a communication network such as a LAN.
  • preparation of a tissue sample (target sample) to be subjected to target biological material quantification according to the present invention will be described in detail including a staining reagent and a staining method.
  • the tissue specimen according to the present invention is stained with a staining reagent containing fluorescent dye-accumulating particles capable of staining the target biological substance.
  • the target biological substance is a biological substance, particularly a protein (antigen) expressed in a tissue section.
  • Typical target biological substances include biological substances (for example, HER2 protein and the like) which are expressed on the cell membrane of various cancer tissues and can be used as a biomarker.
  • the fluorescent dye-accumulating particles according to the present invention are nano-sized particles that emit fluorescence upon irradiation with excitation light, and are sufficient to represent the target biological substance as a single bright spot. It is a particle that can emit fluorescence of various intensities.
  • the emission wavelength of the fluorescent dye-accumulating particles is arbitrary within the sensitivity range of the imaging device of the fluorescence microscope. Specifically, the emission wavelength is preferably 400 to 700 nm.
  • the average particle size of the fluorescent dye-accumulating particles is not particularly limited, but those with large particle sizes are difficult to access the antigen, those with small particle sizes and low luminance value emit background noise (camera noise and cell self Since it is buried in fluorescence), one having a diameter of about 20 to 200 nm is preferable. Moreover, it is preferable that the variation coefficient of a particle size is 15% or less. Since the variation of the particle size of the fluorescent dye-accumulating particles is small, the luminance value of the fluorescence per particle becomes almost constant, so that the quantitative accuracy is enhanced.
  • an electron micrograph is taken using a scanning electron microscope (SEM), the cross-sectional area is measured for a sufficient number of particles, and the diameter of the circle is taken as the area of the circle. Asked as.
  • the arithmetic mean of the particle sizes of 1000 particles is taken as the average particle size.
  • the coefficient of variation was also a value calculated from the particle size distribution of 1000 particles.
  • the fluorescent dye-accumulating particles are nano-sized particles having as a matrix particles made of organic or inorganic substances and having a structure in which a plurality of fluorescent dyes are contained in and / or adsorbed on the surface thereof.
  • the matrix and the fluorescent dye it is preferable that the matrix and the fluorescent dye have substituents or sites having opposite charges to each other, and electrostatic interaction occurs.
  • Base material As organic substances, resins generally classified as thermosetting resins, such as melamine resin, urea resin, aniline resin, guanamine resin, phenol resin, xylene resin, furan resin; styrene Resins generally classified as thermoplastic resins, such as resin, acrylic resin, acrylonitrile resin, AS resin (acrylonitrile-styrene copolymer), ASA resin (acrylonitrile-styrene-methyl acrylate copolymer); polylactic acid, etc. Other resins; polysaccharides can be exemplified.
  • the matrix examples of the inorganic substance include silica, glass and the like. In particular, it is preferable to use a melamine resin as a base, since it is possible to suppress variation in particle diameter as compared to the case of using silica or the like.
  • the fluorescent dye accumulation particle has a structure in which the fluorescent dye is contained in the above-mentioned matrix and / or adsorbed on the surface thereof.
  • fluorescent dyes include rhodamine dye molecules, squarylium dye molecules, cyanine dye molecules, aromatic ring dye molecules, oxazine dye molecules, carbopyronine dye molecules, and pyromecene dye molecules.
  • Alexa Fluor registered trademark, manufactured by Invitrogen Corporation
  • BODIPY registered trademark, manufactured by Invitrogen Corporation
  • Cy registered trademark, manufactured by GE Healthcare
  • HiLyte registered trademark
  • DyLight registered trademark, manufactured by Thermo Scientific
  • ATTO registered trademark, manufactured by ATTO-TEC
  • pigment molecule MFP (registered trademark, manufactured by Mobitec)
  • Dye molecules CF (registered trademark, manufactured by Biotium) dye molecules, DY (registered trademark, manufactured by DYOMICS company), dye molecules, CAL (registered trademark, manufactured by BioSearch Technologies), etc.
  • the fluorescent dye may be dispersed in the matrix, and may or may not be chemically bonded to the matrix itself.
  • quantum dot accumulated particles may be used as fluorescent dye accumulated particles.
  • the quantum dot accumulation particle has a structure in which the quantum dot is contained in the matrix and / or adsorbed on the surface thereof.
  • quantum dots semiconductor nanoparticles containing II-VI compounds, III-V compounds or IV elements are used.
  • CdSe, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, Ge and the like can be mentioned.
  • the quantum dot may be dispersed in the matrix, and may or may not be chemically bonded to the matrix itself.
  • Staining reagent conjuggate of antibody-fluorescent dye accumulating particles
  • the staining reagent is designed to bind one of the fluorescent dye-accumulating particles to one of the target biological substances.
  • the primary antibody and the fluorescent dye-accumulating particles are indirectly, ie, an antigen, in order to improve the efficiency of fluorescent labeling and minimize the time course leading to the deterioration of fluorescence.
  • a complex linked by a bond other than covalent bond utilizing an antibody reaction or the like In order to simplify the staining procedure, a complex in which fluorescent dye-accumulating particles are directly linked to a primary antibody or a secondary antibody can also be used as an immunostaining agent.
  • immunostaining agent examples include: [Primary antibody to target biological substance] ... [Antibody to primary antibody (secondary antibody)] to [fluorescent dye-accumulating particles].
  • “...” represents binding by antigen-antibody reaction, and there is no particular limitation on the binding mode shown by “ ⁇ ”, and examples thereof include covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, antigen-antibody bonding, Biotin avidin reaction, physical adsorption, chemical adsorption, etc. may be mentioned, and it may be through a linker molecule as required.
  • an antibody that specifically recognizes and binds a target biological substance as an antigen is used.
  • a target biological substance an anti-HER2 antibody is used
  • HER3 a target biological substance
  • an anti-HER3 antibody is used.
  • an antibody that specifically recognizes and binds to the primary antibody as an antigen is used.
  • the type of animal producing the antibody is not particularly limited, and is selected from mice, rats, guinea pigs, rabbits, goats, sheep and the like as in the prior art.
  • tissue sample according to the present invention may be any tissue sample obtained by needle biopsy.
  • Specimen preparation step (4.1.1) Deparaffinization treatment
  • a section is immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, xylene may be replaced during immersion.
  • the sections are then immersed in a container containing ethanol to remove xylene.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, ethanol may be replaced during immersion.
  • the sections are then immersed in a water container to remove ethanol.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. Also, water may be exchanged during immersion if necessary.
  • activation treatment of the target biological material is performed.
  • the activation conditions are not particularly limited, as an activation solution, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer A liquid etc. can be used.
  • the pH condition is such that the signal is output from the range of pH 2.0 to 13.0 depending on the tissue section to be used, and the condition that roughening of the tissue can be evaluated. Usually, it is performed at pH 6.0 to 8.0, but in special tissue sections, for example, pH 3.0 is also performed.
  • the heating apparatus can use an autoclave, a microwave, a pressure cooker, a water bath etc.
  • the temperature is not particularly limited, and the temperature may be 50 to 130 ° C., and the time may be 5 to 30 minutes. It can also be performed at room temperature. Then, the section after activation treatment is immersed in a container containing PBS and washed.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, the PBS may be replaced during immersion.
  • (4.2) Immunostaining step a solution of an immunostaining agent containing fluorescent dye-accumulating particles having a site capable of binding directly or indirectly to a target biological substance in order to stain the target biological substance Place on a section and react with the target biological material.
  • the solution of the immunostaining agent used in the immunostaining step may be prepared in advance prior to this step.
  • the conditions for performing the immunostaining step that is, the temperature and immersion time for immersing the tissue specimen in the immunostaining agent solution, are appropriately adjusted to obtain an appropriate signal according to the conventional immunostaining method.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the reaction time is preferably 30 minutes or more and 24 hours or less. It is preferable to drip a known blocking agent such as BSA-containing PBS or a surfactant such as Tween 20 before performing the treatment as described above.
  • the immobilization / dehydration treatment may be performed by immersing the tissue specimen in a fixation treatment solution (formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol, methanol, or other crosslinking agent).
  • a fixation treatment solution such as formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol, methanol, or other crosslinking agent.
  • a tissue sample which has been fixed and dehydrated may be immersed in a clearing solution (such as xylene).
  • a clearing solution such as xylene
  • the tissue sample after the clearing process may be immersed in the sealing solution.
  • the conditions for performing these treatments for example, the temperature and immersion time for immersing the tissue specimen in a predetermined treatment solution, may be appropriately adjusted to obtain an appropriate signal according to the conventional immunostaining method. it can.
  • Morphological observation staining step Aside from the immuno staining step, morphological observation staining is performed to facilitate observation of the morphology of cells, tissues, organs and the like in the bright field.
  • the morphological observation staining step can be performed according to any known method, and may be performed either before or after the immuno staining step.
  • staining with eosin in which cytoplasm, stroma, various fibers, red blood cells, and keratinocytes are stained in red to dark red is generally used.
  • Hematoxylin and Eosin staining is a method of performing these two staining simultaneously (Known as HE staining).
  • the concentration of the target biological substance is quantified from cultured cells used as a standard preparation.
  • the target biological substance can be quantified by any known method such as ELISA, flow cytometry, western blot, etc., and the concentration of the target biological substance per cell can be calculated.
  • the target biological substance can be quantified from cells dissolved in a predetermined solution, and according to flow cytometry, a laser is applied to cells dispersed in a predetermined solution. By performing light scattering or fluorescence measurement using light, it is possible to detect or quantify biomolecules per cell.
  • cultured cells of the same lot which have the same quality as the cultured cells for which the target biological substance has been quantified, are selected as standard specimens.
  • the number of types of standard samples to be selected is arbitrary, in order to create a standard curve based on the measurement results of the standard samples to obtain high quantitative results of the system, there are a plurality of target It is preferred to use different types of standard specimens.
  • Cultured cells are subjected to immunostaining and morphological observation staining under the same conditions as staining of tissue sections to obtain standard preparations.
  • Staining under the same conditions means that, for example, one operator performs staining using the staining reagent of the same lot, and that the time and temperature and humidity of each process in staining are substantially constant. . It is preferable to allow one operator to carry out the staining operation of the standard specimen and the tissue specimen sequentially and in parallel using the staining reagent of the same lot, since the staining conditions can be easily made the same.
  • a fluorochrome-accumulated particle scattering preparation used to calculate the average luminance value per fluorochrome-accumulated particle will be described.
  • the process of preparing the fluorescent dye-accumulating particle scattering preparation will be specifically described.
  • the fluorescent dye-accumulating particle scattering preparation of the present invention is optional as long as the fluorescent dye-accumulating particles described above are dispersed so as not to aggregate. is there.
  • the particle density in the fluorescent dye integrated particle dispersion preparation is preferably 10 6 particles / mm 2 or less.
  • the standard sample and the scattered fluorescent dye-accumulating particles may be prepared on the same slide as a control slide. In this case, the operation of replacing the slide can be omitted, which is efficient.
  • a control slide prepared on the same slide is used for analysis.
  • an operator stains a tissue specimen and a standard specimen using a hematoxylin staining reagent and a staining reagent using fluorescent dye-accumulating particles that bind to a target biological substance. Further, a control slide is prepared in which fluorescent dye-accumulating particles produced in the same manner as fluorescent dye-accumulating particles used for staining of tissue specimens and standard specimens are dispersed on the same slide glass as the standard specimen.
  • a bright field image (first bright field image) and a fluorescence image (first fluorescence image) of a tissue specimen, a bright field image (second bright field image) of a standard specimen and a fluorescence image A (second fluorescence image) and a fluorescence image (third fluorescence image) of the dispersed fluorescent dye accumulated particles (hereinafter referred to as scatter particles) are acquired, and data of each image is transmitted to the image processing apparatus 2A.
  • FIG. 3 shows a flowchart of image analysis processing in the image processing apparatus 2A.
  • the image analysis process shown in FIG. 3 is executed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • the first bright-field image from the microscope image acquisition device 1A is input by the communication I / F 24 (step S301)
  • a first cell-nucleus image in which the region of cell nuclei is extracted from the first bright-field image is created (step S302).
  • extraction may be performed using any known method, and any region, not limited to the cell nucleus, may be extracted as a region of interest (ROI).
  • ROI region of interest
  • step S303 input step
  • the control unit 21 controls the bright spot area representing the light emission of the fluorescent dye integrated particles from the first fluorescence image.
  • the first bright spot area image from which the (bright spot portion) is extracted is created (step S304).
  • the control unit 21 calculates a first integrated luminance value for each bright spot area in the first bright spot area image (step S305: brightness calculation step).
  • the processing in steps S304 to S305 can be measured using a publicly known arbitrary method such as public analysis software ImageJ, all-bright-point automatic measurement software G-Count manufactured by G-Angstrom Corporation, and the like.
  • control unit 21 extracts the second cell nucleus image in which the region of cell nuclei is extracted from the second bright field image. It is created (step S307).
  • the control unit 21 causes the bright spot region (bright spot) to represent the emission of the fluorescent dye accumulated particles from the second fluorescence image A second bright spot area image obtained by extracting the part (a) is created (step S309).
  • the control unit 21 calculates a second integrated luminance value for each bright spot area in the second bright spot area image.
  • the control unit 21 controls the bright spot to represent the emission of the fluorescent dye accumulated particles from the third fluorescence image.
  • the third bright spot area image (FIG. 4B) from which the area (bright spot portion) is extracted is created (step S312), and the third luminance integrated value is calculated for each bright spot area (step S313).
  • a brightness distribution is generated by digitizing the brightness values at the X coordinate position and the Y coordinate position for each bright spot area, and this value is multiplied Is the third integrated value of luminance in the bright spot area.
  • the control unit 21 calculates an average luminance value per particle of the fluorescent dye accumulated particles (step S314: unit luminance value calculating step). Specifically, as shown in FIG. 5, a luminance distribution curve is created with the third luminance integration value of the bright spot area in the third bright spot area image as the horizontal axis and the frequency of the luminance integration value as the vertical axis. Based on this luminance distribution curve, for example, the third luminance integration value (the luminance integration value L of the peak of the luminance distribution curve) which is the mode value is calculated as the average luminance value. In addition, you may create not the luminance distribution curve but the histogram which shows the frequency of a 3rd luminance integration value.
  • the third luminance integrated value is calculated from 10000 or more bright spot areas, and the average luminance value is calculated based on the distribution.
  • the average luminance value is calculated based on the distribution.
  • fitting or interpolation be performed on the distribution of the third integrated luminance value, and the integrated luminance value of the peak of the fitting curve or the interpolated curve be the average luminance value.
  • the distribution of the third integrated luminance value of the present invention can be suitably fitted to, for example, a Gaussian curve, a quadratic curve, a Poisson distribution, a binomial distribution, and the like.
  • the control unit 21 controls the first brightness integrated value of each bright spot area of the first bright spot area image and the first brightness based on the average brightness value per fluorescent dye accumulated particle.
  • the number of fluorescent dye accumulated particles contained in each bright spot area of the point area image is calculated (step S315). Specifically, for example, the value obtained by dividing the first luminance integrated value of each bright spot area by the average luminance value is the number of fluorescent dye accumulated particles in each bright spot area.
  • the number of fluorescent dye accumulation particles calculated after the variation in luminance per fluorescent dye accumulation particle is corrected is obtained.
  • control unit 21 After completion of the processing in steps S302 and S315, the control unit 21 performs addition processing of the first cell nucleus image and the first bright spot area image (step S316), and the number of fluorescent dye accumulated particles per cell nucleus is calculated. (Step S317: temporary particle number calculation step).
  • control unit 21 controls the second brightness integrated value of each bright spot area of the second bright spot area image and the second brightness based on the average brightness value per fluorescent dye accumulated particle.
  • the number of fluorescent dye accumulated particles contained in each bright spot area of the point area image is calculated (step S318).
  • control unit 21 performs addition processing of the second cell nucleus image and the second region image (step S319), and the number of fluorescent dye-accumulated particles per cell nucleus is calculated (step S319). S320).
  • the control unit 21 calculates a particle number correction coefficient (correction coefficient) from the ratio of the number of fluorescent dye accumulated particles per cell nucleus in the standard sample obtained in step S320 to the number of reference fluorescent dye accumulated particles.
  • the reference number of fluorescent dye-accumulating particles is the number of fluorescent dye-accumulating particles bound per cell nucleus, which is predicted under the experimental conditions in the present embodiment. That is, since the number of fluorescent dye accumulated particles attached to the target biological material fluctuates depending on various conditions of the experimental site, the correction coefficient for correcting the number of fluorescent dye accumulated particles attached using the number of particles in the standard sample A more accurate value can be derived by calculating and correcting the number of fluorescent dye accumulated particles in a tissue sample.
  • the particle number correction coefficient can be expressed by a linear function.
  • the control unit 21 corrects the number of fluorescent dye accumulated particles per cell nucleus calculated in step S317 using the particle number correction coefficient calculated in step S321 (step S322). : Particle number correction step). Specifically, the value obtained by substituting the number of fluorescent dye accumulated particles per cell nucleus into the particle number correction coefficient is the number of fluorescent dye accumulated particles. By the process of step S322, the number of fluorescent dye-accumulated particles per cell nucleus is calculated, in which the variation in the number of cells attached is corrected.
  • the average luminance value as a unit luminance value is calculated from the distribution of the third integrated luminance value in the third fluorescent image, and the first integrated luminance value and the average luminance value are calculated.
  • the number of fluorescent dye accumulated particles per cell nucleus is calculated using this, and this is corrected using the second integrated luminance value. Therefore, the amount of expression of the target biological substance can be quantitatively analyzed accurately, without being affected by both the fluctuation in luminance per particle of the fluorescent dye-accumulating particle and the fluctuation in the number of attached fluorescent dye-accumulating particles to the target sample.
  • the number of fluorescent dye accumulated particles in each bright spot area of the first fluorescent image and the second fluorescent image is corrected by the average luminance value per one fluorescent dye accumulated particle in the third fluorescent image.
  • the exposure time at the time of acquisition of the first fluorescence image and the second fluorescence image is corrected based on the average luminance value per one fluorescent dye-accumulating particle, so that the luminance value is made constant for all the subsequent observations. It becomes possible to analyze while keeping it.
  • the configuration of ⁇ pathology diagnosis support system 100>, ⁇ acquisition of image from tissue specimen>, ⁇ acquisition of image from standard specimen>, and ⁇ preparation of fluorochrome-accumulated particle dispersion preparation> are the same as in the first embodiment. Therefore, the detailed description is omitted.
  • FIGS. 6 and 7 show flowcharts of image analysis processing in the image processing apparatus 2A.
  • the image analysis process shown in FIGS. 6 and 7 is performed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • FIG. 6 shows a flowchart according to the luminance value correction process
  • FIG. 7 shows a flowchart according to the particle number correction process.
  • the image analysis process according to the second embodiment includes a luminance value correction process and a particle number correction process.
  • the luminance value correction process shown in FIG. 6 is a process for determining the exposure time at the time of imaging of the first fluorescence image and the second fluorescence image using the microscope image acquisition device 1A.
  • the particle number correction process shown in FIG. 7 calculates and corrects the number of fluorescent dye-accumulated particles per cell nucleus in a tissue sample by calculating a particle number correction coefficient using a standard sample. It is a process.
  • step S601 When the third fluorescence image from the microscope image acquisition device 1A is input by the communication I / F 24 (step S601), the control unit 21 extracts the bright spot area representing the light emission of the fluorescent dye integrated particles from the third fluorescence image. A third bright spot area image is created (step S602), and a third luminance integration value is calculated for each bright spot area (step S603). Next, based on the distribution of the second integrated luminance value, the control unit 21 calculates an average luminance value per particle of the fluorescent dye accumulated particles (step S604: unit luminance value calculating step).
  • the control unit 21 determines the exposure time at the time of capturing the first fluorescence image and the second fluorescence image from the ratio of the average luminance value calculated in step S604 to the reference luminance value (step S605: exposure) Time calculation process).
  • the reference luminance value is a luminance value per fluorescent dye accumulated particle, which is predicted under predetermined imaging conditions including the exposure time. Since the brightness of the fluorescent dye accumulated particles can be varied according to the exposure time, the average brightness value per one fluorescent dye accumulated particle of the first fluorescent image and the second fluorescent image can be obtained by correcting the exposure time to the reference brightness. It can be aligned to the value.
  • the ratio of the reference luminance value to the average luminance value of the third fluorescence image is calculated, and the ratio is integrated to the exposure time under the imaging condition of the third fluorescence image to obtain the first fluorescence image and the third fluorescence image.
  • FIG. 7 shows a flowchart of the particle number correction process in the image processing apparatus 2A.
  • the particle number correction process shown in FIG. 7 is executed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • the first bright-field image from the microscope image acquisition device 1A is input by the communication I / F 24 (step S701)
  • a first cell-nucleus image in which the region of cell nuclei is extracted from the first bright-field image is created (step S702)
  • step S703 input step
  • the control unit 21 controls the bright spot area representing the emission of the fluorescent dye integrated particles from the first fluorescence image. Is extracted to create a first bright spot area image (step S704).
  • the control unit 21 calculates a first integrated luminance value of each bright spot area in the first bright spot area image (step S705: a brightness calculation process).
  • the control unit 21 determines the first bright spot area image from the first brightness integrated value of each bright spot area of the first bright spot area image and the reference brightness value per fluorescent dye accumulated particle.
  • the number of fluorescent dye accumulated particles contained in each of the bright spot areas of is calculated (step S706). Specifically, for example, the value obtained by dividing the first luminance integrated value of each bright spot area by the reference luminance value is the number of fluorescent dye accumulated particles in each bright spot area.
  • control unit 21 extracts the second cell nucleus image in which the cell nucleus region is extracted from the second bright field image. It is created (step S708).
  • the control unit 21 extracts the bright spot area representing the light emission of the fluorescent dye accumulated particles from the second fluorescence image. A second bright spot area image is created (step S710). Next, the control unit 21 calculates a second integrated luminance value of each bright spot area in the second bright spot area image (step S711).
  • control unit 21 determines the second bright spot area image from the second luminance integrated value of each bright spot area of the second bright spot area image and the reference brightness value per fluorescent dye accumulated particle.
  • the number of fluorescent dye accumulated particles contained in each of the bright spot areas of is calculated (step S 712).
  • steps S713 to S714 and steps S715 to S717 are the same as the processes of steps S316 to S317 and steps S319 to S321 in FIG. 3, respectively, and thus detailed description will be omitted.
  • the first fluorescence image and the second fluorescence image are compared based on the comparison of the average luminance value with the reference luminance value per fluorochrome accumulated particle predicted under a predetermined condition.
  • 2 includes an exposure time calculation step of calculating an exposure time at the time of imaging of a fluorescence image. Therefore, after the correction of the exposure time, since the tissue sample and the standard sample are imaged with the luminance value constantly fixed, it is not necessary to correct the luminance value each time, which is efficient.
  • the tissue specimen and the standard specimen are stained using a single fluorescent dye-accumulating particle for one target biological substance, but in the third embodiment, a plurality of them are used.
  • the target biological material is stained with two or more kinds of fluorescent dye-accumulating particles having different emission wavelengths.
  • the configuration of ⁇ pathology diagnosis support system 100>, ⁇ acquisition of image from tissue specimen>, ⁇ acquisition of image from standard specimen>, and ⁇ preparation of fluorochrome-accumulated particle dispersion preparation> are the same as in the first embodiment. Therefore, the detailed description is omitted.
  • FIGS. 8 and 9 show flowcharts of the image analysis process in the image processing apparatus 2A.
  • the image analysis process shown in FIGS. 8 and 9 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • FIG. 8 shows a flowchart related to the crosstalk removal processing
  • FIG. 9 shows a flowchart related to the luminance value / particle number correction processing.
  • the image analysis processing according to the second embodiment includes crosstalk removal processing and luminance value / particle number correction processing.
  • the crosstalk removal process according to the present embodiment aims to remove such noise. Further, the luminance value / particle number correction process according to the present embodiment corrects the luminance value and the number of fluorescent dye accumulated particles for each of the fluorescent dye accumulated particles after removing the crosstalk.
  • the tissue specimen and the standard specimen are subjected to multiple staining using three types of immunostaining agents having fluorescent dye-accumulating particles A, B and C having different emission wavelengths.
  • the color components of the fluorescent dye accumulating particles A, B and C can be extracted by the filters a, b and c, respectively.
  • the third fluorescent image Aa is a fluorescent image obtained by imaging the fluorescent dye-accumulating particles A by the filter a
  • the third fluorescent image Ab is a fluorescent image obtained by imaging the fluorescent dye integrated particles A by the filter b
  • a fluorescence image obtained by imaging the accumulated particles C with the filter c is referred to as a third fluorescence image Cc.
  • the average luminance value of the fluorescent dye accumulated particles A in the third fluorescent image Aa (Aa)
  • the average luminance value of the fluorescent dye accumulated particles A in the third fluorescent image Ab (Ab)
  • the average luminance value of the fluorescent dye accumulating particles C at Cc is denoted as (Cc).
  • the first fluorescence image (step S801: input step) and the second fluorescence image (step S802) from the microscope image acquisition device 1A are input by the communication I / F 24.
  • nine types of third fluorescent images Aa, Ab,... are captured from the microscope image acquisition device 1A by the communication I / F 24 using the filters a, b, c for each of the fluorescent dye accumulated particles A, B, C.
  • the Cc is input (step S 803).
  • control unit 21 creates a third bright spot area image in which the bright spot areas are extracted for all the third fluorescent images (step S804), and the third luminance integrated value of each bright spot area is It is calculated (step S805).
  • step S806 average luminance calculating step. That is, nine values of the average luminance values (Aa), (Ab),..., (Cc) are obtained by the process of step S806.
  • a crosstalk correction coefficient is calculated by the control unit 21 based on the ratio of the average luminance values obtained by imaging the same fluorescent dye accumulated particles with different filters (step S807).
  • the crosstalk correction coefficient can be expressed using a 3-row 3-row determinant having as components the average luminance values (Aa), (Ab),..., (Cc).
  • step S 808 crosstalk removal Process
  • the control unit 21 removes noise that has leaked through the filters that do not correspond to each of the fluorescent dye accumulated particles A, B, and C in the first fluorescence image (step S 808: crosstalk removal) Process). That is, by correcting the luminance value of the first fluorescence image using the crosstalk correction coefficient obtained in step S806, for example, the signal of the fluorescent dye accumulated particle A leaked through the filter b can be removed. .
  • step S808 the control unit 21 removes noise that has leaked through the filters that do not correspond to each of the fluorescent dye accumulated particles A, B, and C in the second fluorescence image (step S809).
  • the crosstalk removal process is completed by the process of step S809, and the process proceeds to the brightness value / particle number correction process shown in FIG.
  • step S901 When the first bright field image from the microscope image acquisition device 1A is input by the communication I / F 24 after starting the brightness value / particle number correction process of FIG. 9 (step S901), the region of cell nuclei from the first bright field image The first cell nucleus image from which the X.sup. Is extracted is created (step S902).
  • control unit 21 creates a first bright spot area image from the first fluorescent image (step S903).
  • control unit 21 calculates a first luminance integrated value of each bright spot area of each of the fluorescent dye accumulated particles A, B, and C in the first bright spot area image (step S904: brightness calculation step).
  • control unit 21 extracts the second cell nucleus image in which the cell nucleus region is extracted from the second bright field image. It is created (step S906).
  • control unit 21 creates a second bright spot area image in which the bright spot area representing the light emission of the fluorescent dye accumulated particle is extracted from the second fluorescent image (step S 907).
  • control unit 21 calculates a second integrated luminance value of each bright spot area in the second bright spot area image (step S 908).
  • the control unit 21 controls the first luminance integrated value of each bright spot area of the fluorescent dye accumulated particles A, B, and C in the first bright spot area image, and the fluorescent dye integrated particle 1 particle. From the average luminance values (Aa), (Bb) and (Cc) of the per unit, the fluorescent dye accumulation particles contained in the respective fluorescent spot areas of the fluorescent dye accumulation particles A, B and C in the first luminescent spot area image The number is calculated (step S909). That is, for example, for the fluorescent dye-accumulated particles A, the number of particles is calculated using the average luminance value (Aa) of the third fluorescent image Aa captured through the filter a.
  • control unit 21 After completion of the processes of steps S902 and S909, the control unit 21 performs an addition process of the first cell nucleus image and the first bright spot area image (step S910), and for each of the fluorescent dye accumulated particles A, B, and C, The number of fluorescent dye accumulated particles per cell nucleus is calculated (step S 911).
  • Step S912 temporary particle number calculation step).
  • the control unit 21 performs addition processing of the second cell nucleus image and the second bright spot area image (step S913), and for each of the fluorescent dye accumulated particles A, B, and C, The number of fluorescent dye accumulated particles per cell nucleus is calculated (step S914).
  • control unit 21 calculates a particle number correction coefficient from the ratio of the number of fluorescent dye accumulated particles per cell nucleus in the standard sample obtained in step S914 to the number of reference fluorescent dye accumulated particles (step S915).
  • the reference number of fluorescent dye accumulating particles is set for each of the fluorescent dye accumulating particles A, B and C, that is, the particle number correction coefficient is calculated for each of the fluorescent dye accumulating particles A, B and C.
  • control unit 21 uses the particle number correction coefficient calculated in step S915 to calculate the one-cell nucleus calculated in step S911 for each of the fluorescent dye accumulated particles A, B, and C.
  • the number of fluorescent dye accumulated particles per unit is corrected (step S916: particle number correction step).
  • step S916 particle number correction step.
  • step S916 the number of fluorescent dye accumulated particles per cell nucleus for each of the fluorescent dye accumulated particles A, B, C is calculated, in which the variation in the number of adhesion to cells is corrected.
  • the luminance value correction process is completed by the process of step S916, and the image analysis process is ended thereby.
  • the fluorescent dye-accumulating particles are dispersed without aggregation, and the fluorescent dye-accumulating agent is accumulated using the crosstalk correction coefficient calculated from the luminance ratio between the plurality of third fluorescent images imaged using each of the plurality of filters.
  • a cross-talk removal step is included to remove cross-talk imaged through filters where the particles do not correspond. Therefore, even when stained in multiple colors, quantitative analysis can be performed accurately without being affected by other fluorescent dye-accumulating particles.
  • the first and second integrated luminance values are integrated values of the luminance values of the pixels included in the area using the area where the fluorescent dye accumulated particles are present as the bright spot part.
  • 3rd luminance integral value was calculated and analyzed, it is not limited to this.
  • analysis may be performed with a pixel having a peak value of the luminance value at a fluorescent luminescent spot as a luminescent spot portion. That is, the peak value is detected as the first luminance value, the second luminance value, and the third luminance value from each fluorescence image, and the average value of the third luminance values in each bright spot region of the third fluorescence image is used as a unit luminance value. It is possible.
  • a non-volatile memory of a semiconductor or the like as a computer readable medium of the program according to the present invention has been disclosed, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • carrier wave carrier wave
  • the detailed configuration and the detailed operation of each device constituting the pathological diagnosis support system 100 can be appropriately changed without departing from the scope of the invention.
  • the present invention can be used for a biological material quantification method, an image processing apparatus, a pathological diagnosis support system, and a program.

Abstract

本発明の課題は、蛍光色素集積粒子1粒子当たりの輝度変動及び対象標本に対する蛍光色素集積粒子の付着数変動の両者の影響を受けることなく、生体物質を定量解析可能とすることである。蛍光色素集積粒子を用いて染色された対象標本における特定の生体物質の発現量を定量する生体物質定量方法において、対象標本を撮像して得られた第1蛍光画像を入力する入力工程、第1蛍光画像から輝点部を抽出し、輝点部の輝度値である第1輝度値を算出する輝度算出工程、第1輝度値、予め特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値である第2輝度値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値である第3輝度値の分布を用いて、第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出工程、を備える。

Description

生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
 本発明は、生体物質定量方法、画像処理装置、病理診断支援システム及びプログラムに関し、特に病理診断に用いられる画像処理に関する。
 病理診断において、組織切片で過剰発現をしている生体物質の発現量を定量することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。こうした生体物質の定量においては、組織切片内に設定した解析対象領域である関心領域内における特定の生体物質の発現量を解析することから、生体物質の定量及び関心領域の抽出を正確に行うことができる手法の開発が望まれている。
 従来、蛍光色素集積粒子を用いて特定タンパクを染色した組織標本を撮像した蛍光画像から蛍光輝点を抽出し、輝点数を計測することで生体物質の定量評価を行う方法が用いられている。しかしながら、蛍光画像上では一つの輝点に見えていても、実際には複数の蛍光色素集積粒子が集積している場合があり、単純に輝点数を計測するのみでは正確な定量は難しい。
 そこで、例えば特許文献1には、上記の方法と同様に蛍光画像から蛍光輝点を抽出し、蛍光色素集積粒子1粒子当たりの平均輝度値に基づいて、各輝点に含まれる粒子数を算出する方法が記載されている。特許文献1に記載の方法では、各輝点の輝度値を算出して、最頻値となる輝度値を蛍光色素集積粒子1粒子当たりの平均輝度値として用いている。
 しかし、輝度値は蛍光色素集積粒子1粒子ごとの輝度の違いや光源強度の違い、顕微鏡個体差、蛍光色素集積粒子作成条件の違い、対象となる組織切片等の染色条件の違い等によって変動するため、定量の精度を向上させるためにはこれらの要因による輝度変動を補正する必要がある。このような課題に対し、蛍光検出装置の感度校正を行う方法や(例えば、特許文献2参照)、励起光源の強度及び顕微鏡固有因子に関する標準化を行う方法(例えば、特許文献3参照)によって、輝度変動の補正が行われている。
国際公開2012/029342号 特開2004-157018号公報 特許第5593221号 国際公開2016/129061号
 一方で、対象標本に付着する蛍光色素集積粒子数は、蛍光色素集積粒子の表面修飾条件、対象となる組織切片等の染色条件や腑活化処理条件等の違いによって変動する。特許文献2及び特許文献3の方法では、このような付着数の変動には対応できない。
 そこで、例えば特許文献4には、タンパク質の発現量が明らかな培養細胞を標準標本として対象標本と同じ条件下で観察を行い、蛍光輝点数の違いから標準標本における生体物質の発現量を算出する方法が開示されている。これにより、染色条件等の変動要因に影響されることなく定量評価することができる。
 しかしながら、特許文献4の方法では、蛍光色素集積粒子1粒子当たりの輝度値が明らかではないため、例えば蛍光色素集積粒子の輝度が著しく低下する場合に、そもそも輝点を抽出することができないなど、標準標本における生体物質の発現量を算出することが困難となる。
 本発明は上記課題を鑑みてなされたものであり、蛍光色素集積粒子1粒子当たりの輝度変動及び対象標本に対する蛍光色素集積粒子の付着数変動の両者の影響を受けることなく、生体物質を定量解析可能な生体物質定量方法、画像処理装置、病理診断支援システム及びプログラムを提供することを目的とする。
 上記課題を解決するため、請求項1に記載の生体物質定量方法は、
 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量する生体物質定量方法において、
 前記対象標本を撮像して得られた第1蛍光画像を入力する入力工程と、
 前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値である第1輝度値を算出する輝度算出工程と、
 前記第1輝度値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値である第2輝度値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値である第3輝度値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出工程と、
 を備えることを特徴とする。
 請求項2に記載の発明は、請求項1に記載の生体物質定量方法において、
 前記輝点部は、前記蛍光色素集積粒子が存在する領域であり、
 前記第1輝度値は、第1蛍光画像において抽出された輝点部の輝度値の積算値である第1輝度積算値であり、
 前記第2輝度値は、第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値であり、
 前記第3輝度値は、第3蛍光画像において抽出された輝点部の輝度値の積算値である第3輝度積算値である
 ことを特徴とする。
 請求項3に記載の発明は、請求項2に記載の生体物質定量方法において、
 前記粒子数算出工程は、
 前記第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布から前記蛍光色素集積粒子1粒子当たりの単位輝度値を算出する単位輝度値算出工程と、
 前記第1輝度積算値及び前記単位輝度値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を算出する暫定粒子数算出工程と、
 前記第2輝度積算値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を補正する粒子数補正工程と、を含む
 ことを特徴とする。
 請求項4に記載の発明は、請求項2に記載の生体物質定量方法において、
 前記粒子数算出工程は、
 前記第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布から前記蛍光色素集積粒子1粒子当たりの単位輝度値を算出する単位輝度値算出工程と、
 前記単位輝度値と、所定の条件下で予測される前記蛍光色素集積粒子1粒子当たりの基準輝度値との比較に基づいて、前記第1蛍光画像及び前記第2蛍光画像の撮像時における露光時間を算出する露光時間算出工程と、
 前記第1輝度積算値及び前記基準輝度値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を算出する暫定粒子数算出工程と、
 前記第2輝度積算値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を補正する粒子数補正工程と、を含み、
 前記第1蛍光画像及び前記第2蛍光画像は、前記露光時間算出工程により算出された露光時間により撮影された画像である
 ことを特徴とする。
 請求項5に記載の発明は、請求項3又は4に記載の生体物質定量方法において、
 前記粒子数補正工程は、
 前記第2輝度積算値を用いて算出された前記第2蛍光画像における前記輝点部に結合する蛍光色素集積粒子数と、所定の条件下で予測される前記輝点部に結合する基準蛍光色素集積粒子数との比から算出される粒子数補正係数を用いて補正する
 ことを特徴とする。
 請求項6に記載の発明は、請求項3から5のいずれか一項に記載の生体物質定量方法において、
 前記単位輝度値算出工程は、
 最頻値となる第3輝度積算値を前記単位輝度値として算出することを特徴とする。
 請求項7に記載の発明は、請求項1から6のいずれか一項に記載の生体物質定量方法において、
 前記対象標本は、発光波長が異なり、各々の発光波長に対応する複数のフィルターを用いて撮像可能な複数種類の蛍光色素集積粒子を用いて染色され、
 一の蛍光色素集積粒子が凝集せずに散布され、前記複数のフィルターの各々を用いて撮像された複数の第3蛍光画像間の輝度比から算出されるクロストーク補正係数を用いて、当該蛍光色素集積粒子が対応しないフィルターを介して撮像されたクロストークを除去するクロストーク除去工程を含む
 ことを特徴とする。
 請求項8に記載の画像処理装置は、
 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量する画像処理装置において、
 前記対象標本を撮像して得られた第1蛍光画像を入力する入力手段と、
 前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値の積算値である第1輝度積算値を算出する輝度算出手段と、
 前記第1輝度積算値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段と、
 を備えることを特徴とする。
 請求項9に記載のプログラムは、
 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量するコンピューターを、
 前記対象標本を撮像して得られた第1蛍光画像を入力する入力手段、
 前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値の積算値である第1輝度積算値を算出する輝度算出手段、
 前記第1輝度積算値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段、
 として機能させる。
 請求項10に記載の病理診断支援システムは、
 請求項8に記載の画像処理装置と、
 前記第1蛍光画像、前記第2蛍光画像及び前記第3蛍光画像を取得する画像取得装置を備えることを特徴とする。
 本発明によれば、蛍光色素集積粒子1粒子当たりの輝度変動及び対象標本に対する蛍光色素集積粒子の付着数変動の両者の影響を受けることなく、生体物質を定量解析可能な生体物質定量方法、画像処理装置、病理診断支援システム及びプログラムを提供することができる。
本発明の生体物質定量方法を用いた病理診断支援システムのシステム構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 図2の制御部により実行される第1実施形態に係る画像解析処理を示すフローチャートである。 第3蛍光画像の一例を示す図である。 第3輝点領域画像の一例を示す図である。 輝度分布曲線の一例である。 図2の制御部により実行される第2実施形態に係る輝度値補正処理を示すフローチャートである。 図2の制御部により実行される第2実施形態に係る粒子数補正処理を示すフローチャートである。 図2の制御部により実行される第3実施形態に係るクロストーク除去処理を示すフローチャートである。 図2の制御部により実行される第3実施形態に係る輝度値・粒子数補正処理を示すフローチャートである。
[第1実施形態]
 以下、図面を参照して本発明を実施するための第1実施形態について説明するが、本発明はこれらに限定されない。
<病理診断支援システム100の構成>
 図1に、本発明の組織評価方法を用いた病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
 病理診断支援システム100は、図1に示すように、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3A等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。また、病理診断支援システム100は、顕微鏡画像取得装置1Aと画像処理装置2Aが一体に形成された装置でもよい。また、外部の任意の装置を用いて取得した画像をHDD、CD、DVD等のストレージを用いて画像処理装置に入力してもよい。
 顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得するものであって画像取得装置として機能する。
 顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
 画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像(明視野画像及び蛍光画像)を解析することにより、観察対象の組織標本における特定の生体物質の発現分布を算出する。
 画像処理装置2Aは、図2に示すように、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
 制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。例えば、制御部21は、記憶部25に記憶されているプログラムとの協働により画像解析処理を実行し、輝度算出工程、粒子数算出工程、単位輝度値算出工程、暫定粒子数算出工程、粒子数補正工程、露光時間算出工程、及びクロストーク除去工程を実行する手段としての機能を実現する。
 操作部22は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
 表示部23は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。本実施形態において、表示部23は、例えば、画像解析結果を出力するための出力手段として機能する。
 通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、入力工程を実行する手段として機能する。
 記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリー等で構成されている。記憶部25には、前述のように各種プログラムや各種データ等が記憶されている。
 その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
<組織標本からの画像の取得>
 ここで、本発明に係る、目的生体物質定量の対象となる組織標本(対象標本)の準備について、染色試薬及び染色方法も含めて詳細に説明する。
(1)目的生体物質
 本発明に係る組織標本は、目的生体物質を染色可能な蛍光色素集積粒子を含む染色試薬により染色されている。目的生体物質とは、組織切片に発現している生体物質、特にタンパク質(抗原)である。典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカーとして利用することができる生体物質(例えば、HER2タンパク質等)が挙げられる。
(2)蛍光色素集積粒子
 本発明に係る蛍光色素集積粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
 蛍光色素集積粒子の発光波長は、蛍光顕微鏡の撮像素子の感度域内であれば任意である。具体的には、発光波長が400~700nmであることが好ましい。
 蛍光色素集積粒子の平均粒径は特に限定されないが、粒径が大きいものは抗原にアクセスしにくく、粒径が小さく輝度値が低いものは発する蛍光がバックグラウンドノイズ(カメラのノイズや細胞の自家蛍光)に埋もれてしまうことから、20~200nm程度のものが好適である。
 また、粒径の変動係数が15%以下であることが好ましい。蛍光色素集積粒子の粒径のばらつきが小さいことにより、1粒子当たりの蛍光の輝度値がほぼ一定となるため定量精度が高まる。
 平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
 蛍光色素集積粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光色素がその中に内包されている及び/又はその表面に吸着している構造を有する、ナノサイズの粒子である。
 蛍光色素集積粒子としては、母体と蛍光色素とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
(2.1)母体
 母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂;スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、AS樹脂(アクリロニトリル-スチレン共重合体)、ASA樹脂(アクリロニトリル-スチレン-アクリル酸メチル共重合体)など、一般的に熱可塑性樹脂に分類される樹脂;ポリ乳酸等のその他の樹脂;多糖を例示することができる。
 母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
 特に、メラミン樹脂を母体として用いると、シリカ等を用いる場合に比べて粒径のバラつきを抑えることができるため、好適である。
(2.2)蛍光色素集積粒子
 蛍光色素集積粒子とは、蛍光色素が上記母体の中に内包されている、及び/又はその表面に吸着している構造を有する。
 蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
 蛍光色素としては、Alexa Fluor(登録商標、インビトロジェン社製)系色素分子、BODIPY(登録商標、インビトロジェン社製)系色素分子、Cy(登録商標、GEヘルスケア社製)系色素分子、HiLyte(登録商標、アナスペック社製)系色素分子、DyLight(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO(登録商標、ATTO-TEC社製)系色素分子、MFP(登録商標、Mobitec社製)系色素分子、CF(登録商標、Biotium社製)系色素分子、DY(登録商標、DYOMICS社製)系色素分子、CAL(登録商標、BioSearch Technologies社製)系色素分子などを用いることができる。
 なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(2.3)量子ドット集積粒子
 本発明においては、蛍光色素集積粒子として量子ドット集積粒子を用いてもよい。
 量子ドット集積粒子とは、量子ドットが上記母体の中に内包されている、および/またはその表面に吸着している構造を有する。
 量子ドットとしては、II-VI族化合物、III-V族化合物またはIV族元素を含有する半導体ナノ粒子が使用される。たとえば、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geなどが挙げられる。
 量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(3)染色試薬(抗体-蛍光色素集積粒子の結合体)
 染色試薬は、目的生体物質の1つに対して、蛍光色素集積粒子の1つが結合するように設計される。
 免疫染色に用いる染色試薬(免疫染色剤)の場合は、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光色素集積粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光色素集積粒子が直結している複合体を用いることもできる。
 免疫染色剤の一例として、[目的生体物質に対する一次抗体]…[一次抗体に対する抗体(二次抗体)]~[蛍光色素集積粒子]が挙げられる。
 “…”は抗原抗体反応により結合していることを表し、“~”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
 一次抗体としては、目的生体物質を抗原として特異的に認識して結合する抗体を用いる。例えば、HER2を目的生体物質とする場合は抗HER2抗体を、HER3を目的生体物質とする場合は抗HER3抗体を、それぞれ用いる。
 二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体を用いる。
 抗体を産生する動物(免疫動物)の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択する。
(4)組織標本の染色方法
 以下、組織標本の染色方法の一例について、パラフィン包埋された組織切片(以下、単に「切片」ともいう。)を染色する場合を例にとって説明するが、本発明に係る組織標本は、針生検により取得した標本等から任意のものを用いて良い。
(4.1)標本作製工程
(4.1.1)脱パラフィン処理
 キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
 次いで、エタノールを入れた容器に切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
 次いで、水を入れた容器に、切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
(4.1.2)賦活化処理
 公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mのクエン酸緩衝液(pH6.0)、1mMのEDTA溶液(pH8.0)、5%尿素、0.1Mのトリス塩酸緩衝液などを用いることができる。
 pH条件は用いる組織切片に応じてpH2.0~13.0の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はpH6.0~8.0で行うが、特殊な組織切片ではたとえばpH3.0でも行う。
 加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではなく、温度は50~130℃、時間は5~30分で行うことができる。室温で行うこともできる。
 次いで、PBSを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でPBSを交換してもよい。
(4.2)免疫染色工程
 免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光色素集積粒子を含む免疫染色剤の溶液を切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
 免疫染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
 温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
 上述したような処理を行う前に、BSA含有PBSなど公知のブロッキング剤やTween20などの界面活性剤を滴下することが好ましい。
(4.3)標本後処理工程
 免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
 固定化・脱水処理は、組織標本を固定処理液(ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤)に浸漬すればよい。透徹処理は、固定化・脱水処理を終えた組織標本を透徹液(キシレンなど)に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
 これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
(4.4)形態観察染色工程
 免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態の観察を容易にするための形態観察染色を行う。形態観察染色工程は、公知の任意の方法に従って行うことができ、免疫染色工程の前又は後の何れに行ってもよい。
 組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤~濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色~淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている(これら2つの染色を同時に行う方法はヘマトキシリン・エオジン染色(HE染色)として知られている)。
<標準標本からの画像の取得>
 次に、細胞へ付着する蛍光色素集積粒子数の補正に用いられる、標準標本の準備について説明する。
 以下、市販されているスライドガラス等の基材上に培養され、目的生体物質を発現する培養細胞を標準標本とする場合を例にとり説明する。
(1)目的生体物質の定量
 標準標本として用いる培養細胞から、目的生体物質の濃度を定量する。目的生体物質の定量は、例えばELISA、フローサイトメトリー、ウエスタンブロット等、周知の任意の方法により行うことができ、一細胞当たりの目的生体物質の濃度が算出可能である。なお、ELISA及びウエスタンブロットによれば、所定の溶液中に溶解した細胞から目的生体物質を定量可能であり、また、フローサイトメトリーによれば、所定の溶液中に分散させた細胞に対してレーザー光を用いて光散乱や蛍光測定を行うことにより、一細胞当たりの生体分子の検出や定量が可能である。
(2)標準標本の染色
 まず、目的生体物質を定量した培養細胞と均一な品質である同一ロットの培養細胞を標準標本として選択する。選択する標準標本の種類数は任意であるが、標準標本の計測結果に基づく検量線を作成して制度の高い定量結果を得るために、予め定量された目的生体物質濃度の差が大きな、複数種類の標準標本を用いることが好ましい。
 培養細胞に対して、組織切片の染色と同一条件下で免疫染色及び形態観察染色を行い、標準標本を得る。これらの染色方法は、組織切片の染色方法(上記(4.2)免疫染色工程、及び(4.4)形態観察染色工程)と同様であるため、詳細な説明は省略する。なお、同一条件で染色するとは、例えば、一人の操作者が、同じロットの染色試薬を用いて染色を行い、かつ、染色における各行程の所要時間、温度及び湿度がほぼ一定であることを示す。一人の操作者が、同じロットの染色試薬を用いて、標準標本及び組織標本の染色作業を並行して順次行うこととすれば、染色条件を容易に同一にすることができるため、好ましい。
<蛍光色素集積粒子散布プレパラートの作製>
 次に、蛍光色素集積粒子1粒子当たりの平均輝度値算出に用いられる蛍光色素集積粒子散布プレパラートについて説明する。
 以下、蛍光色素集積粒子散布プレパラートの作製工程を具体的に説明するが、本発明の蛍光色素集積粒子散布プレパラートは、上述した蛍光色素集積粒子が凝集しないように散布されたものであれば任意である。
[作製方法]
(1)任意の平均粒径(例えば150nm)の蛍光色素集積粒子を準備する。
(2)蛍光色素集積粒子をPBSで希釈して、濃度0.005nMの蛍光色素集積粒子液を作製する。
(3)スライドガラスを準備する。
(4)スライドガラス上に蛍光色素集積粒子液7.5uLを滴下して、滴下面積が直径5.0mmの円と同程度になるようにする。
(5)10分間静置する。
(6)純水を入れた300mLビーカーにスライドガラスを漬けて洗浄する。
(7)スライドガラスを染色かごに嵌め、流水で10分間洗浄する。
(8)染色かごを水から上げ、脱水のためにエタノール相を3相、キシレン置換のためにキシレン相を3相通す。
(9)スライドガラスをキシレン系封入剤(マリノール)で封入する。
 上記作製方法では、例えば蛍光色素集積粒子液の濃度を変更することにより、蛍光色素集積粒子の密度を制御することが可能である。蛍光色素集積粒子散布プレパラートにおける粒子密度は、好ましくは10個/mm以下である。
 なお、標準標本と散布蛍光色素集積粒子は、同一スライド上に作成して、コントロールスライドとしてもよい。この場合には、スライドを交換する作業を省くことができるため、効率的である。本実施形態では、両者を同一スライド上に作成したコントロールスライドを解析に用いるものとする。
<病理診断支援システム100の動作(画像処理方法を含む。)>
 以下、病理診断支援システム100において、上述した組織標本、標準標本及び蛍光色素集積粒子を散布させたコントロールスライドを撮影した蛍光画像及び明視野画像に基づく解析動作について説明するが、本発明の画像処理は、これに限定されるものではない。
 まず、操作者は、ヘマトキシリン染色試薬と、目的生体物質に結合する蛍光色素集積粒子を用いた染色試薬を用いて組織標本及び標準標本を染色する。さらに、組織標本及び標準標本の染色に用いた蛍光色素集積粒子と同様にして作製された蛍光色素集積粒子を、標準標本と同一のスライドガラス上に散布させたコントロールスライドを準備する。
 その後、顕微鏡画像取得装置1Aを用いて、組織標本の明視野画像(第1明視野画像)及び蛍光画像(第1蛍光画像)、標準標本の明視野画像(第2明視野画像)及び蛍光画像(第2蛍光画像)並びに散布された蛍光色素集積粒子(以降、散布粒子と表記)の蛍光画像(第3蛍光画像)を取得して、各画像のデータを画像処理装置2Aに送信する。
 図3に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図3に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
 通信I/F24により顕微鏡画像取得装置1Aからの第1明視野画像が入力されると(ステップS301)、第1明視野画像から細胞核の領域が抽出された第1細胞核画像が作成される(ステップS302)。ステップS302では、公知の任意の方法を用いて抽出することとしてよく、また、細胞核に限らず任意の領域を関心領域(ROI)として抽出してよい。
 通信I/F24により顕微鏡画像取得装置1Aからの第1蛍光画像が入力されると(ステップS303:入力工程)、制御部21により、第1蛍光画像から蛍光色素集積粒子の発光を表す輝点領域(輝点部)を抽出した第1輝点領域画像が作成される(ステップS304)。次いで、制御部21により、第1輝点領域画像における各輝点領域に対して、第1輝度積算値が算出される(ステップS305:輝度算出工程)。
 なお、ステップS304~S305の処理は、公開解析ソフトImageJ、株式会社ジーオングストローム社製の全輝点自動計測ソフトG-Count等、公知の任意の方法を用いて計測することができる。
 通信I/F24により顕微鏡画像取得装置1Aからの第2明視野画像が入力されると(ステップS306)、制御部21により、第2明視野画像から細胞核の領域が抽出された第2細胞核画像が作成される(ステップS307)。
 通信I/F24により顕微鏡画像取得装置1Aからの第2蛍光画像が入力されると(ステップS308)、制御部21により、第2蛍光画像から蛍光色素集積粒子の発光を表す輝点領域(輝点部)を抽出した第2輝点領域画像が作成される(ステップS309)。次いで、制御部21により、第2輝点領域画像における各輝点領域に対して、第2輝度積算値が算出される。
 通信I/F24により顕微鏡画像取得装置1Aからの第3蛍光画像(図4A)が入力されると(ステップS311)、制御部21により、第3蛍光画像から蛍光色素集積粒子の発光を表す輝点領域(輝点部)を抽出した第3輝点領域画像(図4B)が作成され(ステップS312)、各輝点領域に対して、第3輝度積算値が算出される(ステップS313)。
 具体的には、第3輝点領域画像が生成されると(図4B)、輝点領域ごとにX座標位置及びY座標位置における輝度値を数値化した輝度分布が作成され、この値を乗算したものが当該輝点領域における第3輝度積算値である。
 次いで、制御部21により、第3輝度積算値の分布に基づき、蛍光色素集積粒子1粒子当たりの平均輝度値が算出される(ステップS314:単位輝度値算出工程)。具体的には、図5に示すように、第3輝点領域画像における輝点領域の第3輝度積算値を横軸、輝度積算値の頻度を縦軸として輝度分布曲線が作成される。この輝度分布曲線に基づいて、例えば、最頻値となる第3輝度積算値(輝度分布曲線のピークの輝度積算値L)が平均輝度値として算出される。なお、輝度分布曲線ではなく、第3輝度積算値の頻度を示すヒストグラムを作成してもよい。
 算出される平均輝度値の精度を高める観点から、ステップS314(単位輝度値算出工程)では10000個以上の輝点領域から第3輝度積算値が算出され、その分布に基づいて平均輝度値が算出されることが好ましい。
 また、最頻値の算出においては、第3輝度積算値の分布に対してフィッティング又は補間を行い、フィッティング曲線または補間曲線のピークの輝度積算値を前記平均輝度値とすることが好ましい。本発明の第3輝度積算値の分布は、例えば、ガウス曲線、二次曲線、ポアソン分布、二項分布、等に好適にフィッティングさせることができる。
 ステップS305とステップS314の処理の終了後、制御部21により、第1輝点領域画像の各輝点領域の第1輝度積算値及び蛍光色素集積粒子1粒子当たりの平均輝度値から、第1輝点領域画像の各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS315)。具体的には、例えば、各輝点領域の第1輝度積算値を平均輝度値で除算して得られた値が、各輝点領域における蛍光色素集積粒子数である。ステップS315の処理により、一蛍光色素集積粒子あたりの輝度変動が補正されたうえで算出された、蛍光色素集積粒子の数が得られる。
 ステップS302及びS315の処理の終了後、制御部21により、第1細胞核画像と第1輝点領域画像の加算処理が行われ(ステップS316)、一細胞核当たりの蛍光色素集積粒子数が算出される(ステップS317:暫定粒子数算出工程)。
 ステップS310とステップS314の処理の終了後、制御部21により、第2輝点領域画像の各輝点領域の第2輝度積算値及び蛍光色素集積粒子1粒子当たりの平均輝度値から、第2輝点領域画像の各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS318)。
 ステップS307及びS318の処理の終了後、制御部21により、第2細胞核画像と第2領域画像の加算処理が行われ(ステップS319)、一細胞核当たりの蛍光色素集積粒子数が算出される(ステップS320)。
 続いて、制御部21により、ステップS320で得られた標準標本における一細胞核当たりの蛍光色素集積粒子数と、基準蛍光色素集積粒子数との比から、粒子数補正係数(補正係数)が算出される(ステップS321)。ここで基準蛍光色素集積粒子数とは、本実施形態における実験条件下において予測される、一細胞核あたりに結合する蛍光色素集積粒子の数である。即ち、目的生体物質に付着する蛍光色素集積粒子の数は、実験場の種々の条件によって変動するため、標準標本における粒子数を用いて付着する蛍光色素集積粒子数を補正するための補正係数を算出し、これによって組織標本における蛍光色素集積粒子数を補正することで、より正確な値を導くことが可能となる。なお、粒子数補正係数は、一次関数で表すことができる。
 ステップS317及びS321の処理の終了後、制御部21により、ステップS321で算出された粒子数補正係数を用いて、ステップS317で算出された一細胞核あたりの蛍光色素集積粒子数を補正する(ステップS322:粒子数補正工程)。具体的には、一細胞核あたりの蛍光色素集積粒子数を粒子数補正係数に代入した値が蛍光色素集積粒子数である。ステップS322の処理により、細胞への付着数の変動を補正した、一細胞核当たりの蛍光色素集積粒子数が算出される。
 以上説明した本発明の第1実施形態によれば、第3蛍光画像における第3輝度積算値の分布から、単位輝度値としての平均輝度値を算出し、第1輝度積算値と平均輝度値を用いて、一細胞核あたりの蛍光色素集積粒子数を算出し、これを、第2輝度積算値を用いて補正する。したがって、蛍光色素集積粒子1粒子当たりの輝度変動、及び対象標本に対する蛍光色素集積粒子の付着数変動の両者の影響を受けることなく、目的生体物質の発現量を精度よく定量解析することができる。
[第2実施形態]
 以下、図面を参照して本発明を実施するための第2実施形態について説明するが、本発明はこれらに限定されない。
 第1の実施形態においては、第3蛍光画像における一蛍光色素集積粒子当たりの平均輝度値によって、第1蛍光画像及び第2蛍光画像の各輝点領域の蛍光色素集積粒子数を補正したが、本実施形態では、一蛍光色素集積粒子当たりの平均輝度値に基づいて第1蛍光画像及び第2蛍光画像の取得時における露光時間を補正することによって、以降の観察を、すべて輝度値を一定に保ったまま解析を行うことが可能となる。
 <病理診断支援システム100の構成>、<組織標本からの画像の取得>、<標準標本からの画像の取得>及び<蛍光色素集積粒子散布プレパラートの作製>については第1実施形態と同様であるため、その詳細な説明は省略する。
<病理診断支援システム100の動作(画像処理方法を含む。)>
 以下、病理診断支援システム100において、組織標本、標準標本、及び散布粒子を撮影した蛍光画像及び明視野画像に基づく解析動作について説明するが、本発明の画像処理は、これに限定されるものではない。
 図6及び図7に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図6及び図7に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。図6に輝度値補正処理に係るフローチャートを、図7に粒子数補正処理に係るフローチャートを示す。
 第2実施形態に係る画像解析処理は、輝度値補正処理と粒子数補正処理とからなる。図6に示す輝度値補正処理は、顕微鏡画像取得装置1Aを用いた第1蛍光画像及び第2蛍光画像の撮像時における露光時間を決定するための処理である。図7に示す粒子数補正処理は、第1実施形態と同様に、標準標本を用いて粒子数補正係数を算出することにより、組織標本における一細胞核あたりの蛍光色素集積粒子数を算出・補正する処理である。
 通信I/F24により顕微鏡画像取得装置1Aからの第3蛍光画像が入力されると(ステップS601)、制御部21により、第3蛍光画像から蛍光色素集積粒子の発光を表す輝点領域を抽出した第3輝点領域画像が作成され(ステップS602)、各輝点領域に対して第3輝度積算値が算出される(ステップS603)。次いで、制御部21により、第2輝度積算値の分布に基づき、蛍光色素集積粒子1粒子当たりの平均輝度値が算出される(ステップS604:単位輝度値算出工程)。
 続いて、制御部21により、ステップS604において算出された平均輝度値と基準輝度値との比から、第1蛍光画像及び第2蛍光画像の撮像時における露光時間が決定される(ステップS605:露光時間算出工程)。ここで、基準輝度値とは、露光時間を含む所定の撮像条件下において予測される、一蛍光色素集積粒子当たりの輝度値である。露光時間に応じて蛍光色素集積粒子の輝度を変動可能であることから、露光時間を補正することによって第1蛍光画像及び第2蛍光画像の一蛍光色素集積粒子当たりの平均輝度値を、基準輝度値に揃えることができる。
 具体的には、例えば、第3蛍光画像の平均輝度値に対する基準輝度値の比を算出し、これを第3蛍光画像の撮像条件下における露光時間に積算することで、第1蛍光画像及び第2蛍光画像の撮像時における露光時間を算出することができる。
 図7に、画像処理装置2Aにおける粒子数補正処理のフローチャートを示す。図7に示す粒子数補正処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
 通信I/F24により顕微鏡画像取得装置1Aからの第1明視野画像が入力されると(ステップS701)、第1明視野画像から細胞核の領域が抽出された第1細胞核画像が作成される(ステップS702)
 通信I/F24により顕微鏡画像取得装置1Aからの第1蛍光画像が入力されると(ステップS703:入力工程)、制御部21により、第1蛍光画像から蛍光色素集積粒子の発光を表す輝点領域を抽出した第1輝点領域画像が作成される(ステップS704)。次いで、制御部21により、第1輝点領域画像における各輝点領域の第1輝度積算値が算出される(ステップS705:輝度算出工程)。
 ステップS705の処理の終了後、制御部21により、第1輝点領域画像の各輝点領域の第1輝度積算値及び蛍光色素集積粒子1粒子当たりの基準輝度値から、第1輝点領域画像の各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS706)。具体的には、例えば、各輝点領域の第1輝度積算値を基準輝度値で除算して得られた値が、各輝点領域における蛍光色素集積粒子数である。
 通信I/F24により顕微鏡画像取得装置1Aからの第2明視野画像が入力されると(ステップS707)、制御部21により、第2明視野画像から細胞核の領域が抽出された第2細胞核画像が作成される(ステップS708)。
 通信I/F24により顕微鏡画像取得装置1Aからの第2蛍光画像が入力されると(ステップS709)、制御部21により、第2蛍光画像から蛍光色素集積粒子の発光を表す輝点領域を抽出した第2輝点領域画像が作成される(ステップS710)。次いで、制御部21により、第2輝点領域画像における各輝点領域の第2輝度積算値が算出される(ステップS711)。
 ステップS711の処理の終了後、制御部21により、第2輝点領域画像の各輝点領域の第2輝度積算値及び蛍光色素集積粒子1粒子当たりの基準輝度値から、第2輝点領域画像の各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS712)。
 ステップS713~S714及びステップS715~S717の処理は、それぞれ図3におけるステップS316~S317及びステップS319~S321の処理と同様であるため、詳細な説明は省略する。
 以上説明した本発明の第2実施形態においては、平均輝度値と、所定の条件下で予測される蛍光色素集積粒子1粒子当たりの基準輝度値との比較に基づいて、第1蛍光画像及び第2蛍光画像の撮像時における露光時間を算出する露光時間算出工程を含む。したがって、露光時間の補正後は、常に輝度値を一定にした状態で組織標本及び標準標本を撮像するため、その都度輝度値を補正する必要がなく、効率的である。
[第3実施形態]
 以下、図面を参照して本発明を実施するための第3実施形態について説明するが、本発明はこれらに限定されない。
 第1実施形態及び第2実施形態では、一の目的生体物質に対して単一の蛍光色素集積粒子を用いて組織標本及び標準標本を染色するものとしたが、第3実施形態においては、複数の目的生体物質に対して、発光波長が互いに異なる二種以上の蛍光色素集積粒子を用いて、各々の目的生体物質の染色を行う。
 <病理診断支援システム100の構成>、<組織標本からの画像の取得>、<標準標本からの画像の取得>及び<蛍光色素集積粒子散布プレパラートの作製>については第1実施形態と同様であるため、その詳細な説明は省略する。
<病理診断支援システム100の動作(画像処理方法を含む。)>
 以下、病理診断支援システム100において、組織標本、標準標本、及び散布粒子を撮影した蛍光画像及び明視野画像に基づく解析動作について説明するが、本発明の画像処理は、これに限定されるものではない。
 図8及び図9に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図8及び図9に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。図8にクロストーク除去処理に係るフローチャートを、図9に輝度値・粒子数補正処理に係るフローチャートを示す。
 第2実施形態に係る画像解析処理は、クロストーク除去処理と輝度値・粒子数補正処理とからなる。蛍光波長の異なる複数の蛍光物質で組織切片を染色する場合、特定の色の輝点を対象とした解析を行う際に他色の蛍光物質のシグナルが漏れこんでしまう、所謂クロストークという現象が生じる。本実施形態に係るクロストーク除去処理は、このようなノイズを除去することを目的とする。また、本実施形態に係る輝度値・粒子数補正処理は、クロストークを除去したうえで蛍光色素集積粒子ごとに輝度値及び蛍光色素集積粒子数を補正するものである。
 なお、以下のフローチャートにおいては、発光波長が互いに異なる蛍光色素集積粒子A,B,Cのそれぞれを有する三種類の免疫染色剤を用いて組織標本及び標準標本を多重染色するものとし、蛍光色素集積粒子A,B,Cの各々で散布したコントロールスライドを用意する。また、蛍光色素集積粒子A,B,Cの色成分はそれぞれフィルターa,b,cによって抽出可能なものとする。
 また、以降は蛍光色素集積粒子Aをフィルターaによって撮像した蛍光画像を第3蛍光画像Aa、蛍光色素集積粒子Aをフィルターbによって撮像した蛍光画像を第3蛍光画像Ab、・・・、蛍光色素集積粒子Cをフィルターcによって撮像した蛍光画像を第3蛍光画像Ccと表記する。また、第3蛍光画像Aaにおける蛍光色素集積粒子Aの平均輝度値を(Aa)、第3蛍光画像Abにおける蛍光色素集積粒子Aの平均輝度値を(Ab)、・・・、第3蛍光画像Ccにおける蛍光色素集積粒子Cの平均輝度値を(Cc)と表記する。
 図8のクロストーク除去処理を開始すると、通信I/F24により顕微鏡画像取得装置1Aからの第1蛍光画像(ステップS801:入力工程)、第2蛍光画像(ステップS802)が入力される。続いて、通信I/F24により顕微鏡画像取得装置1Aから、蛍光色素集積粒子A,B,Cのそれぞれをフィルターa,b,cを用いて撮像した9種類の第3蛍光画像Aa,Ab,・・・,Ccが入力される(ステップS803)。
 ステップS803の処理の後、制御部21により、全ての第3蛍光画像について輝点領域を抽出した第3輝点領域画像が作成され(ステップS804)、各輝点領域の第3輝度積算値が算出される(ステップS805)。
 次いで、制御部21により、第3輝度積算値の分布に基づき、各第3蛍光画像について蛍光色素集積粒子1粒子当たりの平均輝度値が算出される(ステップS806:平均輝度算出工程)。即ち、ステップS806の処理により、平均輝度値(Aa),(Ab),・・・,(Cc)の9つの値が得られる。
 次いで、制御部21により、同一の蛍光色素集積粒子について異なるフィルターで撮像して得られた平均輝度値の比に基づいて、クロストーク補正係数を算出する(ステップS807)。具体的には、クロストーク補正係数は、平均輝度値(Aa),(Ab),・・・,(Cc)を成分とする3行3列の行列式を用いて表すことができる。
 ステップS807の処理の後、制御部21により、第1蛍光画像について、蛍光色素集積粒子A,B,Cのそれぞれに対応しないフィルターを介して漏れこんだノイズを除去する(ステップS808:クロストーク除去工程)。即ち、ステップS806で得られたクロストーク補正係数を用いて第1蛍光画像の輝度値を補正することで、例えばフィルターbを介して漏れこんだ蛍光色素集積粒子Aのシグナルを除去することができる。
 次いで、ステップS808と同様に、制御部21により第2蛍光画像について、蛍光色素集積粒子A,B,Cのそれぞれに対応しないフィルターを介して漏れこんだノイズを除去する(ステップS809)。
 ステップS809の処理によってクロストーク除去処理が完了し、続いて図9に示す輝度値・粒子数補正処理へと移行する。
 図9の輝度値・粒子数補正処理を開始し、通信I/F24により顕微鏡画像取得装置1Aからの第1明視野画像が入力されると(ステップS901)、第1明視野画像から細胞核の領域が抽出された第1細胞核画像が作成される(ステップS902)。
 続いて、制御部21により、第1蛍光画像から第1輝点領域画像が作成される(ステップS903)。次いで、制御部21により、第1輝点領域画像における蛍光色素集積粒子A,B,Cのそれぞれの各輝点領域の第1輝度積算値が算出される(ステップS904:輝度算出工程)。
 通信I/F24により顕微鏡画像取得装置1Aからの第2明視野画像が入力されると(ステップS905)、制御部21により、第2明視野画像から細胞核の領域が抽出された第2細胞核画像が作成される(ステップS906)。
 続いて、制御部21により、第2蛍光画像から蛍光色素集積粒子の発光を表す輝点領域を抽出した第2輝点領域画像が作成される(ステップS907)。次いで、制御部21により、第2輝点領域画像における各輝点領域の第2輝度積算値が算出される(ステップS908)。
 ステップS904の処理の終了後、制御部21により、第1輝点領域画像における蛍光色素集積粒子A,B,Cのそれぞれの各輝点領域の第1輝度積算値と、蛍光色素集積粒子1粒子当たりの平均輝度値(Aa),(Bb)及び(Cc)とから、第1輝点領域画像における蛍光色素集積粒子A,B,Cのそれぞれの各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS909)。即ち、例えば蛍光色素集積粒子Aについては、フィルターaを介して撮像された第3蛍光画像Aaの平均輝度値(Aa)を用いて粒子数が算出される。
 ステップS902及びS909の処理の終了後、制御部21により、第1細胞核画像と第1輝点領域画像の加算処理が行われ(ステップS910)、蛍光色素集積粒子A,B,Cのそれぞれについて、一細胞核当たりの蛍光色素集積粒子数が算出される(ステップS911)。
 ステップS908の処理の終了後、制御部21により、同様にして第2輝点領域画像における蛍光色素集積粒子A,B,Cのそれぞれの各輝点領域に含まれる蛍光色素集積粒子の数が算出される(ステップS912:暫定粒子数算出工程)。
 ステップS906及びS912の処理の終了後、制御部21により、第2細胞核画像と第2輝点領域画像の加算処理が行われ(ステップS913)、蛍光色素集積粒子A,B,Cのそれぞれについて、一細胞核当たりの蛍光色素集積粒子数が算出される(ステップS914)。
 続いて、制御部21により、ステップS914で得られた標準標本における一細胞核当たりの蛍光色素集積粒子数と、基準蛍光色素集積粒子数との比から、粒子数補正係数が算出される(ステップS915)。ここで、基準蛍光色素集積粒子数は蛍光色素集積粒子A,B,Cそれぞれについて設定されており、即ち蛍光色素集積粒子A,B,Cごとに粒子数補正係数が算出される。
 ステップS911及びS915の処理の終了後、制御部21により、ステップS915で算出された粒子数補正係数を用いて、蛍光色素集積粒子A,B,Cのそれぞれについて、ステップS911で算出された一細胞核あたりの蛍光色素集積粒子数を補正する(ステップS916:粒子数補正工程)。ステップS916の処理により、細胞への付着数の変動を補正した、蛍光色素集積粒子A,B,Cごとの一細胞核当たりの蛍光色素集積粒子数が算出される。
 ステップS916の処理によって輝度値補正処理が完了し、これにより画像解析処理を終了する。
 以上説明した本発明の第3実施形態においては、発光波長が異なり、各々の発光波長に対応する複数のフィルターを用いて撮像可能な複数種類の蛍光色素集積粒子を用いて染色された場合、一の蛍光色素集積粒子が凝集せずに散布され、複数のフィルターの各々を用いて撮像された複数の第3蛍光画像間の輝度比から算出されるクロストーク補正係数を用いて、当該蛍光色素集積粒子が対応しないフィルターを介して撮像されたクロストークを除去するクロストーク除去工程を含む。したがって、多色で染色した場合にも、他の蛍光色素集積粒子の影響を受けることなく精度よく定量解析を行うことができる。
 なお、本実施形態においても第2実施形態と同様に、第3蛍光画像に基づいて露光時間を補正することももちろん可能である。
[他の実施形態]
 なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
 例えば、上記実施形態おいては、輝点部として蛍光色素集積粒子が存在する領域を用いて、当該領域に含まれる画素の輝度値の積算値である第1輝度積算値、第2輝度積算値及び第3輝度積算値を算出して解析を行うものとしたが、これに限定されない。例えば、蛍光輝点における輝度値のピーク値を有する画素を輝点部として解析を行ってもよい。即ち、各蛍光画像からピーク値を第1輝度値、第2輝度値及び第3輝度値として検出し、第3蛍光画像の各輝点領域における第3輝度値の平均値を単位輝度値とすることが可能である。
 また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
 その他、病理診断支援システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
 本発明は、生体物質定量方法、画像処理装置、病理診断支援システム及びプログラムに利用できる。
1A 顕微鏡画像取得装置(画像取得装置)
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
100 病理診断支援システム

Claims (10)

  1.  特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量する生体物質定量方法において、
     前記対象標本を撮像して得られた第1蛍光画像を入力する入力工程と、
     前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値である第1輝度値を算出する輝度算出工程と、
     前記第1輝度値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値である第2輝度値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値である第3輝度値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出工程と、
     を備える生体物質定量方法。
  2.  前記輝点部は、前記蛍光色素集積粒子が存在する領域であり、
     前記第1輝度値は、第1蛍光画像において抽出された輝点部の輝度値の積算値である第1輝度積算値であり、
     前記第2輝度値は、第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値であり、
     前記第3輝度値は、第3蛍光画像において抽出された輝点部の輝度値の積算値である第3輝度積算値である
     請求項1に記載の生体物質定量方法。
  3.  前記粒子数算出工程は、
     前記第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布から前記蛍光色素集積粒子1粒子当たりの単位輝度値を算出する単位輝度値算出工程と、
     前記第1輝度積算値及び前記単位輝度値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を算出する暫定粒子数算出工程と、
     前記第2輝度積算値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を補正する粒子数補正工程と、を含む
     請求項2に記載の生体物質定量方法。
  4.  前記粒子数算出工程は、
     前記第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布から前記蛍光色素集積粒子1粒子当たりの単位輝度値を算出する単位輝度値算出工程と、
     前記単位輝度値と、所定の条件下で予測される前記蛍光色素集積粒子1粒子当たりの基準輝度値との比較に基づいて、前記第1蛍光画像及び前記第2蛍光画像の撮像時における露光時間を算出する露光時間算出工程と、
     前記第1輝度積算値及び前記基準輝度値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を算出する暫定粒子数算出工程と、
     前記第2輝度積算値を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の暫定数を補正する粒子数補正工程と、を含み、
     前記第1蛍光画像及び前記第2蛍光画像は、前記露光時間算出工程により算出された露光時間により撮影された画像である
     請求項2に記載の生体物質定量方法。
  5.  前記粒子数補正工程は、
     前記第2輝度積算値を用いて算出された前記第2蛍光画像における前記輝点部に結合する蛍光色素集積粒子数と、所定の条件下で予測される前記輝点部に結合する基準蛍光色素集積粒子数との比から算出される粒子数補正係数を用いて補正する
     請求項3又は4に記載の生体物質定量方法。
  6.  前記単位輝度値算出工程は、
     最頻値となる第3輝度積算値を前記単位輝度値として算出する請求項3から5のいずれか一項に記載の生体物質定量方法。
  7.  前記対象標本は、発光波長が異なり、各々の発光波長に対応する複数のフィルターを用いて撮像可能な複数種類の蛍光色素集積粒子を用いて染色され、
     一の蛍光色素集積粒子が凝集せずに散布され、前記複数のフィルターの各々を用いて撮像された複数の第3蛍光画像間の輝度比から算出されるクロストーク補正係数を用いて、当該蛍光色素集積粒子が対応しないフィルターを介して撮像されたクロストークを除去するクロストーク除去工程を含む
     請求項1から6のいずれか一項に記載の生体物質定量方法。
  8.  特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量する画像処理装置において、
     前記対象標本を撮像して得られた第1蛍光画像を入力する入力手段と、
     前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値の積算値である第1輝度積算値を算出する輝度算出手段と、
     前記第1輝度積算値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段と、
     を備える画像処理装置。
  9.  特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された対象標本における、前記特定の生体物質の発現量を定量するコンピューターを、
     前記対象標本を撮像して得られた第1蛍光画像を入力する入力手段、
     前記第1蛍光画像から輝点部を抽出し、前記輝点部の輝度値の積算値である第1輝度積算値を算出する輝度算出手段、
     前記第1輝度積算値、予め前記特定の生体物質の発現量が計測された標準標本を撮像して得られた第2蛍光画像において抽出された輝点部の輝度値の積算値である第2輝度積算値、及び蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第3蛍光画像において蛍光色素集積粒子の発光を表す輝点部毎の輝度値を積算した第3輝度積算値の分布を用いて、前記第1蛍光画像において抽出された輝点部に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段、
     として機能させるためのプログラム。
  10.  請求項8に記載の画像処理装置と、
     前記第1蛍光画像、前記第2蛍光画像及び前記第3蛍光画像を取得する画像取得装置を備える病理診断支援システム。
PCT/JP2018/038581 2017-10-19 2018-10-17 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム WO2019078230A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/754,801 US11600020B2 (en) 2017-10-19 2018-10-17 Biological substance quantification method, image processing device, pathological diagnosis support system, and recording medium storing computer readable program
JP2019549306A JP7184046B2 (ja) 2017-10-19 2018-10-17 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
EP18868433.6A EP3699588A4 (en) 2017-10-19 2018-10-17 METHOD OF MEASURING THE QUANTITY OF BIOMATERIAL, IMAGE PROCESSING DEVICE, SYSTEM TO SUPPORT PATHOLOGY DIAGNOSIS AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-202249 2017-10-19
JP2017202249 2017-10-19

Publications (1)

Publication Number Publication Date
WO2019078230A1 true WO2019078230A1 (ja) 2019-04-25

Family

ID=66173360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038581 WO2019078230A1 (ja) 2017-10-19 2018-10-17 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム

Country Status (4)

Country Link
US (1) US11600020B2 (ja)
EP (1) EP3699588A4 (ja)
JP (1) JP7184046B2 (ja)
WO (1) WO2019078230A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157018A (ja) 2002-11-06 2004-06-03 Dkk Toa Corp 蛍光検出装置の感度校正方法及び蛍光検出装置
JP2006177956A (ja) * 2004-12-21 2006-07-06 Palo Alto Research Center Inc 複数レーザ光源複数プローブ蛍光励起型検知システム用時分割多重走査型光源
JP2009098151A (ja) * 2001-08-28 2009-05-07 Baylor College Of Medicine カラーブラインド蛍光のためのパルスマルチライン励起法
WO2012029342A1 (ja) 2010-08-30 2012-03-08 コニカミノルタエムジー株式会社 組織染色方法、組織評価方法および生体物質検出方法
US20130338014A1 (en) * 2012-04-05 2013-12-19 Vala Sciences, Inc. Calibration Standards For Digital Histocytometry
JP5593221B2 (ja) 2007-06-15 2014-09-17 ヒストロックス,インコーポレイテッド. 顕微鏡機器を標準化するための方法およびシステム
WO2016006096A1 (ja) * 2014-07-11 2016-01-14 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
WO2016125236A1 (ja) * 2015-02-02 2016-08-11 株式会社日立ハイテクノロジーズ 多色蛍光分析装置
WO2016129061A1 (ja) 2015-02-10 2016-08-18 コニカミノルタ株式会社 生体物質定量方法、病理診断支援システム及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5626760B2 (ja) * 2010-03-31 2014-11-19 ソニー株式会社 蛍光像取得方法、蛍光像取得プログラム及び蛍光像取得装置
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP6504160B2 (ja) * 2014-04-21 2019-04-24 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
US10094767B2 (en) 2014-09-19 2018-10-09 Konica Minolta, Inc. Image processor, image processing method, and program
EP3249401B1 (en) * 2015-01-22 2019-12-25 Konica Minolta, Inc. Biological substance quantitation method, pathological diagnosis support system, and program
JP6372370B2 (ja) * 2015-01-23 2018-08-15 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098151A (ja) * 2001-08-28 2009-05-07 Baylor College Of Medicine カラーブラインド蛍光のためのパルスマルチライン励起法
JP2004157018A (ja) 2002-11-06 2004-06-03 Dkk Toa Corp 蛍光検出装置の感度校正方法及び蛍光検出装置
JP2006177956A (ja) * 2004-12-21 2006-07-06 Palo Alto Research Center Inc 複数レーザ光源複数プローブ蛍光励起型検知システム用時分割多重走査型光源
JP5593221B2 (ja) 2007-06-15 2014-09-17 ヒストロックス,インコーポレイテッド. 顕微鏡機器を標準化するための方法およびシステム
WO2012029342A1 (ja) 2010-08-30 2012-03-08 コニカミノルタエムジー株式会社 組織染色方法、組織評価方法および生体物質検出方法
US20130338014A1 (en) * 2012-04-05 2013-12-19 Vala Sciences, Inc. Calibration Standards For Digital Histocytometry
WO2016006096A1 (ja) * 2014-07-11 2016-01-14 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
WO2016125236A1 (ja) * 2015-02-02 2016-08-11 株式会社日立ハイテクノロジーズ 多色蛍光分析装置
WO2016129061A1 (ja) 2015-02-10 2016-08-18 コニカミノルタ株式会社 生体物質定量方法、病理診断支援システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3699588A4

Also Published As

Publication number Publication date
JP7184046B2 (ja) 2022-12-06
EP3699588A4 (en) 2020-11-25
US11600020B2 (en) 2023-03-07
EP3699588A1 (en) 2020-08-26
JPWO2019078230A1 (ja) 2020-12-17
US20210192786A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP6911855B2 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017126420A1 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP2016223931A (ja) 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP7235036B2 (ja) 画像処理方法、画像処理装置及びプログラム
US11423533B2 (en) Image processing method and image processing system
JP6702339B2 (ja) 画像処理装置及びプログラム
JP7160047B2 (ja) 生体物質定量方法、画像処理装置及びプログラム
WO2019078230A1 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
WO2021192910A1 (ja) 画像生成方法、画像生成装置及びプログラム
WO2021124866A1 (ja) 画像処理方法、画像処理システム及びプログラム
WO2020209217A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2020262117A1 (ja) 画像処理システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549306

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018868433

Country of ref document: EP

Effective date: 20200519