WO2019087853A1 - 生体物質定量方法、画像処理装置及びプログラム - Google Patents

生体物質定量方法、画像処理装置及びプログラム Download PDF

Info

Publication number
WO2019087853A1
WO2019087853A1 PCT/JP2018/039276 JP2018039276W WO2019087853A1 WO 2019087853 A1 WO2019087853 A1 WO 2019087853A1 JP 2018039276 W JP2018039276 W JP 2018039276W WO 2019087853 A1 WO2019087853 A1 WO 2019087853A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescent
image
fluorescence
spot area
biological
Prior art date
Application number
PCT/JP2018/039276
Other languages
English (en)
French (fr)
Inventor
雄大 ▲高▼橋
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2019551144A priority Critical patent/JP7160047B2/ja
Publication of WO2019087853A1 publication Critical patent/WO2019087853A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers

Definitions

  • the present invention relates to a biological material quantification method, an image processing apparatus and a program.
  • quantifying the expression level of over-expressing biological substances in tissue sections can be very important information in predicting prognosis and deciding on a treatment plan thereafter.
  • Patent Document 1 a fluorescent bright spot is extracted from a fluorescent image obtained by imaging a tissue sample in which a specific biological material is stained using fluorescent nanoparticles containing a large number of fluorescent dyes, and a specific living body in the fluorescent image A method for quantitatively analyzing the expression level of a substance has been described.
  • Fluorescent nanoparticles are suitable for quantitative analysis because they have high brightness and light stability as compared to the case of staining with a single fluorescent dye.
  • a specimen that emits autofluorescence such as a tissue section
  • the luminance of the fluorescent nanoparticle is a signal (S) and the luminance of the autofluorescence is noise (N)
  • S signal
  • N noise
  • Patent Document 2 discloses a fluorescence observation method in which the influence of autofluorescence is eliminated.
  • a band pass filter used to acquire a fluorescence wavelength emitted by a fluorescent substance can be a band capable of acquiring a wavelength in a near wavelength region on the short wavelength side or long wavelength side of the band pass filter.
  • an image including only autofluorescence and not containing fluorescence of a fluorescent substance is acquired.
  • the processing of removing the luminance of the autofluorescent image from the luminance of the fluorescent image can obtain an image which does not contain autofluorescence and which contains only the fluorescence from the fluorescent substance.
  • the present invention has been made in view of the above problems, and it is possible to effectively suppress the influence of autofluorescence and quantitatively evaluate the expression of a biological substance in a tissue sample, a biological substance quantification method, an image processing apparatus and a program Intended to provide.
  • the method for quantifying a biological substance is An input step of inputting a first fluorescence image representing the expression of the biological substance as a fluorescent bright spot, obtained by imaging a tissue sample in which one or more types of biological substances are stained; A first conversion step of converting the first fluorescence image from real space to frequency space; Extracting an image of only frequency components higher than a predetermined frequency from the image of the frequency space; A second conversion step of converting the image of the frequency component extracted in the extraction step into a real space to generate a second fluorescence image; And V. determining the biological material based on the fluorescent luminescent spot area in the second fluorescence image.
  • the invention according to claim 2 relates to the method for quantifying a biological substance according to claim 1,
  • the first fluorescence image is a plurality of fluorescence images obtained by imaging at predetermined intervals in the height direction of the tissue sample
  • the second fluorescence image is a plurality of fluorescence images generated for each of a plurality of the first fluorescence images
  • the quantifying step is characterized in that the fluorescent bright spot area determined to have a difference of the integrated luminance value smaller than a predetermined first threshold in the determining step is excluded from the target of the determination.
  • the biological material quantification method is A plurality of sheets of biological material expressed by fluorescent bright spots obtained by imaging a tissue specimen in which single or plural kinds of biological materials are stained at predetermined intervals in the height direction of the tissue specimen An input step of inputting a fluorescence image; Calculating a luminance integrated value which is an integrated value of luminance values of the fluorescent bright spot area by extracting a fluorescent bright spot area from the plurality of fluorescent images; A determination step of determining whether or not the difference in the integrated luminance value of the same fluorescent luminescent spot area is smaller than a predetermined second threshold among the plurality of fluorescent images; And D. quantifying the biological material based on the fluorescent luminescent spot area in the fluorescent image.
  • the quantifying step is characterized in that the fluorescent bright spot area determined to have a difference in the integrated luminance value smaller than a predetermined second threshold in the determining step is excluded from the target of the determination.
  • the invention according to claim 4 relates to the method for quantifying a biological substance according to claim 3.
  • the determination step determines whether a change in coordinates corresponding to the peak value of the integrated luminance value of the same fluorescent bright spot region is smaller than a predetermined third threshold among the plurality of fluorescent images. It is characterized by
  • the invention according to claim 5 relates to the method for quantifying a biological substance according to claim 3 or 4.
  • the determination step is characterized in that it is determined whether or not a change in the shape of the same fluorescent luminescent spot area is smaller than a predetermined fourth threshold among the plurality of fluorescent images.
  • the image processing apparatus is An input unit for inputting a first fluorescence image representing the expression of the biological substance as a fluorescent bright spot, obtained by imaging a tissue sample in which one or more types of biological substances are stained; First conversion means for converting the first fluorescence image from real space to frequency space; Extracting means for extracting an image of only frequency components higher than a predetermined frequency from the image of the frequency space; Second conversion means for converting the image of the frequency component extracted by the extraction means into a real space to generate a second fluorescence image; And a quantitative means for quantifying the biological material based on the fluorescent luminescent spot area in the second fluorescent image.
  • the image processing apparatus is A plurality of sheets of biological material expressed by fluorescent bright spots obtained by imaging a tissue specimen in which single or plural kinds of biological materials are stained at predetermined intervals in the height direction of the tissue specimen
  • Input means for inputting a fluorescence image
  • Calculating means for extracting a fluorescent bright spot area from a plurality of the fluorescent images and calculating a brightness integrated value which is an integrated value of brightness values of the fluorescent bright spot area
  • a determination unit that determines whether a difference between the integrated luminance values of the same fluorescent luminescent spot area is smaller than a predetermined second threshold among the plurality of fluorescent images
  • the quantifying means is characterized in that the fluorescent bright spot area determined by the determining means to have a difference of the integrated luminance value smaller than a predetermined second threshold value is excluded from the target of quantification.
  • the program according to claim 8 is A computer for quantifying the biological substance in a tissue sample stained with one or more kinds of biological substances, An input unit for inputting a first fluorescence image representing the expression of the biological substance as a fluorescent bright spot, obtained by imaging a tissue sample in which one or more types of biological substances are stained; First conversion means for converting the first fluorescence image from real space to frequency space; Extracting means for extracting an image of only frequency components higher than a predetermined frequency from the image of the frequency space; A second conversion means for converting an image of frequency components extracted by the extraction means into a real space to generate a second fluorescence image; It functions as a quantification means for quantifying the biological material based on the fluorescent luminescent spot area in the second fluorescence image.
  • the program according to claim 9 is A computer for quantifying the biological substance in a tissue sample stained with one or more kinds of biological substances, A plurality of sheets of biological material expressed by fluorescent bright spots obtained by imaging a tissue specimen in which single or plural kinds of biological materials are stained at predetermined intervals in the height direction of the tissue specimen
  • Input means for inputting a fluorescent image A calculation unit that extracts a fluorescent bright spot area from the plurality of fluorescent images and calculates a brightness integrated value which is an integrated value of brightness values of the fluorescent bright spot area;
  • a determination unit that determines whether a difference between the integrated luminance values of the same fluorescent luminescent spot area is smaller than a predetermined second threshold among the plurality of fluorescent images; It is a program for functioning as a quantification means which quantifies the said biological material based on the fluorescent luminescent point area
  • the quantifying means is characterized in that the fluorescent bright spot area determined by the determining means to have a difference of the integrated luminance value smaller than a pre
  • the present invention it is possible to provide a biological substance quantification method, an image processing apparatus and a program capable of effectively suppressing the influence of autofluorescence and quantitatively evaluating the expression of a biological substance in a tissue sample.
  • FIG. 1 shows an example of the overall configuration of a biological material quantification system 100.
  • the biological material quantification system 100 is configured by connecting a microscope image acquisition device 1A and an image processing device 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
  • the connection method between the microscope image acquisition device 1A and the image processing device 2A is not particularly limited.
  • the microscope image acquisition device 1A and the image processing device 2A may be connected by a LAN (Local Area Network), or may be connected by wireless.
  • LAN Local Area Network
  • the microscope image acquisition device 1A is a well-known microscope with a camera, acquires a microscope image of a tissue section on a slide mounted on a slide fixing stage, and transmits it to the image processing device 2A.
  • the microscope image acquisition apparatus 1A is configured to include an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiating means is constituted by a light source, a filter and the like, and irradiates light to the tissue section on the slide mounted on the slide fixing stage.
  • the imaging means is constituted by an eyepiece lens, an objective lens and the like, and images transmitted light, reflected light or fluorescence emitted from the tissue section on the slide by the irradiated light.
  • the imaging unit is a microscope-equipped camera that includes a CCD (Charge Coupled Device) sensor or the like and captures an image formed on the imaging surface by the imaging unit to generate digital image data of a microscope image.
  • the communication I / F transmits the image data of the generated microscope image to the image processing device 2A.
  • the microscope image acquisition device 1A is provided with a bright field unit combining illumination means and imaging means suitable for bright field observation, and a fluorescence unit combining illumination means and imaging means suitable for fluorescence observation. It is possible to switch bright field / fluorescence by switching.
  • what installed the camera in arbitrary well-known microscopes for example, a phase contrast microscope, a differential interference microscope, an electron microscope etc.
  • microscope image acquisition apparatus 1A can be used as microscope image acquisition apparatus 1A.
  • the microscope image acquisition device 1A is not limited to a microscope with a camera, and for example, a virtual microscope slide generation device (for example, a virtual microscope slide generation device that acquires a microscope image of the entire tissue section by scanning a slide on a slide fixing stage of the microscope See Table 2002-514319) or the like may be used. According to the virtual microscope slide creating apparatus, it is possible to obtain image data which can be viewed at one time by the display unit on the entire image of the tissue section on the slide.
  • a virtual microscope slide generation device for example, a virtual microscope slide generation device that acquires a microscope image of the entire tissue section by scanning a slide on a slide fixing stage of the microscope See Table 2002-514319
  • the image processing device 2A identifies the in-focus position of each cell in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition device 1A.
  • FIG. 2 shows an example of the functional configuration of the image processing apparatus 2A.
  • the image processing apparatus 2A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25 and the like, and the units are connected via a bus 26. There is.
  • the control unit 21 includes a central processing unit (CPU), a random access memory (RAM), and the like, and executes various processes in cooperation with various programs stored in the storage unit 25. Control the operation of For example, the control unit 21 executes image analysis processing in cooperation with the image processing program stored in the storage unit 25 and performs first conversion means, extraction means, second conversion means, quantification means, calculation means To realize the function as the determination means.
  • CPU central processing unit
  • RAM random access memory
  • the operation unit 22 includes a keyboard having a character input key, a number input key, various function keys, etc., and a pointing device such as a mouse.
  • the operation signal of the key pressed by the keyboard and the operation signal from the mouse Is output to the control unit 21 as an input signal.
  • the display unit 23 includes, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens according to an instruction of a display signal input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • the communication I / F 24 is an interface for transmitting and receiving data to and from an external device such as the microscope image acquisition device 1A.
  • the communication I / F 24 realizes a function as an input unit of a fluorescence image and a morphological image.
  • the storage unit 25 is configured of, for example, a hard disk drive (HDD) or a non-volatile memory of a semiconductor. As described above, the storage unit 25 stores various programs and various data, the coordinates of the extracted bright spot area, which will be described later, and the in-focus position.
  • the image processing apparatus 2A may include a LAN adapter, a router, and the like, and may be connected to an external device via a communication network such as a LAN.
  • tissue sample is a tissue section containing a target biological material and stained with an immunostaining agent, and the tissue sample after staining is placed on the stage of the microscope image acquisition device 1A.
  • Target biological substance is intended for immunostaining using a fluorescent label mainly for detection or quantification from the viewpoint of pathological diagnosis, and is expressed in tissue sections It is a biological substance, in particular a protein (antigen).
  • Typical target biological substances include biological substances that are expressed on cell membranes of various cancer tissues and can be used as biomarkers.
  • Immunostaining agent conjugate of antibody-fluorescent nanoparticle
  • the primary antibody and the fluorescent nanoparticle indirectly, that is, an antigen-antibody reaction etc. It is preferred to use a complex linked by a bond of
  • a complex in which a fluorescent nanoparticle is directly linked to a primary antibody or a secondary antibody can also be used as an immunostaining agent.
  • immunostaining agent examples include: [Primary antibody to target biological substance] ... [Antibody to primary antibody (secondary antibody)] to [fluorescent nanoparticle].
  • “...” represents binding by antigen-antibody reaction, and there is no particular limitation on the binding mode shown by “ ⁇ ”, and examples thereof include covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, antigen-antibody bonding, Biotin avidin reaction, physical adsorption, chemical adsorption, etc. may be mentioned, and it may be through a linker molecule as required.
  • an antibody (IgG) that can specifically recognize and bind a protein as a target biological substance as an antigen can be used.
  • an anti-HER2 antibody can be used
  • HER3 is a target biological substance
  • an anti-HER3 antibody can be used.
  • an antibody (IgG) that can specifically recognize and bind the primary antibody as an antigen can be used.
  • both the primary antibody and the secondary antibody may be polyclonal antibodies, monoclonal antibodies are preferred from the viewpoint of quantitative stability.
  • the type of animal producing the antibody is not particularly limited, and may be selected from mice, rats, guinea pigs, rabbits, goats, sheep and the like as in the prior art.
  • the fluorescent nanoparticle is a nano-sized particle that emits fluorescence upon receiving irradiation of excitation light, and emits fluorescence with an intensity sufficient to represent the target biological substance as a bright spot. It is a possible particle.
  • the fluorescent nanoparticles preferably quantum dots (semiconductor nanoparticles) and fluorescent substance-integrated nanoparticles are used.
  • the luminance of the fluorescent nanoparticle is preferably five or more times the luminance of the autofluorescence.
  • Quantum Dot As a quantum dot, a semiconductor nanoparticle containing a II-VI compound, a III-V compound or a IV group element is used.
  • a semiconductor nanoparticle containing a II-VI compound, a III-V compound or a IV group element is used.
  • CdSe, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, Ge and the like can be mentioned.
  • the fluorescent substance accumulation nanoparticle uses a particle made of an organic substance or an inorganic substance as a matrix, and a plurality of fluorescent substances (for example, the above-mentioned quantum dots, fluorescent dyes, etc.) are contained therein. And / or nano-sized particles having a structure adsorbed on the surface thereof.
  • the matrix and the fluorescent substance have substituents or sites having opposite charges to each other, and electrostatic interaction occurs.
  • the fluorescent substance integrated nanoparticles quantum dot integrated nanoparticles, fluorescent dye integrated nanoparticles, etc. are used.
  • the emission wavelength of the fluorescent substance accumulation particles is arbitrary within the sensitivity range of the imaging device of the fluorescence microscope. Specifically, the emission wavelength is preferably 400 to 700 nm.
  • the average particle size of the fluorescent substance-accumulating particles is not particularly limited, but those having a large particle size are difficult to access the antigen, those having a small particle size and a low luminance value emit background noise (camera noise and cell self Since it is buried in fluorescence), one having a diameter of about 20 to 200 nm is preferable.
  • the variation coefficient of a particle size is 15% or less. Since the variation of the particle size of the fluorescent dye-accumulating particles is small, the luminance value of the fluorescence per particle becomes almost constant, so that the quantitative accuracy is enhanced.
  • an electron micrograph is taken using a scanning electron microscope (SEM), the cross-sectional area is measured for a sufficient number of particles, and the diameter of the circle is taken as the area of the circle. Asked as.
  • the arithmetic mean of the particle sizes of 1000 particles is taken as the average particle size.
  • the coefficient of variation was also a value calculated from the particle size distribution of 1000 particles.
  • thermosetting resins such as melamine resin, urea resin, aniline resin, guanamine resin, phenol resin, xylene resin, furan resin, etc.
  • Resins generally classified into thermoplastic resins such as styrene resin, acrylic resin, acrylonitrile resin, AS resin (acrylonitrile-styrene copolymer), ASA resin (acrylonitrile-styrene-methyl acrylate copolymer), etc .
  • Other resins such as lactic acid and the like; polysaccharides can be exemplified.
  • examples of the inorganic substance include silica, glass and the like.
  • Quantum Dot Accumulated Nanoparticle The quantum dot integrated nanoparticle has a structure in which the quantum dot is contained in the matrix and / or adsorbed on the surface thereof. When the quantum dot is contained in the matrix, the quantum dot may be dispersed in the matrix, and may or may not be chemically bonded to the matrix itself.
  • Fluorescent dye integrated nanoparticles have a structure in which a fluorescent dye is contained in the above-mentioned matrix and / or adsorbed on the surface thereof.
  • fluorescent dyes include rhodamine dye molecules, squarylium dye molecules, cyanine dye molecules, aromatic ring dye molecules, oxazine dye molecules, carbopyronine dye molecules, and pyromecene dye molecules.
  • Alexa Fluor registered trademark, manufactured by Invitrogen Corporation
  • BODIPY registered trademark, manufactured by Invitrogen Corporation
  • Cy registered trademark, manufactured by GE Healthcare
  • HiLyte registered trademark
  • DyLight registered trademark, manufactured by Thermo Scientific
  • ATTO registered trademark, manufactured by ATTO-TEC
  • pigment molecule MFP (registered trademark, manufactured by Mobitec)
  • Dye molecules CF (registered trademark, manufactured by Biotium) dye molecules, DY (registered trademark, manufactured by DYOMICS company), dye molecules, CAL (registered trademark, manufactured by BioSearch Technologies), etc.
  • the fluorescent dye may be dispersed in the matrix, and may or may not be chemically bonded to the matrix itself.
  • tissue sections also referred to simply as “sections” and including sections such as pathological sections
  • the method for preparing tissue sections is not particularly limited, and those prepared according to known procedures can be used.
  • Specimen preparation step (5.1.1) Deparaffinization treatment
  • the sections are immersed in a container containing xylene to remove paraffin.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, xylene may be replaced during immersion.
  • the sections are then immersed in a container containing ethanol to remove xylene.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, ethanol may be replaced during immersion.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. Also, water may be exchanged during immersion if necessary.
  • the target biological material is activated according to a known method.
  • the activation conditions are not particularly limited, as an activation solution, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer A liquid etc. can be used.
  • the pH condition is such that the signal is output from the range of pH 2.0 to 13.0 depending on the tissue section to be used, and the condition that roughening of the tissue can be evaluated. Usually, it is performed at pH 6.0 to 8.0, but in special tissue sections, for example, pH 3.0 is also performed.
  • the heating apparatus can use an autoclave, a microwave, a pressure cooker, a water bath etc.
  • the temperature is not particularly limited, but can be performed at room temperature. The temperature can be 50 to 130 ° C., and the time can be 5 to 30 minutes.
  • the section after activation treatment is immersed in a container containing PBS and washed.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the immersion time is preferably 3 minutes or more and 30 minutes or less. If necessary, the PBS may be replaced during immersion.
  • (5.2) Immunostaining Step a solution of immunostaining agent containing fluorescent nanoparticles having a site capable of binding directly or indirectly to a target biological substance to stain the target biological substance, Place on a section and react with the target biological material.
  • the solution of the immunostaining agent used in the immunostaining step may be prepared in advance prior to this step.
  • the conditions for performing the immunostaining step that is, the temperature and immersion time for immersing the tissue specimen in the immunostaining agent solution, are appropriately adjusted to obtain an appropriate signal according to the conventional immunostaining method.
  • the temperature is not particularly limited, but can be performed at room temperature.
  • the reaction time is preferably 30 minutes or more and 24 hours or less. It is preferable to drip a known blocking agent such as BSA-containing PBS or a surfactant such as Tween 20 before performing the treatment as described above.
  • tissue sample subjected to the immunostaining step is subjected to treatments such as immobilization / dehydration, clearing and encapsulation so as to be suitable for observation.
  • the immobilization / dehydration treatment may be performed by immersing the tissue specimen in a fixation treatment solution (formalin, paraformaldehyde, glutaraldehyde, acetone, ethanol, methanol, or other crosslinking agent).
  • a fixation treatment solution such as xylene
  • a clearing solution such as xylene
  • the tissue sample after the clearing process may be immersed in the sealing solution.
  • the conditions for performing these treatments for example, the temperature and immersion time for immersing the tissue specimen in a predetermined treatment solution, may be appropriately adjusted to obtain an appropriate signal according to the conventional immunostaining method. it can.
  • Morphological observation staining step Aside from the immuno staining step, morphological observation staining may be performed to enable observation of the morphology of cells, tissues, organs and the like in the bright field.
  • the morphological observation staining step can be performed according to a conventional method. For morphological observation of tissue specimens, staining with eosin in which cytoplasm, stroma, various fibers, red blood cells, and keratinocytes are stained in red to dark red is generally used.
  • Hematoxylin and Eosin staining is a method of performing these two staining simultaneously (Known as HE staining).
  • HE staining a method of performing these two staining simultaneously (Known as HE staining).
  • the morphological observation staining step it may be performed after the immunostaining step, or may be performed before the immunostaining step.
  • a microscopic image (first fluorescent image) is acquired from the stained tissue specimen using the microscope image acquisition device 1A. At the time of acquisition of the first fluorescent image, focusing is performed on the fluorescent nanoparticle, and a surface (focused surface) focused on the fluorescent nanoparticle is acquired as a first fluorescent image.
  • the control unit 21 controls the stage of the microscope image acquisition apparatus 1A to specify the in-focus plane while switching the focus position, and captures a fluorescence image of the tissue sample. When capturing a fluorescence image, the control unit 21 irradiates excitation light to the tissue sample by the irradiation unit. Then, the fluorescent nanoparticle of the tissue sample emits fluorescence and a fluorescent luminescent spot appears.
  • the control unit 21 causes the imaging unit to capture the fluorescent image.
  • a method of quantifying a biological substance of a fluorescence image is a method performed when quantitatively removing the amount of expression of the biological substance in the tissue sample by removing autofluorescence from the tissue sample after immunostaining using the biological material quantification system 100 for fluorescence image. .
  • the tissue sample after immunostaining is placed on the stage of the microscope image acquisition device 1A, the in-focus position is specified, and the in-focus surface is imaged. Thereafter, a first fluorescence image of the tissue sample is generated and transmitted to the image processing device 2A.
  • FIG. 3 shows a flowchart of the biological material quantitative processing 1 in the image processing apparatus 2A.
  • the biological material quantitative processing 1 shown in FIG. 3 is executed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • a program for example, "ImageJ" (open source) can be mentioned.
  • image processing software By using such image processing software, a fluorescent luminescent spot of a predetermined wavelength (color) is extracted from a fluorescent image, and processing for calculating the luminance value of the luminescent spot area and the number of fluorescent nanoparticles, etc. is performed semiautomatically and quickly. It can be done.
  • FIG. 4 shows a flowchart of the autofluorescence detection process 1 in step S12.
  • the autofluorescence detection process 1 shown in FIG. 4 is executed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S12 first, discrete Fourier transform is performed on the first fluorescence image (step S121: first conversion step). That is, frequency characteristics are obtained from the real space by the process of step S121.
  • step S122 extraction step. That is, compared with the fluorescent luminescent spot of the fluorescent nanoparticle, the luminance is low, and the difference in pixel value with the surrounding pixels is small, so the light is separated into low frequency components.
  • a high-pass filter capable of separating the autofluorescence is designed in advance, and using this, only the high frequency component of the frequency components of the first fluorescence image is left, and the low frequency component is removed. Is removed.
  • step S122 an inverse discrete Fourier transform is performed on the high frequency components extracted by the process of step S122 to obtain a fluorescence image (second fluorescence image) of the real space in which only the fluorescence of the fluorescence nanoparticles is extracted (step S123: second conversion step).
  • step S123 second conversion step
  • step S13 When the autofluorescence detection process is completed, a bright spot area is extracted from the second fluorescence image (step S13).
  • FIG. 5 shows a detailed flow of the process in step S13. The process of step S13 is performed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S13 first, color components are extracted from the fluorescence image according to the wavelength of the fluorescent luminescent spot (step S131).
  • step S131 for example, when the emission wavelength of the fluorescent particle is 550 nm, only the fluorescent bright spots having that wavelength component are extracted as an image.
  • threshold processing is performed on the extracted image, a binarized image is generated, and a bright spot area is extracted (step S132).
  • step S133 a labeling process is performed on the bright spot area, and a label is attached to each of the extracted bright spot areas. The above process completes the extraction of the bright spot area.
  • step S14 quantification step. That is, by measuring one bright spot as one fluorescent nanoparticle, the expression amount of the target biological substance can be quantitatively evaluated.
  • the number of bright points is simply measured, for example, a bright field image in the same plane and in the same range as the first fluorescent image is taken to extract a cell area or a cell nucleus area and By superimposing, it is possible to calculate the brightness score for each cell area or each cell nucleus area.
  • the first fluorescence image obtained by imaging the tissue sample is converted from the real space to the spatial frequency, and the predetermined frequency is used. Also, only the high frequency component is extracted, the extracted frequency component is converted to real space to generate a second fluorescence image, and the biological material is quantified based on the fluorescent bright spot area in the second fluorescence image. Therefore, according to the biological material quantification system 100 according to the first embodiment, since the autofluorescence and the fluorescence by the fluorescent material can be reliably separated by utilizing the frequency characteristic, the influence of the autofluorescence is effectively achieved. It is possible to suppress and quantitatively evaluate the expression of biological substances in tissue specimens.
  • the fluorescent material used for observation is not limited and it is possible to reliably perform the autogenous The fluorescence can be separated.
  • the biological material quantification system 100 uses autofluorescence and fluorescence of fluorescent nanoparticles, using a plurality of captured fluorescence images in the height direction of a tissue sample. Distinguish from bright spots, exclude auto-fluorescence from analysis.
  • symbol is attached
  • the tissue sample after immunostaining is placed on the stage of the microscope image acquisition device 1A, focusing is performed on the fluorescent nanoparticles, and the surface on which the fluorescent nanoparticles are focused (focused surface Image). Subsequently, the focal position is moved up and down in the Z direction with reference to the focal plane, and a plurality of focal planes are imaged at predetermined intervals (for example, 5 um). Thereafter, a fluorescence image is generated from the tissue sample and transmitted to the image processing apparatus 2A.
  • FIG. 6 shows a flowchart of the biological material quantitative processing 2 in the control device 60.
  • the biological material quantification process shown in FIG. 6 is executed by the cooperation of the control unit 21 and the program stored in the storage unit 25.
  • As such a program for example, "Image J" (open source) is mentioned as in the first embodiment.
  • step S21 when a fluorescence image is input from the microscope image acquisition device 1A (step S21: input step), extraction of a bright spot area is executed (step S22).
  • the fluorescence images input in step S22 are fluorescence images of a plurality of focal planes, which are captured at predetermined intervals in the Z direction with reference to the focal plane and the focal plane as described above. .
  • step S21 all of these fluorescence images are input to the image processing apparatus 2A, and in step S22, extraction of a bright spot area is performed on all of the fluorescence images.
  • the process in step S22 is the same as the process of step S13 according to the first embodiment, the detailed description will be omitted.
  • FIG. 7 shows a flowchart of the autofluorescence detection process 2 in step S23.
  • the autofluorescence detection process shown in FIG. 7 is performed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • step S23 first, the coordinates of the bright spot in the bright spot area image are specified (step S231). That is, depending on the extraction process of the bright spot area in step S22, a bright spot area image in which the self-fluorescent light and the bright spot of the fluorescent nanoparticle are mixed is obtained, but the XY plane (all the bright spots on the image) The X coordinate position and the Y coordinate position on the plane orthogonal to the Z direction are specified and stored by the storage unit 25. In addition, the process of step S231 is performed with respect to all the fluorescence images.
  • step S232 calculation step. Specifically, an image obtained by extracting a bright spot area from a bright spot area image and a fluorescence image of a portion corresponding to the bright spot area are superimposed, and the fluorescent image is extracted using the image with the bright spot area extracted as a mask. To generate a new fluorescence image corresponding to the bright spot area. Based on this fluorescence image, a luminance distribution is created by digitizing the luminance values at the X coordinate position and the Y coordinate position, and the product of these values is multiplied by the luminance integrated value in the bright spot area. In addition, the process of step S232 is performed with respect to all the fluorescence images.
  • step S233 the difference between the luminance integration value of each bright spot area on the in-focus plane and the luminance integration value on another focal plane is calculated (step S233).
  • the Z coordinate is different, the integrated luminance value of the fluorescent bright spot of the fluorescent nanoparticle largely changes, but in the case of self-fluorescent light, the change of the integrated luminance value is smaller than that of the fluorescent nanoparticle. That is, among the images whose Z coordinates are separated by a fixed distance, it is possible to regard a bright spot with almost no difference in integrated luminance value as autofluorescence.
  • the control unit 21 calculates the integrated luminance values of the fluorescent luminescent spots on the in-focus plane and the fluorescent luminescent spots present at the same coordinates on other luminescent spot area images separated by a predetermined distance from the in-focus plane in the Z direction. Calculate the difference.
  • step S234 determination step. That is, the control unit 21 causes the storage unit 25 to store the coordinates of the bright spot area determined to be autofluorescence, and refers to this when using quantitative analysis, and uses the bright spot area other than the autofluorescence for analysis. The above process completes the autofluorescence detection process.
  • step S24 quantification step. That is, since the autofluorescence is excluded from the target of measurement by the autofluorescence detection process of step S23, only the bright spots of the fluorescent nanoparticles are measured.
  • the number of bright points is simply measured, for example, a bright field image in the same plane and in the same range as the first fluorescent image is taken to extract a cell area or a cell nucleus area, and a bright spot area image By superimposing, it is possible to calculate the brightness score for each cell area or each cell nucleus area. This makes it possible to quantitatively analyze the expression level of the target biological substance in cells.
  • the fluorescent luminescent spot area is selected from a plurality of fluorescent images obtained by imaging at predetermined intervals in the height direction of the tissue sample.
  • the luminance integration value is calculated, and when the difference between the luminance integration values in the in-focus plane and the other focal plane is within a predetermined threshold, it is determined as autofluorescence and is excluded from the target of quantitative analysis. Therefore, in order to separate them using the difference in the amount of change in integrated luminance value between the autofluorescence and the fluorescent material, it is necessary to replace the band pass filter etc. and to image several times unlike in the case of separating based on the wavelength. Is efficient. Also, for example, even if the S / N ratio is lower than expected and autofluorescence can not be separated by the prior art, it can be separated reliably.
  • the change in coordinates at which the luminance value of the bright spot area becomes a peak value is smaller than a predetermined threshold (second threshold) or the change in shape of the bright spot area is a predetermined threshold Those smaller than (third threshold) can also be regarded as autofluorescence.
  • the biological material quantification system 100 is, as an autofluorescence detection process, removal of autofluorescence by frequency analysis (autofluorescence removal process) and identification of autofluorescence using integrated luminance value (autofluorescence identification process) And.
  • autofluorescence detection process removal of autofluorescence by frequency analysis
  • autofluorescence identification process identification of autofluorescence using integrated luminance value
  • autofluorescence identification process identification of autofluorescence using integrated luminance value
  • the tissue specimen after immunostaining is placed on the stage of the microscope image acquisition device 1A, focusing is performed on the fluorescent nanoparticles, and the surface on which the fluorescent nanoparticles are focused (focused surface Image). Subsequently, the focal positions are moved up and down in the Z direction with reference to the focal plane, and a plurality of focal planes are imaged at predetermined intervals (for example, 5 um). Thereafter, a first fluorescence image is generated from the tissue sample 30 and transmitted to the image processing device 2A.
  • FIG. 8 shows a flowchart of the biological material quantitative processing 3 in the image processing apparatus 2A.
  • the biological material quantitative processing 3 shown in FIG. 8 is executed by cooperation of the control unit 21 and the program stored in the storage unit 25.
  • a program for example, “Image J” (open source) is mentioned as in the first and second embodiments.
  • step S32 when the first fluorescence image from the microscope image acquisition device 1A is input (step S31: input step), the autofluorescence removal process is executed (step S32).
  • the autofluorescence removal process in step S32 is the same as the autofluorescence detection process 1 in step S12 of the first embodiment, and thus the detailed description is omitted. That is, the second fluorescence image from which the frequency characteristic of the first fluorescence image is determined by discrete Fourier transform (first conversion step), only the high frequency component is extracted (extraction step), and the autofluorescence is removed by inverse discrete Fourier transform (Second conversion step).
  • the process of step S32 is performed about all the 1st fluorescence images.
  • step S33 a bright spot area is extracted from the second fluorescence image.
  • the process in step S33 is the same as the process of step S13 according to the first embodiment, the detailed description will be omitted.
  • the process of step S33 is performed about all the 2nd fluorescence images.
  • an autofluorescence identification process is performed on the bright spot area image obtained from the second fluorescence image (step S34).
  • the autofluorescence identification process in step S34 is the same as the autofluorescence detection process 2 in step S23 of the second embodiment, and thus the detailed description is omitted. That is, the coordinates of each bright spot area are specified, the luminance integration value is calculated (calculation step), and the difference of the luminance integration value between the in-focus plane and the other focal plane is a predetermined threshold (first threshold) Small ones are judged as autofluorescence (judgment step) and excluded from the target of quantitative analysis.
  • step S35 quantification step. That is, since the autofluorescence is excluded from the objects of measurement by the autofluorescence detection process of step S34, only the bright spots of the fluorescent nanoparticles are measured.
  • the number of bright points is simply measured, for example, a bright field image in the same plane and in the same range as the first fluorescent image is taken to extract a cell area or a cell nucleus area, and a bright spot area image By superimposing, it is possible to calculate the brightness score for each cell area or each cell nucleus area. This makes it possible to quantitatively analyze the expression level of the target biological substance in cells.
  • the autofluorescence removal process as the autofluorescence detection process and the autofluorescence specification process are used in combination. That is, by removing auto-fluorescence having low frequency components by auto-fluorescent removal processing and detecting auto-fluorescence which could not be completely removed by the processing by auto-fluorescent identification processing and excluding it from the analysis target, The accuracy of quantitative analysis can be further improved.
  • the in-focus position of the fluorescence image is specified using the general-purpose microscope image acquisition device 1A.
  • a well-known hole slide scanner may be used instead of the microscope image acquisition device 1A.
  • the hole slide scanner not only automatically focuses on the thickness direction (Z direction) of the tissue sample, but also enables stage movement in the length and width directions (X-Y direction) of the tissue sample, A wide range of fluorescence images can be generated. Even with the hole slide scanner, after specifying the in-focus position of the fluorescence image, the in-focus position can be automatically moved to the in-focus position of the specified fluorescence image.
  • a tissue section is targeted as a biological sample, a tissue sample is stained with an immunostaining agent containing fluorescent nanoparticles as a fluorescent marker, and a focusing position of a fluorescent image is specified.
  • the subject of the biological sample may be cultured cells or may be a gene (DNA).
  • a fluorescent dye can be used as a fluorescent marker. Both fluorescent nanoparticles and fluorescent dyes are examples of fluorescent markers, and other known fluorescent markers may be used.
  • the tissue specimen is stained only with the fluorescent nanoparticles, but the invention is not limited thereto.
  • a plurality of fluorescent nanoparticles are used, or a fluorescent nanoparticle and another fluorescent dye are used. Multiple staining may be performed. Also in these cases, it is effective to perform focusing on the fluorescent nanoparticles as in the above embodiment.
  • a non-volatile memory of a semiconductor or the like as a computer readable medium of the program according to the present invention has been disclosed, but the present invention is not limited to this example.
  • a portable recording medium such as a CD-ROM can be applied.
  • carrier wave carrier wave
  • the present invention can be used for a biological material quantification method, an image processing apparatus and a program.
  • Microscope image acquisition device 2A Image processing device 3A Cable 21 Control unit (first conversion means, extraction means, second conversion means, quantification means, calculation means, determination means) 22 operation unit 23 display unit 24 communication I / F (input means) 25 storage unit 26 bath 100 biological material determination system

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本発明の課題は、自家蛍光による影響を効果的に抑制し、組織標本における生体物質の発現を定量的に評価可能な生体物質定量方法、画像処理装置及びプログラムを提供することである。単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力工程と、第1の蛍光画像を実空間から周波数空間に変換する第1の変換工程と、周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出工程と、抽出工程によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換工程と、第2の蛍光画像における蛍光輝点領域に基づいて、前記生体物質を定量する定量工程と、を含む。

Description

生体物質定量方法、画像処理装置及びプログラム
 本発明は、生体物質定量方法、画像処理装置及びプログラムに関する。
 病理診断において、組織切片で過剰発現をしている生体物質の発現量を定量することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。こうした生体物質の定量においては、組織切片内に設定した解析対象領域である関心領域内における特定の生体物質の発現量を解析することから、生体物質の定量及び関心領域の抽出を正確に行うことができる手法の開発が望まれている。
 そこで、例えば特許文献1には、多数の蛍光色素を内包した蛍光ナノ粒子を用いて特定の生体物質を染色した組織標本を撮像した蛍光画像から、蛍光輝点を抽出し蛍光画像における特定の生体物質の発現量を定量解析する方法が記載されている。
 蛍光ナノ粒子は、蛍光色素を単体で用いて染色する場合に比べて高輝度かつ光安定性を有するため、定量的な解析に適している。しかしながら、組織切片のように自家蛍光を発する標本を用いた観察時には、蛍光ナノ粒子の輝度をシグナル(S)、自家蛍光の輝度をノイズ(N)とした場合のS/N比が低いと、自家蛍光まで輝点数に含めてしまう可能性が高くなり、やはり定量的な解析が困難であった。
 このような問題に対し、特許文献2には、自家蛍光による影響を排除した蛍光観察方法が開示されている。具体的には、蛍光画像の取得後、蛍光物質が発する蛍光波長を取得するために用いたバンドパスフィルタを当該バンドパスフィルタよりも短波長側又は長波長側の近傍領域の波長を取得できるバンドパスフィルタに交換し、蛍光画像と同一条件下で画像を取得することで、蛍光物質の蛍光を含まず自家蛍光のみが含まれた画像を取得する。この自家蛍光画像の輝度をもとに、蛍光画像の輝度から自家蛍光画像の輝度を除く処理によって、自家蛍光を含まず、蛍光物質による蛍光のみを含む画像を得ることができる。
国際公開2013/146841号 国際公開2012/035705号
 しかしながら、特許文献2に記載の方法では、自家蛍光と蛍光物質による蛍光とを分離するためには、自家蛍光の波長域とは異なる波長域の蛍光物質を用いる必要がある。即ち、自家蛍光の波長域が複数ある場合には、全ての波長域と異なる蛍光波長を有する蛍光物質を用いなければならないが、このような条件を満たす蛍光物質を用意できないという事態が生じる。
 本発明は上記課題に鑑みてなされたものであって、自家蛍光による影響を効果的に抑制し、組織標本における生体物質の発現を定量的に評価可能な生体物質定量方法、画像処理装置及びプログラムを提供することを目的とする。
 上記課題を解決するため、請求項1に記載の生体物質定量方法は、
 単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力工程と、
 前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換工程と、
 前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出工程と、
 前記抽出工程によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換工程と、
 前記第2の蛍光画像における蛍光輝点領域に基づいて、前記生体物質を定量する定量工程と、を含む
 ことを特徴とする。
 請求項2に記載の発明は、請求項1に記載の生体物質定量方法において、
 前記第1の蛍光画像は、前記組織標本の高さ方向に所定の間隔毎に撮像して得られた複数枚の蛍光画像であり、
 前記第2の蛍光画像は、複数枚の前記第1の蛍光画像の各々について生成された複数枚の蛍光画像であり、
 複数枚の前記第2の蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出工程と、
 複数枚の前記第2の蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第1閾値よりも小さいか否かを判定する判定工程と、
 前記定量工程においては、前記判定工程において前記輝度積算値の差が所定の第1閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
 ことを特徴とする。
 請求項3に記載の生体物質定量方法は、
 単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力工程と、
 複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出工程と、
 複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定工程と、
 前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量工程と、を含み、
 前記定量工程においては、前記判定工程において前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
 ことを特徴とする。
 請求項4に記載の発明は、請求項3に記載の生体物質定量方法において、
 前記判定工程は、複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値のピーク値に該当する座標の変化が、所定の第3閾値よりも小さいか否かを判定することを特徴とする。
 請求項5に記載の発明は、請求項3又は4に記載の生体物質定量方法において、
 前記判定工程は、複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の形状の変化が、所定の第4閾値よりも小さいか否かを判定することを特徴とする。
 請求項6に記載の画像処理装置は、
 単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力手段と、
 前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換手段と、
 前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出手段と、
 前記抽出手段によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換手段と、
 前記第2の蛍光画像における蛍光輝点領域に基づいて、前記生体物質を定量する定量手段と、を備える
 ことを特徴とする。
 請求項7に記載の画像処理装置は、
 単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力手段と、
 複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出手段と、
 複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定手段と、
 前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段と、を備え、
 前記定量手段は、前記判定手段によって前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
 ことを特徴とする。
 請求項8に記載のプログラムは、
 単一又は複数種類の生体物質が染色された組織標本における、前記生体物質を定量するコンピューターを、
 単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力手段、
 前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換手段、
 前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出手段、
 前記抽出手段によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換手段、
 前記第2の蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段として機能させる。
 請求項9に記載のプログラムは、
 単一又は複数種類の生体物質が染色された組織標本における、前記生体物質を定量するコンピューターを、
 単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力手段、
 複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出手段、
 複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定手段、
 前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段、として機能させるためのプログラムであって、
 前記定量手段は、前記判定手段によって前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
 ことを特徴とする。
 本発明によれば、自家蛍光による影響を効果的に抑制し、組織標本における生体物質の発現を定量的に評価可能な生体物質定量方法、画像処理装置及びプログラムを提供することができる。
本発明に係る生体物質定量システムの概略構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 第1の実施形態における生体物質定量処理1の詳細を示すフローチャートである。 第1の実施形態における自家蛍光検出処理1の詳細を示すフローチャートである。 第1の実施形態における輝点領域の抽出の詳細を示すフローチャートである。 第2の実施形態における生体物質定量処理2の詳細を示すフローチャートである。 第2の実施形態における自家蛍光検出処理2の詳細を示すフローチャートである。 第2の実施形態における生体物質定量処理3の詳細を示すフローチャートである。
 以下、図面を参照しながら本発明の好ましい実施形態について説明する。
[第1の実施形態]
<蛍光画像の生体物質定量システム100の構成>
 図1に、生体物質定量システム100の全体構成例を示す。
 図1に示すように、生体物質定量システム100は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
 顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
 顕微鏡画像取得装置1Aは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
 顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
 顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
 なお、公知の任意の顕微鏡(たとえば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等)にカメラを設置したものを顕微鏡画像取得装置1Aとして用いることができる。
 なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(たとえば、特表2002-514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
 画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における細胞ごとの合焦位置を特定する。
 図2に、画像処理装置2Aの機能構成例を示す。
 図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
 制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
 たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、第1の変換手段、抽出手段、第2の変換手段、定量手段、算出手段、判定手段としての機能を実現する。
 操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
 表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。
 通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、蛍光画像及び形態画像の入力手段としての機能を実現する。
 記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データ、及び後述する抽出された輝点領域の座標や合焦位置等が記憶される。
 その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
<組織標本>
 続いて、組織標本について説明する。
 組織標本は目的生体物質を含む組織切片であって免疫染色剤で染色され、染色後の組織標本が顕微鏡画像取得装置1Aのステージに設置される。
(1)目的生体物質
 目的生体物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫染色の対象とするものをいい、組織切片に発現している生体物質、特にタンパク質(抗原)である。
 典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカとして利用することができる生体物質が挙げられる。
(2)免疫染色剤(抗体-蛍光ナノ粒子の結合体)
 免疫染色剤としては、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光ナノ粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光ナノ粒子が直結している複合体を用いることもできる。
 免疫染色剤の一例として、[目的生体物質に対する一次抗体]…[一次抗体に対する抗体(二次抗体)]~[蛍光ナノ粒子]が挙げられる。
 “…”は抗原抗体反応により結合していることを表し、“~”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
(3)抗体
 一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体(IgG)を用いることができる。たとえば、HER2を目的生体物質とする場合は抗HER2抗体を、HER3を目的生体物質とする場合は抗HER3抗体を、それぞれ用いることができる。
 二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体(IgG)を用いることができる。
 一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物(免疫動物)の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。
(4)蛍光ナノ粒子
 蛍光ナノ粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
 蛍光ナノ粒子として、好ましくは量子ドット(半導体ナノ粒子)、蛍光物質集積ナノ粒子が使用される。蛍光ナノ粒子の輝度は、自家蛍光の輝度の5倍以上であることが望ましい。
(4.1)量子ドット
 量子ドットとしては、II-VI族化合物、III-V族化合物またはIV族元素を含有する半導体ナノ粒子が使用される。たとえば、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geなどが挙げられる。
(4.2)蛍光物質集積ナノ粒子
 蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質(たとえば、上記量子ドット、蛍光色素など)がその中に内包されている及び/又はその表面に吸着している構造を有する、ナノサイズの粒子である。
 蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
 蛍光物質集積ナノ粒子としては、量子ドット集積ナノ粒子、蛍光色素集積ナノ粒子などが使用される。
 蛍光物質集積粒子の発光波長は、蛍光顕微鏡の撮像素子の感度域内であれば任意である。具体的には、発光波長が400~700nmであることが好ましい。
 蛍光物質集積粒子の平均粒径は特に限定されないが、粒径が大きいものは抗原にアクセスしにくく、粒径が小さく輝度値が低いものは発する蛍光がバックグラウンドノイズ(カメラのノイズや細胞の自家蛍光)に埋もれてしまうことから、20~200nm程度のものが好適である。
 また、粒径の変動係数が15%以下であることが好ましい。蛍光色素集積粒子の粒径のばらつきが小さいことにより、1粒子当たりの蛍光の輝度値がほぼ一定となるため定量精度が高まる。
 平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
(4.2.1)母体
 母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂;スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、AS樹脂(アクリロニトリル-スチレン共重合体)、ASA樹脂(アクリロニトリル-スチレン-アクリル酸メチル共重合体)など、一般的に熱可塑性樹脂に分類される樹脂;ポリ乳酸等のその他の樹脂;多糖を例示することができる。
 母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
(4.2.2)量子ドット集積ナノ粒子
 量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、及び/又はその表面に吸着している構造を有する。
 量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(4.2.3)蛍光色素集積ナノ粒子
 蛍光色素集積ナノ粒子とは、蛍光色素が、上記母体の中に内包されている、及び/又はその表面に吸着している構造を有する。
 蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
 蛍光色素としては、Alexa Fluor(登録商標、インビトロジェン社製)系色素分子、BODIPY(登録商標、インビトロジェン社製)系色素分子、Cy(登録商標、GEヘルスケア社製)系色素分子、HiLyte(登録商標、アナスペック社製)系色素分子、DyLight(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO(登録商標、ATTO-TEC社製)系色素分子、MFP(登録商標、Mobitec社製)系色素分子、CF(登録商標、Biotium社製)系色素分子、DY(登録商標、DYOMICS社製)系色素分子、CAL(登録商標、BioSearch Technologies社製)系色素分子などを用いることができる。
 なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
(5)組織切片の染色方法
 染色方法の一例について説明する。
 この染色方法が適用できる組織切片(単に「切片」ともいい、病理切片などの切片も含まれる。)の作製法は特に限定されず、公知の手順により作製されたものを用いることができる。
(5.1)標本作製工程
(5.1.1)脱パラフィン処理
 キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
 次いでエタノールを入れた容器に切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
 水を入れた容器に、切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
(5.1.2)賦活化処理
 公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mのクエン酸緩衝液(pH6.0)、1mMのEDTA溶液(pH8.0)、5%尿素、0.1Mのトリス塩酸緩衝液などを用いることができる。
 pH条件は用いる組織切片に応じてpH2.0~13.0の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はpH6.0~8.0で行うが、特殊な組織切片ではたとえばpH3.0でも行う。
 加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50~130℃、時間は5~30分で行うことができる。
 次いでPBSを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でPBSを交換してもよい。
(5.2)免疫染色工程
 免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光ナノ粒子を含む免疫染色剤の溶液を、切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
 免疫染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
 温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
 上述したような処理を行う前に、BSA含有PBSなど公知のブロッキング剤やTween20などの界面活性剤を滴下することが好ましい。
(5.3)標本後処理工程
 免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
 固定化・脱水処理は、組織標本を固定処理液(ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤)に浸漬すればよい。透徹処理は、固定化・脱水処理を終えた組織標本を透徹液(キシレンなど)に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
 これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
(5.4)形態観察染色工程
 免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態を観察することができるようにするための、形態観察染色を行ってもよい。
 形態観察染色工程は、常法に従って行うことができる。
 組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤~濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色~淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている(これら2つの染色を同時に行う方法はヘマトキシリン・エオジン染色(HE染色)として知られている)。
 形態観察染色工程を含める場合は、免疫染色工程の後に行うようにしてもよいし、免疫染色工程の前に行うようにしてもよい。
(6)蛍光画像取得工程
 染色した組織標本に対し、顕微鏡画像取得装置1Aを用いて顕微鏡画像(第1の蛍光画像)を取得する。第1の蛍光画像の取得に際して、フォーカシングは蛍光ナノ粒子に対して行い、蛍光ナノ粒子に合焦した面(合焦面)を第1の蛍光画像として取得する。
 制御部21は、顕微鏡画像取得装置1Aのステージを制御して、焦点位置を切り替えさせながら合焦面を特定し、組織標本の蛍光画像を撮像する。
 蛍光画像を撮像する場合、制御部21は、照射手段により励起光を組織標本に照射する。すると、組織標本の蛍光ナノ粒子が蛍光発光し、蛍光輝点が出現する。制御部21はその蛍光像を撮像手段に撮像させる。
<蛍光画像の生体物質定量方法>
 続いて、蛍光画像の生体物質定量方法について説明する。
 かかる方法は、蛍光画像の生体物質定量システム100を用いて、免疫染色後の組織標本から自家蛍光を除去し、組織標本における生体物質の発現量を定量的に評価する際に行われる方法である。
 はじめに、免疫染色後の組織標本を顕微鏡画像取得装置1Aのステージに設置し、合焦位置を特定して合焦面を撮像する。その後、組織標本の第1の蛍光画像を生成し、これを画像処理装置2Aに送信する。
 図3に、画像処理装置2Aにおける生体物質定量処理1のフローチャートを示す。図3に示す生体物質定量処理1は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。かかるプログラムとしては、たとえば「ImageJ」(オープンソース)が挙げられる。かかる画像処理ソフトウエアを利用することにより、蛍光画像から所定の波長(色)の蛍光輝点を抽出し、輝点領域の輝度値や蛍光ナノ粒子数を算出する処理などを、半自動的に迅速に行いうる。
 まず、顕微鏡画像取得装置1Aからの第1の蛍光画像が入力されると(ステップS11:入力工程)、自家蛍光検出処理を実行する(ステップS12)。
 図4に、ステップS12における自家蛍光検出処理1のフローチャートを示す。図4に示す自家蛍光検出処理1は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
 ステップS12においては、まず、第1の蛍光画像に対して離散フーリエ変換を実行する(ステップS121:第1の変換工程)。即ち、ステップS121の処理によって、実空間から周波数特性を得る。
 次いで、ステップS121の処理によって分離された周波数のうち、所定の周波数よりも高い周波数成分のみを抽出する(ステップS122:抽出工程)。即ち、蛍光ナノ粒子の蛍光輝点と比べると、輝度が低く周囲の画素との画素値の差が小さいため、低周波成分に分離される。ステップS122において、自家蛍光を分離できるようなハイパスフィルタを予め設計しておき、これを用いて第1の蛍光画像の周波数成分のうち高周波成分のみを残し低周波成分を除去することで、自家蛍光が除去される。
 次いで、ステップS122の処理によって抽出された高周波成分について、逆離散フーリエ変換を実行することで、蛍光ナノ粒子の蛍光のみが抽出された実空間の蛍光画像(第2の蛍光画像)が得る(ステップS123:第2の変換工程)。以上により、自家蛍光検出処理が完了する。
 自家蛍光検出処理が完了すると、第2の蛍光画像から輝点領域が抽出される(ステップS13)。
 図5に、ステップS13における処理の詳細フローを示す。ステップS13の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
 ステップS13においては、まず、蛍光画像から蛍光輝点の波長に応じた色成分の抽出が行われる(ステップS131)。ステップS131では、たとえば、蛍光粒子の発光波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
 次いで、抽出された画像に閾値処理が施され、二値化画像が生成され、輝点領域が抽出される(ステップS132)。
 次いで、輝点領域にラベリング処理が施され、抽出された輝点領域のそれぞれにラベルが付与される(ステップS133)。以上の処理により、輝点領域の抽出が完了する。
 ステップS13の処理の後、輝点領域が抽出された画像について、輝点数が計測される(ステップS14:定量工程)。即ち、一輝点を一蛍光ナノ粒子として計測することで、目的生体物質の発現量を定量評価することができる。なお、ここでは単に輝点数を計測するものとしたが、例えば第1の蛍光画像と同一平面上かつ同一範囲の明視野画像を撮像して、細胞領域又は細胞核領域を抽出し輝点領域画像と重ね合わせることで、細胞領域ごと又は細胞核領域ごとの輝点数を算出することができる。
 以上説明したように、第1の実施形態に係る生体物質定量システム100においては、組織標本を撮像して得られた第1の蛍光画像を、実空間から空間周波数に変換し、所定の周波数よりも高い周波数成分のみを抽出し、抽出された周波数成分を実空間に変換して第2の蛍光画像を生成し、第2の蛍光画像における蛍光輝点領域に基づいて生体物質を定量する。したがって、第1の実施形態に係る生体物質定量システム100によれば、周波数特性を利用して自家蛍光と蛍光物質による蛍光とを確実に分離することができるため、自家蛍光による影響を効果的に抑制し、組織標本における生体物質の発現を定量的に評価可能である。
 また、従来技術のように波長に基づいて自家蛍光と蛍光物質による蛍光とを分離するためには、自家蛍光の波長域とは異なる波長域の蛍光物質を用いる必要があったが、第1の実施形態に係る生体物質定量システム100においては、蛍光の波長によらずに自家蛍光と蛍光物質による蛍光とを分離することができるため、観察に用いる蛍光物質が限定されることなく、確実に自家蛍光を分離することができる。また、自家蛍光の検出のためにバンドパスフィルタ等を交換して複数回撮影する必要がなく、効率的である。
[第2の実施形態]
 以下、第2の実施形態について図面を用いて説明する。第2の実施形態に係る生体物質定量システム100は、第1の実施形態とは異なり、組織標本の高さ方向に複数枚の撮像された蛍光画像を用いて、自家蛍光と蛍光ナノ粒子の蛍光輝点とを判別して、自家蛍光を解析対象から除外する。
 なお、第1の実施形態と同様の構成については、同一の符号を付して詳細な説明は省略する。
 はじめに、第1の実施形態と同様、免疫染色後の組織標本を顕微鏡画像取得装置1Aのステージに設置し、フォーカシングを蛍光ナノ粒子に対して行い、蛍光ナノ粒子に合焦した面(合焦面)を撮像する。続いて、合焦面を基準として、Z方向の上下に焦点位置を移動させ、所定の間隔(例えば、5um)毎に複数の焦点面を撮像する。その後、組織標本から蛍光画像を生成し、これを画像処理装置2Aに送信する。
 図6に、制御装置60における生体物質定量処理2のフローチャートを示す。図6に示す生体物質定量処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。かかるプログラムとしては、第1の実施形態と同様に、たとえば「ImageJ」(オープンソース)が挙げられる。
 まず、顕微鏡画像取得装置1Aからの蛍光画像が入力されると(ステップS21:入力工程)、輝点領域の抽出を実行する(ステップS22)。ここで、ステップS22において入力される蛍光画像は、上記したように合焦面と、合焦面を基準としてZ方向に所定の間隔を空けて撮像された、複数の焦点面の蛍光画像である。
 ステップS21においては、これらの蛍光画像の全てが画像処理装置2Aに入力され、ステップS22においては、全ての蛍光画像について輝点領域の抽出が実行される。なお、ステップS22における処理は、第1の実施形態に係るステップS13の処理と同様であるため、詳細な説明を省略する。
 輝点領域が抽出されると、自家蛍光検出処理2が実行される(ステップS23)。
 図7に、ステップS23における自家蛍光検出処理2のフローチャートを示す。図7に示す自家蛍光検出処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
 ステップS23においては、まず、輝点領域画像における輝点の座標が特定される(ステップS231)。即ち、ステップS22における輝点領域の抽出処理によっては、自家蛍光と蛍光ナノ粒子の輝点とが混在した輝点領域画像が得られるが、画像上の全ての輝点について、X-Y平面(Z方向に直交する平面)上のX座標位置及びY座標位置を特定し、記憶部25によって記憶させる。なお、ステップS231の処理は全ての蛍光画像に対して実行される。
 次いで、輝点領域画像上の各々の輝点について、輝度積算値が算出される(ステップS232:算出工程)。具体的には、輝点領域画像から輝点領域が抽出された画像と、その輝点領域に対応する部位の蛍光画像とが重ね合わされ、輝点領域が抽出された画像をマスクとして、蛍光画像から輝点領域に対応する新たな蛍光画像が生成される。この蛍光画像に基づき、X座標位置及びY座標位置における輝度値を数値化した輝度分布が作成され、この値を乗算したものが当該輝点領域における輝度積算値である。なお、ステップS232の処理は全ての蛍光画像に対して実行される。
 次いで、ステップS232で算出された輝度積算値を用いて、合焦面における各々の輝点領域の輝度積算値と、他の焦点面における輝度積算値との差を算出する(ステップS233)。
 蛍光ナノ粒子の蛍光輝点はZ座標が異なると輝度積算値が大きく変化するが、自家蛍光の場合は蛍光ナノ粒子の輝点に比べて輝度積算値の変化が小さい。即ち、Z座標が一定の距離だけ離れた画像間で、輝度積算値の差異がほとんどない輝点を自家蛍光とみなすことができる。制御部21は、合焦面上の蛍光輝点と、合焦面からZ方向に所定の距離だけ離れた他の輝点領域画像上の同一座標に存在する蛍光輝点の、輝度積算値の差を算出する。
 次いで、各輝点領域について、ステップS233で算出された輝度積算値の差が所定の閾値(第1閾値)よりも小さいか否かを判定し、所定の閾値よりも小さいと判定された輝点領域を自家蛍光と判断して、定量解析の対象から除く(ステップS234:判定工程)。即ち、制御部21は、自家蛍光と判断された輝点領域の座標を記憶部25によって記憶させ、定量解析時にはこれを参照して自家蛍光以外の輝点領域を解析に用いる。以上の処理によって、自家蛍光検出処理を完了する。
 ステップS23の処理の後、輝点領域が抽出された画像について、輝点数が計測される(ステップS24:定量工程)。即ち、ステップS23の自家蛍光検出処理によって自家蛍光が計測の対象から除外されているため、蛍光ナノ粒子の輝点のみが計測される。なお、ここでは単に輝点数を計測するものとしたが、例えば第1の蛍光画像と同一平面上かつ同一範囲の明視野画像を撮像して、細胞領域又は細胞核領域を抽出し、輝点領域画像と重ね合わせることで、細胞領域ごと又は細胞核領域ごとの輝点数を算出することができる。これにより、細胞内の目的生体物質の発現量を定量解析することが可能である。
 以上説明したように、第2実施形態に係る生体物質定量システム100においては、組織標本の高さ方向に所定の間隔毎に撮像して得られた複数枚の蛍光画像から、蛍光輝点領域を抽出して輝度積算値を算出し、合焦面と他の焦点面における輝度積算値の差が所定の閾値以内の場合には自家蛍光と判定し、定量解析の対象から除外する。したがって、自家蛍光と蛍光物質との輝度積算値の変化量の差を利用してこれらを分離するため、波長に基づいて分離する場合と異なり、バンドパスフィルタ等を交換して複数回撮像する必要がなく効率的である。また、例えば想定よりもS/N比が低く、従来技術によっては自家蛍光を分離できない場合であっても、確実に分離することができる。
 なお、上記実施形態においては、Z座標の異なる画像間の輝度積算値の差を用いて自家蛍光を検出するものとしたが、これに限定されない。例えば、Z座標の異なる画像間で、輝点領域の輝度値がピーク値となる座標の変化が所定の閾値(第2閾値)よりも小さいものや、輝点領域の形状の変化が所定の閾値(第3閾値)よりも小さいものも、自家蛍光とみなすことができる。
 また、上記実施形態においては、実空間上で自家蛍光を分離できるようなフィルタ設計を並行して行うことも可能である。これにより、より確実に自家蛍光と蛍光物質による蛍光とを分離することができる。
[第3の実施形態]
 以下、第3の実施形態について図面を用いて説明する。第3の実施形態に係る生体物質定量システム100は、自家蛍光検出処理として、周波数解析による自家蛍光の除去(自家蛍光除去処理)と輝度積算値を用いた自家蛍光の特定(自家蛍光特定処理)とを含む。
 なお、第1の実施形態と同様の構成については、同一の符号を付して詳細な説明は省略する。
 はじめに、第2の実施形態と同様、免疫染色後の組織標本を顕微鏡画像取得装置1Aのステージに設置し、フォーカシングを蛍光ナノ粒子に対して行い、蛍光ナノ粒子に合焦した面(合焦面)を撮像する。続いて、合焦面を基準として、Z方向の上下に焦点位置を移動させ、所定の間隔(例えば、5um)を空けて複数の焦点面を撮像する。その後、組織標本30から第1の蛍光画像を生成し、これを画像処理装置2Aに送信する。
 図8に、画像処理装置2Aにおける生体物質定量処理3のフローチャートを示す。図8に示す生体物質定量処理3は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。かかるプログラムとしては、第1の実施形態及び第2の実施形態と同様に、たとえば「ImageJ」(オープンソース)が挙げられる。
 まず、顕微鏡画像取得装置1Aからの第1の蛍光画像が入力されると(ステップS31:入力工程)、自家蛍光除去処理を実行する(ステップS32)。ステップS32における自家蛍光除去処理は、第1の実施形態のステップS12における自家蛍光検出処理1と同様であるため、詳細な説明を省略する。即ち、離散フーリエ変換により第1の蛍光画像の周波数特性を求め(第1の変換工程)、高周波成分のみを抽出し(抽出工程)、逆離散フーリエ変換により自家蛍光を除去した第2の蛍光画像を得る(第2の変換工程)。なお、ステップS32の処理は、全ての第1の蛍光画像について実行する。
 続いて、第2の蛍光画像から輝点領域を抽出する(ステップS33)。なお、ステップS33における処理は、第1の実施形態に係るステップS13の処理と同様であるため、詳細な説明を省略する。なお、ステップS33の処理は、全ての第2の蛍光画像について実行する。
 次いで、第2の蛍光画像から得られた輝点領域画像について、自家蛍光特定処理を実行する(ステップS34)。ステップS34における自家蛍光特定処理は、第2の実施形態のステップS23における自家蛍光検出処理2と同様であるため、詳細な説明を省略する。即ち、各輝点領域の座標を特定し、輝度積算値を算出し(算出工程)、合焦面と他の焦点面との間で輝度積算値の差が所定の閾値(第1閾値)よりも小さいものを自家蛍光と判断して(判定工程)、定量解析の対象から除外する。
 ステップS34の処理の後、輝点領域が抽出された画像について、輝点数が計測される(ステップS35:定量工程)。即ち、ステップS34の自家蛍光検出処理によって自家蛍光が計測の対象から除外されているため、蛍光ナノ粒子の輝点のみが計測される。なお、ここでは単に輝点数を計測するものとしたが、例えば第1の蛍光画像と同一平面上かつ同一範囲の明視野画像を撮像して、細胞領域又は細胞核領域を抽出し、輝点領域画像と重ね合わせることで、細胞領域ごと又は細胞核領域ごとの輝点数を算出することができる。これにより、細胞内の目的生体物質の発現量を定量解析することが可能である。
 以上説明したように、第3の実施形態に係る生体物質定量システム100においては、自家蛍光検出処理としての自家蛍光除去処理と自家蛍光特定処理とを併用する。即ち、自家蛍光除去処理によって低周波成分を有した自家蛍光を除去するとともに、当該処理によっては除去しきれなかった自家蛍光を、自家蛍光特定処理によって検出して解析の対象から除外することによって、より定量解析の精度を向上させることができる。
[他の実施形態]
 その他、生体物質定量システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
 本実施形態では、汎用の顕微鏡画像取得装置1Aを用いて蛍光画像の合焦位置を特定している。顕微鏡画像取得装置1Aに代えて公知のホールスライドスキャナを用いてもよい。ホールスライドスキャナによれば、組織標本の厚さ方向(Z方向)に自動でピントを合わせるだけでなく、組織標本の長さおよび幅方向(X-Y方向)にもステージ移動が可能であり、広範囲の蛍光画像を生成することができる。ホールスライドスキャナでも、蛍光画像の合焦位置を特定した後は、焦点位置を、その特定した蛍光画像の合焦位置に自動で移動させうる。
 本実施形態では、生体サンプルとして組織切片を対象とし、蛍光マーカーとして蛍光ナノ粒子を含む免疫染色剤で組織標本を染色し、蛍光画像の合焦位置を特定している。生体サンプルの対象は培養細胞であってもよいし、遺伝子(DNA)でもよい。生体サンプルの対象が遺伝子である場合には蛍光マーカーとして蛍光色素を用いることができる。蛍光ナノ粒子も蛍光色素も蛍光マーカーの一例であり、その他の公知の蛍光マーカーが使用されてもよい。
 また、上記実施形態においては、蛍光ナノ粒子のみによって組織標本を染色するものとしたが、これに限定されず、もちろん複数の蛍光ナノ粒子を用い、あるいは蛍光ナノ粒子と他の蛍光色素とを用いて多重染色してもよい。これらの場合も、上記実施形態と同様に蛍光ナノ粒子に対してフォーカシングを行うことが有効である。
 また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
 本発明は、生体物質定量方法、画像処理装置及びプログラムに利用できる。
1A 顕微鏡画像取得装置
2A 画像処理装置
3A ケーブル
21 制御部(第1の変換手段、抽出手段、第2の変換手段、定量手段、算出手段、判定手段)
22 操作部
23 表示部
24 通信I/F(入力手段)
25 記憶部
26 バス
100 生体物質定量システム

Claims (9)

  1.  単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力工程と、
     前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換工程と、
     前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出工程と、
     前記抽出工程によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換工程と、
     前記第2の蛍光画像における蛍光輝点領域に基づいて、前記生体物質を定量する定量工程と、を含む
     生体物質定量方法。
  2.  前記第1の蛍光画像は、前記組織標本の高さ方向に所定の間隔毎に撮像して得られた複数枚の蛍光画像であり、
     前記第2の蛍光画像は、複数枚の前記第1の蛍光画像の各々について生成された複数枚の蛍光画像であり、
     複数枚の前記第2の蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出工程と、
     複数枚の前記第2の蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第1閾値よりも小さいか否かを判定する判定工程と、
     前記定量工程においては、前記判定工程において前記輝度積算値の差が所定の第1閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
     請求項1に記載の生体物質定量方法。
  3.  単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力工程と、
     複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出工程と、
     複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定工程と、
     前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量工程と、を含み、
     前記定量工程においては、前記判定工程において前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
     生体物質定量方法。
  4.  前記判定工程は、複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値のピーク値に該当する座標の変化が、所定の第3閾値よりも小さいか否かを判定する請求項3に記載の生体物質定量方法。
  5.  前記判定工程は、複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の形状の変化が、所定の第4閾値よりも小さいか否かを判定する請求項3又は4に記載の生体物質定量方法。
  6.  単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力手段と、
     前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換手段と、
     前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出手段と、
     前記抽出手段によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換手段と、
     前記第2の蛍光画像における蛍光輝点領域に基づいて、前記生体物質を定量する定量手段と、を備える
     画像処理装置。
  7.  単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力手段と、
     複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出手段と、
     複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定手段と、
     前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段と、を備え、
     前記定量手段は、前記判定手段によって前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
     画像処理装置。
  8.  単一又は複数種類の生体物質が染色された組織標本における、前記生体物質を定量するコンピューターを、
     単一又は複数種類の生体物質が染色された組織標本を撮像して得られた、前記生体物質の発現を蛍光輝点で表す第1の蛍光画像を入力する入力手段、
     前記第1の蛍光画像を実空間から周波数空間に変換する第1の変換手段、
     前記周波数空間の画像から、所定の周波数よりも高い周波数成分のみの画像を抽出する抽出手段、
     前記抽出手段によって抽出された周波数成分の画像を実空間に変換して第2の蛍光画像を生成する第2の変換手段、
     前記第2の蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段
     として機能させるためのプログラム。
  9.  単一又は複数種類の生体物質が染色された組織標本における、前記生体物質を定量するコンピューターを、
     単一又は複数種類の生体物質が染色された組織標本を、当該組織標本の高さ方向に所定の間隔毎に撮像して得られた、前記生体物質の発現を蛍光輝点で表す複数枚の蛍光画像を入力する入力手段、
     複数枚の前記蛍光画像から蛍光輝点領域を抽出し、当該蛍光輝点領域の輝度値の積算値である輝度積算値を算出する算出手段、
     複数枚の前記蛍光画像の間で、同一の蛍光輝点領域の前記輝度積算値の差が所定の第2閾値よりも小さいか否かを判定する判定手段、
     前記蛍光画像における蛍光輝点領域に基づいて前記生体物質を定量する定量手段、として機能させるためのプログラムであって、
     前記定量手段は、前記判定手段によって前記輝度積算値の差が所定の第2閾値よりも小さいと判定された蛍光輝点領域を定量の対象から除外する
     プログラム。
PCT/JP2018/039276 2017-11-06 2018-10-23 生体物質定量方法、画像処理装置及びプログラム WO2019087853A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019551144A JP7160047B2 (ja) 2017-11-06 2018-10-23 生体物質定量方法、画像処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-213471 2017-11-06
JP2017213471 2017-11-06

Publications (1)

Publication Number Publication Date
WO2019087853A1 true WO2019087853A1 (ja) 2019-05-09

Family

ID=66331863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039276 WO2019087853A1 (ja) 2017-11-06 2018-10-23 生体物質定量方法、画像処理装置及びプログラム

Country Status (2)

Country Link
JP (1) JP7160047B2 (ja)
WO (1) WO2019087853A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196203A1 (ja) * 2021-03-17 2022-09-22 コニカミノルタ株式会社 画像形成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145871A (ja) * 1994-09-19 1996-06-07 Hitachi Ltd 粒子画像の領域分割方法及び装置
JPH11112814A (ja) * 1997-10-03 1999-04-23 Fuji Photo Film Co Ltd 網点画像データの修正方法およびその装置、網点閾値データの修正方法
JP2002222414A (ja) * 2001-01-25 2002-08-09 Toyota Central Res & Dev Lab Inc 画像処理方法及び画像処理装置
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2015021889A (ja) * 2013-07-22 2015-02-02 コニカミノルタ株式会社 表面プラズモン増強蛍光測定方法および表面プラズモン増強蛍光測定装置
WO2015163211A1 (ja) * 2014-04-21 2015-10-29 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
JP2016001141A (ja) * 2014-06-12 2016-01-07 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145871A (ja) * 1994-09-19 1996-06-07 Hitachi Ltd 粒子画像の領域分割方法及び装置
JPH11112814A (ja) * 1997-10-03 1999-04-23 Fuji Photo Film Co Ltd 網点画像データの修正方法およびその装置、網点閾値データの修正方法
JP2002222414A (ja) * 2001-01-25 2002-08-09 Toyota Central Res & Dev Lab Inc 画像処理方法及び画像処理装置
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2015021889A (ja) * 2013-07-22 2015-02-02 コニカミノルタ株式会社 表面プラズモン増強蛍光測定方法および表面プラズモン増強蛍光測定装置
WO2015163211A1 (ja) * 2014-04-21 2015-10-29 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
JP2016001141A (ja) * 2014-06-12 2016-01-07 コニカミノルタ株式会社 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196203A1 (ja) * 2021-03-17 2022-09-22 コニカミノルタ株式会社 画像形成方法

Also Published As

Publication number Publication date
JP7160047B2 (ja) 2022-10-25
JPWO2019087853A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
WO2016042963A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US10656092B2 (en) Biological material quantifying method, image processing device, pathological diagnosis support system and recording medium
JP6597316B2 (ja) 画像処理装置及びプログラム
JP6547424B2 (ja) 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP6960224B2 (ja) 生体物質定量方法、病理診断支援システム及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JPWO2017126420A1 (ja) 画像処理装置及びプログラム
JP2020173204A (ja) 画像処理システム、画像処理方法及びプログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
US11423533B2 (en) Image processing method and image processing system
WO2019087853A1 (ja) 生体物質定量方法、画像処理装置及びプログラム
JP7235036B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
WO2021192910A1 (ja) 画像生成方法、画像生成装置及びプログラム
JP6578928B2 (ja) 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
US11600020B2 (en) Biological substance quantification method, image processing device, pathological diagnosis support system, and recording medium storing computer readable program
JP6801653B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
WO2020262117A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2021124866A1 (ja) 画像処理方法、画像処理システム及びプログラム
WO2020209217A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2021039592A1 (ja) 創薬支援方法、創薬支援装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872974

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551144

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18872974

Country of ref document: EP

Kind code of ref document: A1