WO2022059312A1 - 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム - Google Patents

合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム Download PDF

Info

Publication number
WO2022059312A1
WO2022059312A1 PCT/JP2021/026090 JP2021026090W WO2022059312A1 WO 2022059312 A1 WO2022059312 A1 WO 2022059312A1 JP 2021026090 W JP2021026090 W JP 2021026090W WO 2022059312 A1 WO2022059312 A1 WO 2022059312A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sections
section
images
focus image
Prior art date
Application number
PCT/JP2021/026090
Other languages
English (en)
French (fr)
Inventor
敦 長谷川
紘明 剣持
淳弥 若原
佳祐 山口
光太郎 門田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2022550371A priority Critical patent/JPWO2022059312A1/ja
Publication of WO2022059312A1 publication Critical patent/WO2022059312A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material

Definitions

  • the present invention relates to an in-focus image selection method, an in-focus image selection device, and an in-focus image selection program.
  • Immunostaining is often used to stain tissue specimens.
  • immunostaining methods include enzyme antibody methods, fluorescent antibody methods and the like.
  • an optical system having a high magnification and a large numerical aperture (NA) is required.
  • NA numerical aperture
  • the magnification and numerical aperture of the optical system increase, the depth of focus becomes shallower, so it is important to adjust the in-focus position. "Focusing" is so-called focusing.
  • the fluorescent bright spot may be lost in the microscope image (fluorescent image) including the fluorescent bright spot. Further, even if the fluorescent bright spot is not lost, the signal noise (S / N) ratio is lowered because the luminance of the fluorescent bright spot is lowered, and the background noise is easily affected.
  • Patent Document 1 captures a tissue sample while changing the focal position in the optical axis direction to acquire a plurality of images, and obtains a plurality of images from these plurality of images, and the luminance integral value of the entire image is obtained from these plurality of images. Discloses a method of selecting the image that maximizes the image as the in-focus image.
  • FIG. 1 is a schematic cross-sectional view of a sample (for example, a tissue sample) placed on a slide glass.
  • the solid line and the broken line in FIG. 1 indicate the focal planes when the tissue specimens are photographed a plurality of times while the focal positions are different in the optical axis direction of the microscope.
  • the tissue specimen has a portion 1 having a large number of fluorescent labels and a portion 2 having a small number of fluorescent labels.
  • the image passing through the portion 1 having many fluorescent labels shown by the solid line in FIG. 1 is the in-focus image. Will be selected as. However, when the image shown by this solid line is selected, the portion 2 having a small number of fluorescent labels will be ignored. As described above, in the method of Patent Document 1, it may not be possible to obtain an in-focus image in which a wide range of interest regions and a plurality of interest regions are taken into consideration.
  • An object of the present invention is to provide an in-focus image selection method, an in-focus image selection device, and an in-focus image selection program capable of obtaining an in-focus image in consideration of a wide range of interest regions and a plurality of interest regions. be.
  • the in-focus image selection method includes a step of obtaining a plurality of images taken at different focal positions in the optical axis direction from a sample fluorescently labeled with a target substance, and a step of obtaining the plurality of images. For each, a focusing image is selected from the plurality of images based on the step of dividing the image into a plurality of sections, the step of extracting the fluorescence information for each section, and the fluorescence information for each extracted section. It has a process.
  • the in-focus image selection apparatus includes an image acquisition unit that obtains a plurality of images taken at different focal positions in the optical axis direction from a sample fluorescently labeled with a target substance, and the plurality of images. It has a processing unit for selecting an in-focus image from an image, and the processing unit divides an image into a plurality of sections for each of the plurality of images, extracts fluorescence information for each section, and extracts the extraction. An in-focus image is selected from the plurality of images based on the fluorescence information for each section.
  • the in-focus image selection program includes a step of obtaining a plurality of images taken at different focal positions in the optical axis direction from a sample fluorescently labeled with a target substance on a computer, and the plurality of images. For each of the images of, the step of dividing the image into a plurality of sections, the step of extracting the fluorescence information for each section, and the focusing image from the plurality of images based on the fluorescence information for each of the extracted sections. The process of selecting and executing.
  • an in-focus image selection method an in-focus image selection device, and an in-focus image selection program capable of obtaining an in-focus image in consideration of a wide range of interest regions and a plurality of interest regions. can.
  • FIG. 1 is a schematic cross-sectional view of a tissue specimen for explaining the problems of the prior art.
  • FIG. 2 is a diagram showing a schematic configuration of a focusing image selection device.
  • FIG. 3 is a flowchart showing a focused image selection method according to the first embodiment.
  • FIG. 4A is a diagram showing how the image is divided into sections
  • FIG. 4B is a diagram showing how the maximum virtual total value is calculated based on the fluorescence information for each section
  • FIG. 4C is a diagram showing a focused image. It is a figure which shows the state.
  • FIG. 5A is a diagram showing an example of a graph in which a parabola is obtained
  • FIG. 5B is a diagram showing an example of a graph in which a parabola is not obtained.
  • FIG. 6 shows the distribution of clusters.
  • FIG. 7 is a flowchart showing a focused image selection method according to the second embodiment.
  • FIG. 8 shows how the evaluation area is extracted.
  • 9A, B, and C show the first region of interest in the fluorescence image
  • FIGS. 9D, E, and F show the second region of interest in the fluorescence image.
  • FIG. 2 is a diagram showing a schematic configuration of a focused image selection device according to an embodiment of the present invention.
  • the in-focus image selection device 100 includes an image acquisition unit 10, a control processing unit 60, and a display unit 70.
  • the image acquisition unit 10 obtains a plurality of images taken at different focal positions in the optical axis direction from the sample (for example, a tissue sample) 30 fluorescently labeled with the target substance.
  • the image acquisition unit 10 may acquire a plurality of images by photographing the tissue specimen 30 by itself, or may acquire a plurality of images by inputting a plurality of images photographed by another device.
  • the image acquisition unit 10 is a fluorescence microscope having an image pickup device 20.
  • the plurality of images obtained by the image acquisition unit 10 are sent to the control processing unit 60.
  • the image acquisition unit (fluorescence microscope) 10 includes a stage 12, an objective lens 14, a lens barrel 16, an eyepiece 18, and an image sensor 20.
  • a tissue specimen 30 is installed on the stage 12.
  • the lens barrel 16 contains a light source 40 and a fluorescent cube 50.
  • the fluorescent cube 50 has an excitation filter 52, a dichroic mirror 54, and an absorption filter 56.
  • the light source 40 emits excitation light.
  • the excitation filter 52 is a filter that transmits only the excitation light.
  • the dichroic mirror 54 is a mirror that reflects the excitation light from the light source 40 toward the objective lens 14 and transmits the fluorescence from the tissue sample 30 toward the image pickup element 20.
  • the absorption filter 56 is a filter that blocks excitation light and allows only fluorescence to pass through.
  • the excitation light emitted from the light source 40 passes through the excitation filter 52, is reflected by the dichroic mirror 54, passes through the objective lens 14, and irradiates the tissue sample 30.
  • fluorescence is emitted from the tissue specimen 30, and the fluorescence is focused by the objective lens 14 and passes through the dichroic mirror 54 and the absorption filter 56. After that, the fluorescence is observed as a fluorescence image through the eyepiece 18 and is imaged by the image pickup device 20.
  • the image acquisition unit 10 is connected to a control processing unit 60 that controls these and performs various processes.
  • the control processing unit 60 includes a control unit 62, a processing unit 64, and a storage unit 66.
  • the control unit 62 is connected to the stage 12 and controls the raising and lowering of the stage 12 to control the focal position (height position). Further, the control unit 62 is connected to the image pickup element 20 and controls the image pickup element 20 to capture a plurality of fluorescent images. The obtained plurality of images are sent to the processing unit 64 and the storage unit 66 via the control unit 62. Further, the control unit 62 is connected to the light source 40 and controls turning on and off of the light source 40.
  • control unit 62 is connected to the display unit 70, and causes the display unit to display a plurality of images, selected in-focus images, and the like.
  • the processing unit 64 performs a process of selecting an in-focus image from a plurality of images under the instruction of the control unit 62. The process of selecting an in-focus image from a plurality of images (focused image selection method) will be described in detail separately.
  • the storage unit 64 stores a focusing image selection program for executing a process of selecting an in-focus image from a plurality of images (focusing image selection method), and the control unit 62 and the processing unit 64 store the in-focus image selection program. Perform various processes based on the program. In addition, a plurality of images, selected in-focus images, and the like are stored in the storage unit 64, if necessary.
  • the control processing unit 60 is, for example, a computer having a CPU, a memory, or the like.
  • the display unit 70 is an arbitrary component, and under the instruction of the control unit 62, displays a plurality of images, selected in-focus images, and the like.
  • the display unit 70 is, for example, a display or a printer.
  • Specimen 30 includes tissue specimens directly collected from examinees and experimental animals, cultured cells cultured in vitro, and the like.
  • the tissue specimen 30 is a tissue section containing the target substance, and the target substance is fluorescently labeled.
  • the method for fluorescently labeling the target substance is not particularly limited.
  • an antibody labeled with a fluorescent substance may be directly or indirectly bound to the target substance.
  • the primary antibody labeled with the fluorescent substance is bound to the target substance.
  • the primary antibody is bound to the target substance and the fluorescent substance-labeled secondary antibody is bound to the primary antibody.
  • the target substance is labeled with fluorescent particles.
  • the tissue specimen 30 may be stained by another staining method such as hematoxylin-eosin staining.
  • the tissue specimen 30 is installed on the stage 12 of the image acquisition unit 10.
  • Target substances are substances that are to be detected or quantified mainly from the viewpoint of pathological diagnosis.
  • the target substance is a biological substance present in a tissue section, particularly a protein (antigen).
  • Typical target substances include biological substances that are expressed in the cell membranes of various cancer tissues and can be used as biomarkers.
  • the primary antibody an antibody or a fragment thereof that specifically binds to the target substance can be used.
  • an anti-HER2 antibody can be used
  • HER3 is the target substance
  • an anti-HER3 antibody can be used.
  • the secondary antibody an antibody that specifically binds to the primary antibody can be used. Both the primary antibody and the secondary antibody may be polyclonal antibodies, but monoclonal antibodies are preferable from the viewpoint of quantitative stability.
  • the type of animal (immune animal) that produces the antibody is not particularly limited, and may be appropriately selected from known animals such as mice, rats, guinea pigs, rabbits, goats, and sheep.
  • Fluorescent particles are nano-sized particles that emit fluorescence when irradiated with excitation light, and are particles that can emit fluorescence of sufficient intensity to represent the target substance as a bright spot one molecule at a time.
  • fluorescent particles quantum dots (semiconductor nanoparticles) and fluorescent substance-integrated nanoparticles are preferably used.
  • semiconductor nanoparticles containing a II-VI group compound, a III-V group compound or an IV group element are used.
  • semiconductors constituting semiconductor nanoparticles include CdSe, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, Ge and the like.
  • Fluorescent substance-accumulated nanoparticles are based on particles made of organic or inorganic substances, and a plurality of fluorescent substances (for example, the above-mentioned quantum dots and fluorescent dyes) are contained therein or adsorbed on the surface thereof. It is a nano-sized particle. It is preferable that the fluorescent substance-accumulated nanoparticles have a substituent or a site having opposite charges between the mother body and the fluorescent substance, and an electrostatic interaction acts. Examples of fluorescent substance-accumulated nanoparticles include quantum dot-accumulated nanoparticles, fluorescent dye-accumulated nanoparticles, and the like. Quantum dot integrated nanoparticles are nanoparticles in which the quantum dots are contained in or adsorbed on the surface of the matrix.
  • Fluorescent dye-accumulated nanoparticles are nanoparticles in which the fluorescent dye is contained in or adsorbed on the surface of the matrix.
  • the quantum dot or fluorescent dye may or may not be chemically bonded to the mother body itself as long as it is dispersed inside the mother body. ..
  • organic substances constituting the matrix include resins generally classified as thermosetting resins such as melamine resin, urea resin, aniline resin, guanamine resin, phenol resin, xylene resin, and furan resin; styrene resin and acrylic resin. , Acrylonitrile resin, AS resin (acrylonitrile-styrene copolymer), ASA resin (acrylonitrile-styrene-methyl acrylate copolymer), and other resins generally classified as thermoplastic resins; other resins such as polylactic acid. Contains polysaccharides. Examples of inorganic substances constituting the mother body include silica and glass.
  • fluorescent dyes examples include rhodamine-based dye molecules, squarylium-based dye molecules, cyanine-based dye molecules, aromatic ring-based dye molecules, oxazine-based dye molecules, carbopyronine-based dye molecules, and pyrromesen-based dye molecules.
  • fluorescent dyes Alexa Fluor (registered trademark, manufactured by Invigen) dye molecule, BODIPY (registered trademark, manufactured by Invigen) dye molecule, Cy (registered trademark, manufactured by GE Healthcare) dye.
  • the method for fluorescently labeling the target substance in the tissue section is not particularly limited, and can be appropriately selected from known methods.
  • the paraffin section may be deparaffinized, activated by the target substance, fluorescently immunostained, and encapsulated.
  • the specimen (for example, tissue specimen) 30 may be stained so that the morphology of cells, tissues, organs, etc. can be observed in a bright field, in addition to the fluorescent immunostaining.
  • staining with eosin in which cytoplasm, stroma, various fibers, erythrocytes, keratinized cells and the like are stained in red to deep red, is standardly used.
  • staining with hematoxylin in which cell nuclei, limestone, cartilage tissue, bacteria, mucus, etc. are stained in blue to pale blue, is also used as standard.
  • a method of simultaneously performing these two stainings is known as hematoxylin-eosin staining (HE staining).
  • FIG. 3 is a flowchart of the in-focus image selection method according to the first embodiment.
  • the in-focus image selection method according to the first embodiment is a step of obtaining a plurality of images having different focal positions (step S0) and a step of dividing the image into a plurality of sections (step S1).
  • a step of extracting fluorescent information for each section (step S2) and a step of selecting a focused image from a plurality of images based on the fluorescent information for each section (step S3) are included.
  • the in-focus image selection method is performed on a sample (for example, a tissue sample) 30 after fluorescence staining, for example, by using the in-focus image selection device 100.
  • a sample for example, a tissue sample
  • a plurality of images taken at different focal positions in the optical axis direction are obtained from a sample (for example, a tissue sample) 30 fluorescently labeled with a target substance (step S0).
  • a sample for example, a tissue sample
  • the tissue specimen 30 after fluorescent staining is installed on the stage 12 of the image acquisition unit (fluorescence microscope) 10.
  • a plurality of fluorescent images are acquired from the tissue specimen 30 while changing the position of the focal plane in the optical axis direction of the objective lens 14.
  • the acquisition of the fluorescent image can be executed in collaboration with the program stored in the control unit 62 and the storage unit 66.
  • the control unit 62 executes each process according to the program. Examples of such a program include "ImageJ" (open source).
  • image processing software By using such image processing software, the process of extracting fluorescent bright spots of a predetermined wavelength (color) from a fluorescent image and calculating the brightness value and the number of fluorescent particles in the bright spot region is semi-automatically and quickly. Can be done.
  • the control unit 62 adjusts the position of the stage 12 to position the tissue specimen 30 in the vicinity of the objective lens 14. After that, the control unit 62 turns on the light source 40 and irradiates the tissue specimen 30 with the excitation light. As a result, the fluorescent particles in the tissue specimen 30 emit fluorescence, and fluorescent bright spots appear.
  • the control unit 62 causes the image pickup device 20 to image the fluorescence image. After that, the control unit 62 generates a plurality of fluorescent images from the fluorescent images based on the image pickup result of the image pickup device 20, and acquires a plurality of images having different focal plane positions.
  • the distance between the focal planes of each image does not have to be constant, but is preferably constant (see FIG. 1).
  • a plurality of images may be obtained by inputting an image taken by an external device, or an image taken in advance may be used.
  • the image is divided into a plurality of sections (see step S1 and FIG. 4A).
  • FIG. 4A is a schematic view showing how an image is divided into a plurality of sections.
  • each of the seven images having different focal positions is divided into 16 rectangular sections.
  • the number and shape of the compartments per image is not particularly limited, but it is preferable that the plurality of images are divided into a plurality of compartments with the same positional relationship. Examples of parcel shapes include rectangles, squares, triangles, hexagons, and so on.
  • the length of one side of the section may be appropriately set according to the purpose.
  • the length of one side of the compartment is, for example, less than 10 ⁇ m, 10 ⁇ m or more and less than 200 ⁇ m, and 200 ⁇ m or more.
  • the length of one side is less than 10 ⁇ m, it is suitable for analysis in which detailed biometric information (detailed information such as cytoplasm and nucleus) inside and outside the cell unit is interested.
  • the length of one side is 10 ⁇ m or more and less than 200 ⁇ m, we are interested in biological information in units of several to several hundred cell groups (tumor region, part of non-tumor region, small organs such as capillaries). Suitable for some analysis.
  • the length of one side is 200 ⁇ m or more, analysis that is interested in biological information in units of regions of 100 or more cells (part or all of tumor regions, tissue sections, part or all of organs), etc. Suitable for.
  • step S2 the fluorescence information for each section divided in step S1 is extracted (step S2).
  • the signal conversion process low pixel values that can be noise and low frequency components using Fourier transform are cut. Specifically, it cuts dark current noise and some autofluorescent components. This makes it possible to easily extract the fluorescent component existing in the form of particles in the compartment.
  • the signal conversion process is an arbitrary step and may not be performed.
  • the pixel values corresponding to the fluorescence information are aggregated for each section.
  • the type of fluorescence information is not particularly limited, but is, for example, fluorescence intensity. This fluorescence intensity is preferably the fluorescence intensity of the fluorescent component present in the form of particles in the compartment. Further, the fluorescence information for each section is, for example, a total value obtained by adding up the pixel values of the sections. If it is desired to perform an analysis in consideration of the distribution of pixel values in the partition, the maximum value, the mode value, the median value, the average value, etc. of the pixel values may be aggregated.
  • the number of images is 7, and each image has 16 sections, so that the fluorescence information of 112 sections can be obtained.
  • a focused image is selected from a plurality of images based on the fluorescence information for each section extracted in step S2 (see steps S3, FIG. 4B and FIG. 4C).
  • How to select the in-focus image based on the fluorescence information for each section may be appropriately selected according to the purpose.
  • An example of a method for selecting an in-focus image will be described below.
  • the image having the largest number of sections satisfying the predetermined standard is selected as the in-focus image.
  • the predetermined standard is not particularly limited and may be appropriately set according to the purpose.
  • the total value of the fluorescence intensity of a certain section of a certain image is determined based on the maximum virtual total value calculated from the total value of the fluorescence intensity of each section of the position corresponding to the certain section of a plurality of images. Whether or not it is equal to or higher than a threshold value (for example, 70% of the maximum virtual total value) is used as a predetermined criterion.
  • a threshold value for example, 70% of the maximum virtual total value
  • FIG. 4B is a diagram for explaining a method of calculating the maximum virtual total value. With reference to FIG. 4B, a method of calculating the maximum virtual total value and how the predetermined standard is determined will be described.
  • the graph on the right side of FIG. 4B is a graph plotting the total value of the fluorescence intensities of the seven compartments (FIG. 5A is also the same graph). As shown in this graph, even in the image (section) of the same region, the fluorescence intensity changes when the focal position is different. Then, when the focal position is optimal (that is, when the subject is in focus), the fluorescence intensity is maximized. In the example shown in this graph, the image No.
  • the section included in 5 is an image having the maximum total value of fluorescence intensity.
  • the focal position where the total value of the fluorescence intensities is maximized is the image No. It is not always the focal position of 5. Therefore, the total value of the fluorescence intensities (maximum virtual total value) when the focal position is optimal is calculated by using the total value of the fluorescence intensities of a plurality of sections existing at the same position.
  • the first compartment having the maximum total fluorescence intensity (the compartment included in image No. 5 in the example of FIG.
  • the focal position passes through the sum of the fluorescence intensities of the second section and the third section (the section included in image No. 4 and the section included in image No. 6 in the example of FIG. 4B) adjacent to the first section.
  • the parabolic line is obtained, and the total value of the fluorescence intensities corresponding to the apex of the parabolic line is set as the maximum virtual total value.
  • a threshold value for determining whether or not the total value of the fluorescence intensities of each section can be said to be the total value of the fluorescence intensities in the focused image is set.
  • 70% of the maximum virtual total value is set as a threshold value, and a section in which the total value of the fluorescence intensity is equal to or higher than this threshold value is accepted.
  • the image No. 3, No. 4, No. 5 and No. 6 is a pass. Such a pass / fail judgment is made for all sections of all images.
  • 70% of the maximum virtual total value is set as the threshold value, but the threshold value may be adjusted as appropriate.
  • the threshold value may be, for example, 60%, 70%, 80%, 90%.
  • FIG. 4C is a diagram showing how the image having the largest number of passing sections satisfying a predetermined criterion is selected as the focusing section.
  • the black part in the left figure of FIG. 4C shows the pass section, and the white part shows the fail section.
  • the middle graph in FIG. 4C shows the number of pass sections for each image.
  • the figure on the right of FIG. 4C shows the image No. having the largest number of passing sections. 4 is shown to be selected as the in-focus image.
  • the image is selected or weakly focused on the part (section) where the fluorescence intensity is particularly strong. It is possible to suppress that the portion (section) having the fluorescence intensity is neglected and the image is selected (see FIG. 1). This makes it possible to select an in-focus image in consideration of the entire image.
  • the maximum virtual total value is obtained by using a quadratic function (parabola) that passes through at least three points as a general interpolation method that reproduces the local structure well.
  • the method of finding is not limited to this.
  • the maximum virtual total value may be obtained, for example, by increasing the number of points used and then performing regression analysis using functions such as Gaussian functions and trigonometric functions and polynomials including these. Obtaining the maximum virtual sum value from these is not a local structure of a part of the tissue sample in the thickness direction, but if it is interested in reflecting a wide range of fluorescence information in the thickness direction on average, and also taken. It is useful when there is a reason such as wanting to reduce the fluctuation error caused by the fluctuation of the fluorescent light source at the time.
  • the number of sections that meet a predetermined standard is calculated by excluding multiple sections at positions corresponding to a certain section. You may. Further, when the number of excluded sections is equal to or larger than a preset threshold value, it may be determined that reshooting is necessary. Further, regarding the image selected as the in-focus image, if the ratio of the passing sections satisfying the predetermined criteria to all the sections is equal to or less than a preset threshold value, it may be determined that re-imaging is necessary.
  • FIG. 5A shows an example of a graph when the maximum virtual total value (virtual vertex) can be obtained
  • FIG. 5B shows an example of a graph when the maximum virtual total value (virtual vertex) cannot be obtained.
  • the vertices of the parabola are considered to be outside the graph.
  • the section may not be taken into account in all images, or the section may be regarded as a fail section in all images. Further, in such a case, images having different focal positions may be retaken. Further, if the number of passing sections is less than or equal to a preset number, re-imaging may be performed.
  • the image with the largest number of passing sections was selected as the in-focus image, but the method of selecting the in-focus image is not limited to this.
  • the in-focus image may be selected using an index such as the ratio of the number of passed sections to failed sections, the aggregated cluster area, and the dispersion of clusters for passed or failed sections.
  • the black portion is a pass section (or a fail section).
  • FIG. 6 there are five clusters A to E in which pass sections (or fail sections) are continuous.
  • the areas of the clusters A, B, C, D, and E are 4, 7, 8, 4, and 1, respectively, and the total area is 24.
  • the cluster area is aggregated as described above in each image and the image is selected based on this.
  • the cluster area may be aggregated in each image, and the image may be selected based on the maximum value, the average value, the mode value, the standard deviation, the median value, and the like of the cluster area.
  • Such an image selection method is useful when it is necessary to analyze continuous pass sections in a certain area or more, such as a tissue specimen in which the distribution of biological substances such as brain cells is uneven.
  • the selection of the in-focus image uses the variance of the cluster area as an index, in each image, from the reference point on the image (set based on the average coordinates of all passing sections, specific tumor area or organ),
  • the variation in the center of gravity of the cluster may be selected as an index, or the aggregated value of the distances between the clusters (maximum value, average value, mode value, standard deviation, median value) may be selected as an index.
  • Such a method for selecting a focused image is useful when the drug effect of a specific organ or a specific tumor region and its surroundings is interested in pharmacokinetic observation or the like.
  • FIG. 7 is a flowchart of the in-focus image selection method according to the second embodiment.
  • the in-focus image selection method according to the second embodiment is different from the in-focus image selection method according to the first embodiment in that it has step SA and step SB.
  • step SA and step SB will be described.
  • steps SA and SB may be performed immediately before any of step S0, step S1, and step S2 as long as they are performed in this order.
  • a transmission field image of a tissue specimen fluorescently labeled with a target substance is obtained (step SA).
  • the tissue specimen 30 after fluorescent staining is installed on the stage 12 of the image acquisition unit (fluorescence microscope) 10.
  • the control device 60 is used to acquire a transmission field image of the tissue specimen 30.
  • the acquisition of the transmission field image may be performed in the same manner as the acquisition of the fluorescence image.
  • tissue sample 30 When the tissue structure cannot be discriminated by observing the tissue sample 30 as it is in a transmission field, it is preferable to stain the tissue sample 30.
  • staining with eosin in which cytoplasm, stroma, various fibers, erythrocytes, keratinized cells and the like are stained in red to deep red, is standardly used.
  • staining with hematoxylin in which cell nuclei, limestone, cartilage tissue, bacteria, mucus, etc. are stained in blue to pale blue, is also used as standard.
  • a method of simultaneously performing these two stainings is known as hematoxylin-eosin staining (HE staining).
  • the transmitted visual field image may be obtained by inputting an image taken by an external device, or may be taken in advance.
  • the region of interest in the tissue sample is extracted from the transmitted visual field image (step SB).
  • the tissue specimen is nuclear-stained with hematoxylin
  • the region including the non-observation target can be excluded from the evaluation region.
  • a glass region in which a sample does not exist or a region (non-cell region, stromal region, etc.) including a region other than the observation target can be excluded from the evaluation region as a non-interested region.
  • Such a region of interest or a region of non-interest can be specified by using general-purpose image analysis software such as ImageJ or Photoshop.
  • the region of interest can be specified by the shape of the tumor region or the like, and the region of interest or the region of non-interest can be specified by referring to the calculation information by machine learning, deep learning, or the like.
  • the non-interested area can be freely set according to the purpose of observation.
  • the non-interested area can be an area containing a certain amount or more that is not intended to be observed. Examples of things that you do not want to observe here include glass (that is, the part without a sample), dust, interstitium when you want to observe cells, and places where fluorescent substances are non-specifically adsorbed. ..
  • a region including a non-observation target may be regarded as a non-observation region, and a region in which a certain amount or more of the non-observation target exists or occupies a certain ratio.
  • the area may be a non-interested area.
  • the extraction of the fluorescence information for each section in step S2 may be performed only in the section that became the area of interest or the section that did not become the non-interest area based on the result of step SB.
  • the selection of the in-focus image in step S3 may be performed only based on the fluorescence information of the section that became the region of interest based on the result of step SB or the section that did not become the non-interested region.
  • FIG. 8 shows how the evaluation area is extracted.
  • the hatched region is excluded from the evaluation because the glass region occupies a large proportion.
  • Example 1 seven fluorescent images were taken while changing the focal position of the tissue section of human breast tissue, and one in-focus image was selected from these seven fluorescent images.
  • Example 2 the in-focus image was selected by using the in-focus image selection method according to the first embodiment.
  • Example 2 the in-focus image was selected by using the in-focus image selection method according to the second embodiment.
  • the comparative example the in-focus image was selected by using the conventional in-focus image selection method.
  • the target substance was HER2 known as a tumor marker, and HER2 in the tissue section was fluorescently labeled by binding an anti-HER2 antibody labeled with Cy5 encapsulated silica nanoparticles (fluorescent particles).
  • Example 1 (1) Preparation of Fluorescently Labeled Antibodies Cy5-encapsulating silica nanoparticles were prepared and bound to an anti-HER2 antibody by the procedure described in Examples of Patent Document 1.
  • the in-focus image selection method according to the first embodiment is executed, and seven fluorescent images are executed. And selected an in-focus image from these 7 fluorescent images.
  • the imaging magnification was set to 20 times, the excitation light with a wavelength of 560 to 600 nm was irradiated, and the fluorescence image emitted from the tissue specimen was photographed.
  • the exposure conditions for fluorescence photography were adjusted in advance so that the number of pixels visually saturated was reduced.
  • Fluorescent images were taken while gradually switching the position in the height direction (Z-axis direction) of the stage, and seven fluorescent images having different focal positions in the optical axis direction of the objective lens were acquired.
  • the Z stack conditions the total width of the Z stack is 6 ⁇ m, the focal length interval between the images is 1.0 ⁇ m, and the image Nos. They were named 1, 2, 3, 4, 5, 6 and 7.
  • TIFF was used as the image format, and the image bit depth was set to 8 bits.
  • Each of the seven images obtained was divided into multiple sections.
  • the size of the compartment was 170 ⁇ m ⁇ 170 ⁇ m.
  • Signal processing and pixel value aggregation were performed in each section. In the signal processing, noise cut (low pixel value cut) and high frequency component extraction were performed. In the aggregation of pixel values, the total value of pixel values was calculated for each section.
  • the total value of the fluorescence intensity is compared for the sections (7 sections) at the same position in each image, and the first section with the maximum total fluorescence intensity among these 7 sections and the focal position are in this first section. Adjacent second and third compartments were determined. A parabola passing through the sum of the fluorescence intensities of the first section, the second section, and the third section was obtained, and the sum of the fluorescence intensities corresponding to the vertices of the parabola was used as the maximum virtual total value in the section at this position. Then, for these 7 sections, if the total value of the fluorescence intensity is 70% or more of the maximum virtual total value, it is determined to be acceptable, and if it is less than 70%, it is determined to be unacceptable (see FIGS. 4B and 5A). .. In addition, image No. 1 or image No. When the section included in 7 is the first section, all the sections at that position are regarded as rejected sections (see FIG. 5B). The above processing was performed for all sections of each image.
  • Example 2 (1) Preparation of fluorescently labeled antibody and fluorescent immunostaining of tissue specimens Fluorescent immunostaining of tissue specimens was performed in the same manner as in Example 1. Hematoxylin staining was also performed on the tissue specimens.
  • the in-focus image selection method according to the second embodiment is executed, and seven fluorescent images are taken. And selected an in-focus image from these 7 fluorescent images.
  • Example 2 is different from Example 1 only in that the steps corresponding to step SA and step SB shown in FIG. 7A are performed, and therefore only these steps will be described.
  • the region stained with hematoxylin was extracted from the transmission visual field image of the tissue specimen by color deconvolution.
  • a binarization treatment was performed, and pixels having a hematoxylin staining intensity of a certain level or higher were extracted.
  • Example 2 No. The image of 4 was selected as the in-focus image. Image No. The first region of interest in 4 is shown in FIG. 9B, and the second region of interest is shown in FIG. 9E. The evaluation results are shown in Table 1 below.
  • Example 1 The images selected in Example 1, Example 2, and Comparative Example were evaluated as to whether or not they were appropriate as in-focus images.
  • the evaluation was performed for the first interest region and the second interest region in the image by visual judgment and the total value of the fluorescence intensity. In the visual judgment, those that were well in focus were marked with ⁇ , those that were in focus were marked with ⁇ , and those that were not in focus were marked with ⁇ .
  • the total fluorescence intensity value the total fluorescence intensity value was calculated by the same method as in Patent Document 1, assuming that the region of interest is the entire image.
  • each of the first area of interest and the second area of interest was regarded as one section, and the ratio of the total value of the fluorescence intensity when the maximum virtual total value of this section was set to 100% was calculated.
  • the total fluorescence intensity value indicates that the focus is closer to 100%.
  • Example 1 or Example 2 Comparing the image selected in Example 1 or Example 2 with the image selected in Comparative Example, the image selected in Example 1 or Example 2 was more in focus. Further, when the image selected in Example 1 and the image selected in Example 2 were compared, the image selected in Example 2 was more in focus.
  • the in-focus image selection method, the in-focus image selection device, and the in-focus image selection program according to the present invention are useful for pathological diagnosis using a sample (for example, a tissue sample), for example.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Biophysics (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本発明は、広範囲にわたる関心領域、および複数の関心領域が考慮された合焦画像を得ることができる合焦画像選定方法を提供することに関する。合焦画像選定方法は、標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る工程と、前記複数の画像のそれぞれについて、画像を複数の区画に分割する工程と、前記区画ごとの蛍光情報を抽出する工程と、前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する工程と、を有する。

Description

合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
　本発明は、合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラムに関する。
　以前から、病理診断方法として染色した検体（例えば組織標本）を観察することが知られている。組織標本の染色には、免疫染色法がよく用いられる。免疫染色法の例には、酵素抗体法、蛍光抗体法などが含まれる。
　ところで、上記組織標本を観察するには、高い倍率と大きな開口数（ＮＡ）を有する光学系が必要となる。光学系の倍率や開口数が大きくなると焦点深度が浅くなってしまうため、合焦位置の調整が重要になる。「合焦」とは、いわゆるピントが合うことである。合焦ずれが発生すると、蛍光輝点を含む顕微鏡画像（蛍光画像）において、蛍光輝点を見失う可能性がある。また、蛍光輝点を見失わなかったとしても、蛍光輝点の輝度が低下するためにシグナルノイズ（Ｓ／Ｎ）比が低くなり、バックグランドノイズの影響を受けやすくなってしまう。
　上記のような問題を解決するために、特許文献１は、光軸方向の焦点位置を変えながら組織標本を撮影して複数の画像を取得し、これらの複数の画像から画像全体の輝度積分値が最大となる画像を合焦画像として選定する方法を開示している。
特開２０１６－２２３９３１号公報
　しかしながら、特許文献１の方法では、広範囲にわたる関心領域および複数の関心領域が考慮された合焦画像を得られないおそれがある。この問題について図１を用いて説明する。
　図１は、スライドガラス上に載置された検体（例えば組織標本）の断面模式図である。図１における実線および破線は、顕微鏡の光軸方向において焦点位置を異ならせながら組織標本を複数回撮影したときのそれぞれの焦点面を示している。また、図１に示されているように、組織標本には、多数の蛍光標識がある部分１と、少数の蛍光標識がある部分２が存在している。
　ここで特許文献１の方法では、複数の画像から画像全体の輝度積分値が最大となる画像を選定するため、図１の実線で示される、蛍光標識が多い部分１を通る画像が合焦画像として選定されることになる。しかし、この実線で示される画像が選定されると、少数の蛍光標識がある部分２は無視されることになる。このように、特許文献１の方法では、広範囲にわたる関心領域、および複数の関心領域が考慮された合焦画像を得られないことがある。
　本発明の目的は、広範囲にわたる関心領域、および複数の関心領域が考慮された合焦画像を得ることができる合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラムを提供することである。
　本発明の一実施の形態に係る合焦画像選定方法は、標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る工程と、前記複数の画像のそれぞれについて、画像を複数の区画に分割する工程と、前記区画ごとの蛍光情報を抽出する工程と、前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する工程と、を有する。
　本発明の一実施の形態に係る合焦画像選定装置は、標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る画像取得部と、前記複数の画像から合焦画像を選定する処理部と、を有し、前記処理部は、前記複数の画像のそれぞれについて、画像を複数の区画に分割し、前記区画ごとの蛍光情報を抽出し、前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する。
　本発明の一実施の形態に係る合焦画像選定プログラムは、コンピュータに、標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る工程と、前記複数の画像のそれぞれについて、画像を複数の区画に分割する工程と、前記区画ごとの蛍光情報を抽出する工程と、前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する工程と、を実行させる。
　本発明によれば、広範囲にわたる関心領域、および複数の関心領域が考慮された合焦画像を得ることができる合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラムを提供することができる。
図１は従来技術の問題点を説明するための組織標本の断面模式図である。 図２は合焦画像選定装置の概略的な構成を示す図である。 図３は実施の形態１に係る合焦画像選定方法を示すフローチャートである。 図４Ａは画像を区画に分割する様子を示す図であり、図４Ｂは区画ごとの蛍光情報に基づいて最大仮想合算値を算出する様子を示す図であり、図４Ｃは合焦画像を選定する様子を示す図である。 図５Ａは放物線が求められるグラフの例を示す図であり、図５Ｂは放物線が求められないグラフの例を示す図である。 図６はクラスターの分布を示す。 図７は実施の形態２に係る合焦画像選定方法を示すフローチャートである。 図８は評価領域が抽出される様子を示す。 図９Ａ、Ｂ、Ｃは蛍光画像中の第１関心領域を示し、図９Ｄ、Ｅ、Ｆは蛍光画像中の第２関心領域を示す。
　以下、図面を参照しながら本発明の好ましい実施形態について説明する。
　［合焦画像選定装置］
　図２は、本発明の一実施の形態に係る合焦画像選定装置の概略的な構成を示す図である。図２に示すとおり、合焦画像選定装置１００は、画像取得部１０、制御処理部６０および表示部７０を有する。
　画像取得部１０は、標的物質を蛍光標識した検体（例えば組織標本）３０から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る。画像取得部１０は、自らが組織標本３０を撮影して複数の画像を得てもよいし、他の装置が撮影した複数の画像を入力することで複数の画像を得てもよい。本実施の形態では、画像取得部１０は、撮像素子２０を有する蛍光顕微鏡である。画像取得部１０で得られた複数の画像は、制御処理部６０に送られる。
　画像取得部（蛍光顕微鏡）１０は、ステージ１２、対物レンズ１４、鏡筒１６、接眼レンズ１８および撮像素子２０を有する。ステージ１２には、組織標本３０が設置される。鏡筒１６には、光源４０および蛍光キューブ５０が内蔵されている。蛍光キューブ５０は、励起フィルター５２、ダイクロイックミラー５４および吸収フィルター５６を有している。
　光源４０は、励起光を出射する。励起フィルター５２は、励起光だけを透過するフィルターである。ダイクロイックミラー５４は、光源４０からの励起光を対物レンズ１４に向けて反射し、組織標本３０からの蛍光を撮像素子２０に向けて透過させるミラーである。吸収フィルター５６は、励起光を遮断し蛍光だけを透過させるフィルターである。
　画像取得部（蛍光顕微鏡）１０では、光源４０から出射された励起光が、励起フィルター５２を透過しダイクロイックミラー５４で反射され、対物レンズ１４を通過し、組織標本３０に照射される。その結果、組織標本３０から蛍光が放出され、蛍光は、対物レンズ１４で集光され、ダイクロイックミラー５４および吸収フィルター５６を透過する。その後、蛍光は、蛍光像として接眼レンズ１８を介して観察されるとともに、撮像素子２０に撮像される。
　画像取得部１０には、これらを制御するとともに各種処理を行う制御処理部６０が接続されている。制御処理部６０は、制御部６２、処理部６４および記憶部６６を備えている。制御部６２は、ステージ１２と接続され、ステージ１２の昇降を制御し焦点位置（高さ位置）を制御する。また、制御部６２は、撮像素子２０と接続され、撮像素子２０を制御し複数の蛍光像を撮像させる。得られた複数の画像は、制御部６２を介して処理部６４および記憶部６６に送られる。また、制御部６２は、光源４０と接続され、光源４０の点灯および消灯を制御する。また、制御部６２は、表示部７０に接続され、表示部に複数の画像や、選定された合焦画像などを表示させる。処理部６４は、制御部６２の指示の下で、複数の画像から合焦画像を選定する処理を行う。複数の画像から合焦画像を選定する処理（合焦画像選定方法）については、別途詳細に説明する。記憶部６４には、複数の画像から合焦画像を選定する処理（合焦画像選定方法）を実行するための合焦画像選定プログラムが記憶されており、制御部６２および処理部６４は、このプログラムに基づいて各種処理を行う。また、記憶部６４には、必要に応じて、複数の画像や、選定された合焦画像などが記憶される。制御処理部６０は、例えば、ＣＰＵやメモリなどを有するコンピュータである。
　表示部７０は、任意の構成要素であり、制御部６２の指示の下で、複数の画像や、選定された合焦画像などを表示する。表示部７０は、例えばディスプレイやプリンタなどである。
　［検体］
　続いて、検体３０について説明する。
　検体３０とは、受検者や実験動物から直接採取した組織標本や、体外で培養した培養細胞などを含む。組織標本３０は、標的物質を含む組織切片であって、標的物質は蛍光標識されている。標的物質を蛍光標識する方法は、特に限定されない。たとえば、蛍光物質で標識された抗体を、直接または間接的に標的物質に結合させればよい。前者の場合は、蛍光物質で標識された一次抗体を標的物質に結合させる。後者の場合は、一次抗体を標的物質に結合させ、かつ蛍光物質で標識された二次抗体を一次抗体に結合させる。標的物質を定量する観点からは、標的物質は蛍光粒子で標識されていることが好ましい。組織標本３０は、ヘマトキシリン－エオジン染色などの他の染色法で染色されていてもよい。組織標本３０は、画像取得部１０のステージ１２に設置される。
　標的物質は、主に病理診断の観点から検出または定量の対象となるものをいう。たとえば、標的物質は、組織切片中に存在する生体物質、特にタンパク質（抗原）である。典型的な標的物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカーとして利用することができる生体物質が挙げられる。
　一次抗体には、標的物質に特異的に結合する抗体またはその断片を用いることができる。たとえば、ＨＥＲ２を標的物質とする場合は抗ＨＥＲ２抗体を、ＨＥＲ３を標的物質とする場合は抗ＨＥＲ３抗体を、それぞれ用いることができる。二次抗体には、一次抗体に特異的に結合する抗体を用いることができる。一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は、特に限定されるものではなく、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどの公知の動物から適宜選択すればよい。
　蛍光粒子は、励起光の照射を受けて蛍光を放出するナノサイズの粒子であって、標的物質を１分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。蛍光粒子としては、好ましくは量子ドット（半導体ナノ粒子）、蛍光物質集積ナノ粒子が使用される。
　量子ドットとしては、ＩＩ－ＶＩ族化合物、ＩＩＩ－Ｖ族化合物またはＩＶ族元素を含有する半導体ナノ粒子が使用される。半導体ナノ粒子を構成する半導体の例には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅなどが含まれる。
　蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質（例えば、上記量子ドットや蛍光色素など）がその中に内包されているか、その表面に吸着している、ナノサイズの粒子である。蛍光物質集積ナノ粒子は、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好ましい。蛍光物質集積ナノ粒子の例には、量子ドット集積ナノ粒子、蛍光色素集積ナノ粒子などが含まれる。量子ドット集積ナノ粒子は、上記量子ドットが母体の中に内包されているか、その表面に吸着しているナノ粒子である。蛍光色素集積ナノ粒子は、蛍光色素が母体の中に内包されているか、その表面に吸着しているナノ粒子である。量子ドットまたは蛍光色素が母体に内包されている場合、量子ドットまたは蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
　母体を構成する有機物の例には、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂；スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、ＡＳ樹脂（アクリロニトリル－スチレン共重合体）、ＡＳＡ樹脂（アクリロニトリル－スチレン－アクリル酸メチル共重合体）など、一般的に熱可塑性樹脂に分類される樹脂；ポリ乳酸等のその他の樹脂；多糖が含まれる。母体を構成する無機物の例には、シリカ、ガラスなどが含まれる。
　蛍光色素の例には、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などが含まれる。具体的には、蛍光色素としては、Ａｌｅｘａ　Ｆｌｕｏｒ（登録商標、インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（登録商標、インビトロジェン社製）系色素分子、Ｃｙ（登録商標、ＧＥヘルスケア社製）系色素分子、ＨｉＬｙｔｅ（登録商標、アナスペック社製）系色素分子、ＤｙＬｉｇｈｔ（登録商標、サーモサイエンティフィック社製）系色素分子、ＡＴＴＯ（登録商標、ＡＴＴＯ－ＴＥＣ社製）系色素分子、ＭＦＰ（登録商標、Ｍｏｂｉｔｅｃ社製）系色素分子、ＣＦ（登録商標、Ｂｉｏｔｉｕｍ社製）系色素分子、ＤＹ（登録商標、ＤＹＯＭＩＣＳ社製）系色素分子、ＣＡＬ（登録商標、ＢｉｏＳｅａｒｃｈ　Ｔｅｃｈｎｏｌｏｇｉｅｓ社製）系色素分子などを用いることができる。
　組織切片中の標的物質を蛍光標識する方法は、特に限定されず、公知の方法から適宜選択されうる。たとえば、パラフィン切片を脱パラフィン処理し、標的物質の賦活化処理をし、蛍光免疫染色をし、封入すればよい。
　前述のとおり、検体（例えば組織標本）３０は、蛍光免疫染色とは別に、明視野において細胞、組織、臓器などの形態を観察することができるようにするための染色がなされてもよい。このような染色としては、細胞質や間質、各種線維、赤血球、角化細胞などが赤～濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。また、細胞核や石灰部、軟骨組織、細菌、粘液などが青藍色～淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている。これら２つの染色を同時に行う方法は、ヘマトキシリン－エオジン染色（ＨＥ染色）として知られている。
　［合焦画像選定方法］
　（実施の形態１）
　実施の形態１に係る合焦画像選定方法について以下に説明する。
　図３は、実施の形態１に係る合焦画像選定方法のフローチャートである。図３に示されるように、実施の形態１に係る合焦画像選定方法は、焦点位置の異なる複数の画像を得る工程（ステップＳ０）と、画像を複数の区画に分割する工程（ステップＳ１）と、区画ごとの蛍光情報を抽出する工程（ステップＳ２）と、区画ごとの蛍光情報に基づいて複数の画像から合焦画像を選定する工程（ステップＳ３）とを含む。当該合焦画像選定方法は、例えば、上記合焦画像選定装置１００を用いて、蛍光染色後の検体（例えば組織標本）３０に対して行われる。以下、各ステップについて説明する。
　はじめに、標的物質を蛍光標識した検体（例えば組織標本）３０から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る（ステップＳ０）。具体的には、蛍光染色後の組織標本３０を画像取得部（蛍光顕微鏡）１０のステージ１２に設置する。その後、制御装置６０を用いて、組織標本３０から、対物レンズ１４の光軸方向について焦点面の位置を変えながら複数の蛍光画像を取得する。
　蛍光画像の取得は、制御部６２と記憶部６６に記憶されているプログラムとの協働により実行されうる。制御部６２は、そのプログラムに従って各処理を実行する。かかるプログラムとしては、例えば「ＩｍａｇｅＪ」（オープンソース）が挙げられる。このような画像処理ソフトウエアを利用することにより、蛍光画像から所定の波長（色）の蛍光輝点を抽出し、輝点領域の輝度値や蛍光粒子数を算出する処理を、半自動的に迅速に行いうる。
　図２に示される合焦画像選定装置１００では、制御部６２は、ステージ１２の位置を調整して組織標本３０を対物レンズ１４の近傍に位置させる。その後、制御部６２は、光源４０を点灯させ励起光を組織標本３０に照射する。その結果、組織標本３０中の蛍光粒子が蛍光を放出し、蛍光輝点が出現する。制御部６２は、その蛍光像を撮像素子２０に撮像させる。その後、制御部６２は、撮像素子２０の撮像結果に基づき、蛍光像から蛍光画像を複数生成し、焦点面の位置がそれぞれ異なる複数の画像を取得する。各画像の焦点面の間隔は、一定でなくてもよいが、一定であることが好ましい（図１参照）。
　なお、複数の画像は、外部装置により撮影されたものを入力することで得てもよいし、予め撮影されたものを用いてもよい。
　次に、ステップＳ０で取得された複数の画像のそれぞれについて、画像を複数の区画に分割する（ステップＳ１、図４Ａ参照）。
　図４Ａは、画像を複数の区画に分割する様子を示す概略図である。図４Ａでは、７枚の焦点位置が異なる画像のそれぞれについて、１６個の長方形の区画に分割している。１枚の画像あたりの区画の数および形状は、特に限定されないが、複数の画像は、同じ位置関係で複数の区画に分割されることが好ましい。区画の形状の例には、長方形、正方形、三角形、六角形などが含まれる。
　区画を長方形または正方形とする場合、区画の一辺の長さは、目的に応じて適宜設定されればよい。区画の一辺の長さは、例えば１０μｍ未満、１０μｍ以上２００μｍ未満、２００μｍ以上である。一辺の長さが１０μｍ未満であると、細胞単位の内外部の緻密な生体情報（細胞質、核などの緻密な情報）に関心がある解析などに適している。一辺の長さが１０μｍ以上２００μｍ未満であると、数個から数百個の細胞群（腫瘍領域や、非腫瘍領域の一部、毛細血管などの微小な器官）を単位とした生体情報に関心がある解析などに適している。一辺の長さが２００μｍ以上であると、細胞百個以上の領域（腫瘍領域の一部または全部、組織切片同士、器官の一部または全部）などを単位とした生体情報に関心がある解析などに適している。
　次に、ステップＳ１で分割された区画ごとの蛍光情報を抽出する（ステップＳ２）。
　区画ごとの蛍光情報の抽出では、例えば、信号変換処理と画素値の集計とを行う。
　信号変換処理では、ノイズとなりうる低画素値やフーリエ変換を用いた低周波成分のカットなどを行う。具体的には、暗電流ノイズや、一部の自家蛍光成分をカットする。これにより、区画中において粒子状に存在する蛍光成分を抽出しやすくすることができる。なお、信号変換処理は、任意の工程であり、実施しなくてもよい。
　画素値の集計は、各区画について、蛍光情報に相当する画素値を集計する。蛍光情報の種類は、特に限定されないが、例えば蛍光強度である。この蛍光強度は、区画中において粒子状に存在する蛍光成分の蛍光強度であることが好ましい。また、区画ごとの蛍光情報は、例えば、区画の画素値を合算した合算値である。区画内の画素値の分布を考慮した解析を行いたい場合は、画素値の最大値や最頻値、中央値、平均値などを集計してもよい。
　上記の例では、画像の枚数は７枚あり、画像１枚につき１６個の区画があるので、１１２個の区画の蛍光情報が得られる。
　次に、ステップＳ２で抽出された区画ごとの蛍光情報に基づいて、複数の画像から合焦画像を選定する（ステップＳ３、図４Ｂおよび図４Ｃ参照）。
　区画ごとの蛍光情報に基づいて、どのように合焦画像を選定するかは、目的に応じて適宜選択されればよい。以下に、合焦画像を選定する方法の一例を説明する。
　ここでは、複数の画像のそれぞれについて所定の基準を満たす区画の数を得た後、この所定の基準を満たす区画の数が最も多い画像を合焦画像として選定する例について説明する。所定の基準については、特に限定されず、目的に応じて適宜設定されればよい。ここでは、ある画像のある区画の蛍光強度の合算値が、複数の画像の前記ある区画に対応する位置のそれぞれの区画の蛍光強度の合算値から算出される最大仮想合算値を基準として決められる閾値（例えば、最大仮想合算値の７０％）以上であるか否かを所定の基準とする。
　図４Ｂは、上記最大仮想合算値の算出方法を説明するための図である。図４Ｂを参照しつつ、上記最大仮想合算値の算出方法と上記の所定の基準がどのように決定されるかを説明する。
　まず、図４Ｂの左側の図に示されるように、ある画像の任意の区画を選択する。そして、この区画に対応する位置の、他の画像の区画（６区画）も選択する。そして、これらの７個の区画のそれぞれについて、蛍光強度の合算値を算出する。図４Ｂの右側のグラフは、７個の区画の蛍光強度の合算値をプロットしたグラフである（図５Ａも同じグラフである）。このグラフに示されるように、同じ領域の画像（区画）であっても、焦点位置が異なると蛍光強度が変化する。そして、焦点位置が最適な場合（すなわちピントが合った場合）に、蛍光強度が最大になる。このグラフに示される例では、画像Ｎｏ．５に含まれる区画が蛍光強度の合算値が最大の画像である。ただし、焦点位置を断続的に変化させて複数の画像を取得しているため、蛍光強度の合算値が最大となる焦点位置は、画像Ｎｏ．５の焦点位置とは限らない。そこで、同じ位置に存在する複数の区画の蛍光強度の合算値を用いて、焦点位置が最適な場合の蛍光強度の合算値（最大仮想合算値）を算出する。ここでは、同じ位置に存在する複数の区画のうち、蛍光強度の合算値が最大の第１区画（図４Ｂの例では画像Ｎｏ．５に含まれる区画）、および対物レンズ１４の光軸方向において焦点位置が第１区画に隣接する第２区画および第３区画（図４Ｂの例では画像Ｎｏ．４に含まれる区画および画像Ｎｏ．６に含まれる区画）のそれぞれの蛍光強度の合算値を通る放物線を求め、この放物線の頂点に対応する蛍光強度の合算値を最大仮想合算値とする。
　そして、この最大仮想合算値を基準として、各区画の蛍光強度の合算値が合焦画像における蛍光強度の合算値と言えるか否かを判定するための閾値を設定する。たとえば、最大仮想合算値の７０％を閾値として、蛍光強度の合算値がこの閾値以上である区画を合格とする。図４Ｂの右のグラフでは、画像Ｎｏ．３、Ｎｏ．４、Ｎｏ．５およびＮｏ．６が合格である。このような合否の判定を、すべての画像のすべての区画に対して行う。なお、上記では、最大仮想合算値の７０％を閾値としたが、閾値は適宜調整されればよい。閾値は、例えば、６０％、７０％、８０％、９０％であってもよい。
　図４Ｃは、所定の基準を満たす合格区画の数が最も多い画像を合焦区画として選定する様子を示す図である。図４Ｃの左図の黒い部分は合格区画を示し、白い部分は不合格区画を示している。図４Ｃの真ん中のグラフは、各画像についての合格区画の数を示している。図４Ｃの右の図は合格区画の数が最も多い画像Ｎｏ．４が合焦画像として選定される様子を示している。
　上記のように、画像を区画に分割し、区画ごとの評価結果を踏まえて合焦画像を選定することによって、蛍光強度が特に強い部分（区画）に偏重して画像が選定されたり、弱いものの蛍光強度をもつ部分（区画）が軽視されて画像が選定されたりすることを抑制することができる（図１参照）。これにより、画像全体を考慮した合焦画像を選定することが可能になる。
　なお、上記の例では、局所的な構造をよく再現する一般的な補間方法として少なくとも３点を通る２次関数（放物線）を用いて最大仮想合算値を求めているが、最大仮想合算値の求め方はこれに限定されない。
　最大仮想合算値は、例えば、用いる点数を増やした上で、ガウス関数、三角関数などの関数やこれらを含む多項式を用いた回帰分析により求められてもよい。これらにより最大仮想合算値を求めることは、組織標本の厚み方向の一部の局所的な構造でなく、厚み方向の広い範囲の蛍光情報を平均的に反映することに関心がある場合、また撮影時の蛍光光源の揺らぎ等に由来する変動誤差を減少させたい等の理由がある場合に有用である。
　また、ある区画に対応する位置の複数の区画の最大仮想合算値を求めることができないときは、ある区画に対応する位置の複数の区画を除外して、所定の基準を満たす区画の数を算出してもよい。また、除外された区画の数が予め設定された閾値以上である場合、再撮影が必要であると判定してもよい。また、合焦画像として選定された画像について、全区画に対する所定の基準を満たす合格区画の割合が予め設定された閾値以下である場合、再撮影が必要であると判定してもよい。
　図５Ａは、最大仮想合算値（仮想頂点）を求めることができる場合のグラフの例を示し、図５Ｂは、最大仮想合算値（仮想頂点）を求めることができない場合のグラフの例を示す。図５Ｂでは、放物線の頂点がグラフ外にあると考えられる。このような場合に、その区画を全ての画像で考慮に入れなくてもよいし、その区画を全ての画像において不合格区画としてもよい。また、このような場合、焦点位置の異なる画像を再撮影してもよい。また、合格区画の数が予め設定された数以下である場合には再撮影してもよい。
　また、上記では合格区画の数が最も多い画像を合焦画像として選定したが、合焦画像の選定方法はこれに限定されない。たとえば、合格区画と不合格区画との個数の比率、合格区画もしくは不合格区画について、クラスター面積の集計、クラスターの分散、などの指標を用いて合焦画像を選定してもよい。
　上記の合焦画像の選定方法について、図６を用いて説明する。図６において黒の部分は合格区画（もしくは不合格区画）である。図６においては、合格区画（もしくは不合格区画）が連続するＡ～Ｅの５つのクラスターがある。なお、クラスターＡ、Ｂ、Ｃ、Ｄ、Ｅの面積は、それぞれ４、７、８、４、１であり、合計面積は２４である。
　合焦画像の選定が、クラスター面積の集計を指標とする場合、各画像において上記のようにクラスター面積を集計してこれに基づいて画像を選定する。具体的には、各画像においてクラスター面積を集計して、クラスター面積の最大値、平均値、最頻値、標準偏差、中央値などに基づいて画像を選定すればよい。このような画像の選定方法は、脳細胞などの生体物質の分布が不均一な組織標本などで、ある一定以上の面積で連続した合格区画の解析が必要な場合に有用である。
　また、合焦画像の選定が、クラスター面積の分散を指標とする場合、各画像において、画像上の基準点（すべての合格区画の平均座標、特定腫瘍領域や器官を基準に設定）からの、クラスターの重心のバラツキを指標として選定したり、クラスター間の距離の集計値（最大値、平均値、最頻値、標準偏差、中央値）を指標として選定したりしてもよい。このような合焦画像の選定方法は、薬物動態観察等で特定器官や特定腫瘍領域とその周辺の薬物効果に関心がある場合などに有用である。
　なお、上記の種々の最大仮想合算値（仮想頂点）の求め方と、上記の種々の画像の選定方法とは、目的に応じて適宜組み合わされればよい。
　（実施の形態２）
　実施の形態２に係る合焦画像選定方法について以下に説明する。
　図７は、実施の形態２に係る合焦画像選定方法のフローチャートである。図７に示されるように、実施の形態２に係る合焦画像選定方法は、ステップＳＡとステップＳＢとを有する点において実施の形態１に係る合焦画像選定方法と異なる。以下、ステップＳＡ、ステップＳＢについて説明する。
　なお、ステップＳＡ、ＳＢは、この順番で行われる限り、ステップＳ０、ステップＳ１、ステップＳ２のいずれの直前で行われてもよい。
　まず、標的物質を蛍光標識した組織標本の透過視野画像を得る（ステップＳＡ）。具体的には、蛍光染色後の組織標本３０を画像取得部（蛍光顕微鏡）１０のステージ１２に設置する。その後、制御装置６０を用いて、組織標本３０の透過視野画像を取得する。透過視野画像の取得は、蛍光画像の取得と同様に行えばよい。
　組織標本３０をそのまま透過視野観察しても組織構造が判別できないときは、組織標本３０を染色することが好ましい。このような染色としては、細胞質や間質、各種線維、赤血球、角化細胞などが赤～濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。また、細胞核や石灰部、軟骨組織、細菌、粘液などが青藍色～淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている。これら２つの染色を同時に行う方法は、ヘマトキシリン－エオジン染色（ＨＥ染色）として知られている。
　なお、透過視野画像は、外部装置により撮影されたものを入力することで得てもよいし、予め撮影されたものを用いてもよい。
　次に、透過視野画像から、組織標本における関心領域を抽出する（ステップＳＢ）。
　たとえば、組織標本がヘマトキシリンによって核染色されていれば、色味に閾値を設けることなどで関心領域または非関心領域の特定を行うことができる。これにより、非観察対象を含む領域を、評価領域から除外することができる。例えば、検体が存在しないガラス領域や、観察対象以外のものを含む領域（非細胞領域、間質領域など）を非関心領域として評価領域から除外することができる。このような関心領域または非関心領域の特定は、例えばＩｍａｇｅＪやＰｈｏｔｏｓｈｏｐなどの汎用的な画像解析ソフトを用いて行うことができる。また、例えば、腫瘍領域の形状等により関心領域を特定することもでき、機械学習やディープラーニング等による演算情報を参照して関心領域または非関心領域を特定することもできる。また、非関心領域は、観察の目的に応じて自由に設定することができる。非関心領域とは観察対象としたくないものが一定以上入っている領域とすることができる。ここで観察対象としたくないものの例には、ガラス（すなわち検体がない部分）やゴミ、細胞を対象とした観察をしたい場合の間質、蛍光物質が非特異吸着している箇所などが含まれる。例えば、非観察対象（例えばスライドガラス、ゴミ、観察対象以外の細胞、間質など）を含む領域を全て非関心領域としても良く、非観察対象が一定量以上存在する領域や、一定割合を占める領域を非関心領域としても良い。
　本実施の形態では、ステップＳ２における区画ごとの蛍光情報の抽出は、ステップＳＢの結果に基づいて関心領域となった区画、または非関心領域とならなかった区画のみで実施すればよい。また、ステップＳ３における合焦画像の選定も、ステップＳＢの結果に基づいて関心領域となった区画、または非関心領域とならなかった区画の蛍光情報のみに基づいて行えばよい。
　すなわち、複数の区画のうち関心領域における区画の蛍光情報のみに基づいて、複数の画像から合焦画像を選定することができる。また、複数の区画のうち関心領域ではない区画を除外した区画の蛍光情報に基づいて、複数の画像から合焦画像を選定することができる。
　図８は評価領域が抽出される様子を示す。図８において、ハッチングを付した領域はガラス領域が占める割合が多いため評価から外される。
　本実施例では、ヒト乳房組織の組織切片について焦点位置を変えながら７枚の蛍光画像を撮影し、これら７枚の蛍光画像から１枚の合焦画像を選定した。実施例１では、実施の形態１に係る合焦画像選定方法を用いて合焦画像を選定した。実施例２では、実施の形態２に係る合焦画像選定方法を用いて合焦画像を選定した。比較例では、従来の合焦画像選定方法を用いて合焦画像を選定した。標的物質は、腫瘍マーカーとして知られているＨＥＲ２であり、Ｃｙ５内包シリカナノ粒子（蛍光粒子）で標識された抗ＨＥＲ２抗体を結合させることで組織切片中のＨＥＲ２を蛍光標識した。
　［実施例１］
　（１）蛍光標識抗体の調製
　特許文献１の実施例に記載されている手順で、Ｃｙ５内包シリカナノ粒子を作製し、抗ＨＥＲ２抗体に結合させた。
　（２）組織標本の蛍光免疫染色
　ヒト乳房組織の組織切片として、コスモ・バイオ社製の組織アレイスライド（ＣＢ－Ａ７１２）を準備した。組織切片をキシレンで脱パラフィン処理し、キシレンをエタノールおよび水に順に置換した後、１０ｍＭクエン酸緩衝液（ｐＨ６．０）中で１２１℃で１０分間オートクレーブ処理を行うことで、抗原の賦活化処理を行った。その後、１％ＢＳＡ含有ＰＢＳを用いてブロッキング処理を行い、Ｃｙ５内包シリカナノ粒子（蛍光粒子）で標識された抗ＨＥＲ２抗体を０．０５ｎＭ含む液体（免疫染色剤）と３時間反応させることで、組織切片中の標的物質（ＨＥＲ２）に蛍光標識抗体を結合させた。蛍光免疫染色を終えた後、Ｍｅｒｃｋ　Ｃｈｅｍｉｃａｌｓ社製のＡｑｕａｔｅｘを用いて封入した。
　（３）蛍光画像を撮影および合焦画像の選出
　図２に示される構成の合焦画像選定装置１００を用いて、実施の形態１に係る合焦画像選定方法を実行し、７枚の蛍光画像を撮影するとともに、これら７枚の蛍光画像から合焦画像を選定した。
　浜松ホトニクス社製のＮａｎｏｚｏｏｍｅｒ　Ｓ６０を用い、撮影倍率を２０倍に設定し、波長５６０～６００ｎｍの励起光を照射し、組織標本から発せられる蛍光像を撮影した。蛍光撮影の露光条件は、あらかじめ目視にてサチュレーションしている画素が少なくなるように調整した。
　ステージの高さ方向（Ｚ軸方向）の位置を段階的に切り替えながら、蛍光画像を撮影して、対物レンズの光軸方向について焦点位置が異なる７枚の蛍光画像を取得した。Ｚスタック条件としては、Ｚスタック全幅を６μｍとし、画像間の焦点距離間隔を１．０μｍとし、７枚の画像について焦点距離が短い順に画像Ｎｏ．１、２、３、４、５、６、７と命名した。画像フォーマットはＴＩＦＦを使用し、画像ビット深度は８ｂｉｔとした。
　得られた７枚の画像のそれぞれについて、複数の区画に分割した。区画の大きさは１７０μｍ×１７０μｍとした。各区画において信号処理および画素値の集計を行った。信号処理では、ノイズカット（低画素値カット）および高周波成分抽出を行った。画素値の集計では、区画ごとに画素値の合算値を算出した。
　各画像の同一位置の区画（全７区画）について蛍光強度の合算値を比較し、これら７個の区画内において蛍光強度の合算値が最大の第１区画と、焦点位置がこの第１区画に隣接する第２区画および第３区画とを決定した。第１区画、第２区画および第３区画のそれぞれの蛍光強度の合算値を通る放物線を求め、この放物線の頂点に対応する蛍光強度の合算値をこの位置の区画における最大仮想合算値とした。そして、これらの７区画について、蛍光強度の合算値が、最大仮想合算値の７０％以上であれば合格と判定し、７０％未満であれば不合格と判定した（図４Ｂおよび図５Ａ参照）。なお、画像Ｎｏ．１または画像Ｎｏ．７に含まれる区画が第１区画となる場合、その位置の区画はすべて不合格区画とした（図５Ｂ参照）。以上の処理を、各画像のすべての区画に対して行った。
　７枚の画像について合格区画の数を比較し、合格区画の数が最も多い画像を合焦画像として選定したところ、画像Ｎｏ．５が選定された（図４Ｃ参照）。画像Ｎｏ．５における第１の関心領域を図９Ａに示し、第２の関心領域を図９Ｄに示す。また、評価結果を表１に示す。
　［実施例２］
　（１）蛍光標識抗体の調製および組織標本の蛍光免疫染色
　実施例１と同じように組織標本の蛍光免疫染色を行った。また、組織標本に対してヘマトキシリン染色も行った。
　（２）蛍光画像を撮影および合焦画像の選出
　図２に示される構成の合焦画像選定装置１００を用いて、実施の形態２に係る合焦画像選定方法を実行し、７枚の蛍光画像を撮影するとともに、これら７枚の蛍光画像から合焦画像を選定した。
　実施例２では、図７Ａに示されるステップＳＡおよびステップＳＢに相当する工程を行った点のみにおいて実施例１と異なるので、これらの工程についてのみ説明する。
　まず、組織標本の透過視野像から、ヘマトキシリンで染色されている領域をカラーデコンボリューションにより抽出した。次に、２値化処理を行い、ヘマトキシリンの染色強度が一定以上のピクセルを抽出した。次に、各区画について、ヘマトキシリンの染色強度が一定以上のピクセルの割合が７％以上となるか否かを評価し、ヘマトキシリンの染色強度が一定以上のピクセルの割合が７％以上となる区画のみを、合焦画像の選出の際の評価対象の区画とした（７％未満の区画は計算から除外した）。
　実施例２では、Ｎｏ．４の画像が合焦画像として選定された。画像Ｎｏ．４における第１関心領域を図９Ｂに示し、第２関心領域を図９Ｅに示す。また、評価結果を下記の表１に示す。
　［比較例］
　比較例では、各蛍光画像を区画に分割することなく、画像全体における蛍光強度の合算値が最も大きい画像を合焦画像として選定した。その結果、比較例では、画像Ｎｏ．６が選定された。画像Ｎｏ．６における第１関心領域を図９Ｃに示し、第２関心領域を図９Ｆに示す。また、評価結果を下記の表１に示す。
　［評価結果］
　実施例１、実施例２および比較例で選定された画像について、合焦画像として適切か否かを評価した。評価は、画像中の第１関心領域および第２関心領域について、目視判定と、蛍光強度合算値により行った。目視判定は、よく合焦しているものを◎、合焦しているものを○、合焦していないものを×とした。蛍光強度合算値は、関心領域を画像全体と見立て特許文献１と同様の手法にて蛍光強度合算値を算出した。換言すれば、第１関心領域、第２関心領域のそれぞれを一つの区画と見なして、この区画の最大仮想合算値を１００％としたときの蛍光強度の合算値の割合を算出した。蛍光強度合算値は、１００％に近づくほど合焦していることを示している。
Figure JPOXMLDOC01-appb-T000001
　実施例１または実施例２で選定された画像と、比較例で選定された画像とを比べると、実施例１または実施例２で選定された画像の方がより合焦していた。また、実施例１で選定された画像と実施例２で選定された画像とを比べると、実施例２で選定された画像の方がより合焦していた。
　本出願は、２０２０年９月１７日出願の特願２０２０－１５６２５０に基づく優先権を主張する。当該出願明細書および図面に記載された内容は、すべて本願明細書に援用される。
　本発明に係る合焦画像の選定方法、合焦画像の選定装置および合焦画像の選定プログラムは、例えば、検体（例えば組織標本）を用いる病理診断などに有用である。
　１　蛍光標識が多い部分
　２　蛍光標識が少ない部分
　１０　画像取得部（蛍光顕微鏡）
　１２　ステージ
　１４　対物レンズ
　１６　鏡筒
　１８　接眼レンズ
　２０　撮像素子
　３０　検体（組織標本）
　４０　光源
　５０　蛍光キューブ
　５２　励起フィルター
　５４　ダイクロイックミラー
　５６　吸収フィルター
　６０　制御処理部
　６２　制御部
　６４　処理部
　６６　記憶部
　７０　表示部
　１００　合焦画像選定装置

Claims (15)

  1. 　標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る工程と、
    　前記複数の画像のそれぞれについて、画像を複数の区画に分割する工程と、
    　前記区画ごとの蛍光情報を抽出する工程と、
    　前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する工程と、
    　を有する、合焦画像選定方法。
  2. 　前記蛍光情報は、蛍光強度である、請求項１に記載の合焦画像選定方法。
  3. 　前記蛍光強度は、前記区画の画素値を合算した合算値である、請求項２に記載の合焦画像選定方法。
  4. 　前記標的物質は、蛍光粒子で標識されている、請求項１～３のいずれか一項に記載の合焦画像選定方法。
  5. 　前記蛍光強度は、前記区画中において粒子状に存在する蛍光成分の蛍光強度である、請求項４に記載の合焦画像選定方法。
  6. 　前記合焦画像を選定する工程は、
    　前記複数の画像のそれぞれについて、所定の基準を満たす区画の数を得る工程と、
    　前記複数の画像から、前記所定の基準を満たす区画の数が最も多い画像を合焦画像として選定する工程と、
    　を有する、請求項１～５のいずれか一項に記載の合焦画像選定方法。
  7. 　前記複数の画像は、同じ位置関係で複数の区画に分割されており、
    　前記所定の基準は、ある区画の蛍光強度の合算値が、前記複数の画像の前記ある区画に対応する位置のそれぞれの区画の蛍光強度の合算値から算出される最大仮想合算値を基準として決められる閾値以上であるか否かである、
    　請求項６に記載の合焦画像選定方法。
  8. 　前記最大仮想合算値は、前記ある区画に対応する位置の複数の区画のうち、蛍光強度の合算値が最大の第１区画、および前記光軸方向において焦点面が前記第１区画に隣接する第２区画および第３区画のそれぞれの蛍光強度の合算値を通る放物線を求めることで算出される、請求項７に記載の合焦画像選定方法。
  9. 　前記ある区画に対応する位置の複数の区画の前記最大仮想合算値を算出できない場合、前記ある区画に対応する位置の複数の区画を除外して、前記所定の基準を満たす区画の数を算出する、請求項８に記載の合焦画像選定方法。
  10. 　前記合焦画像として選定された画像について、全区画に対する前記所定の基準を満たす区画の割合が予め設定された閾値以下である場合、再撮影が必要であると判定する工程、をさらに有する、請求項６～９のいずれか一項に記載の合焦画像選定方法。
  11. 　除外された前記区画の数が予め設定された閾値以上である場合、再撮影が必要であると判定する工程、をさらに有する、請求項９に記載の合焦画像選定方法。
  12. 　前記合焦画像を選定する工程では、前記複数の区画のうち、指定された関心領域における区画の蛍光情報に基づいて、前記複数の画像から前記合焦画像を選定する、請求項１～１１のいずれか一項に記載の合焦画像選定方法。
  13. 　前記合焦画像を選定する工程では、前記複数の区画のうち、非関心領域を含む区画を除外した区画の蛍光情報に基づいて、前記複数の画像から前記合焦画像を選定する、請求項１～１１のいずれか一項に記載の合焦画像選定方法。
  14. 　標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る画像取得部と、
    　前記複数の画像から合焦画像を選定する処理部と、
    　を有し、
    　前記処理部は、
    　前記複数の画像のそれぞれについて、画像を複数の区画に分割し、
    　前記区画ごとの蛍光情報を抽出し、
    　前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する、
    　合焦画像選定装置。
  15. 　コンピュータに、
    　標的物質を蛍光標識した検体から、光軸方向について互いに異なる焦点位置で撮影された複数の画像を得る工程と、
    　前記複数の画像のそれぞれについて、画像を複数の区画に分割する工程と、
    　前記区画ごとの蛍光情報を抽出する工程と、
    　前記抽出された区画ごとの蛍光情報に基づいて、前記複数の画像から合焦画像を選定する工程と、
    　を実行させるための合焦画像選定プログラム。
PCT/JP2021/026090 2020-09-17 2021-07-12 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム WO2022059312A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022550371A JPWO2022059312A1 (ja) 2020-09-17 2021-07-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-156250 2020-09-17
JP2020156250 2020-09-17

Publications (1)

Publication Number Publication Date
WO2022059312A1 true WO2022059312A1 (ja) 2022-03-24

Family

ID=80776021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026090 WO2022059312A1 (ja) 2020-09-17 2021-07-12 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム

Country Status (2)

Country Link
JP (1) JPWO2022059312A1 (ja)
WO (1) WO2022059312A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231791A1 (en) * 2002-06-12 2003-12-18 Torre-Bueno Jose De La Automated system for combining bright field and fluorescent microscopy
JP2008542800A (ja) * 2005-05-25 2008-11-27 オリンパス・ソフト・イメージング・ソリューションズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング コントラストを評価して試料を走査するための方法および装置
JP2013114042A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
JP2013246187A (ja) * 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2014044360A (ja) * 2012-08-28 2014-03-13 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2014098575A (ja) * 2012-11-13 2014-05-29 Sony Corp 画像取得装置および画像取得方法
WO2015163211A1 (ja) * 2014-04-21 2015-10-29 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP2017110986A (ja) * 2015-12-16 2017-06-22 コニカミノルタ株式会社 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
WO2018123677A1 (ja) * 2016-12-27 2018-07-05 コニカミノルタ株式会社 画像処理方法及び画像処理システム
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231791A1 (en) * 2002-06-12 2003-12-18 Torre-Bueno Jose De La Automated system for combining bright field and fluorescent microscopy
JP2008542800A (ja) * 2005-05-25 2008-11-27 オリンパス・ソフト・イメージング・ソリューションズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング コントラストを評価して試料を走査するための方法および装置
JP2013114042A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
JP2013246187A (ja) * 2012-05-23 2013-12-09 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2014044360A (ja) * 2012-08-28 2014-03-13 Olympus Corp 顕微鏡システム、標本画像生成方法及びプログラム
JP2014098575A (ja) * 2012-11-13 2014-05-29 Sony Corp 画像取得装置および画像取得方法
WO2015163211A1 (ja) * 2014-04-21 2015-10-29 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
JP2017110986A (ja) * 2015-12-16 2017-06-22 コニカミノルタ株式会社 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
WO2018123677A1 (ja) * 2016-12-27 2018-07-05 コニカミノルタ株式会社 画像処理方法及び画像処理システム
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム

Also Published As

Publication number Publication date
JPWO2022059312A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
US11796788B2 (en) Detecting a defect within a bodily sample
US20230260116A1 (en) Methods, Systems, and Apparatuses for Quantitative Analysis of Heterogeneous Biomarker Distribution
JP5540102B2 (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP2005525550A (ja) 細胞の迅速自動化スクリーニングシステム及び方法
CN111527519B (zh) 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法
CN115088022A (zh) 用于训练机器学习算法和维护患者隐私的联邦学习系统
US8760506B2 (en) Imaging system and method for enhancing microscopic images of unstained cells
US20230028360A1 (en) Artificial generation of color blood smear image
Aguilar-Avelar et al. High-throughput automated microscopy of circulating tumor cells
US11302107B2 (en) System and method for classifying cells in tissue images based on membrane features
JP6547424B2 (ja) 蛍光画像の合焦システム、合焦方法および合焦プログラム
Reitz et al. SEQUIN: An imaging and analysis platform for quantification and characterization of synaptic structures in mouse
Paletzki et al. Whole mouse brain image reconstruction from serial coronal sections using FIJI (ImageJ)
JP2020173204A (ja) 画像処理システム、画像処理方法及びプログラム
US10962453B2 (en) Pathological specimen, method for producing pathological specimen, and method for acquiring fluorescence image
WO2018123677A1 (ja) 画像処理方法及び画像処理システム
WO2022059312A1 (ja) 合焦画像選定方法、合焦画像選定装置および合焦画像選定プログラム
JP6578928B2 (ja) 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
Kriete et al. Automated quantification of quantum‐dot‐labelled epidermal growth factor receptor internalization via multiscale image segmentation
WO2021192910A1 (ja) 画像生成方法、画像生成装置及びプログラム
WO2020262117A1 (ja) 画像処理システム、画像処理方法及びプログラム
WO2019087853A1 (ja) 生体物質定量方法、画像処理装置及びプログラム
WO2021124866A1 (ja) 画像処理方法、画像処理システム及びプログラム
WO2020209217A1 (ja) 画像処理システム、画像処理方法及びプログラム
Shah et al. Confocal and super-resolution imaging of polarized intracellular trafficking and secretion of basement membrane proteins during Drosophila oogenesis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21868999

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550371

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21868999

Country of ref document: EP

Kind code of ref document: A1