WO2018061429A1 - 撮影画像評価装置および方法並びにプログラム - Google Patents

撮影画像評価装置および方法並びにプログラム Download PDF

Info

Publication number
WO2018061429A1
WO2018061429A1 PCT/JP2017/026745 JP2017026745W WO2018061429A1 WO 2018061429 A1 WO2018061429 A1 WO 2018061429A1 JP 2017026745 W JP2017026745 W JP 2017026745W WO 2018061429 A1 WO2018061429 A1 WO 2018061429A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographed
photographed image
subject
image
density
Prior art date
Application number
PCT/JP2017/026745
Other languages
English (en)
French (fr)
Inventor
兼太 松原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to KR1020197005997A priority Critical patent/KR102149625B1/ko
Priority to EP17855387.1A priority patent/EP3521750B1/en
Publication of WO2018061429A1 publication Critical patent/WO2018061429A1/ja
Priority to US16/291,068 priority patent/US11169079B2/en

Links

Images

Classifications

    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/04—Measuring microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G01N2015/1029—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a photographed image evaluation apparatus, method, and program for estimating the thickness and density of a subject based on a photographed image obtained by photographing the subject.
  • Pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced uri Pluripotent Stem) cells have the ability to differentiate into cells of various tissues, such as regenerative medicine, drug development, and disease elucidation Is attracting attention as a possible application.
  • ES Embryonic Stem
  • iPS Induced uri Pluripotent Stem
  • a method for evaluating the state of cultured cells As a method for evaluating the state of cultured cells, a method has been proposed in which a cultured cell is photographed using a microscope such as a phase contrast microscope and the state of the cell culture is evaluated by capturing the characteristics of the photographed image. .
  • Patent Document 1 in order to evaluate the state of the stacked cultured cells as described above, the focus position of the detection optical system is moved in the stacked direction of the cultured cells, so that the stacked direction from the installation surface of the cultured cells. It has been proposed to take a plurality of cross-sectional images having different distances.
  • an object of the present invention is to provide a photographed image evaluation apparatus, method, and program capable of evaluating the thickness and density of stacked cultured cells in a short photographing time.
  • the captured image evaluation apparatus includes an image acquisition unit that acquires a plurality of captured images obtained by capturing a subject under a condition in which the numerical aperture of the objective lens is different, and a relatively small numerical aperture of the objective lens among the plurality of captured images. Based on a low NA photographed image photographed under conditions, a thickness estimation unit for estimating the thickness of the subject, and a high NA photograph photographed under a condition where the numerical aperture of the objective lens is relatively large among a plurality of photographed images A density estimation unit that estimates the density of the subject based on the image.
  • the thickness estimation unit can acquire the luminance distribution of the low NA captured image and can estimate the thickness of the subject based on the luminance distribution.
  • the thickness estimation unit can have a table in which the luminance of the low NA photographed image is associated with the thickness of the subject.
  • the density estimation unit can acquire the luminance distribution of the high NA captured image and estimate the density of the subject based on the luminance distribution.
  • the density estimation unit can estimate the density of the subject based on the shape of the luminance distribution.
  • the density estimation unit can estimate the density of the subject by obtaining a peak included in the luminance distribution and calculating the number of the peak per unit area.
  • the density estimation unit can obtain a peak by approximating the luminance distribution with a Gaussian function.
  • the low NA captured image is a captured image captured at a relatively low magnification
  • the high NA captured image is a captured image captured at a relatively high magnification. be able to.
  • the low NA captured image is a captured image captured with illumination light having a relatively long wavelength
  • the high NA captured image is captured with illumination light having a relatively short wavelength.
  • the captured image can be obtained.
  • the low NA captured image is a captured image captured using an aperture stop having a relatively small aperture
  • the high NA captured image is an aperture stop having a relatively large aperture. It can be set as the picked-up image image
  • the photographed image evaluation apparatus of the present invention may further include an output unit that outputs the subject thickness estimated by the thickness estimation unit and the subject density estimated by the density estimation unit.
  • the captured image evaluation method of the present invention acquires a plurality of captured images obtained by capturing a subject under conditions where the numerical aperture of the objective lens is different, and is captured under a condition where the numerical aperture of the objective lens is relatively small among the plurality of captured images.
  • the thickness of the subject is estimated based on the low NA photographed image, and the density of the subject is determined based on the high NA photographed image taken under the condition that the numerical aperture of the objective lens is relatively large among the plurality of photographed images.
  • the captured image evaluation program includes a computer, an image acquisition unit that acquires a plurality of captured images obtained by capturing a subject under conditions with different numerical apertures of the objective lens, and a relative aperture of the objective lens among the captured images. Based on a low NA photographed image taken under a small number of conditions, a thickness estimation unit that estimates the thickness of the subject, and a condition where the numerical aperture of the objective lens is relatively large among a plurality of photographed images Based on the high NA photographed image, it functions as a density estimation unit that estimates the density of the subject.
  • a photographed image obtained by photographing a subject under a condition where the numerical aperture of the objective lens is different is acquired, and the photographed image is obtained under a condition where the numerical aperture of the objective lens is relatively small.
  • the thickness of the subject is estimated based on the NA photographed image, and the density of the subject is estimated based on the high NA photographed image photographed under a condition where the numerical aperture of the objective lens is relatively large. Therefore, since the low NA photographed image and the high NA photographed image need only be photographed twice, the thickness and density of the subject can be evaluated in a short photographing time.
  • the low NA photographed image is used when the numerical aperture of the objective lens is small, a photographed image containing a large amount of a straight component of light transmitted through the subject is photographed. This is because the captured image reflects the thickness of the image.
  • a high-NA photographed image is used because, when the numerical aperture of the objective lens is large, a photographed image containing a large amount of scattered components of light transmitted through the subject is photographed. This is because the captured image reflects the above.
  • the figure which shows an example of a low NA picked-up image The figure which shows an example of the luminance distribution acquired based on the low NA picked-up image
  • the figure which shows an example of the estimation result of the thickness of a subject The figure which shows an example of a low NA picked-up image
  • the figure which shows an example of the luminance distribution acquired based on the low NA picked-up image The figure which shows the result of having approximated the luminance distribution shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a microscope image evaluation system of the present embodiment.
  • the microscope image evaluation system of the present embodiment includes an illumination light irradiation unit 10, an imaging optical system 30, an imaging unit 40, a microscope control device 50, a display device 80, and an input device 90. And.
  • a stage 61 is provided between the illumination light irradiation unit 10 and the imaging optical system 30, and the culture vessel 60 is placed on the stage 61 for support. Is done. In the culture vessel 60, the culture medium C and the subject S are accommodated.
  • the microscope image evaluation system includes a stage driving unit 62 that moves the stage 61 in the X direction and the Y direction.
  • the X direction and the Y direction are directions orthogonal to each other on a plane parallel to the installation surface of the subject S, and the Z direction is a direction orthogonal to the X direction and the Y direction.
  • the phase contrast microscope main body is configured by the illumination light irradiation unit 10, the imaging optical system 30, the imaging unit 40, the stage 61, and the stage driving unit 62 described above, and the microscope control device 50 is The phase contrast microscope main body is controlled.
  • the microscope control device 50 is The phase contrast microscope main body is controlled.
  • the illumination light irradiation unit 10 irradiates the subject S accommodated in the culture vessel 60 with illumination light for so-called phase difference measurement.
  • the illumination light for the phase difference measurement is used. As shown in FIG.
  • the illumination light irradiation unit 10 of the present embodiment has a white light source 11 that emits white light for phase difference measurement and a ring-shaped slit, and white light emitted from the white light source 11 is incident.
  • the slit plate 12 is provided with a ring-shaped slit that transmits white light to the light-shielding plate that blocks the white light emitted from the white light source 11, and the ring shape is obtained when the white light passes through the slit. Illumination light is formed.
  • a cultured cell group (cell colony) is arranged as the subject S in the culture vessel 60 installed on the stage 61.
  • Cultured cells include pluripotent stem cells such as iPS (induced pluripotent stem) cells and ES (embryonic stem) cells, nerves derived from stem cells, skin, cardiac muscle and liver cells, and skin removed from the human body. , Retina, heart muscle, blood cells, nerves and organ cells.
  • pluripotent stem cells such as iPS (induced pluripotent stem) cells and ES (embryonic stem) cells
  • nerves derived from stem cells skin, cardiac muscle and liver cells, and skin removed from the human body.
  • Retina Retina
  • heart muscle blood cells
  • nerves and organ cells As the culture container 60, a petri dish and a well plate in which a plurality of wells are arranged can be used.
  • the imaging optical system 30 forms an image of the subject S in the culture vessel 60 on the imaging unit 40, and includes an objective lens 31, a phase plate 32, and an imaging lens 33.
  • the phase plate 32 is obtained by forming a phase ring on a transparent plate that is transparent with respect to the wavelength of the ring-shaped illumination light. Note that the size of the slit of the slit plate 12 described above is in a conjugate relationship with this phase ring.
  • the phase ring is a ring in which a phase film that shifts the phase of incident light by a quarter wavelength and a neutral density filter that attenuates incident light are formed.
  • the phase ring When the direct light incident on the phase plate 32 passes through the phase ring, the phase is shifted by 1 ⁇ 4 wavelength, and the brightness is weakened.
  • most of the diffracted light diffracted by the subject S passes through the transparent plate portion of the phase plate 32, and its phase and brightness do not change.
  • the imaging lens 33 receives direct light and diffracted light that have passed through the phase plate 32 and forms an image of these lights on the imaging unit 40.
  • the imaging optical system 30 of the present embodiment is configured so that the optical magnification can be changed.
  • a method for changing the optical magnification for example, a plurality of objective lenses 31 having different magnifications may be provided in the imaging optical system 30, and the plurality of objective lenses 31 may be switched manually or automatically.
  • the phase plate 32 is also changed according to the change of the magnification of the objective lens 31.
  • the thickness and density of the subject S are estimated based on a photographed image obtained by photographing the subject S. Then, when estimating the thickness of the subject S, a density of the subject S is estimated using a low NA (numerical aperture) photographed image taken under the condition that the numerical aperture of the objective lens 31 is relatively small. Uses a high NA (numerical aperture) photographed image photographed under the condition that the numerical aperture of the objective lens 31 is relatively large. The low NA photographed image is used when estimating the thickness of the subject S. When the numerical aperture of the objective lens 31 is small, a photographed image containing a large amount of a straight component of light transmitted through the subject S is photographed. This is because the captured image reflects the thickness of S.
  • the high NA photographed image is used when the numerical aperture of the objective lens 31 is large and a photographed image containing a large amount of light scattering components transmitted through the subject S is photographed. This is because the captured image reflects the density of the subject S.
  • the magnification of the objective lens 31 is automatically changed so that the magnification of the objective lens 31 is relatively low.
  • the numerical input is decreased and an instruction input for estimating the density of the subject S is received by the user, the objective lens 31 is automatically changed so that the magnification of the objective lens 31 is relatively high.
  • Increase the numerical aperture The relatively low magnification can be, for example, 4 times, and the relatively high magnification can be, for example, 10 times. However, the magnification is not limited to this.
  • An instruction input by the user may be received by the input device 90, and the magnification for thickness estimation and the magnification for density estimation may be set in advance. *
  • the plurality of photographed images obtained by photographing the subject under different objective lens numerical apertures in the present invention are not limited to the photographed images obtained by photographing the subject under different objective lens magnifications as described above.
  • a photographed image obtained by photographing a subject under conditions with different aperture stops and a photographed image obtained by photographing a subject under conditions under different illumination light wavelengths are also included. That is, as a result, as long as the numerical aperture of the objective lens is different, not only the magnification of the lens but also other optical system conditions may be changed.
  • the imaging unit 40 includes an imaging element that receives an image of the subject S imaged by the imaging lens 33 and captures a phase difference image of the subject S.
  • an imaging element that receives an image of the subject S imaged by the imaging lens 33 and captures a phase difference image of the subject S.
  • a charge-coupled device (CCD) image sensor, a complementary metal-oxide semiconductor (CMOS) image sensor, or the like can be used.
  • the microscope control device 50 is composed of a computer having a CPU (Central Processing Unit), a semiconductor memory, a hard disk, and the like.
  • CPU Central Processing Unit
  • the microscope control apparatus 50 controls the operation of the entire phase-contrast microscope main body. Specifically, as shown in FIG. 1, a control unit 51 having a CPU, an image acquisition unit 52, and a thickness estimation unit. 53 and a density estimation unit 54.
  • the microscope control device 50 corresponds to the captured image evaluation device of the present invention.
  • One embodiment of the photographed image evaluation program of the present invention is installed in the memory or the hard disk of the microscope control device 50, and when this program is executed by the control unit 51, the image acquisition unit 52 and the thickness estimation are performed.
  • the unit 53 and the density estimation unit 54 function.
  • the controller 51 controls the operation of the phase-contrast microscope main body, and specifically controls the operations of the illumination light irradiation unit 10, the stage drive unit 62, the imaging unit 40, and the like.
  • the control unit 51 drives and controls the stage driving unit 62, thereby moving the stage 61 in the X direction and the Y direction.
  • the stage 61 moves in the X direction and the Y direction, for example, one cell is scanned with illumination light for phase difference measurement, and the position of each of a plurality of imaging regions (fields of view) divided in one cell is determined. A phase difference image is captured.
  • the image acquisition unit 52 acquires and stores the phase difference image of the subject S output from the imaging unit 40 as a captured image.
  • the thickness estimation unit 53 estimates the thickness of a cell group that is the subject S based on a low NA image captured at a relatively low magnification. For example, when a low NA photographed image as shown in FIG. 2 is input, the thickness estimating unit 53 acquires a luminance distribution along the dotted line shown in FIG. FIG. 3 is a diagram illustrating an example of the luminance distribution.
  • the thickness estimation unit 53 obtains the corresponding thickness with reference to the table shown in FIG. 4 with respect to the luminance at each position of the luminance distribution shown in FIG. 3, and thereby, the position of each position of the subject S as shown in FIG. Estimate the thickness distribution.
  • the thickness on the dotted line shown in FIG. 2 is estimated.
  • the present invention is not limited to this, and line segments crossing the subject S are set in a plurality of directions, and the thickness on each line segment is estimated. By doing so, the two-dimensional thickness distribution of the subject S may be estimated. Further, the user may set and input the direction of the line segment for estimating the thickness using the input device 90.
  • a table in which the brightness and the thickness shown in FIG. 4 are associated may be set for each magnification of the objective lens 31.
  • the table may be automatically changed according to the change.
  • the density estimation unit 54 estimates the density (concentration) of the cells of the cell group that is the subject S based on the high NA photographed image photographed at a relatively high magnification. For example, when a high NA photographed image as shown in FIG. 6 is input, the density estimation unit 54 acquires a luminance distribution along the dotted line shown in FIG. FIG. 7 is a diagram illustrating an example of the luminance distribution. And the density estimation part 54 estimates the density of a cell based on the shape of the luminance distribution shown in FIG. Specifically, the density estimation unit 54 approximates the luminance distribution with a Gaussian function.
  • the thick solid line in FIG. 8 shows the result of approximating the luminance distribution of the thin solid line with a Gaussian function.
  • the density estimation unit 54 calculates the number of peaks indicated by arrows from the approximation result of the Gaussian function shown in FIG. And the density estimation part 54 estimates the density (density) of a cell by counting the number of peaks per unit area. That is, the density estimation unit 54 estimates the cell density on the assumption that one peak of the luminance distribution corresponds to one cell.
  • the cell density on the dotted line shown in FIG. 6 is estimated.
  • the user may set and input a line segment for estimating the density using the input device 90.
  • the range for estimating the density may be specified two-dimensionally in a range such as a rectangle or a circle instead of being specified by a line segment.
  • the high NA photographed image may include not only cells but also images such as small dust, and when such dust images appear as peaks on the luminance distribution, the cell density Cannot be calculated with high accuracy.
  • FIG. 9 shows an example of a high NA photographed image including the dust image as described above, and the portion indicated by the arrow in FIG. 9 is the dust image.
  • the thickness of the subject S estimated by the thickness estimation unit 53 and the density of the subject S estimated by the density estimation unit 54 are output to the control unit 51.
  • the control unit 51 displays the inputted thickness and density of the subject S on the display device 80 as text or outputs them to other external devices.
  • the control unit 51 corresponds to the output unit of the present invention.
  • an input device 90 and a display device 80 are connected to the microscope control device 50.
  • the input device 90 includes an input device such as a keyboard and a mouse, and accepts a setting input by a user.
  • the input device 90 according to the present embodiment receives setting inputs such as an instruction for changing the magnification of the objective lens 31 and estimating the thickness and density of the subject S.
  • the display device 80 is configured by a display device such as a liquid crystal display, and displays a captured image (phase difference image) captured by the imaging unit 40, the estimation result of the thickness and density of the subject S, and the like. is there. In addition, you may make it also serve as the input device 90 by comprising the display apparatus 80 with a touch panel.
  • the microscope image evaluation system of this embodiment is characterized by estimating the thickness and density of the subject S based on a photographed image obtained by photographing the subject S.
  • the microscope image evaluation system of the present embodiment is characterized by estimating the thickness and density of the subject S based on a photographed image obtained by photographing the subject S.
  • an instruction input for estimating the thickness of the subject S or estimating the density of the subject S is input from the input device 90 by the user (S10).
  • the image acquisition unit 52 acquires a low NA photographed image (S12).
  • the low NA photographed image may be automatically selected from photographed images that have been photographed at different magnifications and stored in advance, or the user inputs an instruction for estimating the thickness of the subject S.
  • the phase contrast microscope main body may be used to capture and acquire the image at a low magnification.
  • a plurality of captured images captured in advance at different magnifications may be displayed on the display device 80, and a user may select a low NA captured image captured at a low magnification from among them using the input device 90. .
  • a warning display or the like may be displayed as not being suitable for thickness estimation.
  • a mark may be displayed as a photographed image suitable for thickness estimation for a photographed image having a magnification equal to or smaller than a preset magnification threshold.
  • the numerical aperture of the objective lens is relatively set. A low NA photographed image photographed under a small condition and a high NA photographed image photographed under a condition where the numerical aperture of the objective lens is relatively large may be determined.
  • the low NA photographed image acquired by the image acquisition unit 52 is input to the thickness estimation unit 53. Then, for example, on the low NA photographed image displayed on the display device 80, a range for estimating the thickness is designated by the user using the input device 90 (S14).
  • the thickness estimation unit 53 acquires the luminance distribution of the low NA photographed image as described above based on the thickness estimation range input by the user (S16). Then, based on the luminance distribution, the thickness is estimated with reference to the table as shown in FIG. 4 (S18). The thickness of the subject S estimated by the thickness estimation unit 53 is displayed on the display device 80 by the control unit 51 (S20).
  • the image acquisition unit 52 acquires a high NA photographed image (S22).
  • the high NA photographed image may be automatically selected from the photographed images that have been photographed and stored in advance at different magnifications as in the case of the low NA photographed image.
  • the phase contrast microscope main body may be used to capture and acquire a high magnification.
  • a plurality of captured images captured in advance at different magnifications may be displayed on the display device 80, and the user may select a high NA captured image captured at a high magnification from among them using the input device 90. .
  • a warning may be displayed as not being suitable for density estimation.
  • a mark may be displayed as a photographed image suitable for density estimation for a photographed image having a magnification equal to or greater than a preset magnification threshold.
  • the high NA photographed image acquired by the image acquisition unit 52 is input to the density estimation unit 54. Then, for example, on the high NA photographed image displayed on the display device 80, a range in which the density is estimated using the input device 90 is designated by the user (S24).
  • the density estimation unit 54 acquires the luminance distribution of the high NA photographed image as described above based on the density estimation range input by the user (S26). Then, after approximating the luminance distribution with a Gaussian function, the number of peaks is counted and density is estimated (S28). The density of the subject S estimated by the density estimation unit 54 is displayed on the display device 80 by the control unit 51 (S30).
  • the estimation of the thickness of the subject S and the estimation of the density are selectively performed.
  • the present invention is not limited to this, and both the estimation of the thickness of the subject S and the estimation of the density are simultaneously performed in parallel. You may make it perform.
  • a captured image obtained by photographing the subject S under a condition where the numerical aperture of the objective lens 31 is different is acquired, and a low image photographed under a condition where the numerical aperture of the objective lens 31 is relatively small.
  • the thickness of the subject S is estimated based on the NA photographed image, and the density of the subject S is estimated based on the high NA photographed image photographed under the condition that the numerical aperture of the objective lens 31 is relatively large. Accordingly, since the low NA photographed image and the high NA photographed image need only be photographed twice, the thickness and density of the subject S can be evaluated in a short photographing time.
  • the load of the analysis process can be reduced as compared with a conventional method of analyzing a large number of sectional images. Further, when the evaluation is performed using the luminance distribution as in the present embodiment, the thickness and density of the subject can be estimated by a simpler process.
  • a captured image captured at a low magnification is acquired as a low NA captured image
  • a captured image captured at a high magnification is acquired as a high NA captured image.
  • a captured image captured using an aperture stop having a relatively small aperture is acquired as a low NA captured image
  • a captured image captured using an aperture stop having a relatively large aperture is acquired as a high NA captured image. You may make it do.
  • FIG. 12 shows a configuration in which the above-described aperture stop 14 is provided to the phase contrast microscope main body of the microscope image evaluation system of the above embodiment.
  • the aperture stop 14 includes an opening 14a that transmits the ring-shaped illumination light.
  • the size of the opening 14a can be changed.
  • the size of the opening 14a may be changed manually or automatically. For example, when an instruction input for estimating the thickness of the subject S is received by the user, the aperture 14a of the aperture stop 14 is automatically changed so as to be relatively large, and the density of the subject S is estimated by the user. When an instruction input to be performed is accepted, the aperture may be automatically changed so that the aperture 14a of the aperture stop 14 becomes relatively small.
  • the instruction input by the user may be received by the input device 90, and the size of the thickness estimation opening 14a and the density estimation opening 14a may be set in advance.
  • the wavelength of the illumination light of the phase-contrast microscope body can be changed, a captured image captured with a relatively long wavelength illumination light is acquired as a low NA captured image, and a relatively short wavelength illumination light is acquired.
  • the captured image may be acquired as a high NA captured image.
  • a light source of a different wavelength may be configured to be manually or automatically changeable, or an optical filter that receives illumination light emitted from the light source is provided, and the optical You may make it change the wavelength of illumination light by changing a filter manually or automatically.
  • a wavelength of about 780 nm can be used as the wavelength of the illumination light when capturing the low NA captured image
  • a wavelength of about 405 nm for example, is used as the wavelength of the illumination light when capturing the high NA captured image. be able to.
  • the present invention is applied to a phase contrast microscope.
  • the present invention is not limited to a phase contrast microscope, and is applied to other microscopes such as a differential interference microscope and a bright field microscope. Also good.

Abstract

積層された培養細胞の厚さおよび密度を、短い撮影時間で評価することができる撮影画像評価装置および方法並びにプログラムを提供する。対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部５２と、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定する厚さ推定部５３と、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する密度推定部５４とを備える。

Description

撮影画像評価装置および方法並びにプログラム
　本発明は、被写体を撮影した撮影画像に基づいて、被写体の厚さおよび密度の推定を行う撮影画像評価装置および方法並びにプログラムに関するものである。
　ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
　細胞は成長が進むにつれ、３次元的に積層することが知られており、その積層している培養細胞の厚さおよび密度（細胞の密集度）を知ることは、培養細胞を再生医療および創薬などの分野で使用する上で、重要なことである。
　培養細胞の状態を評価する方法としては、従来、位相差顕微鏡などの顕微鏡を用いて培養細胞を撮影し、その撮影画像の特徴を捉えることによって細胞培養の状態を評価する方法が提案されている。
　たとえば特許文献１においては、上述したような積層された培養細胞の状態を評価するために、検出光学系の焦点位置を培養細胞の積層方向に移動させることによって、培養細胞の設置面から積層方向に距離の異なる複数の断面画像を撮影することが提案されている。
特開２０１６－２１９１５号公報
　しかしながら、特許文献１に記載の方法のように、焦点位置を変更しながら複数の断面画像を撮影するようにしたのでは、断面画像の撮影回数が多くなり、撮影時間が長くなってしまう問題がある。
　また、多数の断面画像を統合して解析処理を行う必要があるので、その解析処理の負荷も大きなものとなる。
　本発明は、上記の問題に鑑み、積層された培養細胞の厚さおよび密度を、短い撮影時間で評価することができる撮影画像評価装置および方法並びにプログラムを提供することを目的とする。
　本発明の撮影画像評価装置は、対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得する画像取得部と、複数の撮影画像のうち相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、複数の撮影画像のうち相対的に対物レンズの開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する密度推定部とを備える。
　また、上記本発明の撮影画像評価装置において、厚さ推定部は、低ＮＡ撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の厚さを推定することができる。
　また、上記本発明の撮影画像評価装置において、厚さ推定部は、低ＮＡ撮影画像の輝度と被写体の厚さとを対応づけたテーブルを有することができる。
　また、上記本発明の撮影画像評価装置において、密度推定部は、高ＮＡ撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の密度を推定することができる。
　また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布の形状に基づいて、被写体の密度を推定することができる。
　また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布に含まれるピークを求め、そのピークの単位面積当たりの数を算出することによって被写体の密度を推定することができる。
　また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布をガウス関数で近似してピークを求めることができる。
　また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に低い倍率で撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に高い倍率で撮影された撮影画像とすることができる。
　また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に長い波長の照明光で撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に短い波長の照明光で撮影された撮影画像とすることができる。
　また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に開口の小さい開口絞りを用いて撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に開口の大きい開口絞りを用いて撮影された撮影画像とすることができる。
　また、上記本発明の撮影画像評価装置においては、厚さ推定部によって推定された被写体の厚さおよび密度推定部によって推定された被写体の密度を出力する出力部を備えることができる。
　本発明の撮影画像評価方法は、対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得し、複数の撮影画像のうち相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定し、複数の撮影画像のうち相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する。
　本発明の撮影画像評価プログラムは、コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得する画像取得部と、複数の撮影画像のうち相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、複数の撮影画像のうち相対的に対物レンズの開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する密度推定部として機能させる。
　本発明の撮影画像評価装置および方法並びにプログラムによれば、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定し、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する。したがって、低ＮＡ撮影画像および高ＮＡ撮影画像の２回の撮影を行えばよいので、被写体の厚さおよび密度を短い撮影時間で評価することができる。
　ここで、被写体の厚さを推定する場合に低ＮＡ撮影画像を用いるのは、対物レンズの開口数が小さい場合には、被写体を透過した光の直進成分を多く含む撮影画像が撮影され、被写体の厚さが反映された撮影画像となるからである。また、被写体の密度を推定する場合に高ＮＡ撮影画像を用いるのは、対物レンズの開口数が大きい場合には、被写体を透過した光の散乱成分を多く含む撮影画像が撮影され、被写体の密度が反映された撮影画像となるからである。
本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの概略構成を示す図 低ＮＡ撮影画像の一例を示す図 低ＮＡ撮影画像に基づいて取得された輝度分布の一例を示す図 低ＮＡ撮影画像の輝度と被写体の厚さとの関係を示すテーブルの一例を示す図 被写体の厚さの推定結果の一例を示す図 低ＮＡ撮影画像の一例を示す図 低ＮＡ撮影画像に基づいて取得された輝度分布の一例を示す図 図７に示す輝度分布をガウス関数で近似した結果を示す図 ゴミの画像を含む高ＮＡ撮影画像の一例を示す図 ゴミの画像に基づくピークを含む輝度分布の一例を示す図 本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの作用を説明するためのフローチャート 本発明の撮影画像評価装置のその他の実施形態を用いた顕微鏡画像評価システムの概略構成を示す図
　以下、本発明の撮影画像評価装置および方法の一実施形態を用いた顕微鏡画像評価システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡画像評価システムの概略構成を示す図である。
　本実施形態の顕微鏡画像評価システムは、図１に示すように、照明光照射部１０と、結像光学系３０と、撮像部４０と、顕微鏡制御装置５０と、表示装置８０と、入力装置９０とを備えている。
　本実施形態の顕微鏡画像評価システムにおいては、照明光照射部１０と結像光学系３０との間に、ステージ６１が設けられており、このステージ６１上に培養容器６０が載置されて、支持される。培養容器６０内には、培養液Ｃおよび被写体Ｓが収容されている。
　そして、本実施形態の顕微鏡画像評価システムは、ステージ６１をＸ方向およびＹ方向に移動させるステージ駆動部６２を備えている。Ｘ方向およびＹ方向は、被写体Ｓの設置面に平行な面上において互いに直交する方向であり、Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。
　本実施形態の顕微鏡画像評価システムにおいては、上述した照明光照射部１０、結像光学系３０、撮像部４０、ステージ６１およびステージ駆動部６２から位相差顕微鏡本体が構成され、顕微鏡制御装置５０は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
　照明光照射部１０は、培養容器６０内に収容された被写体Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
　具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１と、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２と、スリット板１２から出射されたリング状照明光が入射され、その入射されたリング状照明光を被写体Ｓに対して照射するコンデンサレンズ１３とを備えている。
　スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
　ステージ６１上に設置された培養容器６０内には、被写体Ｓとして、培養された細胞群（細胞コロニー）が配置される。培養された細胞としては、ｉＰＳ（induced pluripotent stem）細胞およびＥＳ（embryonic stem）細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。
　結像光学系３０は、培養容器６０内の被写体Ｓの像を撮像部４０に結像するものであり、対物レンズ３１と、位相板３２と、結像レンズ３３とを備えている。
　位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
　位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、被写体Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
　結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像するものである。
　本実施形態の結像光学系３０は、光学倍率を変更可能に構成されている。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ３１を結像光学系３０に設け、この複数の対物レンズ３１を手動または自動で切り換えるようにすればよい。なお、対物レンズ３１の倍率が変更された場合には、位相板３２も対物レンズ３１の倍率の変更に応じて変更される。
　ここで、本実施形態においては、被写体Ｓを撮影した撮影画像に基づいて、被写体Ｓの厚さおよび密度を推定する。そして、被写体Ｓの厚さを推定する場合には、相対的に対物レンズ３１の開口数が小さい条件で撮影された低ＮＡ（numerical aperture）撮影画像を用い、被写体Ｓの密度を推定する場合には、相対的に対物レンズ３１の開口数が大きい条件で撮影された高ＮＡ（numerical aperture）撮影画像を用いる。被写体Ｓの厚さを推定する場合に低ＮＡ撮影画像を用いるのは、対物レンズ３１の開口数が小さい場合には、被写体Ｓを透過した光の直進成分を多く含む撮影画像が撮影され、被写体Ｓの厚さが反映された撮影画像となるからである。また、被写体Ｓの密度を推定する場合に高ＮＡ撮影画像を用いるのは、対物レンズ３１の開口数が大きい場合には、被写体Ｓを透過した光の散乱成分を多く含む撮影画像が撮影され、被写体Ｓの密度が反映された撮影画像となるからである。
　本実施形態においては、たとえばユーザによって被写体Ｓの厚さの推定を行う指示入力を受け付けた場合には、対物レンズ３１の倍率が相対的に低くなるように自動的に変更して対物レンズ３１の開口数を小さくし、一方、ユーザによって被写体Ｓの密度の推定を行う指示入力を受け付けた場合には、対物レンズ３１の倍率が相対的に高くなるように自動的に変更して対物レンズ３１の開口数を大きくする。相対的に低い倍率としては、たとえば４倍とすることができ、相対的に高い倍率としては、たとえば１０倍とすることができる。ただし、この倍率に限られるものではない。ユーザによる指示入力は、入力装置９０によって受け付けるようにすればよく、厚さ推定用の倍率と密度推定用の倍率は、予め設定しておくようにすればよい。　
　ただし、本発明でいう対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像とは、上述したように対物レンズの倍率が異なる条件で被写体を撮影した撮影画像に限らず、後で説明するように、開口絞りの大きさが異なる条件で被写体を撮影した撮影画像および照明光の波長が異なる条件で被写体を撮影した撮影画像も含むものとする。すなわち、結果として対物レンズの開口数が異なる条件であれば、レンズの倍率に限らず、その他の光学系の条件を変更するようにしてもよい。　
　撮像部４０は、結像レンズ３３によって結像された被写体Ｓの像を受光し、被写体Ｓの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを用いることができる。
　顕微鏡制御装置５０は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
　顕微鏡制御装置５０は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図１に示すように、ＣＰＵを有する制御部５１と、画像取得部５２と、厚さ推定部５３と、密度推定部５４とを備えている。なお、本実施形態において、顕微鏡制御装置５０が、本発明の撮影画像評価装置に相当するものである。顕微鏡制御装置５０のメモリまたはハードディスクには、本発明の撮影画像評価プログラムの一実施形態がインストールされており、このプログラムが、制御部５１によって実行されることによって、画像取得部５２、厚さ推定部５３および密度推定部５４が機能する。
　制御部５１は、位相差顕微鏡本体の動作を制御するものであり、具体的には、照明光照射部１０、ステージ駆動部６２および撮像部４０の動作などを制御するものである。
　制御部５１は、ステージ駆動部６２を駆動制御し、これによりステージ６１をＸ方向およびＹ方向に移動させる。ステージ６１が、Ｘ方向およびＹ方向に移動することによって、たとえば１つのセル内が位相差計測用の照明光で走査され、１つのセル内で分割された複数の撮像領域（視野）毎の位相差画像が撮像される。
　画像取得部５２は、撮像部４０から出力された被写体Ｓの位相差画像を撮影画像として取得し、記憶するものである。
　厚さ推定部５３は、相対的に低い倍率によって撮影された低ＮＡ撮影画像に基づいて、被写体Ｓである細胞群の厚さを推定するものである。厚さ推定部５３は、たとえば図２に示すような低ＮＡ撮影画像が入力された場合、図２に示す点線に沿った輝度分布を取得する。図３は、輝度分布の一例を示す図である。厚さ推定部５３には、図４に示すような低ＮＡ撮影画像の輝度と被写体Ｓの厚さとの関係を示すテーブルが予め設定されている。厚さ推定部５３は、図３に示す輝度分布の各位置の輝度について、図４に示すテーブルを参照して対応する厚さを求め、これにより図５に示すような被写体Ｓの各位置の厚さの分布を推定する。
　なお、上記説明では、図２に示す点線上の厚さを推定するようにしたが、これに限らず、被写体Ｓを横切る線分を複数方向について設定し、その各線分上の厚さを推定することによって、被写体Ｓの２次元的な厚さの分布を推定するようにしてもよい。また、厚さを推定する線分の方向をユーザが入力装置９０を用いて設定入力するようにしてもよい。
　また、図４に示す輝度と厚さとを対応付けたテーブルを対物レンズ３１の倍率毎に設定するようにしてもよい。対物レンズ３１の倍率が変更された場合には、その変更に応じてテーブルを自動的に変更するようにしてもよい。
　密度推定部５４は、相対的に高い倍率によって撮影された高ＮＡ撮影画像に基づいて、被写体Ｓである細胞群の細胞の密度（密集度）を推定するものである。密度推定部５４は、たとえば図６に示すような高ＮＡ撮影画像が入力された場合、図６に示す点線に沿った輝度分布を取得する。図７は、輝度分布の一例を示す図である。そして、密度推定部５４は、図７に示す輝度分布の形状に基づいて、細胞の密度を推定する。具体的には、密度推定部５４は、輝度分布をガウス関数で近似する。図８の太い実線は、細い実線の輝度分布をガウス関数で近似した結果を示すものである。次に、密度推定部５４は、図８に示すガウス関数の近似結果から、矢印で示すピークの数を算出する。そして、密度推定部５４は、単位面積当たりのピーク数をカウントすることによって、細胞の密度（密集度）を推定する。すなわち、密度推定部５４は、輝度分布の１つのピークが１つの細胞に相当するものとして、細胞の密度を推定する。
　なお、上記説明では、図６に示す点線上の細胞の密度を推定するようにしたが、密度を推定する線分をユーザが入力装置９０を用いて設定入力するようにしてもよい。また、密度を推定する範囲を線分で指定するのではなく、矩形または円形などの範囲で２次元的に指定するようにしてもよい。
　また、高ＮＡ撮影画像には、細胞だけでなく、小さなゴミなどの画像が含まれている場合があり、このようなゴミの画像が輝度分布上にピークとして現れた場合には、細胞の密度を高精度に算出することができない。図９は、上述したようなゴミの画像を含む高ＮＡ撮影画像の一例を示しており、図９の矢印で示す部分がゴミの画像である。
　そこで、細胞の密度を高精度に算出するためには、上述したようなゴミの画像に起因するピークを取り除くことが好ましい。具体的には、図９に示す点線に沿った輝度分布を取得した場合、図１０に示すように、細胞の画像に基づくピークの群から離れた位置に、ゴミなどの画像に基づくピークが現れる。そこで、図１０に矢印で示すようなピークが存在する場合には、このピークを、ゴミなどの画像による孤立点として除去した後にピーク数を算出して、細胞の密度を推定することが好ましい。
　厚さ推定部５３によって推定された被写体Ｓの厚さおよび密度推定部５４によって推定された被写体Ｓの密度は、制御部５１に出力される。制御部５１は、入力された被写体Ｓの厚さおよび密度を表示装置８０にテキスト表示したり、その他の外部装置に出力するものである。なお、本実施形態においては、制御部５１が、本発明の出力部に相当するものである。
　図１に戻り、顕微鏡制御装置５０には、入力装置９０と表示装置８０とが接続されている。入力装置９０は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置９０は、対物レンズ３１の倍率変更、並びに被写体Ｓの厚さおよび密度の推定の指示などの設定入力を受け付けるものである。
　表示装置８０は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部４０において撮像された撮影画像（位相差画像）および被写体Ｓの厚さおよび密度の推定結果などを表示するものである。なお、表示装置８０をタッチパネルによって構成することによって、入力装置９０を兼用するようにしてもよい。
　次に、本実施形態の顕微鏡画像評価システムの作用について、図１１に示すフローチャートを参照しながら説明する。なお、本実施形態の顕微鏡画像評価システムは、被写体Ｓを撮影した撮影画像に基づいて、被写体Ｓの厚さおよび密度を推定することに特徴を有するものであるので、ここでは、その点を中心に説明する。
　まず、ユーザによって、被写体Ｓの厚さの推定または被写体Ｓの密度の推定の指示入力が入力装置９０から入力される（Ｓ１０）。
　ユーザによって被写体Ｓの厚さの推定の指示入力がされた場合には、画像取得部５２によって低ＮＡ撮影画像が取得される（Ｓ１２）。なお、低ＮＡ撮影画像については、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Ｓの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって低倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置８０に表示させ、その中から低倍率で撮影された低ＮＡ撮影画像をユーザが入力装置９０を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも高い倍率の撮影画像を選択した場合には、厚さの推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置８０に複数の撮影画像を表示させる際、予め設定された倍率の閾値以下の倍率の撮影画像について、厚さの推定に適している撮影画像としてマークを表示させるようにしてもよい。また、対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像の中から任意の２枚を選択し、その２枚の撮影条件を比較することにより、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像と相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像とを決定してもよい。
　画像取得部５２によって取得された低ＮＡ撮影画像は、厚さ推定部５３に入力される。そして、たとえば表示装置８０に表示された低ＮＡ撮影画像上において、ユーザによって入力装置９０を用いて厚さを推定する範囲が指定される（Ｓ１４）。
　厚さ推定部５３は、ユーザによって入力された厚さの推定の範囲に基づいて、上述したように低ＮＡ撮影画像の輝度分布を取得する（Ｓ１６）。そして、その輝度分布に基づいて、図４に示したようなテーブルを参照して厚さの推定が行われる（Ｓ１８）。厚さ推定部５３によって推定された被写体Ｓの厚さは、制御部５１によって表示装置８０に表示される（Ｓ２０）。
　Ｓ１０に戻り、ユーザによって被写体Ｓの密度の推定の指示入力がされた場合には、画像取得部５２によって高ＮＡ撮影画像が取得される（Ｓ２２）。なお、高ＮＡ撮影画像についても、低ＮＡ撮影画像と同様に、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Ｓの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって高倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置８０に表示させ、その中から高倍率で撮影された高ＮＡ撮影画像をユーザが入力装置９０を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも低い倍率の撮影画像を選択した場合には、密度の推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置８０に複数の撮影画像を表示させる際、予め設定された倍率の閾値以上の倍率の撮影画像について、密度の推定に適している撮影画像としてマークを表示させるようにしてもよい。
　画像取得部５２によって取得された高ＮＡ撮影画像は、密度推定部５４に入力される。そして、たとえば表示装置８０に表示された高ＮＡ撮影画像上において、ユーザによって入力装置９０を用いて密度を推定する範囲が指定される（Ｓ２４）。
　密度推定部５４は、ユーザによって入力された密度の推定の範囲に基づいて、上述したように高ＮＡ撮影画像の輝度分布を取得する（Ｓ２６）。そして、その輝度分布をガウス関数によって近似した後、ピークの数がカウントされて密度の推定が行われる（Ｓ２８）。密度推定部５４よって推定された被写体Ｓの密度は、制御部５１によって表示装置８０に表示される（Ｓ３０）。
　なお、上記説明では、被写体Ｓの厚さの推定と密度の推定を選択的に行うようにしたが、これに限らず、被写体Ｓの厚さの推定と密度の推定の両方を同時に並行して行うようにしてもよい。
　上記実施形態の顕微鏡画像評価システムによれば、対物レンズ３１の開口数が異なる条件によって被写体Ｓを撮影した撮影画像を取得し、相対的に対物レンズ３１の開口数が小さい条件によって撮影された低ＮＡ撮影画像に基づいて、被写体Ｓの厚さを推定し、相対的に対物レンズ３１の開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体Ｓの密度を推定する。したがって、低ＮＡ撮影画像および高ＮＡ撮影画像の２回の撮影を行えばよいので、被写体Ｓの厚さおよび密度を短い撮影時間で評価することができる。
　また、低ＮＡ撮影画像および高ＮＡ撮影画像の２枚の撮影画像の解析を行えばよいので、従来の多数の断面画像を解析する方法と比較すると、解析処理の負荷を小さくすることができる。また、本実施形態のように、輝度分布を用いて評価を行った場合には、より簡略な処理で被写体の厚さおよび密度を推定することができる。
　なお、上記実施形態においては、低倍率によって撮影された撮影画像を低ＮＡ撮影画像として取得し、高倍率によって撮影された撮影画像を高ＮＡ撮影画像として取得するようにしたが、これに限らず、たとえば相対的に開口の小さい開口絞りを用いて撮影された撮影画像を低ＮＡ撮影画像として取得し、相対的に開口の大きい開口絞りを用いて撮影された撮影画像を高ＮＡ撮影画像として取得するようにしてもよい。
　図１２は、上記実施形態の顕微鏡画像評価システムの位相差顕微鏡本体に対して、上述した開口絞り１４を設けた構成を示している。
　開口絞り１４は、リング状照明光を透過する開口１４ａを備えている。開口１４ａの大きさは変更可能に構成されている。開口１４ａの大きさの変更は、手動で行うようにしてもよいし、自動で行うようにしてもよい。たとえばユーザによって被写体Ｓの厚さの推定を行う指示入力を受け付けた場合には、開口絞り１４の開口１４ａが相対的に大きくなるように自動的に変更し、ユーザによって被写体Ｓの密度の推定を行う指示入力を受け付けた場合には、開口絞り１４の開口１４ａが相対的に小さくなるように自動的に変更するようにしてもよい。ユーザによる指示入力は、入力装置９０によって受け付けるようにすればよく、厚さ推定用の開口１４ａの大きさと密度推定用の開口１４ａの大きさは、予め設定しておくようにすればよい。
　また、位相差顕微鏡本体の照明光の波長を変更可能に構成し、相対的に長い波長の照明光で撮影された撮影画像を低ＮＡ撮影画像として取得し、相対的に短い波長の照明光で撮影された撮影画像を高ＮＡ撮影画像として取得するようにしてもよい。照明光の波長を変更する方法としては、異なる波長の光源を手動または自動で変更可能に構成するようにしてもよいし、光源から出射された照明光が入射される光学フィルタを設け、その光学フィルタを手動または自動で変更することによって照明光の波長を変更するようにしてもよい。
低ＮＡ撮影画像を撮影する際の照明光の波長としては、たとえば７８０ｎｍ程度の波長を用いることができ、高ＮＡ撮影画像を撮影する際の照明光の波長としては、たとえば４０５ｎｍ程度の波長を用いることができる。
　また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
１０　 照明光照射部
１１　 白色光源
１２　 スリット板
１３　 コンデンサレンズ
１４　 開口絞り
１４ａ 開口
３０　 結像光学系
３１　 対物レンズ
３２　 位相板
３３　 結像レンズ
４０　 撮像部
５０　 顕微鏡制御装置
５１　 制御部
５２　 画像取得部
５３　 厚さ推定部
５４　 密度推定部
６０　 培養容器
６１　 ステージ
６２　 ステージ駆動部
８０　 表示装置
９０　 入力装置
Ｓ　　 被写体

Claims (13)

  1. 　対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得する画像取得部と、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体の密度を推定する密度推定部とを備えた撮影画像評価装置。
  2. 　前記厚さ推定部が、前記低ＮＡ撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体の厚さを推定する請求項１記載の撮影画像評価装置。
  3. 　前記厚さ推定部が、前記低ＮＡ撮影画像の輝度と前記被写体の厚さとを対応づけたテーブルを有する請求項２記載の撮影画像評価装置。
  4. 　前記密度推定部が、前記高ＮＡ撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体の密度を推定する請求項１から３いずれか１項記載の撮影画像評価装置。
  5. 　前記密度推定部が、前記輝度分布の形状に基づいて、前記被写体の密度を推定する請求項４記載の撮影画像評価装置。
  6. 　前記密度推定部が、前記輝度分布に含まれるピークを求め、該ピークの単位面積当たりの数を算出することによって前記被写体の密度を推定する請求項４または５記載の撮影画像評価装置。
  7. 　前記密度推定部が、前記輝度分布をガウス関数で近似して前記ピークを求める請求項６記載の撮影画像評価装置。
  8. 　前記低ＮＡ撮影画像が、相対的に低い倍率で撮影された撮影画像であり、
    　前記高ＮＡ撮影画像が、相対的に高い倍率で撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  9. 　前記低ＮＡ撮影画像が、相対的に長い波長の照明光で撮影された撮影画像であり、
    　前記高ＮＡ撮影画像が、相対的に短い波長の照明光で撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  10. 　前記低ＮＡ撮影画像が、相対的に開口の小さい開口絞りを用いて撮影された撮影画像であり、
    　前記高ＮＡ撮影画像が、相対的に開口の大きい開口絞りを用いて撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  11. 　前記厚さ推定部によって推定された前記被写体の厚さおよび前記密度推定部によって推定された前記被写体の密度を出力する出力部を備えた請求項１から１０いずれか１項記載の撮影画像評価装置。
  12. 　対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得し、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定し、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体の密度を推定する撮影画像評価方法。
  13. 　コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した複数の撮影画像を取得する画像取得部と、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    　前記複数の撮影画像のうち、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体の密度を推定する密度推定部として機能させる撮影画像評価プログラム。
PCT/JP2017/026745 2016-09-28 2017-07-25 撮影画像評価装置および方法並びにプログラム WO2018061429A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197005997A KR102149625B1 (ko) 2016-09-28 2017-07-25 촬영 화상 평가 장치 및 방법과, 프로그램
EP17855387.1A EP3521750B1 (en) 2016-09-28 2017-07-25 Captured image evaluation device, method, and program
US16/291,068 US11169079B2 (en) 2016-09-28 2019-03-04 Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-189793 2016-09-28
JP2016189793A JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/291,068 Continuation US11169079B2 (en) 2016-09-28 2019-03-04 Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program

Publications (1)

Publication Number Publication Date
WO2018061429A1 true WO2018061429A1 (ja) 2018-04-05

Family

ID=61759435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026745 WO2018061429A1 (ja) 2016-09-28 2017-07-25 撮影画像評価装置および方法並びにプログラム

Country Status (5)

Country Link
US (1) US11169079B2 (ja)
EP (1) EP3521750B1 (ja)
JP (1) JP6580012B2 (ja)
KR (1) KR102149625B1 (ja)
WO (1) WO2018061429A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066042A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150866B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714887B (zh) * 2018-09-28 2024-02-23 仪景通株式会社 显微镜系统、投影单元以及图像投影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206741A (ja) * 1997-01-17 1998-08-07 Tokyo Koku Keiki Kk 対物レンズの開口数可変の光学顕微鏡
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
JP2012202761A (ja) * 2011-03-24 2012-10-22 Nikon Corp 光干渉断層撮影装置
JP2015166829A (ja) * 2014-03-04 2015-09-24 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP2016021915A (ja) 2014-07-18 2016-02-08 株式会社日立ハイテクノロジーズ 細胞培養装置および画像解析装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013765C1 (ru) * 1990-08-14 1994-05-30 Сидорин Василий Сергеевич Способ определения численной плотности и объема элементов микроскопических структур в тканях
US6480285B1 (en) * 1997-01-28 2002-11-12 Zetetic Institute Multiple layer confocal interference microscopy using wavenumber domain reflectometry and background amplitude reduction and compensation
JP4937457B2 (ja) * 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP2019523393A (ja) * 2016-05-23 2019-08-22 コンティンユーズ バイオメトリクス リミテッドＣｏｎｔｉｎＵｓｅ Ｂｉｏｍｅｔｒｉｃｓ Ｌｔｄ． 物体の深さ特性評価に使用するシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206741A (ja) * 1997-01-17 1998-08-07 Tokyo Koku Keiki Kk 対物レンズの開口数可変の光学顕微鏡
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
JP2012202761A (ja) * 2011-03-24 2012-10-22 Nikon Corp 光干渉断層撮影装置
JP2015166829A (ja) * 2014-03-04 2015-09-24 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP2016021915A (ja) 2014-07-18 2016-02-08 株式会社日立ハイテクノロジーズ 細胞培養装置および画像解析装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3521750A4

Also Published As

Publication number Publication date
EP3521750A1 (en) 2019-08-07
EP3521750A4 (en) 2019-08-28
KR20190031563A (ko) 2019-03-26
US20190195777A1 (en) 2019-06-27
JP2018054425A (ja) 2018-04-05
JP6580012B2 (ja) 2019-09-25
US11169079B2 (en) 2021-11-09
KR102149625B1 (ko) 2020-08-28
EP3521750B1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
US20170031146A1 (en) Imaging Assemblies With Rapid Sample Auto-Focusing
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP2015165785A (ja) 細胞画像取得装置および方法並びにプログラム
WO2018061429A1 (ja) 撮影画像評価装置および方法並びにプログラム
JP6815477B2 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
EP3532822B1 (en) Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
US10659694B2 (en) Imaging device, imaging method and imaging device control program
JP6824388B2 (ja) 観察装置および観察制御方法並びに観察制御プログラム
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
US11050931B2 (en) Control device and control method
JP2016208854A (ja) 撮像装置および方法並びに撮像制御プログラム
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
US11061214B2 (en) Cell observation apparatus and method
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP6848086B2 (ja) 観察装置および方法並びに観察装置制御プログラム
Cruz et al. Automated urine microscopy using scale invariant feature transform
JP6534295B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2016186446A (ja) 細胞分化情報取得装置および方法並びにプログラム
WO2023012241A1 (en) Systems and methods for providing live sample monitoring information with parallel imaging systems
JP2024059329A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197005997

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017855387

Country of ref document: EP

Effective date: 20190429