WO2019181053A1 - デフォーカス量測定装置、方法およびプログラム、並びに判別器 - Google Patents

デフォーカス量測定装置、方法およびプログラム、並びに判別器 Download PDF

Info

Publication number
WO2019181053A1
WO2019181053A1 PCT/JP2018/040388 JP2018040388W WO2019181053A1 WO 2019181053 A1 WO2019181053 A1 WO 2019181053A1 JP 2018040388 W JP2018040388 W JP 2018040388W WO 2019181053 A1 WO2019181053 A1 WO 2019181053A1
Authority
WO
WIPO (PCT)
Prior art keywords
defocus amount
image
marker
defocus
discriminator
Prior art date
Application number
PCT/JP2018/040388
Other languages
English (en)
French (fr)
Inventor
隆史 涌井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020507334A priority Critical patent/JPWO2019181053A1/ja
Priority to EP18910860.8A priority patent/EP3770666A4/en
Publication of WO2019181053A1 publication Critical patent/WO2019181053A1/ja
Priority to US17/013,680 priority patent/US20200404186A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the present disclosure relates to a defocus amount measuring apparatus, method and program for measuring a defocus amount of an observation target when photographing the observation target, and a discriminator for determining the defocus amount.
  • pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced uri Pluripotent Stem) cells and differentiation-induced cells are imaged with a microscope, etc.
  • ES Embryonic Stem
  • iPS Induced uri Pluripotent Stem
  • the average value of the images in each divided area is calculated as the second average value, and each of the first average values is divided by the second average value of the corresponding area, and the same among the plurality of areas
  • the values obtained by division are averaged between the areas including the mark, and an evaluation value is calculated.
  • an evaluation value is calculated. Based on the evaluation value calculated for the captured image and the evaluation value calculated for the reference image serving as a reference for defocus amount estimation. Stomach, a method of estimating the amount of defocus has been proposed.
  • This disclosure has been made in view of the above circumstances, and an object thereof is to enable a defocus amount to be acquired at high speed.
  • a defocus amount measurement apparatus includes a marker image detection unit that detects a marker image from a captured image acquired by capturing a marker that is a measurement target of a defocus amount; Learning is performed using feature amounts related to a plurality of marker images for teachers photographed with various defocus amounts, and a discriminator for determining the defocus amounts of the input marker images is provided.
  • the discriminator determines the defocus amount for each of the plurality of marker images included in the captured image
  • a defocus amount determination unit that determines statistical values of a plurality of defocus amounts as defocus amounts of a captured image may be further provided.
  • the discriminator may determine that the defocus amount is unknown.
  • the discriminator may be configured by a neural network.
  • the discriminator may learn a co-occurrence matrix related to a plurality of teacher marker images as a feature amount.
  • the marker may be a cell microstructure.
  • the captured image is acquired by capturing an image of a container that includes a marker and contains an observation target, and A control unit that performs control for focusing the image of the observation target in the container on the imaging unit based on the defocus amount may be provided.
  • the “container” may have any form as long as it can accommodate the observation target.
  • a container having a form having a bottom and a wall portion continuous to the bottom such as a petri dish, a dish, a flask, or a well plate, can be used as the container.
  • a micro-channel device or the like in which a fine channel is formed on a plate-like member can be used as a container.
  • what has a plate-like form like a slide glass can also be used as a container.
  • the defocus amount measuring apparatus further includes a stage in which a container in which an observation target is stored is set, The captured image is acquired by scanning the observation area in the container installed on the stage and photographing each observation area in the container, The control unit may perform control to focus the image of the observation target in the container on the imaging unit in each observation area based on the defocus amount.
  • the defocus amount measurement method detects a marker image from a captured image acquired by capturing a marker that is a measurement target of the defocus amount, Learning is performed using feature quantities related to a plurality of teacher marker images photographed with various defocus amounts, and the defocus amount of the input marker image is determined by a discriminator that determines the defocus amount of the input marker image. Determine.
  • Another defocus amount measurement apparatus includes a memory for storing instructions to be executed by a computer, A processor configured to execute stored instructions, the processor comprising: A marker image is detected from a captured image obtained by photographing a marker that is a measurement target of the defocus amount, Learning is performed using feature quantities related to a plurality of teacher marker images photographed with various defocus amounts, and the defocus amount of the input marker image is determined by a discriminator that determines the defocus amount of the input marker image. The process to determine is executed.
  • the discriminator learns using the feature amounts related to a plurality of teacher marker images photographed with various defocus amounts, and discriminates the defocus amounts of the input marker images.
  • Still another defocus amount measuring apparatus is a discriminator that has been learned using feature amounts related to a plurality of marker images taken with various defocus amounts.
  • a discriminator is provided that determines the presence or absence of the marker image in the captured image and the defocus amount of the marker image when the marker image is included in the captured image.
  • Another discriminator is a discriminator that has been learned using feature quantities related to a plurality of teacher marker images that have been shot with various defocus amounts, and has shot a marker that is a defocus amount measurement target.
  • the presence or absence of a marker image in the captured image and the defocus amount of the marker image when the marker image is included in the captured image are determined.
  • a marker image is detected from a captured image including a marker that is a measurement target of a defocus amount, and learning is performed using feature amounts regarding a plurality of teacher marker images captured with various defocus amounts,
  • the defocus amount is determined by a discriminator that determines the defocus amount of the input marker image. Therefore, the defocus amount can be determined at high speed with a small amount of calculation.
  • Schematic diagram showing the configuration of the focal length changing optical system 1 is a block diagram showing a schematic configuration of a microscope observation system using a first embodiment of a defocus amount measurement apparatus of the present disclosure.
  • photography of the marker for acquiring the marker image for teachers used for learning of a discriminator The figure which shows the example of the marker image for teachers Diagram showing defocus amount discrimination result Diagram showing the scanning position of the observation area in the culture vessel
  • FIG. 1 is a block diagram illustrating a schematic configuration of a microscope apparatus in a microscope imaging system to which the defocus amount measuring apparatus according to the first embodiment of the present disclosure is applied.
  • the microscope apparatus 10 captures a phase difference image of cultured cells that are observation targets.
  • the microscope apparatus 10 includes a white light source 11 that emits white light, a condenser lens 12, a slit plate 13, an imaging optical system 14, an operation unit 15, and a photographing unit 16.
  • the microscope apparatus 10 includes a focal length changing optical system 70.
  • the operation unit 15 includes a first operation unit 15A, a second operation unit 15B, a third operation unit 15C, a fourth operation unit 15D, a fifth operation unit 15E, a sixth operation unit 15F, and a seventh operation unit.
  • An operation unit 15G is provided. The operations of the first to seventh operation units 15A to 15G will be described later.
  • the slit plate 13 is provided with a ring-shaped slit that transmits white light to the light-shielding plate that blocks white light emitted from the white light source 11, and the ring shape is obtained when white light passes through the slit. Illumination light L is formed.
  • the imaging optical system 14 forms a phase difference image for each observation region obtained by dividing the range of the culture vessel 50 on the photographing unit 16.
  • FIG. 2 is a diagram showing a detailed configuration of the imaging optical system 14.
  • the imaging optical system 14 includes a phase difference lens 14a and an imaging lens 14d.
  • the phase difference lens 14a includes an objective lens 14b and a phase plate 14c.
  • the phase plate 14 c is formed by forming a phase ring on a transparent plate that is transparent with respect to the wavelength of the illumination light L.
  • the slit size of the slit plate 13 described above is in a conjugate relationship with the phase ring of the phase plate 14c.
  • the phase ring is a ring in which a phase film that shifts the phase of incident light by a quarter wavelength and a neutral density filter that attenuates incident light are formed.
  • the phase ring passes through the phase ring, the phase is shifted by 1 ⁇ 4 wavelength and its brightness is weakened.
  • most of the diffracted light diffracted by the observation object passes through the transparent plate of the phase plate 14c, and its phase and brightness do not change.
  • the phase difference lens 14a having the objective lens 14b is moved in the optical axis direction of the objective lens 14b by the fifth operation unit 15E of the operation unit 15 shown in FIG.
  • the optical axis direction of the objective lens 14b and the Z direction are the same direction.
  • Autofocus control is performed by the movement of the objective lens 14b in the Z direction, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • the magnification of the phase difference lens 14a may be changed.
  • the phase difference lens 14a or the imaging optical system 14 having different magnifications may be configured to be exchangeable.
  • the replacement of the phase difference lens 14a or the imaging optical system 14 may be performed automatically or manually by a user.
  • the objective lens 14b is a liquid lens whose focal length can be changed.
  • the lens is not limited to the liquid lens, and any lens such as a liquid crystal lens and a shape deforming lens can be used.
  • the applied voltage is changed and the focal length is changed by the sixth operating unit 15F in the operating unit 15 shown in FIG.
  • the focal length of the imaging optical system 14 is changed.
  • the autofocus control is also performed by changing the focal length of the objective lens 14b, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • the imaging lens 14 d receives the phase difference image that has passed through the phase difference lens 14 a and forms an image on the imaging unit 16.
  • the imaging lens 14d is a liquid lens whose focal length can be changed.
  • the lens is not limited to the liquid lens, and any lens such as a liquid crystal lens and a shape deforming lens can be used.
  • the applied voltage is changed and the focal length is changed by the first operating unit 15A in the operating unit 15 shown in FIG.
  • the focal length of the imaging optical system 14 is changed.
  • Auto focus control is performed by changing the focal length of the imaging lens 14d, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • the imaging lens 14d is moved in the optical axis direction of the imaging lens 14d by the second operating unit 15B in the operating unit 15 shown in FIG.
  • the optical axis direction of the imaging lens 14d and the Z direction are the same direction.
  • Autofocus control is performed by moving the imaging lens 14d in the Z direction, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • the imaging unit 16 acquires a phase difference image formed by the imaging lens 14d.
  • the imaging unit 16 includes an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • an imaging device provided with RGB (RedRGBGreen Blue) color filters may be used, or a monochrome imaging device may be used.
  • the photographing unit 16 is moved in the Z direction by the third operating unit 15C in the operating unit 15 shown in FIG.
  • the direction perpendicular to the imaging surface of the imaging unit 16 and the Z direction are the same direction.
  • the autofocus control is performed by the movement of the photographing unit 16 in the Z direction, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • a stage 51 is provided between the slit plate 13 and the imaging optical system 14. On the stage 51, a culture vessel 50 for storing cells to be observed is installed.
  • the culture container 50 corresponds to the container of the present disclosure.
  • a petri dish, a dish, a flask, a well plate, or the like can be used.
  • a slide glass or a micro-channel device formed by processing fine channels can be used as the container.
  • the cells contained in the culture vessel 50 include pluripotent stem cells such as iPS cells and ES cells, nerves, skin, myocardium and liver cells induced to differentiate from the stem cells, and skin, retina extracted from the human body, There are myocardium, blood cells, nerves and organ cells.
  • the stage 51 is moved in the X direction and the Y direction orthogonal to each other by a horizontal driving unit 17 (see FIG. 5) described later.
  • the X direction and the Y direction are directions orthogonal to the Z direction, and are directions orthogonal to each other in the horizontal plane.
  • the X direction is the main scanning direction
  • the Y direction is the sub-scanning direction.
  • FIG. 3 is a diagram illustrating an example of the stage 51.
  • a rectangular opening 51a is formed.
  • the culture vessel 50 is installed on the member forming the opening 51a, and the phase difference image of the cells in the culture vessel 50 is configured to pass through the opening 51a.
  • the stage 51 is moved in the Z direction by the fourth operating unit 15D, and thereby the culture vessel 50 is moved in the Z direction.
  • the fourth operation unit 15D includes an actuator such as a piezoelectric element.
  • the direction perpendicular to the surface of the stage 51 where the culture vessel 50 is installed and the Z direction are the same direction.
  • the autofocus control is also performed by the movement of the stage 51 in the Z direction, and the contrast of the phase difference image acquired by the photographing unit 16 is adjusted.
  • the first operating unit 15A and the sixth operating unit 15F include, for example, a voltage variable circuit.
  • the first operation unit 15A changes the voltage applied to the imaging lens 14d based on a control signal output from the defocus amount measurement device 30 described later.
  • the sixth operating unit 15F changes the voltage applied to the objective lens 14b based on a control signal output from the defocus amount measuring device 30 described later.
  • the second operating unit 15B, the third operating unit 15C, the fourth operating unit 15D, and the fifth operating unit 15E are provided with actuators such as piezoelectric elements, for example, and a defocus amount measuring device 30 described later. It drives based on the control signal output from.
  • the operating unit 15 is configured to pass the phase difference image that has passed through the phase difference lens 14a and the imaging lens 14d as it is.
  • the configurations of the second operating unit 15B, the third operating unit 15C, the fourth operating unit 15D, and the fifth operating unit 15E are not limited to piezoelectric elements, but include an imaging lens 14d, an imaging unit 16, a stage 51, and the like. Any objective lens 14b (phase difference lens 14a) may be used as long as it can move in the Z direction, and other known configurations can be used.
  • FIG. 4 is a schematic diagram showing the configuration of the focal length changing optical system.
  • the focal length changing optical system 70 includes a circular first wedge prism 71 and a circular second wedge prism 72.
  • the seventh operation unit 15G moves the first wedge prism 71 and the second wedge prism 72 in synchronization with each other in opposite directions.
  • the focal position of the imaging optical system 14 is changed.
  • Changing the focal position is synonymous with increasing or decreasing the focal length.
  • the focal length of the imaging optical system 14 is changed by changing the focal position of the imaging optical system 14.
  • changing the focal length of the imaging optical system 14 changes the focal length of the imaging lens 14d by the first operating unit 15A, and the objective lens 14b by the sixth operating unit 15F.
  • the focal length of the imaging optical system 14 is changed by changing the focal position of the imaging optical system 14 by the seventh operation unit 15G.
  • the first and second wedge prisms 71 and 72 are prisms in which two surfaces that can be a light incident surface and an output surface are not parallel, that is, the other surface is inclined with respect to one surface.
  • a surface disposed perpendicular to the optical axis is referred to as a right-angle surface
  • a surface disposed inclined with respect to the optical axis is referred to as a wedge surface.
  • the wedge prisms 71 and 72 are prisms that deflect light incident perpendicularly to a right-angle plane.
  • the seventh operation unit 15G includes an actuator such as a piezoelectric element, for example.
  • the seventh operation unit 15G includes the first wedge prism 71 and the second wedge prism 72. While maintaining the right-angle planes in parallel, they are moved synchronously in opposite directions. That is, when the first wedge prism 71 is moved in the right direction in FIG. 4, the second wedge prism 72 is moved in the left direction. Conversely, when the first wedge prism 71 is moved in the left direction in FIG. 4, the second wedge prism 72 is moved in the right direction. In this way, by moving the first and second wedge prisms 71 and 72, the optical path length of the light emitted from the imaging optical system 14 is changed, and thereby the focal position of the imaging optical system 14 is changed. You can change the focal length. Thereby, autofocus control is performed and the contrast of the phase difference image acquired by the imaging unit 16 is adjusted.
  • FIG. 5 is a block diagram illustrating a configuration of the microscope observation system according to the first embodiment.
  • the block diagram of the one part structure controlled by each part of the microscope control apparatus 20 is shown.
  • the microscope control device 20 controls the entire microscope device 10 and includes the defocus amount measurement device 30, the scanning control unit 21, and the display control unit 22 according to the first embodiment.
  • the defocus amount measuring device 30 includes a marker image detection unit 31, a discriminator 32, a defocus amount determination unit 33, an operation control unit 34, and a learning unit 35 of the discriminator 32.
  • the operation control unit 34 corresponds to the control unit of the present disclosure.
  • the microscope control apparatus 20 is configured by a computer including a central processing unit, a semiconductor memory, a hard disk, and the like, and an embodiment of the defocus amount measurement program of the present disclosure and a microscope control program are installed on the hard disk. . Then, the defocus amount measurement program and the microscope control program are executed by the central processing unit, whereby the marker image detection unit 31, the discriminator 32, the defocus amount determination unit 33, the operation control unit 34, and the learning shown in FIG. The unit 35, the scanning control unit 21, and the display control unit 22 function.
  • the culture vessel 50 includes a marker in order to measure the defocus amount for performing the autofocus control.
  • a marker for example, a processing pattern formed on the surface of the culture vessel 50, fine beads placed in the culture vessel 50, or a fine structure of cells contained in the culture vessel 50 (for example, nucleolus), etc. Can be used.
  • the culture container 50 is manufactured by injection molding of a resin material, and a pattern at the time of cutting of the mold formed on the mold surface exists on the surface thereof.
  • a pattern formed on the surface of the culture vessel 50 can be used as a marker.
  • the fine beads are made of resin spheres such as polyester having a diameter of 1 to 2 ⁇ m, for example. Such fine beads can be put into the culture vessel 50 and used as a marker.
  • the fine structure of cells such as nucleolus is spherical, such a fine structure of cells can be used as a marker.
  • an image for determining the defocus amount (hereinafter referred to as a captured image G0) is acquired by the imaging unit 16 prior to acquisition of the phase difference image.
  • the marker image detection unit 31 detects a marker image from the captured image G0 for determining the defocus amount acquired by the imaging unit 16.
  • the captured image G0 is a phase difference image
  • the marker described above is represented by a contrast different from the background image in the phase difference image. Therefore, the marker image detection unit 31 detects a marker image from the captured image G0 by performing threshold processing.
  • the discriminator 32 performs learning using a plurality of teacher marker images photographed with different focus shift amounts, i.e., feature amounts relating to a plurality of teacher marker images photographed with various defocus amounts, and the marker image is obtained.
  • the defocus amount of the input marker image is determined.
  • FIG. 6 is a view for explaining marker imaging for acquiring a teacher marker image used for learning by the discriminator 32.
  • imaging photography of one marker M is demonstrated.
  • the marker M is photographed at a plurality of in-focus positions. That is, first, the imaging optical system 14 is adjusted, focus control is performed so as to focus on the position P0 of the marker M, and an image focused on the marker M is acquired. Further, focus control is performed so as to focus on the positions P1 and P2 before the marker M, and an image defocused in the plus direction is acquired.
  • focus control is performed so as to focus on positions P3 and P4 behind the marker M, and an image defocused in the minus direction is acquired.
  • the imaging of the marker M is performed at five in-focus positions P0 to P4.
  • the present invention is not limited to this, and the marker M is set at more in-focus positions or less in-focus positions. You may make it perform imaging
  • FIG. 7 is a diagram illustrating an example of a teacher marker image.
  • FIG. 7 shows teacher marker images T0, T1, and T2 generated from images acquired by focusing on the positions P0, P1, and P2. Note that a large number (eg, 1000) of teacher marker images are prepared at each in-focus position.
  • the learning unit 35 associates the defocus amount with the teacher marker image.
  • the teacher marker image acquired at the focus position P0 is associated with 0 as the defocus amount
  • the teacher marker image acquired at the focus position P1 is associated with +6 ⁇ m as the defocus amount
  • the focus position P2 Is associated with +12 ⁇ m as the defocus amount
  • the teacher marker image acquired at the focus position P3 is associated with ⁇ 6 ⁇ m as the defocus amount
  • the teacher marker image acquired at the focus position P4 is associated with ⁇ 12 ⁇ m.
  • the learning unit 35 learns the discriminator 32 so as to discriminate the defocus amount of the input marker image using the teacher marker image.
  • the discriminator 32 discriminates the defocus amount of the marker image when a marker image to be discriminated is input. Specifically, the discriminator 32 calculates the probability of a plurality of defocus amounts for the marker image to be discriminated, and defocuses the marker image to which the defocus amount having the highest probability is input. Judge as quantity. For this reason, the learning unit 35 acquires a feature amount in a region having a predetermined size (for example, 3 ⁇ 3) from the teacher marker image, and inputs the acquired feature amount to the discriminator 32. Learning of the discriminator 32, that is, machine learning, is performed so as to output a discrimination result corresponding to the defocus amount corresponding to the teacher marker image.
  • the discriminator 32 includes a support vector machine (SVM), a deep neural network (DNN), a convolutional neural network (CNN), and a recurrent neural network (RNN (RNN)). Recurrent Neural Network)) etc.
  • SVM support vector machine
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • Recurrent Neural Network Recurrent Neural Network
  • a co-occurrence matrix related to the teacher marker image may be used as a feature quantity of the teacher marker image.
  • the co-occurrence matrix is a matrix indicating the distribution of signal values of pixels in an image, and represents the frequency of signal values of pixels adjacent to pixels having a certain signal value as a matrix.
  • the defocus amount of the marker image is 0, that is, when the marker image is in focus, since the contrast of the marker image is high, the pixels adjacent to the high luminance (that is, low density) pixels are low luminance ( That is, a high concentration). For this reason, when the defocus amount of the marker image is 0, the high-brightness pixel is frequently adjacent to a pixel having a high signal value.
  • the co-occurrence matrix related to the teacher marker image is a characteristic matrix according to the degree of blur of the marker image. Therefore, by using the co-occurrence matrix as the feature amount, the discriminator 32 can be learned so that the defocus amount can be accurately discriminated.
  • FIG. 8 is a diagram illustrating the determination result of the defocus amount.
  • a nucleolus of a cell is used as a marker, and in FIG. 8, the marker image is indicated by a white circle.
  • the discriminator 32 discriminates the defocus amount for each of the plurality of marker images included in the captured image G0 as shown in FIG.
  • a numerical value ( ⁇ m) representing the defocus amount for each marker image is shown in the vicinity of each marker image for explanation.
  • the defocus amount determination unit 33 determines a defocus amount statistical value of a plurality of marker images determined by the discriminator 32 as the defocus amount of the captured image G0 for one captured image G0.
  • the statistical value an average value, a median value, a mode value, and the like of the defocus amounts of a plurality of marker images can be used.
  • the statistical value is the mode value
  • the statistical value of the defocus amount is determined to be 7 ⁇ m for the captured image G0 in which the defocus amount is determined as illustrated in FIG.
  • the operation control unit 34 operates the operation unit 15 to perform autofocus control based on the defocus amount determined by the defocus amount determination unit 33 as described above. Specifically, a control signal is output to each of the first operation unit 15A to the seventh operation unit 15G based on the defocus amount. Thereby, the focal length of the imaging lens 14d is changed by the first operating unit 15A, and the focal length of the imaging optical system 14 is changed. In addition, the imaging lens 14d is moved in the optical axis direction by the second operation unit 15B. Further, the imaging unit 16 is moved in the optical axis direction by the third operating unit 15C. In addition, the stage 51 is moved in the optical axis direction by the fourth operation unit 15D.
  • the objective lens 14b is moved in the optical axis direction by the fifth operating unit 15E.
  • the focal length of the objective lens 14b is changed by the sixth operation unit 15F, and the focal length of the imaging optical system 14 is changed.
  • the focal position of the imaging optical system 14 is changed by the seventh operation unit 15G, and the focal length of the imaging optical system 14 is changed.
  • the autofocus control is performed by these seven operations.
  • the scanning control unit 21 drives and controls the horizontal direction driving unit 17, thereby moving the stage 51 in the X direction and the Y direction, and moving the culture vessel 50 in the X direction and the Y direction.
  • the horizontal direction drive part 17 is comprised from actuators, such as a piezoelectric element.
  • FIG. 9 is a diagram showing the scanning position in the observation region in the culture vessel 50 by a solid line J.
  • a well plate having six wells W is used as the culture vessel 50.
  • the observation area of the imaging optical system 14 moves along the solid line J from the scanning start point S to the scanning end point E. That is, the observation area R is moved in the positive direction (right direction in FIG. 9) in the X direction, then moved in the Y direction (downward direction in FIG. 9), and in the opposite negative direction (left direction in FIG. 9). Moved. Next, the observation area R moves again in the Y direction and again in the positive direction.
  • the culture vessel 50 is scanned two-dimensionally by repeatedly performing the reciprocating movement in the X direction of the observation area R and the movement in the Y direction.
  • the stage 51 is stationary at each observation region R.
  • a shooting image G0 for determining the defocus amount is acquired by the shooting unit 16, the defocus amount is determined, autofocus control is performed based on the defocus amount, and the observation area R is imaged.
  • a phase difference image is acquired.
  • the stage 51 moves, and autofocus control is performed in the next observation area R to acquire the phase difference image.
  • a plurality of phase difference images representing the entire culture vessel 50 are acquired, and a plurality of phase difference images are combined to generate a combined phase difference image.
  • the operation control unit 34 performs autofocus control by driving and controlling the operation unit 15 based on the defocus amount determined in the observation region R.
  • the operation control unit 34 includes a defocus amount, an applied voltage to the imaging lens 14d for changing the focal length of the imaging lens 14d, an amount of movement of the imaging lens 14d in the optical axis direction, The amount of movement of the imaging unit 16 in the optical axis direction, the amount of movement of the stage 51 in the optical axis direction, the amount of movement of the objective lens 14b in the optical axis direction, and the applied voltage to the objective lens 14b for changing the focal length of the objective lens 14b.
  • the amount of movement of the focal length changing optical system 70 is stored in advance as a table. This table is referred to as a first table.
  • the operation control unit 34 refers to the first table based on the determined defocus amount, and applies the voltage applied to the imaging lens 14d for changing the focal length of the imaging lens 14d, and the imaging lens 14d.
  • the movement amount in the optical axis direction of the photographing unit 16 the movement amount in the optical axis direction of the stage 51, the movement amount in the optical axis direction of the objective lens 14b, and the focal length of the objective lens 14b.
  • the applied voltage to the objective lens 14b and the amount of movement of the focal length changing optical system 70 are obtained.
  • the applied voltage to the imaging lens 14d for changing the focal length of the imaging lens 14d the amount of movement of the imaging lens 14d in the optical axis direction, and the movement of the photographing unit 16 in the optical axis direction.
  • the movement amount is referred to as a focus control amount.
  • the operation control unit 34 outputs a control signal corresponding to the focus control amount to the first operation unit 15A to the seventh operation unit 15G.
  • the operation control unit 34 refers to the first table based on the defocus amount, acquires the focus control amount, and outputs it to the first operation unit 15A to the seventh operation unit 15G.
  • the operation unit 15, that is, the first operation unit 15A to the seventh operation unit 15G are driven based on the input control signal. Thereby, focus control according to the defocus amount of the observation area R is performed.
  • the display control unit 22 generates a single composite phase difference image by combining the phase difference images of the observation regions R captured by the microscope apparatus 10, and displays the composite phase difference image. It is displayed on the device 23.
  • the display device 23 displays the composite phase difference image generated by the display control unit 22 as described above, and includes, for example, a liquid crystal display. Further, the display device 23 may be configured by a touch panel and may also be used as the input device 24.
  • the input device 24 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user.
  • the input device 24 according to the present embodiment receives setting inputs such as an instruction to change the magnification of the phase difference lens 14a and an instruction to change the moving speed of the stage 51, for example.
  • the culture vessel 50 in which cells to be observed are accommodated is placed on the stage 51 (step ST10).
  • the stage 51 moves, the observation area R of the imaging optical system 14 is set to the position of the scanning start point S shown in FIG. 6, and scanning by the observation area R is started (step ST12).
  • the captured image G0 for determining the defocus amount is acquired, the marker image is detected, the defocus amount is determined, and the defocus amount is determined. Then, a focus control amount is calculated, and autofocus control is performed to obtain a phase difference image. These operations are performed while moving the observation area R.
  • a photographic image G0 for determining the defocus amount is acquired by the photographic unit 16 (step ST14), and the marker image detecting unit 31 detects a marker image from the photographic image G0 (step ST16).
  • the discriminator 32 discriminates the defocus amount of the marker image included in the captured image G0 (step ST18), and the defocus amount determination unit 33 determines the defocus amount in the observation area R (step ST20).
  • the operation control unit 34 calculates a focus control amount based on the determined defocus amount (step ST22), and performs autofocus control based on the focus control amount (step ST24).
  • the operation control unit 34 drives and controls the operation unit 15 based on the movement amount stored in advance, changes the focal length of the imaging lens 14d, and moves the imaging lens 14d, the imaging unit 16, and the objective lens 14b to Z. Move in the direction. Then, after the autofocus control, the imaging unit 16 images the observation area R and acquires a phase difference image of the observation area R (step ST26). The acquired phase difference image is output from the photographing unit 16 to the display control unit 22 and stored.
  • step ST28 If all the scans are not completed (step ST28; NO), the observation area R moves in the X direction or the Y direction, and the above-described acquisition of the captured image G0 and the marker are performed until all the scans are completed. Image detection, defocus amount determination, defocus amount determination, focus control amount calculation, autofocus control, and phase difference image acquisition are repeatedly performed (steps ST14 to ST26). All scanning is completed when the observation area R reaches the position of the scanning end point E shown in FIG. 9 (step ST28; YES).
  • the display control unit 22 combines the phase difference images of each observation area R to generate a combined phase difference image (step ST30), and displays the generated combined phase difference image on the display device 23. (Step ST32).
  • the captured image G0 for determining the defocus amount including the marker whose defocus amount is to be measured is acquired, the marker image is detected from the captured image G0, and various defocus amounts are used. Learning is performed using the feature values related to a plurality of photographed marker images, and the defocus amount is discriminated by the discriminator 32 that discriminates the defocus amount of the input marker image. Therefore, the defocus amount can be determined at high speed with a small amount of calculation.
  • the defocus amount can be determined at high speed by focusing the image of the observation target in the culture vessel 50 on the imaging unit 16 based on the defocus amount, autofocus control is performed at high speed. Can do.
  • the defocus amount measuring apparatus 30 is applied to the microscope imaging system, and the captured image G0 is acquired in each observation area R while moving the observation area R.
  • marker image detection, defocus amount determination, defocus amount determination, focus control amount calculation, autofocus control, and phase difference image acquisition are performed, the present invention is not limited to this.
  • acquisition of a captured image G0, detection of a marker image, determination of a defocus amount, determination of a defocus amount, and focus The control amount may be calculated.
  • the phase difference image is obtained with the cells accommodated in the same type of culture container 50 as the observation container 50 having the defocus amount determined. Is acquired.
  • fine beads as the marker M.
  • FIG. 11 is a flowchart showing processing performed in the second embodiment for determining the defocus amount prior to acquisition of the phase difference image.
  • the culture vessel 50 in which fine beads as markers are accommodated is set on the stage 51 (step ST40).
  • the stage 51 moves to set the observation area R of the imaging optical system 14 to the position of the scanning start point S shown in FIG. 6, and scanning by the observation area R is started (step ST42).
  • a photographic image G0 for determining the defocus amount is acquired by the photographic unit 16 (step ST44), and the marker image detecting unit 31 detects a marker image from the photographic image G0 (step ST46).
  • the discriminator 32 discriminates the defocus amount of the marker image included in the captured image G0 (step ST48), and the defocus amount determination unit 33 determines the defocus amount in the observation area R (step ST50).
  • the operation control unit 34 calculates the focus control amount based on the determined defocus amount (step ST52), and associates the focus control amount with the position on the XY coordinate of the detection position of the culture vessel 50. Store (step ST54).
  • step ST56 If all the scans are not completed (step ST56; NO), the observation area R moves in the X direction or the Y direction, and the above-described acquisition of the captured image G0 and the marker are performed until all the scans are completed. Image detection, defocus amount determination, defocus amount determination, focus control amount calculation, and focus control amount storage are repeatedly performed (steps ST44 to ST54). All scanning is completed when the observation area R reaches the position of the scanning end point E shown in FIG. 9 (step ST56; YES).
  • the culture vessel 50 is scanned and the phase difference image is acquired in each observation region R as in the case of determining the defocus amount.
  • the operation control unit 34 performs autofocus control using the focus control amount stored in association with the XY coordinates of the culture vessel 50 corresponding to the observation region R. Thereby, acquisition of a phase difference image is performed while performing focus control in each observation area R. In this case, it is necessary to scan the culture vessel 50 for storing the focus control amount in advance.
  • the operation control unit 34 stores the focus control amount in each observation area R, but the determined defocus amount may be stored. In this case, when acquiring the phase difference image in each observation region R, the focus control amount is calculated based on the stored defocus amount, and imaging of the observation region R and acquisition of the phase difference image are performed.
  • both the image defocused in the plus direction and the image defocused in the minus direction are used as the teacher marker images used when learning by the discriminator 32.
  • the defocusing can be performed using the discriminator 32 that has performed learning using such a teacher marker image. It may be difficult to determine whether the amount is a positive defocus amount or a negative defocus amount.
  • FIG. 12 is a diagram for explaining autofocus control.
  • FIG. 12 shows autofocus control when the imaging lens 14d is moved in the Z direction.
  • the defocus amount when the imaging lens 14d is at the position P10 is determined as + ⁇ .
  • the imaging lens 14d is moved away from the observation target, for example, the position P11, thereby observing. Focus on the subject.
  • the focusing lens is actually focused closer to the observation target and the defocus amount is - ⁇ , the focusing lens becomes less focused when the imaging lens 14d is moved to the position P11.
  • the operation control unit 34 moves the imaging lens 14d closer to the observation target, for example, from the position P11.
  • the focus control amount is determined so as to move to P12.
  • the autofocus control when performing autofocus control by determining the contrast of an image as in the prior art, it is necessary to repeat acquisition of the captured image G0 and determination of the focus control amount until the subject is focused.
  • the correct focus control amount can be determined only by performing the defocus amount determination operation once more. . Therefore, in the present embodiment, even when the positive / negative determination of the focus control amount is wrong, the autofocus control can be performed at high speed.
  • the discriminator 32 may be used as a marker image for learning. For example, when the discriminator 32 performs learning using only the image defocused in the plus direction as the teacher marker image, the defocus amount to be discriminated becomes a positive value. In this case, when the actual defocus amount is negative, as shown in FIG. 12 above, if the imaging lens 14d is moved to the position P11 as in the case where the defocus amount is positive, the focus is not further adjusted. .
  • the operation control unit 34 performs focus control so as to move the imaging lens 14d from the position P11 to P12. Determine the amount.
  • an accurate focus control amount can be determined only by performing the defocus amount determination operation once again. Therefore, even if learning is performed by the discriminator 32 using only one of the image defocused in the plus direction and the image defocused in the minus direction as the teacher marker image, the autofocus control is performed at high speed. It can be carried out.
  • a marker image with a known defocus amount is used as a teacher marker image for learning the discriminator 32.
  • the present invention is not limited to this.
  • a marker image whose defocus amount is unknown may be used as the teacher marker image.
  • the learning unit 35 performs learning by the discriminator 32 so as to determine that the defocus amount is unknown.
  • a marker image whose defocus amount is unknown a marker image in which the defocus amount is erroneously determined as a result of input to the determiner 32 can be used. For this reason, the learning unit 35 first learns the discriminator 32 so as not to determine that the defocus amount is unknown.
  • the discriminator 32 learns so as to discriminate that the defocus amount is unknown. Thereby, the discriminator 32 capable of discriminating that the defocus amount is unknown can be generated. Therefore, it is possible to reduce the possibility that an erroneous defocus amount determination result is acquired.
  • the operation unit 15 performs autofocus control by the first to seventh operation units 15A to 15G.
  • any one of the first to seventh operation units 15A to 15G is used.
  • Auto focus control may be performed using only one or a plurality of them. Further, only one of the first to seventh operation units 15A to 15G or a plurality of them may be provided.
  • the focal length changing optical system 70 is disposed between the imaging optical system 14 and the photographing unit 16, but is disposed between the imaging optical system 14 and the stage 51. May be.
  • the culture vessel 50 is moved in the optical axis direction by moving the stage 51 in the optical axis direction by the fourth operating unit 15D.
  • a mechanism for moving the culture vessel 50 in the optical axis direction may be provided, and only the culture vessel 50 may be moved in the optical axis direction.
  • the discriminator 32 determines the defocus amount of the marker image detected from the captured image G0 by the marker image detection unit 31.
  • the presence / absence of the marker image in the captured image G0 may be determined only by the determination item, and the defocus amount of the marker image may be determined when the marker image is included.
  • FIG. 13 is a block diagram illustrating a configuration of a microscope observation system according to the third embodiment.
  • the same components as those in FIG. 5 are denoted by the same reference numerals, and detailed description thereof is omitted here.
  • the microscope control device 20 omits the marker image detection unit 31 and includes a discriminator 32A instead of the discriminator 32. Different.
  • the discriminator 32A discriminates the presence or absence of a marker image in the captured image G0, and discriminates the defocus amount of the marker image when the marker image is included.
  • the learning unit 35 learns the discriminator 32A using a teacher image that does not include a marker image in addition to the teacher marker image whose defocus amount is known.
  • a marker image in which the above-described defocus amount is erroneously determined may be used as the teacher image that does not include the marker image.
  • the third embodiment includes the discriminator 32A that has been learned in this manner, the defocus amount of the marker image included in the captured image G0 is measured without the marker image detection unit 31. be able to.
  • the defocus amount measurement apparatus is applied to a phase contrast microscope.
  • the present disclosure is not limited to the phase contrast microscope, but other differential interference microscopes, bright field microscopes, and the like. You may apply to a microscope.
  • the marker By making the marker have a fine structure of the cell, it is not necessary to prepare a special marker, and the defocus amount can be determined while photographing the cell.
  • the container including the marker is photographed to obtain a photographed image, and the image of the object to be observed in the container is focused on the photographing unit based on the defocus amount. Since it can be determined, the focusing operation can be performed at high speed.
  • the observation area is scanned in the container installed on the stage where the container in which the observation object is stored is set, and each observation area in the container is photographed. In each observation area, the container is based on the defocus amount. By focusing the image of the object to be observed on the photographing unit, tiling photographing can be performed at high speed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Genetics & Genomics (AREA)
  • Evolutionary Biology (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

マーカ像検出部３１が、デフォーカス量決定用の撮影画像からマーカ像を検出する。判別器３２が撮影画像に含まれるマーカ像のデフォーカス量を判別する。判別器３２は、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別するものである。

Description

デフォーカス量測定装置、方法およびプログラム、並びに判別器
　本開示は、観察対象を撮影するに際して、観察対象のデフォーカス量を測定するデフォーカス量測定装置、方法およびプログラム、並びにデフォーカス量を判別する判別器に関するものである。
　従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞および分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を判定する方法が提案されている。ここで、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
　一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等の培養容器の範囲内を結像光学系によって走査し、観察位置毎の画像を撮像した後、その観察位置毎の画像を結合する。そして、このようなタイリング撮影を行う場合には、培養容器内の各観察位置においてオートフォーカス制御を行うことによって、ボケの少ない高画質な画像を取得することが提案されている（例えば特開２０１０－７２０１７号公報参照）。
　ここで、上述したようにタイリング撮影においてオートフォーカス制御を行う場合、撮影時間の短縮の観点から、オートフォーカス制御を高速かつ高精度に行うことが重要である。しかしながら、例えば培養容器として複数のウェルを有するウェルプレートを使用し、そのウェルプレート全体を結像光学系によって走査し、各観察位置についてオートフォーカス制御を行いながらタイリング撮影をする場合、各ウェルの底部の厚さは、製造上の誤差等に起因してウェル毎に異なる。
　したがって、例えばウェルの底面（観察対象設置面）の位置を検出してオートフォーカス制御を行う場合において、隣接するウェル間で底部の厚さが大きく異なる場合には、ウェルの底面の位置が大きく異なるため、オートフォーカス制御の時間が長くなり、撮影時間が長くなる問題がある。このような問題点を解決するためには、オートフォーカス制御に際して、デフォーカス量を取得することが重要となる。
　このため、デフォーカス量を取得するための各種手法が提案されている。例えば、特開２０１３－２５４１０８号公報においては、透過光に対して位相変化および振幅変化の少なくとも一方を与えるマークを有する透光性部材により、撮影対象となる試料を固定し、試料の像とマークの像とが混在した撮像画像を取得し、撮影画像をそれぞれがマークの像を含む複数の領域に分割し、分割した各領域に含まれるマークの画像の平均値を第１の平均値として算出し、分割された各領域内の画像の平均値を第２の平均値として算出し、第１の平均値のそれぞれを対応する領域の第２の平均値により除算し、複数の領域のうち同一のマークを含む領域間で、除算により取得した値を平均化して評価値を算出し、撮影画像について算出した評価値と、デフォーカス量推定の基準となる基準画像について算出した評価値とに基づいて、デフォーカス量を推定する手法が提案されている。
　しかしながら、特開２０１３－２５４１０８号公報に記載された手法においては、デフォーカス量を算出するための演算量が多いため、デフォーカス量推定の演算に長時間を要する。
　本開示は上記事情に鑑みなされたものであり、デフォーカス量を高速に取得できるようにすることを目的とする。
　本開示によるデフォーカス量測定装置は、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出するマーカ像検出部と、
　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器とを備える。
　なお、本開示によるデフォーカス量測定装置においては、判別器は、撮影画像に含まれる複数のマーカ像のそれぞれについてのデフォーカス量を判別し、
　複数のデフォーカス量の統計値を、撮影画像のデフォーカス量に決定するデフォーカス量決定部をさらに備えるものであってもよい。
　また、本開示によるデフォーカス量測定装置においては、判別器は、デフォーカス量が不明である旨を判別するものであってもよい。
　また、本開示によるデフォーカス量測定装置においては、判別器は、ニューラルネットワークにより構成されるものであってもよい。
　また、本開示によるデフォーカス量測定装置においては、判別器は、複数の教師用マーカ像に関する同時生起行列を特徴量として学習するものであってもよい。
　また、本開示によるデフォーカス量測定装置においては、マーカは、細胞の微細構造であってもよい。
　また、本開示によるデフォーカス量測定装置においては、撮影画像は、マーカを含み、観察対象が収容された容器を撮影部により撮影することによって取得され、
　デフォーカス量に基づいて、容器内の観察対象の像を撮影部に合焦させるための制御を行う制御部とをさらに備えるものであってもよい。
　「容器」とは、観察対象を収容することができればどのような形態を有するものであってもよい。例えば、シャーレ、ディッシュ、フラスコまたはウェルプレート等のように、底部および底部に連続する壁部を有する形態を有するものを容器として用いることができる。また、板状の部材に微細な流路が形成されたマイクロ流路デバイス等を容器として用いることもできる。さらに、スライドガラスのように、板状の形態を有するものも容器として用いることができる。
　また、本開示によるデフォーカス量測定装置においては、観察対象が収容された容器が設定されるステージをさらに備え、
　撮影画像は、ステージ上に設置された容器内において観察域を走査し、容器内の各観察域の撮影を行うことにより取得され、
　制御部は、各観察域において、デフォーカス量に基づいて、容器内の観察対象の像を撮影部に合焦させる制御を行うものであってもよい。
　本開示によるデフォーカス量測定方法は、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出し、
　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器により、入力されたマーカ像のデフォーカス量を判別する。
　なお、本開示によるデフォーカス量測定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他のデフォーカス量測定装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出し、
　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器により、入力されたマーカ像のデフォーカス量を判別する処理を実行する。
　本開示による判別器は、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する。
　本開示によるさらに他のデフォーカス量測定装置は、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされた判別器であって、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像が入力されると、撮影画像におけるマーカ像の有無、および撮影画像にマーカ像が含まれる場合における該マーカ像のデフォーカス量を判別する判別器を備える。
　本開示による他の判別器は、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされた判別器であって、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像が入力されると、撮影画像におけるマーカ像の有無、および撮影画像に前記マーカ像が含まれる場合におけるマーカ像のデフォーカス量を判別する。
　本開示によれば、デフォーカス量の測定対象であるマーカを含む撮影画像からマーカ像が検出され、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器によりデフォーカス量が判別される。このため、少ない演算量により、高速にデフォーカス量を決定することができる。
第１の実施形態の実施形態のデフォーカス量測定装置を適用した顕微鏡撮影システムにおける顕微鏡装置の概略構成を示すブロック図 結像光学系の構成を示す模式図 ステージの構成を示す斜視図 焦点距離変更光学系の構成を示す模式図 本開示のデフォーカス量測定装置の第１の実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図 判別器の学習に用いる教師用マーカ像を取得するためのマーカの撮影を説明するための図 教師用マーカ像の例を示す図 デフォーカス量の判別結果を示す図 培養容器内における観察域の走査位置を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において行われる処理を示すフローチャート オートフォーカス制御を説明するための図 本開示のデフォーカス量測定装置の第３の実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図
　以下、本開示の実施形態によるデフォーカス量測定装置、方法およびプログラムの一実施形態を適用した顕微鏡撮影システムについて、図面を参照しながら詳細に説明する。図１は、本開示の第１の実施形態によるデフォーカス量測定装置を適用した顕微鏡撮影システムにおける顕微鏡装置の概略構成を示すブロック図である。
　顕微鏡装置１０は、観察対象である培養された細胞の位相差画像を撮影する。具体的には、顕微鏡装置１０は、図１に示すように、白色光を出射する白色光源１１、コンデンサレンズ１２、スリット板１３、結像光学系１４、動作部１５、および撮影部１６を備える。また、顕微鏡装置１０は、焦点距離変更光学系７０を備える。
　動作部１５は、第１の動作部１５Ａ、第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄ、第５の動作部１５Ｅ、第６の動作部１５Ｆおよび第７の動作部１５Ｇを備える。第１～第７の動作部１５Ａ～１５Ｇの動作は後述する。
　スリット板１３は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Ｌが形成される。
　結像光学系１４は、培養容器５０の範囲内を分割した観察域毎の位相差像を撮影部１６に結像する。図２は、結像光学系１４の詳細な構成を示す図である。図２に示すように、結像光学系１４は、位相差レンズ１４ａおよび結像レンズ１４ｄを備える。また、位相差レンズ１４ａは、対物レンズ１４ｂおよび位相板１４ｃを備える。位相板１４ｃは、照明光Ｌの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１３のスリットの大きさは、位相板１４ｃの位相リングと共役な関係にある。
　位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が１／４波長ずれ、かつその明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板１４ｃの透明板を通過し、その位相および明るさは変化しない。
　対物レンズ１４ｂを有する位相差レンズ１４ａは、図１に示す動作部１５の第５の動作部１５Ｅによって、対物レンズ１４ｂの光軸方向に移動される。本実施形態においては、対物レンズ１４ｂの光軸方向とＺ方向（鉛直方向）とは同じ方向である。対物レンズ１４ｂのＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　また、位相差レンズ１４ａの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ１４ａまたは結像光学系１４を交換可能に構成するようにしてもよい。位相差レンズ１４ａまたは結像光学系１４の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。
　また、対物レンズ１４ｂは、焦点距離を変更可能な液体レンズからなる。なお、焦点距離を変更可能であれば、液体レンズに限定されるものではなく、液晶レンズおよび形状変形レンズ等、任意のレンズを用いることができる。対物レンズ１４ｂは、図１に示す動作部１５における第６の動作部１５Ｆによって、印加される電圧が変更されて、焦点距離が変更される。これにより、結像光学系１４の焦点距離が変更される。対物レンズ１４ｂの焦点距離の変更によってもオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　結像レンズ１４ｄは、位相差レンズ１４ａを通過した位相差像が入射され、これを撮影部１６に結像する。本実施形態において、結像レンズ１４ｄは、焦点距離を変更可能な液体レンズからなる。なお、焦点距離を変更可能であれば、液体レンズに限定されるものではなく、液晶レンズおよび形状変形レンズ等、任意のレンズを用いることができる。結像レンズ１４ｄは、図１に示す動作部１５における第１の動作部１５Ａによって、印加する電圧が変更されて、焦点距離が変更される。これにより、結像光学系１４の焦点距離が変更される。結像レンズ１４ｄの焦点距離の変更によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　また、結像レンズ１４ｄは、図１に示す動作部１５における第２の動作部１５Ｂによって結像レンズ１４ｄの光軸方向に移動される。なお、本実施形態においては、結像レンズ１４ｄの光軸方向とＺ方向（鉛直方向）とは同じ方向である。結像レンズ１４ｄのＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　撮影部１６は、結像レンズ１４ｄによって結像された位相差画像を取得する。撮影部１６は、ＣＣＤ（Charge-Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を備える。撮像素子は、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。
　また、撮影部１６は、図１に示す動作部１５における第３の動作部１５ＣによってＺ方向に移動される。なお、本実施形態においては、撮影部１６の撮像面に垂直な方向とＺ方向とは同じ方向である。撮影部１６のＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　スリット板１３と結像光学系１４との間には、ステージ５１が設けられている。ステージ５１上には、観察対象である細胞が収容される培養容器５０が設置される。
　培養容器５０は本開示の容器に対応する。培養容器５０としては、シャーレ、ディッシュ、フラスコまたはウェルプレート等を用いることができる。また、これらの他、容器としては、スライドガラスまたは微細な流路が加工されてなるマイクロ流路デバイス等を用いることができる。また、培養容器５０に収容される細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
　ステージ５１は、後述する水平方向駆動部１７（図５参照）によって互いに直交するＸ方向およびＹ方向に移動するものである。Ｘ方向およびＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。
　図３は、ステージ５１の一例を示す図である。ステージ５１の中央には、矩形の開口５１ａが形成されている。この開口５１ａを形成する部材の上に培養容器５０が設置され、培養容器５０内の細胞の位相差画像が開口５１ａを通過するように構成されている。
　また、ステージ５１は、第４の動作部１５ＤによってＺ方向に移動され、これにより、培養容器５０がＺ方向に移動される。第４の動作部１５Ｄは、例えば圧電素子等のアクチュエータを備える。本実施形態においては、ステージ５１における培養容器５０が設置される面に垂直な方向とＺ方向とは同じ方向である。ステージ５１のＺ方向への移動によってもオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　第１の動作部１５Ａおよび第６の動作部１５Ｆは、例えば電圧可変回路を備えたものである。第１の動作部１５Ａは、後述するデフォーカス量測定装置３０から出力された制御信号に基づいて、結像レンズ１４ｄに印加する電圧を変更する。第６の動作部１５Ｆは、後述するデフォーカス量測定装置３０から出力された制御信号に基づいて、対物レンズ１４ｂに印加する電圧を変更する。
　第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄおよび第５の動作部１５Ｅは、例えば圧電素子等のアクチュエータを備えたものであり、後述するデフォーカス量測定装置３０から出力された制御信号に基づいて駆動する。なお、動作部１５は、位相差レンズ１４ａおよび結像レンズ１４ｄを通過した位相差像をそのまま通過させる構成となっている。また、第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄおよび第５の動作部１５Ｅの構成は圧電素子に限らず、結像レンズ１４ｄ、撮影部１６、ステージ５１および対物レンズ１４ｂ（位相差レンズ１４ａ）をＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。
　図４は焦点距離変更光学系の構成を示す概略図である。図４に示すように、焦点距離変更光学系７０は、円形の第１のウェッジプリズム７１および円形の第２のウェッジプリズム７２を備える。第７の動作部１５Ｇは、第１のウェッジプリズム７１および第２のウェッジプリズム７２を、互いに反対方向に同期させて移動させる。これにより、結像光学系１４の焦点位置が変更される。焦点位置が変更されることは、焦点距離が長くなったり短くなったりすることと同義である。このため、結像光学系１４の焦点位置が変更されることにより、結像光学系の１４の焦点距離が変更される。本実施形態においては、結像光学系１４の焦点距離を変更することは、第１の動作部１５Ａにより結像レンズ１４ｄの焦点距離を変更すること、および第６の動作部１５Ｆにより対物レンズ１４ｂの焦点距離を変更することのみならず、第７の動作部１５Ｇにより結像光学系１４の焦点位置を変更することにより、結像光学系１４の焦点距離を変更することも含む。
　第１および第２のウェッジプリズム７１，７２は、光の入射面および出射面となり得る２つの面が平行でない、すなわち一方の面に対して他方の面が傾斜しているプリズムである。なお、以降の説明においては、光軸に対して垂直に配置される面を直角面、光軸に対して傾斜して配置される面をウェッジ面と称する。ウェッジプリズム７１，７２は、直角面に垂直に入射した光を偏向させるプリズムである。第７の動作部１５Ｇは、例えば圧電素子等のアクチュエータを備え、後述するデフォーカス量測定装置３０から出力された制御信号に基づいて、第１のウェッジプリズム７１および第２のウェッジプリズム７２を、直角面を平行に維持しつつ、互いに反対方向に同期させて移動させる。すなわち、第１のウェッジプリズム７１を図４における右方向に移動させる場合には、第２のウェッジプリズム７２を左方向に移動させる。逆に、第１のウェッジプリズム７１を図４における左方向に移動させる場合には、第２のウェッジプリズム７２を右方向に移動させる。このように、第１および第２のウェッジプリズム７１，７２を移動させることにより、結像光学系１４から出射された光の光路長が変更され、これにより、結像光学系１４の焦点位置を変更して焦点距離を変更することができる。これにより、オートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
　次に、顕微鏡装置１０を制御する顕微鏡制御装置２０の構成について説明する。図５は、第１の実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、顕微鏡装置１０については、顕微鏡制御装置２０の各部により制御される一部の構成のブロック図を示している。
　顕微鏡制御装置２０は、顕微鏡装置１０全体を制御するものであり、第１の実施形態によるデフォーカス量測定装置３０、走査制御部２１および表示制御部２２を備える。また、デフォーカス量測定装置３０は、マーカ像検出部３１、判別器３２、デフォーカス量決定部３３、動作制御部３４および判別器３２の学習部３５を備える。なお、動作制御部３４が本開示の制御部に対応する。
　顕微鏡制御装置２０は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成されるものであり、ハードディスクに本開示のデフォーカス量測定プログラムの一実施形態および顕微鏡制御プログラムがインストールされている。そして、このデフォーカス量測定プログラムおよび顕微鏡制御プログラムが中央処理装置によって実行されることによって、図５に示すマーカ像検出部３１、判別器３２、デフォーカス量決定部３３、動作制御部３４、学習部３５、走査制御部２１および表示制御部２２が機能する。
　ここで、本実施形態においては、オートフォーカス制御を行うためのデフォーカス量を測定するために、培養容器５０にはマーカが含まれる。マーカとしては、例えば培養容器５０の表面に形成される加工時のパターン、培養容器５０内に投入された微細ビーズ、または培養容器５０に収容される細胞の微細構造（例えば核小体）等を用いることができる。ここで、培養容器５０は樹脂材料の射出成形により製造され、その表面に金型表面に形成された金型の切削加工時のパターンが存在する。このような培養容器５０の表面に形成されたパターンをマーカとして用いることができる。また、微細ビーズは、例えば直径が１～２μｍのポリエステル等の樹脂製の球体からなる。このような微細ビーズを培養容器５０に投入して、マーカとして用いることができる。また、核小体等の細胞の微細構造は球状をなしているため、このような細胞の微細構造をマーカとして用いることができる。
　なお、本実施形態においては、デフォーカス量の決定のために、位相差画像の取得に先立って、デフォーカス量を決定するための画像（以下撮影画像Ｇ０とする）が撮影部１６により取得される。
　マーカ像検出部３１は、撮影部１６が取得した、デフォーカス量決定用の撮影画像Ｇ０からマーカ像を検出する。本実施形態においては、撮影画像Ｇ０は位相差画像であり、上述したマーカは、位相差画像において背景の画像と異なるコントラストにより表される。このため、マーカ像検出部３１は、しきい値処理を行うことにより、撮影画像Ｇ０からマーカ像を検出する。
　判別器３２は、フォーカスのずれ量をそれぞれ変えて撮影した複数の教師用マーカ像、すなわち、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、マーカ像の入力により入力されたマーカ像のデフォーカス量を判別する。
　以下、判別器３２の学習について説明する。判別器３２の学習は学習部３５が行う。図６は判別器３２の学習に用いる教師用マーカ像を取得するためのマーカの撮影を説明するための図である。なお、図６においては、１つのマーカＭの撮影について説明する。図６に示すように、教師用マーカ像を取得するためには、複数の合焦位置において、マーカＭの撮影を行う。すなわち、まず、結像光学系１４を調整し、マーカＭの位置Ｐ０に合焦させるようにフォーカス制御を行い、マーカＭに合焦した画像を取得する。また、マーカＭの手前の位置Ｐ１および位置Ｐ２に合焦させるようにフォーカス制御を行い、プラス方向にデフォーカスされた画像を取得する。また、マーカＭの後方の位置Ｐ３および位置Ｐ４に合焦させるようにフォーカス制御を行い、マイナス方向にデフォーカスされた画像を取得する。なお、図６においては５つの合焦位置Ｐ０～Ｐ４によりマーカＭの撮影を行っているが、これに限定されるものではなく、より多くの合焦位置またはより少ない合焦位置おいてマーカＭの撮影を行うようにしてもよい。
　そして、学習部３５は、上述したように複数の合焦位置においてマーカＭを撮影することにより取得した画像からマーカを含む領域を抽出し、教師用マーカ像を生成する。図７は教師用マーカ像の例を示す図である。なお、図７においては、位置Ｐ０，Ｐ１，Ｐ２に合焦させることにより取得した画像から生成した教師用マーカ像Ｔ０，Ｔ１，Ｔ２を示す。なお、教師用マーカ像は、それぞれの合焦位置において多数(例えば１０００個)用意される。
　また、また、学習部３５は、教師用マーカ像に対してデフォーカス量を対応づける。例えば、合焦位置Ｐ０において取得した教師用マーカ像にはデフォーカス量として０を対応づけ、合焦位置Ｐ１において取得した教師用マーカ像にはデフォーカス量として＋６μｍを対応づけ、合焦位置Ｐ２において取得した教師用マーカ像にはデフォーカス量として＋１２μｍを対応づける。また、合焦位置Ｐ３において取得した教師用マーカ像にはデフォーカス量として－６μｍを対応づけ、合焦位置Ｐ４において取得した教師用マーカ像にはデフォーカス量として－１２μｍを対応づける。
　学習部３５は、教師用マーカ像を用いて、入力されたマーカ像のデフォーカス量を判別するように判別器３２を学習する。本実施形態においては、判別器３２は、判別対象となるマーカ像が入力されると、そのマーカ像のデフォーカス量を判別するものとする。具体的には、判別器３２は、判別対象となるマーカ像について、複数のデフォーカス量となる確率を算出し、そのうちの最も高い確率となったデフォーカス量を入力されたマーカ像のデフォーカス量と判別する。このため、学習部３５は、教師用マーカ像から、あらかじめ定められたサイズ（例えば３×３等）の領域内の特徴量を取得し、取得した特徴量を判別器３２に入力し、入力した教師用マーカ像に対応するデフォーカス量となる判別結果を出力するように、判別器３２の学習、すなわち機械学習を行う。
　なお、判別器３２は、サポートベクタマシン（ＳＶＭ(Support Vector Machine)）、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等により構成することができる。
　また、教師用マーカ像の特徴量としては、教師用マーカ像に関する同時生起行列を用いてもよい。同時生起行列は、画像における画素の信号値の分布を示す行列であり、ある信号値を有する画素に隣接する画素が有する信号値の頻度を行列として表したものである。ここで、マーカ像のデフォーカス量が０の場合、すなわちマーカ像が合焦している場合、マーカ像のコントラストが高いため、高輝度（すなわち低濃度）の画素に隣接する画素は低輝度（すなわち高濃度）となる。このため、マーカ像のデフォーカス量が０の場合、高輝度の画素については信号値が高い画素が隣接する頻度が高くなる。一方、マーカ像がボケている場合、高輝度の画素に隣接する画素はそれほど低輝度とはならない。このため、マーカ像がぼけている場合、マーカ像のコントラストが低いため、高輝度の画素については類似する輝度となる信号値の画素が隣接する頻度が高くなる。このため、教師用マーカ像に関する同時生起行列は、マーカ像のボケの程度に応じて特徴的な行列となる。したがって、同時生起行列を特徴量として用いることにより、デフォーカス量を精度よく判別可能なように、判別器３２を学習することができる。
　このように学習がなされた判別器３２により、撮影部１６が取得した撮影画像Ｇ０に含まれるマーカのデフォーカス量が判別される。図８はデフォーカス量の判別結果を示す図である。なお、図８に示す撮影画像Ｇ０においては、マーカとして細胞の核小体を用いており、図８においてはマーカ像を白丸により示す。判別器３２は、図８に示すように撮影画像Ｇ０に含まれる複数のマーカ像のそれぞれについてデフォーカス量を判別する。図８においては、説明のために各マーカ像の近傍に、各マーカ像に対するデフォーカス量を表す数値（μｍ）を示している。
　デフォーカス量決定部３３は、１つの撮影画像Ｇ０について、判別器３２が判別した複数のマーカ像のデフォーカス量の統計値をその撮影画像Ｇ０のデフォーカス量に決定する。なお、統計値としては、複数のマーカ像のデフォーカス量の平均値、中央値および最頻値等を用いることができる。例えば、統計値を最頻値とした場合、図８に示すようにデフォーカス量が判別された撮影画像Ｇ０については、デフォーカス量の統計値は７μｍに決定される。
　動作制御部３４は、上述したようにデフォーカス量決定部３３が決定したデフォーカス量に基づいて、動作部１５を動作させてオートフォーカス制御を行う。具体的には、デフォーカス量に基づいて、第１の動作部１５Ａ～第７の動作部１５Ｇのそれぞれに対して制御信号を出力する。これにより、第１の動作部１５Ａにより結像レンズ１４ｄの焦点距離が変更されて結像光学系１４の焦点距離が変更される。また、第２の動作部１５Ｂにより結像レンズ１４ｄが光軸方向に移動する。また、第３の動作部１５Ｃにより撮影部１６が光軸方向に移動する。また、第４の動作部１５Ｄによりステージ５１が光軸方向に移動する。また、第５の動作部１５Ｅにより対物レンズ１４ｂが光軸方向に移動する。第６の動作部１５Ｆにより対物レンズ１４ｂの焦点距離が変更されて結像光学系１４の焦点距離が変更される。さらに、第７の動作部１５Ｇにより結像光学系１４の焦点位置が変更されて、結像光学系１４の焦点距離が変更される。これらの７つの動作により、オートフォーカス制御が行われる。
　走査制御部２１は、水平方向駆動部１７を駆動制御し、これによりステージ５１をＸ方向およびＹ方向に移動させて、培養容器５０をＸ方向およびＹ方向に移動させる。水平方向駆動部１７は、圧電素子等のアクチュエータから構成される。
　以下、走査制御部２１によるステージ５１の移動制御および動作制御部３４によるオートフォーカス制御について、詳細に説明する。
　本実施形態においては、走査制御部２１による制御によってステージ５１をＸ方向およびＹ方向に移動させ、結像光学系１４の観察域を培養容器５０内において２次元状に移動して培養容器５０を走査し、各観察域を撮像して位相差画像を取得する。図９は、培養容器５０内における観察域による走査位置を実線Ｊで示した図である。なお、本実施形態においては、培養容器５０として６つのウェルＷを有するウェルプレートを用いる。
　図９に示すように、結像光学系１４の観察域は、走査開始点Ｓから走査終了点Ｅまで実線Ｊに沿って移動する。すなわち、観察域Ｒは、Ｘ方向の正方向（図９の右方向）に移動された後、Ｙ方向（図９の下方向）に移動し、逆の負方向（図９の左方向）に移動される。次いで、観察域Ｒは、再びＹ方向に移動し、再び正方向に移動される。このように、観察域ＲのＸ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器５０は２次元状に走査される。
　また、本実施形態においては、ステージ５１は各観察域Ｒにおいて一端静止する。この状態において、撮影部１６によりデフォーカス量決定用の撮影画像Ｇ０が取得され、デフォーカス量が決定され、デフォーカス量に基づいたオートフォーカス制御が行われ、その観察域Ｒが撮像されて位相差画像が取得される。位相差画像が取得されると、ステージ５１が移動し、次の観察域Ｒにおいてオートフォーカス制御が行われて位相差画像が取得される。この動作を繰り返すことにより、培養容器５０の全体を表す複数の位相差画像が取得され、複数の位相差画像を結合され合成位相差画像が生成される。
　すなわち、動作制御部３４は、観察域Ｒにおいて決定されたデフォーカス量に基づいて、動作部１５を駆動制御することによってオートフォーカス制御を行う。具体的には、動作制御部３４には、デフォーカス量と、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、および焦点距離変更光学系７０の移動量との関係が、予めテーブルとして記憶されている。このテーブルを第１のテーブルと称する。
　動作制御部３４は、決定されたデフォーカス量に基づいて、第１のテーブルを参照して、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、および焦点距離変更光学系７０の移動量をそれぞれ求める。なお、以降の説明においては、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、および焦点距離変更光学系７０の移動量をフォーカス制御量と称する。
　そして、動作制御部３４は、動作部１５を制御するために、フォーカス制御量に応じた制御信号を、第１の動作部１５Ａ～第７の動作部１５Ｇに出力する。具体的には、動作制御部３４は、デフォーカス量に基づいて第１のテーブルを参照し、フォーカス制御量を取得し、第１の動作部１５Ａ～第７の動作部１５Ｇに出力する。
　動作部１５、すなわち第１の動作部１５Ａ～第７の動作部１５Ｇは、入力された制御信号に基づいて駆動する。これにより、観察域Ｒのデフォーカス量に応じたフォーカス制御が行われる。
　図５に戻り、表示制御部２２は、顕微鏡装置１０によって撮像された各観察域Ｒの位相差画像を結合することによって、１枚の合成位相差画像を生成し、その合成位相差画像を表示装置２３に表示させる。
　表示装置２３は、上述したように表示制御部２２によって生成された合成位相差画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置２３をタッチパネルによって構成し、入力装置２４と兼用するようにしてもよい。
　入力装置２４は、マウスおよびキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置２４は、例えば位相差レンズ１４ａの倍率の変更指示およびステージ５１の移動速度の変更指示等の設定入力を受け付ける。
　次に、第１の実施形態のデフォーカス量測定装置を適用した顕微鏡観察システムの動作について、図１０に示すフローチャートを参照しながら説明する。まず、観察対象である細胞が収容された培養容器５０が、ステージ５１上に設置される（ステップＳＴ１０）。次に、ステージ５１が移動して結像光学系１４の観察域Ｒが、図６に示す走査開始点Ｓの位置に設定され、観察域Ｒによる走査が開始される（ステップＳＴ１２）。
　ここで、本実施形態においては、上述したように各観察域Ｒについて、デフォーカス量決定用の撮影画像Ｇ０が取得され、マーカ像が検出され、デフォーカス量が判別され、デフォーカス量が決定され、フォーカス制御量が算出され、オートフォーカス制御が行われて位相差画像が取得される。これらの動作は、観察域Ｒを移動しながら行われ、ある位置の観察域Ｒについての撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、オートフォーカス制御、および位相差画像の取得が行われた後、次の観察域Ｒにおいて、撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、オートフォーカス制御、および位相差画像の取得が行われる。
　このため、最初の観察域Ｒにおいて、デフォーカス量決定用の撮影画像Ｇ０が撮影部１６により取得され（ステップＳＴ１４）、マーカ像検出部３１が、撮影画像Ｇ０からマーカ像を検出する（ステップＳＴ１６）。次いで、判別器３２が撮影画像Ｇ０に含まれるマーカ像のデフォーカス量を判別し（ステップＳＴ１８）、デフォーカス量決定部３３が、その観察域Ｒにおけるデフォーカス量を決定する（ステップＳＴ２０）。そして、動作制御部３４が、決定されたデフォーカス量に基づいてフォーカス制御量を算出し（ステップＳＴ２２）、フォーカス制御量に基づいてオートフォーカス制御を行う（ステップＳＴ２４）。すなわち、動作制御部３４は、予め記憶された移動量に基づいて動作部１５を駆動制御し、結像レンズ１４ｄの焦点距離を変更し、結像レンズ１４ｄ、撮影部１６および対物レンズ１４ｂをＺ方向に移動させる。そして、オートフォーカス制御後、撮影部１６が観察域Ｒを撮像して、その観察域Ｒの位相差画像を取得する（ステップＳＴ２６）。取得された位相差画像は、撮影部１６から表示制御部２２に出力されて記憶される。
　そして、全ての走査が終了していない場合には（ステップＳＴ２８；ＮＯ）、観察域ＲがＸ方向またはＹ方向に移動し、すべての走査が終了するまで、上述した撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、オートフォーカス制御および位相差画像の取得が繰り返し行われる（ステップＳＴ１４～ステップＳＴ２６）。そして、観察域Ｒが、図９に示す走査終了点Ｅの位置に到達した時点において全ての走査が終了する（ステップＳＴ２８；ＹＥＳ）。
　全ての走査が終了した後、表示制御部２２は、各観察域Ｒの位相差画像を結合して合成位相差画像を生成し（ステップＳＴ３０）、生成した合成位相差画像を表示装置２３に表示する（ステップＳＴ３２）。
　このように、本実施形態においては、デフォーカス量の測定対象であるマーカを含む、デフォーカス量決定用の撮影画像Ｇ０を取得し、撮影画像Ｇ０からマーカ像を検出し、各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器３２によりデフォーカス量を判別するようにした。このため、少ない演算量により、高速にデフォーカス量を決定することができる。
　また、撮影画像Ｇ０に含まれる複数のマーカ像のそれぞれについてのデフォーカス量を判別し、複数のデフォーカス量の統計値を撮影画像Ｇ０を取得した観察域Ｒのデフォーカス量に決定することにより、判別器３２による判別結果のばらつきを吸収して、精度よくデフォーカス量を決定することができる。
　また、デフォーカス量に基づいて、培養容器５０内の観察対象の像を撮影部１６に合焦させることにより、デフォーカス量を高速に決定することができるため、オートフォーカス制御を高速に行うことができる。
　なお、上記第１の実施形態においては、第１の実施形態によるデフォーカス量測定装置３０を顕微鏡撮影システムに適用し、観察域Ｒを移動させつつ、各観察域Ｒにおいて撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、オートフォーカス制御、および位相差画像の取得を行っているが、これに限定されるものではない。例えば、ある培養容器５０について、細胞を収容することなく、培養容器５０における各観察域Ｒにおいて、撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、およびフォーカス制御量の算出を行うようにしてもよい。この場合、培養容器５０すべての観察域Ｒにおいてデフォーカス量が決定された後に、デフォーカス量を決定した培養容器５０と同一種類の培養容器５０に収容された細胞を観察対象として、位相差画像の取得が行われる。なお、このように位相差画像の取得に先立ってデフォーカス量を決定する場合、マーカＭとしては微細ビーズを用いることが好ましい。以下、これを第２の実施形態として説明する。
　図１１は位相差画像の取得に先立って、デフォーカス量を決定する、第２の実施形態において行われる処理を示すフローチャートである。まず、マーカである微細ビーズが収容された培養容器５０がステージ５１上に設置される（ステップＳＴ４０）。次に、ステージ５１が移動して結像光学系１４の観察域Ｒが、図６に示す走査開始点Ｓの位置に設定され、観察域Ｒによる走査が開始される（ステップＳＴ４２）。
　そして、最初の観察域Ｒにおいて、デフォーカス量決定用の撮影画像Ｇ０が撮影部１６により取得され（ステップＳＴ４４）、マーカ像検出部３１が、撮影画像Ｇ０からマーカ像を検出する（ステップＳＴ４６）。次いで、判別器３２が撮影画像Ｇ０に含まれるマーカ像のデフォーカス量を判別し（ステップＳＴ４８）、デフォーカス量決定部３３が、その観察域Ｒにおけるデフォーカス量を決定する（ステップＳＴ５０）。そして、動作制御部３４が、決定されたデフォーカス量に基づいてフォーカス制御量を算出し（ステップＳＴ５２）、フォーカス制御量を培養容器５０の検出位置のＸ－Ｙ座標上の位置と対応づけて記憶する（ステップＳＴ５４）。
　そして、全ての走査が終了していない場合には（ステップＳＴ５６；ＮＯ）、観察域ＲがＸ方向またはＹ方向に移動し、すべての走査が終了するまで、上述した撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、およびフォーカス制御量の記憶が繰り返し行われる（ステップＳＴ４４～ステップＳＴ５４）。そして、観察域Ｒが、図９に示す走査終了点Ｅの位置に到達した時点において全ての走査が終了する（ステップＳＴ５６；ＹＥＳ）。
　なお、第２の実施形態において、位相差画像の取得時においては、デフォーカス量を決定する場合と同様に、培養容器５０の走査が行われ、各観察域Ｒにおいて位相差画像を取得する際に、その観察域Ｒに対応する培養容器５０のＸ－Ｙ座標と対応づけて記憶されたフォーカス制御量を用いて、動作制御部３４がオートフォーカス制御を行う。これにより、各観察域Ｒにおいてフォーカス制御を行いつつ、位相差画像の取得が行われる。この場合、フォーカス制御量を記憶するための培養容器５０の走査を事前に行う必要はあるが、同一種類の培養容器５０を使用する場合、位相差画像を取得する際に、各観察域Ｒにおいて一端ステージ５１を静止させて撮影画像Ｇ０の取得、マーカ像の検出、デフォーカス量の判別、デフォーカス量の決定、フォーカス制御量の算出、オートフォーカス制御、および位相差画像の取得を行う必要がなくなる。これにより、培養容器５０上において観察域Ｒを連続して操作させることができるため、より高速に位相差画像を取得することができる。
　なお、第２の実施形態においては、動作制御部３４は、各観察域Ｒでのフォーカス制御量を記憶しているが、決定したデフォーカス量を記憶するようにしてもよい。この場合、各観察域Ｒにおいて位相差画像を取得する際に、記憶されたデフォーカス量に基づいてフォーカス制御量が算出されて、観察域Ｒの撮影および位相差画像の取得が行われる。
　ところで、判別器３２の学習の際に使用する教師用マーカ像としては、プラス方向にデフォーカスされた画像およびマイナス方向にデフォーカスされた画像の双方を用いている。しかしながら、プラス方向にデフォーカスされた画像およびマイナス方向にデフォーカスされた画像が類似している場合、そのような教師用マーカ像を用いて学習を行った判別器３２を用いても、デフォーカス量がプラス側のデフォーカス量であるのかマイナス側のデフォーカス量であるのか判別することが困難となる場合がある。
　しかしながら、本実施形態においては、デフォーカス量のプラスおよびマイナスを誤って判別したとしても、オートフォーカス制御を高速に行うことができる。図１２はオートフォーカス制御を説明するための図である。なお、図１２においては、結像レンズ１４ｄをＺ方向に移動する場合のオートフォーカス制御を示す。図１２に示すように、結像レンズ１４ｄが位置Ｐ１０にあるときのデフォーカス量が＋αに決定されたとする。この場合、実際のデフォーカス量がプラス（すなわち観察対象よりも遠くに合焦している状態）であれば、結像レンズ１４ｄを観察対象から離れる方向、例えば位置Ｐ１１に移動させることにより、観察対象に合焦させることができる。しかしながら、実際には観察対象よりも近くに合焦した状態にあり、デフォーカス量が－αの場合、結像レンズ１４ｄを位置Ｐ１１に移動させると、よりフォーカスが合わなくなってしまう。
　この場合、結像レンズ１４ｄを位置Ｐ１１に移動させた時点において、再度デフォーカス量決定用の撮影画像Ｇ０を取得し、デフォーカス量を決定するようにする。そして、決定したデフォーカス量が０でない場合には、デフォーカス量のプラスおよびマイナスが間違っていることから、動作制御部３４は、結像レンズ１４ｄを観察対象に近づく方向、例えば位置Ｐ１１から位置Ｐ１２に移動させるようにフォーカス制御量を決定する。
　ここで、従来のように画像のコントラストを判断してオートフォーカス制御を行う場合、観察対象に合焦されるまで撮影画像Ｇ０の取得およびフォーカス制御量の決定を繰り返す必要がある。これに対して、本実施形態においては、フォーカス制御量のプラスおよびマイナスの判別を誤ったとしても、デフォーカス量の決定の動作をもう一度行うのみで、正確なフォーカス制御量を決定することができる。したがって、本実施形態においては、フォーカス制御量のプラスおよびマイナスの判別を誤ったとしても、オートフォーカス制御を高速に行うことができる。
　なお、プラス方向にデフォーカスされた画像およびマイナス方向にデフォーカスされた画像が類似している場合、プラス方向にデフォーカスされた画像およびマイナス方向にデフォーカスされた画像のいずれか一方のみを教師用マーカ像として使用して、判別器３２の学習を行うようにしてもよい。例えば、プラス方向にデフォーカスされた画像のみを教師用マーカ像として判別器３２の学習を行った場合、判別されるデフォーカス量はプラスの値となる。この場合、実際のデフォーカス量がマイナスの場合、上記図１２に示すように、デフォーカス量がプラスの場合のように結像レンズ１４ｄを位置Ｐ１１に移動させると、よりフォーカスが合わなくなってしまう。
　この場合、結像レンズ１４ｄを位置Ｐ１１に移動させた時点において、再度デフォーカス量決定用の撮影画像Ｇ０を取得し、デフォーカス量を決定するようにする。そして、決定したデフォーカス量が０でない場合には、デフォーカス量が実際にはマイナスであると判定し、動作制御部３４は、結像レンズ１４ｄを位置Ｐ１１からＰ１２に移動させるようにフォーカス制御量を決定する。これにより、デフォーカス量のプラスおよびマイナスを間違えた場合と同様に、デフォーカス量の決定の動作をもう一度行うのみで、正確なフォーカス制御量を決定することができる。したがって、プラス方向にデフォーカスされた画像およびマイナス方向にデフォーカスされた画像のいずれか一方のみを教師用マーカ像として使用して、判別器３２の学習を行っても、オートフォーカス制御を高速に行うことができる。
　なお、上記各実施形態においては、判別器３２を学習するための教師用マーカ像として、デフォーカス量が既知のマーカ像を用いているが、これに限定されるものではない。例えば、デフォーカス量が不明であるマーカ像を教師用マーカ像として用いてもよい。この場合、デフォーカス量が不明であるマーカ像については、学習部３５は、デフォーカス量が不明であるとの判別を行うように、判別器３２の学習を行う。なお、デフォーカス量が不明であるマーカ像としては、判別器３２に入力した結果、デフォーカス量を誤って判別したマーカ像を用いることができる。このため、学習部３５はまず判別器３２に対して、デフォーカス量が不明である旨の判別を行わないように学習を行う。そして、ある程度学習が進んだ段階で、判別器３２によるデフォーカス量の判別を行った際に、デフォーカス量を誤って判別したマーカ像を、デフォーカス量が不明であるマーカ像に決定する。そして、改めてそのようなマーカ像を用いて、デフォーカス量が不明であるとの判別を行うように判別器３２の学習を行う。これにより、デフォーカス量が不明であるとの判別を行うことが可能な判別器３２を生成することができる。したがって、誤ったデフォーカス量の判別結果が取得される可能性を低減することができる。
　なお、上記各実施形態においては、動作部１５が第１～第７の動作部１５Ａ～１５Ｇによりオートフォーカス制御を行っているが、第１～第７の動作部１５Ａ～１５Ｇのうちのいずれか１つのみまたはこれらのうちの複数を用いてオートフォーカス制御を行うようにしてもよい。また、第１～第７の動作部１５Ａ～１５Ｇのうちのいずれか１つのみまたはこれらのうちの複数を備えるものとしてもよい。
　また、上記各実施形態においては、焦点距離変更光学系７０を、結像光学系１４と撮影部１６との間に配置しているが、結像光学系１４とステージ５１との間に配置してもよい。
　また、上記各実施形態においては、第４の動作部１５Ｄによりステージ５１を光軸方向に移動させることにより、培養容器５０を光軸方向に移動させている。しかしながら、ステージ５１を光軸方向に移動させることに代えて、培養容器５０を光軸方向に移動させる機構を設け、培養容器５０のみを光軸方向に移動させるようにしてもよい。
　なお、上記各実施形態においては、マーカ像検出部３１により撮影画像Ｇ０から検出されたマーカ像のデフォーカス量を判別器３２により判別している。しかしながら、判別個のみにより、撮影画像Ｇ０におけるマーカ像の有無を判別し、かつマーカ像が含まれる場合にマーカ像のデフォーカス量を判別するようにしてもよい。以下、これを第３の実施形態として説明する。図１３は、第３の実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、図１３において、図５と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。図１３に示すように、第３の実施形態においては、顕微鏡制御装置２０において、マーカ像検出部３１を省略し、判別器３２に代えて判別器３２Ａを備えた点が第１の実施形態と異なる。
　第３の実施形態において、判別器３２Ａは、撮影画像Ｇ０におけるマーカ像の有無を判別し、かつマーカ像が含まれる場合にマーカ像のデフォーカス量を判別する。学習部３５は、デフォーカス量が既知の教師用マーカ像に加えて、マーカ像を含まない教師用画像を使用して、判別器３２Ａの学習を行う。なお、マーカ像を含まない教師用画像としては、上述したデフォーカス量を誤って判別したマーカ像を用いてもよい。
第３の実施形態においては、このように学習がなされた判別器３２Ａを備えるものとしたため、マーカ像検出部３１を設けなくても、撮影画像Ｇ０に含まれるマーカ像のデフォーカス量を測定することができる。
　また、上記各実施形態は、本開示によるデフォーカス量測定装置を位相差顕微鏡に適用したものであるが、本開示は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用してもよい。
　以下、本実施形態の作用効果について説明する。
　撮影画像に含まれる複数のマーカ像のそれぞれについてのデフォーカス量を判別し、複数のデフォーカス量の統計値を、撮影画像のデフォーカス量に決定することにより、判別器による判別結果のばらつきを吸収して、精度よくデフォーカス量を決定することができる。
　判別器においてデフォーカス量が不明である旨を判別することにより、誤ったデフォーカス量の判別結果が取得される可能性を低減することができる。
　マーカを細胞の微細構造とすることにより、特別なマーカを用意する必要がなくなり、かつ細胞の撮影を行いつつ、デフォーカス量を決定することができる。
　マーカを含み、観察対象が収容された容器を撮影して撮影画像を取得し、デフォーカス量に基づいて容器内の観察対象の像を撮影部に合焦させることにより、デフォーカス量を高速に決定することができるため、合焦動作を高速に行うことができる。
　観察対象が収容された容器が設定されるステージ上に設置された容器内において観察域を走査し、容器内の各観察域の撮影を行い、各観察域において、デフォーカス量に基づいて、容器内の観察対象の像を撮影部に合焦させることにより、タイリング撮影を高速に行うことができる。
１０　　顕微鏡装置
１１　　白色光源
１２　　コンデンサレンズ
１３　　スリット板
１４　　結像光学系
１４ａ　位相差レンズ
１４ｂ　対物レンズ
１４ｃ　位相板
１４ｄ　結像レンズ
１５　　動作部
１５Ａ　第１の動作部
１５Ｂ　第２の動作部
１５Ｃ　第３の動作部
１５Ｄ　第４の動作部
１５Ｅ　第５の動作部
１５Ｆ　第６の動作部
１５Ｇ　第７の動作部
１６　　撮影部
１７　　水平方向駆動部
２０　　顕微鏡制御装置
２１　　走査制御部
２２　　表示制御部
２３　　表示装置
２４　　入力装置
３０　　デフォーカス量測定装置
３１　　マーカ像検出部
３２、３２Ａ　　判別器
３３　　デフォーカス量決定部
３４　　動作制御部
３５　　学習部
５０　　培養容器
５１　　ステージ
５１ａ　開口
７０　　焦点距離変更光学系
７１　　第１のウェッジプリズム
７２　　第２のウェッジプリズム
Ｊ　　　観察域による走査位置
Ｓ　　　走査開始点
Ｅ　　　走査終了点
Ｌ　　　照明光
Ｒ　　　観察域
Ｗ　　　ウェル

Claims (13)

  1. 　デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出するマーカ像検出部と、
    　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力された前記マーカ像のデフォーカス量を判別する判別器とを備えたデフォーカス量測定装置。
  2. 　前記判別器は、前記撮影画像に含まれる複数のマーカ像のそれぞれについてのデフォーカス量を判別し、
    　複数の前記デフォーカス量の統計値を、前記撮影画像のデフォーカス量に決定するデフォーカス量決定部をさらに備えた請求項１に記載のデフォーカス量測定装置。
  3. 　前記判別器は、前記デフォーカス量が不明である旨を判別する請求項１または２に記載のデフォーカス量測定装置。
  4. 　前記判別器は、ニューラルネットワークにより構成される請求項１から３のいずれか１項に記載のデフォーカス量測定装置。
  5. 　前記判別器は、前記複数の教師用マーカ像に関する同時生起行列を前記特徴量として学習する請求項１から４のいずれか１項に記載のデフォーカス量測定装置。
  6. 　前記マーカは、細胞の微細構造である請求項１から５のいずれか１項に記載のデフォーカス量測定装置。
  7. 　前記撮影画像は、前記マーカを含み、観察対象が収容された容器を撮影部により撮影することによって取得され、
    　前記デフォーカス量に基づいて、前記容器内の前記観察対象の像を前記撮影部に合焦させるための制御を行う制御部とをさらに備えた請求項１から６のいずれか１項に記載のデフォーカス量測定装置。
  8. 　前記観察対象が収容された前記容器が設定されるステージをさらに備え、
    　前記撮影画像は、前記ステージ上に設置された前記容器内において観察域を走査し、前記容器内の各観察域の撮影を行うことにより取得され、
    　前記制御部は、前記各観察域において、前記デフォーカス量に基づいて、前記容器内の前記観察対象の像を前記撮影部に合焦させる制御を行う請求項７に記載のデフォーカス量測定装置。
  9. 　デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出し、
    　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力された前記マーカ像のデフォーカス量を判別する判別器により、前記入力されたマーカ像のデフォーカス量を判別するデフォーカス量測定方法。
  10. 　デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像からマーカ像を検出する手順と、
    　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力された前記マーカ像のデフォーカス量を判別する判別器により、前記入力されたマーカ像のデフォーカス量を判別する手順とをコンピュータに実行させるデフォーカス量測定プログラム。
  11. 　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のデフォーカス量を判別する判別器。
  12. 　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされた判別器であって、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像が入力されると、前記撮影画像におけるマーカ像の有無、および前記撮影画像に前記マーカ像が含まれる場合における該マーカ像のデフォーカス量を判別する判別器を備えたデフォーカス量測定装置。
  13. 　各種デフォーカス量により撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされた判別器であって、デフォーカス量の測定対象であるマーカを撮影することにより取得した撮影画像が入力されると、前記撮影画像におけるマーカ像の有無、および前記撮影画像に前記マーカ像が含まれる場合における該マーカ像のデフォーカス量を判別する判別器。
PCT/JP2018/040388 2018-03-22 2018-10-30 デフォーカス量測定装置、方法およびプログラム、並びに判別器 WO2019181053A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020507334A JPWO2019181053A1 (ja) 2018-03-22 2018-10-30 デフォーカス量測定装置、方法およびプログラム、並びに判別器
EP18910860.8A EP3770666A4 (en) 2018-03-22 2018-10-30 DEVICE, PROCESS AND PROGRAM FOR MEASURING THE QUANTITY OF DEFOCATION AND DISCRIMINATOR
US17/013,680 US20200404186A1 (en) 2018-03-22 2020-09-07 Defocus amount measuring device, defocus amount measuring method, defocus amount measuring program, and discriminator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-053952 2018-03-22
JP2018053952 2018-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/013,680 Continuation US20200404186A1 (en) 2018-03-22 2020-09-07 Defocus amount measuring device, defocus amount measuring method, defocus amount measuring program, and discriminator

Publications (1)

Publication Number Publication Date
WO2019181053A1 true WO2019181053A1 (ja) 2019-09-26

Family

ID=67987023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040388 WO2019181053A1 (ja) 2018-03-22 2018-10-30 デフォーカス量測定装置、方法およびプログラム、並びに判別器

Country Status (4)

Country Link
US (1) US20200404186A1 (ja)
EP (1) EP3770666A4 (ja)
JP (1) JPWO2019181053A1 (ja)
WO (1) WO2019181053A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749974A (zh) * 2019-11-04 2020-02-04 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
JP7205013B1 (ja) * 2021-07-19 2023-01-16 浜松ホトニクス株式会社 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
WO2023002678A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
WO2023002679A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550204B2 (en) * 2019-05-08 2023-01-10 Chicony Electronics Co., Ltd. Camera and light adjustment module
JP2022127536A (ja) * 2021-02-19 2022-08-31 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738798A (ja) * 1993-06-28 1995-02-07 Sanyo Electric Co Ltd オートフォーカス装置
JPH0854556A (ja) * 1994-08-09 1996-02-27 Nikon Corp カメラのオートフォーカス装置
JP2010072017A (ja) 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2013254108A (ja) 2012-06-07 2013-12-19 Canon Inc デフォーカス量推定方法、撮像装置、および透光性部材
WO2015107927A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2015166675A1 (ja) * 2014-05-02 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738798A (ja) * 1993-06-28 1995-02-07 Sanyo Electric Co Ltd オートフォーカス装置
JPH0854556A (ja) * 1994-08-09 1996-02-27 Nikon Corp カメラのオートフォーカス装置
JP2010072017A (ja) 2008-09-16 2010-04-02 Yokogawa Electric Corp オートフォーカス装置
JP2013254108A (ja) 2012-06-07 2013-12-19 Canon Inc デフォーカス量推定方法、撮像装置、および透光性部材
WO2015107927A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2015166675A1 (ja) * 2014-05-02 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3770666A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749974A (zh) * 2019-11-04 2020-02-04 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
CN110749974B (zh) * 2019-11-04 2021-06-01 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
JP7494490B2 (ja) 2020-03-05 2024-06-04 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
JP7205013B1 (ja) * 2021-07-19 2023-01-16 浜松ホトニクス株式会社 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
WO2023002678A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 特徴量出力モデル生成システム、特徴量出力モデル生成方法、特徴量出力モデル生成プログラム及び特徴量出力モデル
WO2023002679A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム
JP7291303B1 (ja) * 2021-07-19 2023-06-14 浜松ホトニクス株式会社 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム

Also Published As

Publication number Publication date
JPWO2019181053A1 (ja) 2021-04-08
US20200404186A1 (en) 2020-12-24
EP3770666A4 (en) 2021-05-05
EP3770666A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
WO2019181053A1 (ja) デフォーカス量測定装置、方法およびプログラム、並びに判別器
JP5633753B2 (ja) フォーカス制御方法および培養観察装置
WO2018003181A1 (ja) 撮影装置および方法並びに撮影制御プログラム
US11163145B2 (en) Observation device, observation method, and observation device control program
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
JP2015152650A (ja) 位相差顕微鏡
JP6704530B2 (ja) 撮影制御装置、方法およびプログラム
JP6861842B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6555502B2 (ja) 位相差顕微鏡
JP2015152649A (ja) 位相差顕微鏡
JP7133636B2 (ja) フォーカス位置評価装置、方法、及びプログラム
WO2019202979A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
US20190204536A1 (en) Observation device, observation method, and observation device control program
JP6848086B2 (ja) 観察装置および方法並びに観察装置制御プログラム
WO2017149880A1 (ja) 細胞観察装置および方法
JP6812562B2 (ja) 観察装置および方法並びに観察装置制御プログラム
WO2020066250A1 (ja) フォーカス位置評価装置、方法及びプログラム、並びに判別器
WO2019044416A1 (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JPWO2019088030A1 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
US11127180B2 (en) Image processing apparatus, method, and program
JP6879331B2 (ja) 位相差顕微鏡及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910860

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507334

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018910860

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018910860

Country of ref document: EP

Effective date: 20201022