WO2019225177A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2019225177A1
WO2019225177A1 PCT/JP2019/015203 JP2019015203W WO2019225177A1 WO 2019225177 A1 WO2019225177 A1 WO 2019225177A1 JP 2019015203 W JP2019015203 W JP 2019015203W WO 2019225177 A1 WO2019225177 A1 WO 2019225177A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation target
imaging
image
control device
unit
Prior art date
Application number
PCT/JP2019/015203
Other languages
English (en)
French (fr)
Inventor
武史 大橋
篠田　昌孝
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/056,727 priority Critical patent/US20210200986A1/en
Priority to EP19807421.3A priority patent/EP3805836A4/en
Priority to JP2020521076A priority patent/JP7243718B2/ja
Publication of WO2019225177A1 publication Critical patent/WO2019225177A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • Patent Literature 1 discloses a technique for evaluating a cell such as a fertilized egg to be observed with high accuracy along a time series.
  • the present disclosure proposes a new and improved control device, control method, and program capable of accurately capturing an image of the observation target in time series imaging of the observation target.
  • the imaging control unit that controls imaging in time series of an observation target including cells having mitotic potential
  • the imaging control unit is a learned model generated based on a machine learning algorithm
  • a control device that controls at least one of a relative horizontal position or a focal position between the imaging unit that performs the imaging and the observation object based on the recognition result of the observation object calculated using Is done.
  • the processor includes controlling the imaging along the time series of the observation target including the cells having division ability, and the controlling the imaging is generated based on a machine learning algorithm Based on the recognition probability of the observation target calculated using the learned model, the control unit controls at least one of a relative horizontal position or a focus position between the imaging unit that performs the imaging and the observation target.
  • a control method is further provided.
  • the computer includes a photographing control unit that controls photographing in time series of the observation target including cells having division ability, and the photographing control unit is generated based on a machine learning algorithm Based on the recognition probability of the observation target calculated using the learned model, the control unit controls at least one of a relative horizontal position or a focus position between the imaging unit that performs the imaging and the observation target.
  • a program for functioning as a control device is provided.
  • FIG. 6 is a flowchart illustrating a flow of imaging control by a control device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a functional configuration example of an imaging device and a control device according to the embodiment It is a figure which shows the physical structural example of the imaging device which concerns on the same embodiment. It is a figure for demonstrating the imaging
  • FIG. 3 is a diagram illustrating a hardware configuration example according to an embodiment of the present disclosure.
  • an observation target such as a cell in time series (also referred to as time-lapse photography) and observing a change with time of the cell has been widely used.
  • a human visually observes a fertilized egg using a photographing device such as a microscope, adjusts the horizontal position (x direction, y direction) and focal position (z direction) of the stage, and optical magnification. Work such as selecting a lens is underway.
  • time-lapse photography as described above, a large number of fertilized eggs, such as 1000 to 2000, may be observed at the same time, and it is an expensive task to manually adjust all fertilized eggs as described above. A load and a long time are required. Also, not only in the field of livestock, but also in fields such as infertility treatment and regenerative treatment, time lapse photography is performed over a long period of time, but the observation target such as a fertilized egg is automatically photographed unmanned for 24 hours. It was very difficult.
  • control device 20 that implements the control method according to an embodiment of the present disclosure performs the observation based on the recognition probability of the observation target calculated using the learned model generated based on the machine learning algorithm.
  • One of the features is to control photographing of the object.
  • control device 20 analyzes an image photographed by the photographing device 10 using the learned model, and obtains a probability distribution related to the recognition probability of the observation target in the image.
  • the center of gravity of the observation target may be detected.
  • the control device 20 controls the imaging device 10 so that the position of the center of gravity of the observation target detected as described above is approximately the center of the imaging range of the imaging device 10 so that the observation target is imaged. Is possible.
  • control device 20 analyzes, for example, a plurality of images captured by the image capturing device 10 at different focal positions using the learned model, and obtains the morphological probability of the observation target in each image.
  • a focal position suitable for photographing the observation target may be specified.
  • the control device 20 according to the present embodiment can cause the photographing device 10 to photograph the observation target at the focal position related to the image determined to have the highest form probability of the observation target.
  • control device 20 it is possible to automatically adjust the position of the center of gravity and the focus position of the observation target in photographing of the observation target, significantly reducing the manual work cost, A large amount of observation objects can be photographed with high accuracy over a long period of time.
  • control device 20 may have a function of removing a background from an image obtained by photographing an observation target using a learned model generated based on a machine learning algorithm.
  • control device 20 according to the present embodiment uses a difference feature amount that is a difference between a feature amount extracted from an image of a well including an observation target and a feature amount extracted from an image of an empty well not including the observation target. Based on this, background removal can be realized.
  • the influence of the well can be effectively excluded from the photographed image, and the observation target can be recognized and evaluated with high accuracy. It becomes.
  • FIG. 1 is a flowchart showing a flow of photographing control by the control device 20 according to the present embodiment.
  • control device 20 controls the photographing device 10 to photograph an observation target (S1101).
  • control device 20 detects the position of the center of gravity of the observation target in the image photographed in step S1101 by recognition analysis using the learned model generated based on the machine learning algorithm (S1102).
  • control device 20 performs control so that the position of the center of gravity is approximately the center of the imaging range of the imaging device 10 based on the position of the center of gravity of the observation target detected in step S1102 (S1103).
  • control device 20 causes the photographing device 10 to photograph the observation target at different focal positions z1 to nz (S1104).
  • control device 20 uses the plurality of images captured in step S1104 as input, and performs morphological analysis using a learned model generated based on a machine learning algorithm, which is suitable for capturing an observation target.
  • the focal position is specified (S1105).
  • control device 20 causes the photographing device 10 to photograph the well including the observation target and the empty well not including the observation target (S1106).
  • control device 20 removes the background from the image of the well including the observation target based on the difference feature amount between the two images photographed in step S1106 (S1107).
  • the flow of the imaging control by the control device 20 according to the present embodiment has been described above. According to the above-described function of the control device 20 according to the present embodiment, the time-lapse imaging of a large number of observation targets over a long period of time is automated, and a high-accuracy image is acquired to accurately recognize and evaluate the observation target. High and efficient implementation is possible.
  • the observation target according to the present embodiment may be various cells having division ability such as a fertilized egg.
  • a cell having mitotic potential changes in size and shape (including internal shape) due to growth, and thus has a characteristic that it is difficult to continue photographing at the same horizontal position or focal position.
  • photography control by the control apparatus 20 which concerns on this embodiment a photography environment can be adjusted automatically according to the time-dependent change of the cell which has a division ability, and a highly accurate image can be acquired.
  • Examples of other cells having division ability include cancer cells, various cultured cells such as ES cells and iPS cells used in the field of regenerative medicine.
  • the “fertilized egg” at least conceptually includes a single cell and a collection of a plurality of cells.
  • a single cell or a collection of cells can be an oocyte, egg (egg or ovum), fertilized egg (fertile ovum or zygote), undifferentiated germ cell (blastocyst), embryo (embryo) )
  • oocyte egg
  • egg or ovum fertilized egg
  • fertilized egg fertilized egg
  • blastocyst undifferentiated germ cell
  • embryo embryo
  • FIG. 2 is a block diagram illustrating a functional configuration example of the imaging device 10 and the control device 20 according to the present embodiment.
  • FIG. 3 is a diagram illustrating a physical configuration example of the imaging apparatus 10 according to the present embodiment.
  • the control system includes an imaging device 10 and a control device 20.
  • the imaging device 10 and the control device 20 may be connected via the network 30 so that they can communicate with each other.
  • the imaging device 10 is a device that images an observation target such as a fertilized egg based on control by the control device 20.
  • the photographing apparatus 10 according to the present embodiment may be an optical microscope having a photographing function, for example.
  • the imaging device 10 includes an imaging unit 110, a holding unit 120, and an irradiation unit 130.
  • the imaging unit 110 has a function of imaging an observation target based on control by the control device 20.
  • the imaging unit 110 according to the present embodiment is realized by an imaging device such as a camera, for example.
  • the photographing unit 110 may include a plurality of optical objective lenses 115 having different magnifications.
  • the photographing unit 110 includes a low-magnification optical objective lens 115 a and a high-magnification optical objective lens 115 b.
  • the optical objective lens 115 may be arranged in an objective lens exchange device controlled by the control device 20. Note that the number of the optical objective lenses 115 according to the present embodiment is not limited to the example illustrated in FIG. 3, and may be three or more, or may be one. Further, the optical magnification may be changed by electronic magnification enlargement or reduction.
  • the control device 20 can control shooting timing of the shooting unit 110, shooting time (exposure time), selection of the optical objective lens 115, physical position of the shooting unit 110 in the horizontal direction or vertical direction, and the like. it can.
  • the holding unit 120 according to the present embodiment has a function of holding a culture dish in which an observation target is cultured.
  • the holding unit 120 according to the present embodiment can be, for example, an observation stage.
  • a culture dish D for culturing a plurality of observation objects Oa to Oe is arranged on the upper surface of the holding unit 120 according to the present embodiment.
  • One observation object O according to the present embodiment may be arranged in each of a plurality of wells provided in the culture dish.
  • the control device 20 can control the horizontal position and the focal position of the observation target in photographing by controlling the physical position of the holding unit 120 in the horizontal direction or the vertical direction.
  • the irradiation unit 130 according to the present embodiment has a function of irradiating various kinds of light used for photographing based on control by the control device 20. Further, the irradiation unit 130 according to the present embodiment may widely include an optical system such as a diaphragm.
  • the control device 20 can control the type of light source irradiated by the irradiation unit 130, the wavelength of light, the intensity, the irradiation time, the irradiation interval, and the like.
  • the control device 20 has a function of controlling imaging of the observation target based on the recognition probability of the observation target calculated using the learned model generated based on the machine learning algorithm.
  • the control device 20 may be implemented as an information processing server, for example, and may remotely control the imaging device 10 via the network 30 described above.
  • the control device 20 may generate imaging conditions by the imaging unit 110 based on the recognition probability of the observation target and transmit the imaging conditions to the imaging device 10.
  • the control device 20 is configured to transmit information for determining the photographing condition by the photographing unit 110 on the side of the photographing device 10 generated based on the recognition probability of the observation target from the control device 20 to the photographing device 10. May be.
  • the imaging control unit 210 has a function of controlling imaging in the time series of the observation target by the imaging apparatus 10.
  • the imaging control unit 210 according to the present embodiment uses the observation target recognition probability calculated using the learned model generated based on the machine learning algorithm, and the relative horizontal position of the imaging unit 110 and the observation target.
  • One of the features is to control the focus position.
  • the observation target according to the present embodiment may be various cells having division ability such as a fertilized egg. Details of the functions of the imaging control unit 210 according to the present embodiment will be described later.
  • the learning unit 220 has a function of performing learning related to recognition of an observation target based on an image obtained by photographing the observation target and a machine learning algorithm.
  • the learning unit 220 according to the present embodiment may perform recognition learning of the observation target by machine learning using a multilayer neural network such as Deep Learning configured to include a plurality of Convolution layers.
  • the learning unit 220 can learn features related to the shape, form, structure, and the like of the observation target by performing supervised learning based on, for example, an image obtained by capturing the observation target and the teacher data.
  • the above teacher data includes, for example, the classification of the observation target included in the image (for example, a fertilized egg, etc.) and the growth stage of the observation target (for example, 2-cell, 4-cell, morula, early embryo Information relating to the quality state (eg, Gardner classification, veeck classification, etc.) to be observed.
  • the learning unit 220 performs machine learning (for example, using learning data including an image obtained by photographing an observation target and the teacher data (information on at least one of the shape, form, structure, and the like of the observation target).
  • Machine learning using a multilayer neural network may be performed to generate a learned model for recognizing an observation target. That is, for example, in the case of machine learning using a multilayer neural network, the learning model adjusts the weight coefficients (parameters) between the input layer, the output layer, and the hidden layer constituting the neural network, and generates a learned model. Is done.
  • the processing unit 230 according to the present embodiment has a function of calculating an observation target recognition probability and the like based on the learning knowledge learned by the learning unit 220. That is, the processing unit 230 according to the present embodiment may be a recognizer (also referred to as a classifier) generated by learning by the learning unit 220. Details of the functions of the processing unit 230 according to this embodiment will be described later.
  • the network 30 has a function of connecting the imaging device 10 and the control device 20.
  • the network 30 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Further, the network 30 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network). Further, the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the configuration examples of the imaging device 10 and the control device 20 according to the present embodiment have been described above. Note that the configurations of the imaging device 10 and the control device 20 according to the present embodiment are not limited to the above-described configuration example described with reference to FIGS. 2 and 3.
  • the control device 20 according to the present embodiment does not necessarily include the learning unit 220.
  • the control device 20 according to the present embodiment may control imaging of the observation target by the imaging device 10 based on learning knowledge learned by another device.
  • the imaging device 10 and the control device 20 according to the present embodiment may be realized as an integrated device.
  • the configurations of the imaging device 10 and the control device 20 according to the present embodiment can be flexibly modified according to specifications and operations.
  • imaging control based on the position of the center of gravity of the observation target by the control device 20 according to the present embodiment will be described.
  • the control device 20 according to the present embodiment captures an image of the center of gravity by the image capturing device 10 based on the position of the center of gravity of the observation target detected using the learned model generated based on the machine learning algorithm.
  • the photographing apparatus 10 can be controlled so as to be approximately the center of the range.
  • control device 20 can calculate an enlargement magnification when the photographing device 10 newly performs photographing based on the detected center of gravity position of the observation target.
  • FIG. 4 is a diagram for describing photographing control based on the position of the center of gravity of the observation target according to the present embodiment.
  • FIG. 4 schematically shows the flow of detection of the center of gravity by the control device 20 according to the present embodiment and the shooting control based on the position of the center of gravity.
  • the imaging control unit 210 first captures an image I1 obtained by imaging the entire well including the observation target O1 using the low-magnification optical objective lens 115. To get.
  • the processing unit 230 receives the image I1 photographed as described above, and uses the learned model generated based on the machine learning algorithm, the probability of the recognition result related to the observation target O1. Output the distribution. At this time, the processing unit 230 according to the present embodiment may output a recognition probability image PI1 in which the above probability distribution is visualized.
  • FIG. 5 is a diagram showing an example of a recognition probability image according to the present embodiment.
  • the processing unit 230 according to the present embodiment performs recognition analysis on the image I1 obtained by photographing the whole well including the observation target O1, as shown on the left in the figure, thereby realizing a recognition probability image as shown on the right in the figure.
  • PI1 can be output.
  • the recognition probability image according to the present embodiment is a visualization of the probability that the subject (pixel) in the image is the observation target O1, and the closer to white, the higher the probability that the subject (pixel) is the observation target O1. The closer to, the lower the probability that the subject (pixel) is the observation object O1.
  • FIG. 5 it can be seen that the part corresponding to the region where the observation target O1 exists in the image I1 on the left in the drawing is represented by a color close to white in the recognition probability image PI1 on the right in the drawing.
  • the imaging control unit 210 detects the position of the center of gravity of the observation target O1 based on the recognition probability image PI1 output from the processing unit 230.
  • FIG. 6 is a diagram for explaining detection of the center of gravity position of the observation target according to the present embodiment.
  • FIG. 6 shows the probability distribution of the recognition result of the observation object O1 in the x direction and the y direction of the recognition probability image PI1 by dx and dy, respectively.
  • the imaging control unit 210 may detect the point having the highest recognition probability in each of dx and dy as the center-of-gravity position COG of the observation target O1.
  • the imaging control unit 210 may calculate an enlargement magnification when the imaging device 10 next performs imaging of the observation target O1 based on the recognition probability image PI1.
  • FIG. 7 is a diagram for explaining the calculation of the enlargement magnification according to the present embodiment.
  • the imaging control unit 210 may determine, as the enlargement target region ER, a region having a recognition probability equal to or greater than a predetermined value centered on the detected center-of-gravity position CoG.
  • the imaging control unit 210 next executes the imaging apparatus 10 based on the enlargement target area ER determined as described above and the imaging range (optical field of view) of the recognition probability image PI1 (or the image I1). It is possible to calculate an enlargement magnification when causing the observation object O1 to be photographed.
  • FIG. 8 shows an example of an image I2 that the imaging control unit 210 newly causes the imaging apparatus 10 to take an image based on the position of the center of gravity and the enlargement magnification detected as described above.
  • the imaging control unit 210 controls the physical positions of the holding unit 120 and the imaging unit 110 of the imaging apparatus 10 in the x and y directions, and selects the optical objective lens 115 and controls the magnification. By doing so, it is possible to obtain the image I2.
  • the imaging control based on the position of the center of gravity of the observation target according to the present embodiment has been described. According to the above-described function of the imaging control unit 210 according to the present embodiment, it is possible to automatically adjust the horizontal position of the observation target, and to automatically adjust the enlargement magnification so that the observation target is shot larger. Become.
  • the imaging control unit 210 may repeatedly determine the position of the center of gravity and the magnification as described above as shown in FIG. According to the above-described repetitive control by the imaging control unit 210, it is possible to capture an image in which the observation target O1 is further enlarged as shown in FIG.
  • the observation target according to the present embodiment is a fertilized egg itself has been described as an example.
  • the observation target according to the present embodiment is, for example, an arbitrary cell included in a cell having division ability such as a fertilized egg. It may be a structure or an arbitrary region of the structure.
  • FIG. 9 is a diagram for describing imaging control based on the position of the center of gravity when the observation target according to the present embodiment is a structure included in a cell.
  • FIG. 9 schematically shows a flow of imaging control based on the position of the center of gravity when the observation target is a structure including cells.
  • the imaging control unit 210 causes the imaging device 10 to image the enlarged image I3 with the entire fertilized egg as the observation object O1.
  • the processing unit 230 outputs the probability distribution of the recognition result related to the observation target O2 that is a cell cluster, with the cell cluster included in the fertilized egg as a new observation target O2.
  • the processing unit 230 according to the present embodiment may output a recognition probability image PI3 in which the above probability distribution is visualized.
  • FIG. 10 shows an example of the recognition probability image PI3 when the cell mass in the fertilized egg is set as the observation object O2.
  • the imaging control unit 210 specifies the center of gravity position CoG and the enlarged region ER of the observation target O2 based on the recognition probability image PI3, and calculates the enlargement magnification.
  • FIG. 12 shows an image I4 that the imaging control unit 210 newly causes the imaging device 10 to take an image based on the center-of-gravity position CoG and the enlargement magnification acquired as described above.
  • FIG. 13 shows a comparison of the image I1, the image I3, and the image I4 that have been taken as described above.
  • the position of the center of gravity of each observation target is indicated by a white cross.
  • the imaging control unit 210 may continue the imaging control with an arbitrary region in the cell mass as a new observation object O3, as shown in the upper right in the figure.
  • the processing unit 230 outputs the recognition probability of the new observation target O3 as a recognition probability image I4 as shown in the lower part of the figure, and the imaging control unit 210 sets the observation target O3 based on the recognition probability image I4.
  • the center-of-gravity position CoG can be detected, and the enlargement magnification can be calculated. Further, based on the detected center of gravity position CoG and the calculated magnification, the photographing control unit 210 causes the photographing apparatus 10 to photograph the enlarged image I5 centered on the observation object O3 as shown in the lower right part of the figure. .
  • the imaging control unit 210 does not necessarily control imaging in the order of a fertilized egg, a cell mass, and an arbitrary area in the cell mass.
  • the imaging control unit 210 may cause the imaging device 10 to image an arbitrary region in the cell mass without allowing the imaging device 10 to image the enlarged image of the fertilized egg and then through the enlargement of the cell mass. is there.
  • FIG. 14 shows, in time series, images acquired when an arbitrary region in the cell mass is enlarged without going through the expansion of the cell mass.
  • the imaging control unit 210 acquires an image I2 obtained by enlarging the entire fertilized egg as the observation object O1 based on the image I1 obtained by imaging the entire well, and based on the image I2, an arbitrary image in the cell mass is obtained. It can be seen that the image I3 having the region enlarged as the observation object O2 is photographed by the photographing apparatus 10.
  • FIG. 15 is a flowchart illustrating a flow of imaging control based on the position of the center of gravity of the observation target according to the present embodiment.
  • FIG. 15 illustrates an example in which the imaging control unit 210 causes the imaging device 10 to sequentially capture enlarged images related to the observation targets O1 and O2.
  • the imaging control unit 210 first causes the imaging device 10 to image the entire well I1 including the observation target O1 at the initial magnification A (S2101).
  • the processing unit 230 performs recognition analysis of the observation target O1 using the image I1 taken in step S2101 as an input (S2102), and outputs a recognition probability image PI1 of the observation target O1 in the image I1 (S2103).
  • the imaging control unit 210 detects the position of the center of gravity of the observation target O1 based on the recognition probability image PI1 output in step S2103 (S2104).
  • the imaging control unit 210 calculates the magnification B based on the position of the center of gravity detected in step S2104 and the optical field of view of the recognition probability image PI1 (S2105).
  • the photographing control unit 210 causes the photographing apparatus 10 to photograph the image I2 at the enlargement magnification B with the center of gravity detected in step S2104 as the approximate center of the photographing range (S2106).
  • the processing unit 230 performs recognition analysis of the observation object O2 using the image I2 taken in step S2106 as an input (S2107), and outputs a recognition probability image PI2 of the observation object O2 in the image I2 (S2108).
  • the imaging control unit 210 detects the position of the center of gravity of the observation target O2 based on the recognition probability image PI2 output in step S2108 (S2109).
  • the imaging control unit 210 calculates the magnification C based on the center of gravity position detected in step S2109 and the optical field of view of the recognition probability image PI2 (S2110).
  • the photographing control unit 210 causes the photographing apparatus 10 to photograph the image I3 at the enlargement factor C with the center of gravity detected in step S2110 as the approximate center of the photographing range (S2106).
  • the imaging control based on the position of the center of gravity of the observation target has been described.
  • the detection of the center of gravity position of the observation target and the calculation of the enlargement magnification have been described as functions of the imaging control unit 210.
  • the above processing may be executed by the processing unit 230.
  • control of the focal position in imaging of the observation target will be described in detail.
  • the control device 20 according to the present embodiment based on the morphology probability of the observation target calculated using the learned model generated based on the machine learning algorithm, the focal position related to the imaging of the observation target Can be controlled.
  • FIG. 16 is a diagram for explaining the control of the focal position according to the present embodiment.
  • the imaging control unit 210 causes the imaging device 10 to capture a plurality of images including an observation target at a plurality of different focal positions.
  • FIG. 16 illustrates a plurality of images I1 to I5 photographed at different focal positions z1 to z5 by the above control by the photographing control unit 210.
  • the processing unit 230 performs morphological analysis for each of the images I to I5 photographed as described above, and outputs the morphological probabilities P1 to P5 of the observation target in each image.
  • the form probability P may be a value indicating the probability that an object detected in an image is a predetermined observation target.
  • observation targets include blastomeres, fragments, pronuclei, polar bodies, transparent bodies, inner cell mass (ICM: Inner Cell Mass), trophectoderm (TE), 2 cells, 4 cells, fertilized egg cells, Examples include morula and blastocyst.
  • the processing unit 230 according to the present embodiment can output the morphological probability P based on the learning knowledge that the learning unit 220 has learned by associating the teacher data with the image to be observed.
  • the lower part of FIG. 16 shows a probability distribution obtained by plotting the shape probability P calculated as described above in association with the focal positions z1 to z5 at the time of image acquisition.
  • the form probability P3 related to the image I3 photographed at the focal position z3 is calculated to be the highest. This indicates that the recognition probability of the observation target O1 is the highest when the observation target O1 is photographed at the focal position z3.
  • the imaging control unit 210 provides the imaging device 10 with the focal position related to the image having the highest form probability among the plurality of images captured by the imaging device 10 at different focal positions.
  • the observation object O1 may be photographed.
  • the imaging control unit 210 according to the present embodiment may control the physical position in the z direction of the holding unit 120 and the imaging unit 110 and the focal length of the optical objective lens 115.
  • the imaging control unit 210 According to the above function of the imaging control unit 210 according to the present embodiment, even if the focal position suitable for imaging of an observation target such as a fertilized egg changes dynamically with division or the like, the change does not occur. It is possible to follow and always take an image of the observation target at a suitable focal position.
  • FIG. 17 is a flowchart showing a specific flow of a focal length suitable for photographing an observation target according to the present embodiment.
  • the imaging control unit 210 causes the imaging device 10 to image an observation target at a certain focal position z (S3101).
  • step S3101 the processing unit 230 analyzes the form of the image photographed at a certain focal position z and outputs the form probability P of the observation target in the image (S3102).
  • the imaging control unit 210 specifies a focal position z when an image having the highest form probability p is obtained among the output form probabilities p1 to pn (S3103).
  • the focus position control in the imaging of the observation target according to the present embodiment has been described above.
  • the case where the control device 20 according to the present embodiment specifies the focus position and the center of gravity position of the observation target based on the recognition ability acquired by supervised learning has been described as a main example.
  • the control device 20 according to the embodiment may control the imaging of the observation target as described above based on the control ability acquired by the reinforcement learning.
  • the learning unit 220 learns according to the imaging control of the observation target based on, for example, a reward designed according to the sharpness of the observed observation target, the ratio of the imaging target area to the entire structure, and the like. It can be performed.
  • the control device 20 is a difference that is a difference between the feature amount extracted from the image of the well including the observation target and the feature amount extracted from the image of the empty well not including the observation target. Background removal can be realized based on the feature amount.
  • the wells provided in the culture dish may have a pattern according to the manufacturing method.
  • some culture dishes have a mortar-shaped well in order to fix the observation target at the center of the well.
  • the mortar-shaped well as described above is formed by a machine tool such as a drill, for example.
  • a concentric pattern is generated in the well by cutting.
  • Such a pattern generated in the formation process of the well causes various shadows by reflecting the light irradiated from the irradiation unit 130 and greatly affects the observation of the observation target.
  • the concentric pattern as described above is difficult to distinguish from the outer shape of a fertilized egg or the like, and can be a factor that reduces the recognition accuracy and evaluation accuracy of the fertilized egg.
  • a method of capturing a difference between the two images by taking a well image including the observation target and a well image not including the observation target is also assumed.
  • a difference image suitable for recognition cannot be acquired.
  • FIG. 18 is a diagram for explaining the difference image generated at the pixel level.
  • An image Io obtained by photographing a well including the observation target O1 is shown on the left in the figure, an image Ie obtained by photographing an empty well not including the observation target O1 is shown in the center of the figure, and an image Ie from the image Io is shown on the right in the figure.
  • a difference image Id1 generated by subtracting at the pixel level is illustrated.
  • the difference at the pixel level does not completely eliminate the influence of the pattern of the well, that is, the background.
  • at least a part of the observation target such as a fertilized egg is often translucent, and the pattern of the well is reflected in the translucent part, but the reflection may be emphasized by the difference at the pixel level. Yes, it can be a factor that significantly reduces the recognition accuracy of the observation target.
  • the processing unit 230 uses the learned model generated based on the machine learning algorithm to calculate the feature amount of the image in which the observation target is photographed, and the background based on the feature amount. It is one of the features that the influence by the pattern of a well is eliminated by removing.
  • the processing unit 230 is a difference that is a difference between a feature amount extracted from an image of a well including an observation target and a feature amount extracted from an image of an empty well not including the observation target. Background removal can be realized based on the feature amount.
  • FIG. 19 is a diagram for explaining background removal based on the difference feature amount according to the present embodiment.
  • An image Io obtained by photographing a well including the observation target O1 is shown on the left in the figure, an image Ie obtained by photographing an empty well not including the observation target O1 is shown in the center of the figure, and the above-described difference feature amount is shown on the right in the figure.
  • generated based on is illustrated.
  • the processing unit 230 extracts the feature amount of the image Io obtained by photographing the well including the observation target O1, based on the learning knowledge related to the recognition of the observation target O1 by the learning unit 220.
  • the processing unit 230 extracts the feature amount of the image Ie obtained by photographing the empty well.
  • the processing unit 230 subtracts the feature amount of the image Ie obtained by photographing the empty well from the feature amount of the image Io obtained by photographing the well including the observation target O1, and calculates a difference feature amount.
  • a background removal process is executed based on the feature amount.
  • the well pattern in the background is almost completely excluded, and the translucent portion of the observation target O1 It can be seen that the effect of the well pattern has been removed.
  • the influence of the well pattern can be eliminated with high accuracy, and the recognition accuracy and evaluation accuracy of the observation target can be greatly improved.
  • FIG. 20 is a flowchart showing the flow of background removal based on the difference feature amount according to the present embodiment.
  • the imaging control unit 210 causes the imaging device 10 to image the well including the observation target (S4101).
  • the processing unit 230 recognizes the observation target from the image captured in step S4101 (S4102), and extracts the feature amount of the well image including the observation target (S4103).
  • the imaging control unit 210 causes the imaging device 10 to image an empty well that does not include an observation target (S4104).
  • the processing unit 230 extracts the feature amount of the image of the empty well photographed in Step 4103 (S4105).
  • the processing unit 230 calculates a difference feature amount by subtracting the feature amount of the image of the empty well extracted in step S4105 from the feature amount of the well image including the observation target extracted in step S4103 (S4106).
  • the processing unit 230 performs background removal based on the difference feature amount calculated in step S4106 (S4107).
  • the background removal based on the difference feature amount according to the present embodiment has been described above. Note that the background removal based on the difference feature amount according to the present embodiment does not necessarily have to be performed together with the above-described shooting control.
  • the background removal based on the difference feature amount according to the present embodiment is widely effective in photographing an object having a translucent portion.
  • FIG. 21 is a block diagram illustrating a hardware configuration example of the control device 20 according to an embodiment of the present disclosure.
  • the control device 20 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879.
  • Storage 880, drive 881, connection port 882, and communication device 883 Note that the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control unit, and controls all or part of the operation of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901. .
  • the ROM 872 is a means for storing a program read by the processor 871, data used for calculation, and the like.
  • a program to be read by the processor 871 various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the processor 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the output device 879 according to the present disclosure includes various vibration devices that can output a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the control device 20 that implements the control method according to the embodiment of the present disclosure includes the imaging control unit 210 that controls imaging in time series of the observation target.
  • the imaging control unit 210 according to an embodiment of the present disclosure includes an imaging unit 110 that performs imaging based on a recognition result of an observation target calculated using a learned model generated based on a machine learning algorithm.
  • One of the characteristics is to control at least one of a horizontal position relative to the observation target and a focus position.
  • the observation target according to an embodiment of the present disclosure includes cells having division ability. According to such a configuration, it is possible to capture an image of the observation target with high accuracy in capturing the observation target in time series.
  • each step related to the processing of the control device 20 of the present specification does not necessarily have to be processed in time series in the order described in the flowchart.
  • each step related to the processing of the control device 20 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • An imaging control unit that controls imaging along a time series of an observation target including cells having mitotic potential, With The imaging control unit is configured to perform relative imaging between the imaging unit that performs imaging and the observation target based on a recognition result of the observation target calculated using a learned model generated based on a machine learning algorithm. Controlling at least one of the position and the focus position, Control device.
  • the cell having the division ability includes a fertilized egg, The control device according to (1) above.
  • the imaging control unit detects a centroid position of the observation target based on the recognition probability of the observation target calculated using the learned model, and the centroid position is approximately the center of the imaging range by the imaging unit. To control, The control device according to (1) or (2).
  • the imaging control unit detects the position of the center of gravity based on a recognition probability image of the observation target generated using the learned model; The control device according to (3). (5) The imaging control unit causes the imaging unit to image the observation target at an enlargement magnification calculated based on the detected center of gravity position and the recognition probability; The control device according to (4). (6) The imaging control unit controls the focal position based on the morphology probability of the observation target calculated using the learned model. The control device according to any one of (1) to (5). (7) The photographing control unit causes the photographing unit to photograph the observation target at the focal position related to an image having the highest form probability among a plurality of images photographed at the different focal positions by the photographing unit. , The control device according to (6) above.
  • a processing unit that calculates a recognition probability of the observation target in the photographed image using the learned model. Further comprising The control device according to any one of (1) to (7). (9) The processing unit calculates a feature amount of an image in which the observation target is photographed using the learned model, and removes a background based on the feature amount. The control device according to (8). (10) The processing unit, based on a difference feature amount that is a difference between a feature amount of an image in which the observation target is captured and a feature amount of an image in which an empty well that does not include the observation target is captured Remove the background in the image where the subject was shot, The control device according to (9) above.
  • the observation target includes an arbitrary structure included in the cell having the division ability, or an arbitrary region of the structure.
  • the control device according to any one of (1) to (10).
  • a learning unit that performs learning related to recognition of the observation target based on the image obtained by photographing the observation target and the machine learning algorithm; Further comprising The control device according to any one of (1) to (11).
  • the learned model is a recognizer generated using learning data including an image of the observation target and information on at least one feature of the shape, form, and structure of the observation target.
  • the control device according to any one of (1) to (11).
  • the processor controls the chronological imaging of the observation object including cells having mitotic potential; Including Controlling the shooting is based on a recognition probability of the observation target calculated using a learned model generated based on a machine learning algorithm, and a relative relationship between the shooting unit that performs the shooting and the observation target. Further controlling at least one of a horizontal position and a focus position, The observation object includes cells having a dividing ability, Control method.
  • Computer An imaging control unit that controls imaging along a time series of an observation target including cells having division ability, With The imaging control unit is configured to perform relative imaging between the imaging unit that performs imaging and the observation target based on a recognition probability of the observation target calculated using a learned model generated based on a machine learning algorithm. Controlling at least one of the position and the focus position, Control device, Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

【課題】時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影する。 【解決手段】分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置が提供される。

Description

制御装置、制御方法、およびプログラム
　本開示は、制御装置、制御方法、およびプログラムに関する。
　近年、細胞などを時系列に沿って撮影し、当該細胞の経時変化を観察する手法が広く行われている。例えば、特許文献１には、観察対象となる受精卵などの細胞を時系列に沿って高い精度で評価する技術が開示されている。
特開２０１８－２２２１６号公報
　ここで、例えば、特許文献１に記載されるような観察対象の評価を行うためには、当該観察対象に係る撮影を精度高く行うことが求められる。しかし、大量の観察対象を長時間に渡り撮影する場合、観察対象の水平位置や焦点位置などを、観察対象ごとに都度人手で調整することは困難である。
　そこで、本開示では、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能な、新規かつ改良された制御装置、制御方法、およびプログラムを提案する。
　本開示によれば、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置が提供される。
　また、本開示によれば、プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、を含み、前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、制御方法が提供される。
　また、本開示によれば、コンピュータを、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、を備え、前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、制御装置、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る制御装置による撮影制御の流れを示すフローチャートである。 同実施形態に係る撮影装置および制御装置の機能構成例を示すブロック図である 同実施形態に係る撮影装置の物理構成例を示す図である。 同実施形態に係る観察対象の重心位置に基づく撮影制御について説明するための図である。 同実施形態に係る認識確率画像の一例を示す図である。 同実施形態に係る観察対象の重心位置の検出について説明するための図である。 同実施形態に係る拡大倍率の算出について説明するための図である。 同実施形態に係る重心位置や拡大倍率に基づいて撮影された画像の一例である。 同実施形態に係る観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御について説明するための図である。 同実施形態に係る受精卵内の細胞塊を観察対象とした際の認識確率画像の一例である。 同実施形態に係る観察対象の重心位置の検出と拡大倍率の算出について説明するための図である。 同実施形態に係る重心位置や拡大倍率に基づいて撮影された画像の一例である。 同実施形態に係る撮影制御により順に撮影された画像の比較である。 同実施形態に係る撮影制御により順に撮影された画像の比較である。 同実施形態に係る観察対象の重心位置に基づく撮影制御の流れを示すフローチャートである。 同実施形態に係る焦点位置の制御について説明するための図である。 同実施形態に係る観察対象の撮影に適した焦点距離の特定の流れを示すフローチャートである。 同実施形態に係る画素レベルで生成された差分画像について説明するための図である。 同実施形態に係る差分特徴量に基づく背景除去について説明するための図である。 同実施形態に係る差分特徴量に基づく背景除去の流れを示すフローチャートである。 本開示の一実施形態に係るハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．概要
　　１．２．構成例
　　１．３．制御の詳細
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．概要＞＞
　まず、本開示の一実施形態の概要について説明する。上述したように、近年、種々の分野において、細胞などの観察対象を時系列に沿って撮影し(タイムラプス撮影、とも称する)、当該細胞の経時変化を観察する手法が広く行われている。
　例えば、畜産分野においては、家畜などの受精卵を移植が可能となる状態まで発育させる際にタイムラプス撮影を行うことで当該受精卵の経時変化を観察し、また発育状態を評価する手法が行われている。
　ここで、上記のような発育状態の評価を行うためには、時系列に沿って受精卵の画像を精度高く撮影することが求められる。このために、一般的には、人が顕微鏡などの撮影装置を用いて受精卵を目視し、ステージの水平位置（ｘ方向、ｙ方向）や焦点位置（ｚ方向）を調整し、また光学倍率レンズを選択するなどの作業が行われている。
　しかし、上記のようなタイムラプス撮影においては、一度に１０００～２０００個など大量の受精卵を同時に観察する場合もあり、すべての受精卵に対し人手で上記のような調整を行うには、高い作業負荷と長い時間が必要となる。また、畜産分野に限らず、不妊治療や再生治療などの分野においても、長時間に渡るタイムラプス撮影が行われているが、受精卵などの観察対象を２４時間体制で無人で自動的に撮影することは、非常に困難であった。
　本開示に係る技術思想は、上記の点に着目して発想されたものであり、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することを可能とする。このために、本開示の一実施形態に係る制御方法を実現する制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の認識確率に基づいて、当該観察対象の撮影を制御することを特徴の一つとする。
　本開示の一実施形態に係る制御装置２０は、例えば、撮影装置１０に撮影させた画像を上記の学習済みモデルにより解析し、当該画像中における観察対象の認識確率に係る確率分布を得ることで、当該観察対象の重心位置を検出する機能を有してよい。本実施形態に係る制御装置２０は、上記のように検出した観察対象の重心位置が撮影装置１０による撮影範囲の略中心となるよう、撮影装置１０を制御し、当該観察対象を撮影させることが可能である。
　また、本実施形態に係る制御装置２０は、例えば、撮影装置１０に異なる焦点位置で撮影させた複数の画像を上記の学習済みモデルで解析し、各画像における観察対象の形態確率を得ることで、観察対象の撮影に適した焦点位置を特定してもよい。本実施形態に係る制御装置２０は、例えば、観察対象の形態確率が最も高いと判定された画像に係る焦点位置で、撮影装置１０に観察対象を撮影させることが可能である。
　このように、本実施形態に係る制御装置２０によれば、観察対象の撮影において観察対象の重心位置や、焦点位置を自動で調整することができ、人手による作業コストを大幅に削減するとともに、大量の観察対象を長時間に渡り高精度に撮影することが可能となる。
　また、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて、観察対象が撮影された画像から背景を除去する機能を有してよい。本実施形態に係る制御装置２０は、例えば、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
　本実施形態に係る制御装置２０が有する上記の機能によれば、撮影された画像からウェルの影響を効果的に排除することができ、精度高く観察対象を認識し、また評価することなどが可能となる。
　ここで、本実施形態に係る制御装置２０による撮影制御の一連の流れについて概要を述べる。図１は、本実施形態に係る制御装置２０による撮影制御の流れを示すフローチャートである。
　図１を参照すると、まず、制御装置２０は、撮影装置１０を制御し、観察対象を撮影させる（Ｓ１１０１）。
　次に、制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いた認識解析により、ステップＳ１１０１において撮影させた画像中における観察対象の重心位置を検出する（Ｓ１１０２）。
　次に、制御装置２０は、ステップＳ１１０２において検出した観察対象の重心位置に基づいて、当該重心位置が撮影装置１０による撮影範囲の略中心となるように制御する（Ｓ１１０３）。
　次に、制御装置２０は、異なる焦点位置ｚ１～ｚｎで撮影装置１０に観察対象を撮影させる（Ｓ１１０４）。
　次に、制御装置２０は、ステップＳ１１０４において撮影させた複数の画像を入力とし、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いた形態解析を行うことで、観察対象の撮影に適した焦点位置を特定する（Ｓ１１０５）。
　次に、制御装置２０は、観察対象を含むウェルと、観察対象を含まない空ウェルとを撮影装置１０に撮影させる（Ｓ１１０６）。
　次に、制御装置２０は、ステップＳ１１０６において撮影させた２つの画像の差分特徴量に基づいて、観察対象を含むウェルの画像から背景を除去する（Ｓ１１０７）。
　以上、本実施形態に係る制御装置２０による撮影制御の流れについて説明した。本実施形態に係る制御装置２０が有する上記の機能によれば、大量の観察対象の長時間に渡るタイムラプス撮影を自動化し、精度の高い画像を取得することで、観察対象の認識や評価を精度高くかつ効率的に実現することが可能となる。
　なお、本実施形態に係る観察対象は、例えば、受精卵のような分裂能を有する種々の細胞であってよい。分裂能を有する細胞は、成長により大きさや形状（内部形状を含む）が変化することから、同一の水平位置や焦点位置で撮影し続けることが困難である特性を有する。一方、本実施形態に係る制御装置２０による上記の撮影制御によれば、分裂能を有する細胞の経時変化に応じて撮影環境を自動で調整することができ、精度の高い画像を取得することが可能である。なお、分裂能を有する他の細胞の例としては、がん細胞や、再生医療分野などで用いられるＥＳ細胞、ｉＰＳ細胞などの各種の培養細胞などが挙げられる。
　さらに、本明細書において、「受精卵」とは、単一の細胞と、複数の細胞の集合体とを
少なくとも概念的に含む。ここで、単一の細胞または複数の細胞の集合体は、卵母細胞（oocyte）、卵子（eggまたはovum）、受精卵（fertile ovumまたはzygote）、未分化胚芽細胞（blastocyst）、胚（embryo）を含む受精卵の成長過程の一または複数のステージで観察される細胞に関連するものである。
　＜＜１．２．構成例＞＞
　次に、本実施形態に係る撮影装置１０および制御装置２０の構成例について説明する。図２は、本実施形態に係る撮影装置１０および制御装置２０の機能構成例を示すブロック図である。また、図３は、本実施形態に係る撮影装置１０の物理構成例を示す図である。
　図２を参照すると、本実施形態に係る制御システムは、撮影装置１０および制御装置２０を備える。撮影装置１０と制御装置２０とは、互いに通信が可能なように、ネットワーク３０を介して接続されてよい。
　（撮影装置１０）
　本実施形態に係る撮影装置１０は、制御装置２０による制御に基づいて、受精卵などの観察対象を撮影する装置である。本実施形態に係る撮影装置１０は、例えば、撮影機能を有する光学顕微鏡などであってよい。
　図２を参照すると、本実施形態に係る撮影装置１０は、撮影部１１０、保持部１２０、照射部１３０を備える。
　（（撮影部１１０））
　本実施形態に係る撮影部１１０は、制御装置２０による制御に基づいて、観察対象を撮影する機能を有する。本実施形態に係る撮影部１１０は、例えば、カメラなどの撮影装置により実現される。また、撮影部１１０は、図３に示すように、倍率の異なる複数の光学対物レンズ１１５を備えてもよい。図３に示す一例の場合、撮影部１１０は、低倍率用の光学対物レンズ１１５ａと高倍率用の光学対物レンズ１１５ｂとを備えている。光学対物レンズ１１５は、制御装置２０により制御される対物レンズ交換装置に配置されてよい。なお、本実施形態に係る光学対物レンズ１１５の数は、図３に示す一例に限定されず、３つ以上であてもよいし、１つであってもよい。また、光学倍率の変更は、電子的な倍率拡大や縮小により行われてもよい。
　本実施形態に係る制御装置２０は、撮影部１１０の撮影タイミング、撮影時間（露光時間）、光学対物レンズ１１５の選択、また撮影部１１０の水平方向または垂直方向における物理位置などを制御することができる。
　（（保持部１２０））
　本実施形態に係る保持部１２０は、観察対象が培養される培養ディッシュを保持する機能を有する。本実施形態に係る保持部１２０は、例えば、観察ステージで有り得る。図３に示すように、本実施形態に係る保持部１２０の上面には、複数の観察対象Ｏａ～Ｏｅを培養する培養ディッシュＤが配置される。本実施形態に係る観察対象Ｏは、培養ディッシュに設けられる複数のウェルにそれぞれ１つずつ配置されてよい。
　本実施形態に係る制御装置２０は、保持部１２０の水平方向または垂直方向における物理位置などを制御することで、撮影における観察対象の水平位置や焦点位置を制御することが可能である。
　（（照射部１３０））
　本実施形態に係る照射部１３０は、制御装置２０による制御に基づいて、撮影に用いられる各種の光を照射する機能を有する。また、本実施形態に係る照射部１３０には、絞りなどの光学系が広く含まれてもよい。
　本実施形態に係る制御装置２０は、照射部１３０が照射する光源の種類、光の波長、強度、照射時間、照射間隔などを制御することができる。
　（制御装置２０）
　本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の認識確率に基づいて、観察対象の撮影を制御する機能を有する。本実施形態に係る制御装置２０は、例えば、情報処理サーバとして実装され、上述したネットワーク３０を介して撮影装置１０を遠隔的に制御してもよい。制御装置２０が撮影装置１０を遠隔的に制御する際、例えば、制御装置２０が観察対象の認識確率に基づいて撮影部１１０による撮影条件を生成して撮影装置１０に送信するよう構成してもよく、また、観察対象の認識確率に基づいて生成される、撮影部１１０による撮影条件を撮影装置１０側で決定するための情報を制御装置２０から撮影装置１０に対して送信するように構成してもよい。
　（（撮影制御部２１０））
　本実施形態に係る撮影制御部２１０は、撮影装置１０による観察対象の時系列に沿った撮影を制御する機能を有する。本実施形態に係る撮影制御部２１０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された観察対象の認識確率に基づいて、撮影部１１０と観察対象の相対的な水平位置や焦点位置などを制御することを特徴の一つとする。なお、本実施形態に係る観察対象は、上述したように、受精卵などの分裂能を有する種々の細胞であってよい。本実施形態に係る撮影制御部２１０が有する機能の詳細については別途後述する。
　（（学習部２２０））
　本実施形態に係る学習部２２０は、観察対象が撮影された画像と機械学習アルゴリズムとに基づいて観察対象の認識などに係る学習を行う機能を有する。本実施形態に係る学習部２２０は、例えば、複数のＣｏｎｖｏｌｕｔｉｏｎレイヤーを含んで構成されるＤｅｅｐ　Ｌｅａｒｎｉｎｇなどの多層ニューラルネットワークによる機械学習により観察対象の認識学習を行ってもよい。
　本実施形態に係る学習部２２０は、例えば、観察対象を撮影した画像と教師データとに基づく教師あり学習を行うことで、観察対象の形状、形態、構造などに係る特徴を学習することが可能である。なお、上記の教師データは、例えば、画像中に含まれる観察対象の分類（例えば、受精卵、など）のほか、観察対象の成長ステージ（例えば、２細胞、４細胞、桑実胚、初期胚盤胞、胚盤胞、拡張胚盤胞など）、あるいは観察対象の品質状態（例えば、Ｇａｒｄｎｅｒ分類やｖｅｅｃｋ分類など）に係る情報を含んでよい。すなわち、学習部２２０は、観察対象を撮影した画像と上記教師データ（観察対象の形状、形態、構造などのうち少なくとも一つに係る特徴に関する情報）とを含む学習データを用いて機械学習（例えば多層ニューラルネットワークによる機械学習）を行い、観察対象の認識を行う学習済みモデルを生成してもよい。すなわち、例えば多層ニューラルネットワークによる機械学習の場合には、上記学習によって、ニューラルネットワークを構成する入力層、出力層、隠れ層の各層間の重み係数（パラメータ）が調整されて、学習済みモデルが生成される。
　（（処理部２３０））
　本実施形態に係る処理部２３０は、学習部２２０により学習された学習知識に基づいて、観察対象の認識確率などを算出する機能を有する。すなわち、本実施形態に係る処理部２３０は、学習部２２０による学習により生成される認識器（または分類器とも呼ぶ）であってよい。本実施形態に係る処理部２３０が有する機能の詳細については、別途後述する。
　（ネットワーク３０）
　ネットワーク３０は、撮影装置１０と制御装置２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係る撮影装置１０および制御装置２０の構成例について説明した。なお、本実施形態に係る撮影装置１０および制御装置２０の構成は、図２および図３を用いて説明した上記の構成例に限定されない。例えば、本実施形態に係る制御装置２０は、学習部２２０を必ずしも備えなくてもよい。本実施形態に係る制御装置２０は、他の装置により学習された学習知識に基づいて、撮影装置１０による観察対象の撮影を制御してもよい。
　また、本実施形態に係る撮影装置１０および制御装置２０は、一体の装置として実現されてもよい。本実施形態に係る撮影装置１０および制御装置２０の構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．３．制御の詳細＞＞
　次に、本実施形態に係る制御装置２０による撮影制御について詳細に説明する。なお、以下では、本実施形態に係る観察対象が受精卵である場合と主な例として説明する。
　（観察対象の重心位置に基づく撮影制御）
　まず、本実施形態に係る制御装置２０による観察対象の重心位置に基づく撮影制御について述べる。上述したように、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて検出した観察対象の重心位置に基づいて、当該重心位置が撮影装置１０による撮影範囲の略中心となるよう、撮影装置１０を制御することができる。
　また、本実施形態に係る制御装置２０は、検出した観察対象の重心位置などに基づいて、新たに撮影装置１０に撮影を行わせる際の拡大倍率を算出することができる。
　図４は、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明するための図である。図４には、本実施形態に係る制御装置２０による重心位置の検出と、当該重心位置に基づく撮影制御の流れが模式的に示されている。
　まず、本実施形態に係る撮影制御部２１０は、図中左上に示すように、まず、低倍率用の光学対物レンズ１１５を用いて観察対象Ｏ１を含むウェル全体を撮影した画像Ｉ１を撮影装置１０に取得させる。
　次に、本実施形態に係る処理部２３０は、上記のように撮影された画像Ｉ１を入力とし、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて観察対象Ｏ１に係る認識結果の確率分布を出力する。この際、本実施形態に係る処理部２３０は、上記の確率分布を可視化した認識確率画像ＰＩ１を出力してもよい。
　図５は、本実施形態に係る認識確率画像の一例を示す図である。本実施形態に係る処理部２３０は、図中左に示すような、観察対象Ｏ１を含むウェル全体を撮影した画像Ｉ１に対する認識解析を実行することで、図中右に示すような、認識確率画像ＰＩ１を出力することができる。
　本実施形態に係る認識確率画像は、画像中の被写体（ピクセル）が観察対象Ｏ１である確率を可視化したものであり、白に近いほど被写体（ピクセル）が観察対象Ｏ１である確率が高く、黒に近いほど被写体（ピクセル）が観察対象Ｏ１である確率が低いことを示している。図５を参照すると、図中左の画像Ｉ１において観察対象Ｏ１が存在する領域に対応する箇所が、図中右の認識確率画像ＰＩ１において、白に近い色で表されていることがわかる。
　次に、本実施形態に係る撮影制御部２１０は、処理部２３０が出力した認識確率画像ＰＩ１に基づいて、観察対象Ｏ１の重心位置を検出する。図６は、本実施形態に係る観察対象の重心位置の検出について説明するための図である。
　図６には、認識確率画像ＰＩ１のｘ方向およびｙ方向における観察対象Ｏ１の認識結果の確率分布が、ｄｘおよびｄｙによりそれぞれ示されている。この際、本実施形態に係る撮影制御部２１０は、図中に示すように、ｄｘおよびｄｙのそれぞれにおいて最も認識確率が高い点を観察対象Ｏ１の重心位置ＣＯＧとして検出してよい。
　また、本実施形態に係る撮影制御部２１０は、認識確率画像ＰＩ１に基づいて、次に撮影装置１０に観察対象Ｏ１の撮影を行わせる際の拡大倍率を算出してよい。図７は、本実施形態に係る拡大倍率の算出について説明するための図である。
　図７には、図６に示した確率分布および重心位置ＣｏＧに基づいて決定された拡大対象領域ＥＲが白色の点線により示されている。本実施形態に係る撮影制御部２１０は、例えば、検出した重心位置ＣｏＧを中心とし、認識確率が所定値以上である領域を拡大対象領域ＥＲとして決定してもよい。
　また、本実施形態に係る撮影制御部２１０は、上記のように決定した拡大対象領域ＥＲと認識確率画像ＰＩ１（または画像Ｉ１）の撮影範囲（光学視野）とに基づいて、次に撮影装置１０に観察対象Ｏ１の撮影を行わせる際の拡大倍率を算出することが可能である。
　図８には、撮影制御部２１０が、上記のように検出した重心位置や拡大倍率に基づいて新たに撮影装置１０に撮影させた画像Ｉ２の一例が示されている。この際、本実施形態に係る撮影制御部２１０は、撮影装置１０の保持部１２０や撮影部１１０のｘ方向およびｙ方向における物理位置を制御し、また光学対物レンズ１１５の選択や拡大倍率制御を行うことで、画像Ｉ２を取得することが可能である。
　以上、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明した。本実施形態に係る撮影制御部２１０が有する上記の機能によれば、観察対象の水平位置を自動で調整し、また観察対象がより大きく撮影されるよう拡大倍率を自動で調整することが可能となる。
　なお、本実施形態に係る撮影制御部２１０は、図４に示すように、上述したような重心位置や拡大倍率の決定を複数回繰り返し行ってもよい。撮影制御部２１０による上記の繰り返し制御によれば、図４に示すように、観察対象Ｏ１をより拡大した画像を撮影させることが可能である。
　なお、上記では、本実施形態に係る観察対象が受精卵そのものである場合を例に説明したが、本実施形態に係る観察対象は、例えば、受精卵などの分裂能を有する細胞が含む任意の構造体、または当該構造体の任意の領域であってもよい。図９は、本実施形態に係る観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御について説明するための図である。
　図９には、観察対象が細胞が含む構造体である場合の重心位置に基づく撮影制御の流れが模式的に示されている。
　まず、本実施形態に係る撮影制御部２１０は、図４～図８を用いて説明したように、受精卵全体を観察対象Ｏ１として、拡大した画像Ｉ３を撮影装置１０に撮影させる。
　次に、本実施形態に係る処理部２３０は、受精卵が含む細胞塊を新たな観察対象Ｏ２として、細胞塊である観察対象Ｏ２に係る認識結果の確率分布を出力する。この際、本実施形態に係る処理部２３０は、上記の確率分布を可視化した認識確率画像ＰＩ３を出力してよい。図１０には、受精卵内の細胞塊を観察対象Ｏ２とした際の認識確率画像ＰＩ３の一例が示されている。
　次に、撮影制御部２１０は、図１１に示すように、認識確率画像ＰＩ３に基づいて観察対象Ｏ２の重心位置ＣｏＧおよび拡大領域ＥＲを特定し、また拡大倍率を算出する。図１２には、撮影制御部２１０が、上記のように取得した重心位置ＣｏＧおよび拡大倍率に基づいて撮影装置１０に新たに撮影させた画像Ｉ４が示されている。
　また、図１３には、上記のように撮影された、画像Ｉ１、画像Ｉ３、および画像Ｉ４の比較が示されている。なお、図１３においては、各観察対象の重心位置が白抜きの十字により示されている。ここで、図１３を参照すると、本実施形態に係る撮影制御部２１０による上記の制御により、ウェル全体から、受精卵、細胞塊と順に観察対象を中心に正しく拡大されていることがわかる。
　再び、図９を参照して説明を続ける。細胞塊を拡大した画像Ｉ４を撮影させた後、撮影制御部２１０は、図中右上に示すように、細胞塊における任意の領域を新たな観察対象Ｏ３として、撮影制御を続けてもよい。
　この際、処理部２３０は、図中下段に示すように、新たな観察対象Ｏ３の認識確率を認識確率画像Ｉ４として出力し、撮影制御部２１０は、認識確率画像Ｉ４に基づいて観察対象Ｏ３の重心位置ＣｏＧを検出し、また拡大倍率を算出することができる。また、撮影制御部２１０は、検出した重心位置ＣｏＧと算出した拡大倍率に基づいて、図中下段右に示すように、観察対象Ｏ３を中心とし、また拡大した画像Ｉ５を撮影装置１０に撮影させる。
　なお、撮影制御部２１０は、必ずしも受精卵、細胞塊、細胞塊中の任意領域の順に撮影を制御しなくてもよい。撮影制御部２１０は、例えば受精卵を拡大した画像を撮影装置１０に撮影させた後、細胞塊の拡大を介さずに、当該細胞塊中の任意領域を撮影装置１０に撮影させることも可能である。
　図１４には、細胞塊の拡大を介さずに当該細胞塊中の任意領域を拡大した際に取得された画像が時系列に示されている。図１４を参照すると、撮影制御部２１０は、ウェル全体を撮影させた画像Ｉ１に基づいて、受精卵全体を観察対象Ｏ１として拡大した画像Ｉ２を取得し、画像Ｉ２に基づいて細胞塊中の任意領域を観察対象Ｏ２として拡大した画像Ｉ３を撮影装置１０に撮影させていることがわかる。
　次に、本実施形態に係る観察対象の重心位置に基づく撮影制御の流れについて詳細に説明する。図１５は、本実施形態に係る観察対象の重心位置に基づく撮影制御の流れを示すフローチャートである。なお、図１５には、撮影制御部２１０が、観察対象Ｏ１およびＯ２に係る拡大画像を順に撮影装置１０に撮影させる場合の一例が示されている。
　撮影制御部２１０は、まず初期倍率Ａで観察対象Ｏ１を含むウェル全体の画像Ｉ１を撮影装置１０に撮影させる（Ｓ２１０１）。
　次に、処理部２３０が、ステップＳ２１０１において撮影された画像Ｉ１を入力とした観察対象Ｏ１の認識解析を行い（Ｓ２１０２）、画像Ｉ１における観察対象Ｏ１の認識確率画像ＰＩ１を出力する（Ｓ２１０３）。
　次に、撮影制御部２１０は、ステップＳ２１０３において出力された認識確率画像ＰＩ１に基づいて、観察対象Ｏ１の重心位置を検出する（Ｓ２１０４）。
　また、撮影制御部２１０は、ステップＳ２１０４において検出した重心位置と認識確率画像ＰＩ１の光学視野に基づいて、拡大倍率Ｂを算出する（Ｓ２１０５）。
　続いて、撮影制御部２１０は、ステップＳ２１０４において検出した重心位置を撮影範囲の略中心とし、拡大倍率Ｂで撮影装置１０に画像Ｉ２を撮影させる（Ｓ２１０６）。
　次に、処理部２３０が、ステップＳ２１０６において撮影された画像Ｉ２を入力とした観察対象Ｏ２の認識解析を行い（Ｓ２１０７）、画像Ｉ２における観察対象Ｏ２の認識確率画像ＰＩ２を出力する（Ｓ２１０８）。
　次に、撮影制御部２１０は、ステップＳ２１０８において出力された認識確率画像ＰＩ２に基づいて、観察対象Ｏ２の重心位置を検出する（Ｓ２１０９）。
　また、撮影制御部２１０は、ステップＳ２１０９において検出した重心位置と認識確率画像ＰＩ２の光学視野に基づいて、拡大倍率Ｃを算出する（Ｓ２１１０）。
　続いて、撮影制御部２１０は、ステップＳ２１１０において検出した重心位置を撮影範囲の略中心とし、拡大倍率Ｃで撮影装置１０に画像Ｉ３を撮影させる（Ｓ２１０６）。
　以上、本実施形態に係る観察対象の重心位置に基づく撮影制御について説明した。なお、上記では、観察対象の重心位置の検出、および拡大倍率の算出を、撮影制御部２１０の機能として説明したが、上記の処理は、処理部２３０により実行されてもよい。
　（焦点位置の制御）
　次に、本実施形態に係る観察対象の撮影における焦点位置の制御について詳細に説明する。上述したように、本実施形態に係る制御装置２０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出した観察対象の形態確率に基づいて、当該観察対象の撮影に係る焦点位置を制御することができる。
　図１６は、本実施形態に係る焦点位置の制御について説明するための図である。本実施形態に係る撮影制御部２１０は、複数の異なる焦点位置で撮影装置１０に観察対象を含む複数の画像を撮影させる。
　図１６の上段には、撮影制御部２１０による上記の制御により、異なる焦点位置ｚ１～ｚ５で撮影された複数の画像Ｉ１～Ｉ５が例示されている。
　続いて、本実施形態に係る処理部２３０は、上記のように撮影された画像Ｉ～Ｉ５ごとに形態解析を行い各画像中における観察対象の形態確率Ｐ１～Ｐ５をそれぞれ出力する。ここで、上記の形態確率Ｐとは、画像中において検出された物体が、定められた観察対象である確率を示す値であってよい。観察対象としては、例えば、受精卵細胞の割球、フラグメント、前核、極体、透明体、内細胞塊（ＩＣＭ：Ｉｎｎｅｒ　Ｃｅｌｌ　Ｍａｓｓ）、栄養外胚葉（ＴＥ：Ｔｒｏｐｈｅｃｔｏｄｅｒｍ）、２細胞、４細胞、桑実胚、胚盤胞などが挙げられる。本実施形態に係る処理部２３０は、学習部２２０が教師データと観察対象の画像とを対応づけて学習した学習知識に基づいて、形態確率Ｐを出力することが可能である。
　図１６の下段には、上記のように算出された形態確率Ｐを画像取得時における焦点位置ｚ１～ｚ５と対応づけてプロットした確率分布が示されている。
　図１６に示す一例では、焦点位置ｚ３で撮影された画像Ｉ３に係る形態確率Ｐ３が最も高く算出されている。これは、すなわち、観察対象Ｏ１を焦点位置ｚ３で撮影した場合に、観察対象Ｏ１の認識確率が最も高くなることを示している。
　このため、本実施形態に係る撮影制御部２１０は、撮影装置１０に異なる焦点位置で撮影させた複数の画像のうち、形態確率が最も高く算出された画像に係る焦点位置で、撮影装置１０に観察対象Ｏ１を撮影させてよい。この際、本実施形態に係る撮影制御部２１０は、保持部１２０や撮影部１１０のｚ方向における物理位置や、光学対物レンズ１１５の焦点距離を制御してよい。
　本実施形態に係る撮影制御部２１０が有する上記の機能によれば、受精卵などの観察対象の撮影に適した焦点位置が分裂などに伴い動的に変化する場合であっても、当該変化に追随し、常に適した焦点位置で観察対象を撮影することが可能となる。
　図１７は、本実施形態に係る観察対象の撮影に適した焦点距離の特定の流れを示すフローチャートである。図１７を参照すると、まず、撮影制御部２１０が、ある焦点位置ｚで撮影装置１０に観察対象を撮影させる（Ｓ３１０１）。
　次に、処理部２３０が、ステップＳ３１０１において、ある焦点位置ｚで撮影された画像の形態解析を行い、当該画像における観察対象の形態確率Ｐを出力する（Ｓ３１０２）。
　制御装置２０は、焦点位置ｚ＝ｚ１～ｚｎ、形態確率ｐ＝ｐ１～ｐｎとして、ステップＳ３１０１およびＳ３１０２における上記の処理を繰り返し実行する。
　次に、撮影制御部２１０は、出力された形態確率ｐ１～ｐｎのうち、最も高い形態確率ｐが得られた画像を撮影した際の焦点位置ｚを特定する（Ｓ３１０３）。
　以上、本実施形態に係る観察対象の撮影における焦点位置の制御について説明した。なお、上記では、本実施形態に係る制御装置２０が、教師あり学習により獲得した認識能に基づいて、焦点位置や観察対象の重心位置を特定する場合を主な例として述べたが、本実施形態に係る制御装置２０は、強化学習により獲得した制御能に基づいて、上記で述べたような観察対象の撮影を制御してもよい。
　本実施形態に係る学習部２２０は、例えば、撮影された観察対象の鮮明度や、構造全体に対する被撮影領域の割合などに応じて設計された報酬に基づいて、観察対象の撮影制御に係る学習を行うことができる。
　（差分特徴量に基づく背景除去）
　次に、本実施形態に係る背景除去機能について詳細に説明する。上述したように、本実施形態に係る制御装置２０は、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
　一般に、培養ディッシュに設けられるウェルには、製造手法に応じた模様が生じ得る。例えば、培養ディッシュの中には、観察対象をウェルの中心に固定するために、すり鉢状のウェルを有するものがある。上記のようなすり鉢状のウェルは、例えば、ドリルなどの工作機器により形成される。
　しかし、ドリルなどを用いてウェルを形成する場合、切削によりウェルに同心円状の模様（傷）が生じてしまう。このようなウェルの形成過程において生じる模様は、照射部１３０から照射される光を反射することで種々の陰影を生み、観察対象の観察に大きな影響を与える。特に、上記のような同心円状の模様については、受精卵などの外形と区別がしづらいことから、受精卵の認識精度や評価精度を低下させる要因となり得る。
　このため、受精卵などを含む観察対象の観察においては、ウェルが有する模様、すなわち背景を除去したうえで、認識や評価などを行うことが望ましい。
　この際、例えば、観察対象を含むウェルの画像と、観察対象を含まないウェルの画像とを撮影し、当該２つの画像に関し、差分を取得する手法も想定される。しかし、ここで、画素レベルで差分を取得した場合、認識に適切な差分画像が取得できないことが想定される。
　図１８は、画素レベルで生成された差分画像について説明するための図である。図中左には、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏが、図中央には、観察対象Ｏ１を含まない空ウェルを撮影した画像Ｉｅが、図中右には、画像Ｉｏから画像Ｉｅを画素レベルで差し引くことで生成された差分画像Ｉｄ１が例示されている。
　ここで、生成された差分画像Ｉｄ１に着目すると、画素レベルでの差分では、ウェルが有する模様、すなわち背景の影響が排除しきれていないことがわかる。また、受精卵などの観察対象の少なくとも一部は半透明であることが多く、半透明部分にウェルの模様が映りこんでしまうが、画素レベルによる差分では、当該映りこみが強調される場合もあり、観察対象の認識精度を著しく低下させる要因ともなり得る。
　そこで、本実施形態に係る処理部２３０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて、観察対象が撮影された画像の特徴量を算出し、当該特徴量に基づいて背景を除去することで、ウェルの模様による影響を排除することを特徴の一つとする。
　具体的には、本実施形態に係る処理部２３０は、観察対象を含むウェルの画像から抽出した特徴量と、観察対象を含まない空ウェルの画像から抽出した特徴量と、の差分である差分特徴量に基づいて、背景除去を実現することができる。
　図１９は、本実施形態に係る差分特徴量に基づく背景除去について説明するための図である。図中左には、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏが、図中央には、観察対象Ｏ１を含まない空ウェルを撮影した画像Ｉｅが、図中右には、上記の差分特徴量に基づいて生成された差分画像Ｉｄ２が例示されている。
　本実施形態に係る処理部２３０は、まず、学習部２２０による観察対象Ｏ１の認識に係る学習知識に基づいて、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏの特徴量を抽出する。
　次に、本実施形態に係る処理部２３０は、空ウェルを撮影した画像Ｉｅの特徴量を抽出する。
　続いて、本実施形態に係る処理部２３０は、観察対象Ｏ１を含むウェルを撮影した画像Ｉｏの特徴量から空ウェルを撮影した画像Ｉｅの特徴量を差し引き、差分特徴量を算出し、当該差分特徴量に基づいて背景除去処理を実行する。
　図１９を参照すると、本実施形態に係る処理部２３０による上記の処理により生成される差分画像Ｉｄ２では、背景におけるウェルの模様がほぼ完全に排除されており、また、観察対象Ｏ１の半透明部分についても、ウェルの模様の影響が取り除かれていることがわかる。
　このように、本実施形態に係る差分特徴量に基づく背景除去によれば、ウェルの模様の影響を精度高く排除し、観察対象の認識精度や評価精度を大きく向上させることが可能となる。
　次に、本実施形態に係る差分特徴量に基づく背景除去の流れについて詳細に説明する。図２０は、本実施形態に係る差分特徴量に基づく背景除去の流れを示すフローチャートである。
　図２０を参照すると、まず、撮影制御部２１０が、観察対象を含むウェルを撮影装置１０に撮影させる（Ｓ４１０１）。
　次に、処理部２３０が、ステップＳ４１０１において撮影された画像から観察対象を認識し（Ｓ４１０２）、観察対象を含むウェルの画像の特徴量を抽出する（Ｓ４１０３）。
　次に、撮影制御部２１０が、観察対象を含まない空ウェルを撮影装置１０に撮影させる（Ｓ４１０４）。
　次に、処理部２３０が、ステップ４１０３において撮影された空ウェルの画像の特徴量を抽出する（Ｓ４１０５）。
　続いて、処理部２３０は、ステップＳ４１０３において抽出した観察対象を含むウェルの画像の特徴量から、ステップＳ４１０５において抽出した空ウェルの画像の特徴量を差し引き、差分特徴量を算出する（Ｓ４１０６）。
　次に、処理部２３０は、ステップＳ４１０６において算出した差分特徴量に基づいて、背景除去を実行する（Ｓ４１０７）。
　以上、本実施形態に係る差分特徴量に基づく背景除去について説明した。なお、本実施形態に係る差分特徴量に基づく背景除去は、必ずしも上述の撮影制御と合わせて実施されなくてもよい。本実施形態に係る差分特徴量に基づく背景除去は、半透明部分を有する物体の撮影において広く効果を奏するものである。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る制御装置２０のハードウェア構成例について説明する。図２１は、本開示の一実施形態に係る制御装置２０のハードウェア構成例を示すブロック図である。図２１を参照すると、制御装置２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示の一実施形態に係る制御方法を実現する制御装置２０は、観察対象の時系列に沿った撮影を制御する撮影制御部２１０を備える。また、本開示の一実施形態に係る撮影制御部２１０は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された観察対象の認識結果に基づいて、撮影を行う撮影部１１０と観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、を特徴の一つとする。また、本開示の一実施形態に係る観察対象は、分裂能を有する細胞を含む。係る構成によれば、時系列に沿った観察対象の撮影において、当該観察対象の画像を精度高く撮影することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、制御装置２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、本明細書の制御装置２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、制御装置２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
　を備え、
　前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
制御装置。
（２）
　前記分裂能を有する細胞は、受精卵を含む、
前記（１）に記載の制御装置。
（３）
　前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて前記観察対象の重心位置を検出し、前記重心位置が前記撮影部による撮影範囲の略中心となるよう制御する、
前記（１）または（２）に記載の制御装置。
（４）
　前記撮影制御部は、前記学習済みモデルを用いて生成される前記観察対象の認識確率画像に基づいて、前記重心位置を検出する、
前記（３）に記載の制御装置。
（５）
　前記撮影制御部は、検出した前記重心位置および前記認識確率に基づいて算出した拡大倍率で前記撮影部に前記観察対象を撮影させる、
前記（４）に記載の制御装置。
（６）
　前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の形態確率に基づいて、前記焦点位置を制御する、
前記（１）～（５）のいずれかに記載の制御装置。
（７）
　前記撮影制御部は、前記撮影部に異なる前記焦点位置で撮影させた複数の画像のうち前記形態確率が最も高く算出された画像に係る前記焦点位置で、前記撮影部に前記観察対象を撮影させる、
前記（６）に記載の制御装置。
（８）
　前記学習済みモデルを用いて、撮影された画像における前記観察対象の認識確率を算出する処理部、
　をさらに備える、
前記（１）～（７）のいずれかに記載の制御装置。
（９）
　前記処理部は、前記学習済みモデルを用いて、前記観察対象が撮影された画像の特徴量を算出し、前記特徴量に基づいて背景を除去する、
前記（８）に記載の制御装置。
（１０）
　前記処理部は、前記観察対象が撮影された画像の特徴量と、前記観察対象が含まれない空ウェルが撮影された画像の特徴量と、の差分である差分特徴量に基づいて、前記観察対象が撮影された画像における背景を除去する、
前記（９）に記載の制御装置。
（１１）
　前記観察対象は、前記分裂能を有する細胞が含む任意の構造体、または前記構造体の任意の領域を含む、
前記（１）～（１０）のいずれかに記載の制御装置。
（１２）
　前記観察対象が撮影された画像と前記機械学習アルゴリズムとに基づいて、前記観察対象の認識に係る学習を行う学習部、
　をさらに備える、
前記（１）～（１１）のいずれかに記載の制御装置。
（１３）
　前記学習済みモデルは、前記観察対象を撮影した画像と、前記観察対象の形状、形態、構造のうち少なくとも一つの特徴に関する情報とを含む学習データを用いて生成された認識器である、
前記（１）～（１１）のいずれかに記載の制御装置。
（１４）
　プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、
　を含み、
　前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、
　前記観察対象は、分裂能を有する細胞を含む、
制御方法。
（１５）
　コンピュータを、
　分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
　を備え、
　前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
　制御装置、
として機能させるためのプログラム。
　１０　　　撮影装置
　１１０　　撮影部
　１２０　　保持部
　１３０　　照射部
　２０　　　制御装置
　２１０　　撮影制御部
　２２０　　学習部
　２３０　　処理部

Claims (15)

  1. 　分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
    　を備え、
    　前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識結果に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
    制御装置。
  2. 　前記分裂能を有する細胞は、受精卵を含む、
    請求項１に記載の制御装置。
  3. 　前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて前記観察対象の重心位置を検出し、前記重心位置が前記撮影部による撮影範囲の略中心となるよう制御する、
    請求項１に記載の制御装置。
  4. 　前記撮影制御部は、前記学習済みモデルを用いて生成される前記観察対象の認識確率画像に基づいて、前記重心位置を検出する、
    請求項３に記載の制御装置。
  5. 　前記撮影制御部は、検出した前記重心位置および前記認識確率に基づいて算出した拡大倍率で前記撮影部に前記観察対象を撮影させる、
    請求項４に記載の制御装置。
  6. 　前記撮影制御部は、前記学習済みモデルを用いて算出された前記観察対象の形態確率に基づいて、前記焦点位置を制御する、
    請求項１に記載の制御装置。
  7. 　前記撮影制御部は、前記撮影部に異なる前記焦点位置で撮影させた複数の画像のうち前記形態確率が最も高く算出された画像に係る前記焦点位置で、前記撮影部に前記観察対象を撮影させる、
    請求項６に記載の制御装置。
  8. 　前記学習済みモデルを用いて、撮影された画像における前記観察対象の認識確率を算出する処理部、
    　をさらに備える、
    請求項１に記載の制御装置。
  9. 　前記処理部は、前記学習済みモデルを用いて、前記観察対象が撮影された画像の特徴量を算出し、前記特徴量に基づいて背景を除去する、
    請求項８に記載の制御装置。
  10. 　前記処理部は、前記観察対象が撮影された画像の特徴量と、前記観察対象が含まれない空ウェルが撮影された画像の特徴量と、の差分である差分特徴量に基づいて、前記観察対象が撮影された画像における背景を除去する、
    請求項９に記載の制御装置。
  11. 　前記観察対象は、前記分裂能を有する細胞が含む任意の構造体、または前記構造体の任意の領域を含む、
    請求項１に記載の制御装置。
  12. 　前記観察対象が撮影された画像と前記機械学習アルゴリズムとに基づいて、前記観察対象の認識に係る学習を行う学習部、
    　をさらに備える、
    請求項１に記載の制御装置。
  13. 　前記学習済みモデルは、前記観察対象を撮影した画像と、前記観察対象の形状、形態、構造のうち少なくとも一つの特徴に関する情報とを含む学習データを用いて生成された認識器である、
    請求項１に記載の制御装置。
  14. 　プロセッサが、分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御すること、
    　を含み、
    　前記撮影を制御することは、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御すること、をさらに含む、
    制御方法。
  15. 　コンピュータを、
    　分裂能を有する細胞を含む観察対象の時系列に沿った撮影を制御する撮影制御部、
    　を備え、
    　前記撮影制御部は、機械学習アルゴリズムに基づいて生成された学習済みモデルを用いて算出された前記観察対象の認識確率に基づいて、前記撮影を行う撮影部と前記観察対象との相対的な水平位置、または焦点位置のうち少なくともいずれかを制御する、
    　制御装置、
    として機能させるためのプログラム。
PCT/JP2019/015203 2018-05-25 2019-04-05 制御装置、制御方法、およびプログラム WO2019225177A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/056,727 US20210200986A1 (en) 2018-05-25 2019-04-05 Control device, control method, and program
EP19807421.3A EP3805836A4 (en) 2018-05-25 2019-04-05 CONTROL DEVICE, CONTROL METHOD AND PROGRAM
JP2020521076A JP7243718B2 (ja) 2018-05-25 2019-04-05 制御装置、制御方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-100359 2018-05-25
JP2018100359 2018-05-25

Publications (1)

Publication Number Publication Date
WO2019225177A1 true WO2019225177A1 (ja) 2019-11-28

Family

ID=68616089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015203 WO2019225177A1 (ja) 2018-05-25 2019-04-05 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210200986A1 (ja)
EP (1) EP3805836A4 (ja)
JP (1) JP7243718B2 (ja)
WO (1) WO2019225177A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021171419A1 (ja) * 2020-02-26 2021-09-02

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171213A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡システム
JP2011215061A (ja) * 2010-04-01 2011-10-27 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2015194544A (ja) * 2014-03-31 2015-11-05 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
WO2016191462A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
JP2017003904A (ja) * 2015-06-15 2017-01-05 オリンパス株式会社 顕微鏡システムおよび顕微鏡観察方法
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63167313A (ja) * 1986-12-27 1988-07-11 Hitachi Ltd 自動焦点制御方法
AU6603100A (en) * 1999-08-10 2001-03-05 Cellavision Ab Methods and devices in an optical system
JP4663602B2 (ja) * 2006-08-14 2011-04-06 オリンパス株式会社 自動合焦装置、顕微鏡および自動合焦方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171213A (ja) * 2004-12-14 2006-06-29 Nikon Corp 顕微鏡システム
JP2011215061A (ja) * 2010-04-01 2011-10-27 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2015194544A (ja) * 2014-03-31 2015-11-05 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
WO2016191462A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
JP2017003904A (ja) * 2015-06-15 2017-01-05 オリンパス株式会社 顕微鏡システムおよび顕微鏡観察方法
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3805836A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021171419A1 (ja) * 2020-02-26 2021-09-02
JP7288138B2 (ja) 2020-02-26 2023-06-06 株式会社日立ハイテク 検体観察装置、検体観察方法

Also Published As

Publication number Publication date
JP7243718B2 (ja) 2023-03-22
EP3805836A4 (en) 2021-07-28
US20210200986A1 (en) 2021-07-01
EP3805836A1 (en) 2021-04-14
JPWO2019225177A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2009107321A1 (ja) 顕微鏡装置および細胞培養装置
JP6595156B2 (ja) 細胞画像取得装置および方法並びにプログラム
CN110490856A (zh) 医疗内窥镜图像的处理方法、系统、机器设备和介质
TW202018366A (zh) 用於提供超解析度成像之精準度回饋及改良超解析度成像之精準度之系統、裝置及方法
JP7001060B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN111352227A (zh) 显微镜系统中样本平面的距离确定
TWI811758B (zh) 用於自動對焦顯微鏡系統之深度學習模組、自動對焦一顯微鏡系統之方法及非暫時性電腦可讀媒體
TWI699816B (zh) 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
EP3485458A1 (en) Information processing device, information processing method, and information processing system
CN110581954A (zh) 一种拍摄对焦方法、装置、存储介质及终端
WO2019225177A1 (ja) 制御装置、制御方法、およびプログラム
CN103605203B (zh) 一种数字切片扫描过程中的自动聚焦方法
JPWO2018105298A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN105612555B (zh) 针对mdx的基于图像的roi追踪
CN104966282B (zh) 一种用于单个血红细胞检测的图像采集方法及系统
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP7420069B2 (ja) 制御装置、制御方法、およびプログラム
US20230190402A1 (en) System, method, and computer program for a surgical microscope system and corresponding surgical microscope system
WO2020139662A1 (en) Method and apparatus for measuring plant trichomes
CN111242927A (zh) 一种基于深度学习的正弦焊检测方法
US20230259003A1 (en) Apparatus and method for an imaging device
WO2023186886A1 (en) System and method for identifying points of interest using artificial intelligence
WO2018012353A1 (en) Information processing device, information processing method, and information processing system
CN116421224A (zh) 一种基于超声心动图的特征图滤波的预测方法及装置
CN114359782A (zh) 基于多任务学习的手术工具和手术阶段识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521076

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019807421

Country of ref document: EP

Effective date: 20210111