WO2023008180A1 - 画像処理方法、コンピュータープログラムおよび記録媒体 - Google Patents

画像処理方法、コンピュータープログラムおよび記録媒体 Download PDF

Info

Publication number
WO2023008180A1
WO2023008180A1 PCT/JP2022/027419 JP2022027419W WO2023008180A1 WO 2023008180 A1 WO2023008180 A1 WO 2023008180A1 JP 2022027419 W JP2022027419 W JP 2022027419W WO 2023008180 A1 WO2023008180 A1 WO 2023008180A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
sample
processing method
image processing
Prior art date
Application number
PCT/JP2022/027419
Other languages
English (en)
French (fr)
Inventor
尚悟 時末
悟史 岡本
寛志 荻
智靖 古田
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to EP22849244.3A priority Critical patent/EP4379039A1/en
Publication of WO2023008180A1 publication Critical patent/WO2023008180A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • This invention relates to an image processing method for analyzing an image of a sample containing cells.
  • the above conventional technology is based on the premise that there is a clear difference in morphological characteristics between the two attributes, such as normal tissue and abnormal tissue. Therefore, it is valid only for classification between two attributes.
  • the classification since the classification depends only on information obtained from cases biased toward specific attributes, versatility is not necessarily high. Furthermore, even if a large number of cases are collected, there is also the problem that only part of the data is effectively used.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of automatically acquiring information about a sample from a plurality of images of a sample containing cells captured at different focal depths.
  • One aspect of the present invention is an image processing method for analyzing a sample containing cells, comprising a step of obtaining a plurality of original images of the sample at different focal depths to achieve the above object. and creating a composite image including the images of the specimen included in each of the plurality of original images in one image plane, and inputting the composite image to a classification model constructed in advance and obtaining the output thereof. It has a process.
  • the classification model is constructed by performing machine learning in advance using a teacher image that includes a plurality of images of the same cell or cell mass with different focal depths in one image plane. It is what was done.
  • a predetermined output is obtained by giving an input image to a classification model built in advance by machine learning.
  • the relationship between the input image and the output obtained from it in other words, what kind of output is to be extracted from the classification model given the input image, is determined in the stage of machine learning, where the teaching data corresponding to the teacher image is used. It is possible to define by giving The present invention does not care what kind of output you want to get from the classification model.
  • the input image input to the classification model and the teacher image applied to machine learning for constructing the classification model are as follows.
  • the images input to the classification model include images of the sample included in each of a plurality of original images (i.e., multifocus images) obtained by imaging the sample containing cells at different focal depths, in one image plane. It is a composite image created to be This composite image contains multiple images of a single sample taken at various focal depths. Each of these images is a sharp representation of the sample structure near the focal depth. The composite image as a whole therefore has information about the detailed structure of the sample at different depths.
  • a teacher image is also an image that includes a plurality of images of the same cells or cell clusters with different focal depths in one image plane. Therefore, a single teacher image as a whole includes images of cells or cell clusters captured at various focal depths, and has information on detailed structures of the cells or cell clusters at various depths. .
  • a classification model constructed by machine learning using such teacher images returns an output derived from detailed structural information at various focal depths of each sample image included in the composite image. It will be. This is nothing other than realizing the above-mentioned function of "to comprehensively evaluate the multi-focus image and automatically acquire information". That is, according to the present invention, it is possible to automatically acquire useful information about a sample from a plurality of images of the sample captured at different focal depths.
  • Another aspect of the present invention is a computer program for causing a computer to execute each step of the image processing method described above.
  • Another aspect of the present invention is a computer-readable recording medium that non-temporarily stores the computer program. In the invention configured in this way, it is possible to use, for example, an existing computer device as an execution subject of the invention.
  • the input image is a composite image obtained by arranging the images of the sample imaged at different focal depths on the same plane, and the input image is constructed in advance using a similar image as a teacher image. input into the classification model. Therefore, it is possible to obtain an output as a result of comprehensively evaluating the structure of a sample having a three-dimensional structure.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging device to which an image processing method according to the present invention can be applied;
  • FIG. FIG. 2 is a diagram schematically showing the structure of an embryo that serves as a raw sample in this embodiment.
  • FIG. 2 is a diagram schematically showing the structure of an embryo that serves as a raw sample in this embodiment.
  • 4 is a flow chart showing an overview of cell counting processing according to the present embodiment.
  • FIG. 4 is a diagram schematically showing an example of a tiling image;
  • FIG. 2 illustrates a method for building a classification model;
  • FIG. 2 illustrates a method for building a classification model;
  • FIG. 4 is a diagram illustrating the relationship between a teacher image and teaching inputs;
  • FIG. 10 illustrates the process of creating a tiled image from an image stack;
  • FIG. 4 is a diagram showing an example of rules for selecting original images from an image stack; It is a figure which shows the modification of a cell counting process.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging device to which the image processing method according to the present invention can be applied.
  • This imaging apparatus 1 is an apparatus for imaging a raw sample such as cells held in a flat sample container (generally called a dish) 10 having an open top.
  • a predetermined amount of liquid as medium M is injected into the sample container 10 .
  • a raw sample S such as cells cultured in this liquid under predetermined culture conditions is an object to be imaged by the imaging device 1 .
  • the medium may be one to which appropriate reagents have been added, or may be liquid that gels after being injected into the sample container 10 .
  • the object to be imaged is a biological sample
  • the object to be imaged in the present invention is not limited to this.
  • a tissue section, a pathological specimen, or the like carried on an appropriate carrier may be used as the object to be imaged.
  • the sample container may be a so-called well plate having a plurality of depressions called wells, and the raw sample held in each well may be the object to be imaged.
  • the imaging device 1 includes a holder 11 that holds a sample container 10, an illumination unit 12 arranged above the holder 11, an imaging unit 13 arranged below the holder 11, and a CPU 141 that controls the operations of these units. and a control unit 14 having.
  • the holder 11 abuts against the peripheral edge of the lower surface of the sample container 10 to hold the sample container 10 in a substantially horizontal posture.
  • the illumination unit 12 emits illumination light toward the sample container 10 held by the holder 11 .
  • a light source of illumination light for example, a white LED (Light Emitting Diode) can be used.
  • a combination of a light source and an appropriate illumination optical system is used as the illumination section 12 .
  • the illumination unit 12 illuminates the object to be imaged in the sample container 10 from above.
  • FIG. 1 is a side view, and the up-down direction in the figure represents the vertical direction.
  • the imaging unit 13 takes a bright-field image of the imaging target inside the sample container 10 . Specifically, it is as follows. Light emitted from the illumination unit 12 and incident on the liquid from above the sample container 10 illuminates the object to be imaged. Light transmitted downward from the bottom surface of the sample container 10 enters the light receiving surface of the imaging device 132 via the imaging optical system including the objective lens 131 of the imaging unit 13 . An image (bright-field image) of an object to be imaged formed on the light receiving surface of the imaging element 132 by the imaging optical system is imaged by the imaging element 132 .
  • the imaging device 132 is an area image sensor having a two-dimensional light receiving surface, and can be a CCD sensor or a CMOS sensor, for example.
  • the imaging unit 13 can be moved horizontally and vertically by a mechanical control unit 146 provided in the control unit 14 .
  • the mechanical control unit 146 operates the drive mechanism 15 based on the control command from the CPU 141 to move the imaging unit 13 in the horizontal direction.
  • the imaging unit 13 moves horizontally with respect to the sample container 10 .
  • Focus adjustment is performed by moving the objective lens 131 in the vertical direction.
  • the driving mechanism 15 moves the illumination section 12 integrally with the imaging section 13 when moving the imaging section 13 in the horizontal direction, as indicated by the dotted arrow in the figure. That is, the illumination section 12 is arranged such that its optical center substantially coincides with the optical axis of the imaging section 13 . When the imaging section 13 moves in the horizontal direction, the lighting section 12 also moves in conjunction with this. As a result, even when the imaging section 13 moves with respect to the sample container 10 , the light center of the illumination section 12 is always positioned on the optical axis of the imaging section 13 . As a result, it is possible to maintain good imaging conditions by keeping illumination conditions for the object to be imaged constant at any position.
  • An image signal output from the imaging device 132 of the imaging unit 13 is sent to the control unit 14 . That is, the image signal is input to an AD converter (A/D) 143 provided in the control section 14 and converted into digital image data.
  • the CPU 141 appropriately executes image processing based on the received image data.
  • the control unit 14 further includes a memory 144 for temporarily storing image data and data being calculated, and a storage 145 for storing programs to be executed by the CPU 141 and data generated by the CPU 141. ing.
  • the memory 144 can be accessed from the CPU 144 at high speed, but has a smaller storage capacity than the storage 145 .
  • the storage 145 is, for example, a hard disk drive (HDD), which has a large storage capacity but an access speed slower than that of the memory 144 . These are used properly according to the purpose.
  • the CPU 141 performs various kinds of arithmetic processing, which will be described later, by calling and executing control programs stored in the storage 145 .
  • control unit 14 is provided with an interface (IF) unit 142 .
  • the interface unit 142 has a user interface function of accepting operation input from the user and presenting information such as processing results to the user, and a function of exchanging data with an external device connected via a communication line. and In order to implement the user interface function, the interface unit 142 is connected to an input reception unit 147 that receives operation input from the user, and a display unit 148 that displays and outputs messages to the user, processing results, and the like.
  • imaging is performed by illuminating the raw sample S in the sample container 10 from above and receiving the light transmitted downward.
  • the principle of bright-field imaging using an inverted optical microscope is the same.
  • the configuration may be such that illumination light is incident on the sample from below and the light transmitted upward is received to perform imaging. For example, this corresponds to bright field imaging using an erecting optical microscope.
  • the imaging device 1 has a function of imaging the raw sample S while changing the focal position in the optical axis direction of the objective lens 131, that is, in the vertical direction (z direction) in multiple steps. This creates an image set consisting of a plurality of images of the raw sample S at different focal depths, a so-called multifocus image stack.
  • focal position simply means the focal position in the depth direction, that is, in the z direction, unless otherwise specified.
  • the focal position in the depth direction may be simply referred to as "focus depth".
  • the imaging device 1 further has a function of deriving qualitative or quantitative information about the type, state, etc. of the raw sample S having a three-dimensional structure by executing the image processing described later using the multifocus image stack.
  • This image processing includes class classification using a classification model constructed in advance by machine learning.
  • Various proposals have been made so far regarding specific techniques for analyzing biological specimens using machine-learned classification models and what attributes of biological specimens are to be classified. It is possible to appropriately select and apply them to the imaging apparatus 1 as well.
  • a fertilized egg (hereinafter simply referred to as an "embryo") at an early stage of development is imaged as the sample S, and the cell counting process for counting the number of cells that make up the embryo from the image will be described.
  • the cell counting method of the present embodiment can be applied for the purpose of obtaining knowledge for determining whether the culture is progressing well.
  • the subject of treatment is not limited to such embryos, and this treatment can be applied to various cell clusters in which a plurality of cells are in close contact.
  • FIGS 2A and 2B are diagrams schematically showing the structure of an embryo that serves as a biosample in this embodiment.
  • the cell counting method of the present embodiment is suitable, for example, for counting the number of cells forming an embryo from immediately after fertilization to the morula stage.
  • Fig. 2A schematically shows the structure of an embryo at an early stage (for example, from the 4-cell stage to the morula stage).
  • the external shape of embryo E is roughly spherical. Its surface is covered with a jelly-like glycoprotein layer Z called zona pellucida. It contains a plurality of cells C generated by cell division of the fertilized egg.
  • zona pellucida Z contains a plurality of cells C generated by cell division of the fertilized egg.
  • the interior of the zona pellucida Z is occupied by relatively large cells C, as shown in the left diagram of FIG. 2A.
  • the number of cells C increases.
  • the cell C1 becomes clear.
  • the out-of-focus cell C1 becomes blurred, and the cells C2 to C4 located close to the focal position appear as sharper images. If the cell C1 is nearly transparent, other cells behind it will appear in the image through the cell C1.
  • the out-of-focus cells C1 to C4 become blurred, and through them, the images of the cells C5 to C7 further above, which are closer to the focal position, are obtained. appear.
  • the image of the embryo E included in the image Ia is denoted by Ea
  • the image of the embryo E included in the image Ib is denoted by Eb
  • the image of the embryo E included in the image Ic is denoted by Ec
  • the image of the embryo E included in the image Id is denoted by Ec.
  • the images may each be denoted by the symbol Ed.
  • the same sample is imaged multiple times in the same field of view while changing and setting the depth of focus in multiple steps.
  • This set of images is called an image stack (more specifically, a multi-focus image stack).
  • the image stack ST among the cells that constitute the cell cluster (embryo E in this example), those that are close to the focal position at the time of imaging form a clear image.
  • the image of cells distant from the focal position becomes unclear.
  • an image of a cell behind the focal point is transmitted through the cell in front of the focal position (on the side closer to the imaging unit 13). In the cell number counting process of this embodiment, the number of cells forming the embryo is counted using such features of the image stack ST.
  • FIG. 3 is a flow chart showing an outline of the cell counting process of this embodiment.
  • This process and each process described below are realized by the CPU 141 reading and executing a control program stored in advance in the storage 145 and causing each part of the apparatus to perform a predetermined operation.
  • these various processes except for the process of imaging the raw sample S, can also be realized by a computer device having a general hardware configuration. Therefore, the present embodiment may be realized by combining an imaging device having an imaging function and a computer device having an image processing function. Moreover, when there is an image stack that has already been captured, it can also be realized by having the computer perform image processing using the image stack.
  • the raw sample S (here, the embryo E), which is the object to be processed, is subjected to bright-field imaging multiple times with different focal depths.
  • a plurality of images are thereby acquired to create a multi-focus image stack ST (step S101).
  • a new image may be acquired by the imaging unit 13 taking an image, or image data captured in advance and stored in an external storage or the like may be acquired from the outside through an appropriate recording medium or an electric communication line. good. At least some of the acquired images are used as "original images" in subsequent image processing.
  • a clear image is obtained for a cell near the focus position, and detailed information on the shape and structure of the cell is included.
  • the images of cells far from the focal position are blurred, making it difficult to obtain detailed information.
  • a partial region including the image of the embryo E is cut out from each of the plurality of images forming the image stack ST (step S102).
  • a composite image is created by arranging them on one image plane (step S103). This composite image is used as the input image for the classification model.
  • a process of synthesizing a plurality of images or partial regions cut out from them to create a single image is called "tiling process”.
  • a synthesized image created in this way is hereinafter referred to as a "tiling image”.
  • FIG. 4 is a diagram schematically showing an example of a tiling image.
  • a tiling image It, an image Ea of the embryo E clipped from the image Ia, an image Eb of the embryo E clipped from the image Ib, and an image An image Ec of the embryo E cut out from Ic and an image Ed of the embryo E cut out from the image Id are arranged side by side.
  • one image includes images of the embryo E captured at various focal depths. Therefore, the image has information representing the structure of the embryo E at various depths.
  • a tiling image containing a plurality of images with different depths of focus and therefore having various depth information is input as an input image to the trained classification model (step S104).
  • the classification model is constructed in advance by supervised learning using an "image including a plurality of images with mutually different focal depths" as the input image as a teacher image.
  • a classification model analyzes information contained in an input image and outputs a corresponding classification class based on learning results.
  • the output result is presented to the user in an appropriate manner (step S105).
  • the processing result can be presented to the user by displaying the output of the classification model or the determination result based on the output on the display unit 148 .
  • the number of cells forming the embryo E as the raw sample S is output as a result. In this way, the number of cells forming the embryo E is counted from the image stack ST obtained by multi-focusing the embryo E.
  • FIGS 5A and 5B are diagrams showing a method for building a classification model. More specifically, FIG. 5A is a schematic diagram of a classification model. FIG. 5B is a flow chart showing processing for learning a classification model. Also, FIG. 6 is a diagram illustrating the relationship between the teacher image and the teaching input.
  • the classification model 100 has a function of receiving an input of a tile image It created from an image stack ST imaging an embryo E to be analyzed, and outputting the number of cells constituting the embryo E. have.
  • a large number of teacher data Dt are collected in advance, in which teacher images are associated with labels that are taught and input as representing classification classes to be assigned to them, and machine learning is performed using these data. .
  • a multifocus image stack including a plurality of original images used as materials for teacher images is obtained (step S201).
  • an image stack can be acquired by imaging a raw sample of the same kind as the raw sample S to be analyzed (embryo E in this example) while changing the focal depth in multiple stages. All or part of the images included in the image stack become the "original images" used for the following processing.
  • an area including the image of the raw sample is cut out from each original image (step S202), and one teacher image is created by tiling processing that synthesizes them.
  • a plurality of teacher images are created (step S203).
  • a method of creating a plurality of teacher images for example, a plurality of raw samples can be prepared and steps S201 to S203 described above can be executed for each of them.
  • a plurality of image sets may be created by selecting some from a large number of images obtained by imaging one raw sample, and a teacher image may be created from each image set.
  • One of the teacher images thus created is displayed on the display unit 148 (step S204). Then, instruction input from the user regarding the label representing the classification class to be assigned to the displayed teacher image is accepted (step S205). In this example, the number of cells that make up embryo E can be the label.
  • the circles indicated by solid lines are cells imaged in a focused state
  • the circles indicated by dotted lines are cells imaged in a blurred state. shall be represented.
  • a plurality of images of the embryo included in the teacher image which cell is in focus differs from each other due to the difference in focal depth.
  • the user observes a plurality of images included in the displayed teacher image reads the number of cells forming the embryo, and teaches and inputs the result.
  • Steps S204 to S205 are repeatedly executed until instruction input is completed for all teacher images (step S206). As a result, all teacher images are labeled. Then, machine learning is executed based on these teacher images (step S207). Thus, the classification model 100 is constructed.
  • a classification algorithm for realizing the classification model 100 various algorithms trained by supervised learning can be applied.
  • a deep learning algorithm which does not require artificial specification of features to be extracted, is preferable from the viewpoint of making extensive use of various information obtained from images.
  • a convolutional neural network can be applied.
  • the classification model 100 constructed in this way acquires the function of analyzing the images of the embryo E captured at various focal depths included in the input image and outputting the number of cells that make up the embryo E. It will be Also, other functions can be realized by changing the label assigned to each teacher image during machine learning. For example, by assigning labels to various attributes, such as the growth stage of the embryo, the type and shape of the cells that make up the raw sample, and the quality of the culture state, the attributes can be automatically determined from the images. It becomes possible.
  • the feed pitch of the focal position during imaging is set to be approximately the same as the size (specifically, the length in the z direction) of each cell that constitutes the raw sample, or smaller.
  • the focal pitch can be set to about the same size or slightly smaller, eg, several ⁇ m. If the depth of field of the imaging optical system is relatively large with respect to the cell size, the feed pitch of the focal position may be slightly larger.
  • the image stack ST created so as to cover the entire depth of the raw sample can include a large number of images (for example, several tens of images). It is impractical to tile all the raw sample images cut from them into one composite image. This is because the image data of the composite image becomes very large and the subsequent image processing becomes complicated. Also, there is a case where there is no significant difference in the information obtained between images with close focal depths.
  • FIG. 7 is a diagram schematically showing the process of creating a tiling image from an image stack.
  • Several original images Ip, Iq, Ir, and Is are selected according to appropriate selection rules from an image stack ST including a large number of original images obtained by multi-focus imaging of the raw sample S.
  • the original images thus selected contain images of the raw specimen S each having a different focus state and thus a different sharpness.
  • Regions Rp, Rq, Rr, and Rs including the image of the raw sample S are cut out from the images Ip, Iq, Ir, and Is, respectively.
  • a tiling image It is created by synthesizing them within the same image plane.
  • the tiling image It includes a plurality of images of the raw sample S cut out from each original image, and the focused states of these images are different from each other. Therefore, the tiling image It contains information representing the structure of the raw sample S at various depths.
  • the selected images Ip, Iq, Ir, and Is may be used as original images as they are and combined with the tiling image It.
  • image objects that may hinder subsequent image processing such as walls of the culture vessel, air bubbles contained in the culture solution, and image noise, are removed in advance. It becomes possible to keep It also contributes to the reduction of image data size.
  • the image selection rule is arbitrary.
  • images can be extracted at regular intervals in the order of focal positions, but they do not necessarily have to be at equal intervals.
  • the user may check each image and artificially extract a preferable one as a typical example.
  • these images are not necessarily unsuitable as teacher images, and can be used, for example, as typical examples corresponding to such irregular situations.
  • various rules may be applied in selecting images from the image stack ST, depending on the purpose.
  • FIG. 8 is a diagram showing an example of rules for selecting original images from an image stack.
  • the image stack ST contains 16 images, and these images are distinguished from each other by assigning symbols I1, I2 , I3 , . .
  • one tiling image It includes images of the raw sample S cut out from the four original images.
  • these numerical values are merely examples for explanation, and are not limited to these.
  • Case (a) is an example of the simplest selection rule, in which four images I 1 to I 16 are selected in order of focus position to be used as original images, and a total of four tiling images are created.
  • the information in the depth direction reflected in each tiling image is greatly biased. That is, in the tiling image composed of the original images I 1 to I 4 and the tiling image composed of the original images I 11 to I 16 , the range in the depth direction in which the raw sample information is reflected is Very different. Therefore, there are cases where the mutual correlation is not high.
  • each tiling image reflects information in as wide a depth range as possible. From this point of view, every other original image is selected from the image stack ST in case (b) and every third image in case (c). By doing so, each tiling image can contain information of a wider depth range.
  • one image for example, four original images I 1 , I 3 , I 5 , and I 7 are selected alternately starting from image I 1 to create one tiling image. It is the same as case (b) in that However, unlike the case (b) in which one original image is reflected only in one tiling image, in this case (d), one image I 1 , I 2 , I 3 , .
  • a single original image is included in a plurality of tiling images by sequentially shifting the images one by one. The combination of original images differs for each tiling image.
  • Another case (e) differs from case (d) in that every two original images are selected, but the idea is the same.
  • the information included in the tiling image is not all the information that the image stack has, but the information that the selected images had. Inevitably, it will be biased toward Therefore, depending on the combination of original images included in the input image, the classification result by the classification model may differ. This causes a decrease in the reliability of the results.
  • each output value will naturally be different.
  • the output values do not vary randomly, and the frequency of appearance of each of the various output values shows some tendency according to the characteristics of the sample. Therefore, by trying various combinations of original images to be included in the input image, it is possible to grasp such a tendency.
  • the higher the frequency of appearance of the output value the more likely it is to match the characteristics of the sample, that is, to be the correct answer. For example, if 10 input images are input to the classification model and the output values match 7 times, it can be said that the reliability of the output values is sufficiently high. On the other hand, when two or more types of output values are obtained with a similar frequency, it can be said that the reliability of the results is low.
  • FIG. 9 is a diagram showing a modification of the cell counting process.
  • a multi-focus image stack of a raw sample S (specifically, an embryo E) to be analyzed is acquired (step S301), and a region including an image of the raw sample S is cut out from each image (step S302). 3 are the same as steps S101 to S102.
  • step S303 a plurality of tiling images having different image contents are created by synthesizing the regions with different combinations.
  • step S304 the classification model 100 returns multiple outputs, ie, classification results, corresponding to each of the input images. By statistically processing them, it is possible to finally summarize them into one classification result.
  • the one with the highest appearance frequency can be selected by majority vote processing and used as the final classification result (step S305).
  • the confidence level can be the ratio of the output values that match the final result. For example, in a classification model that outputs the number of blastomeres of embryo E, for 10 input images, the result of "4 blastomere” is 7 times, the result of "5 blastomere” is 2 times, and the result of “6 blastomere” is 2 times. If the result with "Blastomere” was once, the final result will be “4 blastomere” by majority vote processing, and the confidence level will be 70%.
  • confidence is defined as the degree of certainty of the final result, and the degree of confidence is defined only for the final result.
  • the confidence level for the result “5 blastomere” is 20%
  • the confidence level for the result “6 blastomere” is 10%. According to this way of thinking, it is also possible to make the output value with the highest degree of certainty the final result.
  • Softmax function is an activation function introduced in the neural network algorithm. Since the concept of the Softmax function is widely known, the explanation thereof is omitted here.
  • the values of the Softmax function for each classification class are as follows: Image 1 (Quad:96.9%, 5:2.0%, 6:0.1%) Image 2 (4 blastomere: 85.9%, 5 blastomere: 11.0%, 6 blastomere: 1.3%) Image 3 (Quadrant: 40.3%, 5:51.0%, 6:3.1%) Suppose it was as follows. Since classification classes other than the above (for example, the 7th or more sphere and the less than 4th sphere) are excluded here, the total value of the Softmax function may be less than 100%.
  • the classification model As the classification model, the one with the maximum Softmax function is output as the classification result. Therefore, "4 sphere” is returned for images 1 and 2, and “5 sphere” is returned for image 3 as an output. Therefore, the final result of the majority process is "quadruple ball” with a certainty of 66.7%.
  • the final result of the classification class based on the Softmax function. For example, it is possible to adopt a method of calculating the average value or total value of the Softmax function for each classification class for a plurality of input images, and taking the classification class with the maximum value as the final result.
  • the average value of the Softmax function given to the classification class of "tetradome" for images 1 to 3 is significantly larger than the values in the other classification classes, "tetradome" is the final can be the result. Also, the average value at this time can be used as the degree of certainty for the final result.
  • the certainty is a relative value defined between each classification class, and its absolute numerical value does not have any quantitative significance. In extreme cases, even if the certainty is 100%, the correctness of the final result at that time is not completely guaranteed. Which definition to adopt can be appropriately selected according to how the confidence factor value is to be used.
  • the final result of the classification class obtained as described above (the number of blastomeres in this example) and the degree of certainty for the result are presented to the user by being displayed on the display unit 148, for example (step S307).
  • the user can judge how reliable the results obtained are. For example, if the confidence value is high, it can be judged that the imaging of the raw sample and the classification based on the image obtained thereby were performed well. On the other hand, when the certainty factor value is low, the user can recognize that there is a possibility that some problem has occurred in the processing up to that point, such as inappropriate condition settings at the time of imaging.
  • the user can check some of the images contained in the image stack and take the necessary measures. For example, it is possible to readjust the conditions and redo a part of the process, or discard the entire process result.
  • the images of the sample S captured at various depths of focus are obtained in the same manner.
  • a composite image is created containing in the image plane. This composite image is used as the input image for the classification model 100 .
  • the classification model 100 is constructed in advance by executing machine learning using teacher images containing images with various focal depths as well as input images and classification classes corresponding to the teacher images as teacher data. be.
  • the classification model 100 has a function of analyzing sample information at various depths included in the input image and returning corresponding classification classes as output.
  • embryo E at an early stage of development is used as a sample, and the number of cells constituting embryo E is used as a classification class. Therefore, the classification model 100 has a function of outputting the number of cells forming the embryo E from the multifocus image stack of the embryo E.
  • FIG. 1
  • the teacher image and the input image are tiling images containing images of cells at various depths, and each image comprehensively contains information on the detailed structure of cells at various depths. Therefore, according to this embodiment, a function of determining one classification class by comprehensively evaluating a plurality of images captured with different focal depths for a sample having a three-dimensional structure is realized. be able to. By setting classification classes according to purposes, it is possible to automatically determine various attributes of a sample.
  • the imaging device 1 of the above embodiment itself has an imaging function for creating a multi-focus image stack and an image processing function for analyzing images and performing cell counting processing.
  • the image processing method according to the present invention can also be performed by a computer device that does not itself have imaging capabilities, but has acquired image stacks created by imaging with other devices that have imaging capabilities.
  • the present invention may be implemented as software (computer program) for causing a computer device to execute each processing step of the above-described processing.
  • Such computer programs can be distributed, for example, in the form of downloading via telecommunication lines such as the Internet. It is also possible to distribute a computer-readable recording medium recording the computer program. Also, for example, by loading this computer program into an existing microscope imaging device via an interface, it is also possible to carry out the present invention with the device.
  • construction of a machine learning model based on collected teacher data and cell counting processing using the constructed machine learning model are performed by the same device.
  • they may be implemented on different devices.
  • a machine learning model may be constructed using a computer device with high computing power, and the resulting classification model may be implemented in the imaging device. In this way, even an imaging device with limited computing power can perform imaging and cell counting processing.
  • the above-mentioned input image (tiling image) is input to a machine learning model built on a computer with high computing power.
  • a technique called “distillation” may be implemented in which the obtained inference result and the input image corresponding to the inference result are combined to form learning data, and machine learning is performed separately on the imaging device.
  • the inference result obtained from the machine learning model constructed on the computer with high computing power corresponds to the teaching input described above.
  • the above-described embodiment aims to automatically count the number of cells using embryos (fertilized eggs) at an early stage of development as the sample, which is the object of analysis of the present invention.
  • the sample to be used in the present invention and the attributes of the sample to be obtained from the image thereof are not limited to these.
  • the present invention can be applied for the purpose of evaluating, for example, the presence or absence and amount of fragments in addition to the number of cells. Such an application is possible by changing the label given when executing machine learning.
  • the stage of development that is, the stage at which the embryo is in a series of developmental processes is determined. It is possible. Collect multi-focus image stacks of embryos at various stages such as early embryo, early blastocyst stage, extended blastocyst stage, etc., and assign labels representing developmental stages to teacher images created from them for machine learning. By executing, it is possible to realize such a function.
  • the same treatment method as in the above embodiment can be applied for the purpose of judging whether spheroids and organoids artificially produced by cell culture are good or bad, and evaluating the efficacy of drugs and chemical substances for them. It is possible.
  • the present embodiment is suitable for obtaining various qualitative and quantitative information that can only be obtained by comprehensively evaluating a sample having a three-dimensional structure.
  • machine learning is performed using a plurality of teacher images and a classification class taught for each of the teacher images. may be performed based on
  • the classification model may have a function of outputting a classification class according to the input synthetic image. According to such a configuration, a single classification class is obtained as an output for multiple images of the specimen acquired at various imaging depths, so that results that comprehensively reflect the three-dimensional structure of the specimen can be obtained. can be obtained.
  • one synthesized image is created based on some original images selected from a plurality of original images, and a plurality of synthesized images are created by different combinations of the original images, and each of the plurality of synthesized images is generated.
  • One of a plurality of outputs obtained by inputting the classification model may be selected as the final output.
  • the output result of the classification model may vary depending on the method of creating the input image. It is possible to reduce bias in the results due to differences in the method of creating the input images by determining the final output by summarizing the output when multiple synthesized images with different combinations of original images are used as input images. be.
  • the one with the highest appearance frequency can be the final output.
  • Output variations are not random, and are considered to strongly reflect specific attributes inherent in the sample. Therefore, selecting the one with the highest frequency of appearance among multiple outputs is a very realistic technique.
  • a step of calculating an index value related to the likelihood of the final output based on a plurality of outputs may be further provided.
  • a model based on a deep learning algorithm can be used as a classification model.
  • deep learning algorithms there is no need to artificially predefine the features to be extracted from the image. If a large number of suitable examples can be collected as a teacher, it is possible to construct a highly accurate classification model. This property is extremely useful in the analysis of samples with large individual differences and diversity, such as cells and tissues containing them.
  • the teacher image includes images of cells of the same type as the cells contained in the sample.
  • the teacher image since cells and tissues containing them are highly diverse, in order to accurately analyze a sample composed of specific cells, an image containing an image of cells of the same type as the cells contained in the sample is needed. As a teacher image, it is effective to execute machine learning.
  • the original image in the present invention for example, a bright field image of a sample captured using an optical microscope can be used.
  • the cells are almost transparent to the visible light that is the illumination light, the illumination light reaches deep inside the sample.
  • Information on various depths can be acquired by performing imaging while varying the focal position in the depth direction. For this reason, the bright field microscope image is particularly suitable for the purpose of comprehensively analyzing a sample having a three-dimensional structure.
  • the sample may be an embryo, for example, and the classification model may output the number of cells contained in the embryo.
  • machine learning is performed based on a plurality of teacher images created based on images of embryos with different blastomere numbers, and classification classes represented by values taught as blastomere numbers corresponding to each of the teacher images.
  • a classification model is constructed, it becomes possible to automatically count the number of cells that make up the embryo.
  • This invention is suitable for the purpose of analyzing a sample containing cells by image processing, and is particularly suitable for applications that require comprehensive evaluation of the structure of a sample having a three-dimensional structure.
  • image processing For example, in the field of assisted reproductive medicine, it is possible to effectively support work for evaluating the state of cultured embryos (fertilized eggs).
  • Imaging device 10 sample container 13 imaging unit 14 control unit C cell E embryo (sample) Ia-Id, Ip-Is Original image It Tiling image (teacher image, input image) S sample ST image stack

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • Urology & Nephrology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本発明に係る画像処理方法は、細胞を含む試料を互いに異なる焦点深さで撮像した複数の原画像を取得する工程と、原画像の各々に含まれる試料の像を一の画像平面に含む合成画像を作成する工程と、予め構築された分類モデルに合成画像を入力し、その出力を取得する工程とを備える。分類モデルは、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む教師画像を用いて予め機械学習を実行することで構築されたものである。細胞を含む試料を互いに異なる焦点深さで撮像した複数の画像から、試料に関する情報を自動的に取得することが可能となる。

Description

画像処理方法、コンピュータープログラムおよび記録媒体
　この発明は、細胞を含む試料を撮像した画像を解析するための画像処理方法に関するものである。
　病理医学や細胞培養の技術分野においては、三次元的に培養された細胞や組織切片等の試料の良否や発達状況等を判断することが必要なケースがある。このような目的のために例えば、試料に対する焦点深さを多段階に異ならせて光学顕微鏡により撮像された、いわゆるマルチフォーカス画像が利用されることがある。細胞が光透過性を有することから、焦点深さを異ならせて撮像を行うことで、種々の深さにおける試料の鮮明な画像を得ることができるからである。
　この場合の各画像では、試料中で合焦位置の近傍にある構造物については鮮明な像が得られる。一方、合焦位置から離れた位置にある構造物の像は、不鮮明でぼやけたものとなる。このため、三次元構造を取る試料の全体を把握するためには、多数の画像を観察して総合的な判断を行う必要がある。
　このような観察作業の負担を軽減するための画像処理技術も提案されている。例えば特許文献１に記載の技術では、観察対象の組織の画像が分類モデルに入力されることで正常／異常が判定される。より具体的には、予め正常な組織について取得された断面画像群（特許文献１では「３Ｄボリューム」と称される）から一部の画像が選出される。そして、選出された画像において組織の形態的特徴が求められ、機械学習により分類モデルが構築される。こうして構築された分類モデルは、正常な組織の特徴をどの程度有しているかにより、観察対象が正常であるか異常であるかを判定する機能を有する。
特開２０２０－０３２１９０号公報
　上記の従来技術は、正常な組織と異常な組織とのように２つの属性の間で明らかな形態的特徴の差異があることが前提となっている。そのため、２つの属性間での分類についてのみ有効なものである。また、特定の属性に偏った事例から得られる情報のみに依存した分類となるため、必ずしも汎用性は高くない。さらに、多数の事例が収集されていても、それらのデータの一部のみしか有効に利用されないという問題もある。
　これらのことから、三次元構造を有する試料を撮像したマルチフォーカス画像から、細胞の個数、その良否および種別等、解析や診断に有用な情報を自動的に取得することができる技術の確立が求められる。特に、マルチフォーカス画像を総合的に評価しなければ得られないような情報を、自動的に取得することができれば便宜である。
　この発明は上記課題に鑑みなされたものであり、細胞を含む試料を互いに異なる焦点深さで撮像した複数の画像から、試料に関する情報を自動的に取得することのできる技術を提供することを目的とする。
　この発明の一の態様は、細胞を含む試料を解析するための画像処理方法であって、上記目的を達成するため、前記試料を互いに異なる焦点深さで撮像した複数の原画像を取得する工程と、複数の前記原画像の各々に含まれる前記試料の像を一の画像平面に含む合成画像を作成する工程と、予め構築された分類モデルに前記合成画像を入力し、その出力を取得する工程とを備えている。ここで、前記分類モデルは、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む、教師画像を用いて予め機械学習を実行することで構築されたものである。
　このように構成された発明では、予め機械学習により構築された分類モデルに対し、入力画像を与えることで所定の出力が取得される。ここで、入力画像とそれにより得られる出力との関係、つまり、入力画像を与えた分類モデルからどのような出力を引き出すかについては、機械学習の段階において、教師画像に対応する教示データをどのように与えるかによって規定することが可能である。この発明では、分類モデルからどのような出力を得ようとするかについては問わない。ただし、分類モデルに入力される入力画像、および、分類モデルを構築するための機械学習に適用される教師画像については、以下の通りのものとされる。
　まず、分類モデルに入力される画像は、細胞を含む試料を互いに異なる焦点深さで撮像した複数の原画像（すなわちマルチフォーカス画像）の各々に含まれる試料の像が、一の画像平面に含まれるように作成された合成画像である。この合成画像には、１つの試料を種々の焦点深さで撮像した複数の像が含まれている。それらの像の各々は、焦点深さ近傍における試料の構造を鮮明に表したものである。したがって、合成画像全体としては、種々の深さにおける試料の詳細な構造に関する情報を有している。
　教師画像も、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む画像である。したがって、１つの教師画像全体としては、細胞または細胞塊を種々の焦点深さで撮像したときの像を含み、当該細胞または細胞塊の種々の深さにおける詳細な構造に関する情報を有している。
　このような教師画像を用いて実行される機械学習により構築される分類モデルは、合成画像に含まれる試料の像それぞれが有する、種々の焦点深さにおける詳細な構造に関する情報から導かれる出力を返すことになる。このことは、前記した「マルチフォーカス画像を総合的に評価して情報を自動的に取得する」という機能を実現していることに他ならない。すなわち、本発明によれば、試料を互いに異なる焦点深さで撮像した複数の画像から、試料に関する有用な情報を自動的に取得することが可能である。
　また、この発明の他の一の態様は、上記した画像処理方法の各工程を、コンピューターに実行させるためのコンピュータープログラムである。また、この発明の他の一の態様は、上記コンピュータープログラムを非一時的に記憶したコンピューター読み取り可能な記録媒体である。このように構成された発明では、本発明の実行主体として、例えば既存のコンピューター装置を用いることが可能となる。
　上記のように、本発明によれば、互いに異なる焦点深さで撮像された試料の像を同一平面に配した合成画像が入力画像とされ、入力画像は同様の画像を教師画像として予め構築された分類モデルに入力される。そのため、三次元構造を有する試料の構造を総合的に評価した結果出力を得ることが可能である。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本発明に係る画像処理方法を適用可能な撮像装置の概略構成を示す図である。 本実施形態において生試料となる胚の構造を模式的に示す図である。 本実施形態において生試料となる胚の構造を模式的に示す図である。 本実施形態の細胞計数処理の概要を示すフローチャートである。 タイリング画像の例を模式的に示す図である。 分類モデルを構築するための方法を示す図である。 分類モデルを構築するための方法を示す図である。 教師画像と教示入力との関係を例示する図である。 画像スタックからタイリング画像を作成するプロセスを示す図である。 画像スタックから原画像を選出するルールの例を示す図である。 細胞計数処理の変形例を示す図である。
　図１は本発明に係る画像処理方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置１は、平型で上面が開口する試料容器（一般にディッシュと称される）１０に担持された、細胞等の生試料を撮像する装置である。試料容器１０には、培地Ｍとしての液体が所定量注入される。この液体中において所定の培養条件で培養された細胞等の生試料Ｓが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状で試料容器１０に注入された後ゲル化するものであってもよい。
　なお、ここでは撮像対象物を生試料とした場合を例示して説明する。しかしながら、本発明における撮像対象物は、これに限定されるものではない。例えば、適宜の担体に担持された組織切片や病理標本等が撮像対象物とされてもよい。また、試料容器がウェルと呼ばれる窪部を複数備えた、いわゆるウェルプレートであってもよく、各ウェルに担持された生試料が撮像対象物とされてもよい。
　撮像装置１は、試料容器１０を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料容器１０の下面周縁部に当接して試料容器１０を略水平姿勢に保持する。
　照明部１２は、ホルダ１１により保持された試料容器１０に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、試料容器１０内の撮像対象物が上方から照明される。
　ホルダ１１により保持された試料容器１０の下方に、撮像部１３が設けられる。撮像部１３には、試料容器１０の直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図１は側面図であり、図の上下方向が鉛直方向を表す。
　撮像部１３により、試料容器１０内の撮像対象物が明視野撮像される。具体的には次の通りである。照明部１２から出射され試料容器１０の上方から液体に入射した光が撮像対象物を照明する。試料容器１０の底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像（明視野像）が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。
　撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させる。これにより、撮像部１３が試料容器１０に対し水平方向に移動する。また対物レンズ１３１を鉛直方向へ移動させることにより、フォーカス調整がなされる。
　駆動機構１５は、図において点線矢印で示すように、撮像部１３を水平方向に移動させる際、照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されている。撮像部１３が水平方向に移動するとき、これと連動して照明部１２も移動する。これにより、撮像部１３が試料容器１０に対し移動する場合でも、照明部１２の光中心が常に撮像部１３の光軸上に位置することとなる。その結果、どの位置においても、撮像対象物に対する照明条件を一定にして撮像条件を良好に維持することができる。
　撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。
　制御部１４はさらに、画像データや演算中のデータを一時的に記憶するためのメモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのストレージ１４５とを有している。メモリ１４４はＣＰＵ１４４から高速アクセスが可能である一方、記憶容量はストレージ１４５よりも小さい。ストレージ１４５は例えばハードディスクドライブ（ＨＤＤ）であり、記憶容量は大きいが、アクセス速度はメモリ１４４よりも遅い。これらは目的に応じて使い分けられる。ＣＰＵ１４１は、ストレージ１４５に記憶された制御プログラムを呼び出し実行することにより、後述する各種の演算処理を行う。
　その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザーからの操作入力の受け付けや、ユーザーへの処理結果等の情報提示を行うユーザインターフェース機能と、通信回線を介して接続された外部装置との間でのデータ交換を行う機能とを有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザーからの操作入力を受け付ける入力受付部１４７と、ユーザーへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。
　この例では、試料容器１０内の生試料Ｓの上方から照明光を入射させ、下方へ透過した光を受光することで撮像が行われる。例えば倒立系の光学顕微鏡を用いた明視野撮像も原理的にはこれと同様である。しかしながら、上記とは逆に、試料の下方から照明光を入射させて、上方へ透過してくる光を受光して撮像を行う構成であってもよい。例えば正立系の光学顕微鏡を用いた明視野撮像がこれに相当する。
　以下、上記のように構成された撮像装置１を用いて実行可能な、本発明に係る画像処理方法の一実施形態について説明する。後述するように、撮像装置１は、対物レンズ１３１の光軸方向、つまり鉛直方向（ｚ方向）の焦点位置を多段階に変更しながら、生試料Ｓを撮像する機能を有する。これにより、生試料Ｓを種々の焦点深さを種々に異ならせた複数の画像からなる画像セット、いわゆるマルチフォーカス画像スタックが作成される。以下の説明において単に「焦点位置」という場合、特に断りのない限り深さ方向、つまりｚ方向の焦点位置を意味するものとする。また、深さ方向の焦点位置を単に「焦点深さ」ということがある。
　撮像装置１はさらに、マルチフォーカス画像スタックを用いて後述する画像処理を実行することにより、三次元構造を有する生試料Ｓの種類や状態等に関する定性的または定量的情報を導出する機能を有する。この画像処理には、予め機械学習により構築された分類モデルを用いたクラス分類が含まれる。機械学習された分類モデルを用いた生試料の解析の具体的手法、および、生試料のどのような属性をクラス分類の対象とするかについてはこれまでに種々の提案がなされている。この撮像装置１においてもそれらを適宜選択して適用することが可能である。
　ここでは、試料Ｓとして発達初期段階の受精卵（以下、単に「胚」という）を撮像し、その画像から、当該胚を構成する細胞の数を計数するための細胞計数処理について説明する。これにより得られたデータに基づき、ユーザー（具体的には医師または胚培養士等の専門家）による胚の評価作業を効果的に支援することが可能となる。例えば不妊治療を目的とする胚の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の細胞計数方法を適用することができる。なお、処理対象についてはこのような胚に限定されず、複数の細胞が密接する各種の細胞塊に対し本処理を適用可能である。
　図２Ａおよび図２Ｂは本実施形態において生試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。本実施形態の細胞計数方法は、例えば受精直後から桑実胚期までの胚を構成する細胞の数を計数するのに好適である。
　図２Ａは初期段階（例えば４細胞期から桑実胚期）の胚の構造を模式的に示すものである。胚Ｅの外形は概ね球形である。その表面は透明帯と呼ばれるゼリー状の糖タンパク質の層Ｚで覆われている。その内部に、受精卵が細胞分裂することで生じる複数の細胞Ｃが含まれる。培養が良好に進行する状態では、図２Ａ左図に示すように、透明帯Ｚの内部は比較的大きな細胞Ｃにより占められている。卵割が進むにつれて、細胞Ｃの数は増えてゆく。
　図に点線で示す焦点深さを種々に変えながら、このような胚Ｅの明視野撮像を行うと、図２Ａ右図に模式的に示す複数の画像が得られる。試料容器１０の下方に配置される撮像部１３から見た焦点深さが最も浅い、つまり焦点位置が最も下側に位置決めされた画像Ｉａでは、胚Ｅを構成する細胞Ｃのいずれにも焦点が合わず、不鮮明な像となる。
　焦点位置が上方に移動し、例えば最も下方にある細胞Ｃ１に合焦した状態の画像Ｉｂでは、当該細胞Ｃ１が鮮明となる。さらに焦点位置が上方に移動した画像Ｉｃでは、焦点の合わなくなった細胞Ｃ１が不鮮明となり、焦点位置に近い位置にある細胞Ｃ２～Ｃ４がより鮮明な像として現れる。細胞Ｃ１が透明に近ければ、細胞Ｃ１を透過してその奥にある他の細胞が像に現れる。さらに焦点位置が上方に移動した画像Ｉｄでは、焦点の合わなくなった細胞Ｃ１～Ｃ４が不鮮明となり、それらを透過して、より焦点位置に近い位置にある、さらに上方の細胞Ｃ５～Ｃ７の像が現れる。
　以下では、画像Ｉａに含まれる胚Ｅの像を符号Ｅａ、画像Ｉｂに含まれる胚Ｅの像を符号Ｅｂ、画像Ｉｃに含まれる胚Ｅの像を符号Ｅｃ、画像Ｉｄに含まれる胚Ｅの像を符号Ｅｄにより、それぞれ表すことがある。
　このように、焦点深さを多段階に変更設定しながら、同一試料を同一視野で複数回撮像する。こうすることにより、図２Ｂに示すように、視野が同一で焦点深さが互いに異なる複数の原画像のセットを取得することができる。この画像セットは、画像スタック（より詳しくはマルチフォーカス画像スタック）と称されるものである。画像スタックＳＴ内の各画像では、細胞塊（この例では胚Ｅ）を構成する細胞のうち、撮像時の焦点位置に近い位置にあるものが鮮明な像をなす。一方、焦点位置から離れた細胞の像は不鮮明となる。また、焦点位置よりも手前（撮像部１３に近い側）にある細胞を透過して、その奥にある細胞の像が現れる。本実施形態の細胞数計数処理では、画像スタックＳＴが有するこのような特徴を利用して、胚を構成する細胞の数が計数される。
　図３は本実施形態の細胞計数処理の概要を示すフローチャートである。この処理および以下に説明する各処理は、ＣＰＵ１４１がストレージ１４５に予め記憶されている制御プログラムを読み出して実行し、装置各部に所定の動作を行わせることにより実現される。なお、これら各種の処理は、生試料Ｓを撮像する処理を除けば、一般的なハードウェア構成を有するコンピューター装置によっても実現可能である。このため、本実施形態は、撮像機能を有する撮像装置と、画像処理機能を有するコンピューター装置との組み合わせによって実現されてもよい。また、既に撮像された画像スタックがある場合には、その画像スタックを用いてコンピューター装置が画像処理を行うことによっても実現可能である。
　最初に、処理対象物である生試料Ｓ（ここでは胚Ｅ）に対し、焦点深さを互いに異ならせて明視野撮像を複数回行う。これにより複数の画像が取得され、マルチフォーカス画像スタックＳＴが作成される（ステップＳ１０１）。撮像部１３が撮像を行うことによって新規に画像が取得されてもよく、また予め撮像され外部ストレージ等に保存されている画像データを、適宜の記録媒体や電気通信回線を通じて外部から取得する態様でもよい。取得された複数のうち少なくとも一部の画像が、以後の画像処理における「原画像」として用いられる。
　図２Ａからわかるように、画像スタックＳＴ内の個々の画像においては、焦点位置の近傍にある細胞については鮮明な像が得られ、当該細胞の形状や構造に関する詳細な情報が含まれている。しかしながら、焦点位置から遠い位置にある細胞については像が不鮮明となり、詳細な情報を得ることが難しくなっている。
　したがって、胚Ｅを構成する細胞の数を計数するという目的においては、１つの画像だけでなく、焦点深さの異なる複数の画像から総合的に個々の細胞を特定し計数する必要がある。しかしながら、１つの入力画像に対して複数のクラス分類のうち１つを返すという分類モデルは、必ずしもこのような目的に適したものとは言えない。
　そこで、この実施形態では、画像スタックＳＴを構成する複数の画像の各々から胚Ｅの像を含む部分領域が切り出される（ステップＳ１０２）。それらが１つの画像平面に配置されることで合成画像が作成される（ステップＳ１０３）。この合成画像が、分類モデルの入力画像として使用される。複数の画像またはそれらから切り出された部分領域を合成して１つの画像を作成する加工は「タイリング加工」と呼ばれる。以下では、このようにして作成される合成画像を「タイリング画像」と称する。
　図４はタイリング画像の例を模式的に示す図である。このタイリング画像Ｉｔでは、単一の画像平面に、画像スタックＳＴを構成する複数の画像のうち画像Ｉａから切り出された胚Ｅの像Ｅａ、画像Ｉｂから切り出された胚Ｅの像Ｅｂ、画像Ｉｃから切り出された胚Ｅの像Ｅｃ、および画像Ｉｄから切り出された胚Ｅの像Ｅｄが並べて配置されている。このようなタイリング画像Ｉｔでは、種々の焦点深さで撮像された胚Ｅの像が１つの画像に含まれる。したがって、当該画像は、種々の深さにおける胚Ｅの構造を表す情報を有することとなる。
　このように、焦点深さが互いに異なる複数の像を含み、それ故に種々の深さの情報を有するタイリング画像が、入力画像として学習済みの分類モデルに入力される（ステップＳ１０４）。具体的には後述するが、分類モデルは、入力画像と同様に「焦点深さが互いに異なる複数の像を含む画像」を教師画像とする教師あり学習により予め構築されたものである。分類モデルは、入力画像に含まれる情報を解析し、それに対応する分類クラスを学習結果に基づいて出力する。
　出力結果については、適宜の態様でユーザーに提示される（ステップＳ１０５）。例えば分類モデルの出力、あるいは該出力に基づく判定結果等を表示部１４８に表示することにより、処理結果をユーザーに提示することができる。この例では、生試料Ｓとしての胚Ｅを構成する細胞の個数が結果として出力される。このようにして、胚Ｅをマルチフォーカス撮像した画像スタックＳＴから、胚Ｅを構成する細胞の個数が計数される。
　図５Ａおよび図５Ｂは分類モデルを構築するための方法を示す図である。より具体的には、図５Ａは分類モデルを模式的に示す図である。また、図５Ｂは分類モデルを学習させるための処理を示すフローチャートである。また、図６は教師画像と教示入力との関係を例示する図である。
　図５Ａに示すように、分類モデル１００は、解析対象となる胚Ｅを撮像した画像スタックＳＴから作成されたタイル画像Ｉｔの入力を受け付け、当該胚Ｅを構成する細胞の個数を出力する機能を有する。これを可能とするために、予め教師画像と、それに付与されるべき分類クラスを表すものとして教示入力されたラベルとを関連付けた教師データＤｔが多数収集され、それを用いた機械学習が行われる。
　具体的には、図５Ｂに示すように、まず教師画像の素材として用いられる複数の原画像を含むマルチフォーカス画像スタックが取得される（ステップＳ２０１）。例えば、解析対象となる生試料Ｓ（この例では胚Ｅ）と同種の生試料を、焦点深さを多段階に異ならせながら撮像することにより、このような画像スタックを取得することができる。画像スタックに含まれる画像の全てまたは一部が、以下の加工に用いられる「原画像」となる。
　そして、各原画像から生試料の像を含む領域が切り出され（ステップＳ２０２）、それらを合成するタイリング加工により１つの教師画像が作成される。教師画像は複数作成される（ステップＳ２０３）。複数の教師画像を作成する方法としては、例えば、生試料を複数準備し、それらについてそれぞれ上記のステップＳ２０１～Ｓ２０３を実行することができる。また、１つの生試料を撮像して得られた多数の画像からいくつかを選出した画像セットを複数作成し、各画像セットからそれぞれ教師画像が作成されてもよい。
　こうして作成された教師画像のうち１つが表示部１４８に表示される（ステップＳ２０４）。そして、表示された教師画像に付与されるべき分類クラスを表すラベルに関するユーザーからの教示入力が受け付けられる（ステップＳ２０５）。この例においては、胚Ｅを構成する細胞の数をラベルとすることができる。
　図６に示す教師画像の模式図において、実線で示される円は合焦した状態で撮像された細胞を、点線で示される円は合焦していない、つまりぼやけた状態で撮像された細胞を表すものとする。教師画像に含まれる胚の複数の像の間では、焦点深さの違いにより、どの細胞が合焦状態となるかが互いに異なっている。ユーザーは、表示された教師画像に含まれる複数の像を観察して当該胚を構成する細胞の数を読み取り、その結果を教示入力する。
　図６の（ａ）に示す事例では、教師画像に含まれる個々の像のみから細胞数を読み取ることは難しいが、複数の像を総合的にみると、４個の細胞からなる４割球であると判断することができる。ユーザーは、当該画像に対しラベル「４」を教示入力する。同様に、５割球の事例（ｂ）についてはラベル「５」が、６割球の事例（ｃ）ではラベル「６」が、それぞれ教示される。これらと細胞数が同じものおよび異なるものを含めて、できるだけ多数の事例が収集されることが望ましい。
　全ての教師画像につき教示入力が完了するまでステップＳ２０４～Ｓ２０５が繰り返し実行される（ステップＳ２０６）。これにより、全ての教師画像にラベルが付与される。そして、これらの教師画像に基づき機械学習が実行される（ステップＳ２０７）。このようにして分類モデル１００が構築される。
　分類モデル１００を実現するための分類アルゴリズムとしては、教師あり学習により訓練される各種のものを適用可能である。画像から得られる種々の情報を広く活用するという点からは、抽出すべき特徴を人為的に指定する必要のない深層学習（ディープラーニング）アルゴリズムが好適である。例えば、畳み込みニューラルネットワークを適用することができる。
　このようにして構築された分類モデル１００は、入力画像に含まれる種々の焦点深さで撮像された胚Ｅの像を解析して、当該胚Ｅを構成する細胞の数を出力する機能を獲得したものとなる。また、機械学習時に各教師画像に与えるラベルを変更することで、他の機能を実現することができる。例えば、胚の成長段階、生試料を構成する細胞の種類、形状、培養状態の良否など各種の属性に関するラベルを付与して学習させることで、画像からそれらの属性を自動的に判定することが可能となる。
　次に、マルチフォーカス画像スタックからタイリング画像を作成する、より具体的な方法について説明する。以下に説明する考え方は、教師画像となるタイリング画像を作成する場合と、分類モデルへの入力画像となるタイリング画像を作成する場合とのいずれにも同様に適用可能である。
　まず、画像スタックＳＴについては、生試料Ｓに含まれる複数の細胞の各々から情報を取得するためには、全ての細胞が少なくとも１つの画像において鮮明な像となっていることが望ましい。したがって、撮像時の焦点位置の送りピッチについては、生試料を構成する各細胞のサイズ（具体的にはｚ方向の長さ）と同程度、またはこれよりも小さく設定されていることが望ましい。例えば細胞のサイズが１０μｍ程度であるとするならば、焦点ピッチはこれと同程度、またはこれより少し小さい例えば数μｍに設定することができる。なお、撮像光学系の被写界深度が細胞のサイズに対して比較的大きい場合には、焦点位置の送りピッチはもう少し大きくてもよい場合がある。
　そうすると、生試料を深さ方向の全体にわたりカバーするように作成される画像スタックＳＴは、多数（例えば数十枚）の画像を含むものとなり得る。それらから切り出される生試料の像を全て１つの合成画像にタイリングすることは現実的とは言えない。合成画像の画像データが非常に大きくなって以後の画像処理が複雑になるからである。また、焦点深さが近接した画像間では、得られる情報に大きな差異がない場合もある。
　このことから、多数の画像を含む画像スタックＳＴについては、その中から適当な数の画像を選出し、それらの画像に含まれる生試料の像を切り出してタイリング画像として合成するのが現実的である。またこのようにすると、選出する画像の組み合わせを異ならせることで、１つの画像スタックＳＴから複数のタイリング画像を作成することが可能となる。このことは、教師画像を作成する際には教師となる事例を豊富化するのに役立つ。また分類モデルへの入力画像を作成する際には、後述するように、分類モデルが出力した結果の確からしさの評価に利用することが可能である。
　図７は画像スタックからタイリング画像を作成するプロセスを模式的に示す図である。生試料Ｓをマルチフォーカス撮像することで得られる多数の原画像を含む画像スタックＳＴから、適宜の選出ルールでいくつかの原画像Ｉｐ，Ｉｑ，Ｉｒ，Ｉｓが選出される。こうして選出された原画像には、合焦状態がそれぞれ異なる、したがって鮮明さが互いに異なる生試料Ｓの像が含まれている。各画像Ｉｐ，Ｉｑ，Ｉｒ，Ｉｓから、生試料Ｓの像を含む領域Ｒｐ，Ｒｑ，Ｒｒ，Ｒｓがそれぞれ切り出される。それらを同一画像平面内に合成することで、タイリング画像Ｉｔが作成される。
　タイリング画像Ｉｔには、各原画像から切り出された複数の生試料Ｓの像が含まれており、それらの像の間では、合焦状態が互いに異なっている。したがって、タイリング画像Ｉｔは、種々の深さにおける生試料Ｓの構造を表す情報を含んだものとなっている。
　選出された画像Ｉｐ，Ｉｑ，Ｉｒ，Ｉｓをそのまま原画像として用いてタイリング画像Ｉｔに合成してもよい。ただし、各画像の一部領域を切り出して利用することで、例えば培養容器の壁面、培養液中に含まれる気泡、画像ノイズ等、後の画像処理において阻害要因となるような画像オブジェクトを予め除去しておくことが可能になる。また、画像のデータサイズの縮減にも寄与する。
　画像の選出ルールは任意である。例えば焦点位置の順に一定の間隔で画像を抜き出すことができるが、必ずしも等間隔でなくてもよい。特に教師画像となるタイリング画像を作成する際には、ユーザーが各画像をチェックして、典型例として好ましいものを人為的に抽出するようにしてもよい。例えば細胞の鮮明な像を含まない画像やノイズの多い画像を除外するとの対応が可能である。なお、これらの画像は教師画像として適さないというわけではなく、例えばそのような不規則な状況に対応する典型例として利用することが可能である。要するに、画像スタックＳＴからの画像の選出に当たっては、目的に応じ種々のルールが適用されてよい。
　図８は画像スタックから原画像を選出するルールの例を示す図である。ここでは、画像スタックＳＴが１６枚の画像を含むものとし、焦点位置の順に沿って符号Ｉ1，Ｉ2，Ｉ3，…，Ｉ16を付すことによってそれらの画像を相互に区別することとする。また、１枚のタイリング画像Ｉｔには、４枚の原画像から切り出された生試料Ｓの像を含めるものとする。ただし、これらの数値は説明のための一例にすぎず、これに限定されるものではない。
　事例（ａ）は最も単純な選出ルールの一例であり、画像Ｉ1～Ｉ16を焦点位置の順に４枚ずつ選出して原画像とし、計４枚のタイリング画像が作成される。この場合、各タイリング画像に反映される深さ方向の情報に大きな偏りが生じる。すなわち、原画像Ｉ1～Ｉ4から構成されるタイリング画像と、原画像Ｉ11～Ｉ16から構成されるタイリング画像とでは、生試料の情報が反映されている深さ方向の範囲が大きく異なっている。このため、相互の相関性が高くない場合がある。
　生試料全体を総合的に評価するという目的からは、１つのタイリング画像にできるだけ広い深さ範囲の情報が反映されていることが望ましい。この観点から、事例（ｂ）では１枚おき、事例（ｃ）では３枚おきに、画像スタックＳＴから原画像が選出されている。このようにすることで、より広い深さ範囲の情報を各タイリング画像に含ませることが可能になる。
　一方、事例（ｄ）は、１つの画像、例えば画像Ｉ1を起点として１枚おきに４枚の原画像Ｉ1，Ｉ3，Ｉ5，Ｉ7が選出されて１つのタイリング画像が作成される点では事例（ｂ）と同じである。ただし、１枚の原画像が１枚のタイリング画像のみに反映される事例（ｂ）と異なり、この事例（ｄ）では、起点となる画像Ｉ1，Ｉ2，Ｉ3，…を１つずつ順にシフトさせることにより、１枚の原画像が複数枚のタイリング画像に含まれることとなる。原画像の組み合わせはタイリング画像ごとに異なっている。もう１つの事例（ｅ）は、選出される原画像が２枚おきとなっている点で事例（ｄ）と相違しているが、考え方は同じである。
　このように、原画像の組み合わせを変えつつ、１つの原画像が複数のタイリング画像に含まれるようにすることで、次のような効果が得られる。まず教師画像の作成に際しては、教師となる事例を多様化・豊富化することで、機械学習の精度を向上させることができる。また、分類モデルへの入力画像を作成する際には、出力結果に対する信頼性を向上させることができる。その理由は以下の通りである。
　画像スタックからいくつかの画像を原画像として選出しタイリング画像を作成する場合、タイリング画像に含まれる情報は、画像スタックが有する情報の全てではなく、選出された画像が有していた情報に偏ったものとならざるを得ない。このため、入力画像に含まれる原画像の組み合わせによっては、分類モデルによる分類結果が異なる場合があり得る。このことは結果の信頼性を低下させる原因となる。
　原画像の組み合わせを異ならせた複数の入力画像を分類モデルに入力すれば、それぞれの出力値は当然に異なってくると考えられる。ただし、元来同一の試料から取得された画像であるから、出力値がランダムにばらつくわけではなく、種々の出力値各々の出現頻度には、当該試料の有する特徴に応じた何らかの傾向が現れる。したがって、入力画像に含める原画像につき多様な組み合わせを試行することで、そのような傾向を把握することが可能になる。
　具体的には、出現頻度が高い出力値ほど、試料の特徴により適合した、つまり正解である蓋然性の高いものであるということができる。例えば１０枚の入力画像を分類モデルに入力し、そのうち７回の出力値が一致していれば、その出力値の信頼性は十分に高いと言える。一方、２種類以上の出力値が同程度の頻度で得られた場合、それらの結果はいずれも信頼性が低いと言える。
　このように正解である蓋然性の高い出力値を最終出力とすれば、単一の入力画像を用いた場合よりも、出力結果に対する信頼性を向上させることが可能である。また、複数の入力画像に対して得られた複数の出力値を統計的に処理することによって、最終出力の「確からしさ」を定量的に表す指標値を導出することができる。この考え方に基づけば、図３に示される原理的な細胞計数処理を、以下のように改変することが可能である。
　図９は細胞計数処理の変形例を示す図である。解析対象となる生試料Ｓ（具体的には胚Ｅ）のマルチフォーカス画像スタックが取得され（ステップＳ３０１）、各画像から生試料Ｓの像を含む領域が切り出される点（ステップＳ３０２）は、図３の処理におけるステップＳ１０１～Ｓ１０２と同じである。一方、続くステップＳ３０３では、それらの領域の組み合わせを異ならせて合成することで、画像内容が互いに異なる複数のタイリング画像が作成される。
　これらのタイリング画像はそれぞれ個別に分類モデル１００に入力される（ステップＳ３０４）。これにより、分類モデル１００は、入力画像のそれぞれに応じた複数の出力、すなわち分類結果を返すことになる。それらを統計的に処理することで、最終的に１つの分類結果に集約することができる。
　例えば、複数の入力画像に対応する複数の分類結果のうち、出現頻度が最も大きいものを多数決処理により選出し、それを最終的な分類結果とすることができる（ステップＳ３０５）。併せて、最終結果の確からしさを定量的に指標する値（ここでは「確信度」と称する）を算出することができる（ステップＳ３０６）。
　例えば、複数の出力値のうち、最終結果と一致するものの比率を確信度とすることができる。例えば、胚Ｅの割球数を出力とする分類モデルにおいて、１０枚の入力画像に対し、「４割球」との結果が７回、「５割球」との結果が２回、「６割球」との結果が１回であったとすると、多数決処理により最終結果は「４割球」、その確信度は７０％となる。
　なお、ここでは「確信度」を最終結果の確からしさを表すものとして、最終結果についてのみ確信度が定義される。別の考え方として、各出力値に対して確信度を定義することも可能である。これを上記例に適用すると、「５割球」との結果に対する確信度が２０％、「６割球」との結果に対する確信度が１０％となる。この考え方によれば、各出力値のうち最も確信度が高いものを最終結果とする、という処理も可能である。
　また、ニューラルネットワークアルゴリズムにおいて導入される活性化関数であるＳｏｆｔｍａｘ関数を用いて、最終結果および確信度を求めることも可能である。なお、Ｓｏｆｔｍａｘ関数についてはその概念が広く知られているため、ここでは説明を省略する。
　例えば３枚のタイリング画像について、各分類クラス（４割球～６割球）に対するＳｏｆｔｍａｘ関数の値が下記、
　画像１（４割球：９６．９％、５割球：２．０％、６割球：０．１％）
　画像２（４割球：８５．９％、５割球：１１．０％、６割球：１．３％）
　画像３（４割球：４０．３％、５割球：５１．０％、６割球：３．１％）
の通りであったとする。なお、ここでは上記以外の分類クラス（例えば７割球以上、４割球未満）を除外しているため、Ｓｏｆｔｍａｘ関数の合計値は１００％に満たないことがある。
　分類モデルとしてはＳｏｆｔｍａｘ関数が最大であるものを分類結果として出力するから、画像１および画像２については「４割球」、画像３については「５割球」が出力として返される。したがって、多数決処理による最終結果は「４割球」、その確信度は６６．７％となる。
　一方、確信度をＳｏｆｔｍａｘ関数から求める場合には、次のような考え方がある。第１には、全ての入力画像を母集団として、最終結果と同じ分類クラスに与えられたＳｏｆｔｍａｘ関数の値を平均する方法がある。上記例では、画像１ないし画像３において、最終結果である分類クラス「４割球」に与えられたＳｏｆｔｍａｘ関数値はそれぞれ９６．９％、８５．９％、４０．３％であるから、これらの平均値（７４．４％）を確信度とすることができる。
　第２には、最終結果と一致する分類クラスが出力された入力画像のみを母集団として、最終結果と同じ分類クラスに与えられたＳｏｆｔｍａｘ関数の値を平均する方法がある。上記例では、最終結果である分類クラス「４割球」が出力されたのは画像１および画像２であり、これらに与えられたＳｏｆｔｍａｘ関数の平均値（９１．４％）を確信度とすることができる。
　また、分類クラスの最終結果をＳｏｆｔｍａｘ関数に基づいて決定することも可能である。例えば、複数の入力画像について、分類クラスごとのＳｏｆｔｍａｘ関数の平均値または合計値を算出し、その値が最大の分類クラスを最終結果とする、という方法を採ることができる。上記例では、画像１～画像３に対し「４割球」の分類クラスに与えられたＳｏｆｔｍａｘ関数の平均値が他の分類クラスにおける値よりも有意に大きいことから、「４割球」を最終結果とすることができる。また、このときの平均値を、最終結果に対する確信度とすることができる。
　このように、確信度の定義についてはいくつかの態様が考えられるが、いずれにおいても、確信度の値が大きいほど、最終結果の信頼性が高いことを表していると言える。つまり、ここでいう確信度は、各分類クラスの間で定義される相対的な値であり、その絶対的な数値に何らかの定量的意義があるものではない。極端には、例えば確信度が１００％であったとしても、そのときの最終結果の正しさが完全に保証されるものではない。どの定義を採用するかについては、確信度の値をどのように活用するかに応じて適宜選択可能である。
　上記のようにして求められた分類クラスの最終結果（この例では割球数）と、その結果に対する確信度とは、例えば表示部１４８により表示されることによりユーザーに提示される（ステップＳ３０７）。最終的なクラス分類に加えてその確信度が提示されることで、ユーザーは、得られた結果がどの程度信頼できるものであるかを判断することができる。例えば確信度の値が高ければ、生試料の撮像およびそれにより得られた画像に基づく分類が良好に行えたものと判断することができる。一方、確信度の値が低い場合には、例えば撮像時の条件設定が不適切であるなど、それまでの処理に何らかの問題が生じている可能性があることをユーザーが認知することができる。
　そのような場合、ユーザーは、画像スタックに含まれる画像のいくつかを確認し、必要な措置を取ることができる。例えば条件を再調整して一部の処理をやり直したり、処理結果全体を破棄したりするといった対応が可能である。
　また、複数の生試料のそれぞれについて行った細胞計数処理で得られた確信度を統計的に処理し、この細胞計数処理のプロセスそのものの評価に役立てるといった利用法も考えられる。例えば、一定値以上の確信度が得られた細胞計数処理を「成功」、それに満たないものを「失敗」と判断し、成功した細胞計数処理の結果のみが有効なものとして扱われるようにすることができる。
　一方、「失敗」と判断される頻度が高い場合には、処理の条件、例えば撮像時の焦点深さの送りピッチの設定や、画像スタックからタイリング画像を作成する際のルール等の見直しを行い、これにより失敗の頻度の低減を図ることが可能である。
　以上のように、この実施形態においては、胚Ｅなど解析対象となる細胞を含む試料Ｓをマルチフォーカス撮像して得られる画像スタックから、種々の焦点深さで撮像された試料Ｓの像を同一画像平面に含む合成画像が作成される。この合成画像が分類モデル１００の入力画像とされる。分類モデル１００は、入力画像と同様に種々の焦点深さの像を含む教師画像と、当該教師画像に対応する分類クラスとを教師データとして機械学習を実行することにより、予め構築されたものである。
　したがって、分類モデル１００は、入力画像に含まれる種々の深さにおける試料の情報を解析して、それに対応する分類クラスを出力として返す機能を有している。この実施形態では、試料として発達初期段階の胚Ｅを、分類クラスとして胚Ｅを構成する細胞数をそれぞれ用いている。したがって、分類モデル１００は、胚Ｅのマルチフォーカス画像スタックから当該胚Ｅを構成する細胞の個数を出力する機能を有する。
　教師画像および入力画像は、種々の深さにおける細胞の像を含むタイリング画像であり、各像は種々の深さにおける細胞の詳細な構造に関する情報を網羅的に含んでいる。したがって、この実施形態によれば、三次元構造を有する試料について、焦点深さを異ならせて撮像された複数の画像を総合的に評価して１つの分類クラスを決定する、という機能を実現することができる。分類クラスとして目的に応じたものを設定することにより、試料の種々の属性を自動的に判定することが可能となる。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像装置１は、それ自体がマルチフォーカス画像スタックを作成する撮像機能と、画像を解析し細胞計数処理を実行する画像処理機能とを有するものである。しかしながら、本発明に係る画像処理方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により作成された画像スタックを取得したコンピューター装置によって実行することも可能である。これを可能とするために、上記した処理の各処理ステップをコンピューター装置に実行させるためのソフトウェア（コンピュータープログラム）として、本発明が実施されてもよい。
　このようなコンピュータープログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能である。また、当該コンピュータープログラムを記録したコンピューター読み取り可能な記録媒体を配布することも可能である。また、例えば既存の顕微鏡撮像装置にインターフェースを介してこのコンピュータープログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
　また、上記実施形態では、収集された教師データに基づく機械学習モデルの構築と、構築された機械学習モデルを利用した細胞計数処理とが同一の装置で実行されている。しかしながら、これらは異なる装置で実行されてもよい。例えば、演算能力の高いコンピューター装置を用いて機械学習モデルの構築を行い、その結果としての分類モデルを撮像装置に実装するようにしてもよい。こうすれば、演算能力が制限された撮像装置であっても、撮像と細胞計数処理とを担うことが可能となる。
　また、演算能力の高いコンピューターで構築された機械学習モデルをそのまま撮像装置に実装するだけでなく、演算能力の高いコンピューター上で構築された機械学習モデルに前述の入力画像（タイリング画像）を入力し、得られた推論結果と推論結果に対応する入力画像とを組み合わせて学習用データとし、撮像装置上で別途機械学習を行う、いわゆる「蒸留」と呼ばれる手法が実施されてもよい。この場合、上記演算能力の高いコンピューター上に構築された機械学習モデルから得られた推論結果が、前述の教示入力に相当することとなる。
　また、上記実施形態は、本発明の解析対象物である試料として発達初期段階の胚（受精卵）を用い、その細胞数を自動的に計数することを目的としたものである。しかしながら、本発明の対象となる試料や、その画像から求めようとする試料の属性に関しては、これらに限定されるものではない。例えば上記と同様に胚を解析対象の試料とする場合でも、細胞数以外に、例えばフラグメントの有無やその量などを評価する目的で、本発明を適用することができる。機械学習の実行時に与えるラベルを変更することにより、このような応用が可能である。
　また、胚の評価においては、その発生ステージ、つまり胚が一連の発生過程のうちどの段階にあるかを判定することが行われるが、そのような判定を目的として、本発明を適用することも可能である。初期胚、初期胚盤胞期、拡張胚盤胞期など、種々のステージの胚のマルチフォーカス画像スタックを収集し、それらから作成された教師画像に発生ステージを表すラベルを付与して機械学習を実行することで、このような機能を実現することが可能である。
　その他、例えば細胞培養により人工的に作製されるスフェロイドやオルガノイドの育成の良否判断や、それらに対する薬剤や化学物質の薬効を評価する目的にも、上記実施形態と同様の処理方法を適用することが可能である。このように、本実施形態では、三次元構造を有する試料を総合的に評価することによって初めて得られる、各種の定性的・定量的情報を取得する目的に好適である。
　以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法において、機械学習は、複数の教師画像と、教師画像の各々に対し１種類ずつ教示された分類クラスとに基づき実行されてもよい。学習の結果として、分類モデルは、入力された合成画像に応じた分類クラスを出力する機能を有していてもよい。このような構成によれば、種々の撮像深さで取得された試料の複数の像に対して単一の分類クラスが出力として得られるので、試料の三次元構造を総合的に反映した結果を取得することができる。
　また例えば、複数の原画像から選出した一部の原画像に基づき一の合成画像を作成し、しかも、原画像の組み合わせを異ならせて複数の合成画像を作成し、複数の合成画像の各々を分類モデルに入力して取得した複数の出力のうち一を選択して最終出力とするようにしてもよい。
　焦点深さを離散的に変化させて取得された原画像においては、試料が本来的に有する深さ方向の情報の全てを反映させることができない。このような情報の欠落に起因して、分類モデルの出力結果が、入力画像の作成方法によってばらつくことがあり得る。原画像の組み合わせが異なる複数の合成画像を入力画像としたときの出力を総合して最終出力を決定することにより、入力画像の作成方法の違いに起因する結果の偏りを低減することが可能である。
　例えば、複数の合成画像を入力画像としたときの複数の出力のうち、出現頻度が最も大きいものを最終出力とすることができる。出力のばらつきはランダムではなく、試料が本来的に有する、特定の属性が強く反映されると考えられる。したがって、複数の出力のうち出現頻度が最も大きいものを選択することは、極めて現実的な手法である。
　これらの場合においては、複数の出力に基づき、最終出力の確からしさに関する指標値を算出する工程がさらに設けられてもよい。このような指標値を算出することで、得られた結果に対する信頼性や、試料および処理方法が適切であるかなど、各種の付随的情報を取得することが可能である。
　ここで、分類モデルとしては、例えば深層学習アルゴリズムによるものを利用可能である。深層学習アルゴリズムでは、画像から抽出すべき特徴を予め人為的に設定しておく必要はない。教師として適切な事例を多数収集することができれば、精度のよい分類モデルを構築することが可能である。この性質は、細胞やそれを含む組織など、個体差が大きく多様性を有する試料の解析において極めて有用なものである。
　また、教師画像は、試料に含まれる細胞と同種の細胞の像を含むことが望ましい。上記したように、細胞やそれを含む組織は大きな多様性を有するから、特定の細胞からなる試料について精度よく解析を行うためには、試料に含まれる細胞と同種の細胞の像を含む画像を教師画像として、機械学習を実行することが有効である。
　また、本発明における原画像としては、例えば光学顕微鏡を用いて撮像された試料の明視野画像を用いることができる。この場合、細胞は照明光である可視光に対して透明に近いため、試料の内部深くまで照明光が到達する。深さ方向における焦点位置を種々に異ならせて撮像を行うことで種々の深さの情報を取得することができる。このことから、明視野顕微鏡画像は、三次元構造を有する試料を総合的に解析するという目的に特に好適である。
　また本発明において、試料は例えば胚であり、分類モデルは胚に含まれる細胞の数を出力するものとすることができる。例えば、割球数が互いに異なる胚の画像に基づき作成された複数の教師画像と、教師画像の各々に対応する割球数として教示された値により表される分類クラスとに基づき機械学習を実行し分類モデルを構築しておけば、胚を構成する細胞の数を自動的に計数することが可能となる。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　この発明は、細胞を含む試料を画像処理によって解析する目的に好適なものであり、特に、三次元構造を有する試料の構造を総合的に評価することが求められる用途に好適である。例えば生殖補助医療の分野において、培養された胚（受精卵）の状態を評価する作業を効果的に支援することができる。
　１　撮像装置
　１０　試料容器
　１３　撮像部
　１４　制御部
　Ｃ　細胞
　Ｅ　胚（試料）
　Ｉａ～Ｉｄ，Ｉｐ～Ｉｓ　原画像
　Ｉｔ　タイリング画像（教師画像、入力画像）
　Ｓ　試料
　ＳＴ　画像スタック

Claims (12)

  1. 　細胞を含む試料を解析するための画像処理方法であって、
    　前記試料を互いに異なる焦点深さで撮像した複数の原画像を取得する工程と、
    　複数の前記原画像の各々に含まれる前記試料の像を一の画像平面に含む合成画像を作成する工程と、
    　予め構築された分類モデルに前記合成画像を入力し、その出力を取得する工程と
    を備え、
    　前記分類モデルは、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む、教師画像を用いて予め機械学習を実行することで構築されたものである、画像処理方法。
  2. 　前記機械学習は、複数の前記教師画像と、前記教師画像の各々に対し１種類ずつ教示された分類クラスとに基づき実行され、
    　前記分類モデルは、入力された前記合成画像に応じた前記分類クラスを出力する、請求項１に記載の画像処理方法。
  3. 　前記複数の原画像から選出した一部の前記原画像に基づき一の前記合成画像を作成し、しかも、前記原画像の組み合わせを異ならせて複数の前記合成画像を作成し、
    　前記複数の合成画像の各々を前記分類モデルに入力して取得した複数の出力のうち一を選択して最終出力とする、請求項１または２に記載の画像処理方法。
  4. 　前記複数の出力のうち出現頻度が最も大きいものを前記最終出力とする、請求項３に記載の画像処理方法。
  5. 　前記複数の出力に基づき、前記最終出力の確からしさに関する指標値を算出する工程をさらに備える、請求項３または４に記載の画像処理方法。
  6. 　前記分類モデルは、深層学習アルゴリズムによるものである、請求項１ないし５のいずれかに記載の画像処理方法。
  7. 　前記教師画像は、前記試料に含まれる細胞と同種の細胞の像を含む、請求項１ないし６のいずれかに記載の画像処理方法。
  8. 　前記原画像は、光学顕微鏡を用いて撮像された前記試料の明視野画像である、請求項１ないし７のいずれかに記載の画像処理方法。
  9. 　前記試料は胚であり、前記分類モデルは前記胚に含まれる細胞の数を出力する、請求項１ないし８のいずれかに記載の画像処理方法。
  10. 　前記機械学習は、割球数が互いに異なる前記胚の画像に基づき作成された複数の前記教師画像と、前記教師画像の各々に対応する前記割球数として教示された値により表される分類クラスとに基づき実行される、請求項９に記載の画像処理方法。
  11. 　請求項１ないし６のいずれかに記載の画像処理方法の各工程をコンピューターに実行させるための、コンピュータープログラム。
  12. 　請求項１１に記載のコンピュータープログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。
PCT/JP2022/027419 2021-07-28 2022-07-12 画像処理方法、コンピュータープログラムおよび記録媒体 WO2023008180A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22849244.3A EP4379039A1 (en) 2021-07-28 2022-07-12 Image processing method, computer program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021123128A JP2023018827A (ja) 2021-07-28 2021-07-28 画像処理方法、プログラムおよび記録媒体
JP2021-123128 2021-07-28

Publications (1)

Publication Number Publication Date
WO2023008180A1 true WO2023008180A1 (ja) 2023-02-02

Family

ID=85086715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027419 WO2023008180A1 (ja) 2021-07-28 2022-07-12 画像処理方法、コンピュータープログラムおよび記録媒体

Country Status (3)

Country Link
EP (1) EP4379039A1 (ja)
JP (1) JP2023018827A (ja)
WO (1) WO2023008180A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044050A (ja) * 2012-08-24 2014-03-13 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2019133429A (ja) * 2018-01-31 2019-08-08 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像判定方法、プログラムおよび記録媒体
CN111724379A (zh) * 2020-06-24 2020-09-29 武汉互创联合科技有限公司 基于组合视图的显微图像细胞计数与姿态识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044050A (ja) * 2012-08-24 2014-03-13 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2019133429A (ja) * 2018-01-31 2019-08-08 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像判定方法、プログラムおよび記録媒体
CN111724379A (zh) * 2020-06-24 2020-09-29 武汉互创联合科技有限公司 基于组合视图的显微图像细胞计数与姿态识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAUDONIS VIDAS, PAULAUSKAITE-TARASEVICIENE AGNE, SUTIENE KRISTINA: "Fast Multi-Focus Fusion Based on Deep Learning for Early-Stage Embryo Image Enhancement", SENSORS, MDPI, CH, vol. 21, no. 3, 1 February 2021 (2021-02-01), CH , pages 863 - 15, XP093029553, ISSN: 1424-8220, DOI: 10.3390/s21030863 *

Also Published As

Publication number Publication date
JP2023018827A (ja) 2023-02-09
EP4379039A1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
JP2021515240A (ja) 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
Giurumescu et al. Quantitative semi-automated analysis of morphogenesis with single-cell resolution in complex embryos
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011016189A1 (ja) 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
CN111788297B (zh) 细胞集落挑取系统
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2013099045A1 (ja) 画像表示装置および画像表示方法
JPWO2011013319A1 (ja) 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN1662810A (zh) 生物分子分析装置
US11822066B2 (en) Sample observation device and sample observation method
WO2018100917A1 (ja) 情報処理装置、観察システム、情報処理方法及びプログラム
WO2023008180A1 (ja) 画像処理方法、コンピュータープログラムおよび記録媒体
JP7382289B2 (ja) 画像処理方法、プログラムおよび記録媒体
JP2023035518A (ja) 画像処理方法、コンピュータープログラムおよび記録媒体
EP4317403A1 (en) Cell counting method, construction method of machine learning model for cell counting, computer program, and storage medium
EP4027182A1 (en) Lightsheet fluorescence microscopy for a plurality of samples
US11921102B2 (en) Compact optical imaging system for cell culture monitoring
JP2023066991A (ja) 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体
CN111902711B (zh) 试样观察装置和试样观察方法
JP2023035517A (ja) 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体
JP2024034060A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP4125065A1 (en) Image processing method and classification model construction method
WO2019159524A1 (ja) 撮像システム及び生体対象物移動装置
JP7382290B2 (ja) 画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849244

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022849244

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022849244

Country of ref document: EP

Effective date: 20240228