WO2020054195A1 - オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム - Google Patents

オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム Download PDF

Info

Publication number
WO2020054195A1
WO2020054195A1 PCT/JP2019/027034 JP2019027034W WO2020054195A1 WO 2020054195 A1 WO2020054195 A1 WO 2020054195A1 JP 2019027034 W JP2019027034 W JP 2019027034W WO 2020054195 A1 WO2020054195 A1 WO 2020054195A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
organoid
cell mass
precursor
histogram
Prior art date
Application number
PCT/JP2019/027034
Other languages
English (en)
French (fr)
Inventor
大地 末政
Original Assignee
Jsr株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jsr株式会社 filed Critical Jsr株式会社
Publication of WO2020054195A1 publication Critical patent/WO2020054195A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present invention relates to an organoid image analysis device, an organoid image analysis method, and a program.
  • This application claims priority based on Japanese Patent Application No. 2018-170342 for which it applied to Japan on September 12, 2018, and uses the content here.
  • Patent Document 1 describes an image of a cultured organoid. Further, paragraph 0091 of Patent Document 1 describes image analysis of an organoid. Paragraph 0092 of Patent Document 1 describes that as a result of organoid image analysis, single-selected Lgr5 + stem cells can induce crypt-villus organoids.
  • Patent Document 2 describes that texture analysis is a method of recognizing a subject by analyzing a texture feature amount obtained from a captured image.
  • Patent Document 2 describes that, for example, a luminance distribution or a spatial frequency of a luminance value of each pixel included in a captured image is used as a texture feature amount.
  • Patent Document 2 discloses that when feature value extraction is used as subject recognition, feature points such as eyebrows, eyes, nose, and lip end points, face contour points, head vertices, and lower end points of chins are used as feature amounts. Is described.
  • the number of feature points included in an image of a cell mass such as an image of a precursor to be an organoid is smaller than the number of feature points included in an image of a human face or the like. Therefore, conventionally, it has been considered that even if the texture analysis is applied to the image of the cell mass, it cannot be determined with high accuracy whether or not the cell mass is a precursor that becomes an organoid.
  • the object of the present invention is to provide an organoid image analysis device, an organoid image analysis method, and a program capable of determining with high accuracy whether or not a cell mass is a precursor to be an organoid.
  • the present inventor has conducted intensive studies to perform high-density (dense) sampling on an image of a cell mass and perform texture analysis to determine whether the cell mass is a precursor to be an organoid. We have found that we can judge with accuracy.
  • One aspect of the present invention is a texture analysis unit that performs a texture analysis on an image of a cell mass, and determines whether or not the cell mass is a precursor to be an organoid based on an analysis result of the texture analysis unit.
  • An organoid image analysis device including a determination unit.
  • the texture analysis may be a texture analysis by high-density sampling.
  • the inventor of the present invention has conducted intensive research to calculate an LBP (Local Binary Pattern) feature amount of each pixel obtained by dividing an image of a cell mass, and to convert the LBP feature amount of each pixel into a histogram. And found that it is possible to determine with high accuracy whether or not the cell mass is a precursor to be an organoid by using the LBP histogram.
  • LBP Local Binary Pattern
  • the texture analysis unit includes an LBP feature amount calculation unit that calculates an LBP feature amount of each pixel obtained by dividing the cell mass image, and the LBP feature amount.
  • An LBP histogram generation unit that generates an LBP histogram, which is a histogram of the LBP feature amount of each pixel calculated by the calculation unit, wherein the determination unit determines the LBP histogram generated by the LBP histogram generation unit. Based on this, it may be determined whether or not the cell mass is a precursor that becomes an organoid.
  • one axis of the LBP histogram corresponds to each value of the LBP feature calculated by the LBP feature calculator, and the other axis of the LBP histogram.
  • Corresponds to the appearance frequency of each value of the LBP feature amount calculated by the LBP feature amount calculation unit, and the LBP histogram of which the determination unit determines that the cell mass is a precursor to be an organoid is determined.
  • the appearance frequency of the central part of the one axis is higher than the appearance frequency of the central part of the one axis of the one axis of the LBP histogram determined by the determination unit that the cell mass is not a precursor to be an organoid.
  • the one of the LBP histograms determined by the determination unit to be not a precursor of the cell mass to be an organoid The appearance frequency of both ends of the axis may be higher than the appearance frequency of the one end of the one axis of the one axis of the LBP histogram determined by the determination unit that the cell mass is a precursor to be an organoid. Good.
  • the present inventor has conducted intensive studies to generate a HOG (Histograms of Oriented Gradients) histogram, which is a histogram of the luminance gradient direction of a local region in an image of a cell mass, and based on the HOG histogram, It has been found that it is possible to determine with high accuracy whether or not a lump is a precursor to be an organoid.
  • HOG Heistograms of Oriented Gradients
  • the texture analysis unit includes a HOG histogram generation unit that generates a HOG histogram for the image of the cell mass, and the determination unit generates the HOG histogram by the HOG histogram generation unit. Based on the HOG histogram thus determined, it may be determined whether or not the cell mass is a precursor that becomes an organoid.
  • one axis of the HOG histogram corresponds to a gradient direction of luminance
  • the other axis of the HOG histogram corresponds to a gradient intensity of luminance.
  • the gradient intensity of the luminance of the portion indicating the horizontal component of the one axis of the HOG histogram which is determined by the determination unit to be not the precursor of the cell mass, is the precursor of the cell mass to be the organoid. It is determined by the determination unit that the presence of the HOG histogram is higher than the gradient intensity of the luminance of the portion indicating the horizontal component of the one axis of the HOG histogram, and that the cell mass is not a precursor to be an organoid.
  • the gradient intensity of the luminance of the portion showing the vertical component of the one axis of the HOG histogram is determined by the May be higher than the gradient strength of the luminance of the portion indicating the vertical component of the one shaft of the HOG histogram is determined as a precursor by the determination unit that.
  • the inventor of the present invention has conducted intensive studies to generate a brightness roughness curve that is a curve indicating brightness on an arbitrary line that cuts an image of a cell mass, and a first circle having a first radius rolls on the brightness roughness curve.
  • Calculating a luminance roughness feature amount that is a ratio of a first distance that is a distance and a second distance that is a distance at which a second circle having a second radius different from the first radius rolls on the luminance roughness curve; It has been found that it is possible to determine with high accuracy whether or not a cell mass is a precursor to be an organoid based on the luminance roughness feature amount.
  • the determination unit is a precursor in which the cell mass becomes an organoid based on a luminance roughness characteristic amount obtained from a luminance roughness curve of the image of the cell mass. It may be determined whether or not.
  • the texture analysis unit includes a luminance roughness curve generation unit that generates a luminance roughness curve that is a curve indicating luminance on an arbitrary line that cuts the image of the cell mass.
  • a first distance that is a distance at which a first circle having a first radius rolls on the brightness roughness curve, and a second circle having a second radius different from the first radius rolls on the brightness roughness curve.
  • a luminance roughness characteristic amount calculation unit that calculates a luminance roughness characteristic amount that is a ratio to a second distance that is a distance, wherein the determination unit calculates the luminance roughness characteristic amount calculated by the luminance roughness characteristic amount calculation unit. Whether or not the cell mass is a precursor that becomes an organoid may be determined based on the feature amount.
  • the determination unit determines that the cell mass is an organoid.
  • the determination unit is a precursor in which the cell mass becomes an organoid. It may be determined that there is not.
  • the organoid image analyzing apparatus performs machine learning of the determination unit by using a teacher image, which is an image of the cell mass in which it is known whether the cell mass is a precursor to be an organoid.
  • a learning unit may be further provided.
  • the organoid image analysis device further includes an acquisition unit that acquires an image of the cell mass captured by an imaging device as an image of the cell mass that is a target of the texture analysis by the texture analysis unit. Is also good.
  • One aspect of the present invention is a texture analysis step of performing a texture analysis on an image of a cell mass, and a determination that determines whether the cell mass is a precursor to be an organoid based on an analysis result in the texture analysis step. And an organoid image analysis method.
  • the organoid image analysis method further includes a learning step of performing machine learning by using a teacher image, which is an image of the cell mass in which it is known whether the cell mass is a precursor to be an organoid. May be provided.
  • One embodiment of the present invention provides a computer with a texture analysis step of performing a texture analysis on an image of a cell mass, and whether or not the cell mass is a precursor to be an organoid based on an analysis result in the texture analysis step. And a determination step.
  • the program according to one embodiment of the present invention further executes a learning step of performing machine learning by using a teacher image which is an image of the cell mass, which is known as to whether or not the cell mass is a precursor to be an organoid. Is also good.
  • an organoid image analysis device an organoid image analysis method, and a program capable of determining with high accuracy whether or not a cell mass is a precursor to be an organoid.
  • FIG. 9 is a diagram illustrating an example of feature points extracted by SIFT. It is a figure showing an example of the organoid image analysis device of a 1st embodiment.
  • FIG. 4 is a diagram for explaining LBP feature amounts.
  • FIG. 7 is a diagram illustrating a comparison between an image of a cell mass acquired by an analysis target image acquisition unit and an image obtained by processing the image by an LBP feature amount calculation unit.
  • FIG. 5 is a diagram illustrating an example of an LBP histogram generated by an LBP histogram generation unit.
  • FIG. 4 is a diagram showing an LBP histogram and the like generated by the inventor.
  • FIG. 5 is a flowchart illustrating an example of a process performed by the organoid image analysis device according to the first embodiment. It is a figure showing an example of the organoid image analysis device of a 2nd embodiment. It is a figure for explaining roughly processing by a HOG histogram generation part. It is a figure showing the HOG histogram which the inventor generated. It is a flow chart for explaining an example of processing performed in an organoid image analysis device of a 2nd embodiment. It is a figure showing an example of the organoid image analysis device of a 3rd embodiment.
  • FIG. 5 is a diagram for explaining a brightness roughness curve generated by a brightness roughness curve generation unit and the like.
  • FIG. 3 is a diagram for explaining a luminance roughness feature amount calculated by the inventor. It is a flow chart for explaining an example of processing performed in an organoid image analysis device of a 3rd embodiment.
  • FIG. 2 is a diagram conceptually showing culture in Example 1.
  • FIG. 4 is a diagram for explaining “normal” and “abnormal” in the first embodiment.
  • organoid image analysis apparatus Before describing the embodiments of the organoid image analysis apparatus, the organoid image analysis method, and the program of the present invention, an image of a cell mass to be analyzed by the organoid image analysis apparatus of the present invention will be described.
  • FIG. 1 is a diagram showing an example of an image of a cell mass.
  • FIG. 1A shows an example of an image of a cell mass when the cell mass is a precursor that becomes a brain organoid
  • FIG. An example of an image of a cell mass in the case where there is no cell cluster is shown.
  • a cell mass that is a precursor that becomes a brain organoid is referred to as “normal”
  • a cell mass that is not a precursor that becomes a brain organoid is referred to as “abnormal”.
  • the cell mass is black at the center and translucent at the outside as shown inside the circle A1 in FIG.
  • the cell mass also has vesicle tissue as shown inside circle A2, which is connected to the outer part of the tissue inside circle A1. As indicated by arrow A3, the outline of the cell mass is slightly clear.
  • the cell mass when the cell mass is not a precursor that becomes a brain organoid (in the case of “abnormality”), the cell mass is darkened as a whole as shown inside a circle B1 in FIG. 1 (B).
  • the cell mass has a small granular pattern as shown inside the circle B2.
  • the outline of the cell mass is not clear as compared with the outline of the cell mass in FIG.
  • SIFT Scale Invariant Feature Transform
  • Orientation assignment the intensity and direction around the feature point are calculated, a direction histogram is created, and the direction of the feature point is determined.
  • Keypoint descriptor a feature amount vector including a luminance gradient and a direction is created.
  • LoG Laplacian of Gaussian
  • DoG Difference of Gaussian
  • SIFT is classified as "sparse (sparse) sampling”.
  • the feature of the feature amount is a luminance gradient.
  • SURF Speeded Up Robust Features
  • SURF Speeded Up Robust Features
  • SURF is a speedup of SIFT.
  • calculation of an approximate Hessian matrix construction of a scale space, and key point detection by searching for an extremum are performed.
  • calculating the approximate Hessian matrix approximation by a box filter (Box filter) and speeding up by an integral image (integral image) are performed.
  • SURF is classified as "sparse sampling”.
  • the feature of the feature amount is a luminance gradient.
  • A-KAZE Accelerated KAZE
  • FED Fest Explicit Diffusion
  • M-LDB Modified Local Difference Binary
  • A-KAZE is classified as “sparse sampling”.
  • the feature of the feature amount is a luminance gradient.
  • HOG Hetograms of Oriented Gradients
  • HOG feature is a histogram of the luminance gradient direction of a local region (cell).
  • the HOG feature is obtained by using the histogram as a feature.
  • HOG has an excellent feature that it is robust to the image scale because the gradient is used as the feature amount.
  • a gradient direction and a gradient intensity of luminance are calculated, a histogram is created, and normalization in a block area is performed.
  • HOG is classified as “dense (dense) sampling”.
  • the feature of the feature amount is a luminance gradient.
  • LBP Local Binary Pattern
  • the feature of the feature amount is a local pattern obtained by comparing the magnitude of the central pixel value with the peripheral pixel value.
  • FIG. 2 is a diagram showing an example of a sampling method and the like.
  • FIG. 2A is a diagram for explaining DoG.
  • FIG. 2B shows random sampling
  • FIG. 2C shows grid sampling.
  • DoG Difference of Gaussian
  • DoG image a filter that creates a difference image
  • FIG. 2A conceptually shows the narrowing down in DoG.
  • the random sampling shown in FIG. 2B is called “dense (dense) sampling”.
  • the grid sampling shown in FIG. 2C is called “dense (dense) sampling”.
  • SIFT and SURF described above correspond to sparse sampling
  • LBP corresponds to dense sampling.
  • SIFT Keypoint narrowing by DoG filtering is used.
  • each image is an image of a precursor of brain organoids
  • each of the above-described feature detectors determines whether the image is an image of a cell mass that is not a precursor that becomes a brain organoid.
  • SIFT the detection rate was 55%
  • the erroneous detection rate was 36%
  • the predictive value was 41%
  • the detection rate was 55%
  • the false detection rate was 22%
  • the predictive value was 54%
  • A-KAZE the detection rate was 52%
  • the erroneous detection rate was 29%, and the predictive value was 43%.
  • FIG. 3 is a diagram showing an example of feature points extracted by SIFT.
  • FIG. 3A shows an example of a feature point extracted from an image of a cell mass including budding (budding) (“Bud” image) by SIFT.
  • FIG. 3B shows an example of feature points extracted from an image of a cell mass without budding (“No bud” image) by SIFT.
  • 33 feature points were extracted from the “Bud” image by SIFT.
  • 32 feature points were extracted from the “No bud” image by SIFT.
  • 1007 feature points were extracted from the image of the dollar bill by SIFT.
  • the inventor of the present invention has made extensive studies and found that the number of feature points extracted from an image of a cell cluster by SIFT is small, and that SIFT extracts feature points only from the outermost contour of the cell cluster.
  • FIG. 4 is a diagram illustrating an example of the organoid image analysis device 1 according to the first embodiment.
  • the organoid image analysis device 1 includes an analysis target image acquisition unit 11, a texture analysis unit 12, a determination unit 13, a learning unit 14, and a teacher image acquisition unit 15.
  • the analysis target image acquisition unit 11 captures, as an image of a cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, a cell after being captured by an external imaging device (not shown) and subjected to processing such as trimming. Get an image of the chunk.
  • the organoid image analysis device 1 includes the analysis target image acquisition unit 11, but in another example, the organoid image analysis device 1 includes an imaging device, and the analysis target image acquisition unit 11 is included. May not be provided.
  • the texture analysis unit 12 performs the texture analysis on the image of the cell mass acquired by the analysis target image acquisition unit 11.
  • the texture analysis unit 12 includes an LBP feature amount calculation unit 12A1 and an LBP histogram generation unit 12A2.
  • the LBP feature calculation unit 12A1 calculates the LBP feature of each pixel obtained by dividing the image of the cell mass.
  • FIG. 5 is a diagram for explaining the LBP feature amount.
  • the LBP feature quantity calculation unit 12A1 compares the luminance of one central pixel of the nine pixels with the luminance of eight peripheral pixels around the central pixel. In the example shown in FIG. 5B, the luminance of the center pixel is “100”. Among the eight peripheral pixels, the luminance of the pixel located on the upper left of the central pixel is “172”, which is higher than the luminance of the central pixel. Therefore, as shown in FIG.
  • a pixel located on the upper left side of the center pixel is represented by a value “1”.
  • the luminance of the pixel located above the central pixel among the eight peripheral pixels is “74”, which is lower than the luminance of the central pixel. Therefore, as shown in FIG. 5C, a pixel located above the center pixel is represented by a value “0”.
  • the luminance of the pixel located on the upper right side of the central pixel is “82”, which is lower than the luminance of the central pixel. Therefore, as shown in FIG. 5C, a pixel located on the upper right side of the center pixel is represented by a value “0”.
  • the luminance of the pixel located to the right of the central pixel is “98”, which is lower than the luminance of the central pixel. Therefore, as shown in FIG. 5C, a pixel located on the right side of the center pixel is represented by a value “0”.
  • the luminance of the pixel located on the lower right side of the central pixel is “132”, which is higher than the luminance of the central pixel. Therefore, as shown in FIG. 5C, a pixel located on the lower right side of the center pixel is represented by a value “1”.
  • the luminance of the pixel located below the central pixel is “116”, which is higher than the luminance of the central pixel.
  • a pixel located below the center pixel is represented by a value “1”.
  • the luminance of the pixel located on the lower left side of the central pixel among the eight peripheral pixels is “70”, which is lower than the luminance of the central pixel. Therefore, as shown in FIG. 5C, a pixel located on the lower left side of the center pixel is represented by a value “0”.
  • the luminance of the pixel located on the left side of the center pixel among the eight peripheral pixels is “73”, which is lower than the luminance of the center pixel. Therefore, as shown in FIG. 5C, a pixel located on the left side of the center pixel is represented by a value “0”.
  • the LBP feature quantity calculation unit 12A1 expresses the center pixel by an 8-digit binary number.
  • the LBP feature amount calculation unit 12A1 determines that the value “1” of the pixel located on the upper left side of the center pixel, the value “0” of the pixel located on the upper side of the center pixel, and the center The value “0” of the pixel located on the upper right side of the pixel, the value “0” of the pixel located on the right side of the center pixel, the value “1” of the pixel located on the lower right side of the center pixel, and the value of the center pixel Eight-digit 2 in which the value “1” of the pixel located on the lower side, the value “0” of the pixel located on the lower left side of the center pixel, and the value “0” of the pixel located on the left side of the center pixel are arranged.
  • the central pixel is represented by the base number “100001100”.
  • the LBP feature amount calculation unit 12A1 expresses the LBP feature amount of the center pixel by a value “140” obtained by converting an 8-digit binary number “100001100” into a decimal number.
  • the LBP feature amount calculation unit 12A1 calculates the LBP feature amount of each of the plurality of pixels obtained by dividing the image of the cell mass by using the above-described method.
  • FIG. 6 is a diagram showing a comparison between the image of the cell mass acquired by the analysis target image acquiring unit 11 and the image obtained by processing the image by the LBP feature amount calculating unit 12A1.
  • FIG. 6A shows an image of the cell mass acquired by the analysis target image acquiring unit 11 (an image of the cell mass after being photographed by the photographing device and subjected to processing such as trimming).
  • FIG. 6B shows an image in which the processing shown in FIG. 6A is performed by the LBP feature amount calculation unit 12A1.
  • the LBP histogram generation unit 12A2 generates an LBP histogram that is a histogram of the LBP feature amount of each pixel calculated by the LBP feature amount calculation unit 12A1.
  • FIG. 7 is a diagram illustrating an example of the LBP histogram generated by the LBP histogram generation unit 12A2.
  • the horizontal axis indicates each value of the LBP feature amount calculated by the LBP feature amount calculation unit 12A1.
  • the minimum value of the LBP feature calculated by the LBP feature calculator 12A1 is set to a value “0”, and the maximum value of the LBP feature calculated by the LBP feature calculator 12A1 is set to a value. It is set to “25”.
  • FIG. 7 is a diagram illustrating an example of the LBP histogram generated by the LBP histogram generation unit 12A2.
  • the horizontal axis indicates each value of the LBP feature amount calculated by the LBP feature amount calculation unit 12A1.
  • the minimum value of the LBP feature calculated by the LBP feature calculator 12A1 is set
  • the vertical axis indicates the appearance frequency of each value of the LBP feature calculated by the LBP feature calculator 12A1.
  • the LBP histogram illustrated in FIG. 7 is a histogram of the LBP histogram illustrated in FIG. 6B (the image obtained by processing the image illustrated in FIG. 6A by the LBP feature amount calculation unit 12A1).
  • the present inventor has conducted intensive studies to calculate the LBP feature amount of each pixel obtained by dividing each of a plurality of cell mass images known to be precursors of the cell mass as a brain organoid, An LBP histogram (an LBP histogram of an image of a cell mass which is a precursor to be a brain organoid) which is a histogram of LBP feature amounts of pixels was generated. Furthermore, the present inventor has conducted intensive studies to calculate the LBP feature amount of each pixel obtained by dividing each of a plurality of images of cell clumps that are known not to be cell precursors that become brain organoids. Then, an LBP histogram (an LBP histogram of an image of a cell mass that is not a precursor that becomes a brain organoid) that is a histogram of the LBP feature amount of each pixel is generated.
  • FIG. 8 is a diagram showing an LBP histogram generated by the present inventors.
  • FIG. 8 (A) shows an image of a plurality of cell clusters used by the present inventor to generate the LBP histogram that are known to be precursors of the cell clusters to become brain organoids (“normal” images). Is shown.
  • FIG. 8 (B) shows images of a plurality of cell clumps ("abnormal" images) that the present inventors have used to generate the LBP histogram and that are known not to be precursors of cell clumps that become brain organoids.
  • FIG. 8 (A) shows an image of a plurality of cell clusters used by the present inventor to generate the LBP histogram that are known to be precursors of the cell clusters to become brain organoids (“normal” images).
  • FIG. 8 (B) shows images of a plurality of cell clumps (“abnormal” images) that the present inventors have used to generate the LBP histogram and that are known not to be precursors of cell
  • FIG. 8 (C) shows the average value (“normal” LBP histogram) of the LBP histogram of the image of the cell mass which is a precursor to be a brain organoid generated by the present inventors, and becomes a brain organoid generated by the present inventors.
  • the average value of the LBP histogram of the image of the cell mass that is not a precursor (“abnormal" LBP histogram) is shown in comparison.
  • the present inventor has conducted intensive research and has conducted a study in the center of the horizontal axis of the LBP histogram of the image of the cell mass which is a precursor to become a brain organoid (the value of the LBP feature amount is “12”).
  • the frequency of appearance (values on the vertical axis of the “normal” LBP histogram from “0.06” to “0.07”) corresponding to the “-” part of “14” is the value of the image of the cell mass that is not a precursor that becomes a brain organoid.
  • Appearance frequency corresponding to the center of the horizontal axis of the LBP histogram portion where the value of the LBP feature amount is “12” to “14” (the values “0.04” to “0. 05 ").
  • the present inventor has conducted intensive studies and found that both ends of the horizontal axis of the LBP histogram (the value of the LBP feature amount is “ The appearance frequency (the value “0.04” on the vertical axis of the “abnormal” LBP histogram) corresponding to the “1” part and the LBP feature value “25” is a precursor that becomes a brain organoid.
  • Appearance frequency (“normal”) corresponding to both ends of the horizontal axis of the LBP histogram of the image of a certain cell mass (portion where the value of the LBP feature value is “1” and portion where the value of the LBP feature value is “25”) Higher than the value on the vertical axis of the LBP histogram “0.03”).
  • the determination unit 13 determines whether the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor that becomes an organoid based on the analysis result of the texture analysis unit 12. Is determined. More specifically, the determination unit 13 determines whether the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor that becomes an organoid based on the LBP histogram generated by the LBP histogram generation unit 12A2. Is determined. More specifically, the determination unit 13 makes a determination reflecting the research result shown in FIG.
  • Appearance frequency (value on the vertical axis of the LBP histogram) of the center of the horizontal axis of the LBP histogram (the value of the LBP feature value is an intermediate value) determined by the determination unit 13 that the cell mass is a precursor to be an organoid Is the frequency of appearance of the central part of the horizontal axis of the LBP histogram (the part where the value of the LBP feature value is an intermediate value) determined by the determination unit 13 that the cell mass is not a precursor to become an organoid (the vertical axis of the LBP histogram indicates the Value).
  • both ends of the horizontal axis of the LBP histogram determined by the determination unit 13 that the cell mass is not a precursor that becomes an organoid portion where the value of the LBP feature value is the minimum value and the value of the LBP feature value is the maximum value
  • the value on the vertical axis of the LBP histogram is determined at both ends of the horizontal axis of the LBP histogram (the value of the LBP feature amount is determined by the determination unit 13 to determine that the cell mass is a precursor that becomes an organoid).
  • the appearance frequency (the value on the vertical axis of the LBP histogram) of the minimum value part and the LBP feature value is the maximum value part) is higher.
  • the present inventor has studied 80 images of cell masses (teacher images) for which it is known whether or not the cell masses shown in FIGS. 8A and 8B are precursors to be brain organoids.
  • the learning of the determination unit 13 was performed using a support vector machine (SVM).
  • SVM support vector machine
  • any known learning algorithm such as a gradient boost, a random forest, a logistic regression, a neural network, a Naive Bayes classifier, a statistical regression model, a mathematical model, or the like can be used.
  • the determination unit 13 correctly determined that 25 of the 31 “normal” images shown in FIG. 8A were “normal” images.
  • the determination unit 13 correctly determined that 44 images among the 49 “abnormal” images shown in FIG.
  • the determination unit 13 erroneously determined that six of the 31 “normal” images shown in FIG. 8A are “abnormal” images. In addition, the determination unit 13 erroneously determined that five of the 49 “abnormal” images shown in FIG. 8B are “normal” images. That is, the determination unit 13 correctly determined whether the 69 images among the 80 images were “normal” images or “abnormal” images. Further, the determination unit 13 erroneously determined whether 11 of the 80 images are “normal” images or “abnormal” images.
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using a teacher image that is an image of a cell mass in which it is known whether or not the cell mass is a precursor that becomes an organoid.
  • the teacher image obtaining unit 15 obtains a teacher image which is an image of a cell mass for which it is known whether or not the cell mass is a precursor to become an organoid, as shown in FIGS. 8A and 8B, for example. I do.
  • the organoid image analysis device 1 includes the learning unit 14 and the teacher image acquisition unit 15, but in another example, the organoid image analysis device 1 includes the learning unit 14 and the teacher image acquisition unit 15. May not be provided. That is, in another example, the determination unit 13 has a performance equivalent to the performance of the determination unit 13 after learning in the example illustrated in FIG. 4 from the beginning.
  • FIG. 9 is a flowchart illustrating an example of a process performed by the organoid image analysis device 1 according to the first embodiment.
  • the teacher image acquiring unit 15 acquires a teacher image that is an image of a cell mass in which it is known whether or not the cell mass is a precursor that becomes an organoid.
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using the teacher image acquired in step S11.
  • the analysis target image acquisition unit 11 captures an image of a cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, using an external imaging device (not shown), and performs processing such as trimming.
  • step S14 and step S15 the texture analysis unit 12 performs texture analysis on the image of the cell mass acquired in step S13. Specifically, in step S14, the LBP feature amount calculation unit 12A1 calculates the LBP feature amount of each pixel obtained by dividing the image of the cell mass acquired in step S13. Next, in step S15, the LBP histogram generation unit 12A2 generates an LBP histogram obtained by converting the LBP feature amount of each pixel calculated in step S14 into a histogram. Next, in step S16, the determination unit 13 determines whether or not the cell mass contained in the image analyzed by the texture analysis unit 12 is a precursor to be an organoid based on the LBP histogram generated in step S15. Is determined.
  • the texture analysis unit 12 including the LBP feature amount calculation unit 12A1 and the LBP histogram generation unit 12A2 uses the cell mass acquired by the analysis target image acquisition unit 11 , And perform a texture analysis on the image of the image No. 1 with higher density (dense) than SIFT, SURF and A-KAZE. For this reason, the organoid image analyzer 1 of the first embodiment determines whether or not a cell mass is a precursor to become an organoid, with higher accuracy than when texture analysis is performed by, for example, SIFT, SURF, or A-KAZE. Can be determined.
  • the organoid image analyzer 1 of the second embodiment has the same configuration as the organoid image analyzer 1 of the above-described first embodiment, except for the points described below. Therefore, according to the organoid image analysis device 1 of the second embodiment, the same effects as those of the above-described organoid image analysis device 1 of the first embodiment can be obtained except for the points described below.
  • FIG. 10 is a diagram illustrating an example of the organoid image analysis device 1 according to the second embodiment.
  • the organoid image analysis device 1 includes an analysis target image acquisition unit 11, a texture analysis unit 12, a determination unit 13, a learning unit 14, and a teacher image acquisition unit 15.
  • the analysis target image acquisition unit 11 like the analysis target image acquisition unit 11 of the organoid image analysis device 1 of the first embodiment, serves as an image of a cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, external imaging. An image of the cell mass after photographing by a device (not shown) and subjected to processing such as trimming is acquired.
  • the texture analysis unit 12 performs the texture analysis on the image of the cell mass acquired by the analysis target image acquisition unit 11.
  • the texture analysis unit 12 includes a HOG (Histograms @ of @ Oriented @ Gradients) histogram generation unit 12B.
  • the HOG histogram generation unit 12B generates a HOG histogram which is a histogram of the luminance gradient direction of a local region in the image of the cell mass acquired by the analysis target image acquisition unit 11. That is, the HOG histogram generation unit 12B generates a HOG histogram for the image of the cell mass acquired by the analysis target image acquisition unit 11.
  • FIG. 11 is a diagram schematically illustrating a process performed by the HOG histogram generation unit 12B.
  • the HOG histogram generation unit 12B calculates the luminance gradient direction (the direction in which the luminance is changing) (the direction of the arrow in FIG. 11B) and the luminance gradient intensity (luminance) in each of the 25 pixels (local region). ) (The length of the arrow in FIG. 11B) is calculated. In the example shown in FIG. 11B, the arrow in FIG. 11B becomes longer as the luminance gradient intensity increases.
  • the HOG histogram generation unit 12B converts the luminance gradient direction and the luminance gradient intensity in each of the 25 pixels into a histogram as shown in FIG. 11C.
  • the horizontal axis indicates the direction of the luminance gradient
  • the vertical axis indicates the cumulative intensity (accumulated luminance gradient intensity).
  • the luminance gradient directions are “0 ° to 20 °”, “20 ° to 40 °”, and “40 ° to 60 °”.
  • the inventor of the present invention has conducted intensive studies to make a HOG histogram (brain brain) which is a histogram of brightness gradient directions of local regions in an image of a plurality of cell clumps known to be precursors of cell clumps that become brain organoids.
  • a HOG histogram of an image of the cell mass, a precursor to be an organoid was generated.
  • the present inventor has conducted intensive studies and has conducted a HOG histogram, which is a histogram of brightness gradient directions of local regions in an image of a plurality of cell clumps that are known not to be a precursor of a cell clump to be a brain organoid. (HOG histogram of an image of a cell mass that is not a precursor to become a brain organoid) was generated.
  • FIG. 12 is a diagram showing a HOG histogram generated by the inventor.
  • the horizontal axis indicates the direction of the luminance gradient
  • the vertical axis indicates the cumulative intensity (accumulated luminance intensity).
  • the gradient direction (horizontal axis) of the luminance includes a portion of “0 ° to 10 °” indicated by a value “1” and a portion of “10 ° to 20 °” indicated by a value of “2”.
  • the present inventor has conducted intensive studies to generate a HOG histogram of an image of a cell mass that is a precursor to be a brain organoid. An image of the cell mass (“normal” image) (see FIG. 8 (A)) was used.
  • the present inventor has conducted intensive studies to generate a HOG histogram of an image of a cell mass that is not a precursor that becomes a brain organoid, and that the cell mass is not a precursor that becomes a brain organoid as described above. Images of multiple cell masses ("abnormal" images) (see FIG. 8 (B)) were used. The HOG histogram shown in FIG.
  • HOG histogram 12 includes a HOG histogram of an image of a cell mass which is a precursor to be a brain organoid generated by the present inventors (“normal” HOG histogram) and a precursor to be a brain organoid generated by the present inventors The HOG histogram of an image of a cell mass that is not (“abnormal” HOG histogram) is shown in comparison.
  • the present inventor has conducted intensive studies to find a portion (value “value” indicating a horizontal component of a horizontal axis of a HOG histogram (an “abnormal” HOG histogram) of an image of a cell mass that is not a precursor to be a brain organoid.
  • the intensity of the luminance gradient of the portion indicated by “1” is a portion indicating the horizontal component of the horizontal axis of the HOG histogram (“normal” HOG histogram) of the image of the cell mass which is a precursor to be a brain organoid (with the value “1”). (Shown portion) is higher than the gradient intensity of the luminance.
  • a portion value “value” indicating a horizontal component of a horizontal axis of a HOG histogram (an “abnormal” HOG histogram) of an image of a cell mass that is not a precursor to be a brain organoid.
  • the intensity of the luminance gradient of the portion indicated by “1” is a
  • the present inventor has conducted intensive studies, and has shown in the study the portion of the HOG histogram (“abnormal” HOG histogram) of the image of a cell mass that is not a precursor to be a brain organoid showing the vertical component of the horizontal axis (“abnormal” HOG histogram).
  • the gradient intensity of the luminance of the value “10” indicates the vertical component of the horizontal axis of the HOG histogram (“normal” HOG histogram) of the image of the cell mass which is a precursor to be a brain organoid (the value “10”). ) are higher than the gradient intensity of the luminance.
  • the determination unit 13 determines whether the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor that becomes an organoid based on the analysis result of the texture analysis unit 12. Is determined. Specifically, the determination unit 13 determines whether the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor to be an organoid based on the HOG histogram generated by the HOG histogram generation unit 12B. Is determined. More specifically, the determination unit 13 makes a determination reflecting the research result shown in FIG. The gradient intensity of the luminance of the portion indicating the horizontal component of the horizontal axis of the HOG histogram (the portion indicated by the value “1” in FIG.
  • the HOG histogram determined by the determination unit 13 not to be the precursor of the cell mass is the cell mass. Is higher than the gradient intensity of the luminance of the portion (the portion indicated by the value “1” in FIG. 12) indicating the horizontal component of the horizontal axis of the HOG histogram determined by the determination unit 13 as a precursor to be an organoid. Further, the gradient intensity of the luminance of the portion indicating the vertical component of the horizontal axis of the HOG histogram (the portion indicated by the value “10” in FIG.
  • the gradient intensity of the luminance of the portion indicating the vertical component of the horizontal axis of the HOG histogram (the portion indicated by the value “10” in FIG. 12) of the HOG histogram determined by the determination unit 13 to be a precursor of the cell mass becoming an organoid is higher. .
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using a teacher image that is an image of a cell mass in which it is known whether or not the cell mass is a precursor that becomes an organoid.
  • the teacher image obtaining unit 15 obtains a teacher image which is an image of a cell mass for which it is known whether or not the cell mass is a precursor to become an organoid, as shown in FIGS. 8A and 8B, for example. I do.
  • the organoid image analysis device 1 includes a learning unit 14 and a teacher image acquisition unit 15, but in another example, the organoid image analysis device 1 includes the learning unit 14 and the teacher image acquisition unit 15. May not be provided. That is, in another example, the determination unit 13 has the same performance as the performance of the determination unit 13 after learning in the example illustrated in FIG. 10 from the beginning.
  • FIG. 13 is a flowchart illustrating an example of a process performed by the organoid image analysis device 1 according to the second embodiment.
  • the teacher image acquiring unit 15 determines whether the teacher is an image of a cell mass whose cell mass is a known precursor or not. Get an image.
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using the teacher image acquired in step S21.
  • the analysis target image acquisition unit 11 outputs, as an image of the cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, an external imaging device (not shown).
  • step S24 the texture analysis unit 12 performs a texture analysis on the image of the cell mass acquired in step S23. Specifically, in step S24, the HOG histogram generation unit 12B generates a HOG histogram that is a histogram of the luminance gradient direction of the local region in the image of the cell mass acquired in step S23. Next, in step S25, based on the HOG histogram generated in step S24, the determination unit 13 determines whether the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor that becomes an organoid. Is determined.
  • the texture analysis unit 12 including the HOG histogram generation unit 12B applies the SIFT, SURF, and A-KAZE to the image of the cell mass acquired by the analysis target image acquisition unit 11. Perform denser sampling and perform texture analysis. Therefore, in the organoid image analyzer 1 of the second embodiment, it is possible to determine whether or not the cell mass is a precursor to become an organoid more accurately than when texture analysis is performed by, for example, SIFT, SURF, or A-KAZE. Can be determined.
  • the organoid image analyzer 1 of the third embodiment has the same configuration as the organoid image analyzer 1 of the above-described first embodiment, except for the points described below. Therefore, according to the organoid image analysis apparatus 1 of the third embodiment, the same effects as those of the above-described organoid image analysis apparatus 1 of the first embodiment can be obtained, except for the following points.
  • FIG. 14 is a diagram illustrating an example of the organoid image analysis device 1 according to the third embodiment.
  • the organoid image analysis device 1 includes an analysis target image acquisition unit 11, a texture analysis unit 12, a determination unit 13, a learning unit 14, and a teacher image acquisition unit 15.
  • the analysis target image acquisition unit 11 like the analysis target image acquisition unit 11 of the organoid image analysis device 1 of the first embodiment, serves as an image of a cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, external imaging. An image of the cell mass after photographing by a device (not shown) and subjected to processing such as trimming is acquired.
  • the texture analysis unit 12 performs texture analysis on the image of the cell mass acquired by the analysis target image acquisition unit 11.
  • the texture analysis unit 12 includes a brightness roughness curve generation unit 12C1 and a brightness roughness feature value calculation unit 12C2.
  • the brightness roughness curve generation unit 12C1 generates a brightness roughness curve that is a curve indicating the brightness on an arbitrary line that cuts the image of the cell mass acquired by the analysis target image acquisition unit 11.
  • FIG. 15 is a diagram for explaining a brightness roughness curve generated by the brightness roughness curve generation unit 12C1.
  • FIG. 15A is a diagram illustrating an example of an image of a cell mass when the cell mass is a precursor that becomes a brain organoid.
  • FIG. 15B shows a luminance roughness curve BRC indicating the luminance on the line X1-X1 in FIG. 15A cutting the image of the cell mass shown in FIG. 15A.
  • the horizontal axis indicates positions on the line X1-X1 in FIG. 15A, and the vertical axis indicates luminance at each position.
  • FIG. 15A is a diagram illustrating an example of an image of a cell mass when the cell mass is a precursor that becomes a brain organoid.
  • FIG. 15B shows a luminance roughness curve BRC indicating the luminance on the line X1-X1 in FIG. 15A cutting the image of the cell mass shown in FIG. 15A.
  • the horizontal axis indicates positions on the line
  • FIG. 15C is a diagram illustrating an example of an image of a cell mass when the cell mass is not a precursor that becomes a brain organoid.
  • FIG. 15D shows a luminance roughness curve BRC showing the luminance on the line X2-X2 in FIG. 15C, which cuts the image of the cell mass shown in FIG. 15C.
  • the horizontal axis indicates positions on the line X2-X2 in FIG. 15C, and the vertical axis indicates luminance at each position.
  • the inventor of the present invention has conducted intensive studies, and as shown in FIG. 15 (A), budging (budding) occurs, and when the cell mass is a precursor to be a brain organoid, a brightness roughness curve BRC (see FIG.
  • FIG. 15 (B) shows a brightness roughness curve BRC of an image of a cell cluster when budding (budding) has not occurred and the cell cluster is not a precursor to be a brain organoid as shown in FIG. 15 (C). (See FIG. 15D.) It has been found that the luminance becomes coarser (the luminance increases or decreases depending on the position).
  • the brightness roughness curve generation unit 12C1 cuts, for example, an image of a cell cluster as illustrated in FIGS. 15A and 15C from the image of the cell cluster acquired by the analysis target image acquisition unit 11.
  • a brightness roughness curve BRC (see FIGS. 15B and 15D) indicating the brightness on an arbitrary line is generated.
  • the brightness roughness feature value calculation unit 12C2 calculates the first distance D1 that is the distance over which the first circle C1 having the first radius (see FIGS. 15B and 15D) rolls on the brightness roughness curve BRC.
  • a second circle C2 (FIG. 15B and FIG. 15B) having a second radius different from the first radius R1 (first radius> second radius in the example shown in FIGS. 15B and 15D).
  • the inventor of the present invention has conducted intensive studies and found that a brightness roughness curve BRC (arbitrary line) cutting an image of a cell mass known to be a precursor of the cell mass to become a brain organoid (see, for example, FIG. 15A).
  • the first distance D1 which is the distance over which the first circle C1 (see FIG. 15B) rolls on FIG. 15 (B)
  • the second circle C2 (FIG. 15 (B)) on the brightness roughness curve BRC. )
  • a brightness roughness curve BRC an arbitrary line that cuts an image of a cell mass known to be not a precursor to be a brain organoid (see, for example, FIG. 15C)).
  • the first distance D1 which is the distance over which the first circle C1 (see FIG. 15D) rolls on FIG. 15 (D)
  • the second circle C2 (FIG. 15 (D)) on the luminance roughness curve BRC. )
  • FIG. 16 shows the brightness calculated by the present inventors in earnest research on an image of a plurality of cell clusters (“normal” images) known to be precursors of the cell clusters to become brain organoids (for example, see FIG. 15 (A)).
  • the inventor of the present invention has conducted intensive studies on the roughness feature BR and images (“abnormal” images) of a plurality of cell clusters that are known not to be the precursors of the cell clusters to become brain organoids (for example, see FIG. 15C).
  • FIG. 9 is a diagram for explaining a calculated brightness roughness feature value BR and the like. Specifically, FIG.
  • FIG. 16 (A) shows an image of a cell mass that is known to be a precursor of a cell mass becoming a brain organoid (“normal” image), or that the cell mass is not a precursor of a brain organoid.
  • FIG. 4 is a diagram for explaining an XX line and a YY line which cut an image of a known cell mass (“abnormal” image).
  • FIG. 16 (B) shows an image taken on an XX line (see FIG. 16 (A)) which cuts images (“normal” images) of a plurality of cell masses that are known to be precursors of a cell mass to become a brain organoid.
  • FIG. 16A cutting the images (“normal” images).
  • Plot shows FIG. 16 (B) shows an XX-ray (see FIG. 16 (A)) which cuts images (“abnormal” images) of a plurality of cell clusters that are known to be not precursors of the cell clusters to become brain organoids.
  • the luminance roughness characteristic in the X direction which is a ratio between a first distance D1_XA where the first circle C1 rolls on the luminance roughness curve BRC_XA and a second distance D2_XA where the second circle C2 rolls on the luminance roughness curve BRC_XA.
  • the horizontal axis indicates the X-direction luminance roughness characteristic amount BR_X of the “normal” plot, and the X-direction luminance roughness characteristic amount BR_XA of the “abnormal” plot, and the vertical axis indicates “ The Y direction luminance roughness feature amount BR_Y of the “normal” plot and the Y direction luminance roughness feature amount BR_YA of the “abnormal” plot are shown.
  • the diameter of the first circle C1 is set to 100 [pixels]
  • the diameter of the second circle C2 is set to 3 [pixels].
  • the inventor of the present invention has conducted intensive studies to calculate the brightness calculated for images of a plurality of cell clusters (“normal” images) that are known to be precursors of the cell clusters to become brain organoids.
  • the roughness feature amounts BR_X and BR_Y are larger than the brightness roughness feature amounts BR_XA and BR_YA calculated for images of a plurality of cell clusters (“abnormal” images) that are known not to be the precursors of the cell clusters to become brain organoids.
  • the present inventor has conducted intensive research on images of a plurality of cell clusters ("normal” images) known to be precursors of cell clusters that become brain organoids, as shown in FIG. 16 (B).
  • a “normal” plot is distributed on the upper right side of FIG. 16 (B), and an “abnormal” plot relating to images of multiple cell clusters (“abnormal” images) that are known not to be precursors of the cell clusters to become brain organoids is shown. 16 (B) is distributed on the lower left side.
  • the determination unit 13 determines whether or not the cell mass included in the image analyzed by the texture analysis unit 12 is a precursor that becomes an organoid based on the analysis result of the texture analysis unit 12. Is determined. Specifically, the determination unit 13 turns the cell mass included in the image analyzed by the texture analysis unit 12 into an organoid based on the brightness roughness feature amount calculated by the brightness roughness feature amount calculation unit 12C2. It is determined whether it is a precursor. More specifically, the determination unit 13 makes a determination reflecting the research result shown in FIG. When the brightness roughness feature value BR calculated by the brightness roughness feature value calculation unit 12C2 is larger than the threshold, the determination unit 13 determines that the cell mass is a precursor that becomes an organoid.
  • the determination unit 13 determines that the cell mass becomes a precursor of an organoid. The body is determined.
  • the determination unit 13 determines that there is no precursor whose cell mass becomes an organoid.
  • the determination unit 13 determines that the cell mass is an organoid. Is not determined to be a precursor. That is, the determination unit 13 determines whether or not the cell mass is a precursor that becomes an organoid based on the luminance roughness characteristic amount obtained from the luminance roughness curve of the image of the cell mass acquired by the analysis target image acquisition unit 11. Is determined.
  • the present inventor has studied 80 images of cell masses (teacher images) for which it is known whether or not the cell masses shown in FIGS. 8A and 8B are precursors to be brain organoids.
  • the learning of the determination unit 13 of the organoid image analysis device 1 of the third embodiment was performed using a support vector machine (SVM). After the learning, the determination unit 13 correctly determined that 20 of the 31 “normal” images shown in FIG. 8A were “normal” images. In addition, the determination unit 13 correctly determined that 45 of the 49 “abnormal” images shown in FIG. 8B were “abnormal” images. Further, the determination unit 13 erroneously determined that 11 of the 31 “normal” images shown in FIG. 8A are “abnormal” images.
  • SVM support vector machine
  • the determination unit 13 erroneously determined that three of the 49 “abnormal” images shown in FIG. 8B are “normal” images. That is, the determination unit 13 correctly determined whether the 65 images among the 80 images were “normal” images or “abnormal” images. In addition, the determination unit 13 erroneously determined whether 14 images out of the 80 images are “normal” images or “abnormal” images.
  • the predictive value was 82.3%. That is, the inventor made a trial program of the determination unit 13 of the organoid image analyzer 1 of the third embodiment, which can be classified with an accuracy of about 80% in the earnest research.
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using a teacher image that is an image of a cell mass in which it is known whether or not the cell mass is a precursor that becomes an organoid.
  • the teacher image obtaining unit 15 obtains a teacher image which is an image of a cell mass for which it is known whether or not the cell mass is a precursor to become an organoid, as shown in FIGS. 8A and 8B, for example. I do.
  • the organoid image analysis device 1 includes a learning unit 14 and a teacher image acquisition unit 15.
  • the organoid image analysis device 1 includes the learning unit 14 and the teacher image acquisition unit 15. May not be provided. That is, in another example, the determination unit 13 has the same performance as the performance of the determination unit 13 after learning in the example illustrated in FIG. 14 from the beginning.
  • FIG. 17 is a flowchart illustrating an example of a process performed by the organoid image analysis device 1 according to the third embodiment.
  • the teacher image acquiring unit 15 determines whether or not the cell mass is an image of the cell mass known to be a precursor that becomes an organoid. Get an image.
  • the learning unit 14 performs learning (machine learning) of the determination unit 13 by using the teacher image acquired in step S31.
  • the analysis target image acquisition unit 11 outputs, as an image of the cell mass to be subjected to texture analysis by the texture analysis unit 12, for example, an external imaging device (not shown).
  • the texture analysis unit 12 performs texture analysis on the image of the cell mass acquired in step S33. Specifically, in step S34, the brightness roughness curve generation unit 12C1 generates a brightness roughness curve BRC that is a curve indicating the brightness on an arbitrary line that cuts the image of the cell mass acquired in step S33. Next, in step S35, the luminance roughness feature value calculation unit 12C2 calculates the first distance D1 that is the distance over which the first circle C1 rolls on the luminance roughness curve BRC generated in step S34, and the luminance roughness curve BRC.
  • step S35 based on the luminance roughness feature amount BR calculated in step S35, the determination unit 13 uses a precursor in which the cell mass included in the image analyzed by the texture analysis unit 12 becomes an organoid. It is determined whether or not there is.
  • the texture analysis unit 12 including the luminance roughness curve generation unit 12C1 and the luminance roughness characteristic amount calculation unit 12C2 performs the analysis of the cell mass acquired by the analysis target image acquisition unit 11.
  • An image is sampled at a higher density (dense) than SIFT, SURF, and A-KAZE, and a texture analysis is performed. Therefore, in the organoid image analyzer 1 of the third embodiment, it is possible to determine whether or not a cell mass is a precursor to be an organoid, with higher accuracy than when, for example, texture analysis by SIFT, SURF, or A-KAZE is executed. Can be determined.
  • Example 1 (1) The following culture was performed using a 48-well plate or the like. This step is performed outside the organoid image analyzing apparatus 1 of the first embodiment before step S11 in FIG. 9, and is performed before the organoid image analyzing apparatus 1 in the second embodiment before step S21 in FIG. This corresponds to a step performed outside or a step performed outside the organoid image analysis apparatus 1 of the third embodiment before step S31 in FIG.
  • Human iPS cells (PChiPS771 strain, Lot.A01QM28, manufactured by Reprocell) were feder-free-cultured to 80% confluent using StemFit AK02N (manufactured by Ajinomoto Co.). Subsequently, 80% confluent human iPS cells (PChiPS771 strain, Lot.A01QM28, manufactured by Reprocell) were treated for 2 hours in the presence of Y27632 (ROCK inhibitor, 10 ⁇ M).
  • Y27632 ROCK inhibitor, 10 ⁇ M
  • the human iPS cells were treated with a cell dispersion using TrypLE Select (manufactured by Thermo Fisher Scientific), and dispersed into single cells by pipetting. Subsequently, the human iPS cells dispersed in a single cell were subjected to 100 ⁇ L Aggregation so as to obtain 2 ⁇ 10 4 human iPS cells per well of a non-cell-adhesive 96-well culture plate (Primesurface 96V bottom plate, manufactured by Sumitomo Bakelite Co., Ltd.). The cells were suspended in a medium and cultured in suspension at 37 ° C. and 5% CO 2 .
  • Aggregation media include StemFit @ AK02N (manufactured by Ajinomoto Co.), 1 ⁇ Non-essential / Amino / Acids (manufactured by Thermo Fisher Scientific), 1 ⁇ Penicillin / Streptomycin (manufactured by Nakarai Tesque), and 1 ⁇ Gluta Physamaxer 1 ⁇ 2-Mercaptoethanol (manufactured by Thermo Fisher Scientific), 2 ⁇ M Dorsomorphin (manufactured by Sigma) and 2 ⁇ M A83-01 were used.
  • Y27632 final concentration 30 ⁇ M was added to the aggregation medium.
  • 150 ⁇ L of an aggregation medium containing Y27632 final concentration: 10 ⁇ M was added, and the suspension culture was continued until the seventh day after the start of the suspension culture without changing the medium.
  • a cell aggregate having a positive neuroectoderm marker was obtained.
  • Examples of the first Differentiation medium include Dulbecco's Modified Eagle Medium: Nutrient Mixture F-12 (manufactured by Thermo Fisher Scientific), 1 ⁇ N2 Supplement (manufactured by Thermo Fisher Scientific Corp. Salt (manufactured by Sigma), 1 ⁇ Non-essential Amino Acids (manufactured by Thermo Fisher Scientific), 1 ⁇ Penicillin / Streptomycin (manufactured by Nacalai Tesque), 1 ⁇ Glutamax (manufactured by Thermo Fisher Scientific), 4ng / mL Wnt-3a (Human, Recombinant, manufactured by R & D Systems), [mu] M CHIR99021 (manufactured by Axon), 1 [mu] M SB-431542 (Sigma), was used by adding 50 vol% Matrigel (Corning).
  • Dulbecco's Modified Eagle Medium Nutrient Mixture F-12 (manufactured by Thermo
  • each cell aggregate (nerve organoid) was collected from each well and transferred to a 50 mL Falcon (registered trademark) conical tube containing 10 mL of PBS (manufactured by Corning). Subsequently, Matrigel was removed by inverting and mixing 5 times and removing the supernatant.
  • each nerve organoid was collected from 50 mL of Falcon (registered trademark) conical tube and transferred to a 30 mL single-use bioreactor. Subsequently, 20 mL of the second Differentiation medium was added, and stirring culture was started. During the stirring culture, the stirring speed was set to 50 rpm, and the medium was changed once every 3 to 4 days.
  • Dulbecco's Modified Eagle Medium Nutrient Mixture F-12 (manufactured by Thermo Fisher Scientific), 1 ⁇ N2 Supplement (manufactured by Thermo Fisher Scientific B-27), Supplement (manufactured by Thermo Fisher Scientific), 1 ⁇ Non-essential ⁇ Amino ⁇ Acids (manufactured by Thermo Fisher Scientific), 1 ⁇ Penicillin / Streptomycin (manufactured by Nacalai Tesque), 1 ⁇ 2-Mercaptoethanol Scientific 2.5 ⁇ g / mL Insulin S lution (Human, recombinant, manufactured by Wako Pure Chemical Industries, Ltd.) to have been added was used.
  • a plurality of images are acquired in the z-axis direction in advance, and only a focused portion is synthesized therefrom. This is a mode for generating one image.
  • the image captured by the inverted microscope is acquired by the organoid image analyzer 1 of the first embodiment in Steps S11 and S13 of FIG. 9 or the organoid image of the second embodiment in Steps S21 and S23 of FIG. It is obtained by the analyzer 1 or by the organoid image analyzer 1 of the third embodiment in steps S31 and S33 of FIG.
  • Example 1 the above-mentioned “organoid” is a precursor, and is also referred to as a cell aggregate, which is a state immediately after the initiation of differentiation into the cerebral cortex.
  • the term “brain organoid” in the present specification includes the above-mentioned “state immediately after the onset of differentiation into the cerebral cortex”.
  • iPS cells were seeded on a V-bottom plate, cultured for 7 days, placed in Matrigel, and images were taken on the second to third days.
  • FIG. 18 is a diagram conceptually showing the culture in Example 1.
  • the organoids are recognized one by one, and the smallest rectangular region surrounding the organoid is defined as a region of interest (ROI) from the captured image in the well. I took them out one by one.
  • This step is performed between the step S11 and the step S12 in FIG. 9 and between the step S13 and the step S14 in the organoid image analysis apparatus 1 of the first embodiment. 17 and the steps performed in the organoid image analyzer 1 of the second embodiment between the steps S23 and S24, or the steps performed between the steps S31 and S32 and the steps S33 and S34 in FIG. This corresponds to a step performed in the organoid image analysis device 1 of the third embodiment.
  • This step may be performed outside the organoid image analysis device 1 of the first to third embodiments.
  • HOG and LBP feature amounts (each using a skillit-image library) BR feature amounts were extracted. This observation corresponds to step S14 in FIG. 9, part of step S24 in FIG. 13, and step S35 in FIG.
  • 80 are used as teacher data, and learning is performed using a linear model of SVM (using a skill-learn library) (this learning is performed in step S12 in FIG. 9 and FIG. 9).
  • step S22 of step 13 and step S32 of FIG. 17 evaluation of the discrimination accuracy was performed using the remaining 80 sheets. This evaluation corresponds to steps S15 and S16 in FIG.
  • step S24 and step S25 in FIG. 13, and steps S35 and S36 in FIG. (5) As a comparison with the above (4), SIFT, SURF, and A-KAZE feature amounts (each using an OpenCV-Python library) for sampling sparse feature amounts were extracted.
  • SIFT, SURF, and A-KAZE feature amounts each using an OpenCV-Python library
  • 80 images As teacher data, and then evaluation of the discrimination accuracy was performed using the remaining 80 images.
  • This step corresponds to a step performed outside the organoid image analyzer 1 of the first to third embodiments. The evaluation results are shown in Table 1 below.
  • FIG. 19 is a diagram for explaining “normal” and “abnormal” in the first embodiment.
  • “Normal” in Example 1 means that a hierarchical structure (such as SATB2) centered on a stem cell marker (PAX6) is formed, as in the case of immunological staining of “cerebral cortical organoid” on the left side of FIG. .
  • the term “abnormal” in the first embodiment refers to a substance that is stained with each marker but does not form a hierarchical structure, such as “nerve spheroid” on the right side of FIG.
  • brain organoid in the scientific sense is ambiguous, and it may be called an organoid if a stem cell marker (PAX6) is present, or an organoid if the hierarchical structure is properly formed. Therefore, in the first embodiment, the one in which the hierarchical structure of the cerebral cortex is formed is called “normal”. In addition, even in the case of an abnormality, what is cultured does not immediately die. In the first embodiment, a case where the proportion of cerebral cortex-like sites having a hierarchical structure is reduced and nerve cells occupy the majority is referred to as “abnormal”. Therefore, in Example 1, from the image of the cell mass in the early stage of culture (about day 10), the normal (with hierarchy, cerebral cortex) and abnormal (without hierarchy, neurons) of the organoid on the 70th to 90th days Can be determined.
  • PAX6 stem cell marker
  • the determination result may be unstable with only one image feature amount.
  • some image feature amounts can be used in combination.
  • the image feature to be combined a plurality of combinations can be arbitrarily used as long as the teacher data is sufficient.
  • the image feature amount as described above but also simple parameters such as the size and color density of the organoid can be used in combination.
  • BR feature amount Extraction of BR feature amount
  • the original Python code was used.
  • the BR feature amount of the image from three levels in the vertical and horizontal directions (the image height and the width, respectively, in the levels of 1/3, 2/1, and 2/3) using a sphere having a diameter of 51 pixels.
  • * BR feature value supplement
  • the gray scale luminance (0 to 255) on an arbitrary line segment in the image is plotted on the horizontal axis with the position on the line segment.
  • Tx the ratio of the length (Tx / T0) to the trajectory (T0) of the plotted point is the BR feature quantity. Is defined. The larger the size of the sphere, the more difficult it is to pick up the luminance change at minute intervals.
  • Organoid size OpenCV-Python library was used. By setting an appropriate threshold, the organoids were recognized one by one, and the area of each organoid was extracted as a one-dimensional feature amount.
  • Color shading The average (Lo) (Lo / Lb) of the luminance of the organoid with respect to the luminance (Lb) of the background was extracted as a one-dimensional feature amount.
  • Machine learning A Skitit-learn support vector machine (SVM) library was used. A learning model was created using a linear regression model of SVM, using image data data to which a result of judgment of the quality of an organoid by a skilled person was given as a label as teacher data. Thereafter, an image obtained by performing (image pre-processing) on the created SVM model was input, and the result of pass / fail was obtained.
  • the brain organoid is applied to the organoid image analyzing apparatus 1 of the present invention, but in other examples, an organoid other than the brain organoid may be applied to the organoid image analyzing apparatus 1 of the present invention.
  • the whole or a part of the function of each unit included in the organoid image analysis device 1 in the above-described embodiment is recorded on a computer-readable recording medium with a program for realizing these functions, and recorded on this recording medium.
  • the program may be implemented by causing a computer system to read and execute the program.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage unit such as a hard disk built in a computer system.
  • a "computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short time.
  • a program may include a program that holds a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case.
  • the program may be for realizing a part of the functions described above, or may be for realizing the functions described above in combination with a program already recorded in the computer system.
  • SYMBOLS 1 Organoid image analysis apparatus, 11 ... Analysis object image acquisition part, 12 ... Texture analysis part, 12A1 ... LBP feature amount calculation part, 12A2 ... LBP histogram generation part, 12B ... HOG histogram generation part, 12C1 ... Brightness roughness curve generation Unit, 12C2: luminance roughness feature amount calculation unit, 13: determination unit, 14: learning unit, 15: teacher image acquisition unit

Abstract

オルガノイド画像解析装置は、細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析部と、前記テクスチャ解析部の解析結果に基づいて前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定部とを備える。

Description

オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム
 本発明は、オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムに関する。
 本願は、2018年9月12日に、日本に出願された特願2018-170342号に基づき優先権を主張し、その内容をここに援用する。
 例えば特許文献1には、培養されたオルガノイドの画像が記載されている。また、特許文献1の段落0091には、オルガノイドの画像解析について記載されている。特許文献1の段落0092には、オルガノイドの画像解析の結果として、単一選別Lgr5+幹細胞が、陰窩-絨毛オルガノイドを惹起できる旨が記載されている。
 例えば特許文献2には、テクスチャ解析が、撮影画像から求められるテクスチャ特徴量を解析することにより被写体を認識する手法である旨が記載されている。また、特許文献2には、例えば撮影画像に含まれる各画素の輝度値の輝度分布や空間周波数などがテクスチャ特徴量とされる旨が記載されている。また、特許文献2には、被写体認識として特徴量抽出を用いる場合に、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などの特徴点が特徴量とされる旨が記載されている。
特表2012-516685号公報 特許第5453796号公報
 一方、オルガノイドになる前駆体の画像などのような細胞塊の画像に含まれる特徴点の数は、人間の顔などの画像に含まれる特徴点の数よりも少ない。
 そのため、従来においては、テクスチャ解析を細胞塊の画像に適用しても、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定できないと考えられていた。
 本発明は、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定することができるオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム提供することを目的とする。
 本発明者は、鋭意研究において、細胞塊の画像に対して高密度(dense)なサンプリングを実行し、テクスチャ解析を実行することにより、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定できることを見い出したのである。
 本発明の一態様は、細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析部と、前記テクスチャ解析部の解析結果に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定部とを備えるオルガノイド画像解析装置である。
 本発明の一態様のオルガノイド画像解析装置では、前記テクスチャ解析が、高密度なサンプリングによるテクスチャ解析であってもよい。
 本発明者は、鋭意研究において、細胞塊の画像を分割することにより得られる各画素のLBP(Local Binary Pattern)特徴量を算出し、各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラムを生成し、そのLBPヒストグラムに基づくことによって、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定できることを見い出した。
 本発明の一態様のオルガノイド画像解析装置では、前記テクスチャ解析部は、前記細胞塊の画像を分割することにより得られる各画素のLBP特徴量を算出するLBP特徴量算出部と、前記LBP特徴量算出部によって算出された各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラムを生成するLBPヒストグラム生成部とを備え、前記判定部は、前記LBPヒストグラム生成部によって生成された前記LBPヒストグラムに基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定してもよい。
 本発明の一態様のオルガノイド画像解析装置では、前記LBPヒストグラムの一方の軸は、前記LBP特徴量算出部によって算出されたLBP特徴量の各値に対応しており、前記LBPヒストグラムの他方の軸は、前記LBP特徴量算出部によって算出されたLBP特徴量の各値の出現頻度に対応しており、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の中央部の前記出現頻度は、前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の前記中央部の前記出現頻度よりも高く、前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の両端部の前記出現頻度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の前記両端部の前記出現頻度よりも高くてもよい。
 本発明者は、鋭意研究において、細胞塊の画像中の局所領域の輝度の勾配方向をヒストグラム化したものであるHOG(Histograms of Oriented Gradients)ヒストグラムを生成し、そのHOGヒストグラムに基づくことによって、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定できることを見い出した。
 本発明の一態様のオルガノイド画像解析装置では、前記テクスチャ解析部は、前記細胞塊の画像に対してHOGヒストグラムを生成するHOGヒストグラム生成部を備え、前記判定部は、前記HOGヒストグラム生成部によって生成された前記HOGヒストグラムに基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定してもよい。
 本発明の一態様のオルガノイド画像解析装置では、前記HOGヒストグラムの一方の軸は、輝度の勾配方向に対応しており、前記HOGヒストグラムの他方の軸は、輝度の勾配強度に対応しており、前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の水平成分を示す部分の輝度の勾配強度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の前記水平成分を示す部分の輝度の勾配強度よりも高く、前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の垂直成分を示す部分の輝度の勾配強度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の前記垂直成分を示す部分の輝度の勾配強度よりも高くてもよい。
 本発明者は、鋭意研究において、細胞塊の画像を切断する任意の線上における輝度を示す曲線である輝度粗さ曲線を生成し、第1半径を有する第1円が輝度粗さ曲線上を転がる距離である第1距離と、第1半径とは異なる第2半径を有する第2円が輝度粗さ曲線上を転がる距離である第2距離との比である輝度粗さ特徴量を算出し、その輝度粗さ特徴量に基づくことによって、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定できることを見い出した。
 本発明の一態様のオルガノイド画像解析装置では、前記判定部は、前記細胞塊の画像の輝度粗さ曲線より得られる輝度粗さ特徴量に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定してもよい。
 本発明の一態様のオルガノイド画像解析装置では、前記テクスチャ解析部は、前記細胞塊の画像を切断する任意の線上における輝度を示す曲線である輝度粗さ曲線を生成する輝度粗さ曲線生成部と、第1半径を有する第1円が前記輝度粗さ曲線上を転がる距離である第1距離と、前記第1半径とは異なる第2半径を有する第2円が前記輝度粗さ曲線上を転がる距離である第2距離との比である輝度粗さ特徴量を算出する輝度粗さ特徴量算出部とを備え、前記判定部は、前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定してもよい。
 本発明の一態様のオルガノイド画像解析装置では、前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量が閾値よりも大きい場合に、前記判定部は、前記細胞塊がオルガノイドになる前駆体であると判定し、前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量が前記閾値以下である場合に、前記判定部は、前記細胞塊がオルガノイドになる前駆体ではないと判定してもよい。
 本発明の一態様のオルガノイド画像解析装置は、前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって前記判定部の機械学習を行う学習部を更に備えてもよい。
 本発明の一態様のオルガノイド画像解析装置は、前記テクスチャ解析部によるテクスチャ解析の対象である前記細胞塊の画像として、撮影装置によって撮影された前記細胞塊の画像を取得する取得部を更に備えてもよい。
 本発明の一態様は、細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析ステップと、前記テクスチャ解析ステップにおける解析結果に基づいて前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定ステップとを備えるオルガノイド画像解析方法である。
 本発明の一態様のオルガノイド画像解析方法は、前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって機械学習を行う学習ステップを更に備えてもよい。
 本発明の一態様は、コンピュータに、細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析ステップと、前記テクスチャ解析ステップにおける解析結果に基づいて前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定ステップとを実行させるためのプログラムである。
 本発明の一態様のプログラムは、前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって機械学習を行う学習ステップを更に実行させてもよい。
 本発明によれば、細胞塊がオルガノイドになる前駆体であるか否かを高精度に判定することができるオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムを提供することができる。
細胞塊の画像の例を示す図である。 サンプリング方法の例などを示す図である。 SIFTによって抽出された特徴点の例を示す図である。 第1実施形態のオルガノイド画像解析装置の一例を示す図である。 LBP特徴量を説明するための図である。 解析対象画像取得部によって取得された細胞塊の画像と、その画像に対してLBP特徴量算出部による処理が行われたものとを比較して示す図である。 LBPヒストグラム生成部によって生成されたLBPヒストグラムの一例を示す図である。 本発明者が生成したLBPヒストグラムなどを示す図である。 第1実施形態のオルガノイド画像解析装置において実行される処理の一例を説明するためのフローチャートである。 第2実施形態のオルガノイド画像解析装置の一例を示す図である。 HOGヒストグラム生成部による処理を概略的に説明するための図である。 本発明者が生成したHOGヒストグラムを示す図である。 第2実施形態のオルガノイド画像解析装置において実行される処理の一例を説明するためのフローチャートである。 第3実施形態のオルガノイド画像解析装置の一例を示す図である。 輝度粗さ曲線生成部によって生成される輝度粗さ曲線などを説明するための図である。 本発明者が算出した輝度粗さ特徴量などを説明するための図である。 第3実施形態のオルガノイド画像解析装置において実行される処理の一例を説明するためのフローチャートである。 実施例1における培養を概念的に示す図である。 実施例1における「正常」および「異常」を説明するための図である。
 本発明のオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムの実施形態の説明の前に、本発明のオルガノイド画像解析装置による解析対象である細胞塊の画像について説明する。
 図1は細胞塊の画像の例を示す図である。詳細には、図1(A)は細胞塊が脳オルガノイドになる前駆体である場合における細胞塊の画像の一例を示しており、図1(B)は細胞塊が脳オルガノイドになる前駆体ではない場合における細胞塊の画像の一例を示している。
 本明細書においては、細胞塊が脳オルガノイドになる前駆体であることを「正常」と称し、細胞塊が脳オルガノイドになる前駆体ではないことを「異常」と称する。
 細胞塊が脳オルガノイドになる前駆体である場合(「正常」の場合)、細胞塊は、図1(A)の円A1の内側に示すような、中心部分が黒く、外側部分が半透明な組織を有する。また、細胞塊は、円A1の内側の組織の外側部分につながった、円A2の内側に示すような小胞組織を有する。矢印A3で示すように、細胞塊の輪郭は、ややはっきりしている。
 一方、細胞塊が脳オルガノイドになる前駆体ではない場合(「異常」の場合)、細胞塊は、図1(B)の円B1の内側に示すように、全体的に黒ずんでいる。また、細胞塊は、円B2の内側に示すような、小さい粒状の模様を有する。矢印B3で示すように、細胞塊の輪郭は、図1(A)の細胞塊の輪郭と比較して、はっきりしていない。
 次に、図1(A)および図1(B)に示すような画像から特徴点(特徴量)を抽出する手法(特徴量検出器)の例について説明する。
 特徴量検出器の1つである「SIFT(Scale Invariant Feature Transform)」は、画像から特徴点を抽出して特徴量記述を計算する手法である。SIFTでは、「Scale-space extrema detection」と「Keypoint localization」と「Orientation assignment」と「Keypoint descriptor」とが行われる。「Scale-space extrema detection」では、スケールスペースが探索され、特徴点となる候補点が見つけられる。「Keypoint localization」では、ノイズ耐性のない点やエッジ上の点が除外され、候補点の絞り込みが行われる。「Orientation assignment」では、特徴点周辺の強度と向きが計算され、方向ヒストグラムが作成され、特徴点の向きが決定される。「Keypoint descriptor」では、輝度勾配と方向からなる特徴量ベクトルが作成される。SIFTでは、LoG(Laplacian of Gaussian)がDoG(Difference of Gaussian)で近似される。SIFTは、「sparse(疎)サンプリング」に分類される。SIFTでは、特徴量の特徴が、輝度勾配である。(SIFTについては、例えばDavid G. Lowe「Distinctive Image Features from Scale-Invariant Keypoints」International Journal of Computer Vision, 2004参照。)
 特徴量検出器の1つである「SURF(Speeded Up Robust Features)」は、SIFTを高速化したものである。SURFでは、近似ヘッセ行列の算出と、スケールスペースの構築と、極値探索によるキーポイント検出とが行われる。近似ヘッセ行列の算出では、ボックスフィルタ(Box filter)による近似と、積分画像(integral image)による高速化とが行われる。SURFは、「sparse(疎)サンプリング」に分類される。SURFでは、特徴量の特徴が、輝度勾配である。(SURFについては、例えばHerbert Bay他「SURF: Speeded Up Robust Features」Proceedings of the 9th European Conference on Computer Vision, Springer LNCS volume 3951, part 1, pp 404-417,2006参照。)
 特徴量検出器の1つである「A-KAZE(Accelerated KAZE)」では、FED(Fast Explicit Diffusion)を用いることによって計算の高速化が図られている。また、A-KAZEでは、M-LDB(Modified Local Difference Binary)によってロバスト性の高い特徴量の検出が図られている。A-KAZEは、「sparse(疎)サンプリング」に分類される。A-KAZEでは、特徴量の特徴が、輝度勾配である。(A-KAZEについては、例えばPablo F. Alcantarilla他「Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces」In British Machine Vision Conference (BMVC), 2013参照。)
 特徴量検出器の1つである「HOG(Histograms of Oriented Gradients)」は、局所領域(セル)の輝度の勾配方向をヒストグラム化したものである。そのヒストグラムを特徴量としたものが、HOG特徴量である。HOGは、勾配を特徴量としているため、画像スケールに対してロバストであるという優れた特徴がある。HOGでは、輝度の勾配方向と勾配強度との算出が行われ、ヒストグラムが作成され、ブロック領域での正規化が行われる。HOGは、「dense(密)サンプリング」に分類される。HOGでは、特徴量の特徴が、輝度勾配である。(HOGについては、例えば原田達也著、「機械学習プロフェッショナルシリーズ 画像認識」講談社 pp.64参照。)
 特徴量検出器の1つである「LBP(Local Binary Pattern)」は、3×3の画素領域で特徴計算を行い、画像の局所的な特徴を抽出する。LBPでは、中心画素値と周辺画素値との大小が比較される。LBPは、「dense(密)サンプリング」に分類される。LBPでは、特徴量の特徴が、中心画素値と周辺画素値との大小を比較したことで得られる局所パターンである。(LBPについては、例えば原田達也著、「機械学習プロフェッショナルシリーズ 画像認識」講談社 pp.60参照。)
 次に、上述したDoGなどについて説明する。
 図2はサンプリング方法の例などを示す図である。詳細には、図2(A)はDoGを説明するための図である。図2(B)はランダムサンプリング(Random sampling)を示しており、図2(C)はグリッドサンプリング(Grid sampling)を示している。
 DoG(Difference of Gaussian)とは、σの値が異なる2つのガウシアンフィルタ画像の差分であり、差分画像(DoG画像)を作成するフィルタをDoGフィルタと言う。DoGでは、Keypointの絞り込みが行われ、その後、各Keypointの輝度勾配(信号)が収集される。図2(A)はDoGにおける絞り込みを概念的に示している。図2(B)に示すランダムサンプリングは、「dense(密)サンプリング」と呼ばれる。図2(C)に示すグリッドサンプリングは、「dense(密)サンプリング」と呼ばれる。上述したSIFTおよびSURFはsparse(疎)なサンプリングに相当し、LBPはdense(密)なサンプリングに相当する。SIFTでは、DoGフィルタリングによるKeypointの絞り込みが使用される。
 本発明者は、鋭意研究において、脳オルガノイドになる前駆体であるか否かが既知の80枚の細胞塊の画像を用意し、各画像が、脳オルガノイドになる前駆体の画像であるか、あるいは、脳オルガノイドになる前駆体ではない細胞塊の画像であるかを、上述した特徴量検出器のそれぞれに判別させた。
 その結果、SIFTでは、検出率が55%になり、誤検出率が36%になり、適中率が41%になった。SURFでは、検出率が55%になり、誤検出率が22%になり、適中率が54%になった。A-KAZEでは、検出率が52%になり、誤検出率が29%になり、適中率が43%になった。HOGでは、検出率が71%になり、誤検出率が5.6%になり、適中率が85%になった。LBPでは、検出率が80%になり、誤検出率が10%になり、適中率が86%になった。つまり、「sparse(疎)サンプリング」が行われるSIFT、SURFおよびA-KAZEでは、画像に含まれる細胞塊が、脳オルガノイドになる前駆体であるか、あるいは、脳オルガノイドになる前駆体ではないかを殆ど識別できないことが判明した。
 図3はSIFTによって抽出された特徴点の例を示す図である。詳細には、図3(A)はSIFTによってbudding(出芽)を含む細胞塊の画像(「Bud」画像)から抽出された特徴点の一例を示している。図3(B)はSIFTによってbuddingを含まない細胞塊の画像(「No bud」画像)から抽出された特徴点の一例を示している。
 図3(A)に示す例では、33個の特徴点が、SIFTによって「Bud」画像から抽出された。
 図3(B)に示す例では、32個の特徴点が、SIFTによって「No bud」画像から抽出された。
 本発明者の鋭意研究においては、1007個の特徴点が、SIFTによって1ドル紙幣の画像から抽出された。
 本発明者は、鋭意研究において、SIFTによって細胞塊の画像から抽出される特徴点の数が少ないこと、および、SIFTが細胞塊の最外周の輪郭からしか特徴点を抽出しないことを見い出した。
 また、本発明者の鋭意研究においては、108個の特徴点が、SURFによって「Bud」画像から抽出され、92個の特徴点が、SURFによって「No bud」画像から抽出され、1710個の特徴点が、SURFによって1ドル紙幣の画像から抽出された。
 本発明者は、鋭意研究において、SURFによって細胞塊の画像から抽出される特徴点の数が少ないこと、および、SURFが細胞塊の最外周の輪郭からしか特徴点を抽出しないことを見い出した。
 また、本発明者の鋭意研究においては、0個の特徴点が、A-KAZEによって「Bud」画像から抽出され、0個の特徴点が、A-KAZEによって「No bud」画像から抽出され、579個の特徴点が、A-KAZEによって1ドル紙幣の画像から抽出された。
 本発明者は、鋭意研究において、A-KAZEによって細胞塊の画像から抽出される特徴点がないことを見い出した。
 以下、添付図面を参照しつつ、本発明のオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムの実施形態について説明する。
<第1実施形態>
 図4は第1実施形態のオルガノイド画像解析装置1の一例を示す図である。
 図4に示す例では、オルガノイド画像解析装置1が、解析対象画像取得部11と、テクスチャ解析部12と、判定部13と、学習部14と、教師画像取得部15とを備えている。
 解析対象画像取得部11は、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 図4に示す例では、オルガノイド画像解析装置1が解析対象画像取得部11を備えているが、他の例では、オルガノイド画像解析装置1が、撮影装置を備えており、解析対象画像取得部11を備えていなくてもよい。
 図4に示す例では、テクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対するテクスチャ解析を実行する。テクスチャ解析部12は、LBP特徴量算出部12A1と、LBPヒストグラム生成部12A2とを備えている。LBP特徴量算出部12A1は、細胞塊の画像を分割することにより得られる各画素のLBP特徴量を算出する。
 図5はLBP特徴量を説明するための図である。
 LBP特徴量算出部12A1は、図5(A)に示す細胞塊の画像を複数の部分に分割し、複数の部分のうちの1つの部分を取り出す。1つの部分には、図5(B)に示すように、9(=3×3)個の画素が含まれる。LBP特徴量算出部12A1は、9個の画素のうちの1個の中心画素の輝度と、中心画素のまわりの8個の周辺画素の輝度とを比較する。
 図5(B)に示す例では、中心画素の輝度を「100」とする。8個の周辺画素のうちの、中心画素の左上側に位置する画素の輝度が「172」であり、中心画素の輝度よりも高い。そのため、図5(C)に示すように、中心画素の左上側に位置する画素を値「1」で表現する。
 8個の周辺画素のうちの、中心画素の上側に位置する画素の輝度が「74」であり、中心画素の輝度よりも低い。そのため、図5(C)に示すように、中心画素の上側に位置する画素を値「0」で表現する。
 8個の周辺画素のうちの、中心画素の右上側に位置する画素の輝度が「82」であり、中心画素の輝度よりも低い。そのため、図5(C)に示すように、中心画素の右上側に位置する画素を値「0」で表現する。
 8個の周辺画素のうちの、中心画素の右側に位置する画素の輝度が「98」であり、中心画素の輝度よりも低い。そのため、図5(C)に示すように、中心画素の右側に位置する画素を値「0」で表現する。
 8個の周辺画素のうちの、中心画素の右下側に位置する画素の輝度が「132」であり、中心画素の輝度よりも高い。そのため、図5(C)に示すように、中心画素の右下側に位置する画素を値「1」で表現する。
 8個の周辺画素のうちの、中心画素の下側に位置する画素の輝度が「116」であり、中心画素の輝度よりも高い。そのため、図5(C)に示すように、中心画素の下側に位置する画素を値「1」で表現する。
 8個の周辺画素のうちの、中心画素の左下側に位置する画素の輝度が「70」であり、中心画素の輝度よりも低い。そのため、図5(C)に示すように、中心画素の左下側に位置する画素を値「0」で表現する。
 8個の周辺画素のうちの、中心画素の左側に位置する画素の輝度が「73」であり、中心画素の輝度よりも低い。そのため、図5(C)に示すように、中心画素の左側に位置する画素を値「0」で表現する。
 次いで、LBP特徴量算出部12A1は、中心画素を8桁の2進数で表現する。図5(C)に示す例では、LBP特徴量算出部12A1が、中心画素の左上側に位置する画素の値「1」と、中心画素の上側に位置する画素の値「0」と、中心画素の右上側に位置する画素の値「0」と、中心画素の右側に位置する画素の値「0」と、中心画素の右下側に位置する画素の値「1」と、中心画素の下側に位置する画素の値「1」と、中心画素の左下側に位置する画素の値「0」と、中心画素の左側に位置する画素の値「0」とを並べた8桁の2進数「10001100」によって、中心画素を表現する。
 次いで、LBP特徴量算出部12A1は、8桁の2進数「10001100」を10進数に変換した値「140」によって、中心画素のLBP特徴量を表現する。
 LBP特徴量算出部12A1は、上述した手法を用いることによって、細胞塊の画像を分割することにより得られる複数の画素のそれぞれのLBP特徴量を算出する。
 図6は解析対象画像取得部11によって取得された細胞塊の画像と、その画像に対してLBP特徴量算出部12A1による処理が行われたものとを比較して示す図である。
 図6(A)は、解析対象画像取得部11によって取得された細胞塊の画像(撮影装置によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像)を示している。図6(B)は、図6(A)に示す画像に対してLBP特徴量算出部12A1による処理が行われたものを示している。
 図4に示す例では、LBPヒストグラム生成部12A2が、LBP特徴量算出部12A1によって算出された各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラムを生成する。
 図7はLBPヒストグラム生成部12A2によって生成されたLBPヒストグラムの一例を示す図である。
 図7において、横軸は、LBP特徴量算出部12A1によって算出されたLBP特徴量の各値を示している。図7に示す例では、LBP特徴量算出部12A1によって算出されるLBP特徴量の最小値が値「0」に設定され、LBP特徴量算出部12A1によって算出されるLBP特徴量の最大値が値「25」に設定されている。また、図7において、縦軸は、LBP特徴量算出部12A1によって算出されたLBP特徴量の各値の出現頻度を示している。
 図7に示すLBPヒストグラムは、図6(B)に示すもの(図6(A)に示す画像に対してLBP特徴量算出部12A1による処理が行われたもの)をヒストグラム化したものである。
 本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像のそれぞれを分割することにより得られる各画素のLBP特徴量を算出し、各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラム(脳オルガノイドになる前駆体である細胞塊の画像のLBPヒストグラム)を生成した。
 さらに、本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像のそれぞれを分割することにより得られる各画素のLBP特徴量を算出し、各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラム(脳オルガノイドになる前駆体ではない細胞塊の画像のLBPヒストグラム)を生成した。
 図8は本発明者が生成したLBPヒストグラムなどを示す図である。
 詳細には、図8(A)は、本発明者がLBPヒストグラムの生成に使用した、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)を示す。図8(B)は、本発明者がLBPヒストグラムの生成に使用した、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)を示す。図8(C)は、本発明者が生成した脳オルガノイドになる前駆体である細胞塊の画像のLBPヒストグラムの平均値(「正常」LBPヒストグラム)と、本発明者が生成した脳オルガノイドになる前駆体ではない細胞塊の画像のLBPヒストグラムの平均値(「異常」LBPヒストグラム)とを比較して示す。
 図8(C)に示すように、本発明者は、鋭意研究において、脳オルガノイドになる前駆体である細胞塊の画像のLBPヒストグラムの横軸の中央部(LBP特徴量の値が「12」~「14」の部分)に対応する出現頻度(「正常」LBPヒストグラムの縦軸の値「0.06」~「0.07」)が、脳オルガノイドになる前駆体ではない細胞塊の画像のLBPヒストグラムの横軸の中央部(LBP特徴量の値が「12」~「14」の部分)に対応する出現頻度(「異常」LBPヒストグラムの縦軸の値「0.04」~「0.05」)よりも高いことを見い出した。
 また、図8(C)に示すように、本発明者は、鋭意研究において、脳オルガノイドになる前駆体ではない細胞塊の画像のLBPヒストグラムの横軸の両端部(LBP特徴量の値が「1」の部分、および、LBP特徴量の値が「25」の部分)に対応する出現頻度(「異常」LBPヒストグラムの縦軸の値「0.04」)が、脳オルガノイドになる前駆体である細胞塊の画像のLBPヒストグラムの横軸の両端部(LBP特徴量の値が「1」の部分、および、LBP特徴量の値が「25」の部分)に対応する出現頻度(「正常」LBPヒストグラムの縦軸の値「0.03」)よりも高いことを見い出した。
 図4に示す例では、判定部13が、テクスチャ解析部12の解析結果に基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。詳細には、判定部13は、LBPヒストグラム生成部12A2によって生成されたLBPヒストグラムに基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 更に詳細には、判定部13は、図8(C)に示す研究結果を反映した判定を行う。
 細胞塊がオルガノイドになる前駆体であると判定部13によって判定されるLBPヒストグラムの横軸の中央部(LBP特徴量の値が中間値の部分)の出現頻度(LBPヒストグラムの縦軸の値)は、細胞塊がオルガノイドになる前駆体ではないと判定部13によって判定されるLBPヒストグラムの横軸の中央部(LBP特徴量の値が中間値の部分)の出現頻度(LBPヒストグラムの縦軸の値)より高くなる。
 また、細胞塊がオルガノイドになる前駆体ではないと判定部13によって判定されるLBPヒストグラムの横軸の両端部(LBP特徴量の値が最小値の部分、および、LBP特徴量の値が最大値の部分)の出現頻度(LBPヒストグラムの縦軸の値)は、細胞塊がオルガノイドになる前駆体であると判定部13によって判定されるLBPヒストグラムの横軸の両端部(LBP特徴量の値が最小値の部分、および、LBP特徴量の値が最大値の部分)の出現頻度(LBPヒストグラムの縦軸の値)より高くなる。
 本発明者は、鋭意研究において、図8(A)および図8(B)に示す細胞塊が脳オルガノイドになる前駆体であるか否かが既知の80枚の細胞塊の画像(教師画像)を使用し、サポートベクターマシン(SVM)にて判定部13の学習を行った。なお、SVM以外にも、例えばグラディエントブースト、ランダムフォレスト、ロジスティック回帰、ニューラルネットワーク、ナイーブベイズ分類機などの公知の任意の学習アルゴリズム、統計的回帰モデル、数理的モデルなどを利用できる。
 学習後において、判定部13は、31枚の図8(A)に示す「正常」画像のうちの、25枚の画像を、「正常」画像であると正しく判定した。
 また、判定部13は、49枚の図8(B)に示す「異常」画像のうちの、44枚の画像を、「異常」画像であると正しく判定した。
 また、判定部13は、31枚の図8(A)に示す「正常」画像のうちの、6枚の画像を、「異常」画像であると誤って判定した。
 また、判定部13は、49枚の図8(B)に示す「異常」画像のうちの、5枚の画像を、「正常」画像であると誤って判定した。
 つまり、判定部13は、80枚の画像のうちの69枚の画像について、「正常」画像であるか、あるいは、「異常」画像であるかを正しく判定した。また、判定部13は、80枚の画像のうちの11枚の画像について、「正常」画像であるか、あるいは、「異常」画像であるかを誤って判定した。
 検出率(=検出した正解数/全正解数)は81%になった。誤検出率(=誤検出した数/全不正解数)は10%になった。
 すなわち、本発明者は、鋭意研究において、80%程度の精度で分類できる判定部13のプログラムを試作した。
 図4に示す例では、学習部14が、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を用いることによって判定部13の学習(機械学習)を行う。教師画像取得部15は、例えば図8(A)および図8(B)に示すような、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 図4に示す例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えているが、他の例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えていなくてもよい。つまり、他の例では、判定部13が、図4に示す例における学習後の判定部13の性能と同等の性能を当初から備えている。
 図9は第1実施形態のオルガノイド画像解析装置1において実行される処理の一例を説明するためのフローチャートである。
 図9に示す例では、ステップS11において、教師画像取得部15は、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 次いで、ステップS12では、学習部14が、ステップS11において取得された教師画像を用いることによって判定部13の学習(機械学習)を行う。
 次いで、ステップS13において、解析対象画像取得部11は、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 次いで、ステップS14およびステップS15では、テクスチャ解析部12が、ステップS13において取得された細胞塊の画像に対するテクスチャ解析を実行する。
 詳細には、ステップS14では、LBP特徴量算出部12A1が、ステップS13において取得された細胞塊の画像を分割することにより得られる各画素のLBP特徴量を算出する。
 次いで、ステップS15では、LBPヒストグラム生成部12A2が、ステップS14において算出された各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラムを生成する。
 次いで、ステップS16では、判定部13が、ステップS15において生成されたLBPヒストグラムに基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 上述したように、第1実施形態のオルガノイド画像解析装置1では、LBP特徴量算出部12A1とLBPヒストグラム生成部12A2とを備えるテクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対して、SIFT、SURFおよびA-KAZEよりも高密度(dense)なサンプリングを実行し、テクスチャ解析を実行する。
 そのため、第1実施形態のオルガノイド画像解析装置1では、例えばSIFT、SURFあるいはA-KAZEによるテクスチャ解析が実行される場合よりも高精度に、細胞塊がオルガノイドになる前駆体であるか否かを判定することができる。
<第2実施形態>
 以下、本発明のオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムの第2実施形態について説明する。
 第2実施形態のオルガノイド画像解析装置1は、後述する点を除き、上述した第1実施形態のオルガノイド画像解析装置1と同様に構成されている。従って、第2実施形態のオルガノイド画像解析装置1によれば、後述する点を除き、上述した第1実施形態のオルガノイド画像解析装置1と同様の効果を奏することができる。
 図10は第2実施形態のオルガノイド画像解析装置1の一例を示す図である。
 図10に示す例では、オルガノイド画像解析装置1が、解析対象画像取得部11と、テクスチャ解析部12と、判定部13と、学習部14と、教師画像取得部15とを備えている。
 解析対象画像取得部11は、第1実施形態のオルガノイド画像解析装置1の解析対象画像取得部11と同様に、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 図10に示す例では、テクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対するテクスチャ解析を実行する。テクスチャ解析部12は、HOG(Histograms of Oriented Gradients)ヒストグラム生成部12Bを備えている。HOGヒストグラム生成部12Bは、解析対象画像取得部11によって取得された細胞塊の画像中の局所領域の輝度の勾配方向をヒストグラム化したものであるHOGヒストグラムを生成する。つまり、HOGヒストグラム生成部12Bは、解析対象画像取得部11によって取得された細胞塊の画像に対してHOGヒストグラムを生成する。
 図11はHOGヒストグラム生成部12Bによる処理を概略的に説明するための図である。
 HOGヒストグラム生成部12Bは、図11(A)に示す細胞塊の画像を複数の部分に分割し、複数の部分のうちの1つの部分を取り出す。1つの部分には、図11(B)に示すように、例えば25(=5×5)個の画素が含まれる。HOGヒストグラム生成部12Bは、25個の画素のそれぞれ(局所領域)における輝度の勾配方向(輝度が変化している方向)(図11(B)中の矢印の向き)および輝度の勾配強度(輝度の差)(図11(B)中の矢印の長さ)を算出する。
 図11(B)に示す例では、輝度の勾配強度が大きくなるに従って、図11(B)中の矢印が長くなる。
 次いで、HOGヒストグラム生成部12Bは、25個の画素のそれぞれにおける輝度の勾配方向および輝度の勾配強度を、図11(C)に示すようにヒストグラム化する。図11(C)において、横軸は輝度の勾配方向を示しており、縦軸は累積強度(輝度の勾配強度を累積したもの)を示している。
 図11(C)に示す例では、輝度の勾配方向(横軸)が、「0°~20°」の部分と、「20°~40°」の部分と、「40°~60°」の部分と、「60°~80°」の部分と、「80°~100°」の部分と、「100°~120°」の部分と、「120°~140°」の部分と、「140°~160°」の部分と、「160°~180°」の部分とに区分されている。
 本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像中の局所領域の輝度の勾配方向をヒストグラム化したものであるHOGヒストグラム(脳オルガノイドになる前駆体である細胞塊の画像のHOGヒストグラム)を生成した。
 さらに、本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像中の局所領域の輝度の勾配方向をヒストグラム化したものであるHOGヒストグラム(脳オルガノイドになる前駆体ではない細胞塊の画像のHOGヒストグラム)を生成した。
 図12は本発明者が生成したHOGヒストグラムを示す図である。図12において、横軸は輝度の勾配方向を示しており、縦軸は累積強度(輝度の勾配強度を累積したもの)を示している。図12に示す例では、輝度の勾配方向(横軸)が、値「1」で示す「0°~10°」の部分と、値「2」で示す「10°~20°」の部分と、値「3」で示す「20°~30°」の部分と、値「4」で示す「30°~40°」の部分と、値「5」で示す「40°~50°」の部分と、値「6」で示す「50°~60°」の部分と、値「7」で示す「60°~70°」の部分と、値「8」で示す「70°~80°」の部分と、値「9」で示す「80°~90°」の部分と、値「10」で示す「90°~100°」の部分と、値「11」で示す「100°~110°」の部分と、値「12」で示す「110°~120°」の部分と、値「13」で示す「120°~130°」の部分と、値「14」で示す「130°~140°」の部分と、値「15」で示す「140°~150°」の部分と、値「16」で示す「150°~160°」の部分と、値「17」で示す「160°~170°」の部分と、値「18」で示す「170°~180°」の部分とに区分されている。
 本発明者は、鋭意研究において、脳オルガノイドになる前駆体である細胞塊の画像のHOGヒストグラムを生成するために、上述した、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)(図8(A)参照)を使用した。また、本発明者は、鋭意研究において、脳オルガノイドになる前駆体ではない細胞塊の画像のHOGヒストグラムを生成するために、上述した、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)(図8(B)参照)を使用した。
 図12に示すHOGヒストグラムは、本発明者が生成した脳オルガノイドになる前駆体である細胞塊の画像のHOGヒストグラム(「正常」HOGヒストグラム)と、本発明者が生成した脳オルガノイドになる前駆体ではない細胞塊の画像のHOGヒストグラム(「異常」HOGヒストグラム)とを比較して示す。
 図12に示すように、本発明者は、鋭意研究において、脳オルガノイドになる前駆体ではない細胞塊の画像のHOGヒストグラム(「異常」HOGヒストグラム)の横軸の水平成分を示す部分(値「1」で示す部分)の輝度の勾配強度が、脳オルガノイドになる前駆体である細胞塊の画像のHOGヒストグラム(「正常」HOGヒストグラム)の横軸の水平成分を示す部分(値「1」で示す部分)の輝度の勾配強度よりも高いことを見い出した。
 また、図12に示すように、本発明者は、鋭意研究において、脳オルガノイドになる前駆体ではない細胞塊の画像のHOGヒストグラム(「異常」HOGヒストグラム)の横軸の垂直成分を示す部分(値「10」で示す部分)の輝度の勾配強度が、脳オルガノイドになる前駆体である細胞塊の画像のHOGヒストグラム(「正常」HOGヒストグラム)の横軸の垂直成分を示す部分(値「10」で示す部分)の輝度の勾配強度よりも高いことを見い出した。
 図10に示す例では、判定部13が、テクスチャ解析部12の解析結果に基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。詳細には、判定部13は、HOGヒストグラム生成部12Bによって生成されたHOGヒストグラムに基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 更に詳細には、判定部13は、図12に示す研究結果を反映した判定を行う。
 細胞塊がオルガノイドになる前駆体ではないと判定部13によって判定されるHOGヒストグラムの横軸の水平成分を示す部分(図12に値「1」で示す部分)の輝度の勾配強度は、細胞塊がオルガノイドになる前駆体であると判定部13によって判定されるHOGヒストグラムの横軸の水平成分を示す部分(図12に値「1」で示す部分)の輝度の勾配強度よりも高くなる。
 また、細胞塊がオルガノイドになる前駆体ではないと判定部13によって判定されるHOGヒストグラムの横軸の垂直成分を示す部分(図12に値「10」で示す部分)の輝度の勾配強度は、細胞塊がオルガノイドになる前駆体であると判定部13によって判定されるHOGヒストグラムの横軸の垂直成分を示す部分(図12に値「10」で示す部分)の輝度の勾配強度よりも高くなる。
 図10に示す例では、学習部14は、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を用いることによって判定部13の学習(機械学習)を行う。教師画像取得部15は、例えば図8(A)および図8(B)に示すような、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 図10に示す例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えているが、他の例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えていなくてもよい。つまり、他の例では、判定部13が、図10に示す例における学習後の判定部13の性能と同等の性能を当初から備えている。
 図13は第2実施形態のオルガノイド画像解析装置1において実行される処理の一例を説明するためのフローチャートである。
 図13に示す例では、ステップS21において、図9のステップS11と同様に、教師画像取得部15は、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 次いで、ステップS22では、学習部14が、ステップS21において取得された教師画像を用いることによって判定部13の学習(機械学習)を行う。
 次いで、ステップS23において、図9のステップS13と同様に、解析対象画像取得部11は、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 次いで、ステップS24では、テクスチャ解析部12が、ステップS23において取得された細胞塊の画像に対するテクスチャ解析を実行する。
 詳細には、ステップS24では、HOGヒストグラム生成部12Bが、ステップS23において取得された細胞塊の画像中の局所領域の輝度の勾配方向をヒストグラム化したものであるHOGヒストグラムを生成する。
 次いで、ステップS25では、判定部13が、ステップS24において生成されたHOGヒストグラムに基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 第2実施形態のオルガノイド画像解析装置1では、HOGヒストグラム生成部12Bを備えるテクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対して、SIFT、SURFおよびA-KAZEよりも高密度(dense)なサンプリングを実行し、テクスチャ解析を実行する。
 そのため、第2実施形態のオルガノイド画像解析装置1では、例えばSIFT、SURFあるいはA-KAZEによるテクスチャ解析が実行される場合よりも高精度に、細胞塊がオルガノイドになる前駆体であるか否かを判定することができる。
<第3実施形態>
 以下、本発明のオルガノイド画像解析装置、オルガノイド画像解析方法およびプログラムの第3実施形態について説明する。
 第3実施形態のオルガノイド画像解析装置1は、後述する点を除き、上述した第1実施形態のオルガノイド画像解析装置1と同様に構成されている。従って、第3実施形態のオルガノイド画像解析装置1によれば、後述する点を除き、上述した第1実施形態のオルガノイド画像解析装置1と同様の効果を奏することができる。
 図14は第3実施形態のオルガノイド画像解析装置1の一例を示す図である。
 図14に示す例では、オルガノイド画像解析装置1が、解析対象画像取得部11と、テクスチャ解析部12と、判定部13と、学習部14と、教師画像取得部15とを備えている。
 解析対象画像取得部11は、第1実施形態のオルガノイド画像解析装置1の解析対象画像取得部11と同様に、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 図14に示す例では、テクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対するテクスチャ解析を実行する。テクスチャ解析部12は、輝度粗さ曲線生成部12C1と、輝度粗さ特徴量算出部12C2とを備えている。輝度粗さ曲線生成部12C1は、解析対象画像取得部11によって取得された細胞塊の画像を切断する任意の線上における輝度を示す曲線である輝度粗さ曲線を生成する。
 図15は輝度粗さ曲線生成部12C1によって生成される輝度粗さ曲線などを説明するための図である。
 詳細には、図15(A)は細胞塊が脳オルガノイドになる前駆体である場合における細胞塊の画像の一例を示す図である。図15(B)は図15(A)に示す細胞塊の画像を切断する図15(A)中のX1-X1線上における輝度を示す輝度粗さ曲線BRCを示している。図15(B)において、横軸は図15(A)中のX1-X1線上における位置を示しており、縦軸は各位置における輝度を示している。
 図15(C)は細胞塊が脳オルガノイドになる前駆体ではない場合における細胞塊の画像の一例を示す図である。図15(D)は図15(C)に示す細胞塊の画像を切断する図15(C)中のX2-X2線上における輝度を示す輝度粗さ曲線BRCを示している。図15(D)において、横軸は図15(C)中のX2-X2線上における位置を示しており、縦軸は各位置における輝度を示している。
 本発明者は、鋭意研究において、図15(A)に示すようにbudding(出芽)が生じ、細胞塊が脳オルガノイドになる前駆体である場合における細胞塊の画像の輝度粗さ曲線BRC(図15(B)参照)は、図15(C)に示すようにbudding(出芽)が生じておらず、細胞塊が脳オルガノイドになる前駆体ではない場合における細胞塊の画像の輝度粗さ曲線BRC(図15(D)参照)より粗くなる(位置に応じた輝度の増減が顕著になる)ことを見い出した。
 つまり、輝度粗さ曲線生成部12C1は、解析対象画像取得部11によって取得された細胞塊の画像から、例えば図15(A)および図15(C)に示すような細胞塊の画像を切断する任意の線上における輝度を示す輝度粗さ曲線BRC(図15(B)および図15(D)参照)を生成する。
 輝度粗さ特徴量算出部12C2は、第1半径を有する第1円C1(図15(B)および図15(D)参照)が輝度粗さ曲線BRC上を転がる距離である第1距離D1と、第1半径R1とは異なる第2半径(図15(B)および図15(D)に示す例では、第1半径>第2半径)を有する第2円C2(図15(B)および図15(D)参照)が輝度粗さ曲線BRC上を転がる距離である第2距離D2との比である輝度粗さ特徴量BR(=D1/D2)を算出する。
 本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体であることが既知の細胞塊の画像(例えば図15(A)参照)を切断する任意の線上における輝度粗さ曲線BRC(例えば図15(B)参照)上を第1円C1(図15(B)参照)が転がる距離である第1距離D1は、その輝度粗さ曲線BRC上を第2円C2(図15(B)参照)が転がる距離である第2距離D2と比較してかなり大きくなり、その輝度粗さ曲線BRCについての輝度粗さ特徴量BR(=D1/D2)が、値1.1より大きくなることを見い出した。
 本発明者は、鋭意研究において、細胞塊が脳オルガノイドになる前駆体ではないことが既知の細胞塊の画像(例えば図15(C)参照)を切断する任意の線上における輝度粗さ曲線BRC(例えば図15(D)参照)上を第1円C1(図15(D)参照)が転がる距離である第1距離D1は、その輝度粗さ曲線BRC上を第2円C2(図15(D)参照)が転がる距離である第2距離D2と比較して僅かに大きくなり、その輝度粗さ曲線BRCについての輝度粗さ特徴量BR(=D1/D2)が、値1.0~1.1になることを見い出した。
 図16は細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)(例えば図15(A)参照)について本発明者が鋭意研究において算出した輝度粗さ特徴量BR、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)(例えば図15(C)参照)について本発明者が鋭意研究において算出した輝度粗さ特徴量BRなどを説明するための図である。
 詳細には、図16(A)は細胞塊が脳オルガノイドになる前駆体であることが既知の細胞塊の画像(「正常」画像)、または、細胞塊が脳オルガノイドになる前駆体ではないことが既知の細胞塊の画像(「異常」画像)を切断するX-X線およびY-Y線を説明するための図である。
 図16(B)は細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)を切断するX-X線(図16(A)参照)上における輝度粗さ曲線BRC_X上を第1円C1が転がる第1距離D1_Xと、その輝度粗さ曲線BRC_X上を第2円C2が転がる第2距離D2_Xとの比であるX方向輝度粗さ特徴量BR_X(=D1_X/D2_X)と、それらの画像(「正常」画像)を切断するY-Y線(図16(A)参照)上における輝度粗さ曲線BRC_Y上を第1円C1が転がる第1距離D1_Yと、その輝度粗さ曲線BRC_Y上を第2円C2が転がる第2距離D2_Yとの比であるY方向輝度粗さ特徴量BR_Y(=D1_Y/D2_Y)とを示す複数のプロット(「正常」プロット)を示している。
 また、図16(B)は細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)を切断するX-X線(図16(A)参照)上における輝度粗さ曲線BRC_XA上を第1円C1が転がる第1距離D1_XAと、その輝度粗さ曲線BRC_XA上を第2円C2が転がる第2距離D2_XAとの比であるX方向輝度粗さ特徴量BR_XA(=D1_XA/D2_XA)と、それらの画像(「異常」画像)を切断するY-Y線(図16(A)参照)上における輝度粗さ曲線BRC_YA上を第1円C1が転がる第1距離D1_YAと、その輝度粗さ曲線BRC_YA上を第2円C2が転がる第2距離D2_YAとの比であるY方向輝度粗さ特徴量BR_YA(=D1_YA/D2_YA)とを示す複数のプロット(「異常」プロット)を示している。
 図16(B)において、横軸は、「正常」プロットのX方向輝度粗さ特徴量BR_X、および、「異常」プロットのX方向輝度粗さ特徴量BR_XAを示しており、縦軸は、「正常」プロットのY方向輝度粗さ特徴量BR_Y、および、「異常」プロットのY方向輝度粗さ特徴量BR_YAを示している。
 図16に示す例では、第1円C1の直径が100[pixel]に設定され、第2円C2の直径が3[pixel]に設定されている。
 本発明者は、鋭意研究において、図16(B)に示すように、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)について算出した輝度粗さ特徴量BR_X、BR_Yが、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)について算出した輝度粗さ特徴量BR_XA、BR_YAより大きくなることを見い出した。
 つまり、本発明者は、鋭意研究において、図16(B)に示すように、細胞塊が脳オルガノイドになる前駆体であることが既知の複数の細胞塊の画像(「正常」画像)に関する「正常」プロットが、図16(B)の右上側に分布し、細胞塊が脳オルガノイドになる前駆体ではないことが既知の複数の細胞塊の画像(「異常」画像)に関する「異常」プロットが、図16(B)の左下側に分布することを見い出した。
 図14に示す例では、判定部13が、テクスチャ解析部12の解析結果に基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。詳細には、判定部13は、輝度粗さ特徴量算出部12C2によって算出された輝度粗さ特徴量に基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 更に詳細には、判定部13は、図16(B)に示す研究結果を反映した判定を行う。
 輝度粗さ特徴量算出部12C2によって算出された輝度粗さ特徴量BRが閾値よりも大きい場合に、判定部13は、細胞塊がオルガノイドになる前駆体であると判定する。例えば、X方向輝度粗さ特徴量BR_Xが値1.1より大きく、かつ、Y方向輝度粗さ特徴量BR_Yが値1.1より大きい場合に、判定部13は、細胞塊がオルガノイドになる前駆体であると判定する。
 輝度粗さ特徴量算出部12C2によって算出された輝度粗さ特徴量BRが閾値以下である場合に、判定部13は、細胞塊がオルガノイドになる前駆体はないと判定する。例えば、X方向輝度粗さ特徴量BR_Xが値1.1以下である場合、または、Y方向輝度粗さ特徴量BR_Yが値1.1以下である場合に、判定部13は、細胞塊がオルガノイドになる前駆体ではないと判定する。
 つまり、判定部13は、解析対象画像取得部11によって取得された細胞塊の画像の輝度粗さ曲線より得られる輝度粗さ特徴量に基づいて、細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 本発明者は、鋭意研究において、図8(A)および図8(B)に示す細胞塊が脳オルガノイドになる前駆体であるか否かが既知の80枚の細胞塊の画像(教師画像)を使用し、サポートベクターマシン(SVM)にて第3実施形態のオルガノイド画像解析装置1の判定部13の学習を行った。
 学習後において、判定部13は、31枚の図8(A)に示す「正常」画像のうちの、20枚の画像を、「正常」画像であると正しく判定した。
 また、判定部13は、49枚の図8(B)に示す「異常」画像のうちの、45枚の画像を、「異常」画像であると正しく判定した。
 また、判定部13は、31枚の図8(A)に示す「正常」画像のうちの、11枚の画像を、「異常」画像であると誤って判定した。
 また、判定部13は、49枚の図8(B)に示す「異常」画像のうちの、3枚の画像を、「正常」画像であると誤って判定した。
 つまり、判定部13は、80枚の画像のうちの65枚の画像について、「正常」画像であるか、あるいは、「異常」画像であるかを正しく判定した。また、判定部13は、80枚の画像のうちの14枚の画像について、「正常」画像であるか、あるいは、「異常」画像であるかを誤って判定した。
 検出率(=検出した正解数/全正解数)は64.5%になった。誤検出率(=誤検出した数/全不正解数)は6.3%になった。適中率は82.3%になった。
 すなわち、本発明者は、鋭意研究において、80%程度の精度で分類できる第3実施形態のオルガノイド画像解析装置1の判定部13のプログラムを試作した。
 図14に示す例では、学習部14が、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を用いることによって判定部13の学習(機械学習)を行う。教師画像取得部15は、例えば図8(A)および図8(B)に示すような、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 図14に示す例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えているが、他の例では、オルガノイド画像解析装置1が学習部14と教師画像取得部15とを備えていなくてもよい。つまり、他の例では、判定部13が、図14に示す例における学習後の判定部13の性能と同等の性能を当初から備えている。
 図17は第3実施形態のオルガノイド画像解析装置1において実行される処理の一例を説明するためのフローチャートである。
 図17に示す例では、ステップS31において、図9のステップS11と同様に、教師画像取得部15は、細胞塊がオルガノイドになる前駆体であるか否かが既知の細胞塊の画像である教師画像を取得する。
 次いで、ステップS32では、学習部14が、ステップS31において取得された教師画像を用いることによって判定部13の学習(機械学習)を行う。
 次いで、ステップS33において、図9のステップS13と同様に、解析対象画像取得部11は、テクスチャ解析部12によるテクスチャ解析の対象である細胞塊の画像として、例えば外部の撮影装置(図示せず)によって撮影され、トリミングなどの処理が行われた後の細胞塊の画像を取得する。
 次いで、ステップS34およびステップS35では、テクスチャ解析部12が、ステップS33において取得された細胞塊の画像に対するテクスチャ解析を実行する。
 詳細には、ステップS34では、輝度粗さ曲線生成部12C1が、ステップS33において取得された細胞塊の画像を切断する任意の線上における輝度を示す曲線である輝度粗さ曲線BRCを生成する。
 次いで、ステップS35では、輝度粗さ特徴量算出部12C2が、ステップS34において生成された輝度粗さ曲線BRC上を第1円C1が転がる距離である第1距離D1と、輝度粗さ曲線BRC上を第2円C2が転がる距離である第2距離D2との比である輝度粗さ特徴量BR(=D1/D2)を算出する。
 次いで、ステップS35では、判定部13が、ステップS35において算出された輝度粗さ特徴量BRに基づいて、テクスチャ解析部12による解析が実行された画像に含まれる細胞塊がオルガノイドになる前駆体であるか否かを判定する。
 第3実施形態のオルガノイド画像解析装置1では、輝度粗さ曲線生成部12C1と輝度粗さ特徴量算出部12C2とを備えるテクスチャ解析部12が、解析対象画像取得部11によって取得された細胞塊の画像に対して、SIFT、SURFおよびA-KAZEよりも高密度(dense)なサンプリングを実行し、テクスチャ解析を実行する。
 そのため、第3実施形態のオルガノイド画像解析装置1では、例えばSIFT、SURFあるいはA-KAZEによるテクスチャ解析が実行される場合よりも高精度に、細胞塊がオルガノイドになる前駆体であるか否かを判定することができる。
 次に実施例を示して本発明を更に詳細に説明するが、本発明は何らこれらに限定されるものではない。
[実施例1]
(1)48wellプレート等を用いて下記の培養を行った。
 この工程は、図9のステップS11よりも前に第1実施形態のオルガノイド画像解析装置1の外部において行われる工程、図13のステップS21よりも前に第2実施形態のオルガノイド画像解析装置1の外部において行われる工程、あるいは、図17のステップS31よりも前に第3実施形態のオルガノイド画像解析装置1の外部において行われる工程に相当する。
(ヒトiPS細胞の拡大培養)
 ヒトiPS細胞(PChiPS771株、Lot.A01QM28、リプロセル社製)を、「Nakagawa M., et al., A novel efficient feeder-free culture system for thederivation of human induced pluripotent stem cells, Scientific Reports, 4, 3594, 2014」に記載の方法に準じてフィーダーフリー培養した。フィーダーフリー培地としてはStemFit AK02N(味の素社製)、フィーダーフリー足場にはiMatrix-511(ニッピ社製)を用いた。
 具体的な拡大培養操作としては、まず80%コンフルント(培養面積の8割が細胞に覆われる程度)になったヒトiPS細胞(PChiPS771株、Lot.A01QM28、リプロセル社製)をPBSにて洗浄後、TrypLE Select(サーモフィッシャーサイエンティフィック社製)を用いて単一細胞へ分散した。その後、前記単一細胞へ分散されたヒトiPS細胞を、iMatrix-511(ニッピ社製)にてコートしたプラスチック培養ディッシュに播種し、Y27632(ROCK阻害物質、10μM)存在下、StemFit AK02N培地にてフィーダーフリー培養した。前記プラスチック培養ディッシュとして、60mm dish(イワキ社製、細胞培養用)を用いた場合、前記単一細胞へ分散されたヒトiPS細胞の播種細胞数は3×10個とした。
 細胞を播種してから1日後に、Y27632を含まないStemFit AK02N培地に交換した。以降、1~2日に一回Y27632を含まないStemFit AK02N培地にて培地交換した。その後、細胞を播種してから6日後に80%コンフルントになった。
(神経外胚葉マーカー陽性の細胞凝集塊の作製)
 ヒトiPS細胞(PChiPS771株、Lot.A01QM28、リプロセル社製)をStemFit AK02N(味の素社製)を用いて、80%コンフルントまでフィーダーフリー培養した。続いて、80%コンフルントのヒトiPS細胞(PChiPS771株、Lot.A01QM28、リプロセル社製)を、Y27632(ROCK阻害物質、10μM)存在下で、2時間処理した。
 続いて、前記ヒトiPS細胞を、TrypLE Select(サーモフィッシャーサイエンティフィック社製)を用いて細胞分散液処理し、さらにピペッティング操作により単一細胞に分散した。続いて、単一細胞に分散されたヒトiPS細胞を非細胞接着性の96穴培養プレート(PrimeSurface 96V底プレート、住友ベークライト社製)の1ウェルあたり2×10個になるように100μLのAggregation培地に浮遊させ、37℃、5%COで浮遊培養した。
 Aggregation培地としては、StemFit AK02N(味の素社製)に、1×Non-essential Amino Acids(サーモフィッシャーサイエンティフィック社製)、1×Penicillin/Streptomycin(ナカライテスク社)、1×Glutamax(サーモフィッシャーサイエンティフィック社製)、1×2-Mercaptoethanol(サーモフィッシャーサイエンティフィック社製)、2μM Dorsomorphin(シグマ社製)、2μM A83-01を添加したものを用いた。
 浮遊培養開始時(培養0日目、以下、特に断らない限り、培養日数は、浮遊培養開始時からの培養日数で表す。)に、Aggregation培地にY27632(終濃度30μM)を添加した。また、浮遊培養開始後1日目に、Y27632(終濃度10μM)を含んだAggregation培地を150μL加え、浮遊培養開始後7日目まで培地交換せずに浮遊培養を続けた。その結果、神経外胚葉マーカー陽性の細胞凝集塊が得られた。
(神経外胚葉マーカー陽性細胞凝集塊の神経オルガノイドへの誘導)
 浮遊培養開始後7日目に、各ウェルからAggregation培地を230μL取り除いた。続いて、第1のDifferentiation培地を150μL/ウェルずつ添加し、37℃、5%COで浮遊培養した。
 第1のDifferentiation培地としては、Dulbecco’s Modified Eagle Medium:Nutrient Mixture F-12(サーモフィッシャーサイエンティフィック社製)に、1×N2 Supplement(サーモフィッシャーサイエンティフィック社製)、10μg/mL Heparin Sodium Salt(シグマ社製)、1×Non-essential Amino Acids(サーモフィッシャーサイエンティフィック社製)、1×Penicillin/Streptomycin(ナカライテスク社)、1×Glutamax(サーモフィッシャーサイエンティフィック社製)、4ng/mL Wnt-3a(Human、Recombinant、R&Dシステムズ社製)、1μM CHIR99021(Axon社製)、1μM SB-431542(シグマ社製)、50体積%マトリゲル(コーニング社製)を添加したものを用いた。
 2~3日後(培養9~10日後)に細胞塊を顕微鏡で観察し、撮像した。観察、撮像に使用した顕微鏡や撮像方法の詳細は、(2)、(3)に後述した。この観察は、図9のステップS11よりも前に第1実施形態のオルガノイド画像解析装置1の外部において行われる観察、図13のステップS21よりも前に第2実施形態のオルガノイド画像解析装置1の外部において行われる観察、あるいは、図17のステップS31よりも前に第3実施形態のオルガノイド画像解析装置1の外部において行われる観察に相当する。
(神経オルガノイドの脳オルガノイドへの誘導)
 培養14日目に各細胞凝集塊(神経オルガノイド)を各ウェルから回収し、10mLのPBSが入ったFalcon(登録商標)コニカルチューブ50mL(コーニング社製)に移した。続いて、5回転倒混和し、上清を除去することにより、マトリゲルを除去した。
 続いて、Falcon(登録商標)コニカルチューブ50mLから各神経オルガノイドを回収し、30mLシングルユースバイオリアクターに移した。続いて、第2のDifferentiation培地を20mL加え、撹拌培養を開始した。撹拌培養期間中、撹拌速度は50rpmに設定し、培地交換は3~4日に1回行った。
 第2のDifferentiation培地としては、Dulbecco’s Modified Eagle Medium:Nutrient Mixture F-12(サーモフィッシャーサイエンティフィック社製)に、1×N2 Supplement(サーモフィッシャーサイエンティフィック社製)、50×B-27 Supplement(サーモフィッシャーサイエンティフィック社製)、1×Non-essential Amino Acids(サーモフィッシャーサイエンティフィック社製)、1×Penicillin/Streptomycin(ナカライテスク社製)、1×2-Mercaptoethanol(サーモフィッシャーサイエンティフィック社製)、2.5μg/mL Insulin Solution(Human、recombinant、和光純薬社製)を添加したものを用いた。
 続いて、浮遊培養開始後40日目及び70日目の各細胞凝集塊について、上述したものと同様にして凍結切片を作製し、免疫染色した。具体的には、大脳皮質の第VI層マーカーであるPAX6(抗Chx10抗体、Exalpha社、ヒツジ)、大脳皮質の第II~IV層マーカーであるCTIP2(抗Rx抗体、タカラバイオ社、ギニアピッグ)、大脳皮質の第II層マーカーであるSATB2(抗Rx抗体、タカラバイオ社、ギニアピッグ)について免疫染色を行い、共焦点顕微鏡(ZEISS社製)を用いて蛍光顕微鏡観察した。観察の結果、正常なオルガノイドと、異常なオルガノイドとに分類することができた。分類結果と培養9~10日後に撮影した写真との相関関係がわかれば、培養の初期段階で成否を判断することができ、無駄な培養のためのコストを低減することができる。相関関係の求め方は(4)~(6)に後述した。
(2)KEYENCE社製倒立顕微鏡(BZ-X710)を用いて、48wellプレート中で培養されたオルガノイドの明視野透過像を1wellずつ撮影した。この撮影は、図9のステップS11よりも前に第1実施形態のオルガノイド画像解析装置1の外部において行われる撮影、図13のステップS21よりも前に第2実施形態のオルガノイド画像解析装置1の外部において行われる撮影、あるいは、図17のステップS31よりも前に第3実施形態のオルガノイド画像解析装置1の外部において行われる撮影に相当する。
 対物レンズはCFI Plan Apoλ2xを使用し、クイックフルフォーカス機能を使用して解像度1980×1440の画像を取得した。 クイックフルフォーカス機能とは、BZ-X710に搭載されている機能であり、3次元の被写体に対して、z軸方向に複数の画像をあらかじめ取得し、そこからピントが合った部分だけを合成して1枚の画像を生成するモードである。
 倒立顕微鏡によって撮影された画像は、図9のステップS11およびステップS13において第1実施形態のオルガノイド画像解析装置1によって取得されるか、図13のステップS21およびステップS23において第2実施形態のオルガノイド画像解析装置1によって取得されるか、あるいは、図17のステップS31およびステップS33において第3実施形態のオルガノイド画像解析装置1によって取得される。
 実施例1においては、上記の「オルガノイド」は、前駆体であり、他に細胞凝集塊という言い方もあり、大脳皮質への分化開始直後の状態である。本明細書における用語「脳オルガノイド」には、上述した「大脳皮質への分化開始直後の状態」が含まれる。
 実施例1においては、培養の期間として、iPS細胞をV底プレートに播種して7日間培養し、マトリゲルに入れて2~3日目のものを撮像した。7日間の培養でiPS細胞から分化誘導(BMP阻害剤、TGFβ阻害剤添加)により、外胚葉から神経上皮に誘導され、マトリゲル+Wnt3a+CHIR等により、神経幹細胞から大脳皮質への分化を進めた。Buddingがマトリゲル添加後2日くらいで始まり、3日には神経上皮と神経細胞とが混在した状態になった。
 図18は実施例1における培養を概念的に示す図である。
(3)OpenCV-Pythonライブラリを使用し、適切な閾値を設定することで、オルガノイドを一つずつ認識し、撮影したwell内の画像からオルガノイドを囲む最小の長方形型の範囲を関心領域(ROI)として一つずつ取り出した。
 この工程は、図9のステップS11とステップS12との間およびステップS13とステップS14との間に第1実施形態のオルガノイド画像解析装置1において行われる工程、図13のステップS21とステップS22との間およびステップS23とステップS24との間に第2実施形態のオルガノイド画像解析装置1において行われる工程、あるいは、図17のステップS31とステップS32との間およびステップS33とステップS34との間に第3実施形態のオルガノイド画像解析装置1において行われる工程に相当する。この工程が、第1から第3実施形態のオルガノイド画像解析装置1の外部において行われてもよい。
(4)取り出したROIに対して、HOG、LBP特徴量(それぞれscikit-imageライブラリを使用)BR特徴量を取り出した。この観察は、図9のステップS14、図13のステップS24の一部、および、図17のステップS35に相当する。
 上記(3)の処理が行われた160枚の画像データのうち、80枚を教師データとしてSVM(scikit-learnライブラリを使用)のリニアモデルにより学習(この学習は、図9のステップS12、図13のステップS22、および、図17のステップS32に相当する。)を行った後、残りの80枚を用いて、判別精度の評価を行った。この評価は、図9のステップS15およびステップS16、図13のステップS24の残りおよびステップS25、並びに、図17のステップS35およびステップS36に相当する。
(5)上記(4)の比較として、sparseな特徴量のサンプリングを行うSIFT、SURF、A-KAZE特徴量(それぞれOpenCV-Pythonライブラリを使用)を取り出した。160枚の画像データのうち、80枚を教師データとしてSVM(scikit-learnライブラリを使用)のリニアモデルにより学習を行った後、残りの80枚を用いて、判別精度の評価を行った。この工程は、第1から第3実施形態のオルガノイド画像解析装置1の外部において行われる工程に相当する。評価結果を下記の表1に示す。
Figure JPOXMLDOC01-appb-T000001
 上記の表1において、「検出率」、「誤検出率」および「適中率」は下記のとおりである。
検出率:真陽性/(真陽性+偽陰性)  (正常オルガノイド:陽性)
誤検出率:偽陽性/(真陰性+偽陽性)
適中率:真陽性/(真陽性+偽陽性)
 図19は実施例1における「正常」および「異常」を説明するための図である。
 実施例1における「正常」とは、図19の左側の「大脳皮質オルガノイド」の免染のように、幹細胞マーカー(PAX6)を中心とした階層構造(SATB2など)が形成されたものを意味する。
 実施例1における「異常」とは、図19の右側の「神経スフェロイド」のように、各々のマーカーで染まるものの、階層構造を形成していないものを意味する。
 脳オルガノイドの学術的な意味での定義は曖昧であり、幹細胞のマーカー(PAX6)が存在すればオルガノイドと呼ぶ場合や、階層構造がきちんと形成されていればオルガノイドと呼ぶ場合がある。
 従って、実施例1においては、大脳皮質の階層構造が形成されたものを「正常」と称する。なお、異常の場合においても、培養されたものが、直ちに死滅するわけではない。階層構造を有する大脳皮質様の部位の割合が少なくなり、神経細胞が大半を占めるものを、実施例1においては「異常」と称する。
 従って、実施例1においては、培養の初期段階(10日目くらい)の細胞塊の画像から、70~90日目のオルガノイドの正常(階層あり、大脳皮質)、異常(階層なし、神経細胞)の判定ができる。
(6)一つの画像特徴量だけでは判別結果が不安定になる場合がある。この問題を解決する手段として、いくつかの画像特徴量を組み合わせて使うことができる。組み合わせる画像特徴量としては、教師用データが十分にある限り、任意に複数の組み合わせで使用することができる。また、上記のような画像特徴量に限らず、オルガノイドのサイズや色の濃淡など単純なパラメーターも組み合わせて使用することができる。
補足
<1>SHIFT、SURF、A-KAZE:OpenCV-Pythonライブラリを使用した。それぞれのライブラリを使用して特徴点を決定した後に、各特徴点における輝度勾配のヒストグラムを64次元のパラメーターとして特徴量を抽出した。
<2>HOG:scikit-imageのライブラリを使用した。セルサイズを3×3ピクセル、ボックスサイズを3×3セルとして各セルの輝度勾配の平均を各ボックスごとに取り出し、8次元のパラメーターとして特徴量を抽出した。
<3>LBP:Pythonの外部ライブラリであるScikit-Imageパッケージ(Ver.0.13.1)を使用した。5×5ピクセルの局所領域におけるLBPを24次元のパラメーターとして特徴量を抽出した。
<4>BR特徴量の抽出
 オリジナルのPythonコードを使用した。画像に対して、縦、横それぞれ3水準(画像高さ、幅、それぞれ、1/3、2/1、2/3の水準)から球の大きさ直径51ピクセルの球を用いてBR特徴量を6次元のデータとして抽出した。
*BR特徴量補足
 画像中の任意の線分上における、グレースケールの輝度(0~255)を、線分上での位置を横軸に対してプロットする。このプロット図に対し、任意の大きさの球を上から転がした時の球の軌跡をTxとするとき、プロットした点の軌跡(T0)に対する長さの比(Tx/T0)をBR特徴量と定義する。球の大きさが大きいほど、微細間隔での輝度変化を拾いにくくなるため、画像の輝度変化の間隔を代表する特徴量となる。
<5>オルガノイドサイズ:OpenCV-Pythonライブラリを使用した。適切な閾値を設定することで、オルガノイドを一つずつ認識し、各オルガノイドの面積を1次元の特徴量として抽出した。
<6>色の濃淡:背景の輝度(Lb)に対するオルガノイドの輝度の平均(Lo)(Lo/Lb)を一次元の特徴量として抽出した。
<7>機械学習:Scikit-learnのサポートベクトルマシン(SVM)ライブラリを使用した。熟練者によるオルガノイドの良否判断結果をラベルとして付与した画像データデータを教師データとしてSVMの直線回帰モデルを使用して学習モデルの作製を行った。その後、作成したSVMのモデルに対して、(画像の前処理)を行った画像を入力し、良否の結果を取得した。
 上述した各例では、脳オルガノイドが本発明のオルガノイド画像解析装置1に適用されているが、他の例では、脳オルガノイド以外のオルガノイドが本発明のオルガノイド画像解析装置1に適用されてもよい。
 以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を適宜組み合わせてもよい。
 なお、上述した実施形態におけるオルガノイド画像解析装置1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
1…オルガノイド画像解析装置、11…解析対象画像取得部、12…テクスチャ解析部、12A1…LBP特徴量算出部、12A2…LBPヒストグラム生成部、12B…HOGヒストグラム生成部、12C1…輝度粗さ曲線生成部、12C2…輝度粗さ特徴量算出部、13…判定部、14…学習部、15…教師画像取得部

Claims (15)

  1.  細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析部と、
     前記テクスチャ解析部の解析結果に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定部と
     を備えるオルガノイド画像解析装置。
  2.  前記テクスチャ解析が、高密度なサンプリングによるテクスチャ解析である、
     請求項1に記載のオルガノイド画像解析装置。
  3.  前記テクスチャ解析部は、
     前記細胞塊の画像を分割することにより得られる各画素のLBP(Local Binary Pattern)特徴量を算出するLBP特徴量算出部と、
     前記LBP特徴量算出部によって算出された各画素のLBP特徴量をヒストグラム化したものであるLBPヒストグラムを生成するLBPヒストグラム生成部とを備え、
     前記判定部は、前記LBPヒストグラム生成部によって生成された前記LBPヒストグラムに基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する、
     請求項2に記載のオルガノイド画像解析装置。
  4.  前記LBPヒストグラムの一方の軸は、前記LBP特徴量算出部によって算出されたLBP特徴量の各値に対応しており、
     前記LBPヒストグラムの他方の軸は、前記LBP特徴量算出部によって算出されたLBP特徴量の各値の出現頻度に対応しており、
     前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の中央部の前記出現頻度は、前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の前記中央部の前記出現頻度よりも高く、
     前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の両端部の前記出現頻度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記LBPヒストグラムの前記一方の軸の前記両端部の前記出現頻度よりも高い、
     請求項3に記載のオルガノイド画像解析装置。
  5.  前記テクスチャ解析部は、
     前記細胞塊の画像に対してHOG(Histograms of Oriented Gradients)ヒストグラムを生成するHOGヒストグラム生成部を備え、
     前記判定部は、前記HOGヒストグラム生成部によって生成された前記HOGヒストグラムに基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する、
     請求項2に記載のオルガノイド画像解析装置。
  6.  前記HOGヒストグラムの一方の軸は、輝度の勾配方向に対応しており、
     前記HOGヒストグラムの他方の軸は、輝度の勾配強度に対応しており、
     前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の水平成分を示す部分の輝度の勾配強度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の前記水平成分を示す部分の輝度の勾配強度よりも高く、
     前記細胞塊がオルガノイドになる前駆体ではないと前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の垂直成分を示す部分の輝度の勾配強度は、前記細胞塊がオルガノイドになる前駆体であると前記判定部によって判定される前記HOGヒストグラムの前記一方の軸の前記垂直成分を示す部分の輝度の勾配強度よりも高い、
     請求項5に記載のオルガノイド画像解析装置。
  7.  前記判定部は、前記細胞塊の画像の輝度粗さ曲線より得られる輝度粗さ特徴量に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する、
     請求項1に記載のオルガノイド画像解析装置。
  8.  前記テクスチャ解析部は、
     前記細胞塊の画像を切断する任意の線上における輝度を示す曲線である輝度粗さ曲線を生成する輝度粗さ曲線生成部と、
     第1半径を有する第1円が前記輝度粗さ曲線上を転がる距離である第1距離と、前記第1半径とは異なる第2半径を有する第2円が前記輝度粗さ曲線上を転がる距離である第2距離との比である輝度粗さ特徴量を算出する輝度粗さ特徴量算出部とを備え、
     前記判定部は、前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量に基づいて、前記細胞塊がオルガノイドになる前駆体であるか否かを判定する、
     請求項7に記載のオルガノイド画像解析装置。
  9.  前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量が閾値よりも大きい場合に、前記判定部は、前記細胞塊がオルガノイドになる前駆体であると判定し、
     前記輝度粗さ特徴量算出部によって算出された前記輝度粗さ特徴量が前記閾値以下である場合に、前記判定部は、前記細胞塊がオルガノイドになる前駆体ではないと判定する、
     請求項8に記載のオルガノイド画像解析装置。
  10.  前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって前記判定部の機械学習を行う学習部を更に備える、
     請求項1から請求項9のいずれか一項に記載のオルガノイド画像解析装置。
  11.  前記テクスチャ解析部によるテクスチャ解析の対象である前記細胞塊の画像として、撮影装置によって撮影された前記細胞塊の画像を取得する取得部を更に備える、
     請求項1から請求項10のいずれか一項に記載のオルガノイド画像解析装置。
  12.  細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析ステップと、
     前記テクスチャ解析ステップにおける解析結果に基づいて前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定ステップと
     を備えるオルガノイド画像解析方法。
  13.  前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって機械学習を行う学習ステップを更に備える、
     請求項12に記載のオルガノイド画像解析方法。
  14.  コンピュータに、
     細胞塊の画像に対するテクスチャ解析を実行するテクスチャ解析ステップと、
     前記テクスチャ解析ステップにおける解析結果に基づいて前記細胞塊がオルガノイドになる前駆体であるか否かを判定する判定ステップと
     を実行させるためのプログラム。
  15.  前記細胞塊がオルガノイドになる前駆体であるか否かが既知の前記細胞塊の画像である教師画像を用いることによって機械学習を行う学習ステップを更に実行させる、
     請求項14に記載のプログラム。
PCT/JP2019/027034 2018-09-12 2019-07-08 オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム WO2020054195A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-170342 2018-09-12
JP2018170342 2018-09-12

Publications (1)

Publication Number Publication Date
WO2020054195A1 true WO2020054195A1 (ja) 2020-03-19

Family

ID=69778518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027034 WO2020054195A1 (ja) 2018-09-12 2019-07-08 オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2020054195A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434709A (zh) * 2023-12-19 2024-01-23 山东伯桢生物科技有限公司 类器官定位控制系统及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006095896A1 (ja) * 2005-03-08 2006-09-14 Nihon University 培養細胞監視システム
JP2006333710A (ja) * 2005-05-31 2006-12-14 Nikon Corp 細胞の自動良否判定システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006095896A1 (ja) * 2005-03-08 2006-09-14 Nihon University 培養細胞監視システム
JP2006333710A (ja) * 2005-05-31 2006-12-14 Nikon Corp 細胞の自動良否判定システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAVITHA, MUTHU SUBASH ET AL.: "Critical texture pattern feature assessment for characterizing colonies of induced pluripotent stem cells through machine learning techniques", COMPUTERS IN BIOLOGY AND MEDICINE, vol. 94, 31 January 2018 (2018-01-31), pages 55 - 64, XP085348846, DOI: 10.1016/j.compbiomed.2018.01.005 *
MAZO, CLAUDIA ET AL.: "Classification of cardiovascular tissues using LBP based descriptors and a cascade SVM", COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE, vol. 147, 2017, pages 1 - 10, XP085137135, DOI: 10.1016/j.cmpb.2017.06.003 *
MCCAULEY, HEATHER A. ET AL.: "Pluripotent stem cell -derived organoids: using principles of developmental biology to grow human tissues in a dish", DEVELOPMENT, vol. 144, 2017, pages 958 - 962 *
NANNI, LORIS ET AL.: "Texture Descriptors Ensembles Enable Image-Based Classification of Maturation of Human Stem Cell -Derived Retinal Pigmented Epithelium", PLOS ONE, vol. 11, no. 2, 19 February 2016 (2016-02-19), pages 1 - 29 *
QUADRATO ET AL.: "Present and future of modeling human brain development in 3D organoids", CURRENT OPINION IN CELL BIOLOGY, vol. 49, 2017, pages 47 - 52, XP055692298 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434709A (zh) * 2023-12-19 2024-01-23 山东伯桢生物科技有限公司 类器官定位控制系统及其控制方法
CN117434709B (zh) * 2023-12-19 2024-03-15 山东伯桢生物科技有限公司 类器官定位控制系统及其控制方法

Similar Documents

Publication Publication Date Title
US10671833B2 (en) Analyzing digital holographic microscopy data for hematology applications
Veta et al. Assessment of algorithms for mitosis detection in breast cancer histopathology images
Fekri-Ershad Pap smear classification using combination of global significant value, texture statistical features and time series features
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
WO2016017533A1 (ja) 識別装置および識別方法
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
JP7142420B2 (ja) 画像処理装置、学習方法、学習済モデル、画像処理方法
Hobson et al. Classifying anti-nuclear antibodies HEp-2 images: A benchmarking platform
Son et al. Morphological change tracking of dendritic spines based on structural features
US10769432B2 (en) Automated parameterization image pattern recognition method
Mota et al. Automated mesenchymal stem cell segmentation and machine learning-based phenotype classification using morphometric and textural analysis
Gupta et al. Detecting mitotic cells in HEp-2 images as anomalies via one class classifier
Donato et al. HEp-2 cell classification with heterogeneous classes-processes based on k-nearest neighbours
Navlakha et al. A high-throughput framework to detect synapses in electron microscopy images
CA3091935A1 (en) Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification
WO2020054195A1 (ja) オルガノイド画像解析装置、オルガノイド画像解析方法およびプログラム
Gräbel et al. Evaluating out-of-the-box methods for the classification of hematopoietic cells in images of stained bone marrow
CN107194319B (zh) 基于支持向量机排序的有丝分裂定位和识别的方法
Jahani et al. Automatic identification of overlapping/touching chromosomes in microscopic images using morphological operators
Alhammad et al. Efficient dnn-based classification of whole slide gram stain images for microbiology
Vincent et al. Automated segmentation and classification of nuclei in histopathological images
CN109543696A (zh) 一种基于神经网络的图像识别方法及其应用
Sui et al. Point supervised extended scenario nuclear analysis framework based on LSTM-CFCN
Amitha et al. A survey on automatic breast cancer grading of histopathological images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860546

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19860546

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP