WO2021240986A1 - 細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム - Google Patents

細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム Download PDF

Info

Publication number
WO2021240986A1
WO2021240986A1 PCT/JP2021/013415 JP2021013415W WO2021240986A1 WO 2021240986 A1 WO2021240986 A1 WO 2021240986A1 JP 2021013415 W JP2021013415 W JP 2021013415W WO 2021240986 A1 WO2021240986 A1 WO 2021240986A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell image
fibroblast
cells
colony
image analysis
Prior art date
Application number
PCT/JP2021/013415
Other languages
English (en)
French (fr)
Inventor
俊弼 富永
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022527537A priority Critical patent/JPWO2021240986A1/ja
Publication of WO2021240986A1 publication Critical patent/WO2021240986A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06—Quantitative determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the technique of the present disclosure relates to a cell image analysis device, an operation method of the cell image analysis device, and an operation program of the cell image analysis device.
  • Japanese Patent Publication No. 2014-531212 describes a technique for detecting a colony of fibroblast-like cells by image analysis from a cell image obtained by photographing fibroblast-like cells in culture. More specifically, in Japanese Patent Publication No. 2014-531212, the boundary between the colony of fibroblast-like cells and other regions is detected by known edge detection methods such as the Sobel method, the Laplace method, the Prewitt method, and the Roberts method. There is.
  • the fibroblast-like cells include not only fibroblasts themselves but also cells having a morphology similar to that of fibroblasts. Examples of cells similar in morphology to fibroblasts include synovial stem cells, which have been attracting attention in the field of regenerative medicine in recent years.
  • One embodiment according to the technique of the present disclosure is a cell image analysis apparatus capable of accurately detecting a colony of fibroblast-like cells as compared with the case of detecting a colony of fibroblast-like cells by an edge detection method.
  • a method of operating a cell image analysis device and an operation program of the cell image analysis device are provided.
  • the cell image analysis apparatus of the present disclosure comprises at least one processor, in which the processor acquires a cell image obtained by photographing fibroblast-like cells and analyzes the cell image to obtain fibers in the cell image.
  • the density information of blast-like cells is derived, and the colonies of fibroblasts are detected based on the density information.
  • the processor derives the estimated density distribution of fibroblast-like cells in the cell image by performing kernel density estimation, and outputs the estimated density distribution as density information.
  • the processor performs a mean-shift with reference to the estimated density distribution to detect a group of fibroblast-like cells converged to the same maximum point in the estimated density distribution as a colony.
  • the processor accepts the user's specification of the kernel density estimation bandwidth and performs the kernel density estimation with the specified bandwidth which is the accepted bandwidth.
  • the processor derives multiple types of estimated density distribution by performing kernel density estimation with multiple types of bandwidth for a specific region of a cell image, and refers to each of the multiple types of estimated density distribution.
  • the main-shift By performing the main-shift, the detection results of multiple types of colonies corresponding to the estimated density distribution of multiple types are output, the detection results of multiple types are presented to the user, and one of the detection results of multiple types is used. Is preferably selected by the user, and the bandwidth corresponding to one detection result selected by the user is preferably set as the designated bandwidth.
  • the processor performs the derivation of density information and the detection of colonies only when the index indicating the degree of proliferation of fibroblast-like cells in the cell image is within the set range.
  • the processor presents the colony detection result to the user.
  • the processor derives evaluation information indicating the proliferative ability of fibroblast-like cells based on the detection result of the colony and presents the evaluation information to the user.
  • the evaluation information is preferably information regarding at least one of the number and size of colonies at one time point.
  • the evaluation information is preferably information regarding at least one of the number and size of colonies at a plurality of time points.
  • the method of operating the cell image analysis apparatus of the present disclosure is a step of acquiring a cell image obtained by photographing a fibroblast-like cell, and an image analysis of the cell image to obtain a fibroblast-like cell in the cell image.
  • the processor performs a derivation step of deriving the density information and a detection step of detecting a colony of fibroblast-like cells based on the density information.
  • the operation program of the cell image analysis apparatus of the present disclosure includes an acquisition unit that acquires a cell image obtained by photographing fibroblast-like cells, and an image analysis of the cell image to obtain fibroblast-like cells in the cell image.
  • the processor functions as a derivation unit for deriving density information and a detection unit for detecting a colony of fibroblast-like cells based on the density information.
  • a cell image analysis device and a cell image analysis device capable of accurately detecting a colony of fibroblast-like cells as compared with the case of detecting a colony of fibroblast-like cells by an edge detection method. It is possible to provide an operation method of the cell image analyzer and an operation program of the cell image analyzer.
  • FIGS. 1-10 It is a figure which shows still another example of evaluation information. It is a figure which shows the mode of displaying a warning when the change amount of the average size of a colony per culture day is less than a threshold value. It is a flowchart which shows another example of the specification method of the specified bandwidth. It is a figure which shows the 2nd Embodiment which performs the derivation of density information and the detection of a colony only when the area ratio of a fibroblast-like cell in a cell image is within a set range. It is a figure which shows another example of the 2nd Embodiment. It is a figure which shows still another example of 2nd Embodiment. It is a figure which summarized the aspect shown in FIGS.
  • the vertical axis is the area ratio
  • the horizontal axis is the number of culture days.
  • the cell image analysis device 10 is, for example, a desktop personal computer, and the photographing device 11 is connected to the cell image analysis device 10.
  • the imaging device 11 is, for example, a phase-contrast microscope or a bright-field microscope, and photographs fibroblast-like cells 13 being cultured in the culture vessel 12. Then, the cell image 14 obtained thereby is transmitted to the cell image analysis device 10.
  • fibroblast-like cells 13 are seeded in the culture vessel 12. Then, it proliferates and becomes dense with the passage of time to form colonies.
  • the cell image analyzer 10 detects a colony from the cell image 14.
  • the fibroblast-like cell 13 is, for example, a synovial stem cell.
  • the fibroblast-like cell 13 may be the fibroblast itself.
  • the computer constituting the cell image analysis device 10 includes a storage device 30, a memory 31, a CPU (Central Processing Unit) 32, a communication unit 33, a display 34, and an input device 35. These are interconnected via a bus line 36.
  • the storage device 30 is a hard disk drive built in the computer constituting the cell image analysis device 10 or connected via a cable or a network. Alternatively, the storage device 30 is a disk array in which a plurality of hard disk drives are connected. The storage device 30 stores control programs such as an operating system, various application programs, and various data associated with these programs. A solid state drive may be used instead of the hard disk drive.
  • the memory 31 is a work memory for the CPU 32 to execute a process.
  • the CPU 32 comprehensively controls each part of the computer by loading the program stored in the storage device 30 into the memory 31 and executing the processing according to the program.
  • the communication unit 33 is a network interface that controls transmission of various information via a network such as a LAN (Local Area Network).
  • the display 34 displays various screens.
  • the computer constituting the cell image analysis device 10 receives input of an operation instruction from the input device 35 through various screens.
  • the input device 35 is a keyboard, a mouse, a touch panel, or the like.
  • the operation program 40 is stored in the storage device 30 of the cell image analysis device 10.
  • the operation program 40 is an application program for operating the computer as the cell image analysis device 10. That is, the operation program 40 is an example of the "operation program of the cell image analysis device" according to the technique of the present disclosure.
  • the storage device 30 also stores a cell image 14, a designated bandwidth 41, a colony detection result 42, and evaluation information 43 indicating the proliferative ability of the fibroblast-like cell 13.
  • the CPU 32 of the computer constituting the cell image analysis device 10 cooperates with the memory 31 and the like to read / write (hereinafter abbreviated as RW (Read Write)) control unit 50 and receive instructions. It functions as a unit 51, a density information derivation unit 52, a detection unit 53, an evaluation information derivation unit 54, and a display control unit 55.
  • RW Read Write
  • the CPU 32 is an example of a "processor" according to the technique of the present disclosure.
  • the RW control unit 50 controls the storage of various data in the storage device 30 and the reading of various data in the storage device 30.
  • the RW control unit 50 receives the cell image 14 from the photographing device 11 and stores it in the storage device 30. Further, the RW control unit 50 reads the cell image 14 from the storage device 30 and outputs it to the density information derivation unit 52. That is, the RW control unit 50 is an example of the "acquisition unit" according to the technique of the present disclosure.
  • the instruction receiving unit 51 accepts the user's designation of the bandwidth BW of the kernel density estimation performed by the density information deriving unit 52 via the input device 35.
  • the instruction receiving unit 51 outputs the received bandwidth BW to the RW control unit 50 as a designated bandwidth 41.
  • the RW control unit 50 stores the designated bandwidth 41 in the storage device 30. Further, the RW control unit 50 reads out the designated bandwidth 41 from the storage device 30 and outputs it to the density information derivation unit 52 together with the cell image 14.
  • the designated bandwidth 41 is designated for each culture project of fibroblast-like cells 13 generated from cells collected from one patient. Therefore, in one culture project, the designated bandwidth 41 once designated is repeatedly used throughout the culture project.
  • the density information derivation unit 52 derives the density information of the fibroblast-like cells 13 in the cell image 14 by image analysis of the cell image 14. More specifically, the density information derivation unit 52 derives the estimated density distribution 60 of the fibroblast-like cells 13 in the cell image 14 by performing kernel density estimation with the designated bandwidth 41. The density information derivation unit 52 outputs the derived estimated density distribution 60 to the detection unit 53 as density information.
  • the density information derivation unit 52 is an example of the “deriving unit” according to the technique of the present disclosure.
  • the detection unit 53 detects a colony of fibroblast-like cells 13 based on the estimated density distribution 60.
  • the detection unit 53 outputs the colony detection result 42 to the RW control unit 50 and the evaluation information derivation unit 54.
  • the RW control unit 50 stores the detection result 42 in the storage device 30.
  • the detection result 42 is stored in association with the cell image 14.
  • the evaluation information derivation unit 54 derives the evaluation information 43 based on the detection result 42.
  • the evaluation information derivation unit 54 outputs the evaluation information 43 to the RW control unit 50.
  • the RW control unit 50 stores the evaluation information 43 in the storage device 30.
  • the evaluation information 43 is stored in association with the cell image 14 as in the detection result 42.
  • the RW control unit 50 reads out the set of the cell image 14, the detection result 42, and the evaluation information 43 stored in association with each other from the storage device 30, and outputs the set to the display control unit 55.
  • the display control unit 55 controls to display various screens on the display 34.
  • the various screens include a cell image display screen 80 (see FIG. 11) for displaying the cell image 14, an analysis result display screen 85 (see FIG. 12) for displaying the cell image 14, the detection result 42, and the evaluation information 43. Is done.
  • the density information derivation unit 52 has a cell center of gravity position extraction unit 65 and a kernel density estimation unit 66.
  • the cell center of gravity position extraction unit 65 performs binarization processing on the cell image 14. In the binarization process, first, a threshold value of the brightness value that separates the fibroblast-like cells 13 in the cell image 14 from the other regions is set. Then, for each pixel of the cell image 14, if the luminance value is less than the threshold value, the pixel value is set to 0 as if it is a fibroblast-like cell 13, and if the luminance value is equal to or more than the threshold value, it is a region other than the fibroblast-like cell 13. And replace each pixel value with 1.
  • the cell center of gravity position extraction unit 65 After the binarization process, the cell center of gravity position extraction unit 65 performs a well-known image recognition process of recognizing individual fibroblast-like cells 13 for a region in which the pixel value is replaced with 0 as fibroblast-like cells 13. conduct. Then, the center of gravity 68 (indicated by a cross mark) of each of the recognized fibroblast-like cells 13 is extracted. The cell center of gravity position extraction unit 65 outputs the extraction result of the center of gravity 68 to the kernel density estimation unit 66.
  • the extraction result of the center of gravity 68 is the center of gravity 68 when the axis along the long side of the cell image 14 is the X axis, the axis along the short side is the Y axis, and the upper left corner of the cell image 14 is the origin. XY coordinates.
  • the kernel density estimation unit 66 estimates the kernel density with the center of gravity 68 as a sample point, and outputs the estimated density distribution 60 as a result. More specifically, as shown in FIG. 5, the kernel density estimation unit 66 uses a Gaussian function shown by a broken line as a kernel function. The Gaussian function has a designated bandwidth of 41. The kernel density estimation unit 66 assigns a Gaussian function to each of the plurality of centers of gravity 68, and calculates (convolves) the plurality of addressed Gaussian functions to calculate the estimated density distribution 60.
  • the estimated density distribution 60 also includes information on the center of gravity 68.
  • As the kernel function a rectangular function or a triangular function may be used instead of the Gaussian function.
  • the detection unit 53 performs mean-shift.
  • the mean-shift uses a search circle 70 having a radius R centered on each center of gravity 68.
  • the search circle 70 is sequentially moved in the direction in which the density of the fibroblast-like cells 13 is high, starting from a certain center of gravity 68, using the estimated density distribution 60 as a clue, and finally the center of gravity 68 converges.
  • the maximum density point 71 of the fibroblast-like cell 13 is searched for.
  • the detection unit 53 performs a mean-shift for each center of gravity 68.
  • the detection unit 53 detects a group of fibroblast-like cells 13 in which the center of gravity 68 has converged to the same maximum point 71 in the estimated density distribution 60 as a colony.
  • a group of fibroblast-like cells 13 in which the center of gravity 68 converges to the maximum point 71_1 and a group of fibroblast-like cells 13 in which the center of gravity 68 converges to the maximum point 71_1 are detected as colonies, respectively. show.
  • the detection unit 53 is No. 1 for each detected colony. 1, No. Add a number such as 2. Further, the detection unit 53 generates a rectangular frame 75 circumscribing the center of gravity 68 of the fibroblast-like cell 13 for each detected colony. Then, the XY coordinates of the diagonal points PA and PB of the upper left corner and the lower right corner of the rectangular frame 75 are output as the detection result 42 together with the number.
  • the detection result 42 including the diagonal points PA_2 and PB_2 of the rectangular frame 75_2 of 2 is illustrated.
  • the evaluation information derivation unit 54 derives the number of colonies detected by the detection unit 53, the colony forming unit, and the average size of the colonies as the evaluation information 43.
  • the evaluation information 43 is information regarding at least one of the number and size of colonies at one time point.
  • the colony size is a value obtained by adding the width WX in the X-axis direction and the width WY in the Y-axis direction of the rectangular frame 75 and dividing by 2.
  • the average size of the colonies is a value obtained by dividing the integrated value of the colony sizes thus calculated by the number of colonies.
  • FIG. 11 shows a cell image display screen 80 displayed on the display 34 under the control of the display control unit 55.
  • the cell image 14 according to the user's request is displayed.
  • An analysis button 81 is provided at the bottom of the cell image display screen 80.
  • the user wants to perform image analysis of the cell image 14, the user selects the analysis button 81.
  • the image analysis instruction is received by the instruction receiving unit 51.
  • the density information derivation unit 52 derives the estimated density distribution 60
  • the detection unit 53 detects the colony
  • the evaluation information derivation unit 54 derives the evaluation information 43.
  • FIG. 12 shows an analysis result display screen 85 displayed on the display 34 under the control of the display control unit 55.
  • a cell image 14 on which a number and a rectangular frame 75 are superimposed is displayed for each colony detected by the detection unit 53. That is, the colony detection result 42 is presented to the user.
  • the evaluation information 43 is displayed at the lower part of the cell image 14. That is, the evaluation information 43 is presented to the user.
  • a confirmation button 86 is provided at the bottom of the analysis result display screen 85.
  • the display deletion instruction is received by the instruction receiving unit 51.
  • the display control unit 55 turns off the display of the analysis result display screen 85.
  • FIGS. 13 to 16 show a series of processes for designating the designated bandwidth 41.
  • the density information derivation unit 52 extracts the center of gravity 68 of the fibroblast-like cell 13 in a specific region 90 of a part of the cell image 14 by the cell center of gravity position extraction unit 65.
  • the specific region 90 is, for example, a region in a rectangular frame that is half the size of the cell image 14 and whose center coincides with the cell image 14.
  • the kernel density estimation unit 66 uses the kernel density estimation using the Gaussian function of the bandwidth BW_L, the kernel density estimation using the Gaussian function of the bandwidth BW_M, and the Gaussian function of the bandwidth BW_S for the specific region 90. Perform the kernel density estimation. That is, the kernel density estimation unit 66 estimates the kernel density with a plurality of types of bandwidth BW.
  • the bandwidths BW_L, BW_M, and BW_S have a magnitude relationship shown in the following equation (1).
  • the bandwidth BW_M is a size between the bandwidth BW_L and the bandwidth BW_S.
  • the bandwidth BW is not limited to three types. Two types may be used, or four or more types may be used.
  • the kernel density estimation unit 66 derives an estimated density distribution 60_L corresponding to the bandwidth BW_L, an estimated density distribution 60_M corresponding to the bandwidth BW_M, and an estimated density distribution 60_S corresponding to the bandwidth BW_S, respectively. That is, the kernel density estimation unit 66 derives a plurality of types of estimated density distributions 60.
  • the estimated density distribution 60_L has the smoothest shape, and the estimated density distribution 60_S has the sharpest shape.
  • the estimated density distribution 60_M has an intermediate shape between the estimated density distribution 60_L and the estimated density distribution 60_S.
  • the detection unit 53 performs a mean-shift with reference to each of the estimated density distributions 60_L, 60_M, and 60_S for the specific region 90, thereby performing the estimated density distributions 60_L, 60_M, and 60_S.
  • the detection result 42 of the colony corresponding to is output. More specifically, the detection unit 53 detects the XY coordinates of the diagonal points PA_L and PB_L of the rectangular frame 75_L (indicated by a two-dot chain line) of the colony detected by performing a mean-shift with reference to the estimated density distribution 60_L. It is output as the result 42.
  • the detection unit 53 outputs the XY coordinates of the diagonal points PA_M and PB_M of the rectangular frame 75_M (indicated by the solid line) of the colony detected by performing the mean-shift with reference to the estimated density distribution 60_M as the detection result 42. do. Further, the detection unit 53 outputs the XY coordinates of the diagonal points PA_S and PB_S of the rectangular frame 75_S (indicated by the broken line) of the colony detected by performing the mean-shift with reference to the estimated density distribution 60_S as the detection result 42. do.
  • the rectangular frame 75_L is relatively large, and the rectangular frame 75_S is relatively small.
  • the rectangular frame 75_M has an intermediate size between the rectangular frame 75_L and the rectangular frame 75_S.
  • the display control unit 55 displays the designated screen 95 shown in FIG. 15 on the display 34.
  • the specific area 90 on which the rectangular frames 75_L, 75_M, and 75_S as the detection result 42 are superimposed is displayed.
  • the rectangular frames 75_L, 75_M, and 75_S are displayed in different colors, for example, the rectangular frame 75_L is blue, the rectangular frame 75_M is yellow, and the rectangular frame 75_S is green.
  • frame designation buttons 96L, 96M, and 96S are provided along with a message to specify a rectangular frame 75 considered to be appropriate as a colony.
  • the frame designation button 96L corresponds to a rectangular frame 75_L
  • the frame designation button 96M corresponds to a rectangular frame 75_M
  • the frame designation button 96S corresponds to a rectangular frame 75_S.
  • the frame designation buttons 96L, 96M, and 96S are alternative buttons in which one cannot be selected and the other two cannot be selected. That is, the display control unit 55 presents the user with the plurality of types of detection results 42, and causes the user to select one of the plurality of types of detection results 42. Further, a designation button 97 is provided at the lower part of the frame designation buttons 96L, 96M, and 96S.
  • the instruction receiving unit 51 accepts the designation of the bandwidth BW.
  • the instruction receiving unit 51 sets the bandwidth BW corresponding to one frame designation button 96 selected by the user as the designated bandwidth 41. That is, the instruction receiving unit 51 sets the bandwidth BW corresponding to one detection result 42 selected by the user as the designated bandwidth 41.
  • FIG. 16 illustrates a case where the frame designation button 96M is selected by the user and the bandwidth BW_M is set to the designated bandwidth 41.
  • the CPU 32 of the cell image analysis device 10 includes a RW control unit 50, an instruction reception unit 51, and a density information derivation unit 52. It functions as a detection unit 53, an evaluation information derivation unit 54, and a display control unit 55.
  • the RW control unit 50 reads out the cell image 14 according to the user's request from the storage device 30 (step ST100).
  • the cell image 14 is output from the RW control unit 50 to the display control unit 55.
  • the cell image display screen 80 shown in FIG. 11 is displayed on the display 34 (step ST110).
  • the cell image 14 is presented to the user.
  • step ST120 When the analysis button 81 is selected by the user and the image analysis instruction is received by the instruction receiving unit 51 (YES in step ST120), and the designated bandwidth 41 is already stored in the storage device 30 (YES in step ST130).
  • the cell image 14 and the designated bandwidth 41 are read out from the storage device 30 by the RW control unit 50 (step ST140).
  • the cell image 14 and the designated bandwidth 41 are output from the RW control unit 50 to the density information derivation unit 52.
  • step ST140 is an example of an "acquisition step” according to the technique of the present disclosure.
  • the density information derivation unit 52 estimates the kernel density with the designated bandwidth 41. As a result, the estimated density distribution 60 is derived as density information (step ST150). The estimated density distribution 60 is output from the density information derivation unit 52 to the detection unit 53. Step ST150 is an example of a “deriving step” according to the technique of the present disclosure.
  • Step ST160 is an example of a "detection step" according to the technique of the present disclosure.
  • the evaluation information derivation unit 54 the number of colonies, the colony forming unit, and the average size of the colonies are derived as the evaluation information 43 based on the detection result 42 (step ST170).
  • the evaluation information 43 is output from the evaluation information derivation unit 54 to the RW control unit 50 and stored in the storage device 30.
  • the detection result 42 and the evaluation information 43 are read from the storage device 30 by the RW control unit 50 and output to the display control unit 55. Then, under the control of the display control unit 55, the analysis result display screen 85 shown in FIG. 12 is displayed on the display 34 (step ST180). As a result, the detection result 42 and the evaluation information 43 are presented to the user.
  • the display of the analysis result display screen 85 is erased when the confirmation button 86 is selected and the display deletion instruction is received by the instruction receiving unit 51 (YES in step ST190). Then, the process is completed.
  • step ST120 If the image analysis instruction is not accepted by the instruction receiving unit 51 (NO in step ST120) and the end instruction is not accepted (NO in step ST200), the display of the cell image display screen 80 is continued.
  • the end instruction is received by the instruction receiving unit 51 (YES in step ST200)
  • the display of the cell image display screen 80 is turned off and the process is terminated.
  • the process shown in FIG. 18 is performed. That is, first, as shown in FIG. 13, in the density information derivation unit 52, kernel density estimation is performed for the specific region 90 with three types of bandwidths BW_L, BW_M, and BW_S, and thereby three types of kernel density estimation. Estimated density distributions 60_L, 60_M, and 60_S are derived (step ST1301).
  • a mean-shift with reference to each of the three types of estimated density distributions 60_L, 60_M, and 60_S is performed for the specific region 90, whereby the three types are performed.
  • the detection result 42 of the three types of colonies corresponding to the estimated density distributions 60_L, 60_M, and 60_S of is output (step ST1302).
  • the detection result 42 of the three types of colonies is a pair of the diagonal points PA_L and PB_L of the rectangular frame 75_L, the diagonal points PA_M and PB_M of the rectangular frame 75_M, and the rectangular frame 75_S. XY coordinates of the angle points PA_S and PB_S.
  • the designated screen 95 is displayed on the display 34 under the control of the display control unit 55 (step ST1303).
  • the designation screen 95 is provided with frame designation buttons 96L, 96M, and 96S corresponding to the three types of rectangular frames 75_L, 75_M, and 75_S, respectively, so as to be selectively selectable.
  • the user selects the frame designation button 96 corresponding to the rectangular frame 75 considered to be appropriate as a colony, and selects the designation button 97.
  • the instruction receiving unit 51 receives the designation of the bandwidth BW (step ST1304).
  • the bandwidth BW corresponding to the frame designation button 96 selected by the user by the instruction receiving unit 51 is set to the designated bandwidth 41.
  • the designated bandwidth 41 is output from the instruction receiving unit 51 to the RW control unit 50 and stored in the storage device 30 by the RW control unit 50 (step ST1305).
  • the CPU 32 of the cell image analysis device 10 includes a RW control unit 50 as an acquisition unit, a density information derivation unit 52 as a derivation unit, and a detection unit 53.
  • the RW control unit 50 acquires the cell image 14 obtained by photographing the fibroblast-like cells 13 with the imaging device 11 by reading them from the storage device 30.
  • the density information derivation unit 52 derives an estimated density distribution 60 as density information of the fibroblast-like cells 13 in the cell image 14 by image analysis of the cell image 14.
  • the detection unit 53 detects a colony of fibroblast-like cells 13 based on the estimated density distribution 60.
  • the boundaries of the fibroblast-like cell 13 colonies are unclear, unlike the colonies of other cells such as epithelial-like cells and lymphoblast-like cells.
  • the edge detection method described in JP-A-2014-531212 may be able to detect colonies such as epithelial-like cells and lymphoblast-like cells, but it should detect colonies of fibroblast-like cells 13 well. May not be possible. Therefore, in the technique of the present disclosure, the density information of the fibroblast-like cell 13 is derived, and the colony of the fibroblast-like cell 13 is detected based on the density information. Therefore, it is possible to accurately detect the colonies of the fibroblast-like cells 13 as compared with the case of detecting the colonies of the fibroblast-like cells 13 by the edge detection method.
  • the density information derivation unit 52 derives the estimated density distribution 60 of the fibroblast-like cells 13 in the cell image 14 by performing kernel density estimation, and outputs the estimated density distribution 60 as density information. Since the estimated density distribution 60 is derived by a commonly used method called kernel density estimation and used as density information, density information representing the density of fibroblast-like cells 13 can be easily obtained.
  • the detection unit 53 detects a group of fibroblast-like cells 13 that have converged to the same maximum point 71 in the estimated density distribution 60 as colonies by performing a mean-shift with reference to the estimated density distribution 60.
  • mean-shift is also a commonly used method with kernel density estimation. Therefore, the colony can be easily detected with a relatively high accuracy.
  • colonies can be detected without hesitation based on consistent criteria.
  • the instruction receiving unit 51 accepts the user's designation of the bandwidth BW for kernel density estimation.
  • the density information derivation unit 52 estimates the kernel density with the designated bandwidth 41, which is the bandwidth BW received by the instruction receiving unit 51. Therefore, the validity of the estimated density distribution 60 can be enhanced. Further, as a result, it is possible to detect a colony that matches the user's feeling.
  • the density information derivation unit 52 derives a plurality of types of estimated density distribution 60 by performing kernel density estimation with a plurality of types of bandwidth BW for a specific region 90 of a part of the cell image 14.
  • the detection unit 53 outputs the detection result 42 of a plurality of types of colonies corresponding to the plurality of types of estimated density distribution 60 by performing a mean-shift with reference to each of the plurality of types of estimated density distribution 60.
  • the display control unit 55 presents the user with a plurality of types of detection results 42, and causes the user to select one of the plurality of types of detection results 42.
  • the instruction receiving unit 51 sets the bandwidth BW corresponding to one detection result 42 selected by the user as the designated bandwidth 41. The user can select the detection result 42 that he / she thinks is appropriate as a colony while comparing the detection results 42 of a plurality of types. Therefore, it is easy to select the detection result 42.
  • the display control unit 55 presents the colony detection result 42 to the user. Therefore, the user can confirm the colony detection result 42.
  • the evaluation information derivation unit 54 derives the evaluation information 43 indicating the proliferative ability of the fibroblast-like cell 13 based on the colony detection result 42.
  • the display control unit 55 presents the evaluation information 43 to the user. Therefore, the user can confirm the evaluation information 43, and can evaluate the proliferative ability of the fibroblast-like cell 13 with reference to the evaluation information 43.
  • Evaluation information 43 is information regarding at least one of the number and size of colonies at one time point. Therefore, the user can evaluate the proliferative ability of the fibroblast-like cell 13 at one time point.
  • the evaluation information is not limited to the number of colonies exemplified in FIG. 9, the colony forming unit, and the average size of the colonies.
  • the average value of the number of fibroblast-like cells 13 constituting the colony, the ratio WX / WY of the width WX and the width WY of the rectangular frame 75, and the like may be used.
  • Reference numeral 102 is a line segment indicating the average size of the colonies.
  • the evaluation information is not limited to information regarding at least one of the number and size of colonies at one time point.
  • Information may be about at least one of the number and size of colonies at multiple time points.
  • the graph 106 showing the time-series change of the average size of the colony with the average size of the colony on the vertical axis and the number of days of culture of the fibroblast-like cells 13 on the horizontal axis is included. May be good.
  • the graph 106 shows a plot (marked with x) 107 of the average size of the colonies for each culture day, an approximate straight line 108 for each plot 107, and a callout 109.
  • the amount of change in the average size of the colonies per culture day hereinafter referred to as the amount of change in the average size
  • the average size change amount is the slope of the approximate straight line 108.
  • the user can evaluate the proliferative ability of fibroblast-like cells 13 at a plurality of time points.
  • the user can also predict the size of the colony in the near future, for example, on the 10th day of culture.
  • the threshold value is a value set from an empirical point of view, and it is clear that the quality of the fibroblast-like cells 13 after the end of culture does not reach the shippable level. By doing so, it is possible to encourage the user to take various measures such as stopping the culture of the fibroblast-like cell 13 or changing the composition of the medium to raise the quality of the fibroblast-like cell 13 to the shipping level.
  • the mode shown in FIG. 22 may be adopted.
  • the bandwidth BW is set to the initial value of the first bandwidth BW_I (not shown) (step ST1310).
  • the first bandwidth BW_I is, for example, the bandwidth BW_L of the first embodiment.
  • the kernel density estimation is performed with the first bandwidth BW_I for the specific region 90, whereby the estimated density distribution 60_I (not shown) is derived (step ST1311).
  • the detection unit 53 performs a mean-shift with reference to the estimated density distribution 60_I for the specific region 90, whereby the detection result 42 of the colony corresponding to the estimated density distribution 60_I is output (step ST1312). ).
  • the colony detection result 42 is the XY coordinates of the diagonal points PA_I and PB_I (not shown) of the rectangular frame 75_I (not shown).
  • the display screen of the cell image 14 on which the rectangular frame 75_I, which is the detection result 42 of the colony, is superimposed is displayed on the display 34 (step ST1313).
  • the display screen is provided with a button for allowing the user to select whether or not the area indicated by the rectangular frame 75_I is appropriate as a colony.
  • the bandwidth BW changes from the first bandwidth BW_I to the second bandwidth BW_SE (not shown). It is changed (step ST1315).
  • the second bandwidth BW_SE is, for example, the bandwidth BW_M of the first embodiment.
  • the processing of step ST1311 is performed in the second bandwidth BW_SE, and the processing of steps ST1312 and ST1313 is also performed.
  • the series of processes from step ST1315 to step ST1313 is repeated until a button indicating that the region indicated by the rectangular frame 75 is suitable as a colony is selected by the user.
  • the bandwidth BW set at that time by the instruction receiving unit 51 is the designated band.
  • the width is 41.
  • the designated bandwidth 41 is output from the instruction receiving unit 51 to the RW control unit 50, and is stored in the storage device 30 by the RW control unit 50 (step ST1316).
  • the bandwidth BW is changed stepwise, and the rectangular frame 75 as the detection result 42 of the colony is presented to the user each time, and whether or not the region indicated by the rectangular frame 75 is appropriate as a colony is determined. , You may let the user choose. The user may be made to input a rectangular frame 75 considered to be appropriate as a colony, and the bandwidth BW corresponding to the input rectangular frame 75 may be set as the designated bandwidth 41.
  • the CPU of the cell image analysis apparatus of the second embodiment functions as an area ratio calculation unit 120 and a determination unit 121 in addition to the processing units 50 to 55 of the first embodiment.
  • the area ratio calculation unit 120 calculates the area ratio 122 of the fibroblast-like cells 13 in the cell image 14. Specifically, the area ratio calculation unit 120 performs binarization processing on the cell image 14 as in the cell center of gravity position extraction unit 65. Next, the number of pixels in which the pixel value is replaced with 0 is counted assuming that it is a fibroblast-like cell 13. Then, the area ratio 122 of the fibroblast-like cell 13 is calculated by dividing the counted number of pixels by the total number of pixels of the cell image 14. The area ratio calculation unit 120 outputs the calculated area ratio 122 to the determination unit 121.
  • the area ratio 122 is an example of an "index" according to the technique of the present disclosure.
  • the determination unit 121 determines whether or not the area ratio 122 from the area ratio calculation unit 120 is within the set range 123.
  • the setting range 123 is stored in the storage device 30, is read from the storage device 30 by the RW control unit 50, and is passed to the determination unit 121.
  • the determination unit 121 outputs a determination result 124A in which the density information is derived and the colony is detected when the area ratio 122 is within the setting range 123.
  • the density information derivation unit 52 derives the estimated density distribution 60, which is the density information, and the detection unit 53 also executes colony detection.
  • the determination unit 121 outputs a determination result 124B in which the density information is not derived and the colony is not detected when the area ratio 122 is outside the setting range 123. do.
  • the density information derivation unit 52 does not execute the derivation of the estimated density distribution 60 which is the density information
  • the detection unit 53 also does not execute the colony detection.
  • FIGS. 23 to 25 exemplify a case where 25% to 75% (25% or more and 75% or less) is set as the setting range 123.
  • FIG. 23 shows an example in which the area ratio 122 is 41% and is within the setting range 123, and the determination unit 121 outputs the determination result 124A.
  • FIG. 24 shows an example in which the area ratio 122 is 14% and is outside the setting range 123, and the determination unit 121 outputs the determination result 124B.
  • FIG. 25 shows an example in which the area ratio 122 is 79% and is outside the setting range 123, and the determination unit 121 outputs the determination result 124B.
  • FIG. 26 is a graph showing the aspects shown in FIGS. 23 to 25, with the vertical axis representing the area ratio and the horizontal axis representing the number of culture days.
  • Fibroblast-like cells 13 such as synovial stem cells, are characterized by very rapid proliferation, and colony size reaches a plateau relatively early. However, in the early stage of culture, the number of fibroblast-like cells 13 is not so dense as to be a colony. Therefore, when the area ratio 122, which can be said to be the initial stage of culturing, is less than 25%, the determination unit 121 outputs a determination result 124B in which the density information is not derived and the colony is detected.
  • the determination unit 121 outputs the determination result 124B.
  • FIG. 27 shows a cell image display screen 80 when the area ratio 122 is outside the setting range 123 and the determination unit 121 outputs the determination result 124B.
  • the display control unit 55 pops up the warning window 130.
  • the warning window 130 a message indicating that analysis cannot be performed is displayed because the area ratio 122 is outside the setting range 123.
  • the display of the warning window 130 disappears by selecting the OK button 131.
  • the density information is derived and the colony is derived only when the area ratio 122, which is an index indicating the degree of proliferation of the fibroblast-like cells 13 in the cell image 14, is within the set range 123.
  • Perform detection Therefore, when the fibroblasts 13 do not form colonies in the initial stage of culture, and in the final stage of culture, the fibroblasts 13 form large colonies over substantially the entire culture vessel 12. Unnecessary image analysis can be avoided when there is not much point in executing image analysis, such as in cases. In other words, image analysis can be performed only for a period appropriate for the evaluation of the proliferative capacity of fibroblast-like cells 13.
  • the index indicating the degree of proliferation of fibroblast-like cells 13 in the cell image 14 is not limited to the exemplified area ratio 122. It may be the number of fibroblast-like cells 13 in the cell image 14.
  • the density information derivation unit 140 of the third embodiment derives the number of fibroblast-like cells 13 (hereinafter referred to as the number of cells in the frame) 142 in the preset search frame 141 as density information.
  • the search frame 141 has, for example, the same size as the rectangular frame 75_M of the first embodiment. Alternatively, the search frame 141 is set by the user.
  • the number of cells 142 in the frame can be obtained, for example, by counting the number of the center of gravity 68 of the fibroblast-like cells 13 existing in the search frame 141.
  • the density information derivation unit 140 outputs the number of cells 142 in the frame to the detection unit 143.
  • the detection unit 143 detects a colony based on the number of cells in the frame 142 and the colony condition 144, and outputs the detection result 145.
  • the colony condition 144 is stored in the storage device 30, is read from the storage device 30 by the RW control unit 50, and is delivered to the detection unit 143.
  • the density information derivation unit 140 sequentially scans the search frame 141 in the plurality of regions RE1-1, RE1_2, ..., RE2_1, ..., And REM_N in the cell image 14, and in each region, the search frame 141 is sequentially scanned.
  • the number of cells in the frame 142 is derived.
  • the detection unit 143 detects whether or not each region RE is a colony region, depending on whether or not the number of cells 142 in the frame in each region RE satisfies the colony condition 144.
  • the region RE1_2 is a region in which the search frame 141 is shifted by half in the X-axis direction from the region RE1_1.
  • the region RE2_1 is a region in which the search frame 141 is shifted by half in the Y-axis direction from the region RE1-1.
  • the detection unit 143 uses the region RE2_1 as the region of the colony. Detect as.
  • the number of cells in the frame 142 is derived as density information instead of the estimated density distribution 60. Therefore, the density information can be easily derived as compared with the estimated density distribution 60.
  • the search frame 141 is not limited to one type. A plurality of types of search frames 141 having different sizes and / or shapes may be set, and colonies may be detected for each search frame 141.
  • the machine learning model 150 is a model in which the cell image 14 is used as an input image and the cell image 14 on which the rectangular frame 75 as the colony detection result 42 is superimposed is used as an output image.
  • the machine learning model 150 is a convolutional neural network such as U-Net (U-Shaped Neural Network), SegNet, ResNet (Residal Network), and DenseNet (Densely Connected Convolutional Network).
  • FIG. 32 shows an outline of processing in the learning phase of the machine learning model 150.
  • the machine learning model 150 is trained given the training data 155.
  • the learning data 155 is a set of the learning cell image 14L and the correct answer image 14CA corresponding to the learning cell image 14L.
  • the correct image 14CA is an image in which the user manually writes a rectangular frame 75 in a region of the learning cell image 14L that seems to be a colony.
  • the learning cell image 14L is input to the machine learning model 150.
  • the machine learning model 150 outputs a learning output image 14OL with respect to the learning cell image 14L.
  • the learning output image 14OL is a learning cell image 14L in which a rectangular frame 75 is superimposed on a region estimated to be a colony in the machine learning model 150.
  • the loss calculation of the machine learning model 150 is performed.
  • various coefficients of the machine learning model 150 are updated according to the result of the loss calculation, and the machine learning model 150 is updated according to the update settings.
  • the processing is repeated while the learning data 155 is exchanged.
  • the repetition of the above series of processes ends when the estimation accuracy of the rectangular frame 75 of the learning output image 14OL reaches a predetermined set level.
  • the machine learning model 150 in which the estimation accuracy of the rectangular frame 75 reaches the set level is stored in the storage device 30 and used.
  • the colony is detected using the machine learning model 150. Therefore, colonies can be detected more efficiently.
  • the XY coordinates of the diagonal points PA and PB of the rectangular region 75 which are considered to be colonies of the learning cell image 14L, may be used as the learning data 155.
  • the designated bandwidth 41 may be changed for each cell image 14 instead of for each culture project. Further, the designated bandwidth 41 may be changed depending on the type of fibroblast-like cell 13, for example, the designated bandwidth 41 is set to the bandwidth BW_M for the A cell and the designated bandwidth 41 is set to the bandwidth BW_S for the B cell.
  • the colony detection result 42 is not limited to the exemplary rectangular frame 75. It may be a curved frame surrounding the area of the detected colony, for example a circular or oval frame.
  • the user may be allowed to specify the radius R of the search circle 70 used in the main-shift.
  • the mode of presenting the colony detection result 42 to the user is not limited to the mode of displaying the cell image 14 on which the rectangular frame 75 is superimposed on the display 34.
  • An embodiment in which the cell image 14 on which the rectangular frame 75 is superimposed is printed out, or an embodiment in which the cell image 14 on which the rectangular frame 75 is superimposed is delivered to a terminal owned by the user by e-mail or the like may be adopted.
  • the mode of presenting the evaluation information 43 to the user is not limited to the mode of displaying the evaluation information 43 on the display 34, the mode of printing out the evaluation information 43, and the mode of displaying the evaluation information 43 to the terminal owned by the user by e-mail or the like.
  • the delivery mode may be adopted.
  • the hardware configuration of the computer constituting the cell image analysis device 10 can be modified in various ways. It is also possible to configure the cell image analysis apparatus 10 with a plurality of computers separated as hardware for the purpose of improving processing power and reliability. For example, the functions of the density information derivation unit 52 and the detection unit 53 and the functions of the evaluation information derivation unit 54 are distributed to two computers. In this case, the cell image analysis device 10 is configured by two computers.
  • the hardware configuration of the computer of the cell image analysis apparatus 10 can be appropriately changed according to the required performance such as processing capacity, safety, and reliability. Furthermore, not only hardware but also application programs such as the operation program 40 can be duplicated or distributed and stored in multiple storage devices for the purpose of ensuring safety and reliability. be.
  • the RW control unit 50 the instruction reception unit 51, the density information derivation units 52 and 140, the detection units 53 and 143, the evaluation information derivation unit 54, the display control unit 55, the cell center of gravity position extraction unit 65,
  • the processing unit Processesing Unit
  • the CPU 32 which is a general-purpose processor that executes software (operation program 40) and functions as various processing units, after manufacturing an FPGA (Field Programgable Gate Array) or the like.
  • Dedicated processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC system On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the technique of the present disclosure can be appropriately combined with the various embodiments described above and various modifications. Further, it is of course not limited to each of the above embodiments, and various configurations can be adopted as long as they do not deviate from the gist. Further, the technique of the present disclosure extends to a storage medium for storing the program non-temporarily in addition to the program.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Microbiology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Toxicology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

少なくとも１つのプロセッサを備え、プロセッサは、線維芽様細胞を撮影して得られた細胞画像を取得し、細胞画像を画像解析することで、細胞画像内の線維芽様細胞の密度情報を導出し、密度情報に基づいて線維芽様細胞のコロニーを検出する、細胞画像解析装置。

Description

細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム
　本開示の技術は、細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラムに関する。
　細胞の培養分野において、複数の細胞が密集して形成されるコロニー（細胞塊ともいう）を検出して、コロニーの個数、サイズ等に基づいて細胞の増殖能を評価することが行われている。例えば特表２０１４－５３１２１２号公報には、培養中の線維芽様細胞を撮影して得られた細胞画像から、画像解析によって線維芽様細胞のコロニーを検出する技術が記載されている。より詳しくは、特表２０１４－５３１２１２号公報では、線維芽様細胞のコロニーとそれ以外の領域との境界を、Ｓｏｂｅｌ法、Ｌａｐｌａｃｅ法、Ｐｒｅｗｉｔｔ法、Ｒｏｂｅｒｔｓ法といった既知のエッジ検出手法によって検出している。なお、線維芽様細胞は、線維芽細胞自体はもちろん、線維芽細胞に形態が類似した細胞も含む。線維芽細胞に形態が類似した細胞としては、例えば、近年再生医療の分野で注目を集めている滑膜幹細胞がある。
　しかしながら、線維芽様細胞のコロニーは、境界が不明瞭である。このため、特表２０１４－５３１２１２号公報に記載のエッジ検出手法では、線維芽様細胞のコロニーをうまく検出することができないおそれがあった。
　本開示の技術に係る１つの実施形態は、エッジ検出手法によって線維芽様細胞のコロニーを検出する場合と比べて、線維芽様細胞のコロニーを精度よく検出することが可能な細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラムを提供する。
　本開示の細胞画像解析装置は、少なくとも１つのプロセッサを備え、プロセッサは、線維芽様細胞を撮影して得られた細胞画像を取得し、細胞画像を画像解析することで、細胞画像内の線維芽様細胞の密度情報を導出し、密度情報に基づいて線維芽様細胞のコロニーを検出する。
　プロセッサは、カーネル密度推定を行うことにより、細胞画像における線維芽様細胞の推定密度分布を導出し、推定密度分布を密度情報として出力することが好ましい。
　プロセッサは、推定密度分布を参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、推定密度分布内の同じ極大点に収束した線維芽様細胞の集まりを、コロニーとして検出することが好ましい。
　プロセッサは、カーネル密度推定のバンド幅のユーザによる指定を受け付け、受け付けたバンド幅である指定バンド幅にてカーネル密度推定を行うことが好ましい。
　プロセッサは、細胞画像の一部の特定領域に対して、複数種のバンド幅にてカーネル密度推定を行うことにより、複数種の推定密度分布を導出し、複数種の推定密度分布のそれぞれを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、複数種の推定密度分布に対応する複数種のコロニーの検出結果を出力し、複数種の検出結果をユーザに提示し、複数種の検出結果のうちの１つをユーザに選択させ、ユーザが選択した１つの検出結果に対応するバンド幅を、指定バンド幅とすることが好ましい。
　プロセッサは、細胞画像における線維芽様細胞の増殖の程度を示す指数が設定範囲内であった場合に限り、密度情報の導出およびコロニーの検出を実行することが好ましい。
　プロセッサは、コロニーの検出結果をユーザに提示することが好ましい。
　プロセッサは、コロニーの検出結果に基づいて、線維芽様細胞の増殖能を表す評価情報を導出し、評価情報をユーザに提示することが好ましい。
　評価情報は、１つの時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報であることが好ましい。
　評価情報は、複数の時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報であることが好ましい。
　本開示の細胞画像解析装置の作動方法は、線維芽様細胞を撮影して得られた細胞画像を取得する取得ステップと、細胞画像を画像解析することで、細胞画像内の線維芽様細胞の密度情報を導出する導出ステップと、密度情報に基づいて線維芽様細胞のコロニーを検出する検出ステップと、をプロセッサが実行する。
　本開示の細胞画像解析装置の作動プログラムは、線維芽様細胞を撮影して得られた細胞画像を取得する取得部と、細胞画像を画像解析することで、細胞画像内の線維芽様細胞の密度情報を導出する導出部と、密度情報に基づいて線維芽様細胞のコロニーを検出する検出部として、プロセッサを機能させる。
　本開示の技術によれば、エッジ検出手法によって線維芽様細胞のコロニーを検出する場合と比べて、線維芽様細胞のコロニーを精度よく検出することが可能な細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラムを提供することができる。
細胞画像解析装置等を示す図である。 細胞画像解析装置を構成するコンピュータを示すブロック図である。 細胞画像解析装置のＣＰＵの処理部を示すブロック図である。 密度情報導出部の詳細を示す図である。 カーネル密度推定の概略を示すグラフである。 ｍｅａｎ－ｓｈｉｆｔの概略を示すグラフである。 ｍｅａｎ－ｓｈｉｆｔの概略を示すグラフである。 検出結果の詳細を示す図である。 評価情報の詳細を示す図である。 コロニーのサイズを示す図である。 細胞画像表示画面を示す図である。 解析結果表示画面を示す図である。 特定領域に対して、３種のバンド幅にてカーネル密度推定を行うことにより、３種の推定密度分布を導出する様子を示す図である。 特定領域に対して、３種の推定密度分布のそれぞれを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、３種の推定密度分布に対応する３種のコロニーの検出結果を出力する様子を示す図である。 指定画面を示す図である。 指示受付部においてバンド幅の指定を受け付ける様子を示す図である。 細胞画像解析装置の処理手順を示すフローチャートである。 細胞画像解析装置の処理手順を示すフローチャートである。 評価情報の別の例を示す図である。 評価情報のさらに別の例を示す図である。 １培養日数当たりのコロニーの平均サイズの変化量が閾値未満であった場合に、警告を表示する態様を示す図である。 指定バンド幅の指定方法の別の例を示すフローチャートである。 細胞画像における線維芽様細胞の面積率が設定範囲内であった場合に限り、密度情報の導出およびコロニーの検出を実行する第２実施形態を示す図である。 第２実施形態の別の例を示す図である。 第２実施形態のさらに別の例を示す図である。 図２３～図２５で示した態様を、縦軸を面積率、横軸を培養日数としたグラフにまとめた図である。 面積率が設定範囲外であった場合の細胞画像表示画面を示す図である。 予め設定された探索枠内の線維芽様細胞の個数を、密度情報として導出する第３実施形態を示す図である。 細胞画像内の複数の領域に探索枠を順次走査する様子を示す図である。 探索枠内の線維芽様細胞の個数がコロニー条件を満たした場合を示す図である。 機械学習モデルを用いて画像解析を行う第４実施形態を示す図である。 機械学習モデルの学習フェーズにおける処理の概要を示す図である。
　［第１実施形態］
　図１において、細胞画像解析装置１０は、例えばデスクトップ型のパーソナルコンピュータであり、撮影装置１１が接続されている。撮影装置１１は、例えば位相差顕微鏡、あるいは明視野顕微鏡であり、培養容器１２内で培養中の線維芽様細胞１３を撮影する。そして、これにより得られた細胞画像１４を細胞画像解析装置１０に送信する。
　線維芽様細胞１３は、適当な数が培養容器１２に播種される。そして、時の経過とともに増殖して密集し、コロニーを形成する。細胞画像解析装置１０は、細胞画像１４からコロニーを検出する。なお、線維芽様細胞１３は、例えば滑膜幹細胞である。線維芽様細胞１３は、線維芽細胞自体でもよい。
　図２において、細胞画像解析装置１０を構成するコンピュータは、ストレージデバイス３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。
　ストレージデバイス３０は、細胞画像解析装置１０を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
　通信部３３は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。細胞画像解析装置１０を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。
　図３において、細胞画像解析装置１０のストレージデバイス３０には、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータを細胞画像解析装置１０として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「細胞画像解析装置の作動プログラム」の一例である。ストレージデバイス３０には、細胞画像１４、指定バンド幅４１、コロニーの検出結果４２、および線維芽様細胞１３の増殖能を表す評価情報４３も記憶される。
　作動プログラム４０が起動されると、細胞画像解析装置１０を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部５０、指示受付部５１、密度情報導出部５２、検出部５３、評価情報導出部５４、および表示制御部５５として機能する。ＣＰＵ３２は、本開示の技術に係る「プロセッサ」の一例である。
　ＲＷ制御部５０は、ストレージデバイス３０への各種データの記憶、およびストレージデバイス３０内の各種データの読み出しを制御する。例えばＲＷ制御部５０は、撮影装置１１からの細胞画像１４を受け取り、ストレージデバイス３０に記憶する。また、ＲＷ制御部５０は、細胞画像１４をストレージデバイス３０から読み出し、密度情報導出部５２に出力する。すなわち、ＲＷ制御部５０は、本開示の技術に係る「取得部」の一例である。
　指示受付部５１は、密度情報導出部５２で行うカーネル密度推定のバンド幅ＢＷの、入力デバイス３５を介したユーザによる指定を受け付ける。指示受付部５１は、受け付けたバンド幅ＢＷを、指定バンド幅４１としてＲＷ制御部５０に出力する。ＲＷ制御部５０は、指定バンド幅４１をストレージデバイス３０に記憶する。また、ＲＷ制御部５０は、指定バンド幅４１をストレージデバイス３０から読み出し、細胞画像１４とともに密度情報導出部５２に出力する。
　指定バンド幅４１は、ある１人の患者から採取された細胞を元に生成された線維芽様細胞１３の培養プロジェクト毎に指定される。このため、１つの培養プロジェクトにおいては、一度指定された指定バンド幅４１が、培養プロジェクトを通じて繰り返し使用される。
　密度情報導出部５２は、細胞画像１４を画像解析することで、細胞画像１４内の線維芽様細胞１３の密度情報を導出する。より詳しくは、密度情報導出部５２は、指定バンド幅４１にてカーネル密度推定を行うことにより、細胞画像１４における線維芽様細胞１３の推定密度分布６０を導出する。密度情報導出部５２は、導出した推定密度分布６０を、密度情報として検出部５３に出力する。密度情報導出部５２は、本開示の技術に係る「導出部」の一例である。
　検出部５３は、推定密度分布６０に基づいて線維芽様細胞１３のコロニーを検出する。検出部５３は、コロニーの検出結果４２をＲＷ制御部５０および評価情報導出部５４に出力する。ＲＷ制御部５０は、検出結果４２をストレージデバイス３０に記憶する。検出結果４２は、細胞画像１４と関連付けて記憶される。
　評価情報導出部５４は、検出結果４２に基づいて評価情報４３を導出する。評価情報導出部５４は、評価情報４３をＲＷ制御部５０に出力する。ＲＷ制御部５０は、評価情報４３をストレージデバイス３０に記憶する。評価情報４３は、検出結果４２と同じく、細胞画像１４と関連付けて記憶される。
　ＲＷ制御部５０は、関連付けて記憶された細胞画像１４、検出結果４２、および評価情報４３のセットをストレージデバイス３０から読み出し、表示制御部５５に出力する。表示制御部５５は、ディスプレイ３４に各種画面を表示する制御を行う。各種画面には、細胞画像１４を表示する細胞画像表示画面８０（図１１参照）、細胞画像１４、検出結果４２、および評価情報４３を表示する解析結果表示画面８５（図１２参照）等が含まれる。
　図４において、密度情報導出部５２は、細胞重心位置抽出部６５とカーネル密度推定部６６とを有する。細胞重心位置抽出部６５は、細胞画像１４に対して二値化処理を行う。二値化処理は、まず、細胞画像１４内の線維芽様細胞１３とそれ以外の領域とを分ける輝度値の閾値を設定する。そして、細胞画像１４の各画素について、輝度値が閾値未満であれば線維芽様細胞１３であるとして画素値を０に、輝度値が閾値以上であれば線維芽様細胞１３以外の領域であるとして画素値を１にそれぞれ置換する。
　二値化処理後、細胞重心位置抽出部６５は、線維芽様細胞１３であるとして画素値を０に置換した領域に対して、個々の線維芽様細胞１３を認識する周知の画像認識処理を行う。そして、これにより認識した個々の線維芽様細胞１３の重心６８（十字マークで示す）を抽出する。細胞重心位置抽出部６５は、重心６８の抽出結果をカーネル密度推定部６６に出力する。重心６８の抽出結果は、具体的には、細胞画像１４の長辺に沿う軸をＸ軸、短辺に沿う軸をＹ軸とし、細胞画像１４の左上隅を原点とした場合の重心６８のＸＹ座標である。
　カーネル密度推定部６６は、重心６８を標本点としたカーネル密度推定を行って、その結果として推定密度分布６０を出力する。より詳しくは図５に示すように、カーネル密度推定部６６は、カーネル関数として、破線で示すガウス関数を用いる。ガウス関数は指定バンド幅４１を有する。カーネル密度推定部６６は、複数の重心６８の各々に対してガウス関数を宛がい、宛がった複数のガウス関数を足し合わせる（畳み込む）ことで推定密度分布６０を算出する。推定密度分布６０は、重心６８の情報も含む。なお、カーネル関数としては、ガウス関数に代えて、矩形関数、三角形関数を用いてもよい。
　図６および図７に示すように、検出部５３はｍｅａｎ－ｓｈｉｆｔを行う。ｍｅａｎ－ｓｈｉｆｔは、各重心６８を中心とする半径Ｒの探索円７０を用いる。ｍｅａｎ－ｓｈｉｆｔでは、ある重心６８を始点として、推定密度分布６０を手掛かりに線維芽様細胞１３の密度が高い方向に順次探索円７０を移動させていき、最終的に、当該重心６８が収束する線維芽様細胞１３の密度の極大点７１を探索する。検出部５３は、各々の重心６８についてｍｅａｎ－ｓｈｉｆｔを行う。検出部５３は、重心６８が推定密度分布６０内の同じ極大点７１に収束した線維芽様細胞１３の集まりを、コロニーとして検出する。図６および図７では、重心６８が極大点７１＿１に収束した線維芽様細胞１３の集まりと、重心６８が極大点７１＿２に収束した線維芽様細胞１３の集まりを、それぞれコロニーとして検出した例を示す。
　図８において、検出部５３は、検出したコロニー毎に、Ｎｏ．１、Ｎｏ．２といったナンバーを付す。また、検出部５３は、検出したコロニー毎に、線維芽様細胞１３の重心６８に外接する矩形枠７５を生成する。そして、ナンバーとともに、矩形枠７５の左上隅と右下隅の対角点ＰＡ、ＰＢのＸＹ座標を、検出結果４２として出力する。図８では、コロニーＮｏ．１の矩形枠７５＿１の対角点ＰＡ＿１およびＰＢ＿１と、コロニーＮｏ．２の矩形枠７５＿２の対角点ＰＡ＿２およびＰＢ＿２を含む検出結果４２を例示している。
　図９において、評価情報導出部５４は、検出部５３が検出したコロニーの個数、コロニー形成単位、およびコロニーの平均サイズを、評価情報４３として導出する。このように、評価情報４３は、１つの時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報である。
　コロニー形成単位は、ＣＦＵ（Ｃｏｌｏｎｙ　Ｆｏｒｍｉｎｇ　Ｕｎｉｔ）とも呼ばれ、ある量の線維芽様細胞１３を培養容器１２の培地上に播種した場合に生じる、コロニーの個数である。例えば１００倍希釈の培養液に０．１ｍｌの線維芽様細胞１３を播種した場合に、１００個のコロニーが生じた場合、コロニー形成単位は、１００÷０．１×１００＝１０５ＣＦＵ／ｍｌである。培養液の希釈倍数、および播種した線維芽様細胞１３の量は、入力デバイス３５を介してユーザにより入力される。
　コロニーのサイズは、図１０に示すように、矩形枠７５のＸ軸方向の幅ＷＸとＹ軸方向の幅ＷＹを加算して、２で除算した値である。コロニーの平均サイズは、こうして算出したコロニーのサイズの積算値を、コロニーの個数で除算した値である。
　図１１は、表示制御部５５の制御の下、ディスプレイ３４に表示される細胞画像表示画面８０を示す。細胞画像表示画面８０には、ユーザの求めに応じた細胞画像１４が表示される。
　細胞画像表示画面８０の下部には、解析ボタン８１が設けられている。細胞画像１４の画像解析を行いたい場合、ユーザは解析ボタン８１を選択する。解析ボタン８１が選択された場合、画像解析指示が指示受付部５１で受け付けられる。これにより、密度情報導出部５２による推定密度分布６０の導出、検出部５３によるコロニーの検出、および評価情報導出部５４による評価情報４３の導出が行われる。
　図１２は、表示制御部５５の制御の下、ディスプレイ３４に表示される解析結果表示画面８５を示す。解析結果表示画面８５には、検出部５３で検出したコロニー毎に、ナンバーおよび矩形枠７５が重畳された細胞画像１４が表示される。すなわち、コロニーの検出結果４２がユーザに提示される。細胞画像１４の下部には、評価情報４３が表示される。すなわち、評価情報４３がユーザに提示される。
　解析結果表示画面８５の下部には、確認ボタン８６が設けられている。確認ボタン８６が選択された場合、表示消去指示が指示受付部５１で受け付けられる。この場合、表示制御部５５は、解析結果表示画面８５の表示を消す。
　図１３～図１６は、指定バンド幅４１を指定する一連の処理を示す。まず、図１３に示すように、密度情報導出部５２は、細胞重心位置抽出部６５により、細胞画像１４の一部の特定領域９０における線維芽様細胞１３の重心６８を抽出する。特定領域９０は、例えば、細胞画像１４の１／２のサイズで、かつ細胞画像１４と中心が一致する矩形枠内の領域である。
　カーネル密度推定部６６は、特定領域９０に対して、バンド幅ＢＷ＿Ｌのガウス関数を用いたカーネル密度推定と、バンド幅ＢＷ＿Ｍのガウス関数を用いたカーネル密度推定と、バンド幅ＢＷ＿Ｓのガウス関数を用いたカーネル密度推定とを行う。すなわち、カーネル密度推定部６６は、複数種のバンド幅ＢＷにてカーネル密度推定を行う。
　バンド幅ＢＷ＿Ｌ、ＢＷ＿Ｍ、およびＢＷ＿Ｓには、下式（１）に示す大小関係がある。
　ＢＷ＿Ｌ＞ＢＷ＿Ｍ＞ＢＷ＿Ｓ・・・（１）
　つまり、バンド幅ＢＷ＿Ｌが最も大きく、バンド幅ＢＷ＿Ｓが最も小さい。そして、バンド幅ＢＷ＿Ｍは、バンド幅ＢＷ＿Ｌとバンド幅ＢＷ＿Ｓの間の大きさである。なお、バンド幅ＢＷは３種に限らない。２種でもよいし、４種以上でもよい。
　カーネル密度推定部６６は、バンド幅ＢＷ＿Ｌに対応する推定密度分布６０＿Ｌ、バンド幅ＢＷ＿Ｍに対応する推定密度分布６０＿Ｍ、およびバンド幅ＢＷ＿Ｓに対応する推定密度分布６０＿Ｓをそれぞれ導出する。すなわち、カーネル密度推定部６６は、複数種の推定密度分布６０を導出する。推定密度分布６０＿Ｌは最も滑らかな形状であり、推定密度分布６０＿Ｓは最も尖った形状をしている。推定密度分布６０＿Ｍは、推定密度分布６０＿Ｌと推定密度分布６０＿Ｓの中間の形状をしている。
　図１４に示すように、検出部５３は、特定領域９０に対して、推定密度分布６０＿Ｌ、６０＿Ｍ、および６０＿Ｓのそれぞれを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、推定密度分布６０＿Ｌ、６０＿Ｍ、および６０＿Ｓに対応するコロニーの検出結果４２を出力する。より詳しくは、検出部５３は、推定密度分布６０＿Ｌを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより検出したコロニーの矩形枠７５＿Ｌ（２点鎖線で示す）の対角点ＰＡ＿ＬおよびＰＢ＿ＬのＸＹ座標を、検出結果４２として出力する。また、検出部５３は、推定密度分布６０＿Ｍを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより検出したコロニーの矩形枠７５＿Ｍ（実線で示す）の対角点ＰＡ＿ＭおよびＰＢ＿ＭのＸＹ座標を、検出結果４２として出力する。さらに、検出部５３は、推定密度分布６０＿Ｓを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより検出したコロニーの矩形枠７５＿Ｓ（破線で示す）の対角点ＰＡ＿ＳおよびＰＢ＿ＳのＸＹ座標を、検出結果４２として出力する。矩形枠７５＿Ｌは比較的大きくなり、矩形枠７５＿Ｓは比較的小さくなる。矩形枠７５＿Ｍは、矩形枠７５＿Ｌと矩形枠７５＿Ｓの中間の大きさとなる。これらの検出結果４２は、表示制御部５５に出力される。
　表示制御部５５は、図１５に示す指定画面９５をディスプレイ３４に表示する。指定画面９５には、検出結果４２としての矩形枠７５＿Ｌ、７５＿Ｍ、および７５＿Ｓが重畳された特定領域９０が表示される。矩形枠７５＿Ｌ、７５＿Ｍ、および７５＿Ｓは、例えば矩形枠７５＿Ｌが青色、矩形枠７５＿Ｍが黄色、矩形枠７５＿Ｓが緑色等、色分けして表示される。
　特定領域９０の下部には、コロニーとして適切と考えられる矩形枠７５を指定する旨のメッセージとともに、枠指定ボタン９６Ｌ、９６Ｍ、および９６Ｓが設けられている。枠指定ボタン９６Ｌは矩形枠７５＿Ｌ、枠指定ボタン９６Ｍは矩形枠７５＿Ｍ、枠指定ボタン９６Ｓは矩形枠７５＿Ｓにそれぞれ対応する。枠指定ボタン９６Ｌ、９６Ｍ、および９６Ｓは、１つを選択したら他の２つは選択することができない択一的なボタンである。すなわち、表示制御部５５は、複数種の検出結果４２をユーザに提示し、複数種の検出結果４２のうちの１つをユーザに選択させる。枠指定ボタン９６Ｌ、９６Ｍ、および９６Ｓの下部にはさらに、指定ボタン９７が設けられている。
　図１６に示すように、枠指定ボタン９６Ｌ、９６Ｍ、および９６Ｓのうちの１つが選択された状態で指定ボタン９７が選択された場合、指示受付部５１はバンド幅ＢＷの指定を受け付ける。指示受付部５１は、ユーザが選択した１つの枠指定ボタン９６に対応するバンド幅ＢＷを、指定バンド幅４１とする。すなわち、指示受付部５１は、ユーザが選択した１つの検出結果４２に対応するバンド幅ＢＷを、指定バンド幅４１とする。図１６では、枠指定ボタン９６Ｍがユーザにより選択されて、バンド幅ＢＷ＿Ｍが指定バンド幅４１とされた場合を例示している。
　次に、上記構成による作用について、図１７および図１８のフローチャートを参照して説明する。まず、細胞画像解析装置１０において作動プログラム４０が起動されると、図３で示したように、細胞画像解析装置１０のＣＰＵ３２は、ＲＷ制御部５０、指示受付部５１、密度情報導出部５２、検出部５３、評価情報導出部５４、および表示制御部５５として機能される。
　ＲＷ制御部５０により、ストレージデバイス３０から、ユーザの求めに応じた細胞画像１４が読み出される（ステップＳＴ１００）。細胞画像１４は、ＲＷ制御部５０から表示制御部５５に出力される。
　表示制御部５５の制御の下、図１１で示した細胞画像表示画面８０がディスプレイ３４に表示される（ステップＳＴ１１０）。これにより細胞画像１４がユーザに提示される。
　ユーザにより解析ボタン８１が選択されて画像解析指示が指示受付部５１で受け付けられ（ステップＳＴ１２０でＹＥＳ）、かつストレージデバイス３０に既に指定バンド幅４１が記憶されていた場合（ステップＳＴ１３０でＹＥＳ）、ＲＷ制御部５０により、ストレージデバイス３０から細胞画像１４および指定バンド幅４１が読み出される（ステップＳＴ１４０）。細胞画像１４および指定バンド幅４１は、ＲＷ制御部５０から密度情報導出部５２に出力される。なお、ステップＳＴ１４０は、本開示の技術に係る「取得ステップ」の一例である。
　図４および図５で示したように、密度情報導出部５２において、指定バンド幅４１にてカーネル密度推定が行われる。これにより、推定密度分布６０が密度情報として導出される（ステップＳＴ１５０）。推定密度分布６０は、密度情報導出部５２から検出部５３に出力される。ステップＳＴ１５０は、本開示の技術に係る「導出ステップ」の一例である。
　図６および図７で示したように、検出部５３において、推定密度分布６０を参照したｍｅａｎ－ｓｈｉｆｔが行われる。これにより、細胞画像１４内の線維芽様細胞１３のコロニーが検出される（ステップＳＴ１６０）。コロニーの検出結果４２は、検出部５３からＲＷ制御部５０に出力され、ストレージデバイス３０に記憶される。また、コロニーの検出結果４２は、検出部５３から評価情報導出部５４に出力される。ステップＳＴ１６０は、本開示の技術に係る「検出ステップ」の一例である。
　図９で示したように、評価情報導出部５４では、検出結果４２に基づいて、コロニーの個数、コロニー形成単位、およびコロニーの平均サイズが評価情報４３として導出される（ステップＳＴ１７０）。評価情報４３は、評価情報導出部５４からＲＷ制御部５０に出力され、ストレージデバイス３０に記憶される。
　検出結果４２および評価情報４３は、ＲＷ制御部５０によりストレージデバイス３０から読み出され、表示制御部５５に出力される。そして、表示制御部５５の制御の下、図１２で示した解析結果表示画面８５がディスプレイ３４に表示される（ステップＳＴ１８０）。これにより検出結果４２および評価情報４３がユーザに提示される。解析結果表示画面８５は、確認ボタン８６が選択されて、指示受付部５１にて表示消去指示が受け付けられた場合（ステップＳＴ１９０でＹＥＳ）に、表示が消される。そして、処理が終了される。
　なお、指示受付部５１にて画像解析指示が受け付けられず（ステップＳＴ１２０でＮＯ）、かつ終了指示が受け付けられない場合（ステップＳＴ２００でＮＯ）、細胞画像表示画面８０の表示が継続される。指示受付部５１にて終了指示が受け付けられた場合（ステップＳＴ２００でＹＥＳ）は、細胞画像表示画面８０の表示が消され、処理が終了される。
　ストレージデバイス３０に指定バンド幅４１が記憶されていなかった場合（ステップＳＴ１３０でＮＯ）は、図１８に示す処理が行われる。すなわち、まずは図１３で示したように、密度情報導出部５２において、特定領域９０に対して、３種のバンド幅ＢＷ＿Ｌ、ＢＷ＿Ｍ、およびＢＷ＿Ｓにてカーネル密度推定が行われ、これにより３種の推定密度分布６０＿Ｌ、６０＿Ｍ、および６０＿Ｓが導出される（ステップＳＴ１３０１）。
　続いて図１４で示したように、検出部５３において、特定領域９０に対して、３種の推定密度分布６０＿Ｌ、６０＿Ｍ、および６０＿Ｓのそれぞれを参照したｍｅａｎ－ｓｈｉｆｔが行われ、これにより３種の推定密度分布６０＿Ｌ、６０＿Ｍ、および６０＿Ｓに対応する３種のコロニーの検出結果４２が出力される（ステップＳＴ１３０２）。３種のコロニーの検出結果４２は、具体的には、矩形枠７５＿Ｌの対角点ＰＡ＿ＬおよびＰＢ＿ＬのＸＹ座標と、矩形枠７５＿Ｍの対角点ＰＡ＿ＭおよびＰＢ＿ＭのＸＹ座標と、矩形枠７５＿Ｓの対角点ＰＡ＿ＳおよびＰＢ＿ＳのＸＹ座標である。
　次に図１５で示したように、表示制御部５５の制御の下、指定画面９５がディスプレイ３４に表示される（ステップＳＴ１３０３）。指定画面９５には、３種の矩形枠７５＿Ｌ、７５＿Ｍ、および７５＿Ｓにそれぞれ対応する枠指定ボタン９６Ｌ、９６Ｍ、および９６Ｓが、択一的に選択可能に設けられている。
　図１６で示したように、ユーザは、コロニーとして適切と考えられる矩形枠７５に対応する枠指定ボタン９６を選択し、指定ボタン９７を選択する。これにより、指示受付部５１でバンド幅ＢＷの指定が受け付けられる（ステップＳＴ１３０４）。指示受付部５１によって、ユーザが選択した枠指定ボタン９６に対応するバンド幅ＢＷが、指定バンド幅４１とされる。指定バンド幅４１は、指示受付部５１からＲＷ制御部５０に出力され、ＲＷ制御部５０によりストレージデバイス３０に記憶される（ステップＳＴ１３０５）。
　以上説明したように、細胞画像解析装置１０のＣＰＵ３２は、取得部としてのＲＷ制御部５０と、導出部としての密度情報導出部５２と、検出部５３とを備える。ＲＷ制御部５０は、線維芽様細胞１３を撮影装置１１で撮影して得られた細胞画像１４を、ストレージデバイス３０から読み出すことで取得する。密度情報導出部５２は、細胞画像１４を画像解析することで、細胞画像１４内の線維芽様細胞１３の密度情報としての推定密度分布６０を導出する。検出部５３は、推定密度分布６０に基づいて線維芽様細胞１３のコロニーを検出する。
　線維芽様細胞１３のコロニーは、上皮様細胞、リンパ芽球様細胞といった他の細胞のコロニーとは異なり、境界が不明瞭である。特表２０１４－５３１２１２号公報に記載のエッジ検出手法では、上皮様細胞、リンパ芽球様細胞等のコロニーは検出することができるかもしれないが、線維芽様細胞１３のコロニーはうまく検出することができないおそれがある。そこで本開示の技術では、線維芽様細胞１３の密度情報を導出し、密度情報に基づいて線維芽様細胞１３のコロニーを検出している。したがって、エッジ検出手法によって線維芽様細胞１３のコロニーを検出する場合と比べて、線維芽様細胞１３のコロニーを精度よく検出することが可能となる。
　密度情報導出部５２は、カーネル密度推定を行うことにより、細胞画像１４における線維芽様細胞１３の推定密度分布６０を導出し、推定密度分布６０を密度情報として出力する。カーネル密度推定というよく使われる方法で推定密度分布６０を導出し、これを密度情報とするので、線維芽様細胞１３の密度を比較的正確に表した密度情報を、簡単に得ることができる。
　検出部５３は、推定密度分布６０を参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、推定密度分布６０内の同じ極大点７１に収束した線維芽様細胞１３の集まりを、コロニーとして検出する。ｍｅａｎ－ｓｈｉｆｔも、カーネル密度推定とともによく使われる方法である。このため、比較的高い確度で、簡単にコロニーを検出することができる。また、ユーザの目視によるコロニーの検出に比べ、一貫した基準で迷うことなくコロニーを検出することができる。
　指示受付部５１は、カーネル密度推定のバンド幅ＢＷのユーザによる指定を受け付ける。密度情報導出部５２は、指示受付部５１が受け付けたバンド幅ＢＷである指定バンド幅４１にてカーネル密度推定を行う。このため、推定密度分布６０の妥当性を高めることができる。また、結果的に、ユーザの感覚に一致したコロニーを検出することができる。
　密度情報導出部５２は、細胞画像１４の一部の特定領域９０に対して、複数種のバンド幅ＢＷにてカーネル密度推定を行うことにより、複数種の推定密度分布６０を導出する。検出部５３は、複数種の推定密度分布６０のそれぞれを参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、複数種の推定密度分布６０に対応する複数種のコロニーの検出結果４２を出力する。表示制御部５５は、複数種の検出結果４２をユーザに提示し、複数種の検出結果４２のうちの１つをユーザに選択させる。指示受付部５１は、ユーザが選択した１つの検出結果４２に対応するバンド幅ＢＷを、指定バンド幅４１とする。ユーザは、複数種の検出結果４２を比較しながら、自らがコロニーとして適切と思われる検出結果４２を選択することができる。このため検出結果４２の選択がしやすい。
　表示制御部５５は、コロニーの検出結果４２をユーザに提示する。このためユーザはコロニーの検出結果４２を確認することができる。
　評価情報導出部５４は、コロニーの検出結果４２に基づいて、線維芽様細胞１３の増殖能を表す評価情報４３を導出する。表示制御部５５は、評価情報４３をユーザに提示する
。このためユーザは評価情報４３を確認することができ、評価情報４３を参照して線維芽様細胞１３の増殖能を評価することができる。
　評価情報４３は、１つの時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報である。このためユーザは、１つの時点における線維芽様細胞１３の増殖能を評価することができる。
　なお、評価情報は、図９で例示したコロニーの個数、コロニー形成単位、およびコロニーの平均サイズに限らない。コロニーを構成する線維芽様細胞１３の個数の平均値、矩形枠７５の幅ＷＸと幅ＷＹの比ＷＸ／ＷＹの平均値等でもよい。矩形枠７５の幅ＷＸと幅ＷＹの比ＷＸ／ＷＹが１に近い程、すなわち矩形枠７５が正方形に近い程、コロニーを構成する線維芽様細胞１３が均一に増殖しているといえるため好ましい。また、図１９に示す評価情報１００のように、縦軸の度数をコロニーの個数、横軸の階級をコロニーのサイズとしたヒストグラム１０１等の統計的な情報を含んでいてもよい。なお、符号１０２は、コロニーの平均サイズを示す線分である。
　また、評価情報は、１つの時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報に限らない。複数の時点におけるコロニーの個数およびサイズのうちの少なくともいずれかに関する情報であってもよい。例えば図２０に示す評価情報１０５のように、コロニーの平均サイズを縦軸、線維芽様細胞１３の培養日数を横軸とした、コロニーの平均サイズの時系列変化を示すグラフ１０６を含んでいてもよい。グラフ１０６には、各培養日数に対するコロニーの平均サイズのプロット（×印で示す）１０７、各プロット１０７の近似直線１０８、および吹き出し１０９が表示される。吹き出し１０９内には、１培養日数当たりのコロニーの平均サイズの変化量（以下、平均サイズ変化量という）が記される。なお、平均サイズ変化量は、近似直線１０８の傾きである。
　ユーザは、複数の時点における線維芽様細胞１３の増殖能を評価することができる。またユーザは、例えば培養日数１０日目等、近い将来のコロニーのサイズの予測を立てることができる。
　なお、この場合、平均サイズ変化量に閾値を設定しておく。そして、平均サイズ変化量が閾値未満であった場合に、図２１に示すように警告１１０を表示してもよい。閾値は経験的な見地から設定された値であり、培養終了後の線維芽様細胞１３の品質が出荷可能レベルに達しないことが明らかな値である。こうすることで、線維芽様細胞１３の培養を中止したり、培地の成分を変更する等して線維芽様細胞１３の品質を出荷レベルに上げるといった様々な対応をユーザに促すことができる。
　指定バンド幅４１の指定方法としては、図２２に示す態様を採用してもよい。まず、バンド幅ＢＷが初期値である第１バンド幅ＢＷ＿Ｉ（図示省略）に設定される（ステップＳＴ１３１０）。第１バンド幅ＢＷ＿Ｉは、例えば上記第１実施形態のバンド幅ＢＷ＿Ｌである。次いで、密度情報導出部５２において、特定領域９０に対して、第１バンド幅ＢＷ＿Ｉにてカーネル密度推定が行われ、これにより推定密度分布６０＿Ｉ（図示省略）が導出される（ステップＳＴ１３１１）。
　続いて、検出部５３において、特定領域９０に対して、推定密度分布６０＿Ｉを参照したｍｅａｎ－ｓｈｉｆｔが行われ、これにより推定密度分布６０＿Ｉに対応するコロニーの検出結果４２が出力される（ステップＳＴ１３１２）。コロニーの検出結果４２は、具体的には、矩形枠７５＿Ｉ（図示省略）の対角点ＰＡ＿ＩおよびＰＢ＿Ｉ（図示省略）のＸＹ座標である。
　次に、表示制御部５５の制御の下、コロニーの検出結果４２である矩形枠７５＿Ｉが重畳された細胞画像１４の表示画面がディスプレイ３４に表示される（ステップＳＴ１３１３）。表示画面には、矩形枠７５＿Ｉで示される領域がコロニーとして適切であるか否かを、ユーザに選択させるためのボタンが設けられている。
　矩形枠７５＿Ｉで示される領域がコロニーとして適切でないことを示すボタンがユーザにより選択された場合（ステップＳＴ１３１４でＮＯ）、バンド幅ＢＷが第１バンド幅ＢＷ＿Ｉから第２バンド幅ＢＷ＿ＳＥ（図示省略）に変更される（ステップＳＴ１３１５）。第２バンド幅ＢＷ＿ＳＥは、例えば上記第１実施形態のバンド幅ＢＷ＿Ｍである。そして、第２バンド幅ＢＷ＿ＳＥにてステップＳＴ１３１１の処理が行われ、さらにステップＳＴ１３１２およびＳＴ１３１３の処理も行われる。これらステップＳＴ１３１５からステップＳＴ１３１３までの一連の処理は、矩形枠７５で示される領域がコロニーとして適切であることを示すボタンがユーザにより選択されるまで、繰り返し続けられる。
　矩形枠７５で示される領域がコロニーとして適切であることを示すボタンがユーザにより選択された場合（ステップＳＴ１３１４でＹＥＳ）、指示受付部５１によって、その際設定されていたバンド幅ＢＷが、指定バンド幅４１とされる。指定バンド幅４１は、指示受付部５１からＲＷ制御部５０に出力され、ＲＷ制御部５０によりストレージデバイス３０に記憶される（ステップＳＴ１３１６）。
　このように、バンド幅ＢＷを段階的に変更し、その都度コロニーの検出結果４２としての矩形枠７５をユーザに提示して、矩形枠７５で示される領域がコロニーとして適切であるか否かを、ユーザに選択させてもよい。なお、コロニーとして適切と考えられる矩形枠７５をユーザに入力させ、入力された矩形枠７５に応じたバンド幅ＢＷを指定バンド幅４１としてもよい。
　［第２実施形態］
　図２３～図２７に示す第２実施形態では、細胞画像１４における線維芽様細胞１３の増殖の程度を示す指数が設定範囲１２３内であった場合に限り、密度情報の導出およびコロニーの検出を実行する。
　図２３～図２５において、第２実施形態の細胞画像解析装置のＣＰＵは、上記第１実施形態の各処理部５０～５５に加えて、面積率算出部１２０と判定部１２１として機能する。面積率算出部１２０は、細胞画像１４における線維芽様細胞１３の面積率１２２を算出する。具体的には、面積率算出部１２０は、細胞重心位置抽出部６５と同じく、細胞画像１４に対して二値化処理を行う。次に、線維芽様細胞１３であるとして画素値を０に置換した画素数をカウントする。そして、カウントした画素数を細胞画像１４の全画素数で除算することで、線維芽様細胞１３の面積率１２２を算出する。面積率算出部１２０は、算出した面積率１２２を判定部１２１に出力する。面積率１２２は、本開示の技術に係る「指数」の一例である。
　判定部１２１は、面積率算出部１２０からの面積率１２２が、設定範囲１２３内であるか否かを判定する。設定範囲１２３はストレージデバイス３０に記憶されており、ＲＷ制御部５０によりストレージデバイス３０から読み出されて判定部１２１に受け渡される。
　図２３に示すように、判定部１２１は、面積率１２２が設定範囲１２３内であった場合、密度情報の導出およびコロニーの検出を実行する、という内容の判定結果１２４Ａを出力する。この場合、密度情報導出部５２は密度情報である推定密度分布６０の導出を実行し、検出部５３もコロニーの検出を実行する。
　対して図２４および図２５に示すように、判定部１２１は、面積率１２２が設定範囲１２３外であった場合、密度情報の導出およびコロニーの検出を実行しない、という内容の判定結果１２４Ｂを出力する。この場合、密度情報導出部５２は密度情報である推定密度分布６０の導出を実行せず、検出部５３もコロニーの検出を実行しない。
　図２３～図２５では、設定範囲１２３として２５％～７５％（２５％以上、７５％以下）が設定された場合を例示している。図２３は、面積率１２２が４１％で設定範囲１２３内であり、判定部１２１が判定結果１２４Ａを出力する例を示す。図２４は、面積率１２２が１４％で設定範囲１２３外であり、判定部１２１が判定結果１２４Ｂを出力する例を示す。図２５は、面積率１２２が７９％で設定範囲１２３外であり、判定部１２１が判定結果１２４Ｂを出力する例を示す。
　図２６は、図２３～図２５で示した態様を、縦軸を面積率、横軸を培養日数としたグラフにまとめたものである。滑膜幹細胞といった線維芽様細胞１３は、増殖が非常に速いという特徴があり、コロニーのサイズが比較的早期にプラトーに達する。とはいえ、培養初期の段階では、線維芽様細胞１３は、コロニーと言えるほどの数は密集していない。このため、培養初期の段階といえる、面積率１２２が２５％未満の場合、判定部１２１は、密度情報の導出およびコロニーの検出を実行しない、という内容の判定結果１２４Ｂを出力する。また、コロニーのサイズがプラトーに達する培養の最終段階では、コロニーが培養容器１２の略全体にわたっていて、コロニーを区別する意味がなくなる。このため、培養の最終段階といえる、面積率１２２が７５％よりも大きい場合も、判定部１２１は判定結果１２４Ｂを出力する。
　図２７は、面積率１２２が設定範囲１２３外で、判定部１２１が判定結果１２４Ｂを出力した場合の細胞画像表示画面８０を示す。この場合、解析ボタン８１が選択されると、表示制御部５５は、警告ウィンドウ１３０をポップアップ表示する。警告ウィンドウ１３０には、面積率１２２が設定範囲１２３外であるため、解析ができない旨のメッセージが表示される。警告ウィンドウ１３０は、ＯＫボタン１３１を選択することにより表示が消える。
　このように、第２実施形態では、細胞画像１４における線維芽様細胞１３の増殖の程度を示す指数である面積率１２２が設定範囲１２３内であった場合に限り、密度情報の導出およびコロニーの検出を実行する。このため、培養の初期段階で、線維芽様細胞１３がコロニーを形成していない場合、および培養の最終段階で、線維芽様細胞１３が培養容器１２の略全体にわたる大きなコロニーを形成している場合等、あまり画像解析の実行に意味がない場合の不要な画像解析を避けることができる。換言すれば、線維芽様細胞１３の増殖能の評価に適切な期間に限って、画像解析を実行することができる。
　なお、細胞画像１４における線維芽様細胞１３の増殖の程度を示す指数としては、例示の面積率１２２に限らない。細胞画像１４内の線維芽様細胞１３の個数であってもよい。
　［第３実施形態］
　上記各実施形態では、密度情報として推定密度分布６０を導出する例を示したが、これに限らない。
　図２８において、第３実施形態の密度情報導出部１４０は、予め設定された探索枠１４１内の線維芽様細胞１３の個数（以下、枠内細胞数という）１４２を、密度情報として導出する。探索枠１４１は、例えば上記第１実施形態の矩形枠７５＿Ｍと同等の大きさを有する。あるいは、探索枠１４１はユーザが設定する。枠内細胞数１４２は、例えば、探索枠１４１内に存在する線維芽様細胞１３の重心６８の個数をカウントすることで得られる。密度情報導出部１４０は、枠内細胞数１４２を検出部１４３に出力する。
　検出部１４３は、枠内細胞数１４２およびコロニー条件１４４に基づいてコロニーを検出し、その検出結果１４５を出力する。コロニー条件１４４はストレージデバイス３０に記憶されており、ＲＷ制御部５０によりストレージデバイス３０から読み出されて検出部１４３に受け渡される。
　図２９に示すように、密度情報導出部１４０は、細胞画像１４内の複数の領域ＲＥ１＿１、ＲＥ１＿２、・・・、ＲＥ２＿１、・・・、およびＲＥＭ＿Ｎに探索枠１４１を順次走査し、各領域において枠内細胞数１４２を導出する。検出部１４３は、各領域ＲＥにおける枠内細胞数１４２がコロニー条件１４４を満たすか否かによって、各領域ＲＥがコロニーの領域であるか否かを検出する。なお、領域ＲＥ１＿２は、領域ＲＥ１＿１からＸ軸方向に、探索枠１４１を半分ずらした領域である。また、領域ＲＥ２＿１は、領域ＲＥ１＿１からＹ軸方向に、探索枠１４１を半分ずらした領域である。
　例えば図３０に示すように、領域ＲＥ２＿１における枠内細胞数１４２が５２個で、コロニー条件１４４が枠内細胞数≧５０個という内容であった場合、検出部１４３は、領域ＲＥ２＿１をコロニーの領域として検出する。
　このように、第３実施形態では、推定密度分布６０の代わりに、枠内細胞数１４２を密度情報として導出する。このため、推定密度分布６０と比較して、簡単に密度情報を導出することができる。
　なお、探索枠１４１は１種に限らない。大きさおよび／または形状が異なる複数種の探索枠１４１を設定し、各探索枠１４１についてコロニーを検出してもよい。
　［第４実施形態］
　図３１および図３２に示す第４実施形態では、機械学習モデル１５０を用いて画像解析を行う。
　図３１において、機械学習モデル１５０は、細胞画像１４を入力画像とし、コロニーの検出結果４２としての矩形枠７５が重畳された細胞画像１４を出力画像とするモデルである。機械学習モデル１５０は、例えばＵ－Ｎｅｔ（Ｕ－Ｓｈａｐｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ　Ｎｅｔｗｏｒｋ）、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ　Ｃｏｎｎｅｃｔｅｄ　Ｃｏｎｖｏｌｕｓｉｏｎａｌ　Ｎｅｔｗｏｒｋ）といった畳み込みニューラルネットワークである。
　図３２は、機械学習モデル１５０の学習フェーズにおける処理の概要を示す。学習フェーズにおいて、機械学習モデル１５０は、学習データ１５５を与えられて学習される。学習データ１５５は、学習用細胞画像１４Ｌと、当該学習用細胞画像１４Ｌに対応する正解画像１４ＣＡとの組である。正解画像１４ＣＡは、学習用細胞画像１４Ｌのコロニーと思われる領域に、ユーザが手動で矩形枠７５を書き込んだ画像である。
　学習フェーズにおいて、機械学習モデル１５０には、学習用細胞画像１４Ｌが入力される。機械学習モデル１５０は、学習用細胞画像１４Ｌに対して学習用出力画像１４ＯＬを出力する。学習用出力画像１４ＯＬは、機械学習モデル１５０においてコロニーと推定した領域に矩形枠７５が重畳された学習用細胞画像１４Ｌである。この学習用出力画像１４ＯＬおよび正解画像１４ＣＡに基づいて、機械学習モデル１５０の損失演算がなされる。そして、損失演算の結果に応じて機械学習モデル１５０の各種係数の更新設定がなされ、更新設定にしたがって機械学習モデル１５０が更新される。学習用出力画像１４ＯＬの矩形枠７５と、正解画像１４ＣＡの矩形枠７５との間に大きな隔たりがある場合は、損失は大きくなり、機械学習モデル１５０の更新度合いも大きくなる。逆に学習用出力画像１４ＯＬの矩形枠７５と、正解画像１４ＣＡの矩形枠７５との間にほとんど隔たりがない場合は、損失は小さくなり、機械学習モデル１５０の更新度合いも小さくなる。
　学習フェーズにおいては、学習用細胞画像１４Ｌの機械学習モデル１５０への入力、機械学習モデル１５０からの学習用出力画像１４ＯＬの出力、損失演算、更新設定、および機械学習モデル１５０の更新の上記一連の処理が、学習データ１５５が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、学習用出力画像１４ＯＬの矩形枠７５の推定精度が、予め定められた設定レベルまで達した場合に終了される。こうして矩形枠７５の推定精度が設定レベルまでに達した機械学習モデル１５０が、ストレージデバイス３０に記憶されて用いられる。
　このように、第４実施形態では、機械学習モデル１５０を用いてコロニーを検出する。このため、より効率的にコロニーを検出することができる。
　なお、正解画像１４ＣＡに代えて、学習用細胞画像１４Ｌのコロニーと思われる矩形領域７５の対角点ＰＡおよびＰＢのＸＹ座標を、学習データ１５５として用いてもよい。
　培養プロジェクト毎ではなく、細胞画像１４毎に指定バンド幅４１を変更してもよい。また、例えばＡ細胞は指定バンド幅４１をバンド幅ＢＷ＿Ｍとし、Ｂ細胞は指定バンド幅４１をバンド幅ＢＷ＿Ｓとする等、線維芽様細胞１３の種類によって指定バンド幅４１を変更してもよい。
　コロニーの検出結果４２としては、例示の矩形枠７５に限らない。検出したコロニーの領域を囲う曲線の枠、例えば円形または楕円形の枠としてもよい。
　バンド幅ＢＷと同様に、ｍｅａｎ－ｓｈｉｆｔで用いる探索円７０の半径Ｒをユーザに指定させてもよい。
　コロニーの検出結果４２をユーザに提示する態様としては、矩形枠７５が重畳された細胞画像１４をディスプレイ３４に表示する態様に限らない。矩形枠７５が重畳された細胞画像１４をプリントアウトする態様、あるいは、矩形枠７５が重畳された細胞画像１４を、ユーザが所有する端末に電子メール等で配信する態様を採用してもよい。評価情報４３をユーザに提示する態様も同様に、評価情報４３をディスプレイ３４に表示する態様に限らず、評価情報４３をプリントアウトする態様、評価情報４３をユーザが所有する端末に電子メール等で配信する態様を採用してもよい。
　細胞画像解析装置１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。細胞画像解析装置１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、密度情報導出部５２および検出部５３の機能と、評価情報導出部５４の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータで細胞画像解析装置１０を構成する。
　このように、細胞画像解析装置１０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
　上記各実施形態において、例えば、ＲＷ制御部５０、指示受付部５１、密度情報導出部５２および１４０、検出部５３および１４３、評価情報導出部５４、表示制御部５５、細胞重心位置抽出部６５、カーネル密度推定部６６、面積率算出部１２０、並びに判定部１２１といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　線維芽様細胞を撮影して得られた細胞画像を取得し、
    　前記細胞画像を画像解析することで、前記細胞画像内の前記線維芽様細胞の密度情報を導出し、
    　前記密度情報に基づいて前記線維芽様細胞のコロニーを検出する、
    細胞画像解析装置。
  2. 　前記プロセッサは、
    　カーネル密度推定を行うことにより、前記細胞画像における前記線維芽様細胞の推定密度分布を導出し、前記推定密度分布を前記密度情報として出力する請求項１に記載の細胞画像解析装置。
  3. 　前記プロセッサは、
    　前記推定密度分布を参照したｍｅａｎ－ｓｈｉｆｔを行うことにより、前記推定密度分布内の同じ極大点に収束した前記線維芽様細胞の集まりを、前記コロニーとして検出する請求項２に記載の細胞画像解析装置。
  4. 　前記プロセッサは、
    　前記カーネル密度推定のバンド幅のユーザによる指定を受け付け、
    　受け付けた前記バンド幅である指定バンド幅にて前記カーネル密度推定を行う請求項３に記載の細胞画像解析装置。
  5. 　前記プロセッサは、
    　前記細胞画像の一部の特定領域に対して、複数種の前記バンド幅にて前記カーネル密度推定を行うことにより、複数種の前記推定密度分布を導出し、
    　複数種の前記推定密度分布のそれぞれを参照した前記ｍｅａｎ－ｓｈｉｆｔを行うことにより、複数種の前記推定密度分布に対応する複数種の前記コロニーの検出結果を出力し、
    　複数種の前記検出結果をユーザに提示し、複数種の前記検出結果のうちの１つを前記ユーザに選択させ、
    　前記ユーザが選択した１つの前記検出結果に対応する前記バンド幅を、前記指定バンド幅とする請求項４に記載の細胞画像解析装置。
  6. 　前記プロセッサは、
    　前記細胞画像における前記線維芽様細胞の増殖の程度を示す指数が設定範囲内であった場合に限り、前記密度情報の導出および前記コロニーの検出を実行する請求項１から請求項５のいずれか１項に記載の細胞画像解析装置。
  7. 　前記プロセッサは、
    　前記コロニーの検出結果をユーザに提示する請求項１から請求項６のいずれか１項に記載の細胞画像解析装置。
  8. 　前記プロセッサは、
    　前記コロニーの検出結果に基づいて、前記線維芽様細胞の増殖能を表す評価情報を導出し、
    　前記評価情報をユーザに提示する請求項１から請求項７のいずれか１項に記載の細胞画像解析装置。
  9. 　前記評価情報は、１つの時点における前記コロニーの個数およびサイズのうちの少なくともいずれかに関する情報である請求項８に記載の細胞画像解析装置。
  10. 　前記評価情報は、複数の時点における前記コロニーの個数およびサイズのうちの少なくともいずれかに関する情報である請求項８または請求項９に記載の細胞画像解析装置。
  11. 　線維芽様細胞を撮影して得られた細胞画像を取得する取得ステップと、
    　前記細胞画像を画像解析することで、前記細胞画像内の前記線維芽様細胞の密度情報を導出する導出ステップと、
    　前記密度情報に基づいて前記線維芽様細胞のコロニーを検出する検出ステップと、
    をプロセッサが実行する細胞画像解析装置の作動方法。
  12. 　線維芽様細胞を撮影して得られた細胞画像を取得する取得部と、
    　前記細胞画像を画像解析することで、前記細胞画像内の前記線維芽様細胞の密度情報を導出する導出部と、
    　前記密度情報に基づいて前記線維芽様細胞のコロニーを検出する検出部として、
    プロセッサを機能させる細胞画像解析装置の作動プログラム。
PCT/JP2021/013415 2020-05-29 2021-03-29 細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム WO2021240986A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022527537A JPWO2021240986A1 (ja) 2020-05-29 2021-03-29

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-094685 2020-05-29
JP2020094685 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021240986A1 true WO2021240986A1 (ja) 2021-12-02

Family

ID=78723305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/013415 WO2021240986A1 (ja) 2020-05-29 2021-03-29 細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム

Country Status (2)

Country Link
JP (1) JPWO2021240986A1 (ja)
WO (1) WO2021240986A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190566A1 (ja) * 2021-03-12 2022-09-15 富士フイルム株式会社 関節症治療剤の製造方法及び関節症治療剤

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014531212A (ja) * 2011-10-03 2014-11-27 オブシェストヴォ エス オグラニチェンノイ オトゥヴェトゥストゥヴェンノストゥ’イウ “ヴィタセル” 結合組織の診断方法およびその応用
JP2016158577A (ja) * 2015-03-03 2016-09-05 富士フイルム株式会社 細胞コロニー検出装置および方法並びにプログラム
JP2016158576A (ja) * 2015-03-03 2016-09-05 富士フイルム株式会社 細胞群検出装置および方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014531212A (ja) * 2011-10-03 2014-11-27 オブシェストヴォ エス オグラニチェンノイ オトゥヴェトゥストゥヴェンノストゥ’イウ “ヴィタセル” 結合組織の診断方法およびその応用
JP2016158577A (ja) * 2015-03-03 2016-09-05 富士フイルム株式会社 細胞コロニー検出装置および方法並びにプログラム
JP2016158576A (ja) * 2015-03-03 2016-09-05 富士フイルム株式会社 細胞群検出装置および方法並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190566A1 (ja) * 2021-03-12 2022-09-15 富士フイルム株式会社 関節症治療剤の製造方法及び関節症治療剤

Also Published As

Publication number Publication date
JPWO2021240986A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN106709917B (zh) 神经网络模型训练方法、装置及系统
US8014628B2 (en) Image inspection apparatus, image inspection method and computer program
US10115191B2 (en) Information processing apparatus, information processing system, information processing method, program, and recording medium
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
EP2846309B1 (en) Method and apparatus for segmenting object in image
JP2016109495A (ja) 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
Amel et al. Improvement of the hard exudates detection method used for computer-aided diagnosis of diabetic retinopathy
JP6059486B2 (ja) 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
CN107330876A (zh) 一种基于卷积神经网络的图像自动诊断方法
WO2021240986A1 (ja) 細胞画像解析装置、細胞画像解析装置の作動方法、細胞画像解析装置の作動プログラム
CN111932535A (zh) 用于处理图像的方法、装置、设备以及存储介质
WO2014186213A2 (en) Providing visual effects for images
US20160000265A1 (en) Food Mixing Arrangement
US20220012895A1 (en) Image processing apparatus, and operation method and operating program thereof, operating apparatus, and operation method and operating program thereof, and machine learning system
Qomariah et al. Exudate detection in retinal fundus images using combination of mathematical morphology and Renyi entropy thresholding
JP2020160543A (ja) 情報処理システムおよび情報処理方法
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN104427210B (zh) 一种随机异常闪烁点检测方法及装置
CN111161233A (zh) 一种用于冲孔皮革缺陷检测方法及系统
US20220383616A1 (en) Information processing apparatus and image processing method
JP2020135659A (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
JP2021018531A (ja) 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム
CN114418848B (zh) 视频处理方法、装置、存储介质及电子设备
US20190026890A1 (en) Display control apparatus, display control method, and recording medium
EP3438987A1 (en) Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21811790

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21811790

Country of ref document: EP

Kind code of ref document: A1