WO2022014372A1 - 培養支援装置、培養支援方法、及びプログラム - Google Patents

培養支援装置、培養支援方法、及びプログラム Download PDF

Info

Publication number
WO2022014372A1
WO2022014372A1 PCT/JP2021/025104 JP2021025104W WO2022014372A1 WO 2022014372 A1 WO2022014372 A1 WO 2022014372A1 JP 2021025104 W JP2021025104 W JP 2021025104W WO 2022014372 A1 WO2022014372 A1 WO 2022014372A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
change history
probability
time
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/025104
Other languages
English (en)
French (fr)
Inventor
直也 大谷
侑也 ▲高▼山
哲也 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2022536263A priority Critical patent/JPWO2022014372A5/ja
Publication of WO2022014372A1 publication Critical patent/WO2022014372A1/ja
Priority to US18/151,765 priority patent/US20230237817A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Definitions

  • the present invention relates to a culture support device, a culture support method, and a program.
  • a technique is known to support cell culture by discriminating the state of cell growth from images of cells.
  • a cell culture state evaluation device that identifies a cell by tracking an image of the cell taken in chronological order and obtains a parameter representing the culture state of the cell (Patent Document 1). It is required that the state of the degree of cell growth can be determined with higher accuracy.
  • One aspect of the present invention is an image acquisition unit that acquires a plurality of captured images in which cells are captured in time series, and a probability that the cells are in a state indicated by the captured images acquired by the image acquisition unit. Based on the state probability calculation unit calculated for each of the plurality of the states and each of the plurality of captured images, a predetermined rule indicating the relationship between the plurality of states, and the probability calculated by the state probability calculation unit.
  • a culture support device including a change history calculation unit that calculates a change history that is a time-series change of the state, and a state determination unit that determines the state based on the change history calculated by the change history calculation unit. ..
  • One aspect of the present invention is an image acquisition process of acquiring a plurality of captured images in which cells are imaged in time series, and a probability that the cell state indicated by the captured images acquired in the image acquisition process is in a certain state.
  • the state probability calculation process of calculating for each of the plurality of the states and for each of the plurality of captured images, a predetermined rule indicating the relationship between the plurality of the states, and the probability calculated in the state probability calculation process.
  • a culture support having a change history calculation process for calculating a change history which is a time-series change of the state and a state determination process for determining the state based on the change history calculated in the change history calculation process.
  • One aspect of the present invention is a state in which a computer has an image acquisition step of acquiring a plurality of captured images in which cells are captured in time series, and a state of the cells indicated by the captured images acquired in the image acquisition step.
  • a state probability calculation step for calculating the probability in each of the plurality of states and each of the plurality of captured images, a predetermined rule indicating a relationship between the plurality of states, and the state calculation step calculated in the state probability calculation step.
  • a change history calculation step that calculates a change history that is a time-series change of the state based on the probability, and a state determination step that determines the state based on the change history calculated in the change history calculation step. It is a program to be executed.
  • FIG. 1 and 2 are views showing an example of a captured image P according to the present embodiment.
  • the captured image P captures the cells being cultured.
  • the captured image P1 shown in FIG. 1 cells in which the degree of cell growth is immature are captured.
  • the captured image P2 shown in FIG. 2 cells in which the degree of cell growth is overmature are captured.
  • the enlarged image P10 is an image in which the region R1 is enlarged.
  • colonies of cells that are overmature are formed in the region R2.
  • the enlarged image P20 is an image in which the region R2 is enlarged.
  • the texture of the magnified image P10 and the texture of the magnified image P20 are similar. That is, in the enlarged image P10 and the enlarged image P20, the texture of the image of the immature cell and the texture of the image of the overmature cell are similar. Even when the textures are similar as in the enlarged image P10 and the enlarged image P20, the degree of growth of the cells being imaged may be different. When the textures of images having different degrees of cell growth are similar, it is difficult to accurately determine the degree of cell growth based on the texture of still images.
  • FIG. 3 is a diagram showing an example of the configuration of the culture support device 1 according to the present embodiment.
  • the state of the cell is determined based on the change history, which is the time-series change of the state of the cell, using a plurality of captured images of the cell taken in time series.
  • the state x regarding the degree of cell growth is determined as the state of the cells.
  • the state x is classified into three states, "immature”, “mature”, and “overmature”, as an example. That is, the state x includes a state of being immature, a state of being mature, and a state of being overmature.
  • the culture support device 1 includes an image acquisition unit 10, a still image processing unit 11, a time series processing unit 12, an output unit 13, and a storage unit 14.
  • the culture support device 1 is, for example, a computer.
  • the image acquisition unit 10, the still image processing unit 11, the time-series processing unit 12, and the output unit 13 each have a CPU (Central Processing Unit) that reads a program from a ROM (Read Only Memory) and executes processing. It is a module realized by.
  • CPU Central Processing Unit
  • the image acquisition unit 10 acquires a plurality of captured images P supplied from the image supply unit 2.
  • the plurality of captured images P are time-lapse images in which cells are captured in time series from the start of culture. That is, the plurality of captured images P are a plurality of images in which cells are captured in time series. Each of the plurality of captured images P is a still image.
  • the plurality of captured images P are generated by time-lapse imaging of the cells being cultured every 24 hours, as an example.
  • the captured image P corresponds to the imaging time t, which is the time when the cell was imaged.
  • the predetermined magnification is set according to the cell type.
  • the predetermined magnification is preferably such that the size of one cell colony is at least about 50 pixels.
  • the predetermined magnification is, for example, a low magnification of about 20 to 40 times. In the culture support device 1, even at a low magnification of about 20 to 40 times, the state of cells is determined with higher accuracy than when a still image is analyzed.
  • the still image processing unit 11 performs various processes on each of the plurality of captured images P.
  • the still image processing unit 11 includes an area division unit 110, a state probability calculation unit 111, and a state determination unit 112.
  • the region division unit 110 divides the captured image P into a plurality of regions R.
  • the state probability calculation unit 111 calculates the state probability PR for each of the plurality of captured images P for each of the plurality of regions R of the captured image P divided by the region dividing unit 110.
  • the state probability PR is the probability that the state of the cell indicated by the captured image P is in a certain state x.
  • the state probability calculation unit 111 calculates the state probability PR for each of the plurality of states x.
  • the probability that the cell state is in a certain state x with respect to the i-th region Ri of the captured image Pj captured at the imaging time tj may be indicated as the state probabilities PRx, i, j and the like.
  • FIG. 4 is a diagram showing an example of the region R and the state probability PR according to the present embodiment.
  • the region Rj of the plurality of regions R in which the captured image Pi captured at the imaging time ti is divided is shown.
  • the state probabilities PRx, i, j shown in FIG. 4 are examples of the state probability PR, and the state probabilities PRx, i, j are the probabilities that the cell state is in the state x at the imaging time ti with respect to the region Rj. Is shown.
  • the plurality of states include “immature”, “mature”, and “overmature”.
  • the probability that the cell state is "immature” is 0.4
  • the probability that the cell state is "mature” is 0.2
  • the cell state is 0.2.
  • the probability that is "overmature” is 0.4.
  • the state determination unit 112 determines the state x based on the change history H calculated by the change history calculation unit 120 of the time series processing unit 12. The state determination unit 112 determines whether the state x is "immature”, "mature”, or "overmature”.
  • the time-series processing unit 12 performs various processing on the time-series of the plurality of captured images P.
  • the time series processing unit 12 includes a change history calculation unit 120.
  • the change history calculation unit 120 calculates the state probability time series PH by arranging the state probability PRs calculated by the state probability calculation unit 111 in a time series.
  • the state probability time series PH is a time series change of the state probability PR. Since the state probability PR is the probability that the cell state is in a certain state x, the state probability time series PH corresponds to the probability that the time series change of the state x occurs.
  • the time-series change of the state x is referred to as a change history H.
  • the state probability time series PH and the change history H correspond to each other.
  • the change history calculation unit 120 determines the maximum likelihood change history HL, which is the maximum likelihood change history of the state x, based on the state change rule information 140 and the calculated state probability time series PH.
  • the state change rule information 140 indicates a predetermined rule indicating a relationship between a plurality of states x each other.
  • FIG. 5 is a diagram showing an example of the state probability time series PH according to the present embodiment.
  • the state probability time series PH1 and the state probability time series PH2 are examples of the state probability time series PH.
  • the number of state probability time series PH that is, the number of change history H is equal to the power of the number of imaging time T of the number of types of state x.
  • the state-probability time-series PH shown in FIG. 5 includes the state-probability time-series PH1 and the state-probability time-series PH2, and includes only 243 state-probability time-series, which is the fifth power of 3 which is the number of types of state x. Is done.
  • FIG. 6 is a diagram showing an example of the state change rule information 140 according to the present embodiment.
  • the state change rule information 140 shows the relationship between the state x at the first time included in the time series of the imaging time T and the state x at the second time included in the time series of the imaging time T.
  • the state x has a first state and a second state different from the first state
  • the state change rule information 140 is the second time when the state x at the first time is the first state. Indicates that the state x in is not the second state.
  • the first time is a certain imaging time t
  • the second time is the imaging time t + 1 after the imaging time t.
  • the imaging time t + 1 is a time 24 hours after the imaging time t.
  • the state x also includes a "background" which is a state when the region R corresponds to a background other than the cell.
  • the state change rule information 140 indicates that the state x at the imaging time t + 1 is not “overmature” when the state x at the imaging time t is “immature”.
  • the state change rule information 140 indicates that when the state x at the imaging time t is “immature”, the state x at the imaging time t + 1 may be “immature”, “mature”, or “background”.
  • the state change rule information 140 indicates that the state x at the imaging time t + 1 is not “immature” when the state x at the imaging time t is “mature”.
  • the state change rule information 140 indicates that when the state x at the imaging time t is “mature”, the state x at the imaging time t + 1 may be “mature”, “overmature”, or “background”.
  • the state change rule information 140 indicates that the state x at the imaging time t + 1 is not “immature” or “mature” when the state x at the imaging time t is “overmature”.
  • the state change rule information 140 indicates that when the state x at the imaging time t is “overmature”, the state x at the imaging time t + 1 may be “overmature” or “background”.
  • the output unit 13 outputs the determination result A, which is the result of the state determination unit 112 determining the state x, to the presentation unit 3.
  • the storage unit 14 stores the state change rule information 140.
  • the image supply unit 2 captures the captured image P and supplies it to the culture support device 1.
  • the image supply unit 2 is, for example, a time-lapse microscope.
  • the presentation unit 3 presents the determination result A output by the culture support device 1.
  • the presentation unit 3 is, for example, a display.
  • FIG. 7 is a diagram showing an example of the state determination process according to the present embodiment.
  • Step S10 The image acquisition unit 10 acquires a plurality of captured images P supplied from the image supply unit 2.
  • the image acquisition unit 10 supplies the acquired plurality of captured images P to the still image processing unit 11.
  • the position of the entire cell colony may move due to the cells peeling off from the well, and the position of the entire cell colony may differ among the plurality of captured images P.
  • the still image processing unit 11 is positioned so that the positions of the entire cell colonies are common among the plurality of captured images P by image processing.
  • the matching process may be performed.
  • Step S20 The still image processing unit 11 starts a process of repeating each captured image P.
  • Step S30 The region dividing unit 110 divides the captured image P supplied from the image acquisition unit 10 into a plurality of regions R. As an example, the region dividing unit 110 divides the captured image P into a plurality of regions R in units of one pixel.
  • the region division unit 110 may divide the captured image P into a plurality of regions R in units of regions composed of a plurality of pixels. That is, the region R is a region based on the pixels of the captured image P.
  • the area consisting of a plurality of pixels is, for example, a square or a rectangle.
  • Step S40 The state probability calculation unit 111 calculates the state probability PR for each of the plurality of regions R of the captured image P divided by the region division unit 110.
  • the state probability calculation unit 111 calculates the state probability PR for each of the states x.
  • the state probability calculation unit 111 supplies the calculated state probability PR to the time series processing unit 12.
  • the state probability calculation unit 111 calculates the state probability PR based on machine learning as an example.
  • the state probability calculation unit 111 calculates the state probability PR for each pixel of the captured image P by using a convolutional neural network (CNN) as an example of machine learning.
  • CNN convolutional neural network
  • the state probability calculation unit 111 calculates the state probability PR in which the cell state x indicated by the captured image P acquired by the image acquisition unit 10 is in a certain state for each of a plurality of states and for each of a plurality of captured images P. do.
  • the state probability calculation unit 111 obtains a state probability PR in which the state x of the cell indicated by the captured image P acquired by the image acquisition unit 10 exists in a predetermined region of the captured image P acquired by the image acquisition unit 10. It is calculated for each of a plurality of states and for each of a plurality of captured images P.
  • Step S50 The still image processing unit 11 ends the process of repeating each captured image P.
  • Step S60 The time-series processing unit 12 starts a process to be repeated for each area R.
  • the change history calculation unit 120 arranges the state probabilities PRx, i, j for the region Ri among the state probability PRs calculated by the state probability calculation unit 111 into a set.
  • j is a label corresponding to the imaging time T.
  • the region Ri is a region at a common position for a plurality of captured images P.
  • FIG. 8 is a diagram showing an example of the region Ri for each imaging time T according to the present embodiment.
  • the captured image P-0 captured at the start of the culture
  • the captured image Pj captured after a predetermined time has passed from the start of the culture
  • the captured image PT is shown.
  • the region Ri-0, the region Rij, and the region RiT are examples of the respective regions Ri of the captured image P-0, the captured image Pj, and the captured image PT.
  • the region Ri-0, the region Rij, and the region Ri-T are located in a common place for each of the captured image P-0, the captured image Pj, and the captured image PT.
  • the change history calculation unit 120 calculates the result of arranging the state probability PRs in time series as the state probability time series PH.
  • the state probability time series PH is a set in which the number of image pickup times T, that is, the state probabilities PRx, i, and j of the number of image pickup images P are arranged in the order of the label j indicating the image pickup time T.
  • Step S80 The change history calculation unit 120 executes the maximum likelihood change history calculation process, which is the process of calculating the maximum likelihood change history HL.
  • the maximum likelihood change history calculation process is the process of calculating the maximum likelihood change history HL.
  • FIG. 9 is a diagram showing an example of the maximum likelihood change history calculation process according to the present embodiment. The processing of step S210 and step S220 of FIG. 9 corresponds to the processing of step S80 of FIG.
  • Step S210 The change history calculation unit 120 excludes a part of the change history H from the maximum likelihood change history HL candidates based on the state change rule information 140.
  • the change history H is the change history H corresponding to the state probability time series PH calculated by the change history calculation unit 120 in step S70.
  • the change history calculation unit 120 reads the state change rule information 140 from the storage unit 14.
  • the change history calculation unit 120 is based on the state change rule information 140 shown in FIG. 6, for example, when the state x at the imaging time t is “immature”, the state x at the imaging time t + 1 is “overmature”. When the change history H and the state x at the imaging time t are "mature”, the state x at the imaging time t + 1 is "immature”. When the change history H and the state x at the imaging time t are "overmature”. The change history H in which the state x at time t + 1 is “immature” or “mature” is excluded from the candidates for the maximum likelihood change history HL.
  • Step S220 The change history calculation unit 120 determines the change history H at which the product of the state probability PRs at each imaging time T is maximized.
  • the change history calculation unit 120 calculates the product of the state probability PRs for each imaging time T indicated by the state probability time series PH corresponding to the change history H for the change history H.
  • the change history calculation unit 120 compares the calculated products between the change history Hs, and determines the change history H in which the calculated product is the maximum.
  • the change history calculation unit 120 determines that the change history H having the maximum determined product is the maximum likelihood change history HL.
  • the change history calculation unit 120 supplies the determined maximum likelihood change history HL to the state determination unit 112.
  • the change history calculation unit 120 calculates the maximum likelihood change history HL, which is the maximum likelihood change history HL of the state x in the change history H.
  • the maximum likelihood time-series change is a time-series change in which the product of the state probability PRs for each imaging time indicated by the time-series of state probabilities is maximized.
  • the change history calculation unit 120 excludes the change history H, which is not a candidate for the maximum likelihood change history HL, from the plurality of change histories H based on the state change rule information 140, and then the state probability PR calculated by the state probability calculation unit 111.
  • the maximum likelihood change history HL is calculated based on.
  • the change history H increases exponentially with respect to the number of imaging times, it is not possible to calculate and compare the product of the state probability PRs from each change history H when the number of imaging times is large. Efficiency. Therefore, as a method for efficiently obtaining the maximum likelihood change history HL, an algorithm of a dynamic programming method such as a Viterbi algorithm may be used.
  • Step S90 The state determination unit 112 determines the state x for each of the plurality of captured images P for the region Ri based on the maximum likelihood change history HL determined by the change history calculation unit 120.
  • the state determination unit 112 extracts the state corresponding to the imaging time t, which is the imaging time of the captured image Pt, from the maximum likelihood change history HL.
  • the state determination unit 112 determines the state extracted from the maximum likelihood change history HL as the state x. For example, when the state extracted from the maximum likelihood change history HL is "immature", the state determination unit 112 determines "immature" as the state x.
  • Step S100 The state determination unit 112 ends the process of repeating each area R. Specifically, the state determination unit 112 uses the determination result A determined as the state x as the change history H1 (“immature”, “immature”, “mature”, “excessive”) of the state x corresponding to the maximum likelihood change history HL. It is output to the output unit 13 as “mature” and "overmature”).
  • Step S110 The output unit 13 outputs the determination result A to the presentation unit 3.
  • the presentation unit 3 displays the determination result A on the display and presents it.
  • the output unit 13 may store the determination result A in the storage unit 14 and output the determination result A to the external device when requested by the external device.
  • the presentation unit 3 When the determination result A is displayed on the display (an example of the display unit), the presentation unit 3 has a state x for the region Ri only for the image captured image P at a certain imaging time t based on the operation from the user to the presentation unit 3. "Immature”, “mature”, and “overmature” may be displayed as. Further, the presentation unit 3 may sequentially display the determination result A for the captured images P having different imaging times based on the operation from the user to the presentation unit 3. Further, the presentation unit 3 may display "immature”, “mature”, and “overmature” in chronological order for the desired region Ri of the captured image P at each imaging time t. The desired region Ri is designated by an operation from the user to the presentation unit 3.
  • the presentation unit 3 shows all the state probability PRs at each imaging time t as shown in FIG. 5, and displays the maximum likelihood change history HL showing the determination result A.
  • the corresponding state probability time series PH1 may be highlighted and presented.
  • the change history corresponding to the new imaging time is excluded from the calculated most probable change history HL.
  • the change history of the portion may be different from the most probable change history HL calculated before the captured image captured at the new imaging time is added.
  • the change history H1-N at which the product of the state probability PRs for each imaging time T indicated by the state probability time series PH is maximum.
  • the change history H1-N by adding the state x at the imaging time tN + 1, it may be excluded based on the state change rule information 140.
  • the change history H1-N excluding the product of the state probability PRs from the imaging time t1 to the imaging time tN.
  • the change history H2-N which is the second largest after N, may be included in the most probable change history HL-N + 1 from the imaging time t1 to the imaging time tN + 1 as a portion corresponding to the imaging time t1 to the imaging time tN.
  • the cell state x is determined for the captured image Pj captured at a certain imaging time tj, each time the captured image P captured after the imaging time tj is added to the state determination process, the image is captured.
  • the determination result of the cell state x may be different for the image Pj.
  • the culture progresses and more captured images P captured after the imaging time tj are added to the processing of the state determination process. It is considered that the accuracy of determining the cell state x with respect to the captured image Pj is higher.
  • step S90 described above an example of a case where the state determination unit 112 determines the state x for each of a plurality of captured images P has been described, but the present invention is not limited to this.
  • the state determination unit 112 may determine the state x of one captured image P-i captured at a certain imaging time among the plurality of captured images P.
  • the change history calculation unit 120 may calculate, for example, the change history H having the second largest product of the state probability PRs for each imaging time T indicated by the state probability time series PH. ..
  • the change history calculation unit 120 may calculate, for example, the change history H having the smallest product of the state probability PRs for each imaging time T indicated by the state probability time series PH instead of the maximum likelihood change history HL. ..
  • the change history H having the smallest product of the state probability PRs for each imaging time T may be used, for example, to remove the state having the smallest probability in advance when the determination process for determining the state x is performed in the external device.
  • This determination process is, for example, a process based on machine learning.
  • the change history calculation unit 120 calculates the change history H, which is a time-series change of the state x, based on the state change rule information 140 and the state probability PR calculated by the state probability calculation unit 111.
  • the change history calculation unit 120 calculates the change history H for the region R.
  • step S80 the change history calculation unit 120 may calculate the maximum likelihood change history HL based on the dynamic programming method instead of the maximum likelihood change history calculation process.
  • the change history calculation unit 120 excludes a part of the change history H from the maximum likelihood change history HL candidates based on the state change rule information 140. I explained, but it is not limited to this.
  • the change history calculation unit 120 may change the value of the state probability PR included in the state probability time series PH corresponding to the change history H based on the state change rule information 140.
  • the change history calculation unit 120 describes the change history H in which the state x at the imaging time t + 1 is “overmature” when the state x at the imaging time t is “immature” based on the state change rule information 140.
  • the state probability PR in which the state x at the imaging time t + 1 of the state probability time series PH corresponding to the change history H is “overmature” is reduced by a predetermined ratio.
  • the state change rule information 140 increases the "immature" state probability PR and the "mature” state probability PR so that the sum of the state probability PRs of each state x at the imaging time t + 1 is stored.
  • the present invention is not limited to this.
  • the entire captured image P may be selected as the region R.
  • the culture support device 1 determines the state x with respect to the captured image P.
  • the state x is one of three types of cell growth, “immature”, “mature”, and “overmature”, has been described. Not exclusively.
  • the state x may be more than three types, including an intermediate state between “immature” and “mature”, an intermediate state between "mature” and “overmature”, and the like.
  • the state x may be classified by a numerical value indicating the degree of cell growth.
  • the state x may be an index for the state of the cell other than the degree of growth.
  • the state x may be, for example, each state in the process of transforming a normal cell into a cancer cell.
  • the culture support device 1 includes an image acquisition unit 10, a state probability calculation unit 111, a change history calculation unit 120, and a state determination unit 112.
  • the image acquisition unit 10 acquires a plurality of captured images P in which cells are captured in time series.
  • the state probability calculation unit 111 sets the probability that the cell state indicated by the captured image P acquired by the image acquisition unit 10 is in a certain state (state probability PR in this example) into a plurality of states x (cell growth in this example). It is calculated for each "immature”, “mature”, and “overmature") and for each of a plurality of captured images P.
  • the change history calculation unit 120 has a predetermined rule indicating the relationship between a plurality of states x each other (state change rule information 140 in this example) and a probability calculated by the state probability calculation unit 111 (state probability PR in this example). ) And the change history H, which is a time-series change of the state x, is calculated.
  • the state determination unit 112 determines the state x based on the change history H calculated by the change history calculation unit 120.
  • the culture support device 1 determines the state of the cell using the captured image of the cell, and the cell is based on the change history which is the time-series change of the state of the cell. Since the state can be determined, the state of the cell can be determined more accurately than when a still image is used.
  • the change history calculation unit 120 calculates the maximum likelihood change history HL, which is the maximum likelihood change history HL of the state x in the change history H.
  • the maximum likelihood change can be determined based on the maximum likelihood change history HL, which is the maximum likelihood change history HL of the state x in the change history H.
  • the state of cells can be determined more accurately than when it is not based on history HL.
  • the change history calculation unit 120 has a plurality of changes based on a predetermined rule (in this example, the state change rule information 140) indicating the relationship between the plurality of states x each other.
  • a predetermined rule in this example, the state change rule information 140
  • the maximum likelihood change history HL is calculated based on the probability calculated by the state probability calculation unit 111 (in this example, the state probability PR).
  • the maximum likelihood is obtained from the plurality of change histories H based on a predetermined rule indicating the relationship between the plurality of states x each other (in this example, the state change rule information 140). Since the maximum likelihood change history HL can be calculated by excluding the change history H that is not a candidate for the change history HL, it is more accurate than the case where the maximum likelihood change history HL is calculated based on the probability (in this example, the state probability PR). The state of cells can be determined.
  • the predetermined rule indicating the relationship between the plurality of states x each other is the state x at the first time included in the time series. And the state x at the second time included in the time series are shown.
  • the change history H can be calculated based on the relationship between the state x at the first time and the state x at the second time.
  • the state of the cell can be determined more accurately than in the case where it is not based on the relationship with the state x at 2 time.
  • the state x includes a first state (for example, "immature” in this example) and a second state different from the first state (for example, “excessive” in this example).
  • a first state for example, "immature” in this example
  • a second state different from the first state for example, “excessive” in this example.
  • the predetermined rule state change rule information 140 in this example
  • the state x at time is not the second state (in this example, for example, "overmature”).
  • the state x at the second time is the second state. Since the change history H can be calculated based on the fact that it is not (for example, "overmature” in this example), when the state x at the first time is the first state (for example, "immature” in this example).
  • the state of the cell can be determined more accurately than the case where the state x at the second time is not based on the fact that the state x is not the second state (for example, “hypermaturation” in this example).
  • the state x is a state regarding the degree of cell growth.
  • the change history is a time-series change in the degree of cell growth. Since the degree of cell growth can be determined based on this, the degree of cell growth can be determined more accurately than when a still image is used.
  • the state x includes a state of being immature, a state of being mature, and a state of being overmature.
  • the state probability calculation unit 111 refers to the cells indicated by the captured image P for a predetermined region (region R in this example) of the captured image P acquired by the image acquisition unit 10.
  • the probability that the state x is in a certain state (in this example, the state probability PR) is calculated for each of the plurality of states x and for each of the plurality of captured images P, and the change history calculation unit 120 is in a predetermined area (in this example, the state probability PR).
  • the change history H is calculated for the area R), and the state determination unit 112 determines the state x for a predetermined area (in this example, the area R).
  • the degree of cell growth can be determined for each predetermined region (region R in this example), so that the degree of cell growth can be determined more accurately than when a still image is used.
  • the degree of cell growth can be determined for each predetermined region (region R in this example).
  • the predetermined region is a region based on the pixels of the captured image P (region corresponding to one pixel in this example).
  • the degree of cell growth can be determined in units of the region based on the pixels of the captured image P (the region corresponding to one pixel in this example), so that the still image can be determined.
  • the degree of cell growth can be determined more accurately for each pixel-based region (in this example, the region corresponding to one pixel) as compared with the case of using.
  • the state determination unit 112 determines the state x for each of the plurality of captured images P.
  • the state x can be determined for each of the plurality of captured images P, so that the time-series change of the state x can be determined.
  • a part of the culture support device 1 in the above-described embodiment, for example, the image acquisition unit 10, the still image processing unit 11, and the time-series processing unit 12 may be realized by a computer.
  • the program for realizing this control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the "computer system” referred to here is a computer system built in the culture support device 1, and includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • a program may be held for a certain period of time, such as a volatile memory inside a computer system serving as a server or a client.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be further realized by combining the above-mentioned functions with a program already recorded in the computer system.
  • a part or all of the culture support device 1 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the culture support device 1 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of making an integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.
  • 1 ... culture support device, 10 ... image acquisition unit, 111 ... state probability calculation unit, 120 ... change history calculation unit, 112 ... state determination unit, P ... image captured image, H ... change history, HL ... maximum likelihood change history

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Sustainable Development (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

培養支援装置は、細胞が時系列に撮像された複数の撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像が示す細胞の状態がある状態にある確率を複数の状態毎かつ複数の撮像画像毎に算出する状態確率算出部と、複数の状態相互間の関係を示す所定の規則と、状態確率算出部が算出する確率とに基づいて、状態の時系列変化である変化履歴を算出する変化履歴算出部と、変化履歴算出部が算出する変化履歴に基づいて状態を判定する状態判定部とを備える。

Description

培養支援装置、培養支援方法、及びプログラム
　本発明は、培養支援装置、培養支援方法、及びプログラムに関する。
　本願は、２０２０年７月１３日に、米国に仮出願された米国特許出願第６３／０５０，８８５号に基づき優先権を主張し、その内容をここに援用する。
　細胞が撮像された画像から、細胞の成長度合いについての状態を判別して、細胞の培養を支援する技術が知られている。一例として、細胞を時系列に沿って撮影した画像をトラッキングすることによって細胞を特定し、細胞の培養状態を表すパラメータを求める細胞培養状態評価装置が知られている（特許文献１）。細胞の成長の度合いについて、より高い精度で状態を判別できることが求められている。
特開２０１９－４７９５号公報
　本発明の一態様は、細胞が時系列に撮像された複数の撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出部と、複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出部が算出する前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出部と、前記変化履歴算出部が算出する前記変化履歴に基づいて前記状態を判定する状態判定部とを備える培養支援装置である。
　本発明の一態様は、細胞が時系列に撮像された複数の撮像画像を取得する画像取得過程と、前記画像取得過程において取得された前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出過程と、複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出過程において算出された前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出過程と、前記変化履歴算出過程において算出された前記変化履歴に基づいて前記状態を判定する状態判定過程とを有する培養支援方法である。
　本発明の一態様は、コンピュータに、細胞が時系列に撮像された複数の撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出ステップと、複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出ステップにおいて算出された前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出ステップと、前記変化履歴算出ステップにおいて算出された前記変化履歴に基づいて前記状態を判定する状態判定ステップとを実行させるためのプログラムである。
本発明の実施形態に係る撮像画像の一例を示す図である。 本発明の実施形態に係る撮像画像の一例を示す図である。 本発明の実施形態に係る培養支援装置の構成の一例を示す図である。 本発明の実施形態に係る領域及び状態確率の一例を示す図である。 本発明の実施形態に係る状態確率時系列の一例を示す図である。 本発明の実施形態に係る状態変化規則情報の一例を示す図である。 本発明の実施形態に係る状態判定処理の一例を示す図である。 本発明の実施形態に係る撮像時刻毎の領域の一例を示す図である。 本発明の実施形態に係る最尤変化履歴算出処理の一例を示す図である。
（実施形態）
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１及び図２は、本実施形態に係る撮像画像Ｐの一例を示す図である。撮像画像Ｐには、培養中の細胞が撮像されている。図１に示す撮像画像Ｐ１では、細胞の成長の度合いが未熟である細胞が撮像されている。一方、図２に示す撮像画像Ｐ２では、細胞の成長の度合いが過成熟である細胞が撮像されている。
　撮像画像Ｐ１において、領域Ｒ１には未熟である細胞のコロニーが形成されている。拡大画像Ｐ１０は、領域Ｒ１が拡大された画像である。撮像画像Ｐ２において、領域Ｒ２には過成熟である細胞のコロニーが形成されている。拡大画像Ｐ２０は、領域Ｒ２が拡大された画像である。
　図示するように、拡大画像Ｐ１０のテクスチャと、拡大画像Ｐ２０のテクスチャとは似通っている。つまり、拡大画像Ｐ１０と拡大画像Ｐ２０とでは、未熟である細胞の画像のテクスチャと、過成熟である細胞の画像のテクスチャとが似通っている。
　拡大画像Ｐ１０及び拡大画像Ｐ２０のように、テクスチャが似通っている場合であっても、撮像されている細胞の成長の度合いが異なる場合がある。細胞の成長の度合いが異なる画像同士のテクスチャが似通っている場合には、静止画像のテクスチャに基づいて細胞の成長の度合いを正確に判定することは困難である。
　従来、深層学習などの機械学習の手法を用いて静止画像のテクスチャを解析して、静止画像の各領域について細胞の成長の度合いを判定する方法がある。しかしながら、静止画像を用いた場合、状態変化の時系列の情報が判定に用いられておらず、判定の精度は十分とはいえない。
（培養支援装置の構成）
　図３は、本実施形態に係る培養支援装置１の構成の一例を示す図である。培養支援装置１では、細胞が時系列に撮像された複数の撮像画像を用いて、細胞の状態の時系列変化である変化履歴に基づいて細胞の状態を判定する。
　培養支援装置１では、細胞の状態として、細胞の成長の度合いについての状態ｘを判定する。状態ｘは、一例として、「未熟」、「成熟」、及び「過成熟」の３つの状態に分類される。つまり、状態ｘには、未熟である状態、成熟である状態、及び過成熟である状態が含まれる。
　培養支援装置１は、画像取得部１０と、静止画処理部１１と、時系列処理部１２と、出力部１３と、記憶部１４とを備える。培養支援装置１は、一例として、コンピュータである。画像取得部１０と、静止画処理部１１と、時系列処理部１２と、出力部１３とはそれぞれ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現されるモジュールである。
　画像取得部１０は、画像供給部２から供給される複数の撮像画像Ｐを取得する。複数の撮像画像Ｐは、培養開始から細胞が時系列に撮像されたタイムラプス画像である。つまり、複数の撮像画像Ｐは、細胞が時系列に撮像された複数の画像である。複数の撮像画像Ｐのそれぞれは静止画像である。
　ここで複数の撮像画像Ｐは、一例として、培養中の細胞が２４時間毎にタイムラプス撮像されて生成される。撮像画像Ｐと、細胞が撮像された時刻である撮像時刻ｔとは対応する。
　撮像画像Ｐでは、タイムラプス顕微鏡によって、細胞が所定の倍率において観察されて撮像されている。ここで所定の倍率は、細胞の種類に応じて設定される。所定の倍率は、１個の細胞コロニーの大きさが最低５０画素程度となるような倍率であることが好ましい。所定の倍率は、一例として、２０倍から４０倍程度の低倍率である。培養支援装置１では、２０倍から４０倍程度の低倍率であっても、細胞の状態を、静止画像を解析した場合に比べて精度高く判定する。
　静止画処理部１１は、複数の撮像画像Ｐそれぞれに対して各種の処理を行う。静止画処理部１１は、領域分割部１１０と、状態確率算出部１１１と、状態判定部１１２とを備える。
　領域分割部１１０は、撮像画像Ｐを複数の領域Ｒに分割する。
　状態確率算出部１１１は、領域分割部１１０が分割した撮像画像Ｐの複数の領域Ｒのそれぞれについて、状態確率ＰＲを複数の撮像画像Ｐ毎に算出する。ここで状態確率ＰＲは、撮像画像Ｐが示す細胞の状態がある状態ｘにある確率である。状態確率算出部１１１は、複数の状態ｘ毎に状態確率ＰＲを算出する。以下では、撮像時刻ｔｊに撮像された撮像画像Ｐ－ｊのｉ番目の領域Ｒｉについて、細胞の状態がある状態ｘにある確率を、状態確率ＰＲｘ，ｉ，ｊなどと示すことがある。
　ここで図４を参照し、領域Ｒ及び状態確率ＰＲについて説明する。図４は、本実施形態に係る領域Ｒ及び状態確率ＰＲの一例を示す図である。図４では、一例として、撮像画像Ｐのうち、撮像時刻ｔｉに撮像された撮像画像Ｐ－ｉが分割された複数の領域Ｒのうち領域Ｒ－ｊが示されている。
　図４に示す状態確率ＰＲｘ，ｉ，ｊは、状態確率ＰＲの一例であり、状態確率ＰＲｘ，ｉ，ｊは、領域Ｒ－ｊについて、撮像時刻ｔｉにおいて細胞の状態がある状態ｘにある確率を示す。
　上述したように複数の状態には、「未熟」、「成熟」、及び「過成熟」がある。図４に示す状態確率ＰＲｘ，ｉ，ｊでは、細胞の状態が「未熟」である確率は０．４であり、細胞の状態が「成熟」である確率は０．２であり、細胞の状態が「過成熟」である確率は０．４である。
　図３に戻って培養支援装置１の構成の説明を続ける。
　状態判定部１１２は、時系列処理部１２の変化履歴算出部１２０が算出する変化履歴Ｈに基づいて状態ｘを判定する。状態判定部１１２は、状態ｘが「未熟」、「成熟」、または「過成熟」のいずれであるかを判定する。
　時系列処理部１２は、複数の撮像画像Ｐの時系列について各種の処理を行う。時系列処理部１２は、変化履歴算出部１２０を備える。
　変化履歴算出部１２０は、状態確率算出部１１１が算出する状態確率ＰＲを時系列に並べて状態確率時系列ＰＨを算出する。ここで状態確率時系列ＰＨは、状態確率ＰＲの時系列変化である。状態確率ＰＲは細胞の状態がある状態ｘにある確率であるから、状態確率時系列ＰＨは、状態ｘの時系列変化が起こる確率に対応する。以下、状態ｘの時系列変化を変化履歴Ｈという。上述したように、状態確率時系列ＰＨと、変化履歴Ｈとは対応している。
　変化履歴算出部１２０は、状態変化規則情報１４０と、算出した状態確率時系列ＰＨとに基づいて、状態ｘの最尤の時系列変化である最尤変化履歴ＨＬを判定する。状態変化規則情報１４０は、複数の状態ｘ相互間の関係を示す所定の規則を示す。
　ここで図５及び図６を参照し、状態確率時系列ＰＨと、状態変化規則情報１４０とについて説明する。
　図５は、本実施形態に係る状態確率時系列ＰＨの一例を示す図である。図５に示す状態確率時系列ＰＨは、撮像時刻ｔ＝０から撮像時刻ｔ＝４までの５つの撮像時刻についての状態確率ＰＲの時系列変化である。
　状態確率時系列ＰＨ１及び状態確率時系列ＰＨ２は、状態確率時系列ＰＨの一例である。状態確率時系列ＰＨ１は、撮像時刻ｔ＝０から撮像時刻ｔ＝４にかけて、状態ｘが「未熟」、「未熟」、「成熟」、「過成熟」、「過成熟」と変化する変化履歴Ｈ１に対する撮像時刻毎の確率である。状態確率時系列ＰＨ２は、撮像時刻ｔ＝０から撮像時刻ｔ＝４にかけて、状態ｘが「未熟」、「未熟」、「成熟」、「未熟」、「未熟」と変化する変化履歴Ｈ２に対する撮像時刻毎の確率である。
　状態確率時系列ＰＨの数、つまり変化履歴Ｈの数は、状態ｘの種類の数の撮像時刻Ｔの数のべき乗に等しい。図５に示す状態確率時系列ＰＨには、状態確率時系列ＰＨ１及び状態確率時系列ＰＨ２を含めて、状態ｘの種類の数である３の５乗である２４３だけの状態確率時系列が含まれる。
　図６は、本実施形態に係る状態変化規則情報１４０の一例を示す図である。
　状態変化規則情報１４０は、撮像時刻Ｔの時系列に含まれる第１時刻における状態ｘと、撮像時刻Ｔの時系列に含まれる第２時刻における状態ｘとの関係を示す。ここで状態ｘには、第１状態と、第１状態とは異なる第２状態とがあり、状態変化規則情報１４０は、第１時刻における状態ｘが第１状態である場合に、第２時刻における状態ｘが第２状態ではないことを示す。
　本実施形態では、第１時刻とは、ある撮像時刻ｔであり、第２時刻とは、この撮像時刻ｔよりも後の撮像時刻ｔ＋１である。撮像時刻ｔ＋１は、撮像時刻ｔよりも２４時間後の時刻である。
　なお、状態変化規則情報１４０では、領域Ｒが細胞以外の背景に対応する場合の状態である「背景」も状態ｘに含まれている。
　例えば、状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「未熟」である場合に、撮像時刻ｔ＋１における状態ｘが「過成熟」ではないことを示す。状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「未熟」である場合に、撮像時刻ｔ＋１における状態ｘが「未熟」、「成熟」、または「背景」であってもよいこと示す。
　また、状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「成熟」である場合に、撮像時刻ｔ＋１における状態ｘが「未熟」ではないことを示す。状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「成熟」である場合に、撮像時刻ｔ＋１における状態ｘが「成熟」、「過成熟」、または「背景」であってもよいこと示す。
　また、状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「過成熟」である場合に、撮像時刻ｔ＋１における状態ｘが「未熟」または「成熟」ではないことを示す。状態変化規則情報１４０は、撮像時刻ｔにおける状態ｘが「過成熟」である場合に、撮像時刻ｔ＋１における状態ｘが「過成熟」、または「背景」であってもよいこと示す。
　図３に戻って培養支援装置１の構成の説明を続ける。
　出力部１３は、状態判定部１１２が状態ｘを判定した結果である判定結果Ａを、提示部３に出力する。
　記憶部１４は、状態変化規則情報１４０を記憶する。
　画像供給部２は、撮像画像Ｐを撮像して培養支援装置１に供給する。画像供給部２は、一例として、タイムラプス顕微鏡である。
　提示部３は、培養支援装置１が出力する判定結果Ａを提示する。提示部３は、一例として、ディスプレイである。
（培養支援装置の処理）
　図７を参照し、培養支援装置１が、撮像画像Ｐが示す細胞の状態を判定する処理である状態判定処理について説明する。図７は、本実施形態に係る状態判定処理の一例を示す図である。
ステップＳ１０：画像取得部１０は、画像供給部２から供給される複数の撮像画像Ｐを取得する。画像取得部１０は、取得した複数の撮像画像Ｐを静止画処理部１１に供給する。
　なお、培養過程において細胞がウェルから剥がれるなどして細胞のコロニー全体の位置が移動してしまい、複数の撮像画像Ｐ間において細胞のコロニー全体の位置が異なっている場合がある。複数の撮像画像Ｐ間において細胞のコロニー全体の位置が異なっている場合、静止画処理部１１は、画像処理によって、複数の撮像画像Ｐ間において細胞のコロニー全体の位置が共通となるように位置合わせの処理を行ってもよい。
ステップＳ２０：静止画処理部１１は、撮像画像Ｐ毎に繰り返す処理を開始する。
ステップＳ３０：領域分割部１１０は、画像取得部１０から供給される撮像画像Ｐを複数の領域Ｒに分割する。領域分割部１１０は、一例として、撮像画像Ｐを１画素を単位として複数の領域Ｒに分割する。
　なお、領域分割部１１０は、撮像画像Ｐを複数の画素からなる領域を単位として、複数の領域Ｒに分割してもよい。つまり、領域Ｒは、撮像画像Ｐの画素に基づく領域である。複数の画素からなる領域は、一例として、正方形や長方形である。
ステップＳ４０：状態確率算出部１１１は、領域分割部１１０が分割した撮像画像Ｐの複数の領域Ｒのそれぞれについて状態確率ＰＲを算出する。ここで状態確率算出部１１１は、状態ｘのそれぞれについて状態確率ＰＲを算出する。状態確率算出部１１１は、算出した状態確率ＰＲを時系列処理部１２に供給する。
　状態確率算出部１１１は、一例として、機械学習に基づいて状態確率ＰＲを算出する。状態確率算出部１１１は、機械学習の一例として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて、撮像画像Ｐの画素毎に状態確率ＰＲを算出する。
　上述したように、状態確率算出部１１１は、画像取得部１０が取得した撮像画像Ｐが示す細胞の状態ｘがある状態にある状態確率ＰＲを複数の状態毎かつ複数の撮像画像Ｐ毎に算出する。ここで状態確率算出部１１１は、画像取得部１０が取得した撮像画像Ｐの所定の領域について、画像取得部１０が取得した撮像画像Ｐが示す細胞の状態ｘがある状態にある状態確率ＰＲを複数の状態毎かつ複数の撮像画像Ｐ毎に算出する。
ステップＳ５０：静止画処理部１１は、撮像画像Ｐ毎に繰り返す処理を終了する。
ステップＳ６０：時系列処理部１２は、領域Ｒ毎に繰り返す処理を開始する。
ステップＳ７０：変化履歴算出部１２０は、状態確率算出部１１１が算出した状態確率ＰＲを、状態ｘ毎に時系列に並べる。ここで変化履歴算出部１２０は、状態確率算出部１１１が算出した状態確率ＰＲのうち、領域Ｒｉについての状態確率ＰＲｘ，ｉ，ｊを時系列に並べて組にする。ｊは撮像時刻Ｔに対応するラベルである。領域Ｒｉは、複数の撮像画像Ｐについて共通の位置にある領域である。
　ここで図８を参照し、撮像時刻Ｔ毎の領域Ｒｉについて説明する。図８は、本実施形態に係る撮像時刻Ｔ毎の領域Ｒｉの一例を示す図である。図８では、複数の撮像画像Ｐのうち、培養開始時に撮像された撮像画像Ｐ－０と、培養開始から所定の時間が経過して撮像された撮像画像Ｐ－ｊと、培養終了時に撮像された撮像画像Ｐ－Ｔとが示されている。
　領域Ｒｉ－０、領域Ｒｉ－ｊ、及び領域Ｒｉ－Ｔは、撮像画像Ｐ－０、撮像画像Ｐ－ｊ、及び撮像画像Ｐ－Ｔのそれぞれの領域Ｒｉの一例である。領域Ｒｉ－０、領域Ｒｉ－ｊ、及び領域Ｒｉ－Ｔは、撮像画像Ｐ－０、撮像画像Ｐ－ｊ、及び撮像画像Ｐ－Ｔのそれぞれに共通の場所にある。
　図７に戻って状態判定処理の説明を続ける。
　変化履歴算出部１２０は、状態確率ＰＲを時系列に並べた結果を、状態確率時系列ＰＨとして算出する。状態確率時系列ＰＨは、撮像時刻Ｔの数、つまり撮像画像Ｐの数の状態確率ＰＲｘ，ｉ，ｊが、撮像時刻Ｔを示すラベルｊの順に並べて組にされたものである。
ステップＳ８０：変化履歴算出部１２０は、最尤変化履歴ＨＬを算出する処理である最尤変化履歴算出処理を実行する。
　ここで図９を参照し、最尤変化履歴算出処理の詳細について説明する。図９は、本実施形態に係る最尤変化履歴算出処理の一例を示す図である。図９のステップＳ２１０、及びステップＳ２２０の処理は、図７のステップＳ８０の処理に対応する。
ステップＳ２１０：変化履歴算出部１２０は、状態変化規則情報１４０に基づいて、変化履歴Ｈのうちの一部を最尤変化履歴ＨＬの候補から除外する。ここで変化履歴Ｈは、ステップＳ７０において変化履歴算出部１２０が算出した状態確率時系列ＰＨに対応する変化履歴Ｈである。変化履歴算出部１２０は、状態変化規則情報１４０を記憶部１４から読み出す。
　変化履歴算出部１２０は、図６に示した状態変化規則情報１４０に基づいて、例えば、撮像時刻ｔにおける状態ｘが「未熟」である場合に撮像時刻ｔ＋１における状態ｘが「過成熟」である変化履歴Ｈ、撮像時刻ｔにおける状態ｘが「成熟」である場合に撮像時刻ｔ＋１における状態ｘが「未熟」である変化履歴Ｈ、撮像時刻ｔにおける状態ｘが「過成熟」である場合に撮像時刻ｔ＋１における状態ｘが「未熟」または「成熟」である変化履歴Ｈを、最尤変化履歴ＨＬの候補から除外する。
ステップＳ２２０：変化履歴算出部１２０は、撮像時刻Ｔ毎の状態確率ＰＲの積が最大となる変化履歴Ｈを判定する。変化履歴算出部１２０は、変化履歴Ｈについて、この変化履歴Ｈに対応する状態確率時系列ＰＨが示す撮像時刻Ｔ毎の状態確率ＰＲの積を算出する。変化履歴算出部１２０は、算出した積を変化履歴Ｈ相互間において比較し、算出した積が最大となる変化履歴Ｈを判定する。
　変化履歴算出部１２０は、判定した積が最大となる変化履歴Ｈを、最尤変化履歴ＨＬと判定する。変化履歴算出部１２０は、判定した最尤変化履歴ＨＬを状態判定部１１２に供給する。
　変化履歴算出部１２０は、正しい状態確率ＰＲを判定する際に、ある撮像時刻での状態確率ＰＲを基準にして判定できない場合には当該撮像時刻よりも後の撮像時刻での状態確率ＰＲを参照することによって判定してもよい。例えば、図５において、撮像時刻ｔ＝２では状態確率ＰＲ３０％が２つ出現している。そのため変化履歴算出部１２０は、最尤変化履歴ＨＬを判定する際に、ｔ＝２の時点では判定できない。その場合であっても、変化履歴算出部１２０は、撮像時刻ｔ＝３の時点での「過成熟ＰＯＧ」の状態確率ＰＲ５０％を参照すれば、撮像時刻ｔ＝２の時点では状態確率３０％が「成熟Ｐｒｉｐｅ」であると判定できる。
　上述したように、変化履歴算出部１２０は、変化履歴Ｈのうち状態ｘの最尤の時系列変化である最尤変化履歴ＨＬを算出する。ここで最尤の時系列変化とは、状態確率の時系列が示す撮像時刻毎の状態確率ＰＲの積が最大となる時系列変化である。また、変化履歴算出部１２０は、状態変化規則情報１４０に基づいて複数の変化履歴Ｈから最尤変化履歴ＨＬの候補でない変化履歴Ｈを除外した後、状態確率算出部１１１が算出する状態確率ＰＲに基づいて最尤変化履歴ＨＬを算出する。なお、変化履歴Ｈは撮像時刻の数に対して指数関数的に増大するため、撮像時刻の数が多い場合、一つ一つの変化履歴Ｈから状態確率ＰＲの積を算出し比較することは非効率である。そのため、最尤変化履歴ＨＬを効率的に求める手法として、ビタビアルゴリズム等の動的計画法のアルゴリズムを用いてもよい。
　図７に戻って状態判定処理の説明を続ける。
ステップＳ９０：状態判定部１１２は、変化履歴算出部１２０が判定した最尤変化履歴ＨＬに基づいて、領域Ｒｉについて複数の撮像画像Ｐ毎に状態ｘを判定する。状態判定部１１２は、撮像画像Ｐ－ｔの撮像時刻である撮像時刻ｔに対応する状態を最尤変化履歴ＨＬから抽出する。状態判定部１１２は、最尤変化履歴ＨＬから抽出した状態を、状態ｘとして判定する。例えば、状態判定部１１２は、最尤変化履歴ＨＬから抽出した状態が、「未熟」である場合、「未熟」を状態ｘとして判定する。
ステップＳ１００：状態判定部１１２は、領域Ｒ毎に繰り返す処理を終了する。
　具体的には、状態判定部１１２は、状態ｘとして判定した判定結果Ａを、最尤変化履歴ＨＬに相当する状態ｘの変化履歴Ｈ１（「未熟」、「未熟」、「成熟」、「過成熟」、「過成熟」）として出力部１３に出力する。
ステップＳ１１０：出力部１３は、判定結果Ａを提示部３に出力する。提示部３は、判定結果Ａをディスプレイに表示して提示する。なお、出力部１３は、判定結果Ａを記憶部１４に記憶させて、外部装置から要求があった場合に、この外部装置に判定結果Ａを出力してもよい。
　提示部３は、判定結果Ａをディスプレイ（表示部の一例）に表示する際に、ユーザーからの提示部３への操作に基づいて、ある撮像時刻ｔの撮像画像Ｐについてのみ領域Ｒｉについて状態ｘとして「未熟」、「成熟」、「過成熟」を表示してもよい。さらに提示部３は、ユーザーからの提示部３への操作に基づいて、順次、撮像時刻の異なる撮像画像Ｐについて判定結果Ａを表示してもよい。また、提示部３は、撮像時刻ｔ毎に撮像画像Ｐの所望の領域Ｒｉについて「未熟」、「成熟」、「過成熟」を時系列に表示してもよい。当該所望の領域Ｒｉは、ユーザーからの提示部３への操作によって指定される。
　また、提示部３は、判定結果Ａをディスプレイに表示する際に、図５に示すように撮像時刻ｔ毎に全ての状態確率ＰＲを示すと共に、判定結果Ａを示す、最尤変化履歴ＨＬに相当する状態確率時系列ＰＨ１を強調表示して提示してもよい。
　なお、新たな撮像時刻に撮像された撮像画像が加えられて、上述の状態判定処理が実行される場合、算出される最尤変化履歴ＨＬのうち新たな撮像時刻に対応する変化履歴を除いた部分の変化履歴と、新たな撮像時刻に撮像された撮像画像が加えられる前に算出された最尤変化履歴ＨＬとは異なり得る。
　具体的には、撮像時刻ｔ１から撮像時刻ｔＮに対応する変化履歴Ｈ－Ｎにおいて、状態確率時系列ＰＨが示す撮像時刻Ｔ毎の状態確率ＰＲの積が最大となる変化履歴Ｈ１－Ｎであっても、撮像時刻ｔＮ＋１における状態ｘが加わることによって、状態変化規則情報１４０に基づいて除外される場合がある。撮像時刻ｔ１から撮像時刻ｔＮにおいて状態確率ＰＲの積が最大となる変化履歴Ｈ１－Ｎが除外されることによって、撮像時刻ｔ１から撮像時刻ｔＮにおいて状態確率ＰＲの積が除外された変化履歴Ｈ１－Ｎの次に大きい変化履歴Ｈ２－Ｎが、撮像時刻ｔ１から撮像時刻ｔＮに対応する部分として撮像時刻ｔ１から撮像時刻ｔＮ＋１における最尤変化履歴ＨＬ－Ｎ＋１に含まれる場合がある。
　したがって、ある撮像時刻ｔｊに撮像された撮像画像Ｐ－ｊについて細胞の状態ｘを判定する場合、撮像時刻ｔｊよりも後に撮像された撮像画像Ｐが状態判定処理の処理に加えられる度に、撮像画像Ｐ－ｊについて細胞の状態ｘの判定結果は異なり得る。ある撮像時刻ｔｊに撮像された撮像画像Ｐ－ｊについて細胞の状態ｘを判定する場合、培養が進行し撮像時刻ｔｊよりも後に撮像された撮像画像Ｐがより多く状態判定処理の処理に加えられた方が、撮像画像Ｐ－ｊについて細胞の状態ｘを判定の精度は高くなると考えられる。
　なお、上述したステップＳ９０においては、状態判定部１１２は複数の撮像画像Ｐ毎に状態ｘを判定する場合の一例について説明したが、これに限らない。状態判定部１１２は、複数の撮像画像Ｐのうちのある撮像時刻に撮像された１枚の撮像画像Ｐ－ｉについて状態ｘを判定してもよい。
　なお、本実施形態では、変化履歴算出部１２０が、状態ｘの最尤の時系列変化である最尤変化履歴ＨＬを算出する場合の一例について説明したが、これに限らない。変化履歴算出部１２０は、最尤変化履歴ＨＬの代わりに、状態確率時系列ＰＨが示す撮像時刻Ｔ毎の状態確率ＰＲの積が、例えば、２番目に大きい変化履歴Ｈを算出してもよい。
　また、変化履歴算出部１２０は、最尤変化履歴ＨＬの代わりに、状態確率時系列ＰＨが示す撮像時刻Ｔ毎の状態確率ＰＲの積が、例えば、最も小さい変化履歴Ｈを算出してもよい。撮像時刻Ｔ毎の状態確率ＰＲの積が最も小さい変化履歴Ｈは、例えば、外部装置において状態ｘを判定する判定処理が行われる場合に予め最も確率が小さい状態を除くために用いられてよい。この判定処理は、例えば、機械学習に基づく処理である。
　上述したように、変化履歴算出部１２０は、状態変化規則情報１４０と、状態確率算出部１１１が算出する状態確率ＰＲとに基づいて、状態ｘの時系列変化である変化履歴Ｈを算出する。ここで変化履歴算出部１２０は、領域Ｒについて変化履歴Ｈを算出する。
　なお、上述の実施形態では、ステップＳ８０において最尤変化履歴算出処理が実行される場合の一例について説明したが、これに限らない。変化履歴算出部１２０は、ステップＳ８０において、最尤変化履歴算出処理の代わりに動的計画法に基づいて最尤変化履歴ＨＬを算出してもよい。
　なお、上述の実施形態では、ステップＳ２１０において変化履歴算出部１２０は、状態変化規則情報１４０に基づいて、変化履歴Ｈのうちの一部を最尤変化履歴ＨＬの候補から除外する場合の一例について説明したが、これに限らない。変化履歴算出部１２０は、状態変化規則情報１４０に基づいて、変化履歴Ｈに対応する状態確率時系列ＰＨに含まれる状態確率ＰＲの値を変化させてもよい。
　例えば、変化履歴算出部１２０は、状態変化規則情報１４０に基づいて、撮像時刻ｔにおける状態ｘが「未熟」である場合に撮像時刻ｔ＋１における状態ｘが「過成熟」である変化履歴Ｈについて、この変化履歴Ｈに対応する状態確率時系列ＰＨの撮像時刻ｔ＋１における状態ｘが「過成熟」である状態確率ＰＲを所定の割合だけ小さくする。ここで状態変化規則情報１４０は、撮像時刻ｔ＋１における各状態ｘの状態確率ＰＲの和が保存するように、「未熟」である状態確率ＰＲや「成熟」である状態確率ＰＲを大きくする
　なお、上述の実施形態では、撮像画像Ｐが複数の領域Ｒに分割されて判定が行われる場合の一例について説明したが、これに限らない。領域Ｒとして撮像画像Ｐの全体が選択されてもよい。領域Ｒとして撮像画像Ｐの全体が選択される場合、培養支援装置１は、撮像画像Ｐに対して状態ｘを判定する。
　なお、上述の実施形態では、状態ｘは、細胞の成長の度合いである「未熟」、「成熟」、及び「過成熟」の３種類のいずれかである場合の一例について説明したが、これに限らない。状態ｘは、「未熟」と「成熟」との中間の状態や、「成熟」と「過成熟」との中間の状態などを含んで、３種類より多い種類であってもよい。また、状態ｘは、細胞の成長の度合いを示す数値によって分類されてもよい。
　また、状態ｘは、成長の度合い以外の細胞の状態についての指標であってもよい。状態ｘは、例えば、正常な細胞ががん細胞に変化する過程の各状態であってもよい。
（まとめ）
　以上に説明したように、本実施形態に係る培養支援装置１は、画像取得部１０と、状態確率算出部１１１と、変化履歴算出部１２０と、状態判定部１１２とを備える。
　画像取得部１０は、細胞が時系列に撮像された複数の撮像画像Ｐを取得する。
　状態確率算出部１１１は、画像取得部１０が取得した撮像画像Ｐが示す細胞の状態がある状態にある確率（この一例において、状態確率ＰＲ）を複数の状態ｘ（この一例において、細胞の成長の度合いである「未熟」、「成熟」、及び「過成熟」）毎かつ複数の撮像画像Ｐ毎に算出する。
　変化履歴算出部１２０は、複数の状態ｘ相互間の関係を示す所定の規則（この一例において、状態変化規則情報１４０）と、状態確率算出部１１１が算出する確率（この一例において、状態確率ＰＲ）とに基づいて、状態ｘの時系列変化である変化履歴Ｈを算出する。
　状態判定部１１２は、変化履歴算出部１２０が算出する変化履歴Ｈに基づいて状態ｘを判定する。
　この構成により、本実施形態に係る培養支援装置１は、細胞が撮像された撮像画像を用いて細胞の状態を判定する場合において、細胞の状態の時系列変化である変化履歴に基づいて細胞の状態を判定できるため、静止画像を用いた場合に比べてより正確に細胞の状態を判定できる。
　また、本実施形態に係る培養支援装置１では、変化履歴算出部１２０は、変化履歴Ｈのうち状態ｘの最尤の時系列変化である最尤変化履歴ＨＬを算出する。
　この構成により、本実施形態に係る培養支援装置１では、変化履歴Ｈのうち状態ｘの最尤の時系列変化である最尤変化履歴ＨＬに基づいて細胞の状態を判定できるため、最尤変化履歴ＨＬに基づかない場合に比べてより正確に細胞の状態を判定できる。
　また、本実施形態に係る培養支援装置１では、変化履歴算出部１２０は、複数の状態ｘ相互間の関係を示す所定の規則（この一例において、状態変化規則情報１４０）に基づいて複数の変化履歴Ｈから最尤変化履歴ＨＬの候補でない変化履歴Ｈを除外した後、状態確率算出部１１１が算出する確率（この一例において、状態確率ＰＲ）に基づいて最尤変化履歴ＨＬを算出する。
　この構成により、本実施形態に係る培養支援装置１では、複数の状態ｘ相互間の関係を示す所定の規則（この一例において、状態変化規則情報１４０）に基づいて複数の変化履歴Ｈから最尤変化履歴ＨＬの候補でない変化履歴Ｈを除外して最尤変化履歴ＨＬを算出できるため、確率（この一例において、状態確率ＰＲ）に基づいて最尤変化履歴ＨＬを算出する場合に比べてより正確に細胞の状態を判定できる。
　また、本実施形態に係る培養支援装置１では、複数の状態ｘ相互間の関係を示す所定の規則（この一例において、状態変化規則情報１４０）は、時系列に含まれる第１時刻における状態ｘと、時系列に含まれる第２時刻における状態ｘとの関係を示す。
　この構成により、本実施形態に係る培養支援装置１では、第１時刻における状態ｘと第２時刻における状態ｘとの関係に基づいて変化履歴Ｈを算出できるため、第１時刻における状態ｘと第２時刻における状態ｘとの関係に基づかない場合に比べて正確に細胞の状態を判定できる。
　また、本実施形態に係る培養支援装置１では、状態ｘには、第１状態（この一例において、例えば「未熟」）と、第１状態とは異なる第２状態（この一例において、例えば「過成熟」）とがあり、所定の規則（この一例において、状態変化規則情報１４０）は、第１時刻における状態ｘが第１状態（この一例において、例えば「未熟」）である場合に、第２時刻における状態ｘが第２状態（この一例において、例えば「過成熟」）ではないことを示す。
　この構成により、本実施形態に係る培養支援装置１では、第１時刻における状態ｘが第１状態（この一例において、例えば「未熟」）である場合に、第２時刻における状態ｘが第２状態（この一例において、例えば「過成熟」）ではないことに基づいて変化履歴Ｈを算出できるため、第１時刻における状態ｘが第１状態（この一例において、例えば「未熟」）である場合に、第２時刻における状態ｘが第２状態（この一例において、例えば「過成熟」）ではないことに基づかない場合に比べて正確に細胞の状態を判定できる。
　また、本実施形態に係る培養支援装置１では、状態ｘとは、細胞の成長の度合いについての状態である。
　この構成により、本実施形態に係る培養支援装置１では、細胞が撮像された撮像画像を用いて細胞の成長の度合を判定する場合において、細胞の成長の度合の時系列変化である変化履歴に基づいて細胞の成長の度合を判定できるため、静止画像を用いた場合に比べてより正確に細胞の成長の度合を判定できる。
　また、本実施形態に係る培養支援装置１では、状態ｘには、未熟である状態、成熟である状態、及び過成熟である状態が含まれる。
　この構成により、本実施形態に係る培養支援装置１では、細胞の状態が未熟である状態、成熟である状態、及び過成熟である状態のいずれであるかを判定できる。
　また、本実施形態に係る培養支援装置１では、状態確率算出部１１１は、画像取得部１０が取得した撮像画像Ｐの所定の領域（この一例において、領域Ｒ）について、撮像画像Ｐが示す細胞の状態ｘがある状態にある確率（この一例において、状態確率ＰＲ）を複数の状態ｘ毎かつ複数の撮像画像Ｐ毎に算出し、変化履歴算出部１２０は、所定の領域（この一例において、領域Ｒ）について変化履歴Ｈを算出し、状態判定部１１２は、所定の領域（この一例において、領域Ｒ）について状態ｘを判定する。
　この構成により、本実施形態に係る培養支援装置１では、所定の領域（この一例において、領域Ｒ）毎に細胞の成長の度合を判定できるため、静止画像を用いた場合に比べてより正確に細胞の成長の度合を所定の領域（この一例において、領域Ｒ）毎に判定できる。
　また、本実施形態に係る培養支援装置１では、所定の領域（この一例において、領域Ｒ）とは、撮像画像Ｐの画素に基づく領域（この一例において、１画素に対応する領域）である。
　この構成により、本実施形態に係る培養支援装置１では、撮像画像Ｐの画素に基づく領域（この一例において、１画素に対応する領域）を単位として細胞の成長の度合を判定できるため、静止画像を用いた場合に比べてより正確に細胞の成長の度合を画素に基づく領域（この一例において、１画素に対応する領域）毎に判定できる。
　また、本実施形態に係る培養支援装置１では、状態判定部１１２は、状態ｘを複数の撮像画像Ｐ毎に判定する。
　この構成により、本実施形態に係る培養支援装置１では、状態ｘを複数の撮像画像Ｐ毎に判定できるため、状態ｘの時系列変化を判定できる。
　なお、上述した実施形態における培養支援装置１の一部、例えば、画像取得部１０、静止画処理部１１、及び時系列処理部１２をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、培養支援装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上述した実施形態における培養支援装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。培養支援装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１…培養支援装置、１０…画像取得部、１１１…状態確率算出部、１２０…変化履歴算出部、１１２…状態判定部、Ｐ…撮像画像、Ｈ…変化履歴、ＨＬ…最尤変化履歴

Claims (12)

  1. 　細胞が時系列に撮像された複数の撮像画像を取得する画像取得部と、
    　前記画像取得部が取得した前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出部と、
    　複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出部が算出する前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出部と、
    　前記変化履歴算出部が算出する前記変化履歴に基づいて前記状態を判定する状態判定部と
    　を備える培養支援装置。
  2. 　前記状態判定部によって判定された前記状態を前記撮像画像毎に時系列に表示部に表示する提示部をさらに備え、
    　前記変化履歴算出部は、前記変化履歴のあらゆる候補に対して前記撮像画像毎に算出された前記確率に基づき尤度を算出し、前記状態の最尤の時系列変化である最尤変化履歴を選択し、前記提示部に出力する
    　請求項１に記載の培養支援装置。
  3. 　前記変化履歴算出部は、前記所定の規則に基づいて複数の前記変化履歴から前記最尤変化履歴の候補でない変化履歴を除外した後、前記状態確率算出部が算出する前記確率に基づいて前記最尤変化履歴を算出する
    　請求項２に記載の培養支援装置。
  4. 　前記規則は、前記時系列に含まれる第１時刻における前記状態と、前記時系列に含まれる第２時刻における前記状態との関係を示す
    　請求項１から請求項３のいずれか一項に記載の培養支援装置。
  5. 　前記状態には、第１状態と、前記第１状態とは異なる第２状態とがあり、
    　前記規則は、前記第１時刻における前記状態が前記第１状態である場合に、前記第２時刻における前記状態が前記第２状態ではないことを示す
    　請求項４に記載の培養支援装置。
  6. 　前記状態とは、前記細胞の成長の度合いについての状態である
    　請求項１から請求項５のいずれか一項に記載の培養支援装置。
  7. 　前記状態には、未熟である状態、成熟である状態、及び過成熟である状態が含まれる
    　請求項６に記載の培養支援装置。
  8. 　前記状態確率算出部は、前記画像取得部が取得した前記撮像画像の所定の領域について、前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出し、
    　前記変化履歴算出部は、前記領域について前記変化履歴を算出し、
    　前記状態判定部は、前記領域について前記状態を判定する
    　請求項１から請求項７のいずれか一項に記載の培養支援装置。
  9. 　前記領域とは、前記撮像画像の画素に基づく領域である
    　請求項８に記載の培養支援装置。
  10. 　前記状態判定部は、前記状態を前記複数の撮像画像毎に判定する
    　請求項１から請求項９のいずれか一項に記載の培養支援装置。
  11. 　細胞が時系列に撮像された複数の撮像画像を取得する画像取得過程と、
    　前記画像取得過程において取得された前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出過程と、
    　複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出過程において算出された前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出過程と、
    　前記変化履歴算出過程において算出された前記変化履歴に基づいて前記状態を判定する状態判定過程と
    　を有する培養支援方法。
  12. 　コンピュータに、
    　細胞が時系列に撮像された複数の撮像画像を取得する画像取得ステップと、
    　前記画像取得ステップにおいて取得された前記撮像画像が示す前記細胞の状態がある状態にある確率を複数の前記状態毎かつ複数の前記撮像画像毎に算出する状態確率算出ステップと、
    　複数の前記状態相互間の関係を示す所定の規則と、前記状態確率算出ステップにおいて算出された前記確率とに基づいて、前記状態の時系列変化である変化履歴を算出する変化履歴算出ステップと、
    　前記変化履歴算出ステップにおいて算出された前記変化履歴に基づいて前記状態を判定する状態判定ステップと
    　を実行させるためのプログラム。
PCT/JP2021/025104 2020-07-13 2021-07-02 培養支援装置、培養支援方法、及びプログラム Ceased WO2022014372A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022536263A JPWO2022014372A5 (ja) 2021-07-02 培養支援装置、培養細胞の状態判定方法、及びプログラム
US18/151,765 US20230237817A1 (en) 2020-07-13 2023-01-09 Culturing assistance device, culturing assistance method, and non-transitory computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050885P 2020-07-13 2020-07-13
US63/050,885 2020-07-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/151,765 Continuation US20230237817A1 (en) 2020-07-13 2023-01-09 Culturing assistance device, culturing assistance method, and non-transitory computer-readable medium

Publications (1)

Publication Number Publication Date
WO2022014372A1 true WO2022014372A1 (ja) 2022-01-20

Family

ID=79555353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025104 Ceased WO2022014372A1 (ja) 2020-07-13 2021-07-02 培養支援装置、培養支援方法、及びプログラム

Country Status (2)

Country Link
US (1) US20230237817A1 (ja)
WO (1) WO2022014372A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025508A1 (ja) * 2013-08-22 2015-02-26 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2020075591A1 (ja) * 2018-10-12 2020-04-16 株式会社ニコン 継代時期算出装置、継代時期算出方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015025508A1 (ja) * 2013-08-22 2015-02-26 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2020075591A1 (ja) * 2018-10-12 2020-04-16 株式会社ニコン 継代時期算出装置、継代時期算出方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YASUTAKE OKUDA, SATORU TAKAHASHI, KUNIAKI KAWABATA: "Bio- imaging Method for Cell Observation", TRANSACTIONS OF THE SOCIETY OF INSTRUMENT AND CONTROL ENGINEERS, vol. 50, no. 5, 1 May 2014 (2014-05-01), JP , pages 424 - 431, XP009534144, ISSN: 0453-4654, DOI: 10.9746/sicetr.50.424 *

Also Published As

Publication number Publication date
US20230237817A1 (en) 2023-07-27
JPWO2022014372A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP6402265B2 (ja) 意思決定モデルを構築する方法、コンピュータデバイス及び記憶デバイス
CN118522467B (zh) 一种消化道健康数据分析方法及系统
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN112241952A (zh) 大脑中线识别方法、装置、计算机设备及存储介质
CN110930386A (zh) 图像处理方法、装置、设备及存储介质
CN114898357B (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN119206369A (zh) 基于预训练视觉-语言模型的零样本图像异常检测定位方法
CN116934741A (zh) 一站式血管壁的成分和定量参数获取方法和装置
CN112767307B (zh) 图像处理方法、装置、计算机设备和存储介质
US20210271976A1 (en) Method, apparatus and device for updating convolutional neural network using gpu cluster
JP7549736B2 (ja) 外観検査方法および外観検査システム
JP7639891B2 (ja) 検査支援装置、検査支援方法、およびプログラム
CN118656512B (zh) 一种低质量图像检索方法
CN120599388A (zh) 脉冲星候选体识别模型构建方法及脉冲星候选体识别方法
US20230237817A1 (en) Culturing assistance device, culturing assistance method, and non-transitory computer-readable medium
CN119942541A (zh) 一种细胞病理玻片的判读方法、装置、计算机设备及介质
EP4027131A1 (en) Gate region estimation program, gate region estimation device, and learning model generation method
CN112419047A (zh) 利用特征趋势分析预测银行个人贷款逾期的方法及系统
CN117100499A (zh) 基于生成对抗网络模型的散光手术预测和规划系统
CN116453657A (zh) 一种基于卷积神经网络的肾脏图像处理方法和系统
CN119273610A (zh) 在医学图像中进行肋骨骨折检测的方法、系统及介质
CN113743506A (zh) 数据处理方法、装置及电子设备
CN114761971A (zh) 用于时间序列数据的评价框架
TW202115512A (zh) 資訊處理裝置、儲存媒體、程式產品及資訊處理方法
CN113421270B (zh) 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842724

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536263

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21842724

Country of ref document: EP

Kind code of ref document: A1