WO2017110082A1 - 細胞画像検索装置および方法並びにプログラム - Google Patents

細胞画像検索装置および方法並びにプログラム Download PDF

Info

Publication number
WO2017110082A1
WO2017110082A1 PCT/JP2016/005183 JP2016005183W WO2017110082A1 WO 2017110082 A1 WO2017110082 A1 WO 2017110082A1 JP 2016005183 W JP2016005183 W JP 2016005183W WO 2017110082 A1 WO2017110082 A1 WO 2017110082A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
images
photographed
captured
Prior art date
Application number
PCT/JP2016/005183
Other languages
English (en)
French (fr)
Inventor
松本　剛
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP16877986.6A priority Critical patent/EP3396561B1/en
Priority to KR1020187017904A priority patent/KR102134526B1/ko
Publication of WO2017110082A1 publication Critical patent/WO2017110082A1/ja
Priority to US15/994,256 priority patent/US10885103B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell image retrieval apparatus, method, and program for retrieving a desired photographed image from a plurality of photographed images obtained by photographing cells in time series.
  • pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced uri Pluripotent Stem) cells and differentiation-induced cells are imaged with a microscope, etc., and the differentiation state of the cells is captured by capturing the characteristics of the images An evaluation method has been proposed.
  • Patent Document 1 there is a method in which images obtained by photographing cells in time series are acquired, an index relating to the moving speed of the cell is calculated based on the plurality of images, and the proliferation ability of the cell is evaluated based on the index. Proposed. Further, Patent Document 2 proposes that an image obtained by photographing a fertilized egg in time series is acquired, and an active site of the fertilized egg is specified based on a difference between the plurality of images.
  • an image feature amount is calculated from the captured image, and it is determined whether the image is an interesting image using the image feature amount. There is a way.
  • the image may not be possible to determine whether the image is an interesting image obtained by photographing a target cell only by using the image feature amount of the image at one time point. For example, if you want to observe an image of a cell group that has matured to some extent while maintaining undifferentiation, calculate the amount (area) of white stripes in each of a plurality of images taken of such cell groups, and the white stripes. A method of searching for an image of interest based on the amount (area) of.
  • the white streaks refer to light bleeding (halo) due to diffracted light generated between a cell (sample) and a background.
  • white streaks generated in the cell group are not only generated while the cell group is maintained in an undifferentiated state but from a young colony to a mature colony (good in FIG. 2). This also occurs when the cell group is in a mature state and then released from the cell group (bad white line in FIG. 2). Therefore, when using only one image of a cell group in which white streaks are generated while maintaining undifferentiation, a similar image is searched based on the amount (area) of white streaks contained in the image There is a possibility that not only a desired photographed image but also a photographed image of a cell group in which a similar amount (area) of white stripes is generated due to the release of cells from the cell group may be searched. Is not a photographed image of a cell group maintaining undifferentiation, and is not preferable because of noise.
  • the amount of white streaks is not calculated as described above, but the cell number or cell density in the image is calculated, and the image or A method of retrieving an image having a high cell density as an image of interest is also conceivable.
  • the present invention provides a cell image search apparatus, method, and program capable of searching a captured image of interest to a user with high accuracy from a plurality of captured images obtained by capturing cells in time series.
  • the purpose is to do.
  • the cell image search device of the present invention acquires an image set storage unit that stores an image set composed of a plurality of cell images at different time points in a cell culturing process, and a plurality of captured images obtained by capturing cells in time series. Based on the image acquisition unit, the image feature amount extraction unit that extracts the image feature amount from each of the cell images and the plurality of captured images of the image set, and the image feature amount of each cell image and the plurality of captured images of the image set An image search unit for searching for a shot image similar to each cell image in the image set from among a plurality of shot images, and a shot image similar to at least two cell images included in the image set is searched by the image search unit. A search result output unit for outputting a search result.
  • a display for displaying the searched captured image on the display unit A control unit can be provided.
  • each cell image in the image set is preferably an image having a different cell form.
  • the image set includes a cell image obtained by photographing a cell group having white stripes, and a cell image obtained by photographing a young cell group before white stripes are generated. Can do.
  • the image set can include three or more cell images.
  • images obtained by photographing the same cells in time series can be used as the cell images of the image set.
  • an image obtained by photographing a cell group to which drugs of different concentrations are added can be used as each cell image of the image set.
  • the cell image search device of the present invention may further include an order information setting receiving unit that receives setting input of order information given to each cell image of the image set.
  • a photographing unit for photographing a photographed image is provided, and the image retrieval unit can perform a search in real time during time-lapse photographing by the photographing unit.
  • the image search unit can perform a search using a plurality of captured images stored in advance.
  • the cell image search method of the present invention stores in advance an image set consisting of a plurality of cell images at different time points in the cell culturing process, acquires a plurality of photographed images obtained by photographing the cells in time series, and each cell of the image set Image feature values are extracted from each of the image and the plurality of captured images, and similar to each cell image of the image set from among the plurality of captured images based on the cell feature values of the image set and the image feature values of the plurality of captured images.
  • a photographed image to be searched is retrieved and a photographed image similar to at least two cell images included in the image set is retrieved, a search result is output.
  • the cell image search program of the present invention stores a computer in advance, which includes a captured image acquisition unit that acquires a plurality of captured images obtained by capturing cells in time series, and a plurality of cell images at different times in the cell culturing process.
  • An image feature amount extraction unit that extracts an image feature amount from each of the cell images and the plurality of captured images of the image set, and a plurality of captured images based on the image feature amounts of the respective cell images and the plurality of captured images of the image set.
  • a search result when a captured image similar to each cell image in the image set is searched, and a captured image similar to at least two cell images included in the image set is searched by the image search unit. To function as a search result output unit.
  • an image set composed of a plurality of cell images at different time points in the cell culturing process is stored in advance. Then, a plurality of captured images obtained by capturing cells in time series are acquired, and image feature amounts are extracted from each of the cell images and the plurality of captured images of the image set, and each cell image and the plurality of captured images of the image set are extracted. Based on the image feature amount, a photographed image similar to each cell image in the image set is searched from a plurality of photographed images. When a captured image similar to at least two cell images included in the image set is searched, a search result is output. As described above, since the photographed image is searched using the image set including a plurality of cell images, the desired photographed image can be searched with high accuracy without including the noise as described above. A specific example will be described later in detail.
  • the block diagram which shows schematic structure of the cell image search system using one Embodiment of the cell image search apparatus of this invention.
  • Diagram for explaining the state of white streaks in the cell culture process The figure for explaining the case where the search target image is narrowed down
  • the figure which shows an example of the change of the cell number when a drug is added to the cell group in the culture process The figure which shows the other example of the change of the cell number when the medicine is added to the cell group in the culture process
  • FIG. 1 is a block diagram showing a schematic configuration of a cell image search system 1.
  • the cell image search system 1 includes a photographing device 10, a cell image search device 20, a display device 30, and an input device 40, as shown in FIG.
  • the imaging device 10 captures an image of a cell group in the culture process.
  • the imaging device 10 performs so-called time-lapse imaging, in which a cell group is imaged a plurality of times over time.
  • the captured image of the cell group captured in time series by the imaging device 10 is output to the cell image search device 20.
  • a phase contrast microscope device, a differential interference microscope device, a bright field microscope device, a dark field microscope device, or the like can be used as the imaging device 10.
  • Specific examples of cells to be imaged include pluripotent stem cells such as iPS cells and ES cells, nerves, skin, myocardium and liver cells induced to differentiate from stem cells, and skin and retina extracted from the human body. , Myocardium, blood cells, nerves and organ cells.
  • the imaging device 10 of the present embodiment corresponds to an imaging unit. In addition, information on the photographing time is added to the photographed image as necessary.
  • the cell image search device 20 includes an image set storage unit 21, a captured image acquisition unit 22, an image feature amount extraction unit 23, an image search unit 24, and a search result output unit 25.
  • the cell image search device 20 is obtained by installing an embodiment of the image search program of the present invention on a computer.
  • the cell image search device 20 includes a central processing unit, a semiconductor memory, a hard disk, and the like, and an embodiment of the image search program of the present invention is installed on the hard disk. Then, when this program is executed by the central processing unit, a captured image acquisition unit 22, an image feature amount extraction unit 23, an image search unit 24, and a search result output unit 25 as shown in FIG. 1 operate.
  • the image set storage unit 21 is a storage medium in which images are stored and read out under the control of the central processing unit, and is composed of a semiconductor memory such as an SSD (solid state drive).
  • the image set storage unit 21 stores in advance an image set including a plurality of cell images at different points in the cell culture process.
  • the image set storage unit 21 uses a cell image used as a query image (also referred to as a search target image) when searching (collating) a captured image of a cell group state that the user wants to observe from a group of captured images. It will be remembered.
  • the query image (search target image) stored in the image set storage unit 21 is referred to as “cell image”, and the search target image is referred to as “captured image”.
  • the user searches for a photographed image of a cell group that has matured to some extent from a group of photographed images obtained by photographing cells in the culture process in time series, for example, while maintaining undifferentiation.
  • a photographed image of a cell group that has matured to some extent from a group of photographed images obtained by photographing cells in the culture process in time series, for example, while maintaining undifferentiation.
  • the user wants to observe or a case where the user wants to know whether or not the cell group included in the captured images sequentially taken in time series has matured to a desired state.
  • white streaks occur in a group of cells that have matured to some extent while maintaining undifferentiation, and a method of searching a photographed image based on the amount (area) of white streaks can be considered.
  • the white streaks refer to light bleeding (halo) due to diffracted light generated between a cell (sample) and a background.
  • white streaks generated in the cell group are not only generated while the cell group is grown from a young colony to an mature colony in an undifferentiated state. This also occurs when the cells are released from the cell group after becoming the state. Therefore, using only one cell image of a cell group in which white streaks (good white streaks in FIG. 2) are generated while maintaining undifferentiation, the amount (area) of white streaks included in the cell image
  • a photographed image is searched based on the above, not only a desired photographed image but also a white stripe of the same amount (area) (bad white stripe in FIG. 2) is generated by releasing cells from the cell group.
  • a photographed image of the cell group that is being searched will be retrieved, which is not preferable because it is not a photographed image of the cell group that has maintained undifferentiation.
  • a cell image of a cell group in which good white stripes are generated in an undifferentiated state and a cell image of a young cell group taken before the cell group are queried. Used as an image. That is, the two cell images described above are stored in the image set storage unit 21, and a search is performed using these cell images. When multiple images are retrieved that are similar to the cell image of the cell group in which good white streaks are generated while maintaining undifferentiation, the closest to the image captured similar to the cell image of the young cell group is retrieved. By outputting the captured image taken as a final search result, the user can output a desired captured image.
  • the image set storage unit 21 stores at least two cell images as the query images as described above, and collates the plurality of cell images with a group of photographed images, thereby capturing images similar to the plurality of cell images. An image search is performed.
  • the types of cell images included in the image set are different depending on the purpose of retrieval (collation) of captured images.
  • an image set in the case where it is desired to search and observe a photographed image of a cell group that has remained undifferentiated and matured to some extent has been described. Examples of other image sets will be described in detail later.
  • the plurality of cell images stored in the image set storage unit 21 may be images captured by the imaging device 10 included in the cell image search system 1 of the present embodiment, or the cell image search system 1 of the present embodiment. It may be an image read out and acquired from a different image server, may be an image published on the web, or may be an electronic version of an image published in a paper or the like. In addition, the plurality of cell images included in the image set may not necessarily be images obtained by photographing the same cells, and may be images obtained by photographing different cells.
  • the cell group in the early stage of culture and the cell group that has been matured to some extent may be a cell group of different cell lines.
  • each cell image in the image set may be an image obtained by photographing a cell group to which a different concentration of drug is added. Specifically, when a cell group is cultured by adding a drug such as a growth factor, a cell group to which a relatively low concentration drug is added, and a cell group to which a relatively high concentration drug is added And acquiring images of these cell groups taken at the same time, so that a cell image of the initial cultured cell group and a cell image of a somewhat matured cell group were acquired. Also good. By acquiring two cell images in this manner, the time required for acquiring the cell image can be shortened.
  • a drug such as a growth factor
  • the cell group to be imaged of each cell image of the image may be cultured in different places in the same cell, or may be cultured in different cells.
  • the plurality of cell images stored in the image set storage unit 21 have order information in which the cell images are taken.
  • this information as shown in FIG. 3, for example, after searching for a captured image G2 similar to the cell image Q1 of a young cell group captured earlier in time, another cell is obtained.
  • the captured image to be searched is similar to a cell image of a young cell group. It is possible to narrow down to the captured images G3 to G6 captured after the captured image G2, and the search time can be shortened.
  • the photographed image acquisition unit 22 acquires and stores photographed images photographed in time series by the photographing apparatus 10.
  • the image feature amount extraction unit 23 extracts an image feature amount from each cell image included in the image set and each captured image acquired by the captured image acquisition unit 22.
  • the image feature amount a feature amount representing the form of a cell or a group of cells that changes in accordance with the state of the cell can be used.
  • the characteristics representing the morphology of a cell or cell group include, for example, the number of cells contained in the cell image, the density of the cell, the shape of the cell, the size of the cell group, the shape of the cell group, the brightness of the image of the cell group, and the cell group.
  • the present invention is not limited to this, and any image feature amount may be used as long as it has a correlation with cell quality and is reversible.
  • the image feature amount extracted by the image feature amount extraction unit 23 also differs depending on the purpose of retrieving the captured image. Specific examples will be described later. It should be noted that a known method can be used as the image feature amount extraction method described above.
  • the image search unit 24 uses each cell image included in the image set and each cell included in the image set from among the plurality of captured images based on the image feature amounts of the plurality of captured images acquired by the captured image acquisition unit 22. A photographed image similar to the image is searched.
  • the image search unit 24 calculates the similarity between each cell image included in the image set and the plurality of captured images based on one or more types of image feature amounts, and based on the similarity Thus, a photographed image similar to each cell image included in the image set is searched from a plurality of photographed images.
  • a method for calculating the similarity for example, when calculating the similarity between each cell image of the image set and the captured image based on one type of image feature such as the number of cells, the one type of image feature is used.
  • the degree of similarity may be calculated such that the smaller the difference is, the larger the value is.
  • the similarity may be calculated using, for example, DeepDLearnig. Note that the similarity calculation method is not limited to these methods, and other known methods can be used. Alternatively, a low-dimensional feature value may be calculated as an image feature value using Bag of Visual Words, and a captured image similar to each cell image in the image set may be searched based on this.
  • the search result output unit 25 outputs a search result to the display device 30 when the image search unit 24 searches for a captured image similar to all cell images included in the image set.
  • the search result output unit 25 of the present embodiment includes a display control unit 26, and the display control unit 26 displays the captured image searched by the image search unit 24 on the display device 30. is there.
  • the search result output unit 25 displays various information on the display device 30 according to the purpose of searching for a photographed image and notifies the user. As will be described in detail later, for example, when the purpose of the search is to evaluate the efficacy and toxicity of the drug added during the culture process, the search result output unit 25 displays the drug efficacy as a search result. The presence or absence or the presence or absence of toxicity is displayed on the display device 30.
  • the display device 30 displays the search result output from the search result output unit 25 as described above, and includes, for example, a liquid crystal display. Further, the display device 30 may be configured by a touch panel and may also be used as the input device 40. The display device 30 of this embodiment corresponds to a display unit.
  • the input device 40 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user.
  • the input device 40 of the present embodiment receives setting input by the user of the order information. Accept.
  • the input device 40 corresponds to an order information setting receiving unit.
  • the order information set and input by the user using the input device 40 is associated with each cell image and stored in the image set storage unit 21.
  • the input device 40 according to the present embodiment receives an instruction input for changing the image set by the user. The change of the image set will be described later.
  • a group of photographed images obtained by photographing the cell group in time series by the photographing apparatus 10 is acquired and stored by the photographed image acquiring unit 22 (S10).
  • an image set corresponding to the purpose of retrieving the photographed image is stored in the image set storage unit 21 by the user (S12). Specifically, when searching for a photographed image of a cell group having a white streak that maintains undifferentiation from a group of photographed images, the above-described cell image of the young cell group and the undifferentiated state are maintained. An image set including a cell image of a cell group having white streaks is stored in the image set storage unit 21. At this time, if each cell image in the image set does not have the captured order information, the information is set and input by the user using the input device 40 and is given to each cell image (S14). .
  • an image feature amount is extracted from each cell image of the image set.
  • the young cell group The number of cells is extracted from the cell image as an image feature amount, and the amount (area) of the white stripe is extracted as the image feature amount from the cell image of the cell group having the white stripe that maintains undifferentiation (S16). .
  • the first photographed image to be searched (verification target) is specified (S18), and the image feature amount is extracted from the photographed image (S18). S20).
  • the first captured image to be searched the first captured image is specified.
  • the image feature amount extracted from the photographed image at this time is the same as the image feature amount extracted from the first cell image in the order information among the cell images included in the image set, that is, the number of cells is extracted.
  • the similarity between these images Is calculated (S22), and based on the similarity, it is determined whether or not these images are similar (S24). Specifically, the similarity between these images is calculated based on the number of cells included in the first image to be searched and the number of cells whose order information is included in the first cell image. Are similar to each other.
  • the second captured image captured from the group of captured images. Is specified as a captured image to be searched (S18). Then, as in the case of the first captured image, an image feature amount is extracted from the second captured image, and the extracted image feature amount and order information are the image feature amount of the first cell image. Based on the similarity, it is determined whether or not the second captured image and the first cell image in the order information are similar based on the similarity (S20 to S24). . If it is determined that the second captured image and the first cell image are not similar to the first cell image (S24, NO), the third captured image is the captured image to be searched. In the same manner as the first and second captured images, it is determined whether or not the order information is similar to the first cell image (S24).
  • the sequence information is changed in the order in which the captured images to be searched are captured until a captured image whose sequence information is similar to the first cell image is searched. Is sequentially determined whether or not is similar to the initial cell image.
  • the search result output unit 25 displays that fact on the display device 30. .
  • the query image is changed to the second cell image.
  • search target image is changed to a cell image of a cell group having a white streak maintaining undifferentiation.
  • the captured images are sequentially changed in the order of capturing, and it is determined whether the captured images are similar to the second cell image in order information (S18 to S24).
  • the image feature amount used is the amount (area) of white stripes.
  • the photographed image to be searched at this time is a photographed image photographed after the photographed image whose order information is determined to be similar to the first cell image. That is, for example, the captured images G3 to G6 shown in FIG.
  • the output unit 25 displays on the display device 30 that a captured image similar to all cell images included in the image set has been searched and the two searched captured images (S28).
  • the display device 30 includes a captured image similar to the cell image of the young cell group searched earlier and a captured image similar to the cell image of the cell group having white stripes that have maintained undifferentiation. (S28).
  • a captured image similar to the cell image of the young cell group searched earlier and a captured image similar to the cell image of the cell group having white stripes that have maintained undifferentiation.
  • S28 As a method for displaying the searched photographed image, two photographed images may be displayed side by side or may be sequentially switched and displayed. If a captured image similar in order information to the second cell image does not exist even after the last captured image is searched, the search result output unit 25 notifies the display device 30 to that effect. Is displayed.
  • the photographed image displayed on the display device 30 is confirmed by the user, and it is confirmed whether or not a desired photographed image is searched (S30). If a desired photographed image is retrieved (S30, YES), the process is terminated as it is. Specifically, when a photographed image of a cell group having a white streak that maintains undifferentiation and a photographed image of a cell group that the user wants to observe is retrieved, the process is terminated as it is. .
  • the cell image included in the image set is changed by the user (S32). Specifically, it is a cell image of a group of cells having white streaks that maintain undifferentiated, for example, a cell image included in the image set used in the previous search is different from the shape of white streaks, For example, the brightness of the entire image is different or the sharpness of the entire image is different.
  • a group of captured images stored in advance in the captured image acquisition unit 22 is used to search for captured images that are similar to the cell images in the image set.
  • the captured image may be searched in real time during the time-lapse shooting by the shooting apparatus 10. Specifically, every time a photographed image is photographed by the photographing device 10, it is determined whether or not the photographed image is similar to a cell image included in the image set, and all the cell images included in the image set are determined. At the time when a similar captured image is searched, the display device 30 may display that effect and the searched captured image as a search result. Note that the order of the plurality of cell images in the image set used for the search is the same as in the description of the above embodiment.
  • the photographed image is searched for evaluating the undifferentiation of the cell group.
  • the purpose of retrieval of captured images is not limited to this.
  • a drug such as a growth factor
  • the drug is evaluated for its effectiveness or drug toxicity.
  • a group of photographed images obtained by photographing a cell group and a cell image of the image set may be collated, and a photographed image similar to the cell image of the image set may be searched.
  • the number of cells contained in the cell group is as shown by a solid line in FIG. 5A. Although it increases from the initial stage of culture to immediately after the addition of the drug, the cells die and decrease due to the toxicity of the drug thereafter.
  • the term “immediately after drug addition” as used herein refers to the time point after the drug addition but before the drug response.
  • the drug is not toxic and has no drug effect, the number of cells contained in the cell group does not change from the beginning of the culture to the end of the culture, as indicated by the dotted line in FIG. 5A. That is, it is not possible to correctly evaluate the toxicity of the drug simply by observing the photographed image of the cell group at the initial stage of culture and the photographed image of the cell group at the end of the culture.
  • an image set including a cell image of a cell group having a small number of cells at the initial stage of culture, a cell image of a cell group having a large number of cells immediately after the addition of a drug, and a cell image of a cell group having a small number of cells at the end of the culture.
  • the presence / absence of the toxicity of the drug is evaluated by searching a group of photographed images that are stored in the image set storage unit 21 and similar to the three cell images included in the image set. That is, when all the photographed images similar to the three cell images included in the image set are searched, it is evaluated that the added medicine is toxic.
  • a photographed image similar to the cell image is retrieved using a cell image at the initial stage of culture.
  • the photographed image similar to the cell image is searched using the cell image immediately after the drug addition, and the photographed image similar to the cell image immediately after the drug addition is searched.
  • a photographed image similar to the cell image is retrieved using the cell image at the end of the culture. Note that the number of cells included in the cell group is used as the image feature amount.
  • the search result output unit 25 causes the display device 30 to display the searched three captured images.
  • the captured image displayed on the display device 30 is not a captured image desired by the user, the user may change the cell image included in the image set.
  • the change in the number of cells when the drug is toxic is not limited to the change shown in FIG. 5A, but may change as shown by the solid line in FIG. 5B. That is, as shown by the solid line in FIG. 5B, the number of cells in the cell group has already reached a certain number in the initial stage of culture, and the number of cells is maintained immediately after the addition of the drug. May die and decrease.
  • the drug is not toxic but the cells in the initial stage of culture are weak
  • the number of cells contained in the cell group simply decreases from the initial stage of culture as shown by the dotted line in FIG. 5B. That is, in this case as well, whether the drug is toxic or just weakened by observing the photographed image of the initial cell group and the photographed cell group at the end of the culture. Cannot be distinguished and the toxicity of the drug cannot be evaluated correctly.
  • a cell image of a cell group having a certain number of cells at the initial stage of culture a cell image of a cell group in which the number of cells immediately after addition of the drug is maintained, and a cell image of a cell group having a small number of cells at the end of the culture
  • the image set is stored in the image set storage unit 21, and the toxicity of the drug is evaluated by searching for a photographed image similar to the three cell images included in the image set from the group of photographed images. Also good.
  • the search result output unit 25 causes the display device 30 to display the searched three captured images.
  • a group of captured images obtained by capturing a group of cells and a cell image of the image set are collated, and a captured image similar to the cell image of the image set is searched. Good.
  • the number of cells contained in the cell group is small from the initial stage of culture to immediately after the drug addition, as shown by the solid line in FIG. Cells increase.
  • the number of cells contained in the cell group is irrelevant to the addition of the drug from the beginning of the culture, as indicated by the dotted line in FIG. 6A.
  • the drug has a medicinal effect or simply has a good cell activity. Cannot be distinguished, and the efficacy of the drug cannot be evaluated correctly.
  • an image set including a cell image of a cell group with a small number of cells at the initial stage of culture, a cell image of a cell group with a small number of cells immediately after the addition of a drug, and a cell image of a cell group with a large number of cells at the end of the culture.
  • the search result output unit 25 displays the searched three captured images on the display device 30. Display.
  • the captured image displayed on the display device 30 is not a captured image desired by the user, the user may change the cell image included in the image set.
  • the change in the number of cells when the drug has a medicinal effect is not limited to the change shown in FIG. 6A but may change as shown by a solid line in FIG. 6B. That is, as shown by the solid line in FIG. 6B, the number of cells in the cell group had already reached a certain number in the initial stage of culture, but the number of cells decreased because the cells were weak, and then the number of cells increased by adding the drug. There is also a case.
  • the drug has no medicinal effect, but the cells in the early stage of culture are simply active, the number of cells contained in the cell group is as follows: as indicated by the dotted line in FIG. It may not change without doing. That is, even when the number of cells changes as shown in FIG. 6B, the drug has a medicinal effect only by observing the photographed image of the cell group at the initial stage of culture and the photographed image of the cell group at the end of the culture. It is not possible to distinguish whether the cell activity is good or simply because the cell activity is good.
  • the cell image of the cell group with a certain number of cells at the beginning of the culture the cell image of the cell group immediately after the addition of the drug in which the weak cell died and the cell number decreased, and the cell number increased by the drug addition
  • An image set including the cell image of the cell group at the end of the culture is stored in the image set storage unit 21, and a captured image similar to the three cell images included in this image set is searched from the group of captured images.
  • the efficacy of the drug may be evaluated.
  • the search result output unit 25 causes the display device 30 to display the searched three captured images.
  • an image set is set by paying attention to a change in the number of cells due to the toxicity of the drug, and captured images similar to the three cell images included in the image set are included in the group of captured images. For example, if the cell to be cultured is a nerve cell, an image set is set by paying attention to the change in neurite length, and the presence or absence of drug toxicity or drug efficacy is evaluated. You may do it.
  • the protrusion length of the neuron included in the cell group extends from the initial stage of culture to immediately after the drug addition, as shown by the solid line in FIG. Degenerate due to drug toxicity.
  • the drug is not toxic and has no drug effect
  • the protrusion length of the nerve cell contained in the cell group does not change from the initial stage of culture to the end of the culture, as indicated by the dotted line in FIG. 7A.
  • whether the drug is toxic or the drug is not toxic or effective only by observing the captured image of the cell group at the initial stage of culture and the captured image of the cell group at the end of the culture. Indistinguishable and cannot accurately assess drug toxicity.
  • an image including a cell image of a cell group with a short projection length at the beginning of culture, a cell image of a cell group with an extended projection length immediately after addition of a drug, and a cell image of a cell group with a reduced projection length at the end of culture The set is stored in the image set storage unit 21, and the presence or absence of the toxicity of the drug is evaluated by searching a group of captured images for a captured image similar to the three cell images included in the image set. May be. That is, when all the captured images similar to the three cell images included in the image set are searched, the added drug may be evaluated as having toxicity.
  • the change in the projection length of the nerve cell when the drug is toxic is not limited to the change shown in FIG. 7A, but may change as shown by the solid line in FIG. 7B. That is, as shown by the solid line in FIG. 7B, the protrusion length of the nerve cell has already been extended to some extent in the initial stage of culture, and the length is maintained immediately after the addition of the drug, but then degenerates due to the toxicity of the drug. In some cases.
  • the drug is not toxic, even when the cells at the initial stage of the culture are weak, the projection length of the neuron included in the cell group simply decreases from the initial stage of the culture as shown by the dotted line in FIG. 7B. . That is, in this case as well, whether the drug is toxic or just weakened by observing the photographed image of the initial cell group and the photographed cell group at the end of the culture. Cannot be distinguished and the toxicity of the drug cannot be evaluated correctly.
  • a cell image of a cell group having a somewhat long protrusion length at the beginning of culture a cell image of a cell group in which the protrusion length was maintained immediately after the addition of the drug, and a cell image of a cell group in which the protrusion length was degenerated at the end of the culture
  • the image set including the image set is stored in the image set storage unit 21, and the toxicities of the drugs are evaluated by searching for a captured image similar to the three cell images included in the image set from the group of captured images. May be.
  • the image set may be set by focusing on the change in neurite length when searching for the presence or absence of the drug's efficacy, and the captured image may be searched. .
  • the protrusion length of the nerve cell contained in the cell group is short from the initial stage of culture until immediately after the drug addition, as shown by the solid line in FIG. Elongates due to medicinal effects.
  • the protrusion length of the nerve cell contained in the cell group is added from the beginning of the culture as shown by the dotted line in FIG. 8A. It extends until the end of the culture regardless of. That is, also in this case, only by observing a photographed image of the cell group at the initial stage of culture and a photographed image of the cell group at the end of the culture, the drug has a medicinal effect or simply has a good cell activity. Cannot be distinguished, and the efficacy of the drug cannot be evaluated correctly.
  • a cell image of a cell group with a short projection length at the initial stage of culture a cell image of a cell group with a short projection length immediately after addition of a drug, and a cell image of a cell group with a long projection length at the end of culture are extended.
  • the image set is stored in the image set storage unit 21, and a medicinal effect of the drug is evaluated by searching a group of photographed images that are similar to the three cell images included in the image set. Also good. That is, when all the captured images similar to the three cell images included in the image set are searched, the added medicine may be evaluated as having a medicinal effect.
  • the change in the projection length of the nerve cell is not limited to the change shown in FIG. 8A, but may change as shown by the solid line in FIG. 8B. That is, as shown by the solid line in FIG. 8B, the projection length of the neuron had already reached a certain length in the early stage of culture, but the degeneration was reduced because the cell was weakened, and then the projection length was extended by adding the drug. There is also a case.
  • the drug has no medicinal effect, but the cells in the initial stage of culture are merely active, the projection length of the nerve cell may not change from the initial stage of culture to the end of culture, as shown by the dotted line in FIG. 8B. .
  • the drug has a medicinal effect only by observing the photographed image of the cell group at the initial stage of culture and the photographed image of the cell group at the end of the culture. It is not possible to distinguish whether the cell activity is good or simply because the cell activity is good.
  • a cell image of a cell group with a somewhat long projection length at the beginning of the culture a cell image of a cell group immediately after the addition of a short drug due to a weak cell, and the end of the culture in which the projection length was extended by the addition of the drug
  • the image set storage unit 21 By storing an image set including the cell images of the time cell group in the image set storage unit 21, and searching for a captured image similar to the three cell images included in this image set from the group of captured images.
  • the efficacy of the drug may be evaluated.
  • the second and subsequent cells among the cell images included in the image set When the captured image is searched based on the cell image of the drug, that is, when the captured image is searched based on the cell image immediately after the drug addition, the cell image immediately after the drug addition is a cell image before the response of the drug. If the captured image to be searched is limited to the captured image before the drug response, the search accuracy is improved. In addition, when performing real-time search while shooting with the shooting device 10, the search result can be obtained without performing unnecessary shooting.
  • a search target period during which a captured image to be searched is captured is set in advance, and a search for a captured image similar to the second cell image is limited to the captured image within the search target period. You may make it perform.
  • the search target period is a period from a predetermined time after the start of culture to a drug response immediately after drug addition, and varies depending on the cell type and the type of drug to be added. Therefore, for example, a lookup table that associates a cell tumor with a search target period, a lookup table that associates a drug with a search target period, or a lookup table that associates a cell tumor and a drug with a search target period.
  • the drug is an apoptosis inducer, for example, the drug response depends on the cell cycle, but is approximately half to one day, so the search period should be set within 3 hours shorter than that. Is preferred.
  • the drug is a necrosis inhibitor, cell necrosis is often an acute response than cell suicide, and is about 1 hour, so the search target period is a few minutes to several tens shorter than that. It is preferable to set within minutes.
  • the drug when the drug is an agent for inducing differentiation from iPS cell-derived neural cell progenitor cells to mature neurons, for example, the drug matures in about 8 days, so the search period is 1-2 days shorter than that. It is preferable to set within.
  • the search target period may be set by estimating the time scale of the natural aging of the target cell using the captured image before adding the drug. Specifically, by analyzing the captured image before drug addition, the time related to cell proliferation such as the time when the number of cells doubles due to cell division or the time when the neurite length is extended to a certain length is obtained. You may make it set below the time as a search object period.
  • the cell image immediately after the addition of the drug is used as the cell image of the image set, for example, the cell group in the culture process is photographed in time series, and the image captured immediately after the addition of the drug is taken.
  • a label for example, a part of the file name of the image may include a character or a symbol that can identify that the image was taken immediately after the addition of the drug.
  • information indicating that the image was taken immediately after the addition of the drug may be included in the metadata of the image, and the metadata may be read and specified when searching.
  • the identification information such as a mark is embedded in an image taken immediately after the addition of the drug, and the identification information in the image is recognized when searching for identifying the image taken immediately after the addition of the drug. It may be.
  • a plurality of images taken immediately after the addition of the drug may be specified, and a cell image in the image set may be selected from the images.
  • a label is assigned to an image taken immediately after the addition of the drug, and a preset shooting is performed from the time when the image with the label is taken. What is necessary is just to make it identify the image image
  • a label is assigned to an image shot within a preset shooting period from the time of drug addition, and an image in which cell shape change has not occurred since the time of drug addition among the images given the label. You may make it identify as an image immediately after chemical
  • labels are sequentially attached to images taken from the time of drug addition, and an image in which the state of cells has not changed among the images provided with the label is specified as an image immediately after the drug addition. May be.
  • photographing time information may be given to all images obtained by photographing the cell group in the culture process in time series, and the cell image immediately after the addition of the drug may be specified by comparing with the drug addition time.
  • the shooting time information may be written in the file name and read out, or read out from the metadata.
  • the image taken immediately after the addition of the drug and other images may be placed in separate folders.
  • the image feature amount is correlated with the cell quality. Any feature is possible as long as it is present and reversible. For example, in some cases, cells having stem cell properties change from an elongated shape to a circular shape and then to an elongated shape again during the culturing process. Therefore, the shape of the cell may be used as the image feature amount.
  • a cell image of a cell group composed of elongated cells at the initial stage of culture a cell image of a cell group composed of round cells that have matured to some extent, and a cell image of a cell group composed of elongated cells at the end of culture are used as an image set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】細胞を時系列に撮影した複数の撮影画像の中からユーザが興味のある撮影画像を高精度に検索することができる細胞画像検索装置および方法並びにプログラムを提供する。 【解決手段】細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットが記憶された画像セット記憶部（２１）と、細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部（２２）と、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部（２３）と、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する画像検索部（２４）と、画像検索部（２４）によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する検索結果出力部（２５）とを備える。

Description

細胞画像検索装置および方法並びにプログラム
　本発明は、細胞を時系列に撮影した複数の撮影画像の中から所望の撮影画像を検索する細胞画像検索装置および方法並びにプログラムに関するものである。
　従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを評価する方法が提案されている。
　たとえば特許文献１においては、細胞を時系列に撮影した画像を取得し、その複数の画像に基づいて細胞の移動速度に関する指標を算出し、その指標に基づいて細胞の増殖能を評価する方法が提案されている。また、特許文献２においては、受精卵を時系列に撮影した画像を取得し、その複数の画像の差に基づいて受精卵の活性部位を特定することが提案されている。
特開２０１４－０８３０４２号公報 特開２０１０－１８１４０２号公報
　ここで、培養過程における細胞をタイムラプス撮影する場合、時系列に撮影された大量の画像が取得されることになるが、その中からユーザが興味のある画像だけを観察したい場合がある。または、興味のある画像が撮影された時点でユーザに通知し、たとえば培地交換や継代などの培養手技を直ちに行いたい場合がある。
　このような場合、たとえば特許文献１および特許文献２に記載のように、撮影された画像から画像特徴量を算出し、その画像特徴量を用いて興味のある画像であるか否かを判定する方法がある。
　しかしながら、１時点の画像の画像特徴量を用いただけでは、その画像が目的の細胞を撮影した興味のある画像であるかを判定できない場合がある。たとえば未分化性を維持した状態で、ある程度成熟した細胞群の画像を観察したい場合、このような細胞群を撮影した複数の画像のそれぞれにおいて白スジの量（面積）を算出し、その白スジの量（面積）に基づいて興味のある画像を検索する方法が考えられる。なお、上記白スジとは、細胞（試料）と背景間に発生する回折光による光のにじみ（ハロ）のことである。
　しかしながら、図２に示すように、細胞群内に発生する白スジは、細胞群が未分化を維持した状態で幼弱コロニーから成熟コロニーに成長する間に発生するだけでなく（図２における良い白スジ）、細胞群が成熟した状態となった後、細胞群から細胞が遊離することによっても発生する（図２における悪い白スジ）。したがって、未分化性を維持した状態で白スジが発生している細胞群の画像を１枚だけ用いて、その画像に含まれる白スジの量（面積）に基づいて類似する画像を検索した場合には、所望の撮影画像だけでなく、細胞群から細胞が遊離することによって同様の量（面積）の白スジが発生している細胞群の撮影画像も検索してしまう可能性があり、これは未分化性を維持した細胞群の撮影画像ではないのでノイズとなって好ましくない。
　また、成熟した細胞群は、細胞が凝集した状態となるので、上述したように白スジの量を算出するのではなく、画像内の細胞数または細胞密度を算出し、細胞数が多い画像または細胞密度が高い画像を興味のある画像として検索する方法も考えられる。
　しかしながら、細胞数または細胞密度に基づいて類似する画像を検索した場合には、たまたま播種密度が高い部分を撮影した画像が検索されたり、細胞が弱って意図的に集まっている画像が検索されたりしてノイズとなってしまう。
　本発明は、上記の問題に鑑み、細胞を時系列に撮影した複数の撮影画像の中からユーザが興味のある撮影画像を高精度に検索することができる細胞画像検索装置および方法並びにプログラムを提供することを目的とする。
　本発明の細胞画像検索装置は、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットが記憶された画像セット記憶部と、細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する検索結果出力部とを備える。
　また、上記本発明の細胞画像検索装置において、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索された撮影画像を表示部に表示させる表示制御部を備えることができる。
　また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像は、細胞の形態が異なる画像であることが好ましい。
　また、上記本発明の細胞画像検索装置において、画像セットは、白スジを有する細胞群を撮影した細胞画像と、白スジが発生する前の幼弱な細胞群を撮影した細胞画像とを含むことができる。
　また、上記本発明の細胞画像検索装置において、画像セットは、３枚以上の細胞画像を含むことができる。
　また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像として、同一の細胞を時系列に撮影した画像を用いることができる。
　また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像として、異なる濃度の薬剤を添加した細胞群を撮影した画像を用いることができる。
　また、上記本発明の細胞画像検索装置においては、画像セットの各細胞画像に付与される順序情報の設定入力を受け付ける順序情報設定受付部を備えることができる。
　また、上記本発明の細胞画像検索装置において、撮影画像を撮影する撮影部を設け、画像検索部は、撮影部によるタイムラプス撮影中にリアルタイムに検索を行うことができる。
　また、上記本発明の細胞画像検索装置において、画像検索部は、予め記憶された複数の撮影画像を用いて検索を行うことができる。
　本発明の細胞画像検索方法は、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットを予め記憶し、細胞を時系列に撮影した複数の撮影画像を取得し、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出し、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索し、画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する。
　本発明の細胞画像検索プログラムは、コンピュータを、細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、細胞の培養過程の異なる時点における複数の細胞画像からなる予め記憶された画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する検索結果出力部として機能させる。
　本発明の細胞画像検索装置および方法並びにプログラムによれば、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットを予め記憶する。そして、細胞を時系列に撮影した複数の撮影画像を取得し、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出し、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する。そして、画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する。このように複数の細胞画像からなる画像セットを用いて撮影画像を検索するようにしたので、上述したようなノイズを含むことなく、高精度に所望の撮影画像を検索することができる。なお、具体的な例については、後で詳述する。
本発明の細胞画像検索装置の一実施形態を用いた細胞画像検索システムの概略構成を示すブロック図 細胞の培養過程における白スジの発生状態を説明するための図 被検索対象画像を絞り込む場合を説明するための図 本発明の細胞画像検索装置の一実施形態を用いた細胞画像検索システムの作用を説明するためのフローチャート 培養過程における細胞群に薬剤を加えた場合の細胞数の変化の一例を示す図 培養過程における細胞群に薬剤を加えた場合の細胞数の変化のその他の例を示す図 培養過程における細胞群に薬剤を加えた場合の突起長の変化の一例を示す図 培養過程における細胞群に薬剤を加えた場合の突起長の変化のその他の例を示す図
　以下、本発明の細胞画像検索装置および方法並びにプログラムの一実施形態を用いた細胞画像検索システムについて、図面を参照しながら詳細に説明する。図１は、細胞画像検索システム１の概略構成を示すブロック図である。
　本実施形態の細胞画像検索システム１は、図１に示すように、撮影装置１０と、細胞画像検索装置２０と、表示装置３０と、入力装置４０とを備えている。
　撮影装置１０は、培養過程における細胞群の画像を撮像するものである。撮影装置１０は、細胞群を経時的に複数回撮像する、いわゆるタイムラプス撮影を行うものである。撮影装置１０によって時系列に撮影された細胞群の撮影画像は、細胞画像検索装置２０に出力される。撮影装置１０としては、具体的には、位相差顕微鏡装置、微分干渉顕微鏡装置、明視野顕微鏡装置および暗視野顕微鏡装置などを用いることができる。また、撮影対象の細胞としては、具体的には、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。本実施形態の撮影装置１０は、撮像部に相当するものである。また、撮影画像には、必要に応じてその撮影時刻の情報が付加される。
　細胞画像検索装置２０は、画像セット記憶部２１、撮影画像取得部２２、画像特徴量抽出部２３、画像検索部２４および検索結果出力部２５を備えている。細胞画像検索装置２０は、コンピュータに対して本発明の画像検索プログラムの一実施形態がインストールされたものである。
　細胞画像検索装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに本発明の画像検索プログラムの一実施形態がインストールされている。そして、このプログラムが中央処理装置によって実行されることによって、図１に示すような撮影画像取得部２２、画像特徴量抽出部２３、画像検索部２４および検索結果出力部２５が動作する。
　画像セット記憶部２１は、中央処理装置の制御によって画像の記憶および読出しが行われる記憶媒体であり、たとえばＳＳＤ（solid state drive）などの半導体メモリから構成されるものである。そして、画像セット記憶部２１は、細胞の培養過程の異なる時点における複数の細胞画像を含む画像セットが予め記憶されるものである。
　画像セット記憶部２１は、一群の撮影画像の中からユーザが観察したい細胞群の状態の撮影画像の検索（照合）を行う際に、クエリ画像（検索対象画像ともいう）として用いられる細胞画像が記憶されるものである。なお、ここでは、画像セット記憶部２１に記憶されるクエリ画像（検索対象画像）を「細胞画像」と呼び、被検索対象の画像を「撮影画像」と呼ぶことにする。
　ここで、上述したように、培養過程における細胞を時系列に撮影した一群の撮影画像の中から、たとえば未分化性を維持した状態で、ある程度成熟した細胞群の撮影画像をユーザが検索して観察したい場合や、時系列に順次撮影される撮影画像に含まれる細胞群が所望の状態まで成熟したか否かをユーザが知りたい場合などがある。
　このような場合、未分化性を維持した状態で、ある程度成熟した細胞群には、白スジが発生するため、この白スジの量（面積）に基づいて撮影画像を検索する方法が考えられる。なお、上記白スジとは、細胞（試料）と背景間に発生する回折光による光のにじみ（ハロ）のことである。
　しかしながら、図２に示すように、細胞群内に発生する白スジは、細胞群が未分化を維持した状態で幼弱コロニーから成熟コロニーに成長する間に発生するだけでなく、細胞群が成熟した状態となった後、細胞群から細胞が遊離することによっても発生する。したがって、未分化性を維持した状態で白スジ（図２における良い白スジ）が発生している細胞群の細胞画像を１枚だけ用いて、その細胞画像に含まれる白スジの量（面積）に基づいて撮影画像の検索を行った場合には、所望の撮影画像だけでなく、細胞群から細胞が遊離することによって同様の量（面積）の白スジ（図２における悪い白スジ）が発生している細胞群の撮影画像も検索してしまう可能性があり、これは未分化性を維持した細胞群の撮影画像ではないので好ましくない。
　そこで、たとえば、未分化性を維持した状態で良い白スジが発生している細胞群の細胞画像とともに、その細胞群よりも時間的に前に撮影された幼弱な細胞群の細胞画像がクエリ画像として用いられる。すなわち、上述した２枚の細胞画像が画像セット記憶部２１に記憶され、これらの細胞画像を用いて検索が行われる。そして、未分化性を維持した状態で良い白スジが発生している細胞群の細胞画像に類似する撮影画像が複数検索された場合、幼弱な細胞群の細胞画像に類似する撮影画像の直近に撮影された撮影画像の方を最終的な検索結果として出力するようにすれば、ユーザが所望の撮影画像を出力することできる。
　画像セット記憶部２１には、上述したようなクエリ画像としての細胞画像が少なくとも２枚記憶され、この複数の細胞画像と一群の撮影画像とを照合することによって、複数の細胞画像に類似する撮影画像の検索が行われる。
　画像セットに含まれる各細胞画像の種類については、撮影画像の検索（照合）の目的によってそれぞれ異なるものである。ここでは、未分化性を維持し、ある程度成熟した細胞群の撮影画像を検索して観察したい場合における画像セットについて説明したが、その他の画像セットの例については、後で詳述する。
　画像セット記憶部２１に記憶される複数の細胞画像は、本実施形態の細胞画像検索システム１に含まれる撮影装置１０によって撮影された画像でもよいし、本実施形態の細胞画像検索システム１とは異なる画像サーバから読み出して取得された画像でもよし、ウェブ上に公開された画像でもよいし、論文などに掲載された画像を電子化したものでもよい。また、画像セットに含まれる複数の細胞画像は、必ずしも同一の細胞を撮影した画像でなくてもよく、異なる細胞を撮影した画像でもよい。たとえば画像セットとして培養初期の細胞群を撮影した細胞画像と、ある程度成熟した細胞画像とを用いる場合、その培養初期の細胞群とある程度成熟した細胞群とは、異なる細胞株の細胞群でもよい。
　また、画像セットの各細胞画像は、異なる濃度の薬剤を添加した細胞群を撮影した画像でもよい。具体的には、成長因子などの薬剤を添加して細胞群の培養を行う場合において、相対的に濃度の低い薬剤を添加した細胞群と、相対的に濃度の高い薬剤を添加した細胞群とを準備し、これらの細胞群を同時期に撮影した画像を取得することによって、培養初期の細胞群を撮影した細胞画像と、ある程度成熟した細胞群を撮影した細胞画像とを取得するようにしてもよい。このようにして２つの細胞画像を取得することによって、細胞画像の取得に要する時間を短縮することができる。
　また、画像の各細胞画像の撮影対象の細胞群は、同じセル内で異なる場所で培養されたものでもよいし、異なるセル内で培養されたものでもよい。
　また、画像セット記憶部２１に記憶される複数の細胞画像は、その細胞画像が撮影された順序情報を有していることが好ましい。この情報を用いることによって、図３に示すように、たとえば時間的に先に撮影された幼弱な細胞群の細胞画像Ｑ１に類似する撮影画像Ｇ２の検索を行った後、もう１枚の細胞画像Ｑ２（未分化性を維持した白スジを有する細胞群の細胞画像）に類似する撮影画像を検索する際には、被検索対象の撮影画像を、幼弱な細胞群の細胞画像に類似する撮影画像Ｇ２よりも後に撮影された撮影画像Ｇ３～Ｇ６に絞り込むことができ、検索時間を短縮することができる。
　撮影画像取得部２２は、撮影装置１０によって時系列に撮影された撮影画像を取得して記憶するものである。
　画像特徴量抽出部２３は、画像セットに含まれる各細胞画像および撮影画像取得部２２によって取得された各撮影画像から画像特徴量を抽出するものである。画像特徴量としては、細胞の状態に応じて変化する細胞または細胞群の形態を表す特徴量を用いることができる。
　細胞または細胞群の形態を表す特徴としては、たとえば、細胞画像に含まれる細胞数、細胞の密度、細胞の形状、細胞群の大きさ、細胞群の形状、細胞群の画像の輝度および細胞群に含まれる白スジの量などがあるが、これらに限らず、細胞の品質と相関があり、かつ可逆的な形態特徴であれば如何なる画像特徴量を用いてもよい。そして、画像特徴量抽出部２３によって抽出される画像特徴量についても、撮影画像の検索の目的によってそれぞれ異なるものである。具体的な例については、後で詳述する。なお、上述した画像特徴量の抽出方法としては、公知な手法を用いることができる。
　画像検索部２４は、画像セットに含まれる各細胞画像および撮影画像取得部２２によって取得された複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットに含まれる各細胞画像に類似する撮影画像を検索するものである。
　具体的には、画像検索部２４は、１種類または複数種類の画像特徴量に基づいて、画像セットに含まれる各細胞画像と複数の撮影画像との類似度を算出し、その類似度に基づいて、複数の撮影画像の中から画像セットに含まれる各細胞画像に類似する撮影画像を検索する。類似度の算出方法としては、たとえば細胞数などといった１種類の画像特徴量に基づいて、画像セットの各細胞画像と撮影画像との類似度を算出する場合には、その１種類の画像特徴量の差が小さいほど値が大きくなるような類似度を算出するようにすればよい。また、複数種類の画像特徴量に基づいて画像セットの各細胞画像と撮影画像との類似度を算出する場合には、たとえばDeep Learnigを用いて類似度を算出するようにしてもよい。なお、類似度の算出方法としては、これらの方法に限らず、その他の公知な手法を用いることができる。または、Bag of Visual Wordsを用いて画像特徴量として低次元特徴量を算出し、これに基づいて画像セットの各細胞画像に類似する撮影画像を検索するようにしてもよい。
　検索結果出力部２５は、画像検索部２４によって画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された場合に、その検索結果を表示装置３０に出力するものである。具体的には、本実施形態の検索結果出力部２５は、表示制御部２６を備えており、表示制御部２６は、画像検索部２４によって検索された撮影画像を表示装置３０に表示させるものである。
　また、検索結果出力部２５は、撮影画像の検索の目的に応じて、種々の情報を表示装置３０に表示してユーザに知らせるものである。後で詳述するが、たとえば検索の目的が、培養の過程において添加された薬剤の薬効や毒性の画像による評価である場合には、検索結果出力部２５は、検索結果として、薬剤の薬効の有無や毒性の有無などを表示装置３０に表示させるものである。
　表示装置３０は、上述したように検索結果出力部２５から出力された検索結果を表示するものであり、たとえば液晶ディスプレイなどを備えたものである。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用するようにしてもよい。本実施形態の表示装置３０は、表示部に相当するものである。
　入力装置４０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置４０は、画像セット記憶部２１に画像セットとして記憶する各細胞画像が、その細胞画像が撮影された順序情報を持たない場合には、その順序情報のユーザによる設定入力を受け付けるものである。なお、本実施形態においては、入力装置４０が、順序情報設定受付部に相当するものである。入力装置４０を用いてユーザによって設定入力された順序情報は、各細胞画像に紐付けされて画像セット記憶部２１に記憶される。本実施形態の入力装置４０は、ユーザによる画像セットの変更の指示入力を受け付けるものである。画像セットの変更については、後述する。
　次に、本実施形態の細胞画像検索システム１の作用について、図４に示すフローチャートを参照しながら説明する。
　まず、撮影装置１０によって細胞群を時系列に撮影した一群の撮影画像が撮影画像取得部２２によって取得されて記憶される（Ｓ１０）。
　次に、撮影画像の検索の目的に応じた画像セットがユーザによって画像セット記憶部２１に記憶される（Ｓ１２）。具体的には、一群の撮影画像の中から未分化性を維持した白スジを有する細胞群の撮影画像を検索する場合には、上述した幼弱な細胞群の細胞画像と未分化性を維持した白スジを有する細胞群の細胞画像とを含む画像セットが画像セット記憶部２１に記憶される。なお、この際、画像セットの各細胞画像が、撮影された順序情報を持たない場合には、ユーザによって入力装置４０を用いてその情報が設定入力され、各細胞画像に付与される（Ｓ１４）。
　そして、画像セットの各細胞画像から画像特徴量がそれぞれ抽出される。具体的には、画像セットとして、上述した幼弱な細胞群の細胞画像と未分化性を維持した白スジを有する細胞群の細胞画像とが記憶されている場合には、幼弱な細胞群の細胞画像からは画像特徴量として細胞数が抽出され、未分化性を維持した白スジを有する細胞群の細胞画像からは画像特徴量として白スジの量（面積）が抽出される（Ｓ１６）。
　次いで、撮影画像取得部２２に記憶された一群の撮影画像の中から、最初の被検索対象（照合対象）の撮影画像が特定され（Ｓ１８）、その撮影画像から画像特徴量が抽出される（Ｓ２０）。最初の被検索対象の撮影画像としては、最初に撮影された撮影画像が特定される。このとき撮影画像から抽出される画像特徴量は、画像セットに含まれる各細胞画像のうち、順序情報が最初の細胞画像から抽出された画像特徴量と同じものであり、すなわち細胞数が抽出される。
　そして、画像検索部２４において、最初の被検索対象の撮影画像から抽出された画像特徴量と、順序情報が最初の細胞画像から抽出された画像特徴量とに基づいて、これらの画像の類似度が算出され（Ｓ２２）、その類似度に基づいて、これらの画像が類似しているか否かが判定される（Ｓ２４）。具体的には、最初の被検索対象の撮影画像に含まれる細胞数と、順序情報が最初の細胞画像に含まれる細胞数とに基づいて、これらの画像の類似度が算出され、これらの画像が類似しているか否かが判定される。
　最初の被検索対象の撮影画像と順序情報が最初の細胞画像とが類似していないと判定された場合には（Ｓ２４，ＮＯ）、一群の撮影画像のうちの２番目に撮影された撮像画像が被検索対象の撮影画像として特定される（Ｓ１８）。そして、最初に撮影された撮影画像の場合と同様に、２番目に撮影された撮影画像から画像特徴量が抽出され、その抽出された画像特徴量と順序情報が最初の細胞画像の画像特徴量とに基づいて類似度が算出され、その類似度に基づいて、２番目に撮影された撮影画像と順序情報が最初の細胞画像とが類似しているか否かが判定される（Ｓ２０～Ｓ２４）。２番目に撮影された撮影画像と順序情報が最初の細胞画像とが類似していないと判定された場合には（Ｓ２４，ＮＯ）、３番目に撮影された撮影画像が被検索対象の撮影画像として特定され、１番目と２番目に撮影された撮影画像と同様にして、順序情報が最初の細胞画像と類似しているか否かが判定される（Ｓ２４）。
　上述したように画像セットに含まれる各細胞画像のうち、順序情報が最初の細胞画像に類似する撮影画像が検索されるまで、被検索対象の撮影画像が撮影された順序で変更され、順序情報が最初の細胞画像に類似しているか否かが順次判定される。なお、順序情報が最初の細胞画像に類似している撮影画像が、最後に撮影された撮影画像まで検索されなかった場合には、検索結果出力部２５によってその旨が表示装置３０に表示される。
　一方、順序情報が最初の細胞画像に類似している撮影画像が検索された場合には（Ｓ２４，ＹＥＳ）、クエリ画像（検索対象画像）が、順序情報が２番目の細胞画像に変更される（Ｓ２６，ＹＥＳ）。具体的には、クエリ画像（検索対象画像）が、未分化性を維持した白スジを有する細胞群の細胞画像に変更される。
　そして、再び、撮影された順番に撮影画像が順次変更されて、撮影画像と順序情報が２番目の細胞画像とが類似しているか否かが判定されるが（Ｓ１８～Ｓ２４）、このときに用いられる画像特徴量は、白スジの量（面積）である。また、このときの検索対象の撮影画像は、上述したように、順序情報が最初の細胞画像に類似していると判定された撮影画像よりも後に撮影された撮影画像である。すなわち、たとえば図３に示す撮影画像Ｇ３～Ｇ６である。
　そして、順序情報が２番目の細胞画像に類似する撮影画像が検索され（Ｓ２４，ＹＥＳ）、画像セットに含まれる細胞画像、すなわちクエリ画像がそれ以上ない場合には（Ｓ２６，ＮＯ）、検索結果出力部２５は、画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された旨および検索された２枚の撮影画像を表示装置３０に表示させる（Ｓ２８）。
　具体的には、先に検索された幼弱な細胞群の細胞画像に類似する撮影画像と、未分化性を維持した白スジを有する細胞群の細胞画像に類似する撮影画像とが表示装置３０に表示される（Ｓ２８）。検索された撮影画像の表示方法としては、２枚の撮影画像を並べて表示するようにしてもよいし、順次切り替えて表示するようにしてもよい。なお、順序情報が２番目の細胞画像に類似する撮影画像が、最後に撮影された撮影画像まで検索しても存在しなかった場合には、検索結果出力部２５によってその旨が表示装置３０に表示される。
　そして、表示装置３０に表示された撮影画像がユーザによって確認され、所望の撮影画像が検索された否かが確認される（Ｓ３０）。所望の撮影画像が検索された場合には（Ｓ３０，ＹＥＳ）、そのまま処理を終了する。具体的には、未分化性を維持した白スジを有する細胞群の撮影画像であって、ユーザが観察したかった状態の細胞群の撮影画像が検索された場合には、そのまま処理を終了する。
　一方、検索された撮影画像が、何らかの要因で所望の撮影画像でなかった場合には（Ｓ３０，ＮＯ）、ユーザによって画像セットに含まれる細胞画像が変更される（Ｓ３２）。具体的には、未分化性を維持した白スジを有する細胞群の細胞画像であるが、たとえば先の検索に用いた画像セットに含まれた細胞画像とは白スジの形状が異なるものや、画像全体の輝度が異なるものや、画像全体の鮮鋭度が異なるものなどに変更される。
　そして、変更後の画像セットを用いて、再び類似する撮影画像の検索が行われる（Ｓ１６～Ｓ３０）。
　なお、上記実施形態の説明においては、撮影画像取得部２２に予め記憶された一群の撮影画像を用いて画像セットの細胞画像に類似する撮影画像の検索を行うようにしたが、これに限らず、撮影装置１０によるタイムラプス撮影中にリアルタイムに撮影画像の検索を行うようにしてよい。具体的には、撮影装置１０によって撮影画像が撮影される度に、その撮影画像と画像セットに含まれる細胞画像とが類似するか否かを判定し、画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された時点において、その旨と検索された撮像画像とを検索結果として表示装置３０に表示させるようにしてもよい。なお、検索の際に用いられる画像セットの複数の細胞画像の順番は、上記実施形態の説明と同様である。
　また、上記実施形態では、未分化性を維持し、良い白スジを有する細胞群の撮影画像を観察するために、すなわち細胞群の未分化性を評価するため撮影画像の検索を行うようにしたが、撮影画像の検索の目的はこれに限らず、たとえば培養過程における細胞群に成長因子などの薬剤を添加した場合に、その薬剤の薬効の有無、または薬剤の毒性の有無を評価するために、細胞群を撮影した一群の撮影画像と画像セットの細胞画像とを照合し、画像セットの細胞画像に類似する撮影画像を検索するようにしてもよい。
　より具体的には、たとえば培養過程における細胞群に成長因子などの薬剤を加えた場合、その薬剤に毒性がある場合には、細胞群に含まれる細胞数は、図５Ａの実線で示すように、培養初期から薬剤添加直後までは増加するが、その後は薬剤の毒性によって細胞が死滅して減少することになる。なお、ここでいう薬剤添加直後とは、薬剤添加後であって薬剤応答前の時点のことである。一方、薬剤に毒性がなく、薬効もない場合には、細胞群に含まれる細胞数は、図５Ａの点線で示すように、培養初期から培養終了まで変化しない。すなわち、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤の毒性を正しく評価することができない。
　そこで、培養初期の細胞数が少ない細胞群の細胞画像と、薬剤添加直後の細胞数が多い細胞群の細胞画像と、培養終了時の細胞数が少ない細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性の有無を評価する。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は毒性を有するものであると評価する。
　なお、撮影画像の検索方法としては、図４に示すフローチャートの処理の流れと同様であり、最初に培養初期の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行い、培養初期の細胞画像に類似する撮影画像が検索された場合には、次に薬剤添加直後の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行い、薬剤添加直後の細胞画像に類似する撮影画像が検索された場合には、最後に培養終了時の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行う。なお、画像特徴量としては、細胞群に含まれる細胞数が用いられる。
　そして、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。なお、この場合も表示装置３０に表示された撮影画像が、ユーザが所望とする撮影画像でない場合には、画像セットに含まれる細胞画像をユーザが変更するようにしてもよい。
　また、薬剤に毒性がある場合における細胞数の変化は、図５Ａに示すような変化に限らず、図５Ｂに実線で示すように変化する場合もある。すなわち、図５Ｂの実線で示すように、培養初期において既に細胞群の細胞数がある程度の数に達しており、薬剤添加直後はその細胞数を維持しているが、その後は薬剤の毒性によって細胞が死滅して減少する場合もある。一方、薬剤に毒性は無いが、単に培養初期における細胞が弱っていた場合には、細胞群に含まれる細胞数は、図５Ｂの点線で示すように、培養初期から単純に減少する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは単に細胞が弱っていただけなのかの区別がつかず、薬剤の毒性を正しく評価することができない。
　そこで、培養初期の細胞数がある程度多い細胞群の細胞画像と、薬剤添加直後の細胞数が維持された細胞群の細胞画像と、培養終了時の細胞数が少ない細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性を評価するようにしてもよい。
　この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。
　また、薬剤の薬効の有無を評価するために、細胞群を撮影した一群の撮影画像と画像セットの細胞画像とを照合し、画像セットの細胞画像に類似する撮影画像を検索するようにしてもよい。
　より具体的には、薬剤に薬効がある場合には、細胞群に含まれる細胞数は、図６Ａの実線で示すように、培養初期から薬剤添加直後までは少ないが、その後は薬剤の薬効によって細胞が増加する。一方、薬剤に薬効は無いが、単に細胞群の細胞の活性が良いだけの場合にも、細胞群に含まれる細胞数は、図６Ａの点線で示すように、培養初期から薬剤添加とは無関係に培養終了まで増加する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いだけなのかの区別がつかず、薬剤の薬効を正しく評価することができない。
　そこで、培養初期の細胞数が少ない細胞群の細胞画像と、薬剤添加直後の細胞数が少ない細胞群の細胞画像と、培養終了時の細胞数が多い細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は薬効を有するものであると評価するようにしてもよい。
　そして、この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。なお、この場合も表示装置３０に表示された撮影画像が、ユーザが所望とする撮影画像でない場合には、画像セットに含まれる細胞画像をユーザが変更するようにしてもよい。
　また、薬剤に薬効がある場合における細胞数の変化は、図６Ａに示すような変化に限らず、図６Ｂに実線で示すように変化する場合もある。すなわち、図６Ｂの実線で示すように、培養初期において既に細胞群の細胞数がある程度の数に達していたが、細胞が弱っていたため細胞数が減少し、その後、薬剤添加によって細胞数が増加する場合もある。一方、薬剤に薬効は無いが、単に培養初期における細胞が、活性が良いだけの場合、細胞群に含まれる細胞数は、図６Ｂの点線で示すように、培養初期から培養終了まで細胞が死亡することなく変化しない場合がある。すなわち、図６Ｂに示すように細胞数が変化する場合にも、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いものであるのかの区別がつかず、薬剤の薬効を正しく評価することができない。
　そこで、培養初期の細胞数がある程度多い細胞群の細胞画像と、弱った細胞が死亡して細胞数が減少している薬剤添加直後の細胞群の細胞画像と、薬剤添加によって細胞数が増加した培養終了時の細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。
　この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。
　また、上記説明では、薬剤の毒性による細胞数の変化に着目して画像セットを設定し、その画像セットに含まれる３枚の細胞画像に類似する撮影画像が一群の撮影画像の中に含まれるか否かを検索するようにしたが、たとえば培養対象の細胞が神経細胞である場合、神経突起長の変化に着目して画像セットを設定し、薬剤の毒性の有無や薬効の有無を評価するようにしてもよい。
　より具体的には、薬剤に毒性がある場合には、細胞群に含まれる神経細胞の突起長は、図７Ａの実線で示すように、培養初期から薬剤添加直後までは伸長するが、その後は薬剤の毒性によって縮退することになる。一方、薬剤に毒性がなく、薬効もない場合には、細胞群に含まれる神経細胞の突起長は、図７Ａの点線で示すように、培養初期から培養終了まで変化しない。すなわち、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは薬剤が毒性も薬効もないものであるのかの区別がつかず、薬剤の毒性を正しく評価することができない。
　そこで、培養初期の突起長が短い細胞群の細胞画像と、薬剤添加直後の突起長が伸長した細胞群の細胞画像と、培養終了時の突起長が縮退した細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性の有無を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は毒性を有するものであると評価するようにしてもよい。
　また、薬剤に毒性がある場合における神経細胞の突起長の変化は、図７Ａに示すような変化に限らず、図７Ｂに実線で示すように変化する場合もある。すなわち、図７Ｂの実線で示すように、培養初期において既に神経細胞の突起長がある程度の伸長しており、薬剤添加直後はその長さを維持しているが、その後は薬剤の毒性によって縮退する場合もある。一方、薬剤に毒性は無いが、単に培養初期における細胞が弱っていた場合にも、細胞群に含まれる神経細胞の突起長は、図７Ｂの点線で示すように、培養初期から単純に減少する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは単に細胞が弱っていただけなのかの区別がつかず、薬剤の毒性を正しく評価することができない。
　そこで、培養初期の突起長がある程度長い細胞群の細胞画像と、薬剤添加直後の突起長が維持された細胞群の細胞画像と、培養終了時の突起長が縮退した細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性を評価するようにしてもよい。
　また、薬剤の毒性の有無の評価だけでなく、薬剤の薬効の有無を評価する場合にも神経突起長の変化に着目して画像セットを設定し、撮影画像の検索を行うようにしてもよい。
　より具体的には、薬剤に薬効がある場合には、細胞群に含まれる神経細胞の突起長は、図８Ａの実線で示すように、培養初期から薬剤添加直後までは短く、その後は薬剤の薬効によって伸長する。一方、薬剤に薬効は無いが、単に細胞群の細胞の活性が良いだけの場合にも、細胞群に含まれる神経細胞の突起長は、図８Ａの点線で示すように、培養初期から薬剤添加とは無関係に培養終了まで伸長する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いだけなのかの区別がつかず、薬剤の薬効を正しく評価することができない。
　そこで、培養初期の突起長が短い細胞群の細胞画像と、薬剤添加直後の突起長が短い細胞群の細胞画像と、培養終了時の突起長が伸長して長い細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は薬効を有するものであると評価するようにしてもよい。
　また、薬剤に薬効がある場合における神経細胞の突起長の変化は、図８Ａに示すような変化に限らず、図８Ｂに実線で示すように変化する場合もある。すなわち、図８Ｂの実線で示すように、培養初期において既に神経細胞の突起長がある程度の長さに達していたが、細胞が弱っていたため縮退が減少し、その後、薬剤添加によって突起長が伸長する場合もある。一方、薬剤に薬効は無いが、単に培養初期における細胞が、活性が良いだけの場合、神経細胞の突起長は、図８Ｂの点線で示すように、培養初期から培養終了まで変化しない場合がある。すなわち、図８Ｂに示すように細胞数が変化する場合にも、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いものであるのかの区別がつかず、薬剤の薬効を正しく評価することができない。
　そこで、培養初期の突起長がある程度長い細胞群の細胞画像と、細胞が弱いために突起長が縮退して短い薬剤添加直後の細胞群の細胞画像と、薬剤添加によって突起長が伸長した培養終了時の細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。
　なお、上述したように画像セットとして３枚以上の細胞画像を用いて撮像画像の検索を行って薬剤の毒性や薬効を評価する場合において、画像セットに含まれる細胞画像のうちの２枚目以降の細胞画像に基づいて撮像画像の検索を行う場合、すなわち薬剤添加直後の細胞画像に基づいて撮像画像の検索を行う場合、薬剤添加直後の細胞画像は、薬剤の応答前の細胞画像であるので、被検索対象の撮像画像も薬剤応答前の撮像画像に限定した方が検索精度はあがる。また、撮影装置１０による撮影を行いながらリアルタイム検索を行う場合には、無駄な撮影を行うことなく検索結果を得ることができる。
　したがって、たとえば被検索対象とする撮影画像が撮影された検索対象期間を予め設定しておき、その検索対象期間内の撮影画像に限定して２枚目の細胞画像に類似する撮影画像の検索を行うようにしてもよい。上記検索対象期間とは、培養開始以降の所定の時点から薬剤添加直後の薬剤応答前までの期間であり、細胞種や添加する薬剤の種類などによって異なる。したがって、たとえば細胞腫と検索対象期間とを対応付けたルックアップテーブル、薬剤と検索対象期間とを対応付けたルックアップテーブル、または細胞腫および薬剤と検索対象期間とを対応付けたルックアップテーブルを予め設定しておき、ユーザが入力装置４０を用いて細胞腫および/または薬剤を設定入力することによって取得することが好ましい。具体的には、たとえば薬剤がアポトーシス誘導剤である場合には、薬剤応答は細胞周期によるがおおよそ半日から１日であるので、検索対象期間は、それよりも短い３時間以内などに設定することが好ましい。またあ、薬剤がネクローシス抑制剤である場合には、細胞壊死は細胞自殺より急性な応答である場合が多く、１時間程度であるので、検索対象期間は、それよりも短い数分～数１０分以内に設定することが好ましい。また、薬剤が、ｉＰＳ細胞由来の神経細胞前駆細胞から成熟神経細胞への分化誘導剤である場合には、たとえば８日間程度で成熟するので、検索対象期間は、それよりも短い１～２日以内に設定することが好ましい。
　または、薬剤添加前の撮影画像を用いて対象細胞の自然経時変化の時間スケールを推定し、検索対象期間を設定するようにしてもよい。具体的には、薬剤添加前の撮影画像を画像解析することによって、細胞分裂により細胞数が２倍に増える時間や神経突起長が一定の長さまで伸びる時間などといった細胞増殖に関する時間を求め、その時間以下を検索対象期間として設定するようにしてもよい。
　また、上述したように画像セットの細胞画像として、薬剤添加直後の細胞画像を用いる場合には、たとえば、培養過程における細胞群を時系列に撮影し、薬剤添加直後に撮影された画像に対してラベルを付与することによって、薬剤添加直後に撮影された画像であることを手動または自動的に特定し、この画像を薬剤添加直後の細胞画像として利用するようにしてもよい。ラベルとしては、たとえば画像のファイル名の一部に薬剤添加直後に撮影されたことが識別できるような文字や記号などを含めるようにすればよい。または、画像のメタデータの中に薬剤添加直後に撮影されたことを示す情報を含めておき、検索する際にそのメタデータを読み込んで特定するようにしてもよい。または、薬剤添加直後に撮影された画像中にマークなどの識別情報を埋め込み、検索する際にその画像中の識別情報を認識することによって薬剤添加直後に撮影された画像であることを特定するようにしてもよい。
　また、薬剤添加直後に撮影された画像を複数特定し、その中から画像セットの細胞画像を選択するようにしてもよい。薬剤添加直後に撮影された画像を複数特定する方法としては、たとえば薬剤添加時点から直近に撮影された画像にラベルを付与し、そのラベルを付与した画像が撮影された時点から予め設定された撮影期間内に撮影された画像を、薬剤添加直後に撮影された画像として特定するようにすればよい。または、薬剤添加時点から予め設定された撮影期間内に撮影された画像にラベルを付与しておき、そのラベルが付与された画像のうち、薬剤添加時点から細胞の形態変化がおきていない画像を薬剤添加直後の画像として特定するようにしてもよい。
　または、薬剤添加時点から撮影された画像に対してラベルを順次付けておき、そのラベルが付与された画像のうち細胞の状態に変化が起きていない画像を薬剤添加直後の画像として特定するようにしてもよい。
　または、培養過程における細胞群を時系列に撮影した全ての画像に撮影時刻情報を付与しておき、薬剤添加時間と比較することによって薬剤添加直後の細胞画像を特定するようにしてもよい。撮影時刻情報は、ファイル名に書き込んでおき、それを読み出してもよいし、メタデータから読み出してもよい。
　または、薬剤添加直後に撮影された画像とそれ以外の画像とを別々のフォルダにいれておくようにしてもよい。
　また、上記実施形態の説明では、画像セットとして２枚の細胞画像を用いる場合と、３枚の細胞画像を用いる場合とを説明したが、４枚以上の細胞画像を画像セットとして用いるようにしてもよい。細胞画像の枚数が多い方がより高精度な検索を行うことができる。
　また、上記実施形態の説明では、画像特徴量として、白スジ、細胞数または突起長を抽出して検索を行う例を説明したが、画像特徴量は、上述したように細胞の品質と相関があり、かつ可逆的な形態特徴であれば如何なるものでもよい。たとえば幹細胞性を有する細胞は、培養過程においてその形状が細長い形状から円形に変わり、再び細長い形状に変化するケースがある。したがって、画像特徴量として細胞の形状を用いるようにしてもよい。この場合、培養初期の細長い細胞からなる細胞群の細胞画像と、ある程度成熟した丸い細胞からなる細胞群の細胞画像と、培養終了時の細長い細胞からなる細胞群の細胞画像とを画像セットとして用いるようにすればよい。
１　　　細胞画像検索システム
１０　 撮影装置
２０　 細胞画像検索装置
２１　 画像セット記憶部
２２　 撮影画像取得部
２３　 画像特徴量抽出部
２４　 画像検索部
２５　 検索結果出力部
２６　 表示制御部
３０　 表示装置
４０　 入力装置

Claims (12)

  1. 　細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットが記憶された画像セット記憶部と、
    　細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、
    　前記画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、
    　前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、
    　該画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、該検索結果を出力する検索結果出力部とを備えたことを特徴とする細胞画像検索装置。
  2. 　前記画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、該検索された撮影画像を表示部に表示させる表示制御部を備えた請求項１記載の細胞画像検索装置。
  3. 　前記画像セットの各細胞画像が、細胞の形態が異なる画像である請求項１または２記載の細胞画像検索装置。
  4. 　前記画像セットが、白スジを有する細胞群を撮影した細胞画像と、白スジが発生する前の幼弱な細胞群を撮影した細胞画像とを含む請求項３記載の細胞画像検索装置。
  5. 　前記画像セットが、３枚以上の細胞画像を含む請求項３記載の細胞画像検索装置。
  6. 　前記画像セットの各細胞画像が、同一の細胞を時系列に撮影した画像である請求項１から５いずれか１項記載の細胞画像検索装置。
  7. 　前記画像セットの各細胞画像が、異なる濃度の薬剤を添加した細胞群を撮影した画像である請求項１から５いずれか１項記載の細胞画像検索装置。
  8. 　前記画像セットの各細胞画像に付与される順序情報の設定入力を受け付ける順序情報設定受付部を備えた請求項１から７いずれか１項記載の細胞画像検索装置。
  9. 　前記撮影画像を撮影する撮影部を有し、
    　前記画像検索部が、前記撮影部によるタイムラプス撮影中にリアルタイムに前記検索を行う請求項１から８いずれか１項記載の細胞画像検索装置。
  10. 　前記画像検索部が、予め記憶された前記複数の撮影画像を用いて前記検索を行う請求項１から８いずれか１項記載の細胞画像検索装置。
  11. 　細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットを予め記憶し、
    　細胞を時系列に撮影した複数の撮影画像を取得し、
    　前記画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出し、
    　前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索し、
    　前記画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、該検索結果を出力することを特徴とする細胞画像検索方法。
  12. 　コンピュータを、
    　細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、
    　細胞の培養過程の異なる時点における複数の細胞画像からなる予め記憶された画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、
    　前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、
    　該画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、該検索結果を出力する検索結果出力部として機能させることを特徴とする細胞画像検索プログラム。
PCT/JP2016/005183 2015-12-25 2016-12-20 細胞画像検索装置および方法並びにプログラム WO2017110082A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16877986.6A EP3396561B1 (en) 2015-12-25 2016-12-20 Cell image retrieval device, method, and program
KR1020187017904A KR102134526B1 (ko) 2015-12-25 2016-12-20 세포 화상 검색 장치 및 방법과 프로그램
US15/994,256 US10885103B2 (en) 2015-12-25 2018-05-31 Cell image search apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015253609A JP6590690B2 (ja) 2015-12-25 2015-12-25 細胞画像検索装置および方法並びにプログラム
JP2015-253609 2015-12-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/994,256 Continuation US10885103B2 (en) 2015-12-25 2018-05-31 Cell image search apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2017110082A1 true WO2017110082A1 (ja) 2017-06-29

Family

ID=59089880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/005183 WO2017110082A1 (ja) 2015-12-25 2016-12-20 細胞画像検索装置および方法並びにプログラム

Country Status (5)

Country Link
US (1) US10885103B2 (ja)
EP (1) EP3396561B1 (ja)
JP (1) JP6590690B2 (ja)
KR (1) KR102134526B1 (ja)
WO (1) WO2017110082A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7029903B2 (ja) * 2017-08-09 2022-03-04 シスメックス株式会社 試料処理装置、試料処理システム、および測定時間の算出方法
JP6915604B2 (ja) * 2018-11-28 2021-08-04 横河電機株式会社 装置、方法およびプログラム
JP6915636B2 (ja) * 2019-02-21 2021-08-04 横河電機株式会社 装置、方法およびプログラム
JPWO2020202701A1 (ja) * 2019-03-29 2021-12-23 富士フイルム株式会社 細胞評価装置、細胞評価装置の作動方法、細胞評価装置の作動プログラム、並びに細胞培養システム
WO2021229750A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 画像選択装置、画像選択方法、およびプログラム
CN117093735A (zh) * 2022-05-11 2023-11-21 华为技术有限公司 一种物体全生命周期搜索方法以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287027A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 医療用の計画立案支援システム
JP2009162708A (ja) * 2008-01-10 2009-07-23 Nikon Corp 画像処理装置
WO2010146802A1 (ja) * 2009-06-19 2010-12-23 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2012099005A1 (ja) * 2011-01-19 2012-07-26 株式会社ニコン 細胞情報データの作成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690828B2 (en) 2001-04-09 2004-02-10 Gary Elliott Meyers Method for representing and comparing digital images
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
JP4947589B2 (ja) * 2007-06-27 2012-06-06 Ｋｄｄｉ株式会社 類似画像検索装置
US8515143B2 (en) 2009-01-09 2013-08-20 Dai Nippon Printing Co., Ltd. Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method
JP5530126B2 (ja) 2009-07-24 2014-06-25 オリンパス株式会社 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
WO2011016189A1 (ja) 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP5984559B2 (ja) 2012-07-31 2016-09-06 オリンパス株式会社 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
JP5376024B1 (ja) 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6218208B2 (ja) 2012-10-26 2017-10-25 国立大学法人愛媛大学 細胞の評価方法およびその利用
US20150002812A1 (en) * 2013-06-27 2015-01-01 Nidek Co., Ltd. Image processing apparatus and storage medium
JP2014157158A (ja) 2014-04-17 2014-08-28 Olympus Corp 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
CN104326937B (zh) * 2014-09-03 2016-08-24 天津市肿瘤研究所 抗肿瘤化合物及其医药用途

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287027A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 医療用の計画立案支援システム
JP2009162708A (ja) * 2008-01-10 2009-07-23 Nikon Corp 画像処理装置
WO2010146802A1 (ja) * 2009-06-19 2010-12-23 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2012099005A1 (ja) * 2011-01-19 2012-07-26 株式会社ニコン 細胞情報データの作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3396561A4 *

Also Published As

Publication number Publication date
EP3396561A1 (en) 2018-10-31
JP2017117302A (ja) 2017-06-29
EP3396561A4 (en) 2018-10-31
JP6590690B2 (ja) 2019-10-16
US20180276246A1 (en) 2018-09-27
EP3396561B1 (en) 2021-06-30
KR102134526B1 (ko) 2020-07-21
KR20180086481A (ko) 2018-07-31
US10885103B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
JP6590690B2 (ja) 細胞画像検索装置および方法並びにプログラム
Strube-Bloss et al. Mushroom body output neurons encode odor–reward associations
CN102568001B (zh) 图像处理设备和方法
Peratoner et al. Methods to describe the botanical composition of vegetation in grassland research
WO2015025506A1 (ja) 幹細胞分化判定装置および方法並びにプログラム
Kristjansson et al. Visual foraging tasks provide new insights into the orienting of visual attention: Methodological considerations
St-Laurent et al. Dissecting habitat loss and fragmentation effects following logging in boreal forest: conservation perspectives from landscape simulations
US11379983B2 (en) Analysis device, analysis program, and analysis method
Perumal Guava leaf disease classification using support vector machine
Giménez-Fernández et al. Is probabilistic cuing of visual search an inflexible attentional habit? A meta-analytic review
Wanner et al. Methods for mapping neuronal activity to synaptic connectivity: lessons from larval zebrafish
US20200043159A1 (en) Analysis device, analysis method, and program
Reynolds et al. CosMIC: A consistent metric for spike inference from calcium imaging
WO2020152953A1 (ja) 判別装置、細胞塊の判別方法、及びコンピュータプログラム
Rodgers et al. The sensorimotor strategies and neuronal representations of tactile shape discrimination in mice
US11222423B2 (en) Evaluation device, observation device, and program for identifying cell differentiation
JP2021026004A (ja) 線虫を用いた個体レベルの健康寿命の評価系
Smith et al. Morphological and acoustic evidence for hybridisation between two broadly sympatric south-eastern Australian tree frogs Litoria ewingii and L. verreauxii (Anura: Hylidae)
Rupprecht et al. Spike inference from mouse spinal cord calcium imaging data
Kenny et al. Evaluation of behaviour in early stages of training as an indicator of the success of guide and assistance dogs
Zhu et al. Investigation on Possible Mutations for Autistic Savant Syndrome
Colombo Blowing Up” the Frame: Revisiting Arlow's “Fantasy, Memory, and Reality Testing
Frachon et al. Data Capture Project at the Royal Botanic Garden Edinburgh
Sullivan Creating High Throughput Low Cost Analysis of Different Labor-Intensive Repetitive Research Processes
US11867691B2 (en) Image processing device, analysis device, image processing method, image processing program, and display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16877986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187017904

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187017904

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE