KR20180086481A - 세포 화상 검색 장치 및 방법과 프로그램 - Google Patents
세포 화상 검색 장치 및 방법과 프로그램 Download PDFInfo
- Publication number
- KR20180086481A KR20180086481A KR1020187017904A KR20187017904A KR20180086481A KR 20180086481 A KR20180086481 A KR 20180086481A KR 1020187017904 A KR1020187017904 A KR 1020187017904A KR 20187017904 A KR20187017904 A KR 20187017904A KR 20180086481 A KR20180086481 A KR 20180086481A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cell
- images
- captured
- photographed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012258 culturing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 17
- 239000003814 drug Substances 0.000 claims description 118
- 229940079593 drug Drugs 0.000 claims description 107
- 239000000284 extract Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 461
- 230000008859 change Effects 0.000 description 30
- 231100000419 toxicity Toxicity 0.000 description 19
- 230000001988 toxicity Effects 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 13
- 230000000857 drug effect Effects 0.000 description 12
- 231100000331 toxic Toxicity 0.000 description 8
- 230000002588 toxic effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 206010013709 Drug ineffective Diseases 0.000 description 5
- 238000004113 cell culture Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 239000003102 growth factor Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007721 medicinal effect Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 230000006907 apoptotic process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 210000001778 pluripotent stem cell Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000130 stem cell Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000004663 cell proliferation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 210000005155 neural progenitor cell Anatomy 0.000 description 1
- 210000002241 neurite Anatomy 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000144 pharmacologic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06F17/30259—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
세포를 시계열로 촬영한 복수의 촬영 화상 중에서 유저가 흥미 있는 촬영 화상을 높은 정밀도로 검색할 수 있는 세포 화상 검색 장치 및 방법과 프로그램을 제공한다.
세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트가 기억된 화상 세트 기억부(21)와, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부(22)와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부(23)와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부(24)와, 화상 검색부(24)에 의하여 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력하는 검색 결과 출력부(25)를 구비한다.
세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트가 기억된 화상 세트 기억부(21)와, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부(22)와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부(23)와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부(24)와, 화상 검색부(24)에 의하여 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력하는 검색 결과 출력부(25)를 구비한다.
Description
본 발명은, 세포를 시계열로 촬영한 복수의 촬영 화상 중에서 원하는 촬영 화상을 검색하는 세포 화상 검색 장치 및 방법과 프로그램에 관한 것이다.
종래, ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포나 분화 유도된 세포 등을 현미경 등으로 촬상하고, 그 화상의 특징을 파악함으로써 세포의 분화 상태 등을 평가하는 방법이 제안되고 있다.
예를 들면 특허문헌 1에 있어서는, 세포를 시계열로 촬영한 화상을 취득하고, 그 복수의 화상에 근거하여 세포의 이동 속도에 관한 지표를 산출하며, 그 지표에 근거하여 세포의 증식능을 평가하는 방법이 제안되고 있다. 또, 특허문헌 2에 있어서는, 수정란을 시계열로 촬영한 화상을 취득하고, 그 복수의 화상의 차에 근거하여 수정란의 활성 부위를 특정하는 것이 제안되고 있다.
여기에서, 배양 과정에 있어서의 세포를 타임 랩스 촬영하는 경우, 시계열로 촬영된 대량의 화상이 취득되게 되지만, 그 중에서 유저가 흥미 있는 화상만을 관찰하고 싶은 경우가 있다. 또는, 흥미 있는 화상이 촬영된 시점에서 유저에게 통지하고, 예를 들면 배지 교환이나 계대(繼代) 등의 배양 기술을 즉시 행하고 싶은 경우가 있다.
이와 같은 경우, 예를 들면 특허문헌 1 및 특허문헌 2에 기재된 바와 같이, 촬영된 화상으로부터 화상 특징량을 산출하고, 그 화상 특징량을 이용하여 흥미 있는 화상인지 아닌지를 판정하는 방법이 있다.
그러나, 1시점의 화상의 화상 특징량을 이용한 것만으로는, 그 화상이 목적의 세포를 촬영한 흥미 있는 화상인지를 판정할 수 없는 경우가 있다. 예를 들면 미분화성을 유지한 상태에서, 어느 정도 성숙한 세포군의 화상을 관찰하고 싶은 경우, 이와 같은 세포군을 촬영한 복수의 화상의 각각에 있어서 흰색 줄의 양(면적)을 산출하고, 그 흰색 줄의 양(면적)에 근거하여 흥미 있는 화상을 검색하는 방법이 생각된다. 또한, 상기 흰색 줄이란, 세포(시료)와 배경 사이에 발생하는 회절광에 의한 광의 번짐(헤일로)이다.
그러나, 도 2에 나타내는 바와 같이, 세포군 내에 발생하는 흰색 줄은, 세포군이 미분화를 유지한 상태에서 유약(幼弱) 콜로니로부터 성숙 콜로니로 성장하는 동안에 발생할 뿐만 아니라(도 2에 있어서의 양호한 흰색 줄), 세포군이 성숙한 상태가 된 후, 세포군으로부터 세포가 유리(遊離)하는 것에 의해서도 발생한다(도 2에 있어서의 양호하지 않은 흰색 줄). 따라서, 미분화성을 유지한 상태에서 흰색 줄이 발생하고 있는 세포군의 화상을 1매만 이용하여, 그 화상에 포함되는 흰색 줄의 양(면적)에 근거하여 유사한 화상을 검색한 경우에는, 원하는 촬영 화상뿐만 아니라, 세포군으로부터 세포가 유리함으로써 동일한 양(면적)의 흰색 줄이 발생하고 있는 세포군의 촬영 화상도 검색해 버릴 가능성이 있으며, 이것은 미분화성을 유지한 세포군의 촬영 화상은 아니기 때문에 노이즈가 되어 바람직하지 않다.
또, 성숙한 세포군은, 세포가 응집한 상태가 되므로, 상술한 바와 같이 흰색 줄의 양을 산출하는 것이 아니라, 화상 내의 세포수 또는 세포 밀도를 산출하고, 세포수가 많은 화상 또는 세포 밀도가 높은 화상을 흥미 있는 화상으로서 검색하는 방법도 생각된다.
그러나, 세포수 또는 세포 밀도에 근거하여 유사한 화상을 검색한 경우에는, 우연히 파종 밀도가 높은 부분을 촬영한 화상이 검색되거나, 세포가 약해져 의도적으로 모여 있는 화상이 검색되거나 하여 노이즈가 되어 버린다.
본 발명은, 상기의 문제를 감안하여, 세포를 시계열로 촬영한 복수의 촬영 화상 중에서 유저가 흥미 있는 촬영 화상을 높은 정밀도로 검색할 수 있는 세포 화상 검색 장치 및 방법과 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 세포 화상 검색 장치는, 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트가 기억된 화상 세트 기억부와, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부와, 화상 검색부에 의하여 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력하는 검색 결과 출력부를 구비한다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 검색부에 의하여 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색된 촬영 화상을 표시부에 표시시키는 표시 제어부를 구비할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 세트의 각 세포 화상은, 세포의 형태가 다른 화상인 것이 바람직하다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 세트는, 흰색 줄을 갖는 세포군을 촬영한 세포 화상과, 흰색 줄이 발생하기 전의 유약한 세포군을 촬영한 세포 화상을 포함할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 세트는, 3매 이상의 세포 화상을 포함할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 세트의 각 세포 화상으로서, 동일한 세포를 시계열로 촬영한 화상을 이용할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 세트의 각 세포 화상으로서, 다른 농도의 약제를 첨가한 세포군을 촬영한 화상을 이용할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서는, 화상 세트의 각 세포 화상에 부여되는 순서 정보의 설정 입력을 접수하는 순서 정보 설정 접수부를 구비할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 촬영 화상을 촬영하는 촬영부를 마련하고, 상기 화상 검색부는, 촬영부에 의한 타임 랩스 촬영 중에 리얼 타임으로 검색을 행할 수 있다.
또, 상기 본 발명의 세포 화상 검색 장치에 있어서, 화상 검색부는, 미리 기억된 복수의 촬영 화상을 이용하여 검색을 행할 수 있다.
본 발명의 세포 화상 검색 방법은, 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트를 미리 기억하고, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하며, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하고, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하며, 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력한다.
본 발명의 세포 화상 검색 프로그램은, 컴퓨터를, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부와, 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 미리 기억된 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부와, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부와, 화상 검색부에 의하여 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력하는 검색 결과 출력부로서 기능시킨다.
본 발명의 세포 화상 검색 장치 및 방법과 프로그램에 의하면, 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트를 미리 기억한다. 그리고, 세포를 시계열로 촬영한 복수의 촬영 화상을 취득하고, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하며, 화상 세트의 각 세포 화상 및 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색한다. 그리고, 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 검색 결과를 출력한다. 이와 같이 복수의 세포 화상으로 이루어지는 화상 세트를 이용하여 촬영 화상을 검색하도록 했으므로, 상술한 것과 같은 노이즈를 포함하지 않고, 높은 정밀도로 원하는 촬영 화상을 검색할 수 있다. 또한, 구체적인 예에 대해서는, 이후에 상세하게 설명한다.
도 1은 본 발명의 세포 화상 검색 장치의 일 실시형태를 이용한 세포 화상 검색 시스템의 개략 구성을 나타내는 블록도이다.
도 2는 세포의 배양 과정에 있어서의 흰색 줄의 발생 상태를 설명하기 위한 도이다.
도 3은 피검색 대상 화상의 범위를 좁히는 경우를 설명하기 위한 도이다.
도 4는 본 발명의 세포 화상 검색 장치의 일 실시형태를 이용한 세포 화상 검색 시스템의 작용을 설명하기 위한 플로 차트이다.
도 5는 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 세포수의 변화의 일례를 나타내는 도이다.
도 6은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 세포수의 변화의 그 외의 예를 나타내는 도이다.
도 7은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 돌기 길이의 변화의 일례를 나타내는 도이다.
도 8은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 돌기 길이의 변화의 그 외의 예를 나타내는 도이다.
도 2는 세포의 배양 과정에 있어서의 흰색 줄의 발생 상태를 설명하기 위한 도이다.
도 3은 피검색 대상 화상의 범위를 좁히는 경우를 설명하기 위한 도이다.
도 4는 본 발명의 세포 화상 검색 장치의 일 실시형태를 이용한 세포 화상 검색 시스템의 작용을 설명하기 위한 플로 차트이다.
도 5는 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 세포수의 변화의 일례를 나타내는 도이다.
도 6은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 세포수의 변화의 그 외의 예를 나타내는 도이다.
도 7은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 돌기 길이의 변화의 일례를 나타내는 도이다.
도 8은 배양 과정에 있어서의 세포군에 약제를 첨가한 경우의 돌기 길이의 변화의 그 외의 예를 나타내는 도이다.
이하, 본 발명의 세포 화상 검색 장치 및 방법과 프로그램의 일 실시형태를 이용한 세포 화상 검색 시스템에 대하여, 도면을 참조하면서 상세하게 설명한다. 도 1은, 세포 화상 검색 시스템(1)의 개략 구성을 나타내는 블록도이다.
본 실시형태의 세포 화상 검색 시스템(1)은, 도 1에 나타내는 바와 같이, 촬영 장치(10)와, 세포 화상 검색 장치(20)와, 표시 장치(30)와, 입력 장치(40)를 구비하고 있다.
촬영 장치(10)는, 배양 과정에 있어서의 세포군의 화상을 촬상하는 것이다. 촬영 장치(10)는, 세포군을 경시적으로 복수 회 촬상하는, 이른바 타임 랩스 촬영을 행하는 것이다. 촬영 장치(10)에 의하여 시계열로 촬영된 세포군의 촬영 화상은, 세포 화상 검색 장치(20)에 출력된다. 촬영 장치(10)로서는, 구체적으로는, 위상차 현미경 장치, 미분 간섭 현미경 장치, 명시야 현미경 장치 및 암시야 현미경 장치 등을 이용할 수 있다. 또, 촬영 대상의 세포로서는, 구체적으로는, iPS 세포 및 ES 세포와 같은 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포와, 인체로부터 취출된 피부, 망막, 심근, 혈구, 신경 및 장기의 세포 등이 있다. 본 실시형태의 촬영 장치(10)는, 촬상부에 상당하는 것이다. 또, 촬영 화상에는, 필요에 따라 그 촬영 시각의 정보가 부가된다.
세포 화상 검색 장치(20)는, 화상 세트 기억부(21), 촬영 화상 취득부(22), 화상 특징량 추출부(23), 화상 검색부(24) 및 검색 결과 출력부(25)를 구비하고 있다. 세포 화상 검색 장치(20)는, 컴퓨터에 대하여 본 발명의 화상 검색 프로그램의 일 실시형태가 인스톨된 것이다.
세포 화상 검색 장치(20)는, 중앙 처리 장치, 반도체 메모리 및 하드 디스크 등을 구비하고 있으며, 하드 디스크에 본 발명의 화상 검색 프로그램의 일 실시형태가 인스톨되어 있다. 그리고, 이 프로그램이 중앙 처리 장치에 의하여 실행됨으로써, 도 1에 나타내는 바와 같은 촬영 화상 취득부(22), 화상 특징량 추출부(23), 화상 검색부(24) 및 검색 결과 출력부(25)가 동작한다.
화상 세트 기억부(21)는, 중앙 처리 장치의 제어에 의하여 화상의 기억 및 독출이 행해지는 기억 매체이며, 예를 들면 SSD(solid state drive) 등의 반도체 메모리로 구성되는 것이다. 그리고, 화상 세트 기억부(21)는, 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상을 포함하는 화상 세트가 미리 기억되는 것이다.
화상 세트 기억부(21)는, 일군(一群)의 촬영 화상 중에서 유저가 관찰하고 싶은 세포군 상태의 촬영 화상의 검색(대조)을 행할 때에, 쿼리 화상(검색 대상 화상이라고도 함)으로서 이용되는 세포 화상이 기억되는 것이다. 또한, 여기에서는, 화상 세트 기억부(21)에 기억되는 쿼리 화상(검색 대상 화상)을 "세포 화상"이라고 부르고, 피검색 대상의 화상을 "촬영 화상"이라고 부르기로 한다.
여기에서, 상술한 바와 같이, 배양 과정에 있어서의 세포를 시계열로 촬영한 일군의 촬영 화상 중에서, 예를 들면 미분화성을 유지한 상태에서, 어느 정도 성숙한 세포군의 촬영 화상을 유저가 검색하여 관찰하고 싶은 경우나, 시계열로 순차 촬영되는 촬영 화상에 포함되는 세포군이 원하는 상태까지 성숙했는지 아닌지를 유저가 알고 싶은 경우 등이 있다.
이와 같은 경우, 미분화성을 유지한 상태에서, 어느 정도 성숙한 세포군에는, 흰색 줄이 발생하기 때문에, 이 흰색 줄의 양(면적)에 근거하여 촬영 화상을 검색하는 방법이 생각된다. 또한, 상기 흰색 줄이란, 세포(시료)와 배경 사이에 발생하는 회절광에 의한 광의 번짐(헤일로)이다.
그러나, 도 2에 나타내는 바와 같이, 세포군 내에 발생하는 흰색 줄은, 세포군이 미분화를 유지한 상태에서 유약 콜로니로부터 성숙 콜로니로 성장하는 동안에 발생할 뿐만 아니라, 세포군이 성숙한 상태가 된 후, 세포군으로부터 세포가 유리하는 것에 의해서도 발생한다. 따라서, 미분화성을 유지한 상태에서 흰색 줄(도 2에 있어서의 양호한 흰색 줄)이 발생하고 있는 세포군의 세포 화상을 1매만 이용하여, 그 세포 화상에 포함되는 흰색 줄의 양(면적)에 근거하여 촬영 화상의 검색을 행한 경우에는, 원하는 촬영 화상뿐만 아니라, 세포군으로부터 세포가 유리함으로써 동일한 양(면적)의 흰색 줄(도 2에 있어서의 양호하지 않은 흰색 줄)이 발생하고 있는 세포군의 촬영 화상도 검색해 버릴 가능성이 있으며, 이것은 미분화성을 유지한 세포군의 촬영 화상은 아니기 때문에 바람직하지 않다.
따라서, 예를 들면, 미분화성을 유지한 상태에서 양호한 흰색 줄이 발생하고 있는 세포군의 세포 화상과 함께, 그 세포군보다 시간적으로 전에 촬영된 유약한 세포군의 세포 화상이 쿼리 화상으로서 이용된다. 즉, 상술한 2매의 세포 화상이 화상 세트 기억부(21)에 기억되고, 이들 세포 화상을 이용하여 검색이 행해진다. 그리고, 미분화성을 유지한 상태에서 양호한 흰색 줄이 발생하고 있는 세포군의 세포 화상과 유사한 촬영 화상이 복수 검색된 경우, 유약한 세포군의 세포 화상과 유사한 촬영 화상의 가장 최근에 촬영된 촬영 화상 쪽을 최종적인 검색 결과로서 출력하도록 하면, 유저가 원하는 촬영 화상을 출력할 수 있다.
화상 세트 기억부(21)에는, 상술한 것과 같은 쿼리 화상으로서의 세포 화상이 적어도 2매 기억되고, 이 복수의 세포 화상과 일군의 촬영 화상을 대조함으로써, 복수의 세포 화상과 유사한 촬영 화상의 검색이 행해진다.
화상 세트에 포함되는 각 세포 화상의 종류에 대해서는, 촬영 화상의 검색(대조)의 목적에 따라 각각 다른 것이다. 여기에서는, 미분화성을 유지하고, 어느 정도 성숙한 세포군의 촬영 화상을 검색하여 관찰하고 싶은 경우에 있어서의 화상 세트에 대하여 설명했지만, 그 외의 화상 세트의 예에 대해서는, 이후에 상세하게 설명한다.
화상 세트 기억부(21)에 기억되는 복수의 세포 화상은, 본 실시형태의 세포 화상 검색 시스템(1)에 포함되는 촬영 장치(10)에 의하여 촬영된 화상이어도 되며, 본 실시형태의 세포 화상 검색 시스템(1)과는 다른 화상 서버로부터 독출하여 취득된 화상이어도 되고, 웹상에 공개된 화상이어도 되며, 논문 등에 게재된 화상을 전자화한 것이어도 된다. 또, 화상 세트에 포함되는 복수의 세포 화상은, 반드시 동일한 세포를 촬영한 화상이 아니어도 되고, 다른 세포를 촬영한 화상이어도 된다. 예를 들면 화상 세트로서 배양 초기의 세포군을 촬영한 세포 화상과, 어느 정도 성숙한 세포 화상을 이용하는 경우, 그 배양 초기의 세포군과 어느 정도 성숙한 세포군은, 다른 세포주의 세포군이어도 된다.
또, 화상 세트의 각 세포 화상은, 다른 농도의 약제를 첨가한 세포군을 촬영한 화상이어도 된다. 구체적으로는, 성장 인자 등의 약제를 첨가하여 세포군의 배양을 행하는 경우에 있어서, 상대적으로 농도가 낮은 약제를 첨가한 세포군과, 상대적으로 농도가 높은 약제를 첨가한 세포군을 준비하고, 이들 세포군을 동 시기에 촬영한 화상을 취득함으로써, 배양 초기의 세포군을 촬영한 세포 화상과, 어느 정도 성숙한 세포군을 촬영한 세포 화상을 취득하도록 해도 된다. 이와 같이 하여 2개의 세포 화상을 취득함으로써, 세포 화상의 취득에 필요로 하는 시간을 단축할 수 있다.
또, 화상의 각 세포 화상의 촬영 대상의 세포군은, 동일한 셀 내의 다른 장소에서 배양된 것이어도 되고, 다른 셀 내에서 배양된 것이어도 된다.
또, 화상 세트 기억부(21)에 기억되는 복수의 세포 화상은, 그 세포 화상이 촬영된 순서 정보를 갖고 있는 것이 바람직하다. 이 정보를 이용함으로써, 도 3에 나타내는 바와 같이, 예를 들면 시간적으로 먼저 촬영된 유약한 세포군의 세포 화상 Q1과 유사한 촬영 화상 G2의 검색을 행한 후, 또 다른 1매의 세포 화상 Q2(미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상)와 유사한 촬영 화상을 검색할 때에는, 피검색 대상의 촬영 화상을, 유약한 세포군의 세포 화상과 유사한 촬영 화상 G2보다 후에 촬영된 촬영 화상 G3~G6의 범위로 좁힐 수 있어, 검색 시간을 단축할 수 있다.
촬영 화상 취득부(22)는, 촬영 장치(10)에 의하여 시계열로 촬영된 촬영 화상을 취득하여 기억하는 것이다.
화상 특징량 추출부(23)는, 화상 세트에 포함되는 각 세포 화상 및 촬영 화상 취득부(22)에 의하여 취득된 각 촬영 화상으로부터 화상 특징량을 추출하는 것이다. 화상 특징량으로서는, 세포의 상태에 따라 변화하는 세포 또는 세포군의 형태를 나타내는 특징량을 이용할 수 있다.
세포 또는 세포군의 형태를 나타내는 특징으로서는, 예를 들면, 세포 화상에 포함되는 세포수, 세포의 밀도, 세포의 형상, 세포군의 크기, 세포군의 형상, 세포군의 화상의 휘도 및 세포군에 포함되는 흰색 줄의 양 등이 있지만, 이들에 한정하지 않고, 세포의 품질과 상관이 있으며, 또한 가역적인 형태 특징이면 어떤 화상 특징량을 이용해도 된다. 그리고, 화상 특징량 추출부(23)에 의하여 추출되는 화상 특징량에 대해서도, 촬영 화상의 검색의 목적에 따라 각각 다른 것이다. 구체적인 예에 대해서는, 이후에 상세하게 설명한다. 또한, 상술한 화상 특징량의 추출 방법으로서는, 공지의 수법을 이용할 수 있다.
화상 검색부(24)는, 화상 세트에 포함되는 각 세포 화상 및 촬영 화상 취득부(22)에 의하여 취득된 복수의 촬영 화상의 화상 특징량에 근거하여, 복수의 촬영 화상 중에서 화상 세트에 포함되는 각 세포 화상과 유사한 촬영 화상을 검색하는 것이다.
구체적으로는, 화상 검색부(24)는, 1종류 또는 복수 종류의 화상 특징량에 근거하여, 화상 세트에 포함되는 각 세포 화상과 복수의 촬영 화상의 유사도를 산출하고, 그 유사도에 근거하여, 복수의 촬영 화상 중에서 화상 세트에 포함되는 각 세포 화상과 유사한 촬영 화상을 검색한다. 유사도의 산출 방법으로서는, 예를 들면 세포수 등과 같은 1종류의 화상 특징량에 근거하여, 화상 세트의 각 세포 화상과 촬영 화상의 유사도를 산출하는 경우에는, 그 1종류의 화상 특징량의 차가 작을수록 값이 커지는 유사도를 산출하도록 하면 된다. 또, 복수 종류의 화상 특징량에 근거하여 화상 세트의 각 세포 화상과 촬영 화상의 유사도를 산출하는 경우에는, 예를 들면 Deep Learning을 이용하여 유사도를 산출하도록 해도 된다. 또한, 유사도의 산출 방법으로서는, 이들 방법에 한정하지 않고, 그 외의 공지의 수법을 이용할 수 있다. 또는, Bag of Visual Words를 이용하여 화상 특징량으로서 저차원 특징량을 산출하고, 이것에 근거하여 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하도록 해도 된다.
검색 결과 출력부(25)는, 화상 검색부(24)에 의하여 화상 세트에 포함되는 모든 세포 화상과 유사한 촬영 화상이 검색된 경우에, 그 검색 결과를 표시 장치(30)에 출력하는 것이다. 구체적으로는, 본 실시형태의 검색 결과 출력부(25)는, 표시 제어부(26)를 구비하고 있으며, 표시 제어부(26)는, 화상 검색부(24)에 의하여 검색된 촬영 화상을 표시 장치(30)에 표시시키는 것이다.
또, 검색 결과 출력부(25)는, 촬영 화상의 검색의 목적에 따라, 다양한 정보를 표시 장치(30)에 표시하여 유저에게 알리는 것이다. 이후에 상세하게 설명하지만, 예를 들면 검색의 목적이, 배양의 과정에 있어서 첨가된 약제의 약효나 독성의 화상에 의한 평가인 경우에는, 검색 결과 출력부(25)는, 검색 결과로서, 약제의 약효의 유무나 독성의 유무 등을 표시 장치(30)에 표시시키는 것이다.
표시 장치(30)는, 상술한 바와 같이 검색 결과 출력부(25)로부터 출력된 검색 결과를 표시하는 것이며, 예를 들면 액정 디스플레이 등을 구비한 것이다. 또, 표시 장치(30)를 터치 패널에 의하여 구성하고, 입력 장치(40)와 겸용하도록 해도 된다. 본 실시형태의 표시 장치(30)는 표시부에 상당하는 것이다.
입력 장치(40)는, 마우스나 키보드 등을 구비한 것이며, 유저에 의한 다양한 설정 입력을 접수하는 것이다. 본 실시형태의 입력 장치(40)는, 화상 세트 기억부(21)에 화상 세트로서 기억하는 각 세포 화상이, 그 세포 화상이 촬영된 순서 정보를 갖지 않는 경우에는, 그 순서 정보의 유저에 의한 설정 입력을 접수하는 것이다. 또한, 본 실시형태에 있어서는, 입력 장치(40)가, 순서 정보 설정 접수부에 상당하는 것이다. 입력 장치(40)를 이용하여 유저에 의하여 설정 입력된 순서 정보는, 각 세포 화상에 결합되어 화상 세트 기억부(21)에 기억된다. 본 실시형태의 입력 장치(40)는, 유저에 의한 화상 세트의 변경의 지시 입력을 접수하는 것이다. 화상 세트의 변경에 대해서는, 후술한다.
다음으로, 본 실시형태의 세포 화상 검색 시스템(1)의 작용에 대하여, 도 4에 나타내는 플로 차트를 참조하면서 설명한다.
먼저, 촬영 장치(10)에 의하여 세포군을 시계열로 촬영한 일군의 촬영 화상이 촬영 화상 취득부(22)에 의하여 취득되어 기억된다(S10).
다음으로, 촬영 화상의 검색의 목적에 따른 화상 세트가 유저에 의하여 화상 세트 기억부(21)에 기억된다(S12). 구체적으로는, 일군의 촬영 화상 중에서 미분화성을 유지한 흰색 줄을 갖는 세포군의 촬영 화상을 검색하는 경우에는, 상술한 유약한 세포군의 세포 화상과 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상을 포함하는 화상 세트가 화상 세트 기억부(21)에 기억된다. 또한, 이때, 화상 세트의 각 세포 화상이, 촬영된 순서 정보를 갖지 않는 경우에는, 유저에 의하여 입력 장치(40)를 이용하여 그 정보가 설정 입력되어, 각 세포 화상에 부여된다(S14).
그리고, 화상 세트의 각 세포 화상으로부터 화상 특징량이 각각 추출된다. 구체적으로는, 화상 세트로서 상술한 유약한 세포군의 세포 화상과 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상이 기억되고 있는 경우에는, 유약한 세포군의 세포 화상으로부터는 화상 특징량으로서 세포수가 추출되고, 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상으로부터는 화상 특징량으로서 흰색 줄의 양(면적)이 추출된다(S16).
이어서, 촬영 화상 취득부(22)에 기억된 일군의 촬영 화상 중에서, 최초의 피검색 대상(대조 대상)의 촬영 화상이 특정되고(S18), 그 촬영 화상으로부터 화상 특징량이 추출된다(S20). 최초의 피검색 대상의 촬영 화상으로서는, 최초로 촬영된 촬영 화상이 특정된다. 이때 촬영 화상으로부터 추출되는 화상 특징량은, 화상 세트에 포함되는 각 세포 화상 중, 순서 정보가 최초인 세포 화상으로부터 추출된 화상 특징량과 동일한 것이며, 즉 세포수가 추출된다.
그리고, 화상 검색부(24)에 있어서, 최초의 피검색 대상의 촬영 화상으로부터 추출된 화상 특징량과, 순서 정보가 최초인 세포 화상으로부터 추출된 화상 특징량에 근거하여, 이들 화상의 유사도가 산출되고(S22), 그 유사도에 근거하여, 이들 화상이 유사한지 아닌지가 판정된다(S24). 구체적으로는, 최초의 피검색 대상의 촬영 화상에 포함되는 세포수와, 순서 정보가 최초인 세포 화상에 포함되는 세포수에 근거하여, 이들 화상의 유사도가 산출되어, 이들 화상이 유사한지 아닌지가 판정된다.
최초의 피검색 대상의 촬영 화상과 순서 정보가 최초인 세포 화상이 유사하지 않다고 판정된 경우에는(S24, NO), 일군의 촬영 화상 중 2번째로 촬영된 촬상 화상이 피검색 대상의 촬영 화상으로서 특정된다(S18). 그리고, 최초로 촬영된 촬영 화상의 경우와 동일하게, 2번째로 촬영된 촬영 화상으로부터 화상 특징량이 추출되고, 그 추출된 화상 특징량과 순서 정보가 최초인 세포 화상의 화상 특징량에 근거하여 유사도가 산출되며, 그 유사도에 근거하여, 2번째로 촬영된 촬영 화상과 순서 정보가 최초인 세포 화상이 유사한지 아닌지가 판정된다(S20~S24). 2번째로 촬영된 촬영 화상과 순서 정보가 최초인 세포 화상이 유사하지 않다고 판정된 경우에는(S24, NO), 3번째로 촬영된 촬영 화상이 피검색 대상의 촬영 화상으로서 특정되고, 1번째와 2번째로 촬영된 촬영 화상과 동일하게 하여, 순서 정보가 최초인 세포 화상과 유사한지 아닌지가 판정된다(S24).
상술한 바와 같이 화상 세트에 포함되는 각 세포 화상 중, 순서 정보가 최초인 세포 화상과 유사한 촬영 화상이 검색될 때까지, 피검색 대상의 촬영 화상이 촬영된 순서로 변경되고, 순서 정보가 최초인 세포 화상과 유사한지 아닌지가 순차 판정된다. 또한, 순서 정보가 최초인 세포 화상과 유사한 촬영 화상이, 마지막에 촬영된 촬영 화상까지 검색되지 않았던 경우에는, 검색 결과 출력부(25)에 의하여 그 내용이 표시 장치(30)에 표시된다.
한편, 순서 정보가 최초인 세포 화상과 유사한 촬영 화상이 검색된 경우에는(S24, YES), 쿼리 화상(검색 대상 화상)이, 순서 정보가 2번째인 세포 화상으로 변경된다(S26, YES). 구체적으로는, 쿼리 화상(검색 대상 화상)이, 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상으로 변경된다.
그리고, 다시, 촬영된 순서대로 촬영 화상이 순차 변경되어, 촬영 화상과 순서 정보가 2번째인 세포 화상이 유사한지 아닌지가 판정되지만(S18~S24), 이때에 이용되는 화상 특징량은, 흰색 줄의 양(면적)이다. 또, 이때의 검색 대상의 촬영 화상은, 상술한 바와 같이, 순서 정보가 최초인 세포 화상과 유사하다고 판정된 촬영 화상보다 후에 촬영된 촬영 화상이다. 즉, 예를 들면 도 3에 나타내는 촬영 화상 G3~G6이다.
그리고, 순서 정보가 2번째인 세포 화상과 유사한 촬영 화상이 검색되고(S24, YES), 화상 세트에 포함되는 세포 화상, 즉 쿼리 화상이 그 이상 없는 경우에는(S26, NO), 검색 결과 출력부(25)는, 화상 세트에 포함되는 모든 세포 화상과 유사한 촬영 화상이 검색된 내용 및 검색된 2매의 촬영 화상을 표시 장치(30)에 표시시킨다(S28).
구체적으로는, 먼저 검색된 유약한 세포군의 세포 화상과 유사한 촬영 화상과, 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상과 유사한 촬영 화상이 표시 장치(30)에 표시된다(S28). 검색된 촬영 화상의 표시 방법으로서는, 2매의 촬영 화상을 나열하여 표시하도록 해도 되고, 순차 전환하여 표시하도록 해도 된다. 또한, 순서 정보가 2번째인 세포 화상과 유사한 촬영 화상이, 마지막에 촬영된 촬영 화상까지 검색해도 존재하지 않았던 경우에는, 검색 결과 출력부(25)에 의하여 그 내용이 표시 장치(30)에 표시된다.
그리고, 표시 장치(30)에 표시된 촬영 화상이 유저에 의하여 확인되어, 원하는 촬영 화상이 검색되었는지 아닌지가 확인된다(S30). 원하는 촬영 화상이 검색된 경우에는(S30, YES), 그대로 처리를 종료한다. 구체적으로는, 미분화성을 유지한 흰색 줄을 갖는 세포군의 촬영 화상으로서, 유저가 관찰하고 싶었던 상태의 세포군의 촬영 화상이 검색된 경우에는, 그대로 처리를 종료한다.
한편, 검색된 촬영 화상이, 어떠한 요인으로 원하는 촬영 화상이 아니었던 경우에는(S30, NO), 유저에 의하여 화상 세트에 포함되는 세포 화상이 변경된다(S32). 구체적으로는, 미분화성을 유지한 흰색 줄을 갖는 세포군의 세포 화상이지만, 예를 들면 앞에서 설명한 검색에 이용한 화상 세트에 포함된 세포 화상과는 흰색 줄의 형상이 다른 것이나, 화상 전체의 휘도가 다른 것이나, 화상 전체의 선예도가 다른 것 등으로 변경된다.
그리고, 변경 후의 화상 세트를 이용하여, 다시 유사한 촬영 화상의 검색이 행해진다(S16~S30).
또한, 상기 실시형태의 설명에 있어서는, 촬영 화상 취득부(22)에 미리 기억된 일군의 촬영 화상을 이용하여 화상 세트의 세포 화상과 유사한 촬영 화상의 검색을 행하도록 했지만, 이에 한정하지 않고, 촬영 장치(10)에 의한 타임 랩스 촬영 중에 리얼 타임으로 촬영 화상의 검색을 행하도록 해도 된다. 구체적으로는, 촬영 장치(10)에 의하여 촬영 화상이 촬영될 때마다, 그 촬영 화상과 화상 세트에 포함되는 세포 화상이 유사한지 아닌지를 판정하고, 화상 세트에 포함되는 모든 세포 화상과 유사한 촬영 화상이 검색된 시점에 있어서, 그 내용과 검색된 촬상 화상을 검색 결과로서 표시 장치(30)에 표시시키도록 해도 된다. 또한, 검색 시에 이용되는 화상 세트의 복수의 세포 화상의 순서는, 상기 실시형태의 설명과 동일하다.
또, 상기 실시형태에서는, 미분화성을 유지하고, 양호한 흰색 줄을 갖는 세포군의 촬영 화상을 관찰하기 위하여, 즉 세포군의 미분화성을 평가하기 위하여 촬영 화상의 검색을 행하도록 했지만, 촬영 화상의 검색의 목적은 이에 한정하지 않고, 예를 들면 배양 과정에 있어서의 세포군에 성장 인자 등의 약제를 첨가한 경우에, 그 약제의 약효의 유무, 또는 약제의 독성의 유무를 평가하기 위하여, 세포군을 촬영한 일군의 촬영 화상과 화상 세트의 세포 화상을 대조하여, 화상 세트의 세포 화상과 유사한 촬영 화상을 검색하도록 해도 된다.
보다 구체적으로는, 예를 들면 배양 과정에 있어서의 세포군에 성장 인자 등의 약제를 첨가한 경우, 그 약제에 독성이 있는 경우에는, 세포군에 포함되는 세포수는, 도 5A의 실선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가 직후까지는 증가하지만, 그 후에는 약제의 독성에 의하여 세포가 사멸하여 감소하게 된다. 또한, 여기에서 말하는 약제 첨가 직후란, 약제 첨가 후이며 약제 응답 전의 시점이다. 한편, 약제에 독성이 없고, 약효도 없는 경우에는, 세포군에 포함되는 세포수는, 도 5A의 점선으로 나타내는 바와 같이, 배양 초기부터 배양 종료까지 변화하지 않는다. 즉, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제의 독성을 정확하게 평가할 수 없다.
따라서, 배양 초기의 세포수가 적은 세포군의 세포 화상과, 약제 첨가 직후의 세포수가 많은 세포군의 세포 화상과, 배양 종료 시의 세포수가 적은 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 독성의 유무를 평가한다. 즉, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 첨가한 약제는 독성을 갖는 것이라고 평가한다.
또한, 촬영 화상의 검색 방법으로서는, 도 4에 나타내는 플로 차트의 처리의 흐름과 동일하며, 처음에 배양 초기의 세포 화상을 이용하여 그 세포 화상과 유사한 촬영 화상의 검색을 행하고, 배양 초기의 세포 화상과 유사한 촬영 화상이 검색된 경우에는, 다음으로 약제 첨가 직후의 세포 화상을 이용하여 그 세포 화상과 유사한 촬영 화상의 검색을 행하며, 약제 첨가 직후의 세포 화상과 유사한 촬영 화상이 검색된 경우에는, 마지막에 배양 종료 시의 세포 화상을 이용하여 그 세포 화상과 유사한 촬영 화상의 검색을 행한다. 또한, 화상 특징량으로서는, 세포군에 포함되는 세포수가 이용된다.
그리고, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 검색 결과 출력부(25)는, 검색된 3매의 촬영 화상을 표시 장치(30)에 표시시킨다. 또한, 이 경우도 표시 장치(30)에 표시된 촬영 화상이, 유저가 원하는 촬영 화상이 아닌 경우에는, 화상 세트에 포함되는 세포 화상을 유저가 변경하도록 해도 된다.
또, 약제에 독성이 있는 경우에 있어서의 세포수의 변화는, 도 5A에 나타내는 바와 같은 변화에 한정하지 않고, 도 5B에 실선으로 나타내는 바와 같이 변화하는 경우도 있다. 즉, 도 5B의 실선으로 나타내는 바와 같이, 배양 초기에 있어서 이미 세포군의 세포수가 어느 정도의 수에 도달하고 있으며, 약제 첨가 직후에는 그 세포수를 유지하고 있지만, 그 후에는 약제의 독성에 의하여 세포가 사멸하여 감소하는 경우도 있다. 한편, 약제에 독성은 없지만, 단순히 배양 초기에 있어서의 세포가 약해져 있었던 경우에는, 세포군에 포함되는 세포수는, 도 5B의 점선으로 나타내는 바와 같이, 배양 초기부터 단순하게 감소한다. 즉, 이 경우도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 독성을 갖는 것인지, 혹은 단순히 세포가 약해져 있었을 뿐인지 구별이 되지 않아, 약제의 독성을 정확하게 평가할 수 없다.
따라서, 배양 초기의 세포수가 어느 정도 많은 세포군의 세포 화상과, 약제 첨가 직후의 세포수가 유지된 세포군의 세포 화상과, 배양 종료 시의 세포수가 적은 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 독성을 평가하도록 해도 된다.
이 경우도, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 검색 결과 출력부(25)는, 검색된 3매의 촬영 화상을 표시 장치(30)에 표시시킨다.
또, 약제의 약효의 유무를 평가하기 위하여, 세포군을 촬영한 일군의 촬영 화상과 화상 세트의 세포 화상을 대조하여, 화상 세트의 세포 화상과 유사한 촬영 화상을 검색하도록 해도 된다.
보다 구체적으로는, 약제에 약효가 있는 경우에는, 세포군에 포함되는 세포수는, 도 6A의 실선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가 직후까지는 적지만, 그 후에는 약제의 약효에 의하여 세포가 증가한다. 한편, 약제에 약효는 없지만, 단순히 세포군의 세포의 활성이 양호할 뿐인 경우에도, 세포군에 포함되는 세포수는, 도 6A의 점선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가와는 무관하게 배양 종료까지 증가한다. 즉, 이 경우도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 약효를 갖는 것인지, 혹은 단순히 세포의 활성이 양호할 뿐인지 구별이 되지 않아, 약제의 약효를 정확하게 평가할 수 없다.
따라서, 배양 초기의 세포수가 적은 세포군의 세포 화상과, 약제 첨가 직후의 세포수가 적은 세포군의 세포 화상과, 배양 종료 시의 세포수가 많은 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 약효를 평가하도록 해도 된다. 즉, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 첨가한 약제는 약효를 갖는 것이라고 평가하도록 해도 된다.
그리고, 이 경우도, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 검색 결과 출력부(25)는, 검색된 3매의 촬영 화상을 표시 장치(30)에 표시시킨다. 또한, 이 경우도 표시 장치(30)에 표시된 촬영 화상이, 유저가 원하는 촬영 화상이 아닌 경우에는, 화상 세트에 포함되는 세포 화상을 유저가 변경하도록 해도 된다.
또, 약제에 약효가 있는 경우에 있어서의 세포수의 변화는, 도 6A에 나타내는 바와 같은 변화에 한정하지 않고, 도 6B에 실선으로 나타내는 바와 같이 변화하는 경우도 있다. 즉, 도 6B의 실선으로 나타내는 바와 같이, 배양 초기에 있어서 이미 세포군의 세포수가 어느 정도의 수에 도달하고 있었지만, 세포가 약해져 있었기 때문에 세포수가 감소하고, 그 후, 약제 첨가에 의하여 세포수가 증가하는 경우도 있다. 한편, 약제에 약효는 없지만, 단순히 배양 초기에 있어서의 세포가, 활성이 양호할 뿐인 경우, 세포군에 포함되는 세포수는, 도 6B의 점선으로 나타내는 바와 같이, 배양 초기부터 배양 종료까지 세포가 사망하지 않고 변화하지 않는 경우가 있다. 즉, 도 6B에 나타내는 바와 같이 세포수가 변화하는 경우에도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 약효를 갖는 것인지, 혹은 단순히 세포의 활성이 양호한 것인지 구별이 되지 않아, 약제의 약효를 정확하게 평가할 수 없다.
따라서, 배양 초기의 세포수가 어느 정도 많은 세포군의 세포 화상과, 약해진 세포가 사망하여 세포수가 감소하고 있는 약제 첨가 직후의 세포군의 세포 화상과, 약제 첨가에 의하여 세포수가 증가한 배양 종료 시의 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 약효를 평가하도록 해도 된다.
이 경우도, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 검색 결과 출력부(25)는, 검색된 3매의 촬영 화상을 표시 장치(30)에 표시시킨다.
또, 상기 설명에서는, 약제의 독성에 의한 세포수의 변화에 착안하여 화상 세트를 설정하고, 그 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 일군의 촬영 화상 중에 포함되는지 아닌지를 검색하도록 했지만, 예를 들면 배양 대상의 세포가 신경 세포인 경우, 신경 돌기 길이의 변화에 착안하여 화상 세트를 설정하고, 약제의 독성의 유무나 약효의 유무를 평가하도록 해도 된다.
보다 구체적으로는, 약제에 독성이 있는 경우에는, 세포군에 포함되는 신경 세포의 돌기 길이는, 도 7A의 실선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가 직후까지는 신장하지만, 그 후에는 약제의 독성에 의하여 축퇴(縮退)하게 된다. 한편, 약제에 독성이 없고, 약효도 없는 경우에는, 세포군에 포함되는 신경 세포의 돌기 길이는, 도 7A의 점선으로 나타내는 바와 같이, 배양 초기부터 배양 종료까지 변화하지 않는다. 즉, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 독성을 갖는 것인지, 혹은 약제가 독성도 약효도 없는 것인지 구별이 되지 않아, 약제의 독성을 정확하게 평가할 수 없다.
따라서, 배양 초기의 돌기 길이가 짧은 세포군의 세포 화상과, 약제 첨가 직후의 돌기 길이가 신장한 세포군의 세포 화상과, 배양 종료 시의 돌기 길이가 축퇴한 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 독성의 유무를 평가하도록 해도 된다. 즉, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 첨가한 약제는 독성을 갖는 것이라고 평가하도록 해도 된다.
또, 약제에 독성이 있는 경우에 있어서의 신경 세포의 돌기 길이의 변화는, 도 7A에 나타내는 바와 같은 변화에 한정하지 않고, 도 7B에 실선으로 나타내는 바와 같이 변화하는 경우도 있다. 즉, 도 7B의 실선으로 나타내는 바와 같이, 배양 초기에 있어서 이미 신경 세포의 돌기 길이가 어느 정도 신장하고 있으며, 약제 첨가 직후에는 그 길이를 유지하고 있지만, 그 후에는 약제의 독성에 의하여 축퇴하는 경우도 있다. 한편, 약제에 독성은 없지만, 단순히 배양 초기에 있어서의 세포가 약해져 있었던 경우에도, 세포군에 포함되는 신경 세포의 돌기 길이는, 도 7B의 점선으로 나타내는 바와 같이, 배양 초기부터 단순하게 감소한다. 즉, 이 경우도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 독성을 갖는 것인지, 혹은 단순히 세포가 약해져 있었을 뿐인지 구별이 되지 않아, 약제의 독성을 정확하게 평가할 수 없다.
따라서, 배양 초기의 돌기 길이가 어느 정도 긴 세포군의 세포 화상과, 약제 첨가 직후의 돌기 길이가 유지된 세포군의 세포 화상과, 배양 종료 시의 돌기 길이가 축퇴한 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 독성을 평가하도록 해도 된다.
또, 약제의 독성의 유무의 평가뿐만 아니라, 약제의 약효의 유무를 평가하는 경우에도 신경 돌기 길이의 변화에 착안하여 화상 세트를 설정하고, 촬영 화상의 검색을 행하도록 해도 된다.
보다 구체적으로는, 약제에 약효가 있는 경우에는, 세포군에 포함되는 신경 세포의 돌기 길이는, 도 8A의 실선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가 직후까지는 짧고, 그 후에는 약제의 약효에 의하여 신장한다. 한편, 약제에 약효는 없지만, 단순히 세포군의 세포의 활성이 양호할 뿐인 경우에도, 세포군에 포함되는 신경 세포의 돌기 길이는, 도 8A의 점선으로 나타내는 바와 같이, 배양 초기부터 약제 첨가와는 무관하게 배양 종료까지 신장한다. 즉, 이 경우도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 약효를 갖는 것인지, 혹은 단순히 세포의 활성이 양호할 뿐인지 구별이 되지 않아, 약제의 약효를 정확하게 평가할 수 없다.
따라서, 배양 초기의 돌기 길이가 짧은 세포군의 세포 화상과, 약제 첨가 직후의 돌기 길이가 짧은 세포군의 세포 화상과, 배양 종료 시의 돌기 길이가 신장하여 긴 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 약효를 평가하도록 해도 된다. 즉, 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상이 모두 검색된 경우에는, 첨가한 약제는 약효를 갖는 것이라고 평가하도록 해도 된다.
또, 약제에 약효가 있는 경우에 있어서의 신경 세포의 돌기 길이의 변화는, 도 8A에 나타내는 바와 같은 변화에 한정하지 않고, 도 8B에 실선으로 나타내는 바와 같이 변화하는 경우도 있다. 즉, 도 8B의 실선으로 나타내는 바와 같이, 배양 초기에 있어서 이미 신경 세포의 돌기 길이가 어느 정도의 길이에 도달하고 있었지만, 세포가 약해져 있었기 때문에 축퇴가 감소하고, 그 후, 약제 첨가에 의하여 돌기 길이가 신장하는 경우도 있다. 한편, 약제에 약효는 없지만, 단순히 배양 초기에 있어서의 세포가, 활성이 양호할 뿐인 경우, 신경 세포의 돌기 길이는, 도 8B의 점선으로 나타내는 바와 같이, 배양 초기부터 배양 종료까지 변화하지 않는 경우가 있다. 즉, 도 8B에 나타내는 바와 같이 세포수가 변화하는 경우에도, 배양 초기의 세포군의 촬영 화상과 배양 종료 시점의 세포군의 촬영 화상을 관찰한 것만으로는, 약제가 약효를 갖는 것인지, 혹은 단순히 세포의 활성이 양호한 것인지 구별이 되지 않아, 약제의 약효를 정확하게 평가할 수 없다.
따라서, 배양 초기의 돌기 길이가 어느 정도 긴 세포군의 세포 화상과, 세포가 약하기 때문에 돌기 길이가 축퇴하여 짧은 약제 첨가 직후의 세포군의 세포 화상과, 약제 첨가에 의하여 돌기 길이가 신장한 배양 종료 시의 세포군의 세포 화상을 포함하는 화상 세트를 화상 세트 기억부(21)에 기억하고, 이 화상 세트에 포함되는 3매의 세포 화상과 유사한 촬영 화상을 일군의 촬영 화상 중에서 검색함으로써, 약제의 약효를 평가하도록 해도 된다.
또한, 상술한 바와 같이 화상 세트로서 3매 이상의 세포 화상을 이용하여 촬상 화상의 검색을 행하여 약제의 독성이나 약효를 평가하는 경우에 있어서, 화상 세트에 포함되는 세포 화상 중 2매째 이후의 세포 화상에 근거하여 촬상 화상의 검색을 행하는 경우, 즉 약제 첨가 직후의 세포 화상에 근거하여 촬상 화상의 검색을 행하는 경우, 약제 첨가 직후의 세포 화상은, 약제의 응답 전의 세포 화상이므로, 피검색 대상의 촬상 화상도 약제 응답 전의 촬상 화상에 한정한 것이 검색 정밀도는 올라간다. 또, 촬영 장치(10)에 의한 촬영을 행하면서 리얼 타임 검색을 행하는 경우에는, 불필요한 촬영을 행하지 않고 검색 결과를 얻을 수 있다.
따라서, 예를 들면 피검색 대상으로 하는 촬영 화상이 촬영된 검색 대상 기간을 미리 설정해 두고, 그 검색 대상 기간 내의 촬영 화상에 한정하여 2매째의 세포 화상과 유사한 촬영 화상의 검색을 행하도록 해도 된다. 상기 검색 대상 기간이란, 배양 개시 이후의 소정의 시점으로부터 약제 첨가 직후의 약제 응답 전까지의 기간이며, 세포종이나 첨가하는 약제의 종류 등에 따라 다르다. 따라서, 예를 들면 세포종과 검색 대상 기간을 대응시킨 룩업 테이블, 약제와 검색 대상 기간을 대응시킨 룩업 테이블, 또는 세포종 및 약제와 검색 대상 기간을 대응시킨 룩업 테이블을 미리 설정해 두고, 유저가 입력 장치(40)를 이용하여 세포종 및/또는 약제를 설정 입력함으로써 취득하는 것이 바람직하다. 구체적으로는, 예를 들면 약제가 아포토시스 유도제인 경우에는, 약제 응답은 세포 주기에 따르는데 대체로 한나절부터 1일이므로, 검색 대상 기간은, 그보다 짧은 3시간 이내 등으로 설정하는 것이 바람직하다. 또, 약제가 네크로시스 억제제인 경우에는, 세포 괴사는 세포 자살보다 급성의 응답인 경우가 많아, 1시간 정도이므로, 검색 대상 기간은, 그보다 짧은 수 분~수십 분 이내로 설정하는 것이 바람직하다. 또, 약제가, iPS 세포 유래의 신경 세포 전구 세포로부터 성숙 신경 세포로의 분화 유도제인 경우에는, 예를 들면 8일간 정도로 성숙하므로, 검색 대상 기간은, 그보다 짧은 1~2일 이내로 설정하는 것이 바람직하다.
또는, 약제 첨가 전의 촬영 화상을 이용하여 대상 세포의 자연 경시 변화의 시간 스케일을 추정하고, 검색 대상 기간을 설정하도록 해도 된다. 구체적으로는, 약제 첨가 전의 촬영 화상을 화상 해석함으로써, 세포 분열에 의하여 세포수가 2배로 증가하는 시간이나 신경 돌기 길이가 일정한 길이까지 신장하는 시간 등과 같은 세포 증식에 관한 시간을 구하고, 그 시간 이하를 검색 대상 기간으로서 설정하도록 해도 된다.
또, 상술한 바와 같이 화상 세트의 세포 화상으로서, 약제 첨가 직후의 세포 화상을 이용하는 경우에는, 예를 들면, 배양 과정에 있어서의 세포군을 시계열로 촬영하고, 약제 첨가 직후에 촬영된 화상에 대하여 라벨을 부여함으로써, 약제 첨가 직후에 촬영된 화상인 것을 수동 또는 자동적으로 특정하고, 이 화상을 약제 첨가 직후의 세포 화상으로서 이용하도록 해도 된다. 라벨로서는, 예를 들면 화상의 파일명의 일부에 약제 첨가 직후에 촬영된 것을 식별할 수 있는 문자나 기호 등을 포함시키도록 하면 된다. 또는, 화상의 메타 데이터 중에 약제 첨가 직후에 촬영된 것을 나타내는 정보를 포함시켜 두고, 검색할 때에 그 메타 데이터를 읽어들여 특정하도록 해도 된다. 또는, 약제 첨가 직후에 촬영된 화상 중에 마크 등의 식별 정보를 삽입하고, 검색할 때에 그 화상 중의 식별 정보를 인식함으로써 약제 첨가 직후에 촬영된 화상인 것을 특정하도록 해도 된다.
또, 약제 첨가 직후에 촬영된 화상을 복수 특정하고, 그 중에서 화상 세트의 세포 화상을 선택하도록 해도 된다. 약제 첨가 직후에 촬영된 화상을 복수 특정하는 방법으로서는, 예를 들면 약제 첨가 시점으로부터 가장 최근에 촬영된 화상에 라벨을 부여하고, 그 라벨을 부여한 화상이 촬영된 시점으로부터 미리 설정된 촬영 기간 내에 촬영된 화상을, 약제 첨가 직후에 촬영된 화상으로서 특정하도록 하면 된다. 또는, 약제 첨가 시점으로부터 미리 설정된 촬영 기간 내에 촬영된 화상에 라벨을 부여해 두고, 그 라벨이 부여된 화상 중, 약제 첨가 시점으로부터 세포의 형태 변화가 일어나지 않은 화상을 약제 첨가 직후의 화상으로서 특정하도록 해도 된다.
또는, 약제 첨가 시점으로부터 촬영된 화상에 대하여 라벨을 순차적으로 붙여 두고, 그 라벨이 부여된 화상 중 세포의 상태에 변화가 일어나지 않은 화상을 약제 첨가 직후의 화상으로서 특정하도록 해도 된다.
또는, 배양 과정에 있어서의 세포군을 시계열로 촬영한 모든 화상에 촬영 시각 정보를 부여해 두고, 약제 첨가 시간과 비교함으로써 약제 첨가 직후의 세포 화상을 특정하도록 해도 된다. 촬영 시각 정보는, 파일명에 기입해 두고 그것을 독출해도 되고, 메타 데이터로부터 독출해도 된다.
또는, 약제 첨가 직후에 촬영된 화상과 그 이외의 화상을 각각의 폴더에 넣어 두도록 해도 된다.
또, 상기 실시형태의 설명에서는, 화상 세트로서 2매의 세포 화상을 이용하는 경우와, 3매의 세포 화상을 이용하는 경우를 설명했지만, 4매 이상의 세포 화상을 화상 세트로서 이용하도록 해도 된다. 세포 화상의 매수가 많은 것이 보다 높은 정밀도의 검색을 행할 수 있다.
또, 상기 실시형태의 설명에서는, 화상 특징량으로서, 흰색 줄, 세포수 또는 돌기 길이를 추출하여 검색을 행하는 예를 설명했지만, 화상 특징량은, 상술한 바와 같이 세포의 품질과 상관이 있으며, 또한 가역적인 형태 특징이면 어떤 것이어도 된다. 예를 들면 줄기 세포성을 갖는 세포는, 배양 과정에 있어서 그 형상이 길고 가느다란 형상으로부터 원형으로 바뀌고, 다시 길고 가느다란 형상으로 변화하는 케이스가 있다. 따라서, 화상 특징량으로서 세포의 형상을 이용하도록 해도 된다. 이 경우, 배양 초기의 길고 가느다란 세포로 이루어지는 세포군의 세포 화상과, 어느 정도 성숙한 둥근 세포로 이루어지는 세포군의 세포 화상과, 배양 종료 시의 길고 가느다란 세포로 이루어지는 세포군의 세포 화상을 화상 세트로서 이용하도록 하면 된다.
1 세포 화상 검색 시스템
10 촬영 장치
20 세포 화상 검색 장치
21 화상 세트 기억부
22 촬영 화상 취득부
23 화상 특징량 추출부
24 화상 검색부
25 검색 결과 출력부
26 표시 제어부
30 표시 장치
40 입력 장치
10 촬영 장치
20 세포 화상 검색 장치
21 화상 세트 기억부
22 촬영 화상 취득부
23 화상 특징량 추출부
24 화상 검색부
25 검색 결과 출력부
26 표시 제어부
30 표시 장치
40 입력 장치
Claims (12)
- 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트가 기억된 화상 세트 기억부와,
세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부와,
상기 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부와,
상기 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 화상 특징량에 근거하여, 상기 복수의 촬영 화상 중에서 상기 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부와,
상기 화상 검색부에 의하여 상기 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 상기 검색 결과를 출력하는 검색 결과 출력부를 구비한 것을 특징으로 하는 세포 화상 검색 장치. - 청구항 1에 있어서,
상기 화상 검색부에 의하여 상기 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 상기 검색된 촬영 화상을 표시부에 표시시키는 표시 제어부를 구비한, 세포 화상 검색 장치. - 청구항 1 또는 청구항 2에 있어서,
상기 화상 세트의 각 세포 화상이 세포의 형태가 다른 화상인, 세포 화상 검색 장치. - 청구항 3에 있어서,
상기 화상 세트가, 흰색 줄을 갖는 세포군을 촬영한 세포 화상과, 흰색 줄이 발생하기 전의 유약한 세포군을 촬영한 세포 화상을 포함하는, 세포 화상 검색 장치. - 청구항 3에 있어서,
상기 화상 세트가 3매 이상의 세포 화상을 포함하는, 세포 화상 검색 장치. - 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 화상 세트의 각 세포 화상이, 동일한 세포를 시계열로 촬영한 화상인, 세포 화상 검색 장치. - 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 화상 세트의 각 세포 화상이, 다른 농도의 약제를 첨가한 세포군을 촬영한 화상인, 세포 화상 검색 장치. - 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
상기 화상 세트의 각 세포 화상에 부여되는 순서 정보의 설정 입력을 접수하는 순서 정보 설정 접수부를 구비한, 세포 화상 검색 장치. - 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
상기 촬영 화상을 촬영하는 촬영부를 갖고,
상기 화상 검색부가, 상기 촬영부에 의한 타임 랩스 촬영 중에 리얼 타임으로 상기 검색을 행하는, 세포 화상 검색 장치. - 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
상기 화상 검색부가, 미리 기억된 상기 복수의 촬영 화상을 이용하여 상기 검색을 행하는, 세포 화상 검색 장치. - 세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 화상 세트를 미리 기억하고,
세포를 시계열로 촬영한 복수의 촬영 화상을 취득하며,
상기 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하고,
상기 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 화상 특징량에 근거하여, 상기 복수의 촬영 화상 중에서 상기 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하며,
상기 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 상기 검색 결과를 출력하는 것을 특징으로 하는 세포 화상 검색 방법. - 컴퓨터를,
세포를 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부와,
세포의 배양 과정의 다른 시점에 있어서의 복수의 세포 화상으로 이루어지는 미리 기억된 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 각각으로부터 화상 특징량을 추출하는 화상 특징량 추출부와,
상기 화상 세트의 각 세포 화상 및 상기 복수의 촬영 화상의 화상 특징량에 근거하여, 상기 복수의 촬영 화상 중에서 상기 화상 세트의 각 세포 화상과 유사한 촬영 화상을 검색하는 화상 검색부와,
상기 화상 검색부에 의하여 상기 화상 세트에 포함되는 적어도 2개의 세포 화상과 유사한 촬영 화상이 검색된 경우에, 상기 검색 결과를 출력하는 검색 결과 출력부로서 기능시키는 것을 특징으로 하는 세포 화상 검색 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015253609A JP6590690B2 (ja) | 2015-12-25 | 2015-12-25 | 細胞画像検索装置および方法並びにプログラム |
| JPJP-P-2015-253609 | 2015-12-25 | ||
| PCT/JP2016/005183 WO2017110082A1 (ja) | 2015-12-25 | 2016-12-20 | 細胞画像検索装置および方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180086481A true KR20180086481A (ko) | 2018-07-31 |
| KR102134526B1 KR102134526B1 (ko) | 2020-07-21 |
Family
ID=59089880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187017904A KR102134526B1 (ko) | 2015-12-25 | 2016-12-20 | 세포 화상 검색 장치 및 방법과 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10885103B2 (ko) |
| EP (1) | EP3396561B1 (ko) |
| JP (1) | JP6590690B2 (ko) |
| KR (1) | KR102134526B1 (ko) |
| WO (1) | WO2017110082A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7029903B2 (ja) * | 2017-08-09 | 2022-03-04 | シスメックス株式会社 | 試料処理装置、試料処理システム、および測定時間の算出方法 |
| JP6915604B2 (ja) * | 2018-11-28 | 2021-08-04 | 横河電機株式会社 | 装置、方法およびプログラム |
| JP6915636B2 (ja) * | 2019-02-21 | 2021-08-04 | 横河電機株式会社 | 装置、方法およびプログラム |
| JPWO2020202701A1 (ja) * | 2019-03-29 | 2021-12-23 | 富士フイルム株式会社 | 細胞評価装置、細胞評価装置の作動方法、細胞評価装置の作動プログラム、並びに細胞培養システム |
| JP7501621B2 (ja) * | 2020-05-14 | 2024-06-18 | 日本電気株式会社 | 画像選択装置、画像選択方法、およびプログラム |
| CN117093735A (zh) * | 2022-05-11 | 2023-11-21 | 华为技术有限公司 | 一种物体全生命周期搜索方法以及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6690828B2 (en) * | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
| JP2009009290A (ja) * | 2007-06-27 | 2009-01-15 | Kddi Corp | 類似画像検索装置 |
| JP2010181402A (ja) | 2009-01-09 | 2010-08-19 | Dainippon Printing Co Ltd | 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法 |
| JP2011027543A (ja) * | 2009-07-24 | 2011-02-10 | Olympus Corp | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| US20120134571A1 (en) * | 2009-08-07 | 2012-05-31 | Nikon Corporation | Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation |
| JP2014029287A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム |
| JP2014041084A (ja) * | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2014083042A (ja) | 2012-10-26 | 2014-05-12 | Ehime Univ | 細胞の評価方法およびその利用 |
| JP2014157158A (ja) * | 2014-04-17 | 2014-08-28 | Olympus Corp | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
| JP2007287027A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 医療用の計画立案支援システム |
| JP2009162708A (ja) * | 2008-01-10 | 2009-07-23 | Nikon Corp | 画像処理装置 |
| WO2010146802A1 (ja) | 2009-06-19 | 2010-12-23 | 株式会社ニコン | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 |
| WO2012099005A1 (ja) * | 2011-01-19 | 2012-07-26 | 株式会社ニコン | 細胞情報データの作成方法 |
| US20150002812A1 (en) * | 2013-06-27 | 2015-01-01 | Nidek Co., Ltd. | Image processing apparatus and storage medium |
| CN104326937B (zh) * | 2014-09-03 | 2016-08-24 | 天津市肿瘤研究所 | 抗肿瘤化合物及其医药用途 |
-
2015
- 2015-12-25 JP JP2015253609A patent/JP6590690B2/ja active Active
-
2016
- 2016-12-20 EP EP16877986.6A patent/EP3396561B1/en active Active
- 2016-12-20 WO PCT/JP2016/005183 patent/WO2017110082A1/ja active Application Filing
- 2016-12-20 KR KR1020187017904A patent/KR102134526B1/ko active IP Right Grant
-
2018
- 2018-05-31 US US15/994,256 patent/US10885103B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6690828B2 (en) * | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
| JP2009009290A (ja) * | 2007-06-27 | 2009-01-15 | Kddi Corp | 類似画像検索装置 |
| JP2010181402A (ja) | 2009-01-09 | 2010-08-19 | Dainippon Printing Co Ltd | 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法 |
| JP2011027543A (ja) * | 2009-07-24 | 2011-02-10 | Olympus Corp | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| US20120134571A1 (en) * | 2009-08-07 | 2012-05-31 | Nikon Corporation | Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation |
| JP2014029287A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム |
| JP2014041084A (ja) * | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2014083042A (ja) | 2012-10-26 | 2014-05-12 | Ehime Univ | 細胞の評価方法およびその利用 |
| JP2014157158A (ja) * | 2014-04-17 | 2014-08-28 | Olympus Corp | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017117302A (ja) | 2017-06-29 |
| KR102134526B1 (ko) | 2020-07-21 |
| EP3396561A1 (en) | 2018-10-31 |
| US20180276246A1 (en) | 2018-09-27 |
| EP3396561A4 (en) | 2018-10-31 |
| EP3396561B1 (en) | 2021-06-30 |
| WO2017110082A1 (ja) | 2017-06-29 |
| JP6590690B2 (ja) | 2019-10-16 |
| US10885103B2 (en) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180086481A (ko) | 세포 화상 검색 장치 및 방법과 프로그램 | |
| Campilho et al. | Time‐lapse analysis of stem‐cell divisions in the Arabidopsis thaliana root meristem | |
| JP5446868B2 (ja) | プログラム、コンピュータおよび培養状態解析方法 | |
| Martin et al. | Long-term live imaging of the Drosophila adult midgut reveals real-time dynamics of division, differentiation and loss | |
| Rose et al. | Putting a finishing touch on GECIs | |
| Yang et al. | Temperature‐compensated cell production rate and elongation zone length in the root of Arabidopsis thaliana | |
| JP6448129B2 (ja) | 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法 | |
| WO2015025506A1 (ja) | 幹細胞分化判定装置および方法並びにプログラム | |
| JP2022502684A (ja) | 画像特徴の検出 | |
| JPWO2015193951A1 (ja) | 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 | |
| EP3933849A1 (en) | Diagnosis support program, diagnosis support system, and diagnosis support method | |
| US11379983B2 (en) | Analysis device, analysis program, and analysis method | |
| JP2012163538A (ja) | 細胞画像解析システム | |
| JP6234138B2 (ja) | 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム、細胞観察情報処理システムに備わる記録部、細胞観察情報処理システムに備わる装置 | |
| WO2016088243A1 (ja) | 判定装置、観察システム、観察方法、そのプログラム、細胞の製造方法、および細胞 | |
| JPWO2020152953A1 (ja) | 判別装置、細胞塊の判別方法、及びコンピュータプログラム | |
| Kreutz et al. | Maximizing explanatory power in stereological data collection: A protocol for reliably integrating optical fractionator and multiple immunofluorescence techniques | |
| US11222423B2 (en) | Evaluation device, observation device, and program for identifying cell differentiation | |
| AU2010252792B2 (en) | Method and system for analyzing calcium transients in coupled cells | |
| Jusuf et al. | Imaging retinal progenitor lineages in developing zebrafish embryos | |
| JP2021026004A (ja) | 線虫を用いた個体レベルの健康寿命の評価系 | |
| JP6946807B2 (ja) | 画像表示装置、プログラム及び制御方法 | |
| Fasulo et al. | Live confocal analysis of mutant-and drug-treated Drosophila embryos | |
| Hailstone | Learning to study the developing brain: characterising brain development with machine learning, image analysis and ex vivo culture | |
| Abdussamad | Age determination in fishes using hard parts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20180622 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190607 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20191220 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200429 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200709 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200709 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230620 Start annual number: 4 End annual number: 4 |