JP6590690B2 - 細胞画像検索装置および方法並びにプログラム - Google Patents
細胞画像検索装置および方法並びにプログラム Download PDFInfo
- Publication number
- JP6590690B2 JP6590690B2 JP2015253609A JP2015253609A JP6590690B2 JP 6590690 B2 JP6590690 B2 JP 6590690B2 JP 2015253609 A JP2015253609 A JP 2015253609A JP 2015253609 A JP2015253609 A JP 2015253609A JP 6590690 B2 JP6590690 B2 JP 6590690B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- images
- captured
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 239000003814 drug Substances 0.000 claims description 124
- 229940079593 drug Drugs 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012258 culturing Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 481
- 230000008859 change Effects 0.000 description 28
- 230000007721 medicinal effect Effects 0.000 description 17
- 231100000419 toxicity Toxicity 0.000 description 15
- 230000001988 toxicity Effects 0.000 description 15
- 231100000331 toxic Toxicity 0.000 description 13
- 230000002588 toxic effect Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 210000002569 neuron Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 4
- 206010070863 Toxicity to various agents Diseases 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000004113 cell culture Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003102 growth factor Substances 0.000 description 3
- 210000002241 neurite Anatomy 0.000 description 3
- 210000000130 stem cell Anatomy 0.000 description 3
- 206010013709 Drug ineffective Diseases 0.000 description 2
- 230000006907 apoptotic process Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 210000003061 neural cell Anatomy 0.000 description 2
- 210000001778 pluripotent stem cell Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000004663 cell proliferation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000411 inducer Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Description
本発明は、細胞を時系列に撮影した複数の撮影画像の中から所望の撮影画像を検索する細胞画像検索装置および方法並びにプログラムに関するものである。
従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを評価する方法が提案されている。
たとえば特許文献１においては、細胞を時系列に撮影した画像を取得し、その複数の画像に基づいて細胞の移動速度に関する指標を算出し、その指標に基づいて細胞の増殖能を評価する方法が提案されている。また、特許文献２においては、受精卵を時系列に撮影した画像を取得し、その複数の画像の差に基づいて受精卵の活性部位を特定することが提案されている。
ここで、培養過程における細胞をタイムラプス撮影する場合、時系列に撮影された大量の画像が取得されることになるが、その中からユーザが興味のある画像だけを観察したい場合がある。または、興味のある画像が撮影された時点でユーザに通知し、たとえば培地交換や継代などの培養手技を直ちに行いたい場合がある。
このような場合、たとえば特許文献１および特許文献２に記載のように、撮影された画像から画像特徴量を算出し、その画像特徴量を用いて興味のある画像であるか否かを判定する方法がある。
しかしながら、１時点の画像の画像特徴量を用いただけでは、その画像が目的の細胞を撮影した興味のある画像であるかを判定できない場合がある。たとえば未分化性を維持した状態で、ある程度成熟した細胞群の画像を観察したい場合、このような細胞群を撮影した複数の画像のそれぞれにおいて白スジの量（面積）を算出し、その白スジの量（面積）に基づいて興味のある画像を検索する方法が考えられる。なお、上記白スジとは、細胞（試料）と背景間に発生する回折光による光のにじみ（ハロ）のことである。
しかしながら、図２に示すように、細胞群内に発生する白スジは、細胞群が未分化を維持した状態で幼弱コロニーから成熟コロニーに成長する間に発生するだけでなく（図２における良い白スジ）、細胞群が成熟した状態となった後、細胞群から細胞が遊離することによっても発生する（図２における悪い白スジ）。したがって、未分化性を維持した状態で白スジが発生している細胞群の画像を１枚だけ用いて、その画像に含まれる白スジの量（面積）に基づいて類似する画像を検索した場合には、所望の撮影画像だけでなく、細胞群から細胞が遊離することによって同様の量（面積）の白スジが発生している細胞群の撮影画像も検索してしまう可能性があり、これは未分化性を維持した細胞群の撮影画像ではないのでノイズとなって好ましくない。
また、成熟した細胞群は、細胞が凝集した状態となるので、上述したように白スジの量を算出するのではなく、画像内の細胞数または細胞密度を算出し、細胞数が多い画像または細胞密度が高い画像を興味のある画像として検索する方法も考えられる。
しかしながら、細胞数または細胞密度に基づいて類似する画像を検索した場合には、たまたま播種密度が高い部分を撮影した画像が検索されたり、細胞が弱って意図的に集まっている画像が検索されたりしてノイズとなってしまう。
本発明は、上記の問題に鑑み、細胞を時系列に撮影した複数の撮影画像の中からユーザが興味のある撮影画像を高精度に検索することができる細胞画像検索装置および方法並びにプログラムを提供することを目的とする。
本発明の細胞画像検索装置は、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットが記憶された画像セット記憶部と、細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する検索結果出力部とを備える。
また、上記本発明の細胞画像検索装置において、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索された撮影画像を表示部に表示させる表示制御部を備えることができる。
また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像は、細胞の形態が異なる画像であることが好ましい。
また、上記本発明の細胞画像検索装置において、画像セットは、白スジを有する細胞群を撮影した細胞画像と、白スジが発生する前の幼弱な細胞群を撮影した細胞画像とを含むことができる。
また、上記本発明の細胞画像検索装置において、画像セットは、３枚以上の細胞画像を含むことができる。
また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像として、同一の細胞を時系列に撮影した画像を用いることができる。
また、上記本発明の細胞画像検索装置において、画像セットの各細胞画像として、異なる濃度の薬剤を添加した細胞群を撮影した画像を用いることができる。
また、上記本発明の細胞画像検索装置においては、画像セットの各細胞画像に付与される順序情報の設定入力を受け付ける順序情報設定受付部を備えることができる。
また、上記本発明の細胞画像検索装置において、撮影画像を撮影する撮影部を設け、画像検索部は、撮影部によるタイムラプス撮影中にリアルタイムに検索を行うことができる。
また、上記本発明の細胞画像検索装置において、画像検索部は、予め記憶された複数の撮影画像を用いて検索を行うことができる。
本発明の細胞画像検索方法は、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットを予め記憶し、細胞を時系列に撮影した複数の撮影画像を取得し、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出し、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索し、画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する。
本発明の細胞画像検索プログラムは、コンピュータを、細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、細胞の培養過程の異なる時点における複数の細胞画像からなる予め記憶された画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、画像検索部によって画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する検索結果出力部として機能させる。
本発明の細胞画像検索装置および方法並びにプログラムによれば、細胞の培養過程の異なる時点における複数の細胞画像からなる画像セットを予め記憶する。そして、細胞を時系列に撮影した複数の撮影画像を取得し、画像セットの各細胞画像および複数の撮影画像のそれぞれから画像特徴量を抽出し、画像セットの各細胞画像および複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットの各細胞画像に類似する撮影画像を検索する。そして、画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、検索結果を出力する。このように複数の細胞画像からなる画像セットを用いて撮影画像を検索するようにしたので、上述したようなノイズを含むことなく、高精度に所望の撮影画像を検索することができる。なお、具体的な例については、後で詳述する。
以下、本発明の細胞画像検索装置および方法並びにプログラムの一実施形態を用いた細胞画像検索システムについて、図面を参照しながら詳細に説明する。図１は、細胞画像検索システム１の概略構成を示すブロック図である。
本実施形態の細胞画像検索システム１は、図１に示すように、撮影装置１０と、細胞画像検索装置２０と、表示装置３０と、入力装置４０とを備えている。
撮影装置１０は、培養過程における細胞群の画像を撮像するものである。撮影装置１０は、細胞群を経時的に複数回撮像する、いわゆるタイムラプス撮影を行うものである。撮影装置１０によって時系列に撮影された細胞群の撮影画像は、細胞画像検索装置２０に出力される。撮影装置１０としては、具体的には、位相差顕微鏡装置、微分干渉顕微鏡装置、明視野顕微鏡装置および暗視野顕微鏡装置などを用いることができる。また、撮影対象の細胞としては、具体的には、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。本実施形態の撮影装置１０は、撮像部に相当するものである。また、撮影画像には、必要に応じてその撮影時刻の情報が付加される。
細胞画像検索装置２０は、画像セット記憶部２１、撮影画像取得部２２、画像特徴量抽出部２３、画像検索部２４および検索結果出力部２５を備えている。細胞画像検索装置２０は、コンピュータに対して本発明の画像検索プログラムの一実施形態がインストールされたものである。
細胞画像検索装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに本発明の画像検索プログラムの一実施形態がインストールされている。そして、このプログラムが中央処理装置によって実行されることによって、図１に示すような撮影画像取得部２２、画像特徴量抽出部２３、画像検索部２４および検索結果出力部２５が動作する。
画像セット記憶部２１は、中央処理装置の制御によって画像の記憶および読出しが行われる記憶媒体であり、たとえばＳＳＤ（solid state drive）などの半導体メモリから構成されるものである。そして、画像セット記憶部２１は、細胞の培養過程の異なる時点における複数の細胞画像を含む画像セットが予め記憶されるものである。
画像セット記憶部２１は、一群の撮影画像の中からユーザが観察したい細胞群の状態の撮影画像の検索（照合）を行う際に、クエリ画像（検索対象画像ともいう）として用いられる細胞画像が記憶されるものである。なお、ここでは、画像セット記憶部２１に記憶されるクエリ画像（検索対象画像）を「細胞画像」と呼び、被検索対象の画像を「撮影画像」と呼ぶことにする。
ここで、上述したように、培養過程における細胞を時系列に撮影した一群の撮影画像の中から、たとえば未分化性を維持した状態で、ある程度成熟した細胞群の撮影画像をユーザが検索して観察したい場合や、時系列に順次撮影される撮影画像に含まれる細胞群が所望の状態まで成熟したか否かをユーザが知りたい場合などがある。
このような場合、未分化性を維持した状態で、ある程度成熟した細胞群には、白スジが発生するため、この白スジの量（面積）に基づいて撮影画像を検索する方法が考えられる。なお、上記白スジとは、細胞（試料）と背景間に発生する回折光による光のにじみ（ハロ）のことである。
しかしながら、図２に示すように、細胞群内に発生する白スジは、細胞群が未分化を維持した状態で幼弱コロニーから成熟コロニーに成長する間に発生するだけでなく、細胞群が成熟した状態となった後、細胞群から細胞が遊離することによっても発生する。したがって、未分化性を維持した状態で白スジ（図２における良い白スジ）が発生している細胞群の細胞画像を１枚だけ用いて、その細胞画像に含まれる白スジの量（面積）に基づいて撮影画像の検索を行った場合には、所望の撮影画像だけでなく、細胞群から細胞が遊離することによって同様の量（面積）の白スジ（図２における悪い白スジ）が発生している細胞群の撮影画像も検索してしまう可能性があり、これは未分化性を維持した細胞群の撮影画像ではないので好ましくない。
そこで、たとえば、未分化性を維持した状態で良い白スジが発生している細胞群の細胞画像とともに、その細胞群よりも時間的に前に撮影された幼弱な細胞群の細胞画像がクエリ画像として用いられる。すなわち、上述した２枚の細胞画像が画像セット記憶部２１に記憶され、これらの細胞画像を用いて検索が行われる。そして、未分化性を維持した状態で良い白スジが発生している細胞群の細胞画像に類似する撮影画像が複数検索された場合、幼弱な細胞群の細胞画像に類似する撮影画像の直近に撮影された撮影画像の方を最終的な検索結果として出力するようにすれば、ユーザが所望の撮影画像を出力することできる。
画像セット記憶部２１には、上述したようなクエリ画像としての細胞画像が少なくとも２枚記憶され、この複数の細胞画像と一群の撮影画像とを照合することによって、複数の細胞画像に類似する撮影画像の検索が行われる。
画像セットに含まれる各細胞画像の種類については、撮影画像の検索（照合）の目的によってそれぞれ異なるものである。ここでは、未分化性を維持し、ある程度成熟した細胞群の撮影画像を検索して観察したい場合における画像セットについて説明したが、その他の画像セットの例については、後で詳述する。
画像セット記憶部２１に記憶される複数の細胞画像は、本実施形態の細胞画像検索システム１に含まれる撮影装置１０によって撮影された画像でもよいし、本実施形態の細胞画像検索システム１とは異なる画像サーバから読み出して取得された画像でもよし、ウェブ上に公開された画像でもよいし、論文などに掲載された画像を電子化したものでもよい。また、画像セットに含まれる複数の細胞画像は、必ずしも同一の細胞を撮影した画像でなくてもよく、異なる細胞を撮影した画像でもよい。たとえば画像セットとして培養初期の細胞群を撮影した細胞画像と、ある程度成熟した細胞画像とを用いる場合、その培養初期の細胞群とある程度成熟した細胞群とは、異なる細胞株の細胞群でもよい。
また、画像セットの各細胞画像は、異なる濃度の薬剤を添加した細胞群を撮影した画像でもよい。具体的には、成長因子などの薬剤を添加して細胞群の培養を行う場合において、相対的に濃度の低い薬剤を添加した細胞群と、相対的に濃度の高い薬剤を添加した細胞群とを準備し、これらの細胞群を同時期に撮影した画像を取得することによって、培養初期の細胞群を撮影した細胞画像と、ある程度成熟した細胞群を撮影した細胞画像とを取得するようにしてもよい。このようにして２つの細胞画像を取得することによって、細胞画像の取得に要する時間を短縮することができる。
また、画像の各細胞画像の撮影対象の細胞群は、同じセル内で異なる場所で培養されたものでもよいし、異なるセル内で培養されたものでもよい。
また、画像セット記憶部２１に記憶される複数の細胞画像は、その細胞画像が撮影された順序情報を有していることが好ましい。この情報を用いることによって、図３に示すように、たとえば時間的に先に撮影された幼弱な細胞群の細胞画像Ｑ１に類似する撮影画像Ｇ２の検索を行った後、もう１枚の細胞画像Ｑ２（未分化性を維持した白スジを有する細胞群の細胞画像）に類似する撮影画像を検索する際には、被検索対象の撮影画像を、幼弱な細胞群の細胞画像に類似する撮影画像Ｇ２よりも後に撮影された撮影画像Ｇ３〜Ｇ６に絞り込むことができ、検索時間を短縮することができる。
撮影画像取得部２２は、撮影装置１０によって時系列に撮影された撮影画像を取得して記憶するものである。
画像特徴量抽出部２３は、画像セットに含まれる各細胞画像および撮影画像取得部２２によって取得された各撮影画像から画像特徴量を抽出するものである。画像特徴量としては、細胞の状態に応じて変化する細胞または細胞群の形態を表す特徴量を用いることができる。
細胞または細胞群の形態を表す特徴としては、たとえば、細胞画像に含まれる細胞数、細胞の密度、細胞の形状、細胞群の大きさ、細胞群の形状、細胞群の画像の輝度および細胞群に含まれる白スジの量などがあるが、これらに限らず、細胞の品質と相関があり、かつ可逆的な形態特徴であれば如何なる画像特徴量を用いてもよい。そして、画像特徴量抽出部２３によって抽出される画像特徴量についても、撮影画像の検索の目的によってそれぞれ異なるものである。具体的な例については、後で詳述する。なお、上述した画像特徴量の抽出方法としては、公知な手法を用いることができる。
画像検索部２４は、画像セットに含まれる各細胞画像および撮影画像取得部２２によって取得された複数の撮影画像の画像特徴量に基づいて、複数の撮影画像の中から画像セットに含まれる各細胞画像に類似する撮影画像を検索するものである。
具体的には、画像検索部２４は、１種類または複数種類の画像特徴量に基づいて、画像セットに含まれる各細胞画像と複数の撮影画像との類似度を算出し、その類似度に基づいて、複数の撮影画像の中から画像セットに含まれる各細胞画像に類似する撮影画像を検索する。類似度の算出方法としては、たとえば細胞数などといった１種類の画像特徴量に基づいて、画像セットの各細胞画像と撮影画像との類似度を算出する場合には、その１種類の画像特徴量の差が小さいほど値が大きくなるような類似度を算出するようにすればよい。また、複数種類の画像特徴量に基づいて画像セットの各細胞画像と撮影画像との類似度を算出する場合には、たとえばDeep Learnigを用いて類似度を算出するようにしてもよい。なお、類似度の算出方法としては、これらの方法に限らず、その他の公知な手法を用いることができる。または、Bag of Visual Wordsを用いて画像特徴量として低次元特徴量を算出し、これに基づいて画像セットの各細胞画像に類似する撮影画像を検索するようにしてもよい。
検索結果出力部２５は、画像検索部２４によって画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された場合に、その検索結果を表示装置３０に出力するものである。具体的には、本実施形態の検索結果出力部２５は、表示制御部２６を備えており、表示制御部２６は、画像検索部２４によって検索された撮影画像を表示装置３０に表示させるものである。
また、検索結果出力部２５は、撮影画像の検索の目的に応じて、種々の情報を表示装置３０に表示してユーザに知らせるものである。後で詳述するが、たとえば検索の目的が、培養の過程において添加された薬剤の薬効や毒性の画像による評価である場合には、検索結果出力部２５は、検索結果として、薬剤の薬効の有無や毒性の有無などを表示装置３０に表示させるものである。
表示装置３０は、上述したように検索結果出力部２５から出力された検索結果を表示するものであり、たとえば液晶ディスプレイなどを備えたものである。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用するようにしてもよい。本実施形態の表示装置３０は、表示部に相当するものである。
入力装置４０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置４０は、画像セット記憶部２１に画像セットとして記憶する各細胞画像が、その細胞画像が撮影された順序情報を持たない場合には、その順序情報のユーザによる設定入力を受け付けるものである。なお、本実施形態においては、入力装置４０が、順序情報設定受付部に相当するものである。入力装置４０を用いてユーザによって設定入力された順序情報は、各細胞画像に紐付けされて画像セット記憶部２１に記憶される。本実施形態の入力装置４０は、ユーザによる画像セットの変更の指示入力を受け付けるものである。画像セットの変更については、後述する。
次に、本実施形態の細胞画像検索システム１の作用について、図４に示すフローチャートを参照しながら説明する。
まず、撮影装置１０によって細胞群を時系列に撮影した一群の撮影画像が撮影画像取得部２２によって取得されて記憶される（Ｓ１０）。
次に、撮影画像の検索の目的に応じた画像セットがユーザによって画像セット記憶部２１に記憶される（Ｓ１２）。具体的には、一群の撮影画像の中から未分化性を維持した白スジを有する細胞群の撮影画像を検索する場合には、上述した幼弱な細胞群の細胞画像と未分化性を維持した白スジを有する細胞群の細胞画像とを含む画像セットが画像セット記憶部２１に記憶される。なお、この際、画像セットの各細胞画像が、撮影された順序情報を持たない場合には、ユーザによって入力装置４０を用いてその情報が設定入力され、各細胞画像に付与される（Ｓ１４）。
そして、画像セットの各細胞画像から画像特徴量がそれぞれ抽出される。具体的には、画像セットとして、上述した幼弱な細胞群の細胞画像と未分化性を維持した白スジを有する細胞群の細胞画像とが記憶されている場合には、幼弱な細胞群の細胞画像からは画像特徴量として細胞数が抽出され、未分化性を維持した白スジを有する細胞群の細胞画像からは画像特徴量として白スジの量（面積）が抽出される（Ｓ１６）。
次いで、撮影画像取得部２２に記憶された一群の撮影画像の中から、最初の被検索対象（照合対象）の撮影画像が特定され（Ｓ１８）、その撮影画像から画像特徴量が抽出される（Ｓ２０）。最初の被検索対象の撮影画像としては、最初に撮影された撮影画像が特定される。このとき撮影画像から抽出される画像特徴量は、画像セットに含まれる各細胞画像のうち、順序情報が最初の細胞画像から抽出された画像特徴量と同じものであり、すなわち細胞数が抽出される。
そして、画像検索部２４において、最初の被検索対象の撮影画像から抽出された画像特徴量と、順序情報が最初の細胞画像から抽出された画像特徴量とに基づいて、これらの画像の類似度が算出され（Ｓ２２）、その類似度に基づいて、これらの画像が類似しているか否かが判定される（Ｓ２４）。具体的には、最初の被検索対象の撮影画像に含まれる細胞数と、順序情報が最初の細胞画像に含まれる細胞数とに基づいて、これらの画像の類似度が算出され、これらの画像が類似しているか否かが判定される。
最初の被検索対象の撮影画像と順序情報が最初の細胞画像とが類似していないと判定された場合には（Ｓ２４，ＮＯ）、一群の撮影画像のうちの２番目に撮影された撮像画像が被検索対象の撮影画像として特定される（Ｓ１８）。そして、最初に撮影された撮影画像の場合と同様に、２番目に撮影された撮影画像から画像特徴量が抽出され、その抽出された画像特徴量と順序情報が最初の細胞画像の画像特徴量とに基づいて類似度が算出され、その類似度に基づいて、２番目に撮影された撮影画像と順序情報が最初の細胞画像とが類似しているか否かが判定される（Ｓ２０〜Ｓ２４）。２番目に撮影された撮影画像と順序情報が最初の細胞画像とが類似していないと判定された場合には（Ｓ２４，ＮＯ）、３番目に撮影された撮影画像が被検索対象の撮影画像として特定され、１番目と２番目に撮影された撮影画像と同様にして、順序情報が最初の細胞画像と類似しているか否かが判定される（Ｓ２４）。
上述したように画像セットに含まれる各細胞画像のうち、順序情報が最初の細胞画像に類似する撮影画像が検索されるまで、被検索対象の撮影画像が撮影された順序で変更され、順序情報が最初の細胞画像に類似しているか否かが順次判定される。なお、順序情報が最初の細胞画像に類似している撮影画像が、最後に撮影された撮影画像まで検索されなかった場合には、検索結果出力部２５によってその旨が表示装置３０に表示される。
一方、順序情報が最初の細胞画像に類似している撮影画像が検索された場合には（Ｓ２４，ＹＥＳ）、クエリ画像（検索対象画像）が、順序情報が２番目の細胞画像に変更される（Ｓ２６，ＹＥＳ）。具体的には、クエリ画像（検索対象画像）が、未分化性を維持した白スジを有する細胞群の細胞画像に変更される。
そして、再び、撮影された順番に撮影画像が順次変更されて、撮影画像と順序情報が２番目の細胞画像とが類似しているか否かが判定されるが（Ｓ１８〜Ｓ２４）、このときに用いられる画像特徴量は、白スジの量（面積）である。また、このときの検索対象の撮影画像は、上述したように、順序情報が最初の細胞画像に類似していると判定された撮影画像よりも後に撮影された撮影画像である。すなわち、たとえば図３に示す撮影画像Ｇ３〜Ｇ６である。
そして、順序情報が２番目の細胞画像に類似する撮影画像が検索され（Ｓ２４，ＹＥＳ）、画像セットに含まれる細胞画像、すなわちクエリ画像がそれ以上ない場合には（Ｓ２６，ＮＯ）、検索結果出力部２５は、画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された旨および検索された２枚の撮影画像を表示装置３０に表示させる（Ｓ２８）。
具体的には、先に検索された幼弱な細胞群の細胞画像に類似する撮影画像と、未分化性を維持した白スジを有する細胞群の細胞画像に類似する撮影画像とが表示装置３０に表示される（Ｓ２８）。検索された撮影画像の表示方法としては、２枚の撮影画像を並べて表示するようにしてもよいし、順次切り替えて表示するようにしてもよい。なお、順序情報が２番目の細胞画像に類似する撮影画像が、最後に撮影された撮影画像まで検索しても存在しなかった場合には、検索結果出力部２５によってその旨が表示装置３０に表示される。
そして、表示装置３０に表示された撮影画像がユーザによって確認され、所望の撮影画像が検索された否かが確認される（Ｓ３０）。所望の撮影画像が検索された場合には（Ｓ３０，ＹＥＳ）、そのまま処理を終了する。具体的には、未分化性を維持した白スジを有する細胞群の撮影画像であって、ユーザが観察したかった状態の細胞群の撮影画像が検索された場合には、そのまま処理を終了する。
一方、検索された撮影画像が、何らかの要因で所望の撮影画像でなかった場合には（Ｓ３０，ＮＯ）、ユーザによって画像セットに含まれる細胞画像が変更される（Ｓ３２）。具体的には、未分化性を維持した白スジを有する細胞群の細胞画像であるが、たとえば先の検索に用いた画像セットに含まれた細胞画像とは白スジの形状が異なるものや、画像全体の輝度が異なるものや、画像全体の鮮鋭度が異なるものなどに変更される。
そして、変更後の画像セットを用いて、再び類似する撮影画像の検索が行われる（Ｓ１６〜Ｓ３０）。
なお、上記実施形態の説明においては、撮影画像取得部２２に予め記憶された一群の撮影画像を用いて画像セットの細胞画像に類似する撮影画像の検索を行うようにしたが、これに限らず、撮影装置１０によるタイムラプス撮影中にリアルタイムに撮影画像の検索を行うようにしてよい。具体的には、撮影装置１０によって撮影画像が撮影される度に、その撮影画像と画像セットに含まれる細胞画像とが類似するか否かを判定し、画像セットに含まれる全ての細胞画像に類似する撮影画像が検索された時点において、その旨と検索された撮像画像とを検索結果として表示装置３０に表示させるようにしてもよい。なお、検索の際に用いられる画像セットの複数の細胞画像の順番は、上記実施形態の説明と同様である。
また、上記実施形態では、未分化性を維持し、良い白スジを有する細胞群の撮影画像を観察するために、すなわち細胞群の未分化性を評価するため撮影画像の検索を行うようにしたが、撮影画像の検索の目的はこれに限らず、たとえば培養過程における細胞群に成長因子などの薬剤を添加した場合に、その薬剤の薬効の有無、または薬剤の毒性の有無を評価するために、細胞群を撮影した一群の撮影画像と画像セットの細胞画像とを照合し、画像セットの細胞画像に類似する撮影画像を検索するようにしてもよい。
より具体的には、たとえば培養過程における細胞群に成長因子などの薬剤を加えた場合、その薬剤に毒性がある場合には、細胞群に含まれる細胞数は、図５（Ａ）の実線で示すように、培養初期から薬剤添加直後までは増加するが、その後は薬剤の毒性によって細胞が死滅して減少することになる。なお、ここでいう薬剤添加直後とは、薬剤添加後であって薬剤応答前の時点のことである。一方、薬剤に毒性がなく、薬効もない場合には、細胞群に含まれる細胞数は、図５（Ａ）の点線で示すように、培養初期から培養終了まで変化しない。すなわち、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤の毒性を正しく評価することができない。
そこで、培養初期の細胞数が少ない細胞群の細胞画像と、薬剤添加直後の細胞数が多い細胞群の細胞画像と、培養終了時の細胞数が少ない細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性の有無を評価する。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は毒性を有するものであると評価する。
なお、撮影画像の検索方法としては、図４に示すフローチャートの処理の流れと同様であり、最初に培養初期の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行い、培養初期の細胞画像に類似する撮影画像が検索された場合には、次に薬剤添加直後の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行い、薬剤添加直後の細胞画像に類似する撮影画像が検索された場合には、最後に培養終了時の細胞画像を用いてその細胞画像に類似する撮影画像の検索を行う。なお、画像特徴量としては、細胞群に含まれる細胞数が用いられる。
そして、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。なお、この場合も表示装置３０に表示された撮影画像が、ユーザが所望とする撮影画像でない場合には、画像セットに含まれる細胞画像をユーザが変更するようにしてもよい。
また、薬剤に毒性がある場合における細胞数の変化は、図５（Ａ）に示すような変化に限らず、図５（Ｂ）に実線で示すように変化する場合もある。すなわち、図５（Ｂ）の実線で示すように、培養初期において既に細胞群の細胞数がある程度の数に達しており、薬剤添加直後はその細胞数を維持しているが、その後は薬剤の毒性によって細胞が死滅して減少する場合もある。一方、薬剤に毒性は無いが、単に培養初期における細胞が弱っていた場合には、細胞群に含まれる細胞数は、図５（Ｂ）の点線で示すように、培養初期から単純に減少する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは単に細胞が弱っていただけなのかの区別がつかず、薬剤の毒性を正しく評価することができない。
そこで、培養初期の細胞数がある程度多い細胞群の細胞画像と、薬剤添加直後の細胞数が維持された細胞群の細胞画像と、培養終了時の細胞数が少ない細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性を評価するようにしてもよい。
この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。
また、薬剤の薬効の有無を評価するために、細胞群を撮影した一群の撮影画像と画像セットの細胞画像とを照合し、画像セットの細胞画像に類似する撮影画像を検索するようにしてもよい。
より具体的には、薬剤に薬効がある場合には、細胞群に含まれる細胞数は、図６（Ａ）の実線で示すように、培養初期から薬剤添加直後までは少ないが、その後は薬剤の薬効によって細胞が増加する。一方、薬剤に薬効は無いが、単に細胞群の細胞の活性が良いだけの場合にも、細胞群に含まれる細胞数は、図６（Ａ）の点線で示すように、培養初期から薬剤添加とは無関係に培養終了まで増加する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いだけなのかの区別がつかず、薬剤の薬効を正しく評価することができない。
そこで、培養初期の細胞数が少ない細胞群の細胞画像と、薬剤添加直後の細胞数が少ない細胞群の細胞画像と、培養終了時の細胞数が多い細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は薬効を有するものであると評価するようにしてもよい。
そして、この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。なお、この場合も表示装置３０に表示された撮影画像が、ユーザが所望とする撮影画像でない場合には、画像セットに含まれる細胞画像をユーザが変更するようにしてもよい。
また、薬剤に薬効がある場合における細胞数の変化は、図６（Ａ）に示すような変化に限らず、図６（Ｂ）に実線で示すように変化する場合もある。すなわち、図６（Ｂ）の実線で示すように、培養初期において既に細胞群の細胞数がある程度の数に達していたが、細胞が弱っていたため細胞数が減少し、その後、薬剤添加によって細胞数が増加する場合もある。一方、薬剤に薬効は無いが、単に培養初期における細胞が、活性が良いだけの場合、細胞群に含まれる細胞数は、図６（Ｂ）の点線で示すように、培養初期から培養終了まで細胞が死亡することなく変化しない場合がある。すなわち、図６（Ｂ）に示すように細胞数が変化する場合にも、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いものであるのかの区別がつかず、薬剤の薬効を正しく評価することができない。
そこで、培養初期の細胞数がある程度多い細胞群の細胞画像と、弱った細胞が死亡して細胞数が減少している薬剤添加直後の細胞群の細胞画像と、薬剤添加によって細胞数が増加した培養終了時の細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。
この場合も、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、検索結果出力部２５は、検索された３枚の撮影画像を表示装置３０に表示させる。
また、上記説明では、薬剤の毒性による細胞数の変化に着目して画像セットを設定し、その画像セットに含まれる３枚の細胞画像に類似する撮影画像が一群の撮影画像の中に含まれるか否かを検索するようにしたが、たとえば培養対象の細胞が神経細胞である場合、神経突起長の変化に着目して画像セットを設定し、薬剤の毒性の有無や薬効の有無を評価するようにしてもよい。
より具体的には、薬剤に毒性がある場合には、細胞群に含まれる神経細胞の突起長は、図７（Ａ）の実線で示すように、培養初期から薬剤添加直後までは伸長するが、その後は薬剤の毒性によって縮退することになる。一方、薬剤に毒性がなく、薬効もない場合には、細胞群に含まれる神経細胞の突起長は、図７（Ａ）の点線で示すように、培養初期から培養終了まで変化しない。すなわち、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは薬剤が毒性も薬効もないものであるのかの区別がつかず、薬剤の毒性を正しく評価することができない。
そこで、培養初期の突起長が短い細胞群の細胞画像と、薬剤添加直後の突起長が伸長した細胞群の細胞画像と、培養終了時の突起長が縮退した細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性の有無を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は毒性を有するものであると評価するようにしてもよい。
また、薬剤に毒性がある場合における神経細胞の突起長の変化は、図７（Ａ）に示すような変化に限らず、図７（Ｂ）に実線で示すように変化する場合もある。すなわち、図７（Ｂ）の実線で示すように、培養初期において既に神経細胞の突起長がある程度の伸長しており、薬剤添加直後はその長さを維持しているが、その後は薬剤の毒性によって縮退する場合もある。一方、薬剤に毒性は無いが、単に培養初期における細胞が弱っていた場合にも、細胞群に含まれる神経細胞の突起長は、図７（Ｂ）の点線で示すように、培養初期から単純に減少する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が毒性を有するものであるのか、もしくは単に細胞が弱っていただけなのかの区別がつかず、薬剤の毒性を正しく評価することができない。
そこで、培養初期の突起長がある程度長い細胞群の細胞画像と、薬剤添加直後の突起長が維持された細胞群の細胞画像と、培養終了時の突起長が縮退した細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の毒性を評価するようにしてもよい。
また、薬剤の毒性の有無の評価だけでなく、薬剤の薬効の有無を評価する場合にも神経突起長の変化に着目して画像セットを設定し、撮影画像の検索を行うようにしてもよい。
より具体的には、薬剤に薬効がある場合には、細胞群に含まれる神経細胞の突起長は、図８（Ａ）の実線で示すように、培養初期から薬剤添加直後までは短く、その後は薬剤の薬効によって伸長する。一方、薬剤に薬効は無いが、単に細胞群の細胞の活性が良いだけの場合にも、細胞群に含まれる神経細胞の突起長は、図８（Ａ）の点線で示すように、培養初期から薬剤添加とは無関係に培養終了まで伸長する。すなわち、この場合も、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いだけなのかの区別がつかず、薬剤の薬効を正しく評価することができない。
そこで、培養初期の突起長が短い細胞群の細胞画像と、薬剤添加直後の突起長が短い細胞群の細胞画像と、培養終了時の突起長が伸長して長い細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。すなわち、画像セットに含まれる３枚の細胞画像に類似する撮影画像が全て検索された場合には、添加した薬剤は薬効を有するものであると評価するようにしてもよい。
また、薬剤に薬効がある場合における神経細胞の突起長の変化は、図８（Ａ）に示すような変化に限らず、図８（Ｂ）に実線で示すように変化する場合もある。すなわち、図８（Ｂ）の実線で示すように、培養初期において既に神経細胞の突起長がある程度の長さに達していたが、細胞が弱っていたため縮退が減少し、その後、薬剤添加によって突起長が伸長する場合もある。一方、薬剤に薬効は無いが、単に培養初期における細胞が、活性が良いだけの場合、神経細胞の突起長は、図８（Ｂ）の点線で示すように、培養初期から培養終了まで変化しない場合がある。すなわち、図８（Ｂ）に示すように細胞数が変化する場合にも、培養初期の細胞群の撮影画像と培養終了時点の細胞群の撮影画像とを観察しただけでは、薬剤が薬効を有するものであるのか、もしくは単に細胞の活性が良いものであるのかの区別がつかず、薬剤の薬効を正しく評価することができない。
そこで、培養初期の突起長がある程度長い細胞群の細胞画像と、細胞が弱いために突起長が縮退して短い薬剤添加直後の細胞群の細胞画像と、薬剤添加によって突起長が伸長した培養終了時の細胞群の細胞画像とを含む画像セットを画像セット記憶部２１に記憶し、この画像セットに含まれる３枚の細胞画像に類似する撮影画像を一群の撮影画像の中から検索することによって、薬剤の薬効を評価するようにしてもよい。
なお、上述したように画像セットとして３枚以上の細胞画像を用いて撮像画像の検索を行って薬剤の毒性や薬効を評価する場合において、画像セットに含まれる細胞画像のうちの２枚目以降の細胞画像に基づいて撮像画像の検索を行う場合、すなわち薬剤添加直後の細胞画像に基づいて撮像画像の検索を行う場合、薬剤添加直後の細胞画像は、薬剤の応答前の細胞画像であるので、被検索対象の撮像画像も薬剤応答前の撮像画像に限定した方が検索精度はあがる。また、撮影装置１０による撮影を行いながらリアルタイム検索を行う場合には、無駄な撮影を行うことなく検索結果を得ることができる。
したがって、たとえば被検索対象とする撮影画像が撮影された検索対象期間を予め設定しておき、その検索対象期間内の撮影画像に限定して２枚目の細胞画像に類似する撮影画像の検索を行うようにしてもよい。上記検索対象期間とは、培養開始以降の所定の時点から薬剤添加直後の薬剤応答前までの期間であり、細胞種や添加する薬剤の種類などによって異なる。したがって、たとえば細胞腫と検索対象期間とを対応付けたルックアップテーブル、薬剤と検索対象期間とを対応付けたルックアップテーブル、または細胞腫および薬剤と検索対象期間とを対応付けたルックアップテーブルを予め設定しておき、ユーザが入力装置４０を用いて細胞腫および/または薬剤を設定入力することによって取得することが好ましい。具体的には、たとえば薬剤がアポトーシス誘導剤である場合には、薬剤応答は細胞周期によるがおおよそ半日から１日であるので、検索対象期間は、それよりも短い３時間以内などに設定することが好ましい。またあ、薬剤がネクローシス抑制剤である場合には、細胞壊死は細胞自殺より急性な応答である場合が多く、１時間程度であるので、検索対象期間は、それよりも短い数分〜数１０分以内に設定することが好ましい。また、薬剤が、ｉＰＳ細胞由来の神経細胞前駆細胞から成熟神経細胞への分化誘導剤である場合には、たとえば８日間程度で成熟するので、検索対象期間は、それよりも短い１〜２日以内に設定することが好ましい。
または、薬剤添加前の撮影画像を用いて対象細胞の自然経時変化の時間スケールを推定し、検索対象期間を設定するようにしてもよい。具体的には、薬剤添加前の撮影画像を画像解析することによって、細胞分裂により細胞数が２倍に増える時間や神経突起長が一定の長さまで伸びる時間などといった細胞増殖に関する時間を求め、その時間以下を検索対象期間として設定するようにしてもよい。
また、上述したように画像セットの細胞画像として、薬剤添加直後の細胞画像を用いる場合には、たとえば、培養過程における細胞群を時系列に撮影し、薬剤添加直後に撮影された画像に対してラベルを付与することによって、薬剤添加直後に撮影された画像であることを手動または自動的に特定し、この画像を薬剤添加直後の細胞画像として利用するようにしてもよい。ラベルとしては、たとえば画像のファイル名の一部に薬剤添加直後に撮影されたことが識別できるような文字や記号などを含めるようにすればよい。または、画像のメタデータの中に薬剤添加直後に撮影されたことを示す情報を含めておき、検索する際にそのメタデータを読み込んで特定するようにしてもよい。または、薬剤添加直後に撮影された画像中にマークなどの識別情報を埋め込み、検索する際にその画像中の識別情報を認識することによって薬剤添加直後に撮影された画像であることを特定するようにしてもよい。
また、薬剤添加直後に撮影された画像を複数特定し、その中から画像セットの細胞画像を選択するようにしてもよい。薬剤添加直後に撮影された画像を複数特定する方法としては、たとえば薬剤添加時点から直近に撮影された画像にラベルを付与し、そのラベルを付与した画像が撮影された時点から予め設定された撮影期間内に撮影された画像を、薬剤添加直後に撮影された画像として特定するようにすればよい。または、薬剤添加時点から予め設定された撮影期間内に撮影された画像にラベルを付与しておき、そのラベルが付与された画像のうち、薬剤添加時点から細胞の形態変化がおきていない画像を薬剤添加直後の画像として特定するようにしてもよい。
または、薬剤添加時点から撮影された画像に対してラベルを順次付けておき、そのラベルが付与された画像のうち細胞の状態に変化が起きていない画像を薬剤添加直後の画像として特定するようにしてもよい。
または、培養過程における細胞群を時系列に撮影した全ての画像に撮影時刻情報を付与しておき、薬剤添加時間と比較することによって薬剤添加直後の細胞画像を特定するようにしてもよい。撮影時刻情報は、ファイル名に書き込んでおき、それを読み出してもよいし、メタデータから読み出してもよい。
または、薬剤添加直後に撮影された画像とそれ以外の画像とを別々のフォルダにいれておくようにしてもよい。
また、上記実施形態の説明では、画像セットとして２枚の細胞画像を用いる場合と、３枚の細胞画像を用いる場合とを説明したが、４枚以上の細胞画像を画像セットとして用いるようにしてもよい。細胞画像の枚数が多い方がより高精度な検索を行うことができる。
また、上記実施形態の説明では、画像特徴量として、白スジ、細胞数または突起長を抽出して検索を行う例を説明したが、画像特徴量は、上述したように細胞の品質と相関があり、かつ可逆的な形態特徴であれば如何なるものでもよい。たとえば幹細胞性を有する細胞は、培養過程においてその形状が細長い形状から円形に変わり、再び細長い形状に変化するケースがある。したがって、画像特徴量として細胞の形状を用いるようにしてもよい。この場合、培養初期の細長い細胞からなる細胞群の細胞画像と、ある程度成熟した丸い細胞からなる細胞群の細胞画像と、培養終了時の細長い細胞からなる細胞群の細胞画像とを画像セットとして用いるようにすればよい。
１ 細胞画像検索システム
１０ 撮影装置
２０ 細胞画像検索装置
２１ 画像セット記憶部
２２ 撮影画像取得部
２３ 画像特徴量抽出部
２４ 画像検索部
２５ 検索結果出力部
２６ 表示制御部
３０ 表示装置
４０ 入力装置
１０ 撮影装置
２０ 細胞画像検索装置
２１ 画像セット記憶部
２２ 撮影画像取得部
２３ 画像特徴量抽出部
２４ 画像検索部
２５ 検索結果出力部
２６ 表示制御部
３０ 表示装置
４０ 入力装置
Claims (12)
- 細胞の培養過程の異なる時点における複数の細胞画像であって、撮影された時間順序を示す順序情報が各々に付与された前記複数の細胞画像を含む画像セットが記憶された画像セット記憶部と、
細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、
前記画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、
前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、
該画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像の各々に類似する少なくとも２つの前記撮影画像であって、前記少なくとも２つの細胞画像に付与された前記順序情報が表す時間順序と一致する時間順序で撮影された前記少なくとも２つの撮影画像が検索された場合に、該検索結果を出力する検索結果出力部とを備えたことを特徴とする細胞画像検索装置。 - 前記画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像に類似する撮影画像が検索された場合に、該検索された撮影画像を表示部に表示させる表示制御部を備えた請求項１記載の細胞画像検索装置。
- 前記画像セットの各細胞画像が、細胞の形態が異なる画像である請求項１または２記載の細胞画像検索装置。
- 前記画像セットが、白スジを有する細胞群を撮影した細胞画像と、白スジが発生する前の幼弱な細胞群を撮影した細胞画像とを含む請求項３記載の細胞画像検索装置。
- 前記画像セットが、３枚以上の細胞画像を含む請求項３記載の細胞画像検索装置。
- 前記画像セットの各細胞画像が、同一の細胞を時系列に撮影した画像である請求項１から５いずれか１項記載の細胞画像検索装置。
- 前記画像セットの各細胞画像が、異なる濃度の薬剤を添加した細胞群を撮影した画像である請求項１から５いずれか１項記載の細胞画像検索装置。
- 前記順序情報の設定入力を受け付ける順序情報設定受付部を備えた請求項１から７いずれか１項記載の細胞画像検索装置。
- 前記撮影画像を撮影する撮影部を有し、
前記画像検索部が、前記撮影部によるタイムラプス撮影中にリアルタイムに前記検索を行う請求項１から８いずれか１項記載の細胞画像検索装置。 - 前記画像検索部が、予め記憶された前記複数の撮影画像を用いて前記検索を行う請求項１から８いずれか１項記載の細胞画像検索装置。
- 細胞画像検索装置が、
細胞の培養過程の異なる時点における複数の細胞画像であって、撮影された時間順序を示す順序情報が各々に付与された前記複数の細胞画像を含む画像セットを予め記憶し、
細胞を時系列に撮影した複数の撮影画像を取得し、
前記画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出し、
前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索し、
前記画像セットに含まれる少なくとも２つの細胞画像の各々に類似する少なくとも２つの前記撮影画像であって、前記少なくとも２つの細胞画像に付与された前記順序情報が表す時間順序と一致する時間順序で撮影された前記少なくとも２つの撮影画像が検索された場合に、該検索結果を出力することを特徴とする細胞画像検索方法。 - コンピュータを、
細胞を時系列に撮影した複数の撮影画像を取得する撮影画像取得部と、
細胞の培養過程の異なる時点における複数の細胞画像であって、撮影された時間順序を示す順序情報が各々に付与された前記複数の細胞画像を含む予め記憶された画像セットの各細胞画像および前記複数の撮影画像のそれぞれから画像特徴量を抽出する画像特徴量抽出部と、
前記画像セットの各細胞画像および前記複数の撮影画像の画像特徴量に基づいて、前記複数の撮影画像の中から前記画像セットの各細胞画像に類似する撮影画像を検索する画像検索部と、
該画像検索部によって前記画像セットに含まれる少なくとも２つの細胞画像の各々に類似する少なくとも２つの前記撮影画像であって、前記少なくとも２つの細胞画像に付与された前記順序情報が表す時間順序と一致する時間順序で撮影された前記少なくとも２つの撮影画像が検索された場合に、該検索結果を出力する検索結果出力部として機能させることを特徴とする細胞画像検索プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015253609A JP6590690B2 (ja) | 2015-12-25 | 2015-12-25 | 細胞画像検索装置および方法並びにプログラム |
| EP16877986.6A EP3396561B1 (en) | 2015-12-25 | 2016-12-20 | Cell image retrieval device, method, and program |
| PCT/JP2016/005183 WO2017110082A1 (ja) | 2015-12-25 | 2016-12-20 | 細胞画像検索装置および方法並びにプログラム |
| KR1020187017904A KR102134526B1 (ko) | 2015-12-25 | 2016-12-20 | 세포 화상 검색 장치 및 방법과 프로그램 |
| US15/994,256 US10885103B2 (en) | 2015-12-25 | 2018-05-31 | Cell image search apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015253609A JP6590690B2 (ja) | 2015-12-25 | 2015-12-25 | 細胞画像検索装置および方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017117302A JP2017117302A (ja) | 2017-06-29 |
| JP6590690B2 true JP6590690B2 (ja) | 2019-10-16 |
Family
ID=59089880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015253609A Active JP6590690B2 (ja) | 2015-12-25 | 2015-12-25 | 細胞画像検索装置および方法並びにプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10885103B2 (ja) |
| EP (1) | EP3396561B1 (ja) |
| JP (1) | JP6590690B2 (ja) |
| KR (1) | KR102134526B1 (ja) |
| WO (1) | WO2017110082A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7029903B2 (ja) * | 2017-08-09 | 2022-03-04 | シスメックス株式会社 | 試料処理装置、試料処理システム、および測定時間の算出方法 |
| JP6915604B2 (ja) * | 2018-11-28 | 2021-08-04 | 横河電機株式会社 | 装置、方法およびプログラム |
| JP6915636B2 (ja) * | 2019-02-21 | 2021-08-04 | 横河電機株式会社 | 装置、方法およびプログラム |
| JPWO2020202701A1 (ja) * | 2019-03-29 | 2021-12-23 | 富士フイルム株式会社 | 細胞評価装置、細胞評価装置の作動方法、細胞評価装置の作動プログラム、並びに細胞培養システム |
| WO2021229750A1 (ja) * | 2020-05-14 | 2021-11-18 | 日本電気株式会社 | 画像選択装置、画像選択方法、およびプログラム |
| CN117093735A (zh) * | 2022-05-11 | 2023-11-21 | 华为技术有限公司 | 一种物体全生命周期搜索方法以及电子设备 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6690828B2 (en) | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
| US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
| JP2007287027A (ja) * | 2006-04-19 | 2007-11-01 | Fujifilm Corp | 医療用の計画立案支援システム |
| JP4947589B2 (ja) * | 2007-06-27 | 2012-06-06 | Ｋｄｄｉ株式会社 | 類似画像検索装置 |
| JP2009162708A (ja) * | 2008-01-10 | 2009-07-23 | Nikon Corp | 画像処理装置 |
| US8515143B2 (en) | 2009-01-09 | 2013-08-20 | Dai Nippon Printing Co., Ltd. | Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method |
| EP2444479A1 (en) | 2009-06-19 | 2012-04-25 | Nikon Corporation | State determination method for cell cluster, image processing program and imaging processing device using said method, and method for producing cell cluster |
| JP5530126B2 (ja) | 2009-07-24 | 2014-06-25 | オリンパス株式会社 | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| WO2011016189A1 (ja) | 2009-08-07 | 2011-02-10 | 株式会社ニコン | 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 |
| WO2012099005A1 (ja) * | 2011-01-19 | 2012-07-26 | 株式会社ニコン | 細胞情報データの作成方法 |
| JP5984559B2 (ja) | 2012-07-31 | 2016-09-06 | オリンパス株式会社 | 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム |
| JP5376024B1 (ja) | 2012-08-23 | 2013-12-25 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
| JP6218208B2 (ja) | 2012-10-26 | 2017-10-25 | 国立大学法人愛媛大学 | 細胞の評価方法およびその利用 |
| US20150002812A1 (en) * | 2013-06-27 | 2015-01-01 | Nidek Co., Ltd. | Image processing apparatus and storage medium |
| JP2014157158A (ja) | 2014-04-17 | 2014-08-28 | Olympus Corp | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| CN104326937B (zh) * | 2014-09-03 | 2016-08-24 | 天津市肿瘤研究所 | 抗肿瘤化合物及其医药用途 |
-
2015
- 2015-12-25 JP JP2015253609A patent/JP6590690B2/ja active Active
-
2016
- 2016-12-20 EP EP16877986.6A patent/EP3396561B1/en active Active
- 2016-12-20 WO PCT/JP2016/005183 patent/WO2017110082A1/ja active Application Filing
- 2016-12-20 KR KR1020187017904A patent/KR102134526B1/ko active IP Right Grant
-
2018
- 2018-05-31 US US15/994,256 patent/US10885103B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3396561A1 (en) | 2018-10-31 |
| JP2017117302A (ja) | 2017-06-29 |
| EP3396561A4 (en) | 2018-10-31 |
| US20180276246A1 (en) | 2018-09-27 |
| WO2017110082A1 (ja) | 2017-06-29 |
| EP3396561B1 (en) | 2021-06-30 |
| KR102134526B1 (ko) | 2020-07-21 |
| KR20180086481A (ko) | 2018-07-31 |
| US10885103B2 (en) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6590690B2 (ja) | 細胞画像検索装置および方法並びにプログラム | |
| JP7270058B2 (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
| CN102568001B (zh) | 图像处理设备和方法 | |
| Peratoner et al. | Methods to describe the botanical composition of vegetation in grassland research | |
| Kristjansson et al. | Visual foraging tasks provide new insights into the orienting of visual attention: Methodological considerations | |
| JP2007020449A (ja) | スクリーニング方法およびスクリーニング装置 | |
| JP5524974B2 (ja) | 生物全体から、高含量（ｈｉｇｈ−ｃｏｎｔｅｎｔ）の情報を自動的に抽出するためのシステムおよび方法。 | |
| US11379983B2 (en) | Analysis device, analysis program, and analysis method | |
| Perumal | Guava leaf disease classification using support vector machine | |
| Wang et al. | An algorithmic approach to determine expertise development using object-related gaze pattern sequences | |
| Giménez-Fernández et al. | Is probabilistic cuing of visual search an inflexible attentional habit? A meta-analytic review | |
| US20200043159A1 (en) | Analysis device, analysis method, and program | |
| Reynolds et al. | CosMIC: A consistent metric for spike inference from calcium imaging | |
| WO2020152953A1 (ja) | 判別装置、細胞塊の判別方法、及びコンピュータプログラム | |
| RU2753267C1 (ru) | Способ детектирования фокальных эпилептиформных разрядов в длительной записи ээг | |
| Rodgers et al. | The sensorimotor strategies and neuronal representations of tactile shape discrimination in mice | |
| JP2021026004A (ja) | 線虫を用いた個体レベルの健康寿命の評価系 | |
| JP2020124220A (ja) | 画像処理装置 | |
| Smith et al. | Morphological and acoustic evidence for hybridisation between two broadly sympatric south-eastern Australian tree frogs Litoria ewingii and L. verreauxii (Anura: Hylidae) | |
| Rupprecht et al. | Spike inference from mouse spinal cord calcium imaging data | |
| Kenny et al. | Evaluation of behaviour in early stages of training as an indicator of the success of guide and assistance dogs | |
| Colombo | Blowing Up” the Frame: Revisiting Arlow's “Fantasy, Memory, and Reality Testing | |
| US11867691B2 (en) | Image processing device, analysis device, image processing method, image processing program, and display device | |
| Sullivan | Creating High Throughput Low Cost Analysis of Different Labor-Intensive Repetitive Research Processes | |
| Zhu et al. | Investigation on Possible Mutations for Autistic Savant Syndrome |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170908 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170908 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6590690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |