JP7064720B2 - 算出装置、算出プログラム及び算出方法 - Google Patents
算出装置、算出プログラム及び算出方法 Download PDFInfo
- Publication number
- JP7064720B2 JP7064720B2 JP2019571915A JP2019571915A JP7064720B2 JP 7064720 B2 JP7064720 B2 JP 7064720B2 JP 2019571915 A JP2019571915 A JP 2019571915A JP 2019571915 A JP2019571915 A JP 2019571915A JP 7064720 B2 JP7064720 B2 JP 7064720B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calculation unit
- feature amount
- comparative
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 557
- 230000000052 comparative effect Effects 0.000 claims description 307
- 230000008859 change Effects 0.000 claims description 120
- 150000001875 compounds Chemical class 0.000 claims description 64
- 230000002159 abnormal effect Effects 0.000 claims description 47
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 210000004027 cell Anatomy 0.000 description 280
- 238000000034 method Methods 0.000 description 90
- 238000004458 analytical method Methods 0.000 description 77
- 230000008569 process Effects 0.000 description 39
- 238000006243 chemical reaction Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 29
- 230000009467 reduction Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 239000000126 substance Substances 0.000 description 8
- 238000012731 temporal analysis Methods 0.000 description 8
- 238000000700 time series analysis Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 7
- 210000003463 organelle Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000004113 cell culture Methods 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 210000004748 cultured cell Anatomy 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000003834 intracellular effect Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 2
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 210000002288 golgi apparatus Anatomy 0.000 description 2
- 239000005090 green fluorescent protein Substances 0.000 description 2
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 108010047357 Luminescent Proteins Proteins 0.000 description 1
- 102000006830 Luminescent Proteins Human genes 0.000 description 1
- 210000001130 astrocyte Anatomy 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000002782 epithelial mesenchymal cell Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 108020001507 fusion proteins Proteins 0.000 description 1
- 102000037865 fusion proteins Human genes 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000003712 lysosome Anatomy 0.000 description 1
- 230000001868 lysosomic effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004248 oligodendroglia Anatomy 0.000 description 1
- 210000002220 organoid Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Description
以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の第1実施形態による顕微鏡観察システム1の構成の一例を示す図である。
顕微鏡観察システム1は、算出装置10と、顕微鏡装置20と、表示部30とを備える。
撮像部22は、CCD(Charge-Coupled Device)やCMOS(Complementary MOS)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。なお、顕微鏡装置20に電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージ、もしくは、手動にて所定方向に稼働するステージとしても構わない。
顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートWPやスライドチャンバ―などがある。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過もしくは反射した光を細胞の画像として撮像する。これによって、顕微鏡装置20は、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
さらに、細胞に励起光を照射することで、顕微鏡装置20は、蛍光物質から発せられる蛍光を細胞の画像として撮像する。さらに、顕微鏡装置20は、細胞中の発光物質からの発光あるいは燐光を細胞の画像として撮像する。
なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わないすなわち、細胞の画像の種類は適宜選択しても構わない。
算出装置10は、演算部100と、記憶部200と、結果出力部300とを備える。
比較画像取得部102は、撮像部22が撮像したひとつ以上の細胞画像をひとつ以上の比較画像として取得し、取得したひとつ以上の比較画像を算出部103に供給する。ここで、比較画像とは、複数の基準画像に撮像されている細胞と比較する対象である比較細胞が撮像されている画像である。比較画像は、例えば、刺激が加えられて所定の時間が経過した後の細胞の画像である。比較画像に撮像された細胞が培養された実験条件(刺激など、比較検討したい対象項目以外の実験条件)と、基準画像に撮像された細胞が培養された実験条件(刺激など、比較検討したい対象項目以外の実験条件)とは同じであることが好ましい。比較画像に撮像された細胞に対する実験条件と、基準画像に撮像された細胞に対する実験条件とは、比較検討したい項目以外は同じであることが好ましい。例えば、基準画像と比較画像とで、刺激を変えた場合には、刺激の条件以外は、基準画像に撮像された細胞に対する培養条件などの実験条件と、比較画像に撮像された細胞に対する培養条件などの実験条件とは同じであることが好ましい。刺激の条件としては、例えば、基準画像は細胞に刺激が加えられない条件の細胞画像で、比較画像は細胞に刺激が加えられた条件の細胞画像である。もちろん、刺激の条件としては、例えば、細胞に加えられる刺激としての薬液の種類が異なることでも構わない。
なお、以下では複数の基準画像を基準画像群と呼ぶことがある。また、ひとつ以上の比較画像を比較画像群と呼ぶことがある。
本実施形態においては、基準画像を用いて算出される特徴量には、複数の特徴量を含む。本実施形態においては、基準画像に基づいて算出される特徴量には、複数種類の特徴量を含む。ここで複数種類の特徴量とは、例えば、細胞画像の輝度や、画像中の細胞面積など、細胞画像から抽出される複数の特徴を表す特徴量である。このように、複数の基準画像に基づいて算出される特徴量には、複数の特徴量を含む。
なお、後述する特徴量を算出する方法において、細胞画像から抽出する特徴量をあらかじめ決めても構わない。例えば、少なくとも画像中の細胞面積を抽出することを決めて、算出される特徴量が少なくも画像中の細胞面積を反映する特徴量となるように算出しても構わない。また、細胞画像には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。したがって、細胞画像に含まれる細胞を構成する要素を判定する。細胞を構成する要素の判定結果ごとに、細胞画像から抽出される特徴量を算出する。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)やオルガネラを構成するタンパク質などが含まれる。
算出部103は、基準特徴量算出部1031と、比較特徴量算出部1032と、代表特徴量算出部1033と、距離算出部1034とを備える。
比較特徴量算出部1032は、比較画像取得部102が供給するひとつ以上の比較画像に含まれる比較画像の特徴量を、比較特徴量として算出する。比較特徴量算出部1032は、算出した比較特徴量を距離算出部1034に供給する。
また、距離算出部1034が算出する距離は、外積(ウェッジ積)を応用した距離であってもよい。外積(ウェッジ積)を応用した距離は、以下のように算出される。まず、N次元のベクトルAとN次元のベクトルBとから、2つの次元の値を取り出し、2次元のベクトルaと2次元のベクトルbとを作る。次に、2次元のベクトルaと2次元のベクトルbとを2辺とする三角形もしくは平行四辺形の面積を算出する。上記の操作を、Nつの次元から2つの次元を選ぶ場合の数だけ繰り返し、N次元のベクトルAとN次元のベクトルBとから、NC2通りの次元の組合せについて上記の面積を算出する。ここで、Nつの次元から2つの次元を選ぶ場合の数をNC2と表した。最後に、算出した面積の代表値(合計、平均または中央値など)をN次元のベクトルAとN次元のベクトルBとの距離とする。
表示部30は、結果出力部300が出力する距離を表示する。
基準画像取得部101は、基準画像記憶部202に記憶される基準画像群S1を取得する(ステップS100)。基準画像取得部101は、取得した基準画像群S1を基準特徴量算出部1031に供給する。
基準特徴量算出部1031は、基準画像取得部101が供給する基準画像群S1に含まれる基準画像のそれぞれの基準特徴量を算出する(ステップS101)。ここで基準特徴量算出部1031は、基準画像を次元削減することによって、基準特徴量を算出する。基準特徴量算出部1031は、算出した複数の基準特徴量を代表特徴量算出部1033に供給する。
本実施形態では、基準特徴量算出部1031は、多層ニューラルネットワークを用いて基準特徴量を算出する。多層ニューラルネットワークとは、ひとつ以上の中間層を含むニューラルネットワークである。ここで図4を参照し、基準特徴量算出部1031の基準特徴量の算出方法について説明する。
ニューラルネットワークNは、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含む。ニューラルネットワークNは、入力画像が入力層に入力されると、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達する。ここで、入力画像が入力層に入力されるとは、入力画像の画素の輝度値がそれぞれ入力層に入力されることである。したがって、ニューラルネットワークNの入力層を構成するノードの数は、入力画像を構成する画素の数に等しい。ニューラルネットワークNは、出力層まで伝達した情報に基づいて入力画像を所定の数のカテゴリに分類する。出力層のノードの数は、ニューラルネットワークNが分類するカテゴリの数と等しい。本実施形態では、ニューラルネットワークNの出力層のノードの数は、一例として1000である。
また、ニューラルネットワークNは、入力層のノードの数と出力層のノードの数とが等しいオートエンコーダーでもよい。一般的に、オートエンコーダーでは、中間層のノードの数は入力層のノードの数よりも少ないため、中間層において入力画像の特徴を効率的に抽出することができる。さらに、ニューラルネットワークNは、入力層の数と出力層の数とが異なるオートエンコーダーでもよい。
本実施形態では、ニューラルネットワークNの出力層と隣接する中間層L1の各ノードから出力される値の組が、細胞画像C1の特徴量として算出される。
図6は、複数の基準画像と1枚の比較画像との違いを定量化する処理の一例を示す図である。図6(A)において、基準特徴量算出部1031は、基準画像群S1に含まれる基準画像をニューラルネットワークNに入力する。ここで、基準特徴量算出部1031は、次元削減情報記憶部201に記憶されたニューラルネットワークNを用いる。次元削減情報記憶部201に記憶されたニューラルネットワークNは、一例として1200万個の学習データを学習させたニューラルネットワークである。学習データに含まれる学習画像は、細胞画像であってもよいし、細胞画像以外の一般の画像であってもよい。このように、基準特徴量算出部1031は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークを用いることにより、入力された画像を次元削減することによって算出した特徴量を用いる。
比較画像取得部102は、撮像部22が撮像した細胞画像を比較画像として取得する(ステップS200)。比較画像取得部102は、取得した1枚の比較画像を比較特徴量算出部1032に供給する。
図6(B)を参照しながら、複数の基準画像と1枚の比較画像P1との違いを定量化する処理について説明する。比較特徴量算出部1032は、比較画像群G1に含まれる比較画像P1をニューラルネットワークNに入力する。ここで、比較特徴量算出部1032は、次元削減情報記憶部201に記憶されたニューラルネットワークNを用いて特徴量を算出する。
比較特徴量算出部1032が算出する比較特徴量FA1とは、比較画像P1をニューラルネットワークNに入力したときに中間層L1の各ノードから出力される値の組である。比較特徴量FA1の次元は、ニューラルネットワークNの中間層L1のノードの数に等しい。比較特徴量算出部1032は、算出した比較特徴量FA1を距離算出部1034に供給する。
距離算出部1034は、代表特徴量算出部1033が供給する基準代表特徴量FCと、比較特徴量算出部1032が供給する比較特徴量FA1との距離を算出する(ステップS202)。ここで、基準代表特徴量は、複数の基準画像に基づいて算出される特徴量である。また、比較特徴量は、比較画像に基づいて算出される特徴量である。したがって、算出部103は、基準特徴量算出部1031が算出する基準画像を次元削減することによって得られる特徴量から、代表特徴量算出部1033が算出する基準代表特徴量と、比較特徴量算出部1032が算出する比較画像を次元削減することによって得られる特徴量とを用いて、違いを算出する。つまり、算出部103は、基準画像取得部101が取得する基準画像と、比較画像取得部102が取得する比較画像と、基準画像および比較画像を次元削減することによって得られる特徴量とを用いて、複数の基準画像を用いて算出される特徴量と、比較画像を用いて算出される特徴量との違いを算出する。ここで違いとは、複数の基準画像に基づいて算出される代表特徴量と、比較画像に基づいて算出される特徴量との違いである。距離算出部1034は、算出した距離を結果出力部300に供給する。
結果出力部300は、距離算出部1034が供給する距離を表示部30に表示させることにより結果を出力する(ステップS203)。
また、ニューラルネットワークNを構成する中間層はなく、入力層と出力層のみで構成されてもよい。
この構成により、算出装置10は、複数の基準画像と比較画像との違いを定量化できるため、基準画像が1枚の場合に比較して、安定して定量化することが可能となる。例えば、1枚の基準画像に基づいて特徴量を算出する場合では、基準画像に撮像された細胞に対する実験条件の細胞を表す典型的な細胞を表す画像でない場合ある。例えば、細胞の固有の違いや、細胞に対する実験条件のばらつきにより、基準画像が撮像される培養容器内の複数の細胞が均一ではない可能である。実験条件のばらつきとは、細胞の染色工程でのばらつき、細胞の培養工程でのばらつきである。例えば、細胞により染色度合が異なり、結果としてそれらの細胞を撮像した場合に、撮像される細胞画像のタンパク質の輝度などの細胞を表す特徴量が異なる場合がある。そこで、本実施形態においては、複数の基準画像に基づいて算出される特徴量を用いることから、1枚の基準に基づいて算出される特徴量を用いる場合と比較して、複数の基準画像を用いるので、基準画像が撮像される培養容器内の複数の細胞の平均を表す特徴量を算出することができる。
この構成により、算出装置10は、従来手法では不安定だった細胞等の抽出結果を利用することなく、違いを定量化できるため、一般的な画像特徴量の算出による場合に比べて、安定して定量化することが可能となる。また、算出部103は、基準画像取得部101が取得する基準画像の次元を削減することができる。本実施形態では、細胞が撮像された画像の次元とは、細胞が撮像された画像を構成するピクセルの値である。例えば、細胞が撮像された画像が縦200ピクセル、横200ピクセルである場合には、細胞が撮像された画像40000個のピクセルの値がある。したがって、細胞が撮像された画像の次元は40000個である。ここで、画像の次元とは画像を構成する要素の数である。すなわち、40000個の値を用いることで撮像された細胞の画像を表しているので、40000個の値のそれぞれは、画像を構成する要素である。本実施形態においては、40000次元から、次元を削減した値を算出する。次元を削減した値とは2048次元の値である。細胞が撮像された画像は40000個のピクセルの値を用いて表現されていたが、次元を削減した2048次元の値でも細胞が撮像された画像を表現することが可能となった。なお、本実施形態では、画像を構成するピクセルの値は、256階調で表現されている。もちろん、画像を構成するピクセルの値は256階調に限られない。
この構成により、算出装置10は、学習により、最適化したニューラルネットワークを利用した次元削減手法を用いて、細胞画像同士の違いを定量化できるため、細胞画像から導出される特徴を反映した定量化をすることが可能となる。さらに、定量化においては、画像に撮像された細胞と類似度とに応じて、算出される距離を変えることが可能となる。本実施形態においては、画像の類似度が高い細胞同士の距離は近く、画像の類似度が低い細胞同士の距離は遠くすることが可能である。また、本実施形態においては、ニューラルネットワークを用いて次元を削減することで、用いる画像から導出される細胞の特徴を損なうことなく、次元を削減した特徴量とすることが可能となる。
上記の実施形態においては、算出装置10が、複数の基準画像に基づいて算出される特徴量と、1枚の比較画像に基づいて算出される特徴量との違いを算出する場合について説明した。ここでは変形例として、比較画像が複数ある場合、すなわち算出装置10が、複数の基準画像に基づいて算出される特徴量と、複数の比較画像に基づいて算出される特徴量との違いを算出する場合について説明する。以下では上記の実施形態と異なる部分を中心に説明する。
比較画像取得部102は、撮像部22が撮像した複数の細胞画像を複数の比較画像として取得する(ステップS300)。比較画像取得部102は、取得した複数の比較画像を比較画像群G1として比較特徴量算出部1032に供給する。
ここで図8(B)を参照し、複数の基準画像と複数の比較画像との違いを定量化する処理について説明する。
図8は、本実施形態の複数の基準画像と複数の比較画像との違いを定量化する処理の一例を示す図である。比較特徴量算出部1032は、比較画像群G1に含まれる比較画像P11~P19をニューラルネットワークNに入力する。比較特徴量算出部1032は、次元削減手法としてニューラルネットワークを用いて比較画像P11~P19毎に比較特徴量をそれぞれ算出する。
比較特徴量算出部1032は、算出した複数の比較特徴量を代表特徴量算出部1033に供給する。
代表特徴量算出部1033は、比較特徴量算出部1032が供給する複数の比較特徴量から、比較特徴量の次元ごとに比較代表特徴量FAを算出する(ステップS302)。ここで比較代表特徴量FAとは、複数の比較特徴量の代表値である。代表特徴量算出部1033は、算出した比較代表特徴量FAを距離算出部1034に供給する。
結果出力部300は、距離算出部1034が供給する距離を表示部30に表示させることにより結果を出力する(ステップS304)。
この構成により、複数の基準画像から算出される特徴量の代表値と、複数の比較画像から算出される特徴量の代表値とを用いて、複数の基準画像と複数の比較画像との違いを算出することができる。したがって、複数の基準画像と複数の比較画像との違いを、代表値の違いにより表現することができる。複数の基準画像と、複数の基準画像との違いをそれぞれの代表値を用い、違いを定量化させることで、例えば、基準画像のそれぞれの違いによる定量化への影響を抑制することができる。
以下、図面を参照しながら本発明の第2の実施形態について説明する。
上記第1の実施形態では、算出装置が、複数の基準画像と比較画像との違いを定量化する場合について説明した。本実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明する。
割合算出部105は、選択部104が選択した結果に基づいて、複数の比較画像から、距離算出部1034が算出した距離が所定の値より大きい比較画像の割合を算出する。割合算出部105は、算出した結果を結果出力部300に供給する。
位置判定部106は、選択部104が選択した結果に基づいて、距離算出部1034が算出した距離が所定の値より大きい比較画像に対応するウェルWの位置を判定する。位置判定部106は、判定した結果を結果出力部300に供給する。
選択部104は、距離算出部1034が算出した距離が所定の値より大きい比較画像を選択する(ステップS403)。つまり、選択部104は、距離算出部1034が算出した違いが所定の値より大きい比較画像を選択する。選択部104は、選択した比較画像を示す情報を割合算出部105に供給する。
ここで図11を参照し、複数の比較画像の反応割合の算出の処理について説明する。
図10に戻って、複数の比較画像に対する演算部100aの演算手順の説明を続ける。
ここで図12、図13を参照し距離が最大である比較画像を選択する処理、及びウェル内の位置を判定する処理について説明する。
図12は、本実施形態の比較画像を選択する処理の一例を示す図である。図12に示す例では、距離算出部1034が算出した距離d1~d9のうちd3が最大である。選択部104は、距離算出部1034が算出した距離が最大である比較画像として、比較画像P23を選択する。表示部30は、比較画像P23を細胞画像C2として表示する。
選択部104は、算出部103が算出した違いが所定の値より大きい比較画像を選択する。この構成により、複数の基準画像との違いが所定の値より大きい比較画像を選択できるため、細胞画像のなかから、加えられた刺激に対する反応が大きい細胞の細胞画像を選択できる。
以下、図面を参照しながら本発明の第3の実施形態について説明する。
上記第2の実施形態では、算出装置が、定量化した基準画像と比較画像との違いが所定の値より大きい比較画像を選択する場合について説明した。本実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明する。
時系列解析画像群とは、細胞刺激後の細胞がタイムラプス撮影された複数の細胞画像である。時系列解析画像群は、画像群T0、画像群T1、…、画像群Tnからなる。画像群T0、画像群T1、…、画像群Tnは、この順にタイムラプス撮影の時系列に対応している。なお、画像群T0、画像群T1、…、画像群Tnは、同じウェルにおいて培養された細胞の細胞画像でなくてもよい。また、画像群T0、画像群T1、…、画像群Tnは、それぞれ1枚の細胞画像であってもよい。
解析画像取得部107は、画像群T0を時系列基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群T1、画像群T2、…、画像群Tnを時系列比較画像群とし、比較画像取得部102bに供給する。つまり、時系列比較画像群に含まれる比較画像とは、時系列に撮像された画像である。
解析画像取得部107は、画像群X0を濃度変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群X1、画像群X2、…、画像群Xnを濃度変化比較画像群とし、比較画像取得部102bに供給する。つまり濃度変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の濃度毎に撮像された比較細胞の画像である。
解析画像取得部107は、画像群Y0を種類変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、画像群Y1、画像群Y2、…、画像群Ynを算出部103bに供給する。つまり、種類変化比較画像群に含まれる比較画像とは、比較細胞に添加された化合物の種類毎に撮像された細胞の画像である。
比較画像取得部102bは、解析画像取得部107が供給する時系列変化比較画像群を取得し、算出部103bに供給する。比較画像取得部102bは、解析画像取得部107が供給する濃度変化比較画像群を取得し、算出部103bに供給する。比較画像取得部102bは、解析画像取得部107が供給する種類変化基準画像群を取得し、算出部103bに供給する。
算出部103bは、基準画像取得部101bが供給する濃度変化基準画像群である画像群X0に基づいて算出される基準代表特徴量と、比較画像取得部102bが供給する濃度変化解析画像群である画像群X1、画像群X2、…、画像群Xnに基づいて算出される比較代表特徴量それぞれとの距離を濃度変化距離として算出する。算出部103bは、算出した濃度変化距離を解析部108の濃度変化算出部1082に供給する。
算出部103bは、基準画像取得部101bが供給する種類変化基準画像群である画像群Y0に基づいて算出される基準代表特徴量と、比較画像取得部102bが供給する種類変化解析画像群である画像群Y1、画像群Y2、…、画像群Ynに基づいて算出される比較代表特徴量それぞれとの距離を種類変化距離として算出する。算出部103bは、算出した種類変化距離を解析部108の種類変化算出部1083に供給する。
なお、比較画像群が1枚の比較画像からなる場合、算出部103は、代表特徴量算出部1033を備えていなくてもよい。
図15は、本実施形態の演算部100bの演算手順の一例を示す流れ図である。なお、ステップS503、ステップS504、ステップS505及びステップS506の各処理は、図7における、ステップS300、ステップS301、ステップS302、及びステップS303の各処理と同様であるため、説明を省略する。
解析画像取得部107は、濃度変化解析画像群を取得した場合、画像群X0を濃度変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、濃度変化解析画像群を取得した場合、画像群X1、画像群X2、…、画像群Xnを濃度変化比較画像群とし、比較画像取得部102bに供給する。
解析画像取得部107は、種類変化解析画像群を取得した場合、画像群Y0を種類変化基準画像群とし、基準画像取得部101bに供給する。解析画像取得部107は、種類変化解析画像群を取得した場合、画像群Y1、画像群Y2、…、画像群Ynを算出部103bに供給する。
算出部103は、時系列変化を解析する場合、時系列の時刻毎に、画像群T0から算出される基準代表特徴量と、この時刻に対応する時系列比較画像群から算出される比較代表特徴量との距離を算出する。
算出部103は、化合物の濃度の変化を解析する場合、化合物の濃度毎に、画像群X0から算出される基準代表特徴量と、この濃度に対応する濃度変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部103は、化合物の種類の変化を解析する場合、化合物の種類毎に、画像群Y0から算出される基準代表特徴量と、この種類に対応する種類変化比較画像群から算出される比較代表特徴量との距離を算出する。
算出部103bは、変化毎の処理を終了する(ステップS507)。算出部103bは、算出した変化毎の距離を解析画像取得部107に供給する。
算出装置10bが時系列の変化を解析する場合、時系列算出部1081は算出部103bが供給する時系列の時刻毎の距離を取得する。時系列算出部1081は、取得した距離と、この距離に対応する時系列の時刻とを組にして結果出力部300に供給する。
算出装置10bが化合物の濃度の変化を解析する場合、濃度変化算出部1082は算出部103bが供給する化合物の濃度毎の距離を取得する。濃度変化算出部1082は、取得した距離と、この距離に対応する濃度とを組にして結果出力部300に供給する。
算出装置10bが化合物の種類の変化を解析する場合、種類変化算出部1083は算出部103bが供給する化合物の種類毎の距離を取得する。種類変化算出部1083は、取得した距離と、この距離に対応する種類とを組にして結果出力部300に供給する。
ここで図16~18を参照し、解析部108が算出する基準画像群と比較画像群との違いの変化の例について説明する。
時系列算出部1081は、算出部103bが算出した違いを用い、時系列における時刻毎の前記違いを算出する。ここで算出部103bが算出した違いとは、複数の基準画像に基づいて算出される特徴量と、時系列に撮像された画像である比較画像に基づいて算出される特徴量との違いである。この構成により、算出装置10bは、刺激が加えられる前の細胞画像と刺激が加えられた後の細胞画像との違いを刺激が加えられてからの時系列において定量化できるため、刺激が加えられてからの細胞の反応の時系列の変化を定量化できる。
以下、図面を参照しながら本発明の第4の実施形態について説明する。
上記第3の実施形態では、算出装置が、基準画像群と比較画像群との違いについて、時系列の変化、細胞に添加される化合物の濃度に対する変化及び種類に対する変化を算出する場合について説明した。本実施形態では、算出装置が、細胞画像を分類する場合について説明する。
ここで、分類用基準画像群とは、細胞画像をクラスに分類するための複数の種類の基準画像群である。細胞画像が分類されるクラスとは、例えば、細胞の種類ごとに分類したクラスである。細胞の種類は、例えば、心筋細胞や、脳細胞など、生物の器官ごとの細胞の種類であってよい。細胞の種類は、生物の特定の器官を構成する細胞の種類であってもよい。生物の特定の器官を構成する細胞とは、例えば、神経系を構成するアストロサイト、グリア細胞、オリゴデンドロサイト、及びニューロンである。細胞の種類は、上皮細胞や間葉細胞であってもよい。細胞の種類は、がん細胞及び健常細胞であってもよい。また、細胞画像が分類されるクラスは、分化の段階ごとに細胞を分類したクラスであってもよい。このクラスはiPS(induced pluripotent stem cells)細胞を分化の段階ごとに分類したクラスであってもよい。また、細胞画像が分類されるクラスは、分裂周期ごとに細胞を分類したクラスであってもよい。
したがって、例えば、算出装置10cが細胞画像をがん細胞と健常細胞とに分類する場合、分類用基準画像取得部101cは、がん細胞に対応する分類用基準画像群と、健常細胞に対応する分類用基準画像群とを取得する。
算出部103cは、分類用基準画像取得部101cが供給する分類用基準画像群と、対象画像取得部102cが供給するひとつ以上の対象画像とのそれぞれの距離を算出する。ここで分類用基準画像群は、複数の種類の基準画像群であり、複数の種類の基準画像群は、算出装置10cが細胞画像を分類するクラスにそれぞれ対応する。算出部103cは、対象画像を比較画像として距離を算出する。つまり、算出部103cは、複数の種類の基準画像と比較画像とのそれぞれの違いを算出する。算出部103cは、算出したクラスに対応するそれぞれの距離を分類部109に供給する。
記憶部200cは、次元削減情報記憶部201と、分類用基準画像記憶部202cとを備える。分類用基準画像記憶部202cには、算出装置10cが細胞画像を分類するクラスにそれぞれ対応する複数の種類の分類用基準画像群が記憶される。
図20は、本実施形態の算出部による基準特徴量の算出手順の一例を示す流れ図である。
演算部100cは、算出装置10cが細胞画像を分類するクラス毎に処理を開始する(ステップS600)。
分類用基準画像取得部101cは、記憶部200cの分類用基準画像記憶部202cに記憶される分類用基準画像群を取得する(ステップS601)。分類用基準画像取得部101cは、取得した分類用基準画像群を算出部103cに供給する。
ステップS602及びステップS603の各処理は、図3におけるステップS101及びステップS102の各処理と同様であるため、説明を省略する。
演算部100cは、クラス毎の処理を終了する(ステップS604)。
対象画像取得部102cは、撮像部22が撮像したひとつ以上の細胞画像をひとつ以上の対象画像として取得する(ステップS700)。対象画像取得部102cは、取得したひとつ以上の対象画像を算出部103cに供給する。
ステップS701及びステップS702の各処理は、図5におけるステップS201及びステップS202の各処理と同様であるため、説明を省略する。ただし、算出部103cは、対象画像を比較画像として、複数の分類用基準画像群それぞれとの距離を算出する。算出部103cは、算出したクラスに対応するそれぞれの距離を分類部109に供給する。
なお、算出部103cは、分類用基準画像取得部101cが供給する対象画像が複数である場合、それらの複数の対象画像から代表比較特徴量を算出してよい。算出部103cは、算出した代表比較特徴量と、複数の種類の基準画像群それぞれから算出される代表基準特徴量との距離をそれぞれ算出する。
結果出力部300は、分類部109が供給する分類結果を表示部30に表示させる(ステップS704)。
以下、図面を参照しながら本発明の第5の実施形態について説明する。
上記実施形態では、算出装置が、基準画像群と比較画像群との違いを算出する場合について説明した。本実施形態では、算出装置が、比較画像群同士の距離を算出することにより、ウェル内において異常画像を選択したり、細胞の培養状態を判定したりする場合について説明する。
図23は、本発明の第5実施形態による算出装置10dが備える各部の機能構成の一例を示すブロック図である。本実施形態に係る算出装置10d(図23)と、第2の実施形態に係る算出装置10a(図9)とを比較すると、演算部100dにおいて、比較画像取得部102dと、比較画像違い算出部103d、異常画像選択部104d、及び培養状態判定部110が異なる。また、第3の実施形態に係る算出装置10b(図14)と同様に、記憶部200bは、基準画像記憶部を備える必要がない点が異なる。しかし、他の構成要素が持つ機能は第2の実施形態と同じである。第2の実施形態と同じ機能の説明は省略し、第5の実施形態では、第2の実施形態と異なる部分を中心に説明する。
比較画像違い算出部103dは、比較画像取得部102dが供給するウェル比較画像群に含まれる比較画像同士の距離を算出する。つまり、比較画像違い算出部103dは、比較画像同士の違いを算出する。比較画像違い算出部103dは、比較特徴量算出部1032と、距離算出部1034dとを備える。
ここで異常画像とは、例えば、以下のような場合に撮像された細胞画像である。異常画像とは、例えば、分裂中の細胞が撮像された細胞画像である。異常画像とは、例えば、死滅した細胞が撮像された細胞画像である。異常画像とは、例えば、ウェル内において細胞の密度が極端に小さい場合に撮像された細胞画像である。異常画像とは、例えば、細胞以外の物体がウェル内に混在したまま撮像された細胞画像である。
図24は、本実施形態の演算部100dの培養状態を判定する演算手順の一例を示す図である。ステップS801及びステップS802の各処理は、図7におけるステップS301及びステップS302の各処理と同様であるため、説明を省略する。
比較画像取得部102dは、撮像部22が複数のウェルプレートについてウェル比較画像群を取得する(ステップS800)。比較画像取得部102dは、取得したウェル比較画像群を比較画像違い算出部103dに供給する。
距離算出部1034dは、算出したウェル内距離、ウェル間距離、及びプレート間距離算出を培養状態判定部110に供給する。
図25は、本実施形態の培養状態判定処理の一例を示す図である。培養状態判定部110は、例えば、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの全てが所定の閾値以下であるか否かを判定する。培養状態判定部110は、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの全てが所定の閾値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部110は、例えば、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPの大小を比較し、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPがこの順において大きくなっているか否かを判定してもよい。培養状態判定部110は、ウェル内距離DW、ウェル間距離DB、及びプレート間距離DPがこの順において大きくなっていると判定する場合、培養状態は適切であると判定する。
培養状態判定部110は、例えば、ウェルプレートWP1の1組のウェルであるウェルW11とウェルW12とについてのウェル間距離DBを基準値として、ウェルプレートWP1内のそれぞれのウェルについてのウェル間距離DBが、この基準値以下であるか否かを判定してもよい。培養状態判定部110は、ウェルプレートWP1内のそれぞれのウェルについてのウェル間距離DBが基準値以下であると判定する場合、培養状態は適切であると判定する。
培養状態判定部110は、例えば、ウェルプレートWP1のあるウェルW11とウェルプレートWP1の他のウェルとのウェル間距離DBの、ウェルプレートWP1の他のウェルについての平均をウェルW11のスコアとして算出し、このスコアに基づいて培養状態を判定してもよい。培養状態判定部110は、ウェルプレートWP1内の全てのウェルについてスコアを算出し、ウェルプレートWP1の全てのウェルについてスコアの平均値を算出する。培養状態判定部110は、ウェルプレートWP1内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であるか否かを判定する。培養状態判定部110は、ウェルプレートWP1内の全てのウェルのスコアと、スコアの平均値との差が所定の閾値以内であると判定する場合、培養状態は適切であると判定する。
結果出力部300は、演算部100dが供給する結果を表示部30に表示させる(ステップS807)。結果出力部300は、異常画像選択部104dが供給する異常画像を示す情報に基づき、異常画像を表示部30に表示させる。結果出力部300は、位置判定部106が供給する異常画像のウェル内の位置を表示部30に表示させてもよい。結果出力部300は、培養状態判定部110が供給する培養状態の判定結果を表示部30に表示させる。
また、距離算出部1034dは、ウェルAWに対するウェル比較画像群の比較代表特徴量と、ウェルAWを除くウェルプレート内の他の全てのウェルに対するウェル比較画像群の比較代表特徴量との距離との差を、他の全てのウェルについて合計した値を算出してもよい。異常画像選択部104dは、この値が所定の値以上である場合、ウェルAWを異常ウェルとして判定してもよい。
また、本実施形態においては、細胞の培養状態の判定にウェル比較画像群の代表特徴量同士の距離が用いられる場合について説明したが、ウェル比較画像群の代表特徴量同士の距離の代わりに、ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられてもよい。ウェル比較画像群における反応割合が細胞の培養状態の判定に用いられる場合、算出装置10dは、割合算出部105を備えてよい。例えば、ウェル比較画像群における反応割合を、ウェル内の複数の位置同士について比較し、ある位置の反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。算出装置10dは、ウェル内のそれぞれの位置について、反応割合がウェル内の他の位置の反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定してよい。
または、ウェル比較画像群における反応割合を、ウェルプレート内の複数のウェル同士について比較し、あるウェルの反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。ウェルプレート内のそれぞれのウェルについて、反応割合がウェルプレート内の他のウェルの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
あるいは、ウェル比較画像群における反応割合を、ウェルプレート全体内の複数のウェルプレート同士について比較し、あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内であるかを算出してもよい。あるウェルプレートの反応割合がウェルプレート全体内の他のウェルプレートの反応割合の平均値に比べて所定の範囲内である場合、培養状態は適切であると判定されてよい。
上記の第5実施形態においては、算出装置10dが、ウェルにおいて培養される細胞の細胞画像同士の違いを算出する場合について説明したが、変形例として、算出装置10dが、3次元に凝集した細胞塊(コロニー)の一例として、スフェロイドの違いを算出する場合について説明する。以下では上記の第5実施形態と異なる部分を中心に説明する。なお、スフェロイド以外の3次元に凝集した細胞塊の例としては、組織を模して培養されたオルガノイドがある。
比較画像取得部102dは、スフェロイドの各断面を撮像した断面画像PZ0~PZnを取得する(ステップS900)。
ここで図27を参照し、スフェロイドの断面画像について説明する。
比較画像取得部102dは、取得した断面画像PZ0~PZnのそれぞれを所定の領域に分割し、複数の領域からなる比較画像群として比較特徴量算出部1032に供給する。
[第6実施形態]
以下、図面を参照しながら本発明の第6の実施形態について説明する。
上記実施形態では、算出装置が、ウェル内の位置に対応する細胞画像同士の違いを定量化する場合について説明した。本実施形態では、算出装置が、スフェロイドが撮像された3次元画像同士の違いを定量化する場合について説明する。
解析画像取得部107eは、スフェロイド画像SF0、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3からなる。
基準画像取得部101eは、解析画像取得部107eが供給する基準画像群を取得し、比較画像違い算出部103eに供給する。
比較画像取得部102eは、解析画像取得部107eが供給する比較画像群を取得し、比較画像違い算出部103eに供給する。
代表特徴量算出部1033eは、比較特徴量算出部1032eが供給するスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3毎に複数の特徴量テンソルから代表特徴量テンソルをそれぞれ算出し、それぞれ比較代表特徴量テンソルとする。代表特徴量算出部1033eは、算出した比較代表特徴量テンソルを距離算出部1034eに供給する。
距離算出部1034eは、代表特徴量算出部1033eが供給する基準代表特徴量テンソルと、複数の比較代表特徴量テンソルとの距離をそれぞれ算出し、画像選択部104eに供給する。
図29は、本実施形態の演算部100eによる画像を選択する演算手順の一例を示す図である。
解析画像取得部107eは、スフェロイド画像SF0を基準画像群とし、基準画像取得部101eに供給する。撮像部22が撮像した解析画像群であるスフェロイド画像のうち、解析画像取得部107eがいずれのスフェロイド画像を基準画像群とするかは、算出装置10eの使用者によって予め指定されてよい。
解析画像取得部107eは、スフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3をそれぞれ比較画像群とし、比較画像取得部102eに供給する。
基準画像取得部101eは、解析画像取得部107eが供給する基準画像群であるスフェロイド画像SF0を取得する(ステップS110)。基準画像取得部101eは、取得したスフェロイド画像SF0を基準特徴量算出部1031eに供給する。
比較画像取得部102eは、解析画像取得部107eが供給するスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3を比較画像群として取得する(ステップS1002)。比較画像取得部102eは、取得したスフェロイド画像SF1、スフェロイド画像SF2、及びスフェロイド画像SF3を比較特徴量算出部1032eに供給する。
なお、画像選択部104eは、距離算出部1034eが供給する複数の距離のなかから最も大きい距離を判定し、比較画像群の中からスフェロイド画像を選択してもよい。
Claims (16)
- 第1の細胞が撮像された基準画像を取得する基準画像取得部と、
前記第1の細胞に対する条件とは異なる条件下の第2の細胞が撮像された比較画像を取得する比較画像取得部と、
前記基準画像を複数枚用いて算出される第1の特徴量と、前記比較画像を用いて算出される第2の特徴量との違いを算出する算出部とを備え、
前記複数の基準画像のそれぞれは、前記第1の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出装置。 - 前記第1の特徴量及び前記第2の特徴量は、複数種類の特徴量を含み、
前記違いは、互いに対応する種類間の前記特徴量から算出される、請求項1に記載の算出装置。 - 前記算出部は、複数の前記比較画像を用いて、複数の前記違いを算出し、
複数の違いが所定の値より大きい前記比較画像を選択する画像選択部を備える、請求項1または請求項2に記載の算出装置。 - 前記画像選択部が選択した結果を用いて、複数の前記比較画像から、前記算出部が算出した前記違いが所定の値より大きい前記比較画像の割合を算出する割合算出部を備える、請求項3に記載の算出装置。
- 複数の前記比較画像の各々は、前記第2の細胞が培養される培養容器の複数の位置にそれぞれ対応し、
前記画像選択部が選択した結果を用いて、前記算出部が算出した前記違いが所定の値より大きい前記比較画像に対応する前記位置を判定する位置判定部を備える、請求項3または請求項4に記載の算出装置。 - 複数の前記比較画像は、時系列に撮像された複数の画像であり、
前記算出部が算出した前記違いを用いて、前記時系列における時刻毎の前記違いを算出する時系列算出部を備える、請求項1から請求項5のいずれか一項に記載の算出装置。 - 複数の前記比較画像は、前記第2の細胞に添加された化合物の濃度毎に撮像された複数の画像であり、
前記算出部が算出した前記違いを用いて、前記濃度毎の前記違いを算出する濃度変化算出部を備える、請求項1から請求項6のいずれか一項に記載の算出装置。 - 複数の前記比較画像は、前記第2の細胞に添加された化合物の種類毎に撮像された複数の画像であり、
前記算出部が算出した前記違いを用いて、前記種類毎の前記違いを算出する種類変化算出部を備える、請求項1から請求項7のいずれか一項に記載の算出装置。 - 前記基準画像取得部は、複数の種類の前記基準画像を取得し、
前記算出部は、前記複数の種類の基準画像と前記比較画像とのそれぞれの違いを算出し、
前記算出部が算出した複数の前記違いを用い、前記比較画像を分類する分類部を備える、請求項1から請求項8のいずれか一項に記載の算出装置。 - 複数の前記比較画像間の違いを算出する比較画像違い算出部と、
前記比較画像間の前記違いが所定の値より大きい前記比較画像を、異常画像として選択する異常画像選択部とを備える、請求項1から請求項9のいずれか一項に記載の算出装置。 - 前記比較画像間の前記違いが所定の範囲内であるか否かに基づいて、前記比較画像に撮像されている前記第2の細胞の培養状態を判定する培養状態判定部を備える、請求項1から請求項10のいずれか一項に記載の算出装置。
- 前記算出部は、前記基準画像を次元削減することにより前記第1の特徴量を算出し、前記比較画像を次元削減することにより前記第2の特徴量を算出する、請求項1から11のいずれか一項に記載の算出装置。
- 前記算出部は、入力層と、ひとつ以上の中間層と、出力層との複数の階層を含み、各階層のノードが次階層以降のノードに対してノードごとに所定の重みづけをした情報を伝達するニューラルネットワークによって、前記第1の特徴量を算出する、請求項12に記載の算出装置。
- 前記算出部は、前記ニューラルネットワークを構成する前記中間層のうちいずれかの前記中間層の出力を用いる、請求項13に記載の算出装置。
- コンピュータに、
第1の細胞が撮像された基準画像を取得する基準画像取得ステップと、
前記第1の細胞に対する条件とは異なる条件下の第2の細胞が撮像された比較画像を取得する比較画像取得ステップと、
前記基準画像を複数枚用いて算出される第1の特徴量と、前記比較画像を用いて算出される第2の特徴量との違いを算出する算出ステップとを実行させるための、算出プログラムであって、
前記複数の基準画像のそれぞれは、前記第1の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出プログラム。 - 第1の細胞が撮像された基準画像を取得するステップと、
前記第1の細胞に対する条件とは異なる条件下の第2の細胞が撮像された比較画像を取得するステップと、
前記基準画像を複数枚用いて算出される第1の特徴量と、前記比較画像を用いて算出される第2の特徴量との違いを算出するステップとを有し、
前記複数の基準画像のそれぞれは、前記第1の細胞が培養される培養容器の複数の位置にそれぞれ対応する、
算出方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/005511 WO2019159326A1 (ja) | 2018-02-16 | 2018-02-16 | 算出装置、算出プログラム及び算出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019159326A1 JPWO2019159326A1 (ja) | 2021-01-28 |
JP7064720B2 true JP7064720B2 (ja) | 2022-05-11 |
Family
ID=67619911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571915A Active JP7064720B2 (ja) | 2018-02-16 | 2018-02-16 | 算出装置、算出プログラム及び算出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200372652A1 (ja) |
EP (1) | EP3754595A4 (ja) |
JP (1) | JP7064720B2 (ja) |
WO (1) | WO2019159326A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114450707A (zh) * | 2019-09-27 | 2022-05-06 | 株式会社尼康 | 信息处理装置、信息处理方法、信息处理程序及信息处理系统 |
TWI761109B (zh) * | 2021-03-04 | 2022-04-11 | 鴻海精密工業股份有限公司 | 細胞密度分群方法、裝置、電子設備及電腦存儲介質 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007080136A (ja) | 2005-09-16 | 2007-03-29 | Seiko Epson Corp | 画像内に表現された被写体の特定 |
JP2010157073A (ja) | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 顔認識装置、顔認識方法及び顔認識プログラム |
JP2016523550A (ja) | 2013-07-03 | 2016-08-12 | コイン アイピー ホールディングス、 エルエルシー | 化学的または生物学的物質に対する応答の予測方法 |
JP2017519985A (ja) | 2014-06-16 | 2017-07-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 血液学用デジタルホログラフィ顕微鏡検査データ分析 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8885913B2 (en) * | 1999-01-25 | 2014-11-11 | Amnis Corporation | Detection of circulating tumor cells using imaging flow cytometry |
ES2203543T3 (es) * | 1999-11-04 | 2004-04-16 | Meltec Multi-Epitope-Ligand-Technologies Gmbh | Procedimiento para el analisis automatico de imagenes microscopicas. |
US7016787B2 (en) * | 2001-02-20 | 2006-03-21 | Cytokinetics, Inc. | Characterizing biological stimuli by response curves |
US20030229278A1 (en) * | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for knowledge extraction from image data |
US7907769B2 (en) * | 2004-05-13 | 2011-03-15 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
JP4968595B2 (ja) * | 2008-07-23 | 2012-07-04 | 株式会社ニコン | 細胞の状態判別手法及び細胞観察の画像処理装置 |
WO2012176785A1 (ja) | 2011-06-20 | 2012-12-27 | 株式会社ニコン | 画像処理装置および方法、並びにプログラム |
WO2018154924A1 (ja) * | 2017-02-27 | 2018-08-30 | 富士フイルム株式会社 | 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム |
-
2018
- 2018-02-16 WO PCT/JP2018/005511 patent/WO2019159326A1/ja unknown
- 2018-02-16 EP EP18906635.0A patent/EP3754595A4/en active Pending
- 2018-02-16 JP JP2019571915A patent/JP7064720B2/ja active Active
-
2020
- 2020-08-13 US US16/992,386 patent/US20200372652A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007080136A (ja) | 2005-09-16 | 2007-03-29 | Seiko Epson Corp | 画像内に表現された被写体の特定 |
JP2010157073A (ja) | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 顔認識装置、顔認識方法及び顔認識プログラム |
JP2016523550A (ja) | 2013-07-03 | 2016-08-12 | コイン アイピー ホールディングス、 エルエルシー | 化学的または生物学的物質に対する応答の予測方法 |
JP2017519985A (ja) | 2014-06-16 | 2017-07-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 血液学用デジタルホログラフィ顕微鏡検査データ分析 |
Non-Patent Citations (1)
Title |
---|
福井 宏 他,プライバシーに配慮したDeep Convolutional Neural Networkによるクラウド型顔照合システム,第22回 画像センシングシンポジウム SSII2016 [USB],日本,画像センシング技術研究会,2016年12月31日,IS1-24 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019159326A1 (ja) | 2021-01-28 |
EP3754595A1 (en) | 2020-12-23 |
EP3754595A4 (en) | 2021-09-08 |
WO2019159326A1 (ja) | 2019-08-22 |
US20200372652A1 (en) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733726B2 (en) | Pathology case review, analysis and prediction | |
Jo et al. | Quantitative phase imaging and artificial intelligence: a review | |
Nketia et al. | Analysis of live cell images: Methods, tools and opportunities | |
US20190384047A1 (en) | Systems, devices, and methods for image processing to generate an image having predictive tagging | |
JP2023501126A (ja) | 組織画像分類用のマルチインスタンス学習器 | |
JP6967232B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Melanthota et al. | Deep learning-based image processing in optical microscopy | |
JPWO2008129881A1 (ja) | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 | |
JP6756339B2 (ja) | 画像処理装置、及び画像処理方法 | |
Abade et al. | NemaNet: A convolutional neural network model for identification of soybean nematodes | |
Shaw et al. | Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy | |
JP7064720B2 (ja) | 算出装置、算出プログラム及び算出方法 | |
US11379983B2 (en) | Analysis device, analysis program, and analysis method | |
Siu et al. | Optofluidic imaging meets deep learning: from merging to emerging | |
Yadlapalli et al. | Intelligent classification of lung malignancies using deep learning techniques | |
WO2018193612A1 (ja) | 相関算出装置、相関算出方法及び相関算出プログラム | |
Samiei et al. | The tcga meta-dataset clinical benchmark | |
Benisty et al. | Review of data processing of functional optical microscopy for neuroscience | |
JP6999118B2 (ja) | 画像処理装置 | |
WO2020090089A1 (ja) | 判定装置、判定方法、及び判定プログラム | |
WO2019159247A1 (ja) | 算出装置、解析プログラム及び解析方法 | |
WO2018122908A1 (ja) | 解析装置、解析プログラム及び解析方法 | |
Pylvänäinen | Bioimage Analysis for Life Scientists: Tools for Live Cell Imaging | |
Andreassen | Melanoma prognosis prediction using image processing and machine learning | |
Hay | Identifying Gut Bacteria and Their Interactions Using Deep Learning Based Image Analysis and Gnotobiotic Experiments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7064720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |