JP5861428B2 - 細胞挙動検出装置、細胞挙動検出方法、及びプログラム - Google Patents

Description

本発明は、タイムラプス画像から特定の細胞挙動を検出する細胞挙動検出装置等に関するものである。特に、本発明は、細胞死を検出する細胞挙動検出装置等に関するものである。

従来から、体外受精、新薬開発、再生医療等の分野において、一定間隔ごとに細胞を撮影した画像（タイムラプス画像）に基づいて、コンピュータによって細胞の挙動を検出する技術が利用されている。このような分野において、細胞の死滅イベントである「細胞死」を検出したいというニーズがある。

上記のニーズを満たす為に、特許文献１では、蛍光発色させた細胞内における染色体を顕微鏡によって撮影し、染色体の円形度、丸み度、長軸と短軸の長さ等の形状パラメータを算出し、算出されるパラメータに基づき、細胞周期のステージを判定することが記載されている。

特許第４５２１５７２号公報

しかしながら、特許文献１に記載の手法のように、長時間、蛍光画像を撮影すると、細胞にダメージを与えることが知られている。また、細胞の種類によって蛍光発色させるためのタンパク質は異なる。従って、そのタンパク質の探索及び安定的な蛍光画像の取得が大きな課題として残る。

また、細胞死は、薬品の効果検証及び安全性検証において非常に重要な細胞挙動である。従って、自動的に細胞死を検出したいというニーズがある。一方、特許文献１に記載の手法では、分裂や分裂前の状態等のステージを認識することはできるが、いつ細胞死が起きているかまでは検出できない。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、非侵襲的に細胞死を自動検出することが可能な細胞挙動検出装置等を提供することである。

前述した目的を達成するために第１の発明は、単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出する候補パッチ検出手段と、複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成する候補パッチ列作成手段と、前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出する尤度算出手段と、前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するＭ期終了フレーム特定手段と、を具備する細胞挙動検出装置である。第１の発明によって、非侵襲的に細胞死を自動検出することが可能となる。

第１の発明における細胞挙動検出装置は、前記Ｍ期終了フレーム後のフレームにおいて、前記細胞死のイベントが発生しているか否かを判定するイベント判定手段、を更に具備することが望ましい。これによって、Ｍ期終了フレーム後のイベントが、細胞死のイベントであるか否かを自動判定することが可能となる。

また、前記イベント判定手段は、前記尤度ベクトルと前記ラベルベクトルとの内積の最大値を前記候補パッチ列のフレーム数で割った値が、閾値を下回る場合には、前記細胞死のイベントが発生していないと判定することが望ましい。ここで、尤度ベクトルとラベルベクトルとの内積の最大値を候補パッチ列のフレーム数で割った値が、閾値を下回る場合、Ｍ期から細胞死に移行していることを示す尤度が、安定的に得られていないことを意味する。従って、このような場合には細胞死のイベントが発生していないと判定することによって、細胞死のイベントが発生していない候補パッチ列に対して、細胞死のイベントが発生していると誤判定してしまうことを回避することができる。

また、前記イベント判定手段は、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値が、前記候補パッチ列の最終フレームである場合には、前記細胞死のイベントが発生していないと判定することが望ましい。ここで、尤度ベクトルとラベルベクトルとの内積が最大となるｉの値が、候補パッチ列の最終フレームである場合、最終フレームまでＭ期のままであることを意味する。従って、このような場合には細胞死のイベントが発生していないと判定することによって、細胞死のイベントが発生していない候補パッチ列に対して、細胞死のイベントが発生していると誤判定してしまうことを回避することができる。

第２の発明は、コンピュータの制御部が実行する細胞挙動検出方法であって、前記制御部が、単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出するステップと、前記制御部が、複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成するステップと、前記制御部が、前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出するステップと、前記制御部が、前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するステップと、を含む細胞挙動検出方法である。第２の発明によって、非侵襲的に細胞死を自動検出することが可能となる。

第３の発明は、コンピュータを、単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出する候補パッチ検出手段と、複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成する候補パッチ列作成手段と、前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出する尤度算出手段と、前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するＭ期終了フレーム特定手段と、して機能させるためのプログラムである。第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の細胞挙動検出装置を得ることができる。

本発明により、非侵襲的に細胞死を自動検出することが可能な細胞挙動検出装置等を提供することができる。

細胞挙動検出装置のハードウエア構成を示す図 複数フレームのタイムラプス画像群の拡大模式図 細胞挙動検出処理の流れを示すフローチャート 候補パッチ検出処理を説明する模式図 候補パッチ列の作成結果を示す模式図 尤度算出処理を説明する模式図 Ｍ期終了フレーム特定処理の詳細を示すフローチャート フレームごとの尤度の値を示すグラフ（第１の例） 候補パッチ列の模式図及びフレームごとの尤度の値を示すグラフ（第２の例） フレームごとの尤度の値を示すグラフ（第３の例及び第４の例） フレームごとの尤度の値を示すグラフ（第５の例〜第７の例）

図１は、本発明の実施の形態に係る細胞挙動検出装置１を実現するコンピュータのハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

細胞挙動検出装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ ＯｎｌＹ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、細胞挙動検出装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。

周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、複数フレームのタイムラプス画像群の拡大模式図である。本実施の形態におけるタイムラプス画像は、細胞２の細胞周期に伴う挙動を観察するために、光学顕微鏡等により一定間隔ごとに撮影される画像である。一般に、細胞２の細胞周期とは、細胞分裂によって生じる娘細胞が、再び母細胞となって再び細胞分裂を行い、新しい娘細胞になるまでの過程を言う。細胞周期は、Ｍ期（Mitotic phase）と間期（interphase）に分けられる。

本実施形態において取り扱う細胞死、特にアポトーシス（apoptosis：プログラムされた細胞死）の場合、図２に示すように、細胞死に至る直前のＭ期において、細胞が丸くなり、輝度が高くなる。その後、細胞死が起こり、細胞は潰れてしまい、細胞周期から離脱する。

本実施形態における細胞挙動検出装置１は、複数フレームのタイムラプス画像群の中から、細胞死のイベントが発生しているタイミングを検出する。特に、細胞挙動検出装置１は、Ｍ期と細胞死の境界となるフレーム、すなわちＭ期が終了するフレーム（以下、「Ｍ期終了フレーム」という。）を特定することによって、細胞死のイベントが発生しているタイミングを検出する。

図３は、細胞挙動検出処理の流れを示すフローチャートである。図３に示すように、細胞挙動検出装置１の制御部１１は、記憶部１２に記憶されている任意の単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチ３を検出する（ステップＳ１）。

前述の通り、本実施形態において取り扱うアポトーシスの場合、図２に示すように、細胞死に至る直前のＭ期において、細胞が丸くなり、輝度が高くなる。そこで、細胞挙動検出装置１の制御部１１は、タイムラプス画像に含まれる多数の細胞の中から、形状が丸く、かつ輝度が高い細胞を、１つずつ候補パッチとして検出する。

図４は、候補パッチ検出処理を説明する模式図である。図４（ａ）は、多数の細胞が含まれるタイムラプス画像の模式図である。円に近い形状の細胞が、細胞死のイベントが発生する可能性がある細胞候補である。図４（ｂ）は、候補パッチ３の検出結果の模式図である。候補パッチ３は、図４（ａ）に示すように円形の領域に代えて、後述の処理において扱い易い矩形の領域としても良い。例えば、細胞挙動検出装置１の制御部１１は、図４（ａ）に示す円形の領域を含む長方形を候補パッチ３とする。

候補パッチ３を検出する手法は、様々なものが考えられる。本実施形態では、例えば、下記の文献に記載されている「multiple radius ring filter bank」の手法を用いる。
＜非特許文献１＞Detection of Hematopoietic Stem
Cells in Microscopy Images Using a Bank of Ring Filters Sung Eun Eom, Ryoma
Bise, and Takeo Kanade, The IEEE International Symposium on Biomedical Imaging,
April, 2010.

非特許文献１に記載の手法では、複数のサイズのテンプレートを利用し、テンプレートマッチングを行う。図４（ａ）では、輝度が高い部分を「白」、輝度が低い部分を「黒」によって図示している。図４（ａ）に示すように、候補パッチ３として検出したい細胞２は、輝度が高い部分がドーナッツ形状となっている。つまり、輝度が高い部分は、半径が異なる２つの同心円によって挟まれる領域である。そこで、テンプレートのサイズは、例えば、半径が大きい方の円の半径、及び２つの円の半径の差、等によって定義する。複数のサイズのテンプレートを利用することによって、細胞の個体差による誤検出を回避することができる。尚、１つの細胞が、複数のサイズのテンプレートによって重複して検出されることがある。このような場合、重複して検出されているものを１つに絞り、それ以外を除去する。

前述の説明では、複数のサイズのテンプレートを利用するとしたが、細胞２の種類によっては、単一のサイズのテンプレートを利用しても良い。また、その他の手法、例えば、画像処理における特徴抽出法の１つであるハフ変換（Hough transform）等を用いても良い。

図３の説明に戻る。次に、細胞挙動検出装置１の制御部１１は、記憶部１２に記憶されている複数フレームのタイムラプス画像群から、候補パッチ３内の細胞の挙動を追跡し、候補パッチ３が時系列順に対応付けられる候補パッチ列４を作成する（ステップＳ２）。

図５は、候補パッチ列の作成結果を示す模式図である。図５では、フレーム間の細胞２の対応付けを矢印（→）によって示している。一般に、各フレーム間における細胞２は、「移動」（細胞の位置が変化している状態）、「分裂」（細胞分裂）、「結合」（細胞同士が接している状態）、「消失」（細胞が一時的にフレームアウトした状態）、「出現」（細胞がフレームアウトから復帰した状態）等、様々な挙動を示す。そこで、細胞挙動検出装置１の制御部１１は、フレーム間ごとに細胞２の挙動を特定し、フレーム間の細胞２の対応付けを行う。全てのフレームにおける細胞２の対応付けの結果が、候補パッチ列４である。

細胞２の挙動を特定する手法は、様々なものが考えられる。本実施形態では、例えば、下記の文献に記載されている「segmentation-based association method」の手法を用いる。
＜非特許文献２＞Cell Image Analysis: Algorithms,
System and Applications Takeo Kanade, Zhaozheng Yin, Ryoma Bise, SeungIl Huh,
Sung Eun Eom, Michael Sandbothe, and Mei Chen,IEEE Workshop on Applications of
Computer Vision (WACV) 2011, January, 2011.

非特許文献２に記載の手法では、各フレームにおいて細胞２の検出を行い、フレーム間において細胞２がどのような挙動（移動、分裂、結合、消失、出現等）を示したかを求める。具体的には、全ての挙動の仮説の中から最適な組合せを選ぶことによって、細胞２の挙動を特定する。

尚、細胞２の挙動を特定する手法は、様々なものが知られている。本実施形態では、細胞２の挙動を特定する手法を限定するものではなく、細胞２の種類に応じて適切な公知技術を用いれば良い。

図３の説明に戻る。次に、細胞挙動検出装置１の制御部１１は、候補パッチ列４に含まれる候補パッチ３ごとに、Ｍ期であることの尤もらしさ又はＭ期でないことの尤もらしさのいずれかを示す尤度を算出する（ステップＳ３）。ここで、Ｍ期であることの尤もらしさが高いことと、Ｍ期でないことの尤もらしさが低いことは、同じことを意味する。制御部１１は、尤度を用いてＭ期か否かを判定するので、本実施の形態における「尤度」は、Ｍ期であることの尤もらしさ又はＭ期でないことの尤もらしさのいずれでも良い。以下では、混乱を避ける為に、「尤度」とは、Ｍ期であることの尤もらしさを示す指標として説明する。

図６は、尤度算出処理を説明する模式図である。図６では、フレーム番号が「ｆ１」〜「ｆ５」の５つの候補パッチ３から成る候補パッチ列４に対する尤度算出処理を示している。「ｆ１」及び「「ｆ２」の候補パッチ３は、Ｍ期である。「ｆ３」、「ｆ４」及び「ｆ５」の候補パッチ３は、細胞死のイベントの発生後である。

図６に示す特徴量は、細胞２の形状類似度に関する指標の一例であり、ＳＩＦＴ（Scale
Invariant Feature Transform）特徴量である。ＳＩＦＴ特徴量は、スケール、移動、回転に不変(invariant)な特徴量である。本実施の形態では、ＳＩＦＴ特徴量などの特徴量を用いて、候補パッチ３ごとに尤度Ｐ（ｆ１）〜Ｐ（ｆ５）を算出する。ここで、Ｐ（・）は、尤度を示す記号である。

尤度を算出する手法は、様々なものが考えられる。本実施形態では、例えば、下記の文献に記載されている「adaboost」（２値分類機械学習機能）を用いる。尚、「adaboost」（２値分類機械学習機能）は、オープンソースのコンピュータビジョン向けライブラリである「OpenCV」に実装されている。
＜非特許文献３＞A decision-theoretic
generalization of on-line learning and an application to boosting, Yoav Freund,
Robert E. Schapire, Journal of Computer and System Sciences, 55(1):119-139,
1997, December, 1996

「adaboost」は、複数の弱い識別器を用いて処理を行うので、ＳＩＦＴ特徴量の他に、フーリエ記述子（Fourier Descriptors）、ＨＯＧ（Histograms of
Oriented Gradients）特徴量等を組み合わせて用いるようにしても良い。フーリエ記述子は、輪郭を周期関数に変換し、その周期関数をフーリエ級数展開することによって得られるフーリエ係数を輪郭の形状の記述に用いる形状の特徴量である。ＨＯＧ特徴量は、画像の局所領域から輝度勾配、輝度強度を取り出す特徴量である。

尚、尤度を算出する手法は、様々なものが知られている。本実施形態では、尤度を算出する手法を限定するものではない。例えば、サポートベクターマシン（ＳＶＭ：Support Vector Machine）等、細胞２の種類に応じて適切な公知技術を用いれば良い。

図３の説明に戻る。次に、細胞挙動検出装置１の制御部１１は、尤度の値を正負の最大値が等しくなるように規格化し、規格化後の尤度の値が時系列順に並べられるベクトルを尤度ベクトルとする。更に、制御部１１は、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとする。そして、制御部１１は、尤度ベクトルとラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定する（ステップＳ４）。

図７は、Ｍ期終了フレーム特定処理の詳細を示すフローチャートである。図７に示すように、細胞挙動検出装置１の制御部１１は、尤度算出処理によって算出される尤度ベクトルＰの規格化を行う（ステップＳ１１）。

図６の例に基づいて説明すると、図６の例の場合、尤度算出処理によって算出される尤度ベクトルＰの次元数は「５」である。つまり、尤度ベクトルＰ＝（Ｐ（ｆ１）、Ｐ（ｆ２）、Ｐ（ｆ３）、Ｐ（ｆ４）、Ｐ（ｆ５））、である。

例えば、尤度算出処理において、Ｍ期であることの尤もらしさを示す指標として、Ｍ期である確率を算出するものとする。この場合、尤度ベクトルＰの各成分は、０〜１の値を取り得る。細胞挙動検出装置１の制御部１１は、この値を正負の最大値が等しくなるように規格化する。例えば、制御部１１は、線形変換ｆ：Ｖ１→Ｖ２（但し、ｆ（ｘ）＝２（ｘ−０．５）、Ｖ１は０〜１の値の集合、Ｖ２は−１〜１の値の集合）を行い、正負の最大値が「１」となるように規格化する。例えば、規格化前の尤度ベクトルＰ＝（０．９９、０．９９、０．０１、０．０１、０．０１）の場合、規格化後の尤度ベクトルＰ＝（０．９８、０．９８、−０．９８、−０．９８、−０．９８）となる。

次に、細胞挙動検出装置１の制御部１１は、ラベルベクトルＬ（ｉ）と規格化後の尤度ベクトルＰの内積が最大となるｉをＭ期終了フレームと特定する（ステップＳ１２）。

引き続き、図６の例に基づいて説明すると、図６の例の場合、フレーム番号ｉ＝１〜５である。前述の通り、ラベルベクトルＬ（ｉ）は、１番目の成分からｉ番目の成分までを第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルである。

例えば、第１の値を「１」（この例の場合、該当フレームがＭ期であることを意味する。）、第２の値を「−１」（この例の場合、該当フレームがＭ期でないことを意味する。）とすると、ラベルベクトルＬ（ｉ）は、以下の５パターンが考えられる。
（１）Ｌ（１）＝（１、−１、−１、−１、−１）
（２）Ｌ（２）＝（１、１、−１、−１、−１）
（３）Ｌ（３）＝（１、１、１、−１、−１）
（４）Ｌ（４）＝（１、１、１、１、−１）
（５）Ｌ（５）＝（１、１、１、１、１）

これらのラベルベクトルＬ（ｉ）ごとに、細胞挙動検出装置１の制御部１１は、ラベルベクトルＬ（ｉ）と規格化後の尤度ベクトルＰの内積を算出する。規格化後の尤度ベクトルＰ＝（０．９８、０．９８、−０．９８、−０．９８、−０．９８）とすると、算出結果は以下となる。
（１）Ｌ（１）・Ｐ＝２．９４
（２）Ｌ（２）・Ｐ＝４．９０
（３）Ｌ（３）・Ｐ＝２．９４
（４）Ｌ（４）・Ｐ＝０．９８
（５）Ｌ（５）・Ｐ＝−０．９８

算出結果の中で最大の値は、Ｌ（２）・Ｐ＝４．９０である。従って、制御部１１は、Ｍ期終了フレームを「２」と特定する。このように、制御部１１は、ユーザによる入力値によらずに、Ｍ期終了フレームを自動的に特定する。

前述の説明では、尤度算出処理において、Ｍ期であることの尤もらしさを示す指標として、Ｍ期である確率を算出するものとしたが、本実施の形態では、Ｍ期であることの尤もらしさを示す指標を限定するものではない。Ｍ期であることの尤もらしさを示す指標は、Ｍ期であることの尤もらしさに比例する値を有するものであれば、どのような指標でも良い。

また、前述の説明では、尤度ベクトルＰの規格化において、正負の最大値が「１」となるように規格化したが、本実施の形態では、規格化の値を限定するものではない。規格化の値は、尤度ベクトルＰの線形変換によって算出されるものであれば、どのような値でも良い。

図８は、フレームごとの尤度の値を示すグラフ（第１の例）である。図８に示すグラフは、横軸がフレーム番号、縦軸が尤度である。尤度が高い値となる程、Ｍ期の可能性が高いことを示している。また、尤度が低い値となる程、Ｍ期後（例えば、細胞死）の可能性が高いことを示している。図８に示す第１の例であれば、細胞挙動検出装置１の制御部１１は、ステップＳ１２において、Ｍ期終了フレームを、フレーム番号が「１００」前後のフレームと特定する。

ところで、図８に示す第１の例であれば、閾値判定処理によってＭ期終了フレームを特定することも可能である。ここで、一般的な閾値判定処理を説明する。まず、予め閾値を決めておく。例えば、閾値を「０」とする。そして、フレーム番号が若い方から順に尤度と閾値とを比較し、尤度が閾値を下回るフレーム番号を、Ｍ期終了フレームとする。このような処理を行えば、図８に示す第１の例の場合、本実施の形態と同様、Ｍ期終了フレームを、フレーム番号が「１００」前後のフレームと特定することができる。

しかしながら、実際には、閾値判定処理によってＭ期終了フレームを特定することができない例も少なくない。以下では、図９を参照しながら、閾値判定処理によってＭ期終了フレームを特定することができない例を説明する。

図９は、候補パッチ列の模式図及びフレームごとの尤度の値を示すグラフ（第２の例）である。図９に示す第２の例では、フレームＡにおいて、一時的に細胞２の形状が変化している。しかし、その後、暫くの間、形状が丸い状態を維持している。そして、フレームＢにおいて、細胞死（アポトーシス）のイベントが発生している。グラフでは、フレームＡにおいて、尤度が−０．２の値まで下落している。しかし、その後、尤度は１に近い値を維持している。そして、フレームＢにおいて、尤度が−１の値まで下落している。その後、尤度は−１に近い値を維持している。

図９に示す第２の例の場合、前述の閾値判定処理によってＭ期終了フレームを特定しようとすると、誤判定が起こる。つまり、フレーム番号が「４０」前後のフレームにおいて、尤度が閾値「０」を下回っているので、前述の閾値判定処理では、Ｍ期終了フレームを、フレーム番号が「４０」前後のフレームと特定してしまう。従って、前述の閾値判定処理では、真の値である「１００」前後のフレームとは異なる判定結果となってしまう。

このような誤判定が起こらないようにするために、前述の閾値判定処理を改良することも考えられる。例えば、連続する複数のフレームにおいて、尤度が閾値を下回った場合、連続する複数のフレームのいずれか（例えば、最初のフレーム）をＭ期終了フレームと判定することも考えられる。しかしながら、連続する複数のフレームにおいて、細胞２の形状が一時的に変化する場合もあり得る。そうすると、閾値判定処理における「連続する複数のフレーム数」をいくつにするかを決めることが、大きな課題として残る。これは、細胞２の種類によって試行錯誤を繰り返す必要があり、すぐに利用することができない。従って、ユーザにとって非常に不便である。

図１０は、フレームごとの尤度の値を示すグラフ（第３の例及び第４の例）である。図１０（ａ）に示す第３の例や、図１０（ｂ）に示す第４の例では、尤度がきれいに分かれておらず、前述の閾値判定処理では誤判定となる可能性が高い。一方、本実施の形態では、図１０（ａ）に示す第３の例や、図１０（ｂ）に示す第４の例であっても、精度良く、Ｍ期終了フレームを特定することができる。

ここで、前述の閾値判定処理と図７に示すＭ期終了フレーム特定処理の違いを分かり易く説明する。本質的な違いとしては、前述の閾値判定処理は局所的な判定処理であり、図７に示すＭ期終了フレーム特定処理は大局的な判定処理である。図９の例を参照して説明した通り、細胞２の挙動、特に細胞死のイベントの発生を検出するためには、本実施の形態のように、大局的な判定処理が望ましい。

つまり、図７に示すＭ期終了フレーム特定処理であれば、一連の全てのフレームに基づいてＭ期終了フレームを特定しているので、前述の閾値判定処理のような誤判定は生じない。更に、改良版の閾値判定処理のように、設定値（前述の「連続する複数のフレーム数」）を定めるために、ユーザが試行錯誤を繰り返す必要がなく、すぐに利用することができる。従って、ユーザにとって非常に便利である。

図３の説明に戻る。次に、細胞挙動検出装置１の制御部１１は、Ｍ期終了フレーム後のフレームにおいて、細胞死のイベントが発生しているか否かを判定する（ステップＳ５）。

ステップＳ４において、Ｍ期終了フレームが特定されても、細胞死のイベントが発生しない場合がある。これは、Ｍ期後の細胞２において、一般に「細胞分裂」、「細胞死」、及び「分裂異常」の３通りのイベントが発生する可能性があるからである。ステップＳ１では、あくまでも、細胞死のイベントが発生する可能性がある細胞候補の領域を、候補パッチ３として検出しているに過ぎない。つまり、ステップＳ１において検出される候補パッチ３の全てにおいて、細胞死のイベントが発生するわけではない。そこで、細胞挙動検出装置１の制御部１１は、ステップＳ５において、細胞死のイベントが発生しているか否かを判定する。

本実施の形態における細胞死のイベント発生の判定処理は、２つである。第１の判定処理では、細胞挙動検出装置１の制御部１１は、尤度ベクトルとラベルベクトルとの内積が最大となるｉの値が、候補パッチ列４の最終フレームである場合には、細胞死のイベントが発生していないと判定する。ここで、尤度ベクトルとラベルベクトルとの内積が最大となるｉの値が、候補パッチ列４の最終フレームである場合、最終フレームまでＭ期のままであり、細胞死である候補パッチ３が存在しないことを意味する。従って、このような場合には細胞死のイベントが発生していないと判定することによって、細胞死のイベントが発生していない候補パッチ列４に対して、細胞死のイベントが発生していると誤判定してしまうことを回避することができる。

また、第２の判定処理では、細胞挙動検出装置１の制御部１１は、尤度ベクトルとラベルベクトルとの内積の最大値を候補パッチ列４のフレーム数で割った値が、閾値を下回る場合には、細胞死のイベントが発生していないと判定する。ここで、尤度ベクトルとラベルベクトルとの内積の最大値を候補パッチ列４のフレーム数で割った値が、閾値を下回る場合、Ｍ期から細胞死に移行していることを示す尤度が、安定的に得られていないことを意味する。従って、このような場合には細胞死のイベントが発生していないと判定することによって、細胞死のイベントが発生していない候補パッチ列４に対して、細胞死のイベントが発生していると誤判定してしまうことを回避することができる。

図１１は、フレームごとの尤度の値を示すグラフ（第５の例〜第７の例）である。図１１（ａ）に示す第５の例では、全てのフレームにおいて、尤度が１に近い値を維持している。第５の例の場合、尤度ベクトルとラベルベクトルとの内積が最大となるｉの値が、候補パッチ列４の最終フレームになるので、細胞挙動検出装置１の制御部１１は、第１の判定処理によって、細胞死のイベントが発生していないと判定する。

図１１（ｂ）に示す第６の例では、尤度のバラつきが大きく、安定的な値として得られていない。ここで、第６の例に対して、例えば、閾値を「０．４」として第２の判定処理を行うものとする。尤度ベクトルとラベルベクトルとの内積の最大値を候補パッチ列４のフレーム数で割った値は、約０．１９２４なので、閾値を下回る。従って、細胞挙動検出装置１の制御部１１は、細胞死のイベントが発生していないと判定する。

図１１（ｃ）に示す第７の例では、尤度がはっきりと分かれている。ここで、第７の例に対して、例えば、閾値を「０．４」として第２の判定処理を行うものとする。尤度ベクトルとラベルベクトルとの内積の最大値を候補パッチ列４のフレーム数で割った値は、約０．４９９０なので、閾値を下回る。従って、細胞挙動検出装置１の制御部１１は、細胞死のイベントが発生していないと判定する。

以上、添付図面を参照しながら、本発明に係る細胞挙動検出装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………細胞挙動検出装置
２………細胞
３………候補パッチ
４………候補パッチ列

Claims (6)

1. 単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出する候補パッチ検出手段と、
   複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成する候補パッチ列作成手段と、
   前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出する尤度算出手段と、
   前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するＭ期終了フレーム特定手段と、
   を具備する細胞挙動検出装置。
2. 前記Ｍ期終了フレーム後のフレームにおいて、前記細胞死のイベントが発生しているか否かを判定するイベント判定手段、
   を更に具備する請求項１に記載の細胞挙動検出装置。
3. 前記イベント判定手段は、前記尤度ベクトルと前記ラベルベクトルとの内積の最大値を前記候補パッチ列のフレーム数で割った値が、閾値を下回る場合には、前記細胞死のイベントが発生していないと判定する
   請求項２に記載の細胞挙動検出装置。
4. 前記イベント判定手段は、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値が、前記候補パッチ列の最終フレームである場合には、前記細胞死のイベントが発生していないと判定する
   請求項３に記載の細胞挙動検出装置。
5. コンピュータの制御部が実行する細胞挙動検出方法であって、
   前記制御部が、単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出するステップと、
   前記制御部が、複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成するステップと、
   前記制御部が、前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出するステップと、
   前記制御部が、前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するステップと、
   を含む細胞挙動検出方法。
6. コンピュータを、
   単一フレームのタイムラプス画像から、細胞死のイベントが発生する可能性がある細胞候補の領域である候補パッチを検出する候補パッチ検出手段と、
   複数フレームのタイムラプス画像群から、前記候補パッチ内の細胞の挙動を追跡し、前記候補パッチが時系列順に対応付けられる候補パッチ列を作成する候補パッチ列作成手段と、
   前記候補パッチ列に含まれる前記候補パッチごとに、Ｍ期であることの尤もらしさを示す尤度を算出する尤度算出手段と、
   前記尤度の値を正負の最大値が等しくなるように規格化し、規格化後の前記尤度の値が時系列順に並べられるベクトルを尤度ベクトルとし、更に、１番目の成分からｉ（ｉは１より大きい自然数）番目の成分までを正である第１の値とし、ｉ＋１番目の成分から最後の成分までを、第１の値と絶対値が等しく正負の符号が異なる第２の値とするベクトルをラベルベクトルとし、前記尤度ベクトルと前記ラベルベクトルとの内積が最大となるｉの値をＭ期終了フレームと特定するＭ期終了フレーム特定手段と、
   して機能させるためのプログラム。

Images