JPWO2016162973A1 - 細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラム - Google Patents

Abstract

細胞追跡修正装置（100）は、細胞追跡処理部（130）と、近傍領域画像生成部（150）と、表示部（50）と、ユーザインタフェース（40）と、位置ずれ修正部（160）とを含む。前記細胞追跡処理部（130）は、タイムラプス撮影により取得された複数の画像中の少なくとも１つの細胞の各位置を追跡する。前記近傍領域画像生成部（150）は、前追跡された前記細胞の位置を基に、当該時点の前記画像から当該細胞を含む近傍領域画像を複数生成する。前記表示部（50）には、前記複数の近傍領域画像が表示される。前記ユーザインタフェース（40）は、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付ける。前記位置ずれ修正部（160）は、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する。

Description

本発明は、顕微鏡を用いて観察される細胞をタイムラプス（微速度）撮影することで取得されるタイムラプス細胞画像群の各画像中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測する際に、当該計測の誤りを修正する細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体に関する。

生物学分野及び医学分野の研究では、例えば細胞等の生体試料の生物学的活性をレポータアッセイにより検出する技術が広く利用されている。レポータアッセイは、生物学的活性について調べたい細胞の遺伝子を、例えば蛍光発現及び／又は発光を伴うレポーター遺伝子（緑色蛍光タンパク質ＧＦＰ又はルシフェラーゼ遺伝子等）に置き換え、生物学的活性を表す蛍光及び／又は発光強度を観測することにより、生物学的活性を可視化することができる。これにより、レポータアッセイでは、例えば生体試料と調べたい生体関連物質とを画像化し、生体試料内外における発現量及び／又は形状特徴の変化を経時的に観察することができる。

レポーター物質による蛍光及び／又は発光を用いる観察を利用する研究分野では、具体的に試料内のタンパク質分子の動的な機能発現を捉えるためにタイムラプス撮影等が行われている。タイムラプス撮影では、所定期間を空けて撮影を繰り返すことにより複数の細胞画像を取得し、これら細胞画像を時系列に並べてタイムラプス細胞画像群とする。タイムラプス細胞画像群の一枚一枚の画像から注目する細胞の位置を特定し、当該画像中の細胞を中心とした所定サイズの近傍領域内の平均輝度等を細胞の蛍光量及び／又は発光量として記録する。又は細胞画像中の細胞の形状を例えば円形度等の特徴量として表す。これにより、時間経過に沿った細胞の発現量及び／又は形状の変化を計測する。

ここで、生きた細胞は、一般に、常にランダムな移動を繰り返している。そのため、細胞の微妙な動きに追随し、細胞の位置を正確に特定する必要がある。しかしながら、ヒト（研究者等）が目視でタイムラプス細胞画像群の各細胞画像中から細胞の位置を確認し特定することは極めて煩雑な作業である。このため、近年、コンピュータを用いた画像認識技術等を応用し、タイムラプス細胞画像群の各細胞画像中の細胞の位置を自動的に推定し、細胞の正確な位置を追い続けることのできる細胞追跡処理を構築している。このように、細胞追跡での作業の手間を軽減する試みが盛んに行われている。

しかしながら、タイムラプス撮像の条件によっては、必ずしも安定して鮮明な細胞画像を撮影することができるとは限らない。例えば蛍光試料の撮像の場合、励起光を照射し続けることで蛍光試料から発せられる光量が時間経過と共に減少するという性質がある。このため、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。この場合、コンピュータを用いた細胞追跡処理では、細胞位置を誤って推定してしまうことがしばしば起きている。このため、細胞位置の誤った追跡結果に対して何らかの手段を用いて修正することが必要である。

特許文献１は、複数の画像フレーム（時系列画像群）に対し粒子フィルタ・アルゴリズム等の細胞自動追跡処理を適用し、追跡結果に基づき細胞特性を分析する細胞追跡ソフトウェアについて開示する。

特開２０１４−０８９１９１号公報

特許文献１は、画像の撮像条件等の様々な要因によって細胞の追跡を誤ったときに、当該細胞の追跡の誤りを修正するものではない。

本発明は、上記事情に鑑みて為されたものであり、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体を提供することを目的とする。

本発明の主要な局面に係る細胞追跡修正方法は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡し、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成し、前記複数の近傍領域画像を表示部に表示し、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力をユーザインタフェースを介して受け付け、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する。

本発明の主要な局面に係る細胞追跡修正装置は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡する細胞追跡処理部と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成する近傍領域画像生成部と、前記複数の近傍領域画像を表示するための表示部と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けるユーザインタフェースと、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する位置ずれ修正部とを具備する。

本発明の主要な局面に係るコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体は、コンピュータに、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡させる細胞追跡処理機能と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成させる近傍領域画像生成機能と、前記複数の近傍領域画像を表示部に表示させる表示機能と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けさせるユーザインタフェース機能と、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正させる位置ずれ修正機能と実現させる。

本発明によれば、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体を提供できる。

図１は、本発明に係る細胞追跡修正装置を備えた顕微鏡システムの第１の実施の形態を示す構成図である。 図２は、細胞追跡修正装置によって表示装置に表示されるＧＵＩ操作のためのウィンドウであるＧＵＩ画面の一例を示す図である。 図３は、ＧＵＩ画面上におけるクロップ領域画像欄に表示される時系列に並べられた複数のクロップ領域画像を示す拡大図である。 図４は、細胞追跡修正装置を示す機能ブロック図である。 図５は、同装置における細胞追跡修正処理フローチャートである。 図６は、ＧＵＩ画面上における初期位置に設定されたＲＯＩ内の細胞に対する時系列に並んだ複数のクロップ領域画像の表示を示す図である。 図７は、ＧＵＩ画面上における細胞がクロップ領域画像の中心からずれ始めているクロップ領域画像群と当該細胞の位置ずれ修正とを示す図である。 図８は、ＧＵＩ画面上における一般的な細胞位置の修正方法を示す図である。 図９は、同装置により位置ずれ修正後にＧＵＩ画面上に表示されるクロップ領域画像及び自動追跡処理ボタンの押下を示す図である。 図１０は、ＧＵＩ画面上の特徴量計算処理ボタンの押下を示す図である。 図１１は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の表示例を示す図である。 図１２は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の他の表示例を示す図である。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は細胞追跡修正装置１００を含む顕微鏡システム１の構成図を示す。顕微鏡システム１は、顕微鏡１０と、撮像部２０と、細胞追跡修正装置１００と、入力装置４０と、表示装置５０とを含む。

顕微鏡１０は、例えば細胞の拡大像を得る。この顕微鏡１０は、例えば蛍光顕微鏡、明視野顕微鏡、位相差顕微鏡又は微分干渉顕微鏡等である。この顕微鏡１０には、撮像部２０が設けられている。

撮像部２０は、例えばＣＣＤカメラ等であり、ＣＣＤ等の撮像素子と、Ａ／Ｄ変換器とを含む。撮像素子は、細胞の拡大像の光量に応じたアナログの電気信号をＲＧＢ別に出力する。Ａ／Ｄ変換器は、撮像素子から出力される電気信号をデジタルの画像信号として出力する。この撮像部２０は、顕微鏡１０の接眼部に取り付けられると、当該顕微鏡１０により得られる細胞の拡大像を撮像し、当該拡大画像の画像信号を出力する。以降、細胞の拡大画像を細胞画像と称する。

撮像部２０は、蛍光顕微鏡を利用した撮影で取得した細胞画像をデジタルの画像信号に変換し、例えば８ビット（２５６階調）のＲＧＢの画像信号として出力する。この撮像部２０は、多チャンネルカラー画像を出力するカメラ等でもよい。

撮像部２０としては、顕微鏡１０を通して細胞画像を得るものであればよい。このような顕微鏡１０としては、蛍光顕微鏡に限らず、例えばフォトマル等を利用する共焦点レーザ走査型顕微鏡でもよい。

この撮像部２０は、タイムラプス撮影を行うことによって、例えば所定の撮影周期によって決められた複数の時点において細胞を撮像する。従って、このタイムラプス撮影によって、時系列に沿って撮像された複数の細胞画像を含むタイムラプス細胞画像群Ｉが得られる。このタイムラプス細胞画像群Ｉは、細胞追跡修正装置１００に記録される。このタイムラプス細胞画像群Iは、撮像開始時点の細胞画像をＩ(1)とし、ｎ回目の撮影時の細胞画像をＩ(n)とする。

細胞追跡修正装置１００は、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)〜Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測し、かつ細胞位置の時系列的変化を計測するときの計測の誤りを修正する。この細胞追跡修正装置１００には、顕微鏡１０と、撮像部２０と、ユーザインタフェースとしての入力装置４０及び表示装置５０とが接続されている。

細胞追跡修正装置１００は、撮像部２０と顕微鏡１０との各動作を制御する。この細胞追跡修正装置１００は、撮像部２０により得られた各細胞画像Ｉ(1)〜Ｉ(n)の画像処理を含む各種演算を行う。

この細胞追跡修正装置１００は、例えばパーソナルコンピュータ（ＰＣ）から成る。具体的には、細胞追跡修正装置１００であるＰＣは、ＣＰＵ３２と、メモリ３４と、ＨＤＤ３６と、インターフェース（Ｉ／Ｆ）３８と、バスＢとを含む。ＣＰＵ３２とメモリ３４とＨＤＤ３６とＩ／Ｆ３８とは、バスＢに接続されている。Ｉ／Ｆ３８には、例えば外部の記録媒体が接続されたり、又は外部のネットワークが接続される。Ｉ／Ｆ３８は、外部のネットワークを介して外部の記録媒体又は外部のサーバに接続されることもできる。

細胞追跡修正装置１００は、撮像部２０により得られたタイムラプス細胞画像群Ｉに対する処理を行うのに限らず、Ｉ／Ｆ３８に接続された記録媒体に記録されている各細胞画像Ｉ(1)〜Ｉ(n)、又はＩ／Ｆ３８から外部のネットワークを通して取得された各細胞画像Ｉ(1)〜Ｉ(n)に対する処理を行ってもよい。

ＨＤＤ３６には、ＣＰＵ３２によって実行されたときにＰＣを細胞追跡修正装置１００として動作させるための細胞追跡修正プログラムが記録されている。この細胞追跡修正プログラムは、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)〜Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測するときの計測の誤りを修正する機能を含む。すなわち、この細胞追跡修正プログラムは、細胞追跡処理機能と、クロップ領域画像生成機能と、表示機能と、ユーザインタフェース機能と、位置ずれ修正機能とを含む。

細胞追跡処理機能は、ＰＣに、タイムラプス撮影により取得された複数の細胞画像Ｉ(1)〜Ｉ(n)中における細胞２３０（図２参照）のうち少なくとも１つの追跡対象細胞２３０Ｔの各位置を推定させて、当該追跡対象細胞２３０Ｔの位置を追跡させる。クロップ領域画像生成機能は、ＰＣに、この細胞追跡処理機能により追跡された追跡対象細胞２３０Ｔの位置に基づいて、タイムラプス撮影した各撮影時点において追跡された追跡対象細胞２３０Ｔの位置を基に、当該時点の各細胞画像Ｉ(1)〜Ｉ(n)から追跡対象細胞２３０Ｔを含む近傍領域の近傍領域画像、すなわち図２に示すように複数のクロップ領域画像２８１を生成させる。表示機能は、ＰＣに、生成された各時点のクロップ領域画像２８１を表示装置５０に表示させる。ユーザインタフェース機能は、表示装置５０に表示されている複数のクロップ領域画像２８１のうちの１つに対して追跡対象細胞２３０Ｔの位置を修正する修正量の入力を受け付けさせる。位置ずれ修正機能は、表示装置５０に表示されている複数のクロップ領域画像２８１のうち位置ずれしている追跡対象細胞２３０Ｔを含むクロップ領域画像２８１が存在する場合、ＰＣに、ユーザインタフェースから入力された修正量に従って追跡対象細胞２３０Ｔの位置ずれを修正させる。なお、本明細書において、位置ずれとは、クロップ領域画像２８１の中央部に対して当該クロップ領域画像２８１中の追跡対象細胞２３０Ｔの位置がずれていることを指す。つまり、細胞追跡結果が誤っていることを意味する。

この細胞追跡修正プログラムは、Ｉ／Ｆ３８を介して接続された記録媒体、又はＩ／Ｆ３８からネットワークを介して接続されたサーバに記録されていてもよい。

従って、細胞追跡修正装置１００は、ＣＰＵ３２によってＨＤＤ３６等に記録されている細胞追跡修正プログラムを実行することにより、撮像部２０から出力された各細胞画像Ｉ(1)〜Ｉ(n)に対して細胞追跡結果の修正を行う。すなわち、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)〜Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測するときの計測の誤りの修正を行う。

細胞追跡修正装置１００により修正された細胞追跡結果は、ＨＤＤ３６に記録される。修正された細胞追跡結果は、Ｉ／Ｆ３８を介して外部の記録媒体に記録されたり、又はＩ／Ｆ３８からネットワークを通して外部のサーバに記録されるようにしてもよい。

なお、細胞追跡修正装置１００には、プリンタ等の出力装置が接続されてもよい。

メモリ３４には、例えば細胞の追跡及び細胞追跡の修正に必要な情報が記録されている。又、メモリ３４には、ＣＰＵ３２の演算結果等が一時的に記録される。

入力装置４０は、上記のようにユーザインタフェースとして機能するもので、例えばキーボードに加えて、マウス又は表示装置５０の表示画面上に構成されたタッチパネル等のポインティングデバイスを含む。この入力装置４０は、ユーザが各細胞画像Ｉ(1)〜Ｉ(n)中から追跡対象とする細胞を示す領域を指定したり、追跡結果が誤った細胞２３０の位置ずれを修正する指示をしたりするために用いられる。

表示装置５０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等を含む。この表示装置５０は、入力装置４０と共にグラフィカルユーザインターフェース（以下、ＧＵＩと省略する）を構成する。この表示装置５０には、ＧＵＩ操作のためのウィンドウ等が表示される。

図２は、表示装置５０に表示されるＧＵＩ操作のためのウィンドウであるＧＵＩ画面２００の一例を示す。このＧＵＩ画面２００上には、画像番号２１０に対応する細胞画像Ｉ(n)、ここではＩ(5)の細胞画像２２０が表示されている。この細胞画像２２０中には、例えば３つの細胞２３０が写っている。このＧＵＩ画面２００上には、細胞２３０の追跡処理結果等が表示可能である。ユーザは、ＧＵＩ画面２００を見ることによって細胞の追跡処理状況及び追跡結果の修正経過情報の確認等を行うことができる。

ＧＵＩ画面２００は、以下のＧＵＩ部品要素、すなわち画像番号２１０と、関心領域（ＲＯＩ）２４０と、領域番号２５０と、マウスカーソル２６０と、クロップ領域画像欄２８０と、画像番号２７０と、時間軸表示２８５と、スライダ２９０と、自動追跡処理ボタン３００と、特徴量計算処理ボタン３１０とを含む。ＲＯＩ２４０は、追跡対象細胞２３０Ｔを含む任意の大きさの領域である。領域番号２５０は、ＲＯＩ２４０の個々を識別するためのものである。マウスカーソル２６０は、ユーザがＧＵＩ操作を行うためのものである。クロップ領域画像欄２８０は、各細胞画像２２０における追跡対象細胞２３０Ｔの追跡結果を表す。画像番号２７０は、クロップ領域画像欄２８０に表示されているクロップ領域画像２８１の番号を示す。時間軸表示２８５は、クロップ領域画像欄２８０の下方に表示され、クロップ領域画像欄２８０中に表示されているクロップ領域画像２８１がどの時点かを示す。スライダ２９０は、ＧＵＩ画面２００上に表示する細胞画像２２０を変更するためのものである。

クロップ領域画像欄２８０には、クロップ領域画像２８１が時系列に従って複数並べて表示される。図３はクロップ領域画像欄２８０の拡大図を示す。すなわち、このクロップ領域画像欄２８０には、例えば左端から右端に向う時間ｔの経過に従って複数のクロップ領域画像２８１が時系列に表示される。これらクロップ領域画像２８１は、タイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)〜Ｉ(n)から追跡対象細胞２３０Ｔを中心として所定サイズの画像を切り取った追跡対象細胞２３０Ｔの近傍領域画像である。クロップ領域画像欄２８０は、当該クロップ領域画像欄２８０のサイズを大きくして複数のクロップ領域画像２８１を表示してもよい。

ＧＵＩ画面２００上の細胞画像２２０はスライダ２９０と連動しており、スライダ２９０で設定した細胞画像番号に対応した細胞画像が、このＧＵＩ画面２００上の細胞画像２２０として表示される。

自動追跡処理ボタン３００は、タイムラプス撮影により取得された複数の細胞画像Ｉ(1)〜Ｉ(n)中の少なくとも１つの追跡対象細胞２３０Ｔの各位置を自動的に推定して当該追跡対象細胞２３０Ｔの位置を追跡することを指示するためのボタンである。
特徴量計算処理ボタン３１０は、例えば追跡対象細胞２３０Ｔの自動追跡により推定された当該追跡対象細胞２３０Ｔの位置に基づいて各時点における当該追跡対象細胞２３０Ｔの特徴量、例えば明るさ、形状又はテクスチャ等を算出することを指示するためのボタンである。

図４は、細胞追跡修正装置１００の機能ブロック図を示す。この細胞追跡修正装置１００は、ＣＰＵ３２がＨＤＤ３６に記録されている細胞追跡修正プログラムを実行することにより構成される以下の各部の機能、すなわち画像記録部１１０と、追跡対象細胞位置設定部１２０と、細胞追跡処理部１３０と、細胞位置情報記録部１４０と、クロップ画像群作成部１５０と、位置ずれ修正部１６０と、細胞位置情報補正部１７０と、細胞特徴量算出部１８０とを含む。なお、細胞特徴量算出部１８０には、出力部１９０が接続されている。

画像記録部１１０は、撮像部２０から出力される画像信号、例えば顕微鏡１０を用いて撮像された各細胞画像Ｉ(1)〜Ｉ(n)の画像信号が順次入力され、これら画像信号を例えばＩ／Ｆ３８に接続された記録媒体、メモリ３４又はＨＤＤ３６のいずれかに記録していくことで、タイムラプス細胞画像群Ｉを生成する。

追跡対象細胞位置設定部１２０は、図２に示すように入力装置４０の操作によりＧＵＩ画面２００で任意の細胞画像Ｉ(i)中の任意の少なくとも１つの追跡対象細胞２３０Ｔに対するＲＯＩ２４０の設定を受け付け、このＲＯＩ２４０を追跡開始時点の位置（初期位置）としてその情報を細胞追跡処理部１３０に送る。

細胞追跡処理部１３０は、任意の細胞画像Ｉ(i)よりも後の時点の各細胞画像Ｉ(i+1)〜Ｉ(n)中の追跡対象細胞２３０Ｔの位置をそれぞれ推定する、つまり、追跡対象細胞２３０Ｔの位置を追跡する。この細胞追跡処理部１３０では、追跡対象細胞２３０Ｔを認識するために所定の画像認識技術が用いられる。

この細胞追跡処理部１３０は、追跡対象細胞２３０Ｔの位置を追跡するために自動追跡処理を用いる。この自動追跡処理は、如何なる手法を用いても良いが、ここでは公知の追跡手法としてブロックマッチング処理を適用する。このブロックマッチング処理は、複数のフレーム画像が存在したとき、現時点よりも前の時点のフレーム画像中において追跡対象細胞２３０Ｔに対して設定されたＲＯＩ２４０と最も類似する領域を現フレーム画像中から探索し、当該探索した領域を追跡対象細胞２３０Ｔの移動先の位置として推定する。このブロックマッチング処理では、フレーム画像間において検索された領域間の類似度合いを計るための類似度として例えばＳＳＤ（Sum of Squared Difference）と呼ばれる輝度値の２乗誤差等が用いられる。

細胞位置情報記録部１４０は、追跡対象細胞位置設定部１２０により設定された任意の細胞画像Ｉ(i)中の追跡対象細胞２３０Ｔの位置と、細胞追跡処理部１３０により推定された各細胞画像Ｉ(i+1)〜Ｉ(n)中の追跡対象細胞２３０Ｔの各位置とを記録する。これらの細胞位置は、例えばＩ／Ｆ３８に接続された記録媒体、メモリ３４又はＨＤＤ３６のいずれかに記録される。

クロップ画像群作成部１５０は、細胞位置記録部１４０により記録された追跡対象細胞２３０Ｔの各位置に基づいて各細胞画像Ｉ(i)〜Ｉ(n)中の当該追跡対象細胞２３０Ｔを含む所定の大きさの近傍領域の近傍領域画像からクロップ画像を生成する。すなわち、ＧＵＩ画面２００上では、図２に示すように追跡対象細胞２３０Ｔに対してＲＯＩ２４０が設定され、クロップ画像群作成部１５０は、画像記録部１１０によって記録媒体等に記録された各細胞画像Ｉ(i)〜Ｉ(n)からＲＯＩ２４０が設定された追跡対象細胞２３０Ｔを含む近傍領域の近傍領域画像、すなわちクロップ領域画像２８１を切り取る。クロップ画像群作成部１５０は、タイムラプス撮影の各時点におけるクロップ領域画像２８１を切り取ることにより時系列に従って並んだ複数のクロップ領域画像（クロップ画像群）２８１を得ることができる。

表示装置５０のＧＵＩ画面２００上に表示されている複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔが位置ずれしているクロップ領域画像２８１が存在する場合、ユーザは、当該クロップ領域画像２８１上において位置ずれしている追跡対象細胞２３０Ｔの位置を修正する。

具体的には、複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔの位置が例えばクロップ領域画像２８１の中央部に対して位置ずれしているクロップ領域画像２８１が中央部になるように、ＧＵＩ画面２００上の当該クロップ領域画像２８１の追跡対象細胞２３０Ｔに対してポインティングデバイスとしての入力装置４０を操作して位置の修正を行う。

この入力装置４０の操作を受けて、位置ずれ修正部１６０は、その入力装置４０の操作方向及び操作量に応じた修正方向及び修正量をクロップ画像群作成部１５０に送る。クロップ画像群作成部１５０は、この修正方向及び修正量に従って、対応する細胞画像からのクロップ領域画像の切り取り位置を修正することで表示するクロップ領域画像２８１を更新する。

また、位置ずれ修正部１６０は、入力装置４０の操作方向及び操作量に応じた修正方向及び修正量を細胞位置情報補正部１７０にも送る。

細胞位置情報補正部１７０は、この修正方向及び修正量に基づいて、細胞位置情報記録部１４０によって不図示記録媒体、メモリ３４又はＨＤＤ３６に記録されている細胞位置、すなわち細胞追跡処理部１３０により推定された追跡対象細胞２３０Ｔの位置を補正する。

また、細胞位置情報補正部１７０は、補正した追跡対象細胞２３０Ｔの位置を細胞追跡処理部１３０に送る。これにより、細胞追跡処理部１３０は、入力装置４０の操作により再追跡指示があった場合に、当該補正したクロップ領域画像２８１に対応する細胞画像からは、この補正したクロップ領域画像２８１に含まれる追跡対象細胞２３０Ｔを中心としたＲＯＩ２４０に基づき細胞追跡を実施する。なお、このときＲＯＩ２４０は、追跡対象細胞位置設定部１２０により設定された追跡対象細胞２３０ＴとＲＯＩ２４０との関係に従って、自動的に設定される。

細胞特徴量算出部１８０は、細胞位置情報記録部１４０によって不図示記録媒体、メモリ３４又はＨＤＤ３６に記録された追跡細胞２３０Ｔの位置に基づいてタイムラプス撮影の各時点における追跡対象細胞２３０Ｔの特徴量を各細胞画像Ｉ(i)〜Ｉ(n)から算出する。追跡対象細胞２３０Ｔの特徴量は、例えば明るさ特徴、形状特徴、又はテクスチャ特徴等である。

出力部１９０は、例えばＩ／Ｆ３８を介して接続された不図示の外部の記録媒体、あるいはＨＤＤ３６に、細胞特徴量算出部１８０により算出された追跡対象細胞２３０Ｔの特徴量を記録する。

次に、上記の通り構成された装置の動作について図５に示す細胞追跡修正処理フローチャートに従って説明する。

（１）タイムラプス細胞画像群の取得
撮像部２０は、タイムラプス撮影により所定の撮影周期毎の各時点において、顕微鏡１０により得られる細胞の拡大像を撮像し、当該拡大画像の画像信号を出力する。タイムラプス撮影毎の画像信号は、細胞追跡修正装置１００に送られ、タイムラプス撮影毎の細胞画像Ｉ(1)〜Ｉ(n)として画像記録部１１０によってＨＤＤ３６、又は図示しない外部記録媒体に記録される。これにより、タイムラプス撮影によって時系列に沿って撮像された複数の細胞画像Ｉ(1)〜Ｉ(n)でなるタイムラプス細胞画像群Ｉが記録される。

（２）初期の画像番号及び追跡対象の細胞位置の設定
細胞追跡修正装置１００のＣＰＵ３２は、画像記録部１１０によって記録された各細胞画像Ｉ(1)〜Ｉ(n)から任意の細胞画像Ｉ(i)を読み出し、この細胞画像Ｉ(i)を表示装置５０に表示する。この表示装置５０には、例えば図２に示すようにＧＵＩ画面２００が表示され、当該ＧＵＩ画面２００内に細胞画像２２０として細胞画像Ｉ(i)が表示される。初期表示としては、この細胞画像Ｉ(i)は、最初の細胞画像Ｉ(1)であり、入力装置４０の操作によりスライダ２９０をスライド操作することで、ＧＵＩ画面２００内に細胞画像２２０として表示される細胞画像を更新することができる。図２の例では、例えば画像番号（５）の細胞画像Ｉ(5)が指定されて表示されている。

このとき、未だ、細胞追跡は行われていないので、ＧＵＩ画面２００のクロップ領域画像欄２８０には、何も表示されていない。

このような状態で、追跡対象細胞位置設定部１２０は、ステップＳ１において、ユーザによるＧＵＩ操作を受けて追跡対象細胞２３０Ｔの初期位置の設定を行う。すなわち、ユーザは、ＧＵＩ画面２００上の任意の細胞画像Ｉ(i)において、マウスカーソル２６０を操作して追跡対象細胞２３０Ｔの追跡開始時点の位置、すなわち初期位置を設定する。具体的にユーザは、ポインティングデバイスである入力装置４０のマウスカーソル２６０を用いて任意の細胞画像Ｉ(i)上で、ドラッグアンドドロップ操作することで所望の追跡対象細胞２３０Ｔを囲むようにＲＯＩ２４０を指定する。追跡対象細胞位置設定部１２０は、ＲＯＩ２４０の中心点を追跡対象細胞２３０Ｔの追跡開始時点の位置（初期位置）として設定する。

これと共に、追跡対象細胞位置設定部１２０は、ＲＯＩ２４０に対して領域を識別するためのユニークな領域番号を設定する。ここでは「１」を設定する。追跡対象細胞位置設定部１２０は、これら初期位置及び領域番号を含む初期位置情報を細胞追跡処理部１３０に送る。

ユーザが入力操作４０を操作してＧＵＩ画面２００上においてマウスカーソル２６０を自動追跡処理ボタン３００上に移動させ、この自動追跡処理ボタン３００を押下すると、細胞追跡処理部１３０は、ステップＳ２において、自動追跡処理を実行する。

（３）自動追跡処理
細胞追跡処理部１３０は、追跡対象細胞位置設定部１２０により設定された追跡対象細胞２３０Ｔの初期位置の情報と、画像記録部１１０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i+1)〜Ｉ(n)に対して所定の画像認識技術による自動追跡処理を行い、各細胞画像Ｉ(i+1)〜Ｉ(n)における追跡対象細胞２３０Ｔの細胞位置を推定（細胞追跡）する。

細胞追跡処理部１３０によって推定された追跡対象細胞２３０Ｔの細胞位置は、追跡対象細胞２３０Ｔの初期位置と共に細胞位置情報記録部１４０に転送されて、不図示の記録媒体、メモリ３４又はＨＤＤ３６に記録される。

クロップ画像群作成部１５０は、細胞位置情報記録部１４０によって記録された各細胞画像Ｉ(i)〜Ｉ(n)における追跡対象細胞２３０Ｔの細胞位置を読み出す。クロップ画像群作成部１５０は、画像記録部１１０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)〜Ｉ(n)から各細胞位置により示される追跡対象細胞２３０Ｔの位置を中心とした所定サイズの矩形領域をクロップ（切り取り）した複数のクロップ領域画像２８１を作成する。これらクロップ領域画像２８１は、表示装置５０に送られる。なお、この所定サイズの矩形領域は、予め決められたものであっても良いし、ユーザが任意に指定できるようにしても良く、さらには、ＲＯＩ２４０に相当するものであっても良い。

これにより、表示装置５０のＧＵＩ画面２００上のクロップ領域画像欄２８０には、図６に示すように初期位置に設定されたＲＯＩ２４０の領域番号２５０、ここでは領域番号「１」の追跡対象細胞２３０Ｔから始められた複数のクロップ領域画像２８１が時系列に並んで表示されている。この例では、これらクロップ領域画像２８１は、例えばタイムラプス細胞画像群Ｉの各細胞画像Ｉ(5)〜Ｉ(14)から切り取って(トリミングして)作成されたものとなっている。

前述したように、入力装置４０の操作によりスライダ２９０をスライド操作することで、ＧＵＩ画面２００内に細胞画像２２０として表示される細胞画像を更新することができる。この細胞画像２２０の更新に伴って、クロップ領域画像欄２８０に表示される複数のクロップ領域画像２８１も更新される。具体的には、クロップ領域画像欄２８０の左端に、細胞画像２２０に対応するクロップ領域画像２８１が表示されるように更新される。従って、ユーザは、スライダ２９０をスライド操作しながらクロップ領域画像欄２８０に表示されたクロップ領域画像２８１を観察するだけで、追跡結果の誤りを容易に発見できる。

すなわち、この自動追跡処理では、必ずしも正確に追跡対象細胞２３０Ｔの位置を推定できるものでなく、しばしば追跡対象細胞２３０Ｔの推定位置の誤差の蓄積などにより、追跡対象細胞２３０Ｔの実際の位置からずれた誤った領域をクロップし、細胞画像Ｉ(n)として表示してしまうことがある。

図６は、追跡対象細胞２３０Ｔがクロップ領域画像２８１の中心からずれ始めているクロップ領域画像２８１を含むＧＵＩ画面２００の表示を示す。このＧＵＩ画面２００のクロップ領域画像欄２８０には、例えば５〜１４回目のタイムラプス撮影時に取得された各細胞画像Ｉ(5)〜Ｉ(14)から切り取られた複数のクロップ領域画像２８１が時系列に従って複数並べて表示されている。なお、これらクロップ領域画像２８１には、各画像番号（５）〜（１４）が付与されている。

このクロップ領域画像群Ｉでは、細胞画像Ｉ(11)から切り取ったクロップ領域画像２８１において追跡対象細胞２３０Ｔの位置が当該クロップ領域画像２８１の中心からずれ始めている。さらに、２周期後のタイムラプス撮影時の細胞画像Ｉ(13)から切り取ったクロップ領域画像２８１では、追跡対象細胞２３０Ｔの位置が完全にクロップ領域画像２８１の中心からずれてしまい、当該クロップ領域画像２８１の領域外に存在してしまっている。このように、細胞追跡処理部１３０は、追跡対象細胞２３０Ｔの位置の推定を完全に誤ってしまっている。

（４）誤り修正
ユーザは、ＧＵＩ画面２００上において、追跡対象細胞２３０Ｔの位置がクロップ領域画像２８１の中心からずれたことを確認すると、同ＧＵＩ画面２００上において追跡対象細胞２３０Ｔの位置をクロップ領域画像２８１の中心に修正する。すなわち、ユーザは、図７に示すようにＧＵＩ画面２００上において、クロップ領域画像２８１の追跡対象細胞２３０Ｔの位置、ここでは細胞画像I（11）から切り取ったクロップ領域画像２８１に対してマウスカーソル２６０を移動させて当該クロップ領域画像２８１中の追跡対象細胞２３０Ｔをドラッグする。この操作に連動して、ＧＵＩ画面２００上の細胞画像２２０を、対応するもの、この場合はI（11）の細胞画像２２０に表示を更新する。そして、当該クロップ領域画像２８１の中心から位置ずれしている追跡対象細胞２３０Ｔの位置を当該クロップ領域画像２８１の中心に位置するように移動させて、ドロップする。

一般的には、位置ずれの修正は、図８に示すように位置ずれしている追跡対象細胞２３０Ｔに設定されているＲＯＩ２４０をドラッグアンドドロップ操作することで当該ＲＯＩ２４０を移動させ、当該ＲＯＩ２４０の領域内に追跡対象細胞２３０Ｔを位置させる。これに対して、本実施形態では、クロップ領域画像２８１中の追跡対象細胞２３０Ｔを、クロップ領域画像の中心に移動させるようにドラッグアンドドロップ操作するものである。そして、このクロップ領域画像２８１中の追跡対象細胞２３０Ｔの移動操作を、対応する細胞画像２２０におけるＲＯＩ２４０に反映させる。

なお、位置ずれ修正部１６０は、クロップ領域画像２８１上でドラッグアンドドロップ操作の開始時にマウスボタンを押下した位置と、ドラッグアンドドロップ操作を終了した（ドロップした）位置との間の距離及び方向からマウスカーソル２６０のドラッグアンドドロップ操作による位置ずれの修正量を算出する。

この位置ずれ修正部１６０は、このＧＵＩ操作による追跡対象細胞２３０Ｔの位置の修正量を細胞位置情報補正部１７０に送る。この細胞位置情報補正部１７０は、追跡対象細胞２３０Ｔの位置の修正量に基づいて細胞位置情報記録部１４０によって記録されている細胞位置の推定結果を補正する。

さらに、位置ずれ修正部１６０は、ＧＵＩ操作による追跡対象細胞２３０Ｔの位置の修正量をクロップ画像群作成部１５０にも送る。クロップ画像群作成部１５０は、追跡対象細胞２３０Ｔの位置の修正量に基づいて、当該追跡対象細胞２３０Ｔに対するドラッグアンドドロップ操作がされたクロップ領域画像２８１を、画像記録部１１０に記録されている基の細胞画像Ｉ(11)から再度作成する。さらに、クロップ画像群作成部１５０は、上記修正量に基づいて、以降の細胞画像Ｉ(12)〜Ｉ(n)から複数のクロップ領域画像２８１を再度作成する。このクロップ画像群作成部１５０は、当該再度作成した複数のクロップ領域画像２８１を表示装置５０に送る。これによりＧＵＩ画面２００上に表示される複数のクロップ領域画像２８１は、再度作成された複数のクロップ領域画像２８１に更新される。

（５）自動追跡処理の再実行
このようにしてクロップ領域画像２８１上で追跡対象細胞２３０Ｔの位置が修正されたとしても、追跡結果については、位置ずれの修正操作を行ったクロップ領域画像２８１に対応するものしか更新されていない。そこで、ステップＳ４において、ユーザは、図９に示すようにＧＵＩ画面２００上において、再度、マウスカーソル２６０を自動追跡処理ボタン３００上に移動し、この自動追跡処理ボタン３００を押下する。この自動追跡処理ボタン３００が押下されると、細胞追跡修正装置１００は、ステップＳ２の動作に戻り、細胞追跡処理部１３０による自動追跡処理を再度実行する。この場合、細胞追跡処理部１３０は、位置ずれの修正操作を行ったクロップ領域画像２８１に対応する細胞画像（Ｉ(11)）よりも後の時点に取得された細胞画像についてのみ、再追跡処理を行うようにしても良い。この細胞追跡処理部１３０によって推定された追跡対象細胞２３０Ｔの細胞位置は、細胞位置情報記録部１４０に転送されて記録される。

クロップ画像群作成部１５０は、上記同様に、再度、画像記録部１１０によって記録された各細胞画像Ｉ(5)〜Ｉ(n)からクロップした複数のクロップ領域画像２８１を作成する。この場合も、位置ずれの修正を行ったクロップ領域画像２８１に対応する細胞画像の次の細胞画像（Ｉ(12)）からのみクロップ領域画像２８１を再度作成し、それ以前のクロップ領域画像２８１は先に作成したものをそのまま使用するようにしても良い。これらクロップ領域画像２８１は、表示装置５０に送られることにより当該表示装置５０のＧＵＩ画面２００上のクロップ領域画像欄２８０に時系列に並んで表示される。

以降、ユーザは、ＧＵＩ画面２００上において、スライダ２９０をスライド操作しながら、クロップ領域画像欄２８０に表示された領域番号「１」の追跡対象細胞２３０Ｔについての時系列に並べられたクロップ領域画像２８１を見ていき、追跡対象画像２３０Ｔの位置がクロップ領域画像２８１の中心からずれたことを発見する度に、同ＧＵＩ画面２００上において追跡対象細胞２３０Ｔの位置を当該クロップ領域画像２８１の中心に修正する操作を繰り返す。

このようにして領域番号「１」の追跡対象細胞２３０Ｔについて位置ずれの修正が全て終了すると、例えば図１０に示すように追跡対象細胞２３０Ｔの位置ずれが存在していた１１枚目以降のクロップ領域画像２８１において追跡対象細胞２３０Ｔの位置ずれが修正され、全てのクロップ領域画像２８１において画像の中心に追跡対象細胞２３０Ｔが位置するようになる。

このようにして領域番号「１」の追跡対象細胞２３０Ｔについて位置ずれの修正がすべて終了したならば、ユーザは、別の細胞２３０を追跡対象細胞２３０として追加指定して、上記の処理を繰り返すことができる。

そのように別の細胞２３０に対する追跡処理を望む場合には、ステップＳ５において、ユーザは、細胞追跡修正装置１００に、上記ステップＳ１からの動作を繰り返すよう指示する。具体的には、図１１に示すように、ＧＵＩ画面２００上の任意の細胞画像Ｉ(i)において、所望の別の追跡対象細胞２３０Ｔを囲むようにＲＯＩ２４０を指定する。これにより、このＲＯＩ２４０に対して領域番号「２」が設定されることになる。

そして、上記のステップＳ２〜ステップＳ４の動作が領域番号「２」の追跡対象細胞２３０Ｔに関して実行される。なお、この場合は、複数の追跡対象細胞２３０Ｔが存在するため、図１２に示すように、ＧＵＩ画面２００上のクロップ領域画像欄２８０には、追跡対象細胞２３０Ｔ毎に、複数のクロップ領域画像２８１が時系列に並べられる。すなわち、領域番号「１」の追跡対象細胞２３０Ｔの複数のクロップ領域画像２８１と、領域番号「２」の追跡対象細胞２３０Ｔの複数のクロップ領域画像２８１−１とが同時に、かつ互いに並列に表示される。

なお、ここでは、２つの追跡対象細胞２３０Ｔが指定された場合を示したが、それ以上の数の追跡対象細胞２３０Ｔの指定が可能なことは言うまでもない。

（６）特徴量の計算処理
こうして、全ての追跡対象細胞２３０Ｔに対して全ての位置ずれを修正し終えたならば、例えば図１０に示すように、ＧＵＩ画面２００上の特徴量計算処理ボタン３１０がユーザによって押下される。細胞特徴量算出部１８０は、ステップＳ６において、細胞位置情報記録部１４０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)〜Ｉ(n)と、画像記録部１１０によって記録されている細胞画像Ｉ(i)〜Ｉ(n)とに基づいて細胞画像Ｉ(i)〜Ｉ(n)毎に追跡対象細胞２３０Ｔの特徴量を算出する。

細胞２３０の特徴量は、例えば明るさ、形状、又はテクスチャ等であり、ここでは例えば明るさを算出している。具体的に明るさは、細胞画像Ｉ(i)〜Ｉ(n)のそれぞれにおける追跡対象細胞２３０Ｔの位置を中心とした所定サイズの矩形領域内に含まれる画素群の画素値の平均値により算出される。この追跡対象細胞２３０Ｔの特徴量は、ステップＳ７において、出力部１９０に転送され、所定の媒体に記録される。

なお、ここでは追跡処理後、特徴量計算処理ボタン３１０を押下することにより特徴量を計算する構成としているが、ボタン押下を行わずに追跡処理直後に自動的に特徴量計算処理を実行する構成としても構わない。

このように上記一実施の形態によれば、ＧＵＩ画面２００上に表示されている複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔの位置がクロップ領域画像２８１の中央部の位置に対して位置ずれしているクロップ領域画像２８１が在ると、当該クロップ領域画像２８１の追跡対象細胞２３０Ｔに対してＧＵＩ画面２００上のＧＵＩ操作により追跡対象細胞２３０Ｔの位置をクロップ領域画像２８１の中央部に修正することで、追跡対象細胞２３０Ｔの位置を修正したときの位置ずれの修正量に基づいてタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)〜Ｉ(n)中の細胞位置の時系列的変化を計測する際に、細胞位置の計測の誤りを簡便に修正することができる。

例えば、蛍光試料である細胞２３０を撮像する場合、励起光を照射し続けることで細胞２３０から発せられる光量が時間経過と共に減少するという性質があるので、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。このため、コンピュータを用いた細胞追跡処理によって蛍光試料である細胞２３０の追跡を行っても、細胞２３０の位置を誤って推定してしまうことがしばしば起きる。これに対して本顕微鏡システム１であれば、細胞位置の誤った推定結果を修正することができる。

タイムラプス撮影により取得された複数のクロップ領域画像２８１に対する位置ずれの修正を繰り返すことで、当該全てのクロップ領域画像２８１における位置ずれ、つまり追跡の誤りを無くすことができる。

追跡対象細胞２３０Ｔの位置を修正すると、当該細胞位置の修正が行われたクロップ領域画像２８１の生成時点よりも時間的に以降に生成された複数のクロップ領域画像２８１中における追跡対象細胞２３０Ｔの位置が修正されるので、ユーザによって指示された位置ずれが生じ始めたクロップ領域画像２８１から時間的に以降に生成された各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置を自動的に修正できる。これにより、各クロップ領域画像２８１について個別に追跡対象細胞２３０Ｔの位置の修正を行わなくてよい。

なお、本発明は、上記一実施の形態に限定されるものでなく、次のように変形してもよい。

追跡対象細胞２３０Ｔの位置の修正では、位置ずれが生じ始めた以降の各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置修正に加えて、当該位置の修正が行われたクロップ領域画像２８１の生成時点よりも時間的に以前に生成された複数のクロップ領域画像２８１中における細胞２３０の位置を修正するようにしてもよい。ユーザによって指示された位置ずれが生じ始めたクロップ領域画像２８１よりも時間的に以前の各クロップ領域画像２８１における細胞２３０の位置をも自動的に修正できる。これにより、位置ずれが生じ始めたとして指示するクロップ領域画像２８１が正確に位置ずれを生じ始めたクロップ領域画像２８１でなくても、位置ずれが生じている各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置を自動的に修正できる。

また、上記実施形態では、１つの観察対象細胞２３０Ｔについての位置ずれの修正が終了してから別の観察対象細胞２３０Ｔについての処理を行うようにしているが、ステップＳ１の初期細胞位置設定時に、複数の観察対象細胞２３０Ｔを指定するようにしても良い。

このようにすれば、複数の追跡対象細胞２３０Ｔ、例えば領域番号「１」「２」の各追跡対象細胞２３０Ｔに対応する複数のクロップ領域画像２８１を同時にかつ互いに並列に表示して、これら領域番号「１」「２」の各追跡対象細胞２３０Ｔに対応する複数のクロップ領域画像２８１中における各追跡対象細胞２３０Ｔの位置ずれを並行して確認しながら、位置ずれがあれば、その位置ずれを修正することができる。

また、ＧＵＩ画面２００に細胞画像２２０を１つのみ表示するものとしたが、複数表示しても良いことは勿論である。

１：顕微鏡システム、 １０：顕微鏡、 ２０：撮像部、 ３２：ＣＰＵ、 ３４：メモリ、 ３６：ＨＤＤ、 ３８：インターフェース（Ｉ／Ｆ）、 ４０：入力装置、 ５０：表示装置、 １００：細胞追跡修正装置、 １１０：画像記録部、 １２０：追跡対象細胞位置設定部、 １３０：細胞追跡処理部、 １４０：細胞位置情報記録部、 １５０：クロップ画像群作成部、 １６０：位置ずれ修正部、 １７０：細胞位置情報補正部、 １８０：細胞特徴量算出部、 １９０：出力部、 ２８１：クロップ領域画像、 ２００：ＧＵＩ画面、 ２１０：画像番号、 ２２０：細胞画像、 ２３０：細胞、 ２３０Ｔ：追跡対象細胞、 ２４０：関心領域（ＲＯＩ）、 ２５０：領域番号、 ２６０：マウスカーソル、 ２７０：画像番号、 ２８０：クロップ領域画像欄、 ２９０：スライダ、 ３００：自動追跡処理ボタン、 ３１０：特徴量計算処理ボタン、 Ｂ：バス。

本発明は、顕微鏡を用いて観察される細胞をタイムラプス（微速度）撮影することで取得されるタイムラプス細胞画像群の各画像中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測する際に、当該計測の誤りを修正する細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラムに関する。

本発明は、上記事情に鑑みて為されたものであり、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラムを提供することを目的とする。

本発明の主要な局面に係る細胞追跡修正方法は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡し、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、複数の当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成し、前記複数の近傍領域画像を表示部に表示し、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力をユーザインタフェースを介して受け付け、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する。

本発明の主要な局面に係る細胞追跡修正装置は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡する細胞追跡処理部と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、複数の当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成する近傍領域画像生成部と、前記複数の近傍領域画像を表示するための表示部と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けるユーザインタフェースと、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する位置ずれ修正部とを具備する。

本発明の主要な局面に係る細胞追跡修正プログラムは、コンピュータに、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡させる細胞追跡処理機能と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、複数の当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成させる近傍領域画像生成機能と、前記複数の近傍領域画像を表示部に表示させる表示機能と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けさせるユーザインタフェース機能と、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正させる位置ずれ修正機能とを実現させる。

本発明によれば、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラムを提供できる。

図１は、本発明に係る細胞追跡修正装置を備えた顕微鏡システムの一実施の形態を示す構成図である。 図２は、細胞追跡修正装置によって表示装置に表示されるＧＵＩ操作のためのウィンドウであるＧＵＩ画面の一例を示す図である。 図３は、ＧＵＩ画面上におけるクロップ領域画像欄に表示される時系列に並べられた複数のクロップ領域画像を示す拡大図である。 図４は、細胞追跡修正装置を示す機能ブロック図である。 図５は、同装置における細胞追跡修正処理フローチャートである。 図６は、ＧＵＩ画面上における初期位置に設定されたＲＯＩ内の細胞に対する時系列に並んだ複数のクロップ領域画像の表示を示す図である。 図７は、ＧＵＩ画面上における細胞がクロップ領域画像の中心からずれ始めているクロップ領域画像群と当該細胞の位置ずれ修正とを示す図である。 図８は、ＧＵＩ画面上における一般的な細胞位置の修正方法を示す図である。 図９は、同装置により位置ずれ修正後にＧＵＩ画面上に表示されるクロップ領域画像及び自動追跡処理ボタンの押下を示す図である。 図１０は、ＧＵＩ画面上の特徴量計算処理ボタンの押下を示す図である。 図１１は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の表示例を示す図である。 図１２は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の他の表示例を示す図である。

細胞追跡処理機能は、ＰＣに、タイムラプス撮影により取得された複数の細胞画像Ｉ(1)〜Ｉ(n)中における細胞２３０（図２参照）のうち少なくとも１つの追跡対象細胞２３０Ｔの各位置を推定させて、当該追跡対象細胞２３０Ｔの位置を追跡させる。クロップ領域画像生成機能は、ＰＣに、この細胞追跡処理機能により追跡された追跡対象細胞２３０Ｔの位置に基づいて、タイムラプス撮影した各撮影時点において追跡された追跡対象細胞２３０Ｔの位置を基に、当該時点の各細胞画像Ｉ(1)〜Ｉ(n)から追跡対象細胞２３０Ｔを含む近傍領域の近傍領域画像、すなわち図２に示すように複数のクロップ領域画像２８１を生成させる。表示機能は、ＰＣに、生成された各時点のクロップ領域画像２８１を表示装置５０に表示させる。ユーザインタフェース機能は、ＰＣに、表示装置５０に表示されている複数のクロップ領域画像２８１のうちの１つに対して追跡対象細胞２３０Ｔの位置を修正する修正量の入力を受け付けさせる。位置ずれ修正機能は、表示装置５０に表示されている複数のクロップ領域画像２８１のうち位置ずれしている追跡対象細胞２３０Ｔを含むクロップ領域画像２８１が存在する場合、ＰＣに、ユーザインタフェースから入力された修正量に従って追跡対象細胞２３０Ｔの位置ずれを修正させる。なお、本明細書において、位置ずれとは、クロップ領域画像２８１の中央部に対して当該クロップ領域画像２８１中の追跡対象細胞２３０Ｔの位置がずれていることを指す。つまり、細胞追跡結果が誤っていることを意味する。

ユーザが入力装置４０を操作してＧＵＩ画面２００上においてマウスカーソル２６０を自動追跡処理ボタン３００上に移動させ、この自動追跡処理ボタン３００を押下すると、細胞追跡処理部１３０は、ステップＳ２において、自動追跡処理を実行する。

また、上記実施形態では、１つの追跡対象細胞２３０Ｔについての位置ずれの修正が終了してから別の追跡対象細胞２３０Ｔについての処理を行うようにしているが、ステップＳ１の初期細胞位置設定時に、複数の追跡対象細胞２３０Ｔを指定するようにしても良い。

Claims (19)

1. タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡し、
   前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成し、
   前記複数の近傍領域画像を表示部に表示し、
   当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力をユーザインタフェースを介して受け付け、
   前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する、
   ことを特徴とする細胞追跡修正方法。
2. 前記表示部には、前記複数の近傍領域画像が時系列に従って並べて表示されることを特徴とする請求項１に記載の細胞追跡修正方法。
3. 前記表示部には、前記タイムラプス撮影により取得された前記複数の画像のうち少なくとも１つの前記画像と、前記複数の近傍領域画像とが表示され、
   前記複数の近傍領域画像と前記画像とがリンクされている、
   ことを特徴とする請求項２に記載の細胞追跡修正方法。
4. 前記修正量の入力は、前記近傍領域画像における前記細胞の位置が当該近傍領域画像の中央部の位置に対して位置ずれしている前記細胞に対して、前記細胞が前記近傍領域画像の中央部になるように移動させる移動量であることを特徴とする請求項１に記載の細胞追跡修正方法。
5. 前記移動量の入力は、前記近傍領域画像中の前記細胞をドラッグし前記近傍領域画像の中央部に移動させてドロップするドラッグアンドドロップ操作によって行われることを特徴とする請求項４に記載の細胞追跡修正方法。
6. 前記細胞の位置の修正に応じて当該近傍領域画像の基となった画像が取得された時点以降に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置の修正を、前記入力された移動量に基づいて行うことを特徴とする請求項４に記載の細胞追跡修正方法。
7. 前記細胞の位置の修正に応じて、当該近傍領域画像の基となった画像が取得された時点以前に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置の修正を、前記入力された移動量に基づいて行うことを特徴とする請求項４に記載の細胞追跡修正方法。
8. さらに、前記修正された前記細胞の位置に基づいて前記細胞の位置を再度追跡することを特徴とする請求項１に記載の細胞追跡修正方法。
9. 前記細胞の位置に基づいて各時点における前記細胞の特徴量を前記画像から算出することを特徴とする請求項１に記載の細胞追跡修正方法。
10. タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡する細胞追跡処理部と、
    前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成する近傍領域画像生成部と、
    前記複数の近傍領域画像を表示するための表示部と、
    当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けるユーザインタフェースと、
    前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する位置ずれ修正部と、
    を具備することを特徴とする細胞追跡修正装置。
11. 前記表示部には、前記複数の近傍領域画像が時系列に従って並べて表示されることを特徴とする請求項１０に記載の細胞追跡修正装置。
12. 前記表示部には、前記タイムラプス撮影により取得された前記複数の画像のうち少なくとも１つの前記画像と、前記複数の近傍領域画像とが表示され、
    前記複数の近傍領域画像と前記画像とがリンクされている、
    ことを特徴とする請求項１１に記載の細胞追跡修正装置。
13. 前記位置ずれ修正部は、前記近傍領域画像における前記細胞の位置が当該近傍領域画像の中央部の位置に対して位置ずれしている前記細胞に対して、前記細胞が前記近傍領域画像の中央部になるように修正することを特徴とする請求項１０に記載の細胞追跡修正装置。
14. 前記位置ずれ修正部は、前記近傍領域画像中の前記細胞をドラッグし前記近傍領域画像の中央部に移動させてドロップするドラッグアンドドロップ操作によって前記細胞の位置を修正することを特徴とする請求項１３に記載の細胞追跡修正装置。
15. 前記位置ずれ修正部は、前記細胞の位置の修正に応じて当該近傍領域画像の基となった画像が取得された時点以降に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置を、前記入力された移動量に基づいて修正することを特徴とする請求項１３に記載の細胞追跡修正装置。
16. 前記位置ずれ修正部は、前記細胞の位置の修正に応じて、当該近傍領域画像の基となった画像が取得された時点以前に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置を、前記入力された移動量に基づいて修正することを特徴とする請求項１５に記載の細胞追跡修正装置。
17. 前記細胞追跡処理部は、前記修正された前記細胞の位置に基づいて前記細胞の位置を再度追跡することを特徴とする請求項１０に記載の細胞追跡修正装置。
18. 前記細胞の位置に基づいて各時点における前記細胞の特徴量を前記画像から算出する細胞特徴量算出部を具備することを特徴とする請求項１０に記載の細胞追跡修正装置。
19. コンピュータに、
    タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡させる細胞追跡処理機能と、
    前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成させる近傍領域画像生成機能と、
    前記複数の近傍領域画像を表示部に表示させる表示機能と、
    当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けさせるユーザインタフェース機能と、
    前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正させる位置ずれ修正機能と、
    を実現させるコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体。

Images