JP5780791B2

JP5780791B2 - 細胞の追跡処理方法

Info

Publication number: JP5780791B2
Application number: JP2011064989A
Authority: JP
Inventors: 光裕中野; 浩輔 ▲高▼木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-03-23
Filing date: 2011-03-23
Publication date: 2015-09-16
Anticipated expiration: 2031-03-23
Also published as: US8792703B2; JP2012200156A; EP2503006B1; EP2503006A1; US20120243767A1

Description

本発明は、細胞の追跡処理方法に関するものである。

従来、生体組織に含まれる細胞の形態（形状や輝度等）の時系列変化や細胞の運動特性等を観察するために、特定の細胞を追跡処理する方法が知られている（例えば、特許文献１参照。）。特許文献１に記載の細胞の追跡処理方法は、時間間隔をあけて細胞を撮影して得られた画像を画像処理して細胞の輪郭を抽出し、取得時間が異なる画像間の細胞どうしをマッチングして移動量や回転角を求めることにより、各細胞を追跡することとしている。

特開２００７−２２２０７３号公報

しかしながら、特許文献１に記載の細胞の追跡処理方法においては、細胞の形状が変化しない場合や細胞どうしの輝度が均一の場合は各細胞を追跡することがでるが、細胞の形状が変化する場合は変化の前後で細胞の同一性を特定することができなかったり、細胞どうしの輝度が不均一の場合は細胞の輝度に応じて検出されるものと検出されないものがあったりし、細胞を精度よく追跡できないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、簡易かつ高精度な細胞の追跡を実現することができる細胞の追跡処理方法を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、前記観察画像から、第１の閾値を用いて細胞を検出する細胞検出工程と、前記画像取得工程により取得された前記観察画像における、前記細胞検出工程で検出された各細胞の少なくとも波長の情報を含む所定の特徴量を解析する特徴量解析工程と、該特徴量解析工程により解析された特徴量と該特徴量を分類する第２の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、前記観察画像ごとに該グループ分けされた特定のグループのみの細胞を抽出する抽出工程と、前記グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する、前記抽出工程で抽出された細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法を提供する。

本発明によれば、グルーピング工程により、時間間隔をあけて取得した観察画像ごとに所定の特徴量と所定の閾値に基づいて細胞を複数のグループに分けることで、対応づけ工程において、各観察画像における形態的特徴が略一致する細胞どうしをグループ単位で対応づけることができる。これにより、観察画像内に特徴量が異なる複数の細胞が混在する場合であっても、追跡対象の細胞を絞り込み易くすることができる。したがって、所望の細胞の時系列変化を簡易かつ精度よく追跡することができる。形態的特徴としては、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられる。

上記発明においては、前記特徴量が、さらに、前記細胞の輝度、前記細胞の大きさ、および前記細胞の形状の少なくとも１つを含むこととしてもよい。
このように構成することで、細胞の特性に応じて効率的に細胞をグループ分けし、対応づける細胞を絞り込み易くすることができる。例えば、時間が経過しても変化し難い特徴量に基づいて細胞をグループ分けすることで、所定時間経過後の同一の細胞どうしの対応づけを容易にすることができる。

また、上記発明においては、前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けすることとしてもよい。
このように構成することで、細胞が特徴量の異なる複数の領域を有する場合であっても、所定の領域の特徴量に限定して各観察画像間の細胞どうしを対応づけることができる。例えば、細胞が形状や輝度等の変化が少ない本体部分と変化が多い突起部分とを有する場合に、本体部分に限定した特徴量に基づいて細胞どうしを精度よく対応づけることができる。また、例えば、神経細胞のように、細胞どうしが部分的に複雑に絡まり合う領域を有する場合に、絡まり合っていない領域に限定した特徴量に基づいて各細胞どうしを個々に対応づけることができる。

また、上記発明においては、追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含むこととしてもよい。
このように構成することで、関心領域により、追跡対象の細胞と他の細胞との区別を容易にすることができる。この場合において、観察画像ごとに細胞と共に関心領域を移動させることで、視野範囲や細胞を載置するステージを移動させなくても、各観察画像における追跡対象の細胞を容易に把握して追跡することができる。

また、上記発明においては、前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含むこととしてもよい。
このように構成することで、各観察画像において、追跡対象の細胞を視野範囲の所望の位置に配置したまま追跡することができる。

本発明によれば、簡易かつ高精度な細胞の追跡を実現することができるという効果を奏する。

本発明の一実施形態に係る細胞の追跡処理方法のフローチャートである。観察画像上の細胞を示す図である。明のグループの細胞と暗のグループの細胞とを示す図である。時刻Ｔの観察画像上に明のグループの細胞のみを抽出した様子を示す図である。時刻Ｔ＋１の観察画像上に明のグループの細胞のみを抽出した様子を示す図である。明のグループについて、観察画像間で同１つの細胞どうしを対応づけた様子を示す図である。本発明の一実施形態に係る細胞の追跡処理方法の別のフローチャートである。別の観察画像上の細胞を示す図である。図８の細胞抽出後の観察画像を示す図である。図９の観察画像上の細胞について輪郭抽出を行った状態を示す図である。（ａ）は観察画像上の細胞を示し、（ｂ）は（ａ）の細胞を点線の枠で囲った様子を示し、（ｃ）は点線の枠の形状の候補の１つを示し、（ｄ）は点線の枠の形状の候補の他の１つを示し、（ｅ）は点線の枠の形状の候補の他の１つを示し、（ｆ）は点線の枠の形状の候補の他の１つを示し、（ｇ）は点線の枠の形状の候補の他の１つを示す図である。本発明の一実施形態の変形例に係る細胞の追跡処理方法のフローチャートである。（ａ）は観察画像上の細胞を示し、（ｂ）は二値化処理して表示した細胞を示し、（ｃ）は（ｂ）の細胞の本体部分のみを抽出した様子を示し、（ｄ）は（ｂ）の細胞の突起部分のみを抽出した様子を示す図である。

以下、本発明の一実施形態に係る細胞の追跡処理方法について、図面を参照して説明する。
本実施形態に係る細胞の追跡処理方法は、図１のフローチャートに示されるように、複数の細胞の観察画像を時間間隔をあけて複数枚取得する画像取得工程Ｓ１と、画像取得工程Ｓ１により取得された観察画像における各細胞の所定の特徴量を解析する特徴量解析工程Ｓ２と、特徴量解析工程Ｓ２により解析された特徴量に基づいて、観察画像ごとに細胞をグループ分けするグルーピング工程Ｓ３と、グルーピング工程Ｓ３により分けられたグループごとに各観察画像における同一の細胞を対応づける対応づけ工程Ｓ４と、対応づけ工程Ｓ４により対応づけられた細胞の移動量を算出する移動量算出工程Ｓ５と、移動量算出工程Ｓ５により算出された細胞の移動量に基づいて、細胞が載置されているステージを移動させる移動工程Ｓ６とを含んでいる。

画像取得工程Ｓ１においては、同一の複数の細胞が視野範囲に含まれるように観察画像を取得するようになっている。画像取得工程Ｓ１により取得された観察画像では、輝度解析により細胞検出用の所定の閾値以上の輝度を有する領域を細胞とみなすようになっている。細胞抽出用の閾値は、例えば、観察画像上のすべての細胞の輝度値よりも低い値に設定する。

特徴量解析工程Ｓ２においては、観察画像ごとに各細胞の輝度、大きさ、形状または細胞の波長等の特徴量をそれぞれ解析し、解析した特徴量を各細胞に関連づけて記憶しておくようになっている。特徴量としては、細胞ごとにその特性が異なり、かつ、時間が経過しても変化し難いものが好ましい。特徴量として、例えば、細胞の輝度を用いる場合は、観察画像上の細胞を検出する際に得られた値を利用することができる。

グルーピング工程Ｓ３においては、各細胞に関連づけた輝度（特徴量）と、輝度の予め設定されているグループ分け用の輝度の所定の閾値とに基づいて、観察画像上の各細胞を複数のグループに分けるようになっている。細胞のグループ分けは、全ての観察画像において同一の閾値を用いて同一のグループ数に分けるようになっている。観察画像上の細胞の数に応じて、例えば、１つの閾値により２つのグループに分けることとしてもよいし、複数の閾値により３つ以上のグループに分けることとしてもよい。

対応づけ工程Ｓ４においては、観察画像上のいずれか１つのグループ内の細胞のみを抽出するようになっている。また、抽出したグループ内において、取得時間が異なる観察画像間で形態的特徴がほぼ一致する細胞どうしを対応づけるようになっている。形態的特徴としては、例えば、細胞の輝度、細胞の大きさ、細胞の形状または細胞の波長等が挙げられ、特徴量解析工程Ｓ２において解析して細胞に関連づけた特徴量を用いることができる。同一グループ内の細胞どうしの形態的特徴が異なる場合は、グループ分け用の特徴量と同じものを対応づけの形態的特徴として用いることとしてもよい。

移動量算出工程Ｓ５においては、例えば、対応づけた細胞の観察画像ごとの重心の座標を検出し、検出した座標の差分により細胞の移動量を算出するようになっている。
移動工程Ｓ６においては、観察画像ごとに細胞の移動方向とは逆方向に、細胞の移動量と同じ量だけステージを移動させるようになっている。ステージは、例えば、視野範囲のほぼ中央に追跡対象の細胞が配置されるように設定されている。

以下、このように構成された細胞の追跡処理方法の作用について説明する。
本実施形態に係る細胞の追跡処理方法により細胞を追跡処理するには、まず、視野範囲に複数の細胞を含む時刻Ｔにおける観察画像を取得する（ステップＳ１）。

時刻Ｔの観察画像を取得したら、輝度解析により、細胞抽出用の輝度の閾値を用いて観察画像上の細胞を検出する。時刻Ｔの観察画像上においては、例えば、図２に示すように、互いに輝度が異なる４つの細胞Ｃ（以下、それぞれの細胞を符合Ｃ１，Ｃ２，Ｃ３，Ｃ４で示す。）が検出されたものとする。続いて、観察画像上の各細胞Ｃの大きさ、形状、波長等の特徴量を解析し、細胞Ｃ１，Ｃ２，Ｃ３，Ｃ４ごとに輝度を含むこれらの特徴量を関連づけて記憶する（ステップＳ２）。

次に、各細胞Ｃに関連づけた輝度（特徴量）とグループ分け用の輝度の閾値とに基づいて、図３に示すように、４つの細胞Ｃ１，Ｃ２，Ｃ３，Ｃ４を閾値以上の輝度を有する明のグループ（例えば、細胞Ｃ１，Ｃ３）と、その閾値よりも小さい輝度を有する暗のグループ（例えば、細胞Ｃ２，Ｃ４）とに分類する（ステップＳ３）。
同様にして、時刻Ｔ＋１についてもステップＳ１〜Ｓ３を繰り返す。

続いて、二値化処理により、図４に示すように、時刻Ｔの観察画像において明グループの細胞Ｃ１，Ｃ３のみを抽出するとともに、図５に示すように、時刻Ｔ＋１の観察画像においても明グループの細胞Ｃ１，Ｃ３のみを抽出する。そして、時刻Ｔの観察画像と時刻Ｔ＋１の観察画像とを対比させ、図６に示すように、これらの観察画像間で、予め関連づけておいた輝度（形態的特徴）がほぼ一致する細胞Ｃ１どうしおよび細胞Ｃ３どうしをそれぞれ対応づける（ステップＳ４）。これにより、時刻Ｔの観察画像上の細胞Ｃ１、Ｃ３が時刻Ｔ＋１の観察画像上で何処に移動したかを容易に把握することができる。

次に、追跡対象の細胞Ｃ１の重心の観察画像ごとの座標を検出し、細胞Ｃ１の移動量を算出する（ステップＳ５）。細胞Ｃ１の移動量を算出したら、時刻Ｔ＋１の観察画像において、時刻Ｔの観察画像からの細胞Ｃ１の移動方向とは逆方向に細胞Ｃ１の移動量と同じ量だけステージを移動させる（ステップＳ６）。これにより、時刻Ｔ＋１の観察画像においても、視野範囲のほぼ中央に細胞Ｃ１を配置したまま、細胞Ｃ１の動きを追跡することができる。

以上、本実施形態に係る細胞の追跡処理方法によれば、グルーピング工程Ｓ３により、時間間隔をあけて取得した観察画像ごとに、細胞Ｃの輝度（特徴量）とグループ分け用の閾値とに基づいて４つの細胞Ｃ１，Ｃ２，Ｃ３，Ｃ４を２つのグループに分けることで、対応づけ工程Ｓ４において、各観察画像における輝度（形態的特徴）が略一致する細胞Ｃ１をグループ単位で対応づけることができる。これにより、観察画像内に輝度（特徴量）が異なる複数の細胞Ｃ１，Ｃ２，Ｃ３，Ｃ４が混在する場合であっても、追跡対象の細胞Ｃ１を絞り込み易くすることができる。したがって、細胞Ｃ１の時系列変化を簡易かつ精度よく追跡することができる。

本実施形態においては、対応づけ工程Ｓ４において、明のグループの細胞Ｃ１どうしおよび細胞Ｃ３どうしをそれぞれ対応づけることとしたが、同様な方法で、暗のグループの細胞Ｃ２どうしおよび細胞Ｃ４どうしをそれぞれ対応づけることとしてもよい。また、本実施形態においては、細胞Ｃの特徴量として、細胞Ｃの輝度、大きさ、形状、および、波長を例示して説明したが、追跡対象の細胞Ｃ１を他の細胞Ｃ３，Ｃ４と対比して特徴づけられるものであればよい。また、グループ分け用の特徴量として、細胞Ｃの輝度を用いることとしたが、輝度、大きさ、形状、および、波長の少なくとも１つを含むこととすればよい。

また、本実施形態においては、同一のグループに分類された細胞Ｃ１，Ｃ３が互いに異なる輝度（形態的特徴）を有することを前提として、グループ分け用の特徴量および対応づけの形態的特徴のどちらも細胞Ｃの輝度を用いることとしたが、例えば、同一グループ内で細胞Ｃ１，Ｃ３どうしの輝度（形態的特徴）がほぼ同じ場合は、対応づけの形態的特徴として、細胞Ｃの大きさ、形状または波長等を用いることとすればよい。

また、本実施形態においては、観察画像を二値化処理することとしたが、いずれか１つのグループの細胞Ｃ１，Ｃ３を他のグループの細胞Ｃ２，Ｃ４と識別することができればよく、例えば、画像上の細胞Ｃ１、Ｃ３と細胞Ｃ２、Ｃ４とを異なる色で表示したり、画像上の細胞Ｃ１、Ｃ４あるいは細胞Ｃ２、Ｃ４にマークを付したりすることとしてもよい。

また、本実施形態においては、ステージを移動させて細胞Ｃ１を追跡することとしたが、これに代えて、例えば、細胞Ｃ１を含む観察画像の視野範囲を移動させることとしてもよい。また、ステージや視野範囲を移動させるのではなく、例えば、図７のフローチャートに示されるように、追跡対象の細胞Ｃ１を含む領域（以下、「関心領域」という。図示略。）を観察画像上に定義する領域定義工程Ｓ４−２を含むこととし、移動工程Ｓ６´が、移動量算出工程Ｓ５により算出された細胞Ｃ１の移動量に基づいて、観察画像上に定義した関心領域を観察画像ごとに細胞Ｃ１と共に移動させることとしてもよい。関心領域は、例えば、観察画像上で他の領域と区別できるように色分けしたり境界線を用いたりして表示することとすればよい。

このようにすることで、観察画像上の関心領域により、追跡対象の細胞Ｃ１を他の細胞Ｃ２、Ｃ３，Ｃ４と区別することができる。また、観察画像ごとに細胞Ｃ１の移動に合わせて関心領域を移動させることで、視野範囲や細胞Ｃを載置するステージを移動させなくても、各観察画像上における追跡対象の細胞Ｃ１を容易に把握して追跡することができる。

また、本実施形態においては、図８に示すような細胞Ｃの抽出前の観察画像と比較して、図９に示すように、対応づけ工程Ｓ４において抽出した観察画像上の細胞Ｃの詳細な形状が損なわれる場合は、図１０に示すように、移動量算出工程Ｓ５後に細胞Ｃの輪郭抽出を行うこととしてもよい。輪郭抽出方法としては、例えば、Ｓｎａｋｅ法を用いることができる。

この場合、例えば、対応づけ工程Ｓ４により観察画像上で抽出された図１１（ａ）に示すような形状の細胞Ｃに対して、図１１（ｂ）に示すようにその周囲を点線の枠ｆで囲い、点線の枠ｆを拡大したり縮小したりしながら図１１（ｃ）〜図１１（ｇ）に示すような候補を探し、点線の枠ｆにより定義される値を計算することとすればよい。そして、例えば図１１（ｆ）に示す候補の点線の枠ｆに決定し、点線の枠ｆ内で閉曲線となるもの、すなわち、細胞Ｃの輪郭線となるものを見つけることとすればよい。本実施形態においては、細胞Ｃの外観がある程度分かっているので、Ｓｎａｋｅ法を用いても複雑な計算を要することなく細胞Ｃの輪郭を検出することができる。このようにすることで、追跡対象の細胞Ｃの形態（例えば、面積、周辺長、体積等。）を解析したり、細胞Ｃの大きさや輝度の変化等を解析したりすることができる。

本実施形態は、以下のように変形することができる。
本実施形態においては、細胞Ｃ全体の特徴量に着目して細胞Ｃをグループ分けすることとしたが、例えば、細胞の部分的な領域内における特徴量に着目して細胞をグループ分けすることとしてもよい。この場合、図１２のフローチャートに示されるように、画像取得工程Ｓ１により取得された観察画像において、画像上の細胞のいずれかの部分的な領域を特定し（ステップＳ１−２）、特定した領域に限定して特徴量を解析し（ステップＳ２）、特定した領域どうしをグループ分け（ステップＳ３）および対応づけ（ステップＳ４）することとすればよい。

具体的には、本変形例に係る細胞の追跡処理方法により細胞を追跡処理するには、細胞の時刻Ｔにおける観察画像を取得した後（ステップＳ１）、輝度解析により、図１３（ａ）に示すような形状や輝度等の変化が少ない本体部分Ｐ１と変化が多い突起部分Ｐ２とを有する細胞Ｃを検出する。そして、細胞検出用の閾値により、図１３（ｂ）に示すように、観察画像を二値化処理して細胞Ｃの本体部分Ｐ１と突起部分Ｐ２とを表示する。

続いて、細胞Ｃの抽出する領域を本体部分Ｐ１に特定する（ステップＳ１−２）。そして、本体部分Ｐ１の特徴量を解析し（ステップＳ２）、図１３（ｃ）に示す本体部分Ｐ１の輝度、大きさ、形状等（特徴量）を細胞Ｃに関連づけて記憶しておく。抽出しなかった図１３（ｄ）に示す突起部分Ｐ２についても、その形状等（特徴量）を細胞Ｃに関連づけて記憶しておくこととしてもよい。

次に、それぞれの観察画像上の複数の細胞Ｃについて、本体部分Ｐ１の形状（特徴量）とグループ分け用の形状の閾値とに基づいてグループ分けする（ステップＳ３）。時刻Ｔ＋１についてもステップＳ１〜Ｓ３を繰り返す。そして、時刻Ｔと時刻Ｔ＋１の観察画像において１つのグループの細胞Ｃの本体部分Ｐ１のみを抽出し、これらの観察画像間で、予め関連づけておいた輝度、大きさ、および、形状（形態的特徴）がほぼ一致する本体部分Ｐ１どうしを対応づける（ステップＳ４）。これにより、時刻Ｔの観察画像上における細胞Ｃが時刻Ｔ＋１の観察画像上で何処に移動したかを容易に把握することができる。以下、ステップＳ５により細胞Ｃの本体部分Ｐ１の移動量を算出し、ステップＳ６によりステージを移動させることとすればよい。

本変形例によれば、細胞Ｃが特徴量の異なる本体部分Ｐ１と突起部分Ｐ２を有しても、本体部分Ｐ１の特徴量に限定して各観察画像間の細胞Ｃどうしを精度よく対応づけることができる。また、細胞Ｃの突起部分Ｐ２が他の細胞Ｃの突起部分Ｐ２に複雑に絡まり合っていても、本体部分Ｐ１の特徴量に基づいて細胞Ｃだけを個々に対応づけて追跡することができる。本変形例は、神経細胞のような複雑な形状を有する細胞の追跡に有効である。

本変形例においては、対応づけた本体部分Ｐ１について輪郭抽出するとともに、突起部分Ｐ２についても輪郭抽出し、追跡後の観察画像上で本体部分Ｐ１と突起部分Ｐ２とを合成し、本体部分Ｐ１に突起部分Ｐ２を戻すこととしてもよい。このようにすることで、所定時間経過後の観察画像上でも、追跡した細胞Ｃについて本体部分Ｐ１に突起部分Ｐ２を含めた形状で詳細に解析等することができる。

Ｓ１画像取得工程
Ｓ２特徴量解析工程
Ｓ３グルーピング工程
Ｓ４対応づけ工程
Ｓ４−２領域定義工程
Ｓ５移動量算出工程
Ｓ６，Ｓ６´ 移動工程

Claims

視野範囲に複数の細胞を含む観察画像を時間間隔をあけて複数枚取得する画像取得工程と、
前記観察画像から、第１の閾値を用いて細胞を検出する細胞検出工程と、
前記画像取得工程により取得された前記観察画像における、前記細胞検出工程で検出された各細胞の少なくとも波長の情報を含む所定の特徴量を解析する特徴量解析工程と、
該特徴量解析工程により解析された特徴量と該特徴量を分類する第２の閾値とに基づいて、前記観察画像ごとに前記細胞をグループ分けするグルーピング工程と、
前記観察画像ごとに該グループ分けされた特定のグループのみの細胞を抽出する抽出工程と、
前記グルーピング工程により分けられたグループごとに、取得時間が前後する前記観察画像間の形態的特徴がほぼ一致する、前記抽出工程で抽出された細胞どうしを対応づける対応づけ工程とを含む細胞の追跡処理方法。
前記特徴量が、さらに、前記細胞の輝度、前記細胞の大きさ、および前記細胞の形状の少なくとも１つを含む請求項１に記載の細胞の追跡処理方法。
前記グルーピング工程が、前記細胞の部分的な領域内における特徴量に着目して前記細胞をグループ分けする請求項１または請求項２に記載の細胞の追跡処理方法。
追跡対象の前記細胞を含む関心領域を前記観察画像上に定義する領域定義工程と、
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
該移動量算出工程により算出された前記細胞の移動量に基づいて、前記領域定義工程により定義された前記関心領域を前記観察画像ごとに前記細胞と共に移動させる移動工程とを含む請求項１から請求項３のいずれかに記載の細胞の追跡処理方法。
前記対応づけ工程により対応づけられた前記細胞の移動量を算出する移動量算出工程と、
移動量算出工程により算出された前記細胞の移動量に基づいて、前記視野範囲または前記細胞が載置されるステージを前記観察画像ごとに前記細胞の移動方向とは逆方向に移動させる移動工程とを含む請求項１から請求項３のいずれかに記載の細胞の追跡処理方法。