JP6832165B2

JP6832165B2 - 観察システム

Info

Publication number: JP6832165B2
Application number: JP2017005153A
Authority: JP
Inventors: 裕介山下
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-01-16
Filing date: 2017-01-16
Publication date: 2021-02-24
Anticipated expiration: 2037-01-16
Also published as: JP2018115875A; US10417482B2; US20180204047A1

Description

本発明は、観察システムに関するものである。

従来、細胞を立体的に培養する３次元培養において、複数の細胞が立体的に集合した３次元的な構造を有する細胞集塊等の培養状態を観察する観察システムが知られている（例えば、特許文献１参照。）。

特許文献１に記載の観察システムは、２次元的な蛍光観察画像において、細胞集塊、核、細胞膜、細胞質等の細胞構成要素の領域を色素別に認識し、色素量を基に２次元的な蛍光観察画像から各標的部位を認識および抽出して、標的部位の例えば面積等の計測値を出力している。また、特許文献１に記載の観察システムは、標的部位の認識処理の妥当性を判断するために、２次元的な蛍光観察画像上で認識された標的部位の形状と標的部位の解析結果から得られるヒストグラム上の分布との両方を確認している。

特開２０１１−１７９９２４号公報

しかしながら、特許文献１に記載の観察システムのように、２次元的な蛍光画像を用いた解析では、スフェロイドのように３次元的な組織構造を有する細胞の計測に対しては精度が得られないという不都合がある。また、特許文献１は、標的部位の認識結果を２次元的な蛍光観察画像と合成して、認識結果を検証する手段が記載されているが、３次元的な蛍光画像を用いて、標的部位の認識結果を検証する手段については言及されていない。したがって、特許文献１の観察システムでは、３次元的な構造を有する細胞に対して、３次元的な蛍光画像を用いて、標的部位の認識結果を精度よく検証することができないという問題がある。

本発明は、３次元的な構造を有する細胞に対して、標的部位の３次元的な認識の確からしさを視覚的に簡易かつ精度よく検証することができる観察システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、細胞の画像を表示する表示部と、複数の前記細胞を含む３次元的な画像上の各前記細胞を互いに異なるラベルを付して特定する細胞特定部と、前記３次元的な画像を構成する互いに交差する３つの断面画像を対応付けて前記表示部に同時に表示させる表示制御部と、該表示制御部により前記表示部に表示されているいずれかの前記断面画像上で任意の前記細胞を操作者に指定させる細胞指定部と、各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の前記断面画像ごとの断面形状を前記３次元的な画像から抽出する断面形状抽出部とを備え、前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の各前記断面形状を互いに対応付けて、前記表示部に表示されている各前記断面画像において他の前記細胞と区別可能に表示させる観察システムである。

本態様によれば、細胞特定部により、３次元的な画像上の複数の細胞が互いに異なるラベルを付されて特定され、表示制御部により、３次元的な画像の互いに交差する３つの断面画像が表示部に同時に表示される。そして、細胞指定部により、表示部に表示されているいずれかの断面画像上で操作者が任意の細胞を指定すると、断面形状抽出部により、指定された細胞の断面画像ごとの断面形状が各細胞に付されているラベルに基づいて３次元的な画像から抽出され、抽出された各断面形状が互いに対応付けられて、表示部に表示されている各断面画像において他の細胞と区別可能に表示される。

したがって、操作者は、表示部に同時に表示される３つの断面画像により、所望の細胞の互いに交差する３方向の各断面形状を同時に視認することができる。これにより、３次元的な構造を有する細胞の集合に対して、観察対象の細胞の３次元的な認識の確からしさを視覚的に簡易かつ精度よく検証することができる。

上記態様においては、前記表示制御部が、前記断面形状抽出部により抽出された一または複数の前記細胞の各前記断面形状を各前記断面画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、注目する一または複数の細胞の互いに交差する３方向の断面形状を各断面画像により容易に視認することができる。複数の細胞の各断面形状が各断面画像において他の細胞と区別可能に表示される場合は、複数の細胞の３次元的な認識の確からしさを１度に容易に検証することができる。

上記態様においては、前記細胞指定部が、前記３つの断面画像のいずれにおいても任意の前記細胞を指定可能であり、前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の各前記断面形状を、前記細胞指定部により前記細胞が指定された前記断面画像を含む全ての前記断面画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、３次元的な画像を構成する互いに交差する３つの断面画像のいずれからでも操作者は注目したい細胞を指定して、その細胞の互いに交差する３方向の断面形状を各断面画像により容易に視認することができる。

上記態様においては、各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の解析結果を前記３次元的な画像から抽出する解析結果抽出部を備え、前記表示部が、前記細胞の前記解析結果を表すグラフを表示し、前記表示制御部が、前記解析結果抽出部により抽出された前記細胞の前記解析結果を、各前記断面画像上に他の前記細胞と区別可能に表示させる各前記断面形状と対応付けて、前記表示部に表示されている前記グラフにおいて他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、細胞指定部により、表示部に表示されているいずれかの断面画像上で操作者が任意の細胞を指定すると、解析結果抽出部により、指定された細胞の解析結果が各細胞に付されているラベルに基づいて３次元的な画像から抽出され、抽出された解析結果が各断面画像上の各断面形状と対応付けられて、表示部に表示されているグラフにおいて他の細胞と区別可能に表示される。

したがって、操作者は、表示部に表示される３つの断面画像およびグラフにより、所望の細胞の互いに交差する３方向の各断面形状と解析結果とを関連付けて視認することができる。これにより、３次元的な構造を有する細胞の集合に対して、観察対象の細胞の３次元的な認識の確からしさを解析結果とともに視覚的に簡易かつ精度よく検証することができる。

上記態様においては、前記表示制御部が、前記解析結果抽出部により抽出された一または複数の前記細胞の前記解析結果を前記グラフにおいて他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、注目する一または複数の細胞の解析結果をグラフにより容易に視認することができる。複数の細胞の解析結果がグラフにおいて他の細胞と区別可能に表示される場合は、複数の細胞の３次元的な認識の確からしさを解析結果とともに１度に容易に検証することができる。

上記態様においては、前記細胞指定部が、前記３つの断面画像および前記グラフのいずれにおいても任意の前記細胞を指定可能であり、前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状および前記解析結果抽出部により抽出された前記細胞の前記解析結果を、前記細胞指定部により前記細胞が指定された前記断面画像または前記グラフを含む他の全ての前記断面画像および前記グラフにおいて他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、３次元的な画像を構成する互いに交差する３つの断面画像およびグラフのいずれからでも操作者は注目したい細胞を指定して、その細胞の互いに交差する３方向の断面形状および解析結果を各断面画像およびグラフにより容易に視認することができる。

上記態様においては、各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の３次元的な形状を前記３次元的な画像から抽出する３次元形状抽出部を備え、前記表示部が前記３次元的な画像を表示し、前記表示制御部が、前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、各前記断面画像上に他の前記細胞と区別可能に表示させる前記断面形状と対応付けて、前記表示部に表示されている前記３次元的な画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、細胞指定部により、表示部に表示されているいずれかの断面画像上で操作者が任意の細胞を指定すると、３次元形状抽出部により、指定された細胞の３次元的な形状が各細胞に付されているラベルに基づいて３次元的な画像から抽出され、抽出された３次元的な形状が各断面画像上の各断面形状と対応付けられて、表示部に表示されている各３次元的なにおいて他の細胞と区別可能に表示される。

したがって、操作者は、表示部に表示される３つの断面画像および３次元的な画像により、所望の細胞の互いに交差する３方向の各断面形状と３次元的な形状とを関連付けて視認することができる。これにより、３次元的な構造を有する細胞の集合に対して、観察対象の細胞の３次元的な認識の確からしさを視覚的に簡易かつ精度よく検証することができる。

上記態様においては、前記表示制御部が、前記３次元形状抽出部により抽出された一または複数の前記細胞の前記３次元的な形状を前記３次元的な画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、注目する一または複数の細胞の３次元的な形状を３次元的な画像により容易に視認することができる。複数の細胞の３次元的な形状が３次元的な画像において他の細胞と区別可能に表示される場合は、複数の観察対象の細胞の３次元的な認識の確からしさを１度に容易に検証することができる。

上記態様においては、前記細胞指定部が、前記３つの断面画像および前記３次元的な画像のいずれにおいても任意に前記細胞を指定可能であり、前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状および前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、前記細胞指定部により前記細胞が指定された前記断面画像または前記３次元的な画像を含む他の全ての前記断面画像および前記３次元的な画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、３次元的な画像を構成する互いに交差する３つの断面画像および３次元的な画像のいずれからでも操作者は注目したい細胞を指定して、その細胞の互いに交差する３方向の断面形状および３次元的な形状を各断面画像および３次元な画像により容易に視認することができる。

上記態様においては、各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の解析結果を前記３次元的な画像から抽出する解析結果抽出部と、各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の３次元的な形状を前記３次元的な画像から抽出する３次元形状抽出部とを備え、前記表示部が、前記細胞の前記解析結果を表すグラフおよび前記３次元的な画像を表示し、前記表示制御部が、各前記断面画像上に他の前記細胞と区別可能に表示させる前記断面形状と対応付けて、前記解析結果抽出部により抽出された前記細胞の前記解析結果を前記表示部に表示される前記グラフにおいて他の前記細胞と区別可能に表示させるとともに、前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を前記表示部に表示される前記３次元的な画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、細胞指定部により、表示部に表示されているいずれかの断面画像上で操作者が任意の細胞を指定すると、解析結果抽出部および３次元形状抽出部により、指定された細胞の解析結果および３次元的な形状が各細胞に付されているラベルに基づいて３次元的な画像から抽出され、抽出された解析結果および３次元的な形状が各断面画像上の各断面形状と対応付けられて、表示部に表示されているグラフおよび３次元的な画像において他の細胞と区別可能に表示される。

したがって、操作者は、表示部に表示される３つの断面画像、グラフおよび３次元的な画像により、所望の細胞の互いに交差する３方向の各断面形状と解析結果と３次元的な形状を関連付けて視認することができる。これにより、３次元的な構造を有する細胞の集合に対して、観察対象の細胞の３次元的な認識の確からしさを解析結果とともに視覚的に簡易かつ精度よく検証することができる。

上記態様においては、前記表示制御部が、前記グラフにおいて前記解析結果抽出部により抽出された一または複数の前記細胞の前記解析結果を他の前記細胞と区別可能に表示させるとともに、前記３次元的な画像において前記３次元形状抽出部により抽出された一または複数の前記細胞の前記３次元的な形状を他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、注目する一または複数の細胞の解析結果および３次元的な形状をグラフおよび３次元的な画像により容易に視認することができる。複数の細胞の解析結果および３次元的な形状がグラフおよび３次元的な画像において他の細胞と区別可能に表示される場合は、複数の細胞の３次元的な認識の確からしさを解析結果とともに１度に容易に検証することができる。

上記態様においては、前記細胞指定部が、前記３つの断面画像、前記グラフおよび前記３次元的な画像のいずれにおいても前記細胞を指定可能であり、前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状、前記解析結果抽出部により抽出された前記細胞の前記解析結果および前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、前記細胞指定部により前記細胞が指定された前記断面画像、前記グラフまたは前記３次元的な画像を含む他の全ての前記断面画像、前記グラフおよび前記３次元的な画像において他の前記細胞と区別可能に表示させることとしてもよい。

このように構成することで、３次元的な画像を構成する互いに交差する３つの断面画像グラフおよび３次元的な画像のいずれからでも操作者は注目したい細胞を指定して、その細胞の互いに交差する３方向の断面形状、解析結果および３次元的な形状を各断面画像、グラフおよび３次元的な画像により容易に視認することができる。

本発明によれば、３次元的な構造を有する細胞に対して、標的部位の３次元的な認識処理の確からしさを視覚的に簡易かつ精度よく検証することができるという効果を奏する。

本発明の第１実施形態に係る観察システムを示す概略構成図である。ラベル画像の一例を示す図である。テーブルの一例を示す図である。ＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像を並列してモニタに表示する様子を示す図である。モニタに各断面画像とグラフとを並列して表示する様子を示す図である。ＸＹ断面画像上で任意の細胞を矢印で指定する様子を示す図である。図６において指定された細胞の断面形状を各断面画像でハイライト表示している様子を示す図である。図６において指定された細胞の解析結果を示す値をグラフ上でハイライト表示している様子を示す図である。図１の観察システムにより所望の細胞をハイライト表示する工程を説明するフローチャートである。ＸＹ断面画像上で任意の細胞が指定されることにより、その細胞の断面形状が各断面画像においてハイライト表示されるとともに、その細胞の解析結果を示す値がグラフにおいてハイライト表示される様子を示す図である。ＹＺ断面画像上で任意の細胞が指定されることにより、その細胞の断面形状が各断面画像においてハイライト表示される様子を示す図である。グラフ上で任意の細胞が指定されることにより、その細胞を中心として各断面画像が更新される様子と、各断面画像においてその細胞の断面形状がハイライト表示される様子を示す図である。抽出された全ての細胞の各断面形状が各断面画像においてハイライト表示される様子を示す図である。本発明の第２実施形態に係る観察システムによりモニタに表示される３次元画像の一例を示す図である。本発明の第２実施形態に係る観察システムにより所望の細胞をハイライト表示させる工程を説明するフローチャートである。ＸＹ断面画像上で任意の細胞が指定されることにより、その細胞の各断面形状が各断面画像においてハイライト表示される様子と、その細胞の３次元的な形状が３次元画像上でハイライト表示される様子と、その細胞の解析結果を示す値がグラフ上でハイライト表示される様子を示す図である。本発明の第２実施形態の変形例に係る観察システムにより所望の細胞をハイライト表示させる他の工程を説明するフローチャートである。３次元画像上で任意の細胞が指定されることにより、その細胞の３次元的な形状が３次元画像上でハイライト表示される様子と、その細胞の各断面形状が各断面画像においてハイライト表示される様子と、その細胞の解析結果を示す値がグラフ上でハイライト表示される様子を示す図である。３次元画像上で全ての細胞の３次元的な形状を表示する様子と、抽出された細胞の３次元的な形状のみを３次元画像上で表示する様子と、全ての細胞の３次元的な形状が表示されている３次元画像上で、抽出された細胞の３次元的な形状をハイライト表示する様子とを示す図である。抽出した細胞の断面形状の輪郭のみを断面画像上でハイライト表示させる様子を示す図である。

〔第１実施形態〕
本発明の第１実施形態に係る観察システムについて図面を参照して以下に説明する。
本実施形態に係る観察システム１は、図１に示されるように、レーザ走査型顕微鏡３と、レーザ走査型顕微鏡３を制御したり画像を構築したりする制御装置５と、制御装置５により構築された画像を表示するモニタ（表示部）７と、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）９と、操作者が各種入力を行うマウスやキーボード等の入力部（細胞指定部）１１とを備えている。

レーザ走査型顕微鏡３は、複数の細胞Ｓ（図６および図７参照）により構成されるスフェロイド（細胞集塊）を収容するシャーレ等の透明な容器（図示略）を搭載する電動ステージ１３と、レーザ光を出射するレーザ光源部１５と、レーザ光源部１５から出射されたレーザ光を２次元的に走査するスキャナ１７と、スキャナ１７により走査されたレーザ光を細胞Ｓに集光する対物レンズ１９と、対物レンズ１９によるレーザ光の照射により細胞Ｓにおいて発生する蛍光を検出して細胞Ｓの画像を取得する画像取得部２１と、これらを収容する暗箱２３とを備えている。

電動ステージ１３は、図示しない３個のモータを備え、相互に直交するＸ，Ｙ，Ｚ方向の移動軸に沿って独立して移動して、搭載した容器を３次元方向に移動させることができるようになっている。

暗箱２３内は、電動ステージ１３を含んだ上方の上方領域２５Ａと、それよりも下方の下方領域２５Ｂとに区画されている。上方領域２５Ａにはヒータ２７が配置され、上方領域２５Ａ内の温度が所定の培養条件（例えば、２７℃±０．５℃）となるように調整されている。また、上方領域２５Ａ内には、電動ステージ１３に位置決め状態に搭載されるサンプルホルダ２９が配置されている。

サンプルホルダ２９は、電動ステージ１３上で容器を位置決め状態に保持することができるようになっている。サンプルホルダ２９により保持された容器は、簡易型インキュベータ３１内に収容されてその培養条件（例えば、湿度１００％およびＣＯ_２濃度０．５％）が維持されるようになっている。図中符号３３は、位相差観察用の位相差コンデンサである。

レーザ光源部１５は、異なる波長のレーザ光を発生する複数のレーザダイオード３５と、これら複数のレーザダイオード３５から発せられたレーザ光を単一の光路に合流させるミラー３７およびダイクロイックミラー３９とを備えている。
スキャナ１７は、例えば、相互に直交する軸線回りに揺動させられる２枚のガルバノミラーを対向させて構成されたいわゆる近接ガルバノミラーである。

対物レンズ１９は、ドライ観察用の対物レンズ１９Ａと、油浸または水浸観察用の対物レンズ１９Ｂとがレボルバ４１によって切り替え可能に設けられている。また、対物レンズ１９にはオートフォーカス機能が備えられていて、定期的にまたは必要に応じて合焦位置を検出し、対物レンズ１９が光軸に沿う方向に移動させられることにより、対物レンズ１９の焦点位置を細胞Ｓの表面に一致させることができるようになっている。

図中符号４３は、対物レンズ１９Ｂと容器底面との間に油浸用のエマージョンオイルまたは水浸用の水を供給するポンプであり、図中符号４５は、水またはエマージョンオイルを除去するためのエアブラシである。
スキャナ１７と対物レンズ１９との間には、スキャナ１７により走査されたレーザ光を集光する瞳投影レンズ４７および結像レンズ４９が配置されている。

画像取得部２１は、レーザ光源部１５とスキャナ１７との間に挿入されて、細胞Ｓから発せられ、対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介して戻る蛍光をレーザ光の光路から分岐するビームスプリッタ５１と、ビームスプリッタ５１により分岐された蛍光を集光するコンフォーカルレンズ５３と、可変ピンホール５５と、コリメートレンズ５７と、コリメートレンズ５７により略平行光とされた蛍光を回折させて波長ごとに分離するグレーティング５９と、グレーティング５９により分離された蛍光を集光する集光レンズ６１と、集光された蛍光を波長ごとに分岐するビームスプリッタ６３と、ビームスプリッタ６３により分岐された蛍光をそれぞれ検出する光検出器６５とを備えている。可変ピンホール５５は、対物レンズ１９の焦点位置と光学的に共役な位置関係に配置されている。符号６７はピンホールである。

制御装置５は、電動ステージ１３およびスキャナ１７の駆動を制御し、光検出器６５から出力される輝度情報に基づいて画像を構築するようになっている。例えば、制御装置５は、ステージ８を対物レンズ１９に対して３次元的に移動させることによってスフェロイドを対物レンズ１９の焦点位置に対して３次元的に移動させながら、各焦点位置においてスキャナ１７によりレーザ光を２次元的に走査させ、細胞Ｓから発せられる蛍光を検出した光検出器６５から出力される輝度信号に基づいて対物レンズ１９の焦点位置に配置されている細胞Ｓのスライス画像（撮像画像）を構築していくことにより、各細胞Ｓについて複数枚のスライス画像を取得するようになっている。

そして、制御装置５は、各細胞Ｓの複数枚のスライス画像を画像処理することにより、スフェロイド全体の３次元画像（３次元的な画像）を構築するようになっている。制御装置５により取得された複数枚のスライス画像および３次元画像のデータはＰＣ９に送られる。

制御装置５は、ＰＣとの間でデータ通信するための第１の通信Ｉ／Ｆ回路（不図示）と、電動ステージ１３、スキャナ１７、光検出器６５などを制御するためにレーザ走査型顕微鏡３とデータ通信するための第２の通信Ｉ／Ｆ回路（不図示）と、ＣＰＵ（不図示）と、メモリ（不図示）などとで構成されている。なお、３次元画像を効率よく生成するために、ＣＰＵとは別にＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：不図示）を備えていてもよい。

ＰＣ９は、各種プログラムや画像データ、グラフデータ等を記憶するディスク（ＨＤＤ：ＨａｒｄＤｉｓｋＤｒｉｖｅ）６９と、ディスク６９に記憶されているプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、細胞特定部、表示制御部、細胞指定部、断面形状抽出部、解析結果抽出部）７１と、ＣＰＵ７１によるプログラムの実行により得られた細胞Ｓの認識結果や解析結果を記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ７３とを備えている。

ディスク６９には、ＣＰＵ７１が実行するプログラムとして、例えば、認識プログラム、表示プログラムおよび計測プログラムが記憶されている。また、ディスク６９には、制御装置５により取得された各細胞Ｓの複数枚のスライス画像およびスフェロイド全体の３次元画像等の画像データが記憶されている。

ＣＰＵ７１は、認識プログラムの実行により、３次元画像上のスフェロイド全体や個々の細胞Ｓに対して認識処理を行うようになっている。認識処理においては、例えば、サイズが異なる複数のＬｏＧ（ＬａｐｌａｃｉａｎＯｆＧａｕｓｓｉａｎ）フィルタを採用して、これらＬｏＧフィルタの出力値から局所的なピーク位置およびそのサイズを検出し、これをシード（細胞Ｓの中心位置）とする。そして、２次元的および３次元的にＬｏＧフィルタを適用し、その結果を組み合わせる。次いで、シード周辺の近傍領域をそのサイズに基づいてトリミングおよび適応的に２値化処理を行い、認識した細胞Ｓの領域を形成する。

また、ＣＰＵ７１は、認識したスフェロイド全体または個々の細胞Ｓを互いに異なるラベルを付して特定し、例えば図２に示すようなラベル画像と図３に示すようなテーブルを生成するようになっている。

ラベル画像は、図２に示すように、認識された対象ごとにラベルとしてオブジェクトＩＤ（例えば、１、２、３、４、・・・ｋ・・・ｎ。）が付与されるとともに、認識されていないバックグラウンドには０が付与されて表された２次元的な画像である。テーブルは、図３に示すようなラベル（オブジェクトＩＤ）とその中心位置情報とその外接矩形とが関連付けられた情報である。ＣＰＵ７１により生成されたラベル画像およびテーブルはメモリ７３に記憶される。

また、ＣＰＵ７１は、計測プログラムの実行により、３次元画像から認識されたスフェロイドを構成する個々の細胞Ｓを計測・解析し、計測・解析した細胞Ｓの特性の分布を示すグラフを生成するようになっている。グラフとしては、例えば、ヒストグラム、散布図、ライングラフ等が挙げられる。ＣＰＵ７１により生成されたグラフはディスク６９に記憶されるようになっている。

また、ＣＰＵ７１は、表示プログラムの実行により、例えば図４に示すように、３次元画像を構成する互いに直交する３つの断面画像、すなわち、ＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像を対応付けてモニタ７に同時に表示させるようになっている（３面表示）。各断面画像は、ＸＹ方向の撮像画像と、３次元画像をＸＺ方向およびＹＺ方向に切断した断面により生成される２次元的な画像である。また、ＣＰＵ７１は、図５に示すように、計測・解析した細胞Ｓの特性の分布を示すヒストグラムやスキャッタグラム等のグラフをモニタ７に各断面画像と並列に表示させるようになっている。

また、ＣＰＵ７１は、例えば図６に示すように、モニタ７に表示されている各断面画像およびグラフのいずれかで操作者が入力部１１により任意の細胞Ｓを指定すると、その細胞Ｓに付されているラベルに基づいて、指定された細胞Ｓの断面画像ごとの断面形状を３次元画像から抽出してそれぞれ認識領域として合成するとともに、指定された細胞Ｓの解析結果をメモリ７３に記憶されているグラフから抽出するようになっている。

そして、ＣＰＵ７１は、表示プログラムの実行により、図７に示すように、合成した細胞Ｓの各断面形状を相互に対応付けて、モニタ７の各断面画像に重ね合わせて他の細胞Ｓと区別可能にハイライト表示させるようになっている。また、ＣＰＵ７１は、図８に示すように、抽出した細胞Ｓの解析結果を示す値を各断面画像上でハイライト表示する各断面形状と対応付けて、モニタ７のグラフにおいて他の細胞Ｓと区別可能にハイライト表示させるようになっている。図８に示すグラフは、一例として細胞Ｓの体積と輝度の総和との関係を示したものである。

入力部１１は、モニタ７に表示されている各断面画像およびグラフのいずれにおいても任意の細胞Ｓを指定することができるようになっている。例えば、図６は、ＸＹ画像上で矢印により任意の細胞Ｓを指定している様子を示している。

このように構成された観察システム１の作用について説明する。
最初に、本実施形態に係る観察システム１により、細胞Ｓの３次元画像を取得する場合について説明する。
まず、サンプルホルダ２９により容器を保持させて、容器を電動ステージ１３上に搭載し、レーザ光源部１５からレーザ光を発生させる。

レーザ光源部１５から発せられたレーザ光は、スキャナ１７によって２次元的に走査され、瞳投影レンズ４７、結像レンズ４９および対物レンズ１９を介して容器内の細胞Ｓに集光される。レーザ光の照射位置においては、細胞Ｓ内に存在している蛍光物質が励起されて蛍光が発生する。発生した蛍光は、対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介してレーザ光の光路を戻り、ビームスプリッタ５１によって分岐されて画像取得部２１に入射する。

画像取得部２１に入射した蛍光は、コンフォーカルレンズ５３によって集光され、可変ピンホール５５を通過した蛍光のみがコリメートレンズ５７によって略平行光とされた後、グレーティング５９によって分光されて集光レンズ６１およびビームスプリッタ６３を介して波長毎に異なる光検出器６５により検出される。そして、制御装置５において、光検出器６５から出力される輝度信号に基づいて細胞Ｓのスライス画像が構築され、構築された複数枚のスライス画像が画像処理されて３次元画像が構築される。

この場合において、可変ピンホール５５を十分に絞っておくことにより、対物レンズ１９の焦点位置から発生した蛍光のみを通過させて光検出器６５により検出し、ブレのない鮮明な共焦点蛍光画像を取得することができる。

次に、本実施形態に係る観察システム１により、所望の細胞Ｓをハイライト表示する場合について図９のフローチャートを参照して説明する。
まず、ＣＰＵ７１により、認識プログラムが実行され、ディスク６９に記憶されている３次元画像上の個々の細胞Ｓが認識されて互いに異なるラベルを付されて特定され、図２に示すようなラベル画像と図３に示すようなテーブルが生成される。

また、ＣＰＵ７１により、計測プログラムが実行され、３次元画像から認識された個々の細胞Ｓが計測・解析され、計測・解析された細胞Ｓの特性の分布を示すグラフが生成される。そして、ＣＰＵ７１により、表示プログラムが実行され、３次元画像を構成するＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像とグラフとが相互に対応付けられてモニタ７に並列に表示される。

続いて、例えば、図１０に示すように、モニタ７上のＸＹ断面画像上で操作者が入力部１１により任意の位置を指定すると（ステップＳＡ１）、ＣＰＵ７１により、ディスク６９に記憶されているラベル画像およびテーブルにおいて、全てのラベルが検索される（ステップＳＡ２）。

操作者により指定されたＸＹ断面画像上の位置を含むラベルがある場合、すなわち、ＸＹ断面画像上で指定された位置に細胞Ｓが存在する場合は（ステップＳＡ３「ＹＥＳ」）、ＣＰＵ７１により、指定されたＸＹ座標を中心として、モニタ７上の各断面画像が更新される（ステップＳＡ４）。

そして、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの断面画像ごとの断面形状が３次元画像から抽出されて、それぞれ認識領域として合成される（ステップＳＡ５）。また、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの解析結果がグラフから抽出される。

そして、ＣＰＵ７１により、表示プログラムが実行され、図１０に示すように、合成された断面画像ごとの断面形状が互いに対応付けられて、モニタ７の各断面画像上で他の細胞Ｓと区別可能にハイライト表示される（ステップＳＡ６）。また、ＣＰＵ７１により、図１０に示すように、抽出された細胞Ｓの解析結果を示す値が各断面画像上にハイライト表示される各断面形状と対応付けられて、モニタ７のグラフにおいて他の細胞Ｓと区別可能にハイライト表示される（ステップＳＡ７）。

一方、操作者により指定された断面画像上の位置を含むラベルがない場合、すなわち、断面画像上で指定された位置に細胞Ｓが存在しない場合は（ステップＳＡ３「ＮＯ」）、ＣＰＵ７１による検索が完了されて（ステップＳＡ８）、終了する。

同様にして、例えば、図１１に示すように、ＹＺ断面画像上で任意の細胞Ｓが指定された場合も、その細胞Ｓに付されているラベルに基づいて、指定された細胞Ｓの断面画像ごとの断面形状と解析結果が抽出され、その細胞Ｓの合成された各断面形状が各断面画像上でハイライト表示されるとともに、その細胞Ｓの解析結果を示す値がグラフ上でハイライト表示される。ＸＺ断面画像上で任意の細胞Ｓが指定された場合も同様である。図１１においては、グラフにハイライト表示される様子は省略している。

また、同様にして、例えば、図１２に示すように、グラフにおいて任意の細胞Ｓが指定された場合も、指定された細胞Ｓを中心として、モニタ７上の各断面画像が更新される。そして、その細胞Ｓに付されているラベルに基づいて、指定された細胞Ｓの断面画像ごとの断面形状と解析結果が抽出され、その細胞Ｓの解析結果を示す値がグラフ上でハイライト表示されるとともに、その細胞Ｓの各断面形状が各断面画像上でハイライト表示される。

以上説明したように、本実施形態に係る観察システム１によれば、モニタ７に同時に表示される３つの断面画像およびグラフにおいて、所望の細胞Ｓの互いに交差する３方向の各断面形状および解析結果を示す値がハイライト表示されることにより、操作者は、その細胞Ｓの各断面形状と解析結果を同時に視認することができる。これにより、３次元的な構造を有する細胞Ｓの集合に対して、観察対象の細胞Ｓの３次元的な認識の確からしさを解析結果とともに視覚的に簡易かつ精度よく検証することができる。

本実施形態においては、例えば、操作者が入力部１１により複数の位置を指定した場合に、図１３に示すように、ＣＰＵ７１により、抽出した全ての細胞Ｓの各断面形状を各断面画像において他の細胞Ｓと区別可能にハイライト表示することとしてもよい。同様に、ＣＰＵ７１により、抽出した全ての細胞Ｓの解析結果を示す値をグラフにおいて他の細胞Ｓと区別可能にハイライト表示することとしてもよい。このようにすることで、複数の所望の細胞Ｓの互いに交差する３方向の断面形状や解析結果を各断面画像やグラフにより１度に容易に視認することができる。

〔第２実施形態〕
次に、本発明の第２実施形態に係る観察システムについて説明する。
本実施形態に係る観察システム１は、ＣＰＵ（３次元形状抽出部）７１が、操作者が指定した細胞Ｓの３次元的な形状を抽出してモニタ７の３次元画像上で他の細胞Ｓと区別可能にハイライト表示する点で第１実施形態と異なる。
以下、第１実施形態に係る観察システム１と構成を共通する箇所には、同一符号を付して説明を省略する。

モニタ７には、図１４に示すような３次元画像が、３次元画像を構成する各断面画像および解析結果を表すグラフと並列に表示されるようになっている。
入力部１１は、モニタ７に表示されている各断面画像、グラフおよび３次元画像のいずれにおいても任意の細胞Ｓを指定することができるようになっている。

ＣＰＵ７１は、各細胞Ｓに付されたラベルに基づいて、操作者により指定された細胞Ｓの３次元的な形状を３次元画像から抽出して認識領域として合成するようになっている。また、ＣＰＵ７１は、表示プログラムの実行により、合成した細胞Ｓの３次元的な形状を、各断面画像上でハイライト表示する各断面形状およびグラフ上でハイライト表示する解析結果と対応付けて、モニタ７に表示されている３次元画像に重ね合わせて他の細胞Ｓと区別可能にハイライト表示させるようになっている。

このように構成された観察システム１の作用について説明する。
本実施形態に係る観察システム１による細胞Ｓの３次元画像の取得については第１実施形態と同様であるので説明を省略し、所望の細胞Ｓをハイライト表示する場合について図１５のフローチャートを参照して説明する。

まず、ＣＰＵ７１により、認識プログラムが実行され、ディスク６９に記憶されている３次元画像上の個々の細胞Ｓが認識されて互いに異なるラベルを付されて特定され、ラベル画像とテーブルが生成される。

また、ＣＰＵ７１により、計測プログラムが実行され、３次元画像から認識された個々の細胞Ｓが計測・解析され、計測・解析した細胞Ｓの特性の分布を示すグラフが生成される。そして、ＣＰＵ７１により、表示プログラムが実行され、３次元画像とＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像とグラフとが相互に対応付けられてモニタ７に並列に表示される。

続いて、モニタ７上のＸＹ断面画像上で任意の位置が指定されて、その位置を含むラベルが探し出され、指定された位置を中心としてモニタ７上の各断面画像が更新されると（ステップＳＡ１〜ステップＳＡ４）、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの断面画像ごとの断面形状が３次元画像から抽出されて、それぞれ認識領域として合成される（ステップＳＡ５）。また、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの解析結果がグラフから抽出されるとともに、その細胞Ｓの３次元的な形状が３次元画像から抽出されて認識領域として合成される。

そして、ＣＰＵ７１により、合成された細胞Ｓの各断面形状および３次元的な形状と抽出された細胞Ｓの解析結果が相互に対応付けられ、図１６に示すように、モニタ７の各断面画像およびグラフにおいて、その細胞Ｓの断面形状および解析結果を示す値が他の細胞Ｓと区別可能にハイライト表示されるとともに（ステップＳＡ６およびステップＳＡ７）、モニタ７の３次元画像において、その細胞Ｓの３次元的な形状が他の細胞Ｓと区別可能にハイライト表示される（ステップＳＡ７−２）。

同様にして、ＹＺ断面画像やＸＺ画像上で任意の細胞Ｓを指定したり、グラフ上で任意の細胞Ｓを指定したりした場合も、その細胞Ｓに付されているラベルに基づいて、指定された細胞Ｓの断面画像ごとの断面形状、解析結果および３次元的な形状が抽出され、各断面画像、グラフおよび３次元画像において、その細胞Ｓの各断面形状、解析結果を示す値および３次元的な形状がそれぞれハイライト表示される。

また、モニタ７の３次元画像上で任意の細胞Ｓが指定された場合も同様である。例えば、図１７に示すフローチャートおよび図１８に示すように、モニタ７の３次元画像上で操作者が入力部１１により任意の位置を指定すると（ステップＳＢ１）、ＣＰＵ７１により、ディスク６９に記憶されているラベル画像およびテーブルにおいて、全てのラベルが検索される（ステップＳＡ２）。この場合、細胞ＳのＢｏｕｎｄｉｎｇＢｏｘ内部（外接する立方体の内部）であれば、指定状態としてもよい。

操作者により指定された３次元画像上の位置を含むラベルがある場合、すなわち、３次元画像上で指定された位置に細胞Ｓが存在する場合は（ステップＳＡ３「ＹＥＳ」）、ＣＰＵ７１により、指定されたＸＹＺ座標を中心として、モニタ７上の各断面画像が更新される。

そして、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの３次元的な形状が３次元画像から抽出されて認識領域として合成される（ステップＳＢ４）。また、ＣＰＵ７１により、そのラベルが付されている細胞Ｓの断面画像ごとの断面形状が３次元画像から抽出されてそれぞれ認識領域として合成されるとともに、そのラベルが付されている細胞Ｓの解析結果がグラフから抽出される。

そして、ＣＰＵ７１により、合成された３次元的な形状、各断面形状および抽出された解析結果が相互に対応付けられ、図１８に示すように、その細胞Ｓの３次元的な形状がモニタ７の３次元画像上に重ね合わせられて他の細胞Ｓと区別可能にハイライト表示される（ステップＳＢ５）。また、ＣＰＵ７１により、モニタ７の各断面画像およびグラフにおいて、その細胞Ｓの各断面形状および解析結果を示す値が他の細胞Ｓと区別可能にハイライト表示される（ステップＳＡ６およびステップＳＡ７）。この場合、３次元画像における指定された位置の奥行き方向に複数の細胞Ｓが存在する場合は、最も手前に存在する細胞Ｓを選択したこととしてその細胞Ｓをハイライト表示することとすればよい。

以上説明したように、本実施形態に係る観察システム１によれば、モニタ７に表示される３つの断面画像、グラフおよび３次元画像において、所望の細胞Ｓの互いに交差する３方向の各断面形状、解析結果を示す値および３次元的な形状がハイライト表示されることにより、操作者は、その細胞Ｓの互いに交差する３方向の各断面形状と解析結果と３次元的な形状とを関連付けて視認することができる。これにより、３次元的な構造を有する細胞Ｓの集合に対して、観察対象の細胞Ｓの３次元的な認識の確からしさを視覚的に簡易かつ精度よく検証することができる。

本実施形態においては、例えば、操作者が入力部１１により複数の位置を指定した場合に、図１９に示すように、ＣＰＵ７１により、３次元画像において全ての細胞Ｓを表示するのではなく、抽出した全ての細胞Ｓの３次元的な形状のみを３次元画像において表示することとしてもよいし、全ての細胞Ｓを表示した上で、抽出した全ての細胞Ｓの３次元的な形状を対応する細胞Ｓの３次元的な形状に重ね合わせてハイライト表示することとしてもよい。このようにすることで、複数の所望の細胞Ｓの３次元的な形状を３次元画像により１度に容易に視認することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態に適用したものに限定されることなく、これらの実施形態を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

また、本実施形態においては、抽出した細胞Ｓの断面形状をハイライト表示する場合に、断面画像上で細胞Ｓの断面形状全体を他の細胞Ｓの断面形状よりも明るく表示させることとしたが、これに代えて、例えば図２０に示すように、断面画像上で細胞Ｓの断面形状の輪郭のみを他の細胞Ｓの断面形状の輪郭よりも明るく表示させることとしてもよい。細胞Ｓの３次元的な形状についても同様である。

１観察システム
７モニタ（表示部）
１１入力部（細胞指定部）
７１ＣＰＵ（細胞特定部、表示制御部、断面形状抽出部、解析結果抽出部、３次元形状抽出部）
Ｓ細胞

Claims

細胞の画像を表示する表示部と、
複数の前記細胞を含む３次元的な画像上の各前記細胞を互いに異なるラベルを付して特定する細胞特定部と、
前記３次元的な画像を構成する互いに交差する３つの断面画像を対応付けて前記表示部に同時に表示させる表示制御部と、
該表示制御部により前記表示部に表示されているいずれかの前記断面画像上で任意の前記細胞を操作者に指定させる細胞指定部と、
各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の前記断面画像ごとの断面形状を前記３次元的な画像から抽出する断面形状抽出部とを備え、
前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の各前記断面形状を互いに対応付けて、前記表示部に表示されている各前記断面画像において他の前記細胞と区別可能に表示させる観察システム。
前記表示制御部が、前記断面形状抽出部により抽出された一または複数の前記細胞の各前記断面形状を各前記断面画像において他の前記細胞と区別可能に表示させる請求項１に記載の観察システム。
前記細胞指定部が、前記３つの断面画像のいずれにおいても任意の前記細胞を指定可能であり、
前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の各前記断面形状を、前記細胞指定部により前記細胞が指定された前記断面画像を含む全ての前記断面画像において他の前記細胞と区別可能に表示させる請求項１または請求項２に記載の観察システム。
各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の解析結果を前記３次元的な画像から抽出する解析結果抽出部を備え、
前記表示部が、前記細胞の前記解析結果を表すグラフを表示し、
前記表示制御部が、前記解析結果抽出部により抽出された前記細胞の前記解析結果を、各前記断面画像上に他の前記細胞と区別可能に表示させる各前記断面形状と対応付けて、前記表示部に表示されている前記グラフにおいて他の前記細胞と区別可能に表示させる請求項１から請求項３のいずれかに記載の観察システム。
前記表示制御部が、前記解析結果抽出部により抽出された一または複数の前記細胞の前記解析結果を前記グラフにおいて他の前記細胞と区別可能に表示させる請求項４に記載の観察システム。
前記細胞指定部が、前記３つの断面画像および前記グラフのいずれにおいても任意の前記細胞を指定可能であり、
前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状および前記解析結果抽出部により抽出された前記細胞の前記解析結果を、前記細胞指定部により前記細胞が指定された前記断面画像または前記グラフを含む他の全ての前記断面画像および前記グラフにおいて他の前記細胞と区別可能に表示させる請求項４または請求項５に記載の観察システム。
各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の３次元的な形状を前記３次元的な画像から抽出する３次元形状抽出部を備え、
前記表示部が前記３次元的な画像を表示し、
前記表示制御部が、前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、各前記断面画像上に他の前記細胞と区別可能に表示させる前記断面形状と対応付けて、前記表示部に表示されている前記３次元的な画像において他の前記細胞と区別可能に表示させる請求項１から請求項３のいずれかに記載の観察システム。
前記表示制御部が、前記３次元形状抽出部により抽出された一または複数の前記細胞の前記３次元的な形状を前記３次元的な画像において他の前記細胞と区別可能に表示させる請求項７に記載の観察システム。
前記細胞指定部が、前記３つの断面画像および前記３次元的な画像のいずれにおいても任意に前記細胞を指定可能であり、
前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状および前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、前記細胞指定部により前記細胞が指定された前記断面画像または前記３次元的な画像を含む他の全ての前記断面画像および前記３次元的な画像において他の前記細胞と区別可能に表示させる請求項７または請求項８に記載の観察システム。
各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の解析結果を前記３次元的な画像から抽出する解析結果抽出部と、
各前記細胞に付された前記ラベルに基づいて、前記細胞指定部により指定された前記細胞の３次元的な形状を前記３次元的な画像から抽出する３次元形状抽出部とを備え、
前記表示部が、前記細胞の前記解析結果を表すグラフおよび前記３次元的な画像を表示し、
前記表示制御部が、各前記断面画像上に他の前記細胞と区別可能に表示させる前記断面形状と対応付けて、前記解析結果抽出部により抽出された前記細胞の前記解析結果を前記表示部に表示される前記グラフにおいて他の前記細胞と区別可能に表示させるとともに、前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を前記表示部に表示される前記３次元的な画像において他の前記細胞と区別可能に表示させる請求項１から請求項３のいずれかに記載の観察システム。
前記表示制御部が、前記グラフにおいて前記解析結果抽出部により抽出された一または複数の前記細胞の前記解析結果を他の前記細胞と区別可能に表示させるとともに、前記３次元的な画像において前記３次元形状抽出部により抽出された一または複数の前記細胞の前記３次元的な形状を他の前記細胞と区別可能に表示させる請求項１０に記載の観察システム。
前記細胞指定部が、前記３つの断面画像、前記グラフおよび前記３次元的な画像のいずれにおいても前記細胞を指定可能であり、
前記表示制御部が、前記断面形状抽出部により抽出された前記細胞の前記断面形状、前記解析結果抽出部により抽出された前記細胞の前記解析結果および前記３次元形状抽出部により抽出された前記細胞の前記３次元的な形状を、前記細胞指定部により前記細胞が指定された前記断面画像、前記グラフまたは前記３次元的な画像を含む他の全ての前記断面画像、前記グラフおよび前記３次元的な画像において他の前記細胞と区別可能に表示させる請求項１０または請求項１１に記載の観察システム。
前記表示制御部が、前記細胞指定部により指定された前記細胞の位置が前記表示部上の各前記断面画像の中央に位置するように、前記表示部上の各前記断面画像を更新する請求項１から請求項１２のいずれかに記載の観察システム。