JP7015144B2

JP7015144B2 - 画像処理装置および顕微鏡システム

Info

Publication number: JP7015144B2
Application number: JP2017205693A
Authority: JP
Inventors: 久雄北川; 裕介山下
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2022-02-02
Anticipated expiration: 2037-10-25
Also published as: JP2019078884A; US20190121112A1; US10690902B2

Description

本発明は、画像処理装置および顕微鏡システムに関するものである。

従来、１つ以上の細胞を容器の底面に単層に配列して、細胞から発せられる蛍光または発光シグナルをカメラによって撮影する観察システムが知られている（例えば、特許文献１参照。）。
この観察システムにおいては、蛍光または発光シグナルを計測して、その分布や強度から細胞を識別し、識別された細胞の２次元画像を配列して一覧表示するギャラリー表示を利用することによって、測定対象の細胞の目視確認を容易にしている。

ＷＯ２００９／１１０６１４号公報

スフェロイドのように３次元的な組織構造を有する細胞群、あるいはその細胞群を構成している各細胞の目視観察を行う場合に、細胞群あるいは各細胞の画像データは３次元画像データであるため、各細胞の形態的な特徴を一覧表示して目視確認を容易にするには、２次元化した画像をギャラリー表示することが好ましい。
しかしながら、各細胞の３次元画像データを２次元化する場合に、細胞の形態的特徴が損なわれてしまい、精度よく観察することが困難になるという不都合がある。

本発明は、上述した事情に鑑みて成されたものであって、３次元画像データで取得された細胞群あるいは各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる画像処理装置および顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、顕微鏡により、細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像に基づいて、前記細胞集塊を構成している各細胞の３次元画像を生成する３次元画像生成部と、該３次元画像生成部により生成された前記３次元画像を処理して、前記細胞集塊を構成する各細胞について計測・解析する解析部と、該解析部による前記各細胞の特性の分布をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞に対応する前記３次元画像から、前記細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像を生成する条件をユーザに入力させる条件設定部と、該条件設定部で設定された条件に基づいて生成された前記細胞の２次元の表示画像を一覧表示するギャラリー生成部とを備える画像処理装置を提供する。

本態様によれば、顕微鏡により細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像が入力されると、細胞集塊を構成している各細胞の３次元画像が３次元画像生成部により生成される。生成された３次元画像は解析部により処理されて１以上の計測パラメータに基づいて特徴量が解析され、解析結果が、解析結果表示部によりグラフ化されて表示される。

ユーザがグラフ上で関心領域を選択すると、選択された関心領域に含まれる複数の細胞に対応する３次元画像から、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像がギャラリー生成部により生成され、一覧表示される。すなわち、一覧表示される各細胞の２次元の表示画像は、細胞の任意の横断面ではなく、細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元画像であるため、相互に比較し易く、３次元画像データで取得された各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

上記態様においては、前記軸が、前記細胞の長手軸であってもよい。
このようにすることで、各細胞の長手軸を基準とした平面に沿う２次元画像を一覧表示することにより、各細胞の形状的特徴を表す画像として意味のある２次元画像どうしを比較可能とし、相互に比較し易く、３次元画像データで取得された各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面であってもよい。
このようにすることで、各細胞の重心位置における横断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある２次元画像どうしを比較可能とし、相互に比較し易くすることができる。

また、上記態様においては、前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面であってもよい。
このようにすることで、各細胞の長手軸方向の中央位置における横断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある２次元画像どうしを比較可能とし、相互に比較し易くすることができる。

また、上記態様においては、前記平面が、前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面であってもよい。
このようにすることで、各細胞の重心位置における縦断面を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある２次元画像どうしを比較可能とし、相互に比較し易くすることができる。

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または前記長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像であってもよい。
このようにすることで、各細胞の各画素の最大値を長手軸に直交する平面に投影した画像を一覧表示することができ、各細胞の形状的特徴を表す画像として意味のある２次元画像どうしを比較可能とし、相互に比較し易くすることができる。

また、本発明の他の態様は、顕微鏡により、複数の細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像に基づいて、各前記細胞集塊の３次元画像を生成する３次元画像生成部と、該３次元画像生成部により生成された前記３次元画像を処理して、前記細胞集塊について計測・解析する解析部と、該解析部による前記細胞集塊の特性の分布をグラフ化して表示する解析結果表示部と、該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞集塊に対応する前記３次元画像から、前記細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像を生成する条件をユーザに入力させる条件設定部と、該条件設定部で設定された条件に基づいて生成された前記細胞集塊の２次元の表示画像を一覧表示するギャラリー生成部とを備える画像処理装置を提供する。

本態様によれば、顕微鏡により複数の細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像が入力されると、各細胞集塊の３次元画像が３次元画像生成部により生成される。生成された３次元画像は解析部により処理されて１以上の計測パラメータに基づいて特徴量が解析され、解析結果が、解析結果表示部によりグラフ化されて表示される。

ユーザがグラフ上で関心領域を選択すると、選択された関心領域に含まれる複数の細胞集塊に対応する３次元画像から、細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像がギャラリー生成部により生成され、一覧表示される。すなわち、一覧表示される各細胞集塊の２次元の表示画像は、細胞集塊の任意の横断面ではなく、細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元画像であるため、相互に比較し易く、３次元画像データで取得された各細胞集塊の形態的特徴の目視観察を容易にして、観察精度を向上することができる。

上記態様においては、前記軸が、前記細胞集塊の長手軸であってもよい。
また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面であってもよい。

また、上記態様においては、前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面であってもよい。
また、上記態様においては、前記平面が、前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面であってもよい。

また、上記態様においては、前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、前記表示画像が、前記長手軸方向または該長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像であってもよい。
また、本発明の他の態様は、上記いずれかの画像処理装置と、前記細胞集塊に対して焦点位置を異ならせた複数の前記２次元画像を取得する顕微鏡とを備える顕微鏡システムを提供する。

本発明によれば、３次元画像データで取得された細胞群あるいは各細胞の形態的特徴の目視観察を容易にして、観察精度を向上することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。図１の顕微鏡システムにより観察する細胞集塊の一例を示す斜視図である。ラベル画像の一例を示す図である。テーブルの一例を示す図である。ＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像を並列してモニタに表示する様子を示す図である。モニタに各断面画像、グラフおよびギャラリー表示を並列して表示する様子を示す図である。図１の顕微鏡システムに備えられる画像処理装置において、ヒストグラム上において関心領域を指定する場合を説明する図である。図１の顕微鏡システムに備えられる画像処理装置において、ギャラリー表示のための条件を入力させる画面の例を示す図である。図１の顕微鏡システムにより各細胞のギャラリー表示を行う手順を説明するフローチャートである。図７の関心領域に含まれる細胞の３次元画像において抽出された長手軸および重心位置と、重心位置を含み長手軸に直交する横断面とを示す斜視図である。図７の関心領域に含まれる細胞の３次元画像において抽出された長手軸および中央位置と、中央位置を含み長手軸に直交する横断面とを示す斜視図である。図７の関心領域に含まれる細胞の３次元画像において抽出された長手軸と、細胞における長手軸に沿う方向の最大輝度値を長手軸に直交する投影面に投影したプロジェクション画像の一例とを示す斜視図である。図７の関心領域に含まれる細胞の３次元画像において抽出された長手軸および重心位置と、重心位置を含み長手軸に沿う縦断面とを示す斜視図である。細胞集塊において該細胞集塊の長手軸および重心位置を抽出し、重心位置を通り長手軸に直交する平面に沿う２次元画像を生成する場合について説明する斜視図である。

本発明の一実施形態に係る画像処理装置９および顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、レーザ走査型顕微鏡（顕微鏡）３と、レーザ走査型顕微鏡３を制御したり画像を構築したりする制御装置５と、制御装置５により構築された画像を表示するモニタ７と、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ：画像処理装置）９と、操作者が各種入力を行うマウスやキーボード等の入力部１１とを備えている。

レーザ走査型顕微鏡３は、複数の細胞Ｓ（図２参照）により構成されるスフェロイド（細胞集塊）Ｔを収容するシャーレ等の透明な容器（図示略）を搭載する電動ステージ１３と、レーザ光を出射するレーザ光源部１５と、レーザ光源部１５から出射されたレーザ光を２次元的に走査するスキャナ１７と、スキャナ１７により走査されたレーザ光を細胞Ｓに集光する対物レンズ１９と、対物レンズ１９によるレーザ光の照射により細胞Ｓにおいて発生する蛍光を検出して細胞Ｓの画像を取得する画像取得部２１と、これらを収容する暗箱２３とを備えている。

電動ステージ１３は、図示しない３個のモータを備え、相互に直交するＸ，Ｙ，Ｚ方向の移動軸に沿って独立して移動して、搭載した容器を３次元方向に移動させることができるようになっている。

暗箱２３内は、電動ステージ１３を含んだ上方の上方領域２５Ａと、それよりも下方の下方領域２５Ｂとに区画されている。上方領域２５Ａにはヒータ２７が配置され、上方領域２５Ａ内の温度が所定の培養条件（例えば、２７℃±０．５℃）となるように調整されている。また、上方領域２５Ａ内には、電動ステージ１３に位置決め状態に搭載されるサンプルホルダ２９が配置されている。

サンプルホルダ２９は、電動ステージ１３上で容器を位置決め状態に保持することができるようになっている。サンプルホルダ２９により保持された容器は、簡易型インキュベータ３１内に収容されてその培養条件（例えば、湿度１００％およびＣＯ２濃度０．５％）が維持されるようになっている。図中符号３３は、位相差観察用の位相差コンデンサである。

レーザ光源部１５は、異なる波長のレーザ光を発生する複数のレーザダイオード３５と、これら複数のレーザダイオード３５から発せられたレーザ光を単一の光路に合流させるミラー３７およびダイクロイックミラー３９とを備えている。
スキャナ１７は、例えば、相互に直交する軸線回りに揺動させられる２枚のガルバノミラーを対向させて構成されたいわゆる近接ガルバノミラーである。

対物レンズ１９は、ドライ観察用の対物レンズ１９Ａと、油浸または水浸観察用の対物レンズ１９Ｂとがレボルバ４１によって切り替え可能に設けられている。また、対物レンズ１９にはオートフォーカス機能が備えられていて、定期的にまたは必要に応じて合焦位置を検出し、対物レンズ１９が光軸に沿う方向に移動させられることにより、対物レンズ１９の焦点位置を細胞Ｓの表面に一致させることができるようになっている。

図中符号４３は、対物レンズ１９Ｂと容器底面との間に油浸用のエマージョンオイルまたは水浸用の水を供給するポンプであり、図中符号４５は、水またはエマージョンオイルを除去するためのエアブラシである。
スキャナ１７と対物レンズ１９との間には、スキャナ１７により走査されたレーザ光を集光する瞳投影レンズ４７および結像レンズ４９が配置されている。

画像取得部２１は、レーザ光源部１５とスキャナ１７との間に挿入されて、細胞Ｓから発せられ、対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介して戻る蛍光をレーザ光の光路から分岐するビームスプリッタ５１と、ビームスプリッタ５１により分岐された蛍光を集光するコンフォーカルレンズ５３と、可変ピンホール５５と、コリメートレンズ５７と、コリメートレンズ５７により略平行光とされた蛍光を回折させて波長毎に分離するグレーティング５９と、グレーティング５９により分離された蛍光を集光する集光レンズ６１と、集光された蛍光を波長毎に分岐するビームスプリッタ６３と、ビームスプリッタ６３により分岐された蛍光をそれぞれ検出する光検出器６５とを備えている。可変ピンホール５５は、対物レンズ１９の焦点位置と光学的に共役な位置関係に配置されている。符号６７はピンホールである。

制御装置５は、電動ステージ１３およびスキャナ１７の駆動を制御し、光検出器６５から出力される輝度情報に基づいて画像を構築するようになっている。例えば、制御装置５は、電動ステージ１３を対物レンズ１９に対して３次元的に移動させることによってスフェロイドＴを対物レンズ１９の焦点位置に対して３次元的に移動させながら、各焦点位置においてスキャナ１７によりレーザ光を２次元的に走査させ、細胞Ｓから発せられる蛍光を検出した光検出器６５から出力される輝度信号に基づいて対物レンズ１９の焦点位置に配置されている細胞Ｓのスライス画像（撮像画像）を構築していくことにより、各細胞Ｓについて複数枚のスライス画像を取得するようになっている。

そして、制御装置５は、各細胞Ｓの複数枚のスライス画像を画像処理することにより、スフェロイドＴ全体の３次元画像を構築するようになっている。制御装置５により取得された複数枚のスライス画像および３次元画像のデータはＰＣ９に送られる。

制御装置５は、ＰＣ９との間でデータ通信するための第１の通信Ｉ／Ｆ回路（不図示）と、電動ステージ１３、スキャナ１７、光検出器６５などを制御するためにレーザ走査型顕微鏡３とデータ通信するための第２の通信Ｉ／Ｆ回路（不図示）と、ＣＰＵ（不図示）と、メモリ（不図示）などとで構成されている。なお、３次元画像を効率よく生成するために、ＣＰＵとは別にＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：不図示）を備えていてもよい。

本実施形態に係る画像処理装置は、ＰＣ９により構成されている。
ＰＣ９は、各種プログラムや画像データ、グラフデータ等を記憶するディスク（ＨＤＤ：ＨａｒｄＤｉｓｋＤｒｉｖｅ）６９と、ディスク６９に記憶されているプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、３次元画像生成部、解析部、関心領域選択部、解析結果表示部、ギャラリー生成部）７１と、ＣＰＵ７１によるプログラムの実行により得られた細胞Ｓの認識結果や解析結果を記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリ７３とを備えている。

ディスク６９には、ＣＰＵ７１が実行するプログラムとして、例えば、認識プログラム、表示プログラムおよび計測プログラムが記憶されている。また、ディスク６９には、制御装置５により取得された各細胞Ｓの複数枚のスライス画像およびスフェロイドＴ全体の３次元画像等の画像データが記憶されるようになっている。

ＣＰＵ７１は、認識プログラムの実行により、３次元画像上のスフェロイドＴ全体や個々の細胞Ｓに対して認識処理を行うようになっている。認識処理においては、例えば、サイズが異なる複数のＬｏＧ（ＬａｐｌａｃｉａｎＯｆＧａｕｓｓｉａｎ）フィルタを採用して、これらＬｏＧフィルタの出力値から局所的なピーク位置およびそのサイズを検出し、これをシード（細胞Ｓの中心位置）とする。そして、２次元的および３次元的にＬｏＧフィルタを適用し、その結果を組み合わせる。次いで、シード周辺の近傍領域をそのサイズに基づいてトリミングおよび適応的に２値化処理を行い、認識した細胞Ｓの領域を形成する。

また、ＣＰＵ７１は、認識したスフェロイドＴ全体または個々の細胞Ｓを互いに異なるラベルを付して特定し、例えば、図３に示すようなラベル画像と図４に示すようなテーブルを生成するようになっている。また、ＣＰＵ７１は認識した個々の細胞Ｓの３次元画像を生成するようになっている。

ラベル画像は、図３に示すように、認識された対象毎にラベルとしてオブジェクトＩＤ（例えば、１、２、３、４、・・・ｋ・・・ｎ。）が付与されるとともに、認識されていないバックグラウンドには０が付与されて表された２次元的な画像である。テーブルは、図４に示すようなラベル（オブジェクトＩＤ）とその中心位置情報とその外接矩形とが関連付けられた情報である。ＣＰＵ７１により生成されたラベル画像、３次元画像およびテーブルはメモリ７３に記憶される。

また、ＣＰＵ７１は、計測プログラムの実行により、３次元画像から認識されたスフェロイドＴを構成する個々の細胞Ｓを計測・解析し、計測・解析した細胞Ｓの特性の分布を示すグラフを生成するようになっている。グラフとしては、例えば、ヒストグラム、散布図、ライングラフ等が挙げられる。ＣＰＵ７１により生成されたグラフはディスク６９に記憶されるようになっている。

また、ＣＰＵ７１は、表示プログラムの実行により、例えば、図５に示すように、３次元画像を構成する互いに直交する３つの断面画像、すなわち、ＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像を対応付けてモニタ７に同時に表示させるようになっている（３面表示）。ここで、座標軸Ｚは重力方向に一致し、ＸＹ平面は水平方向に一致している。各断面画像は、ＸＹ方向の撮像画像と、３次元画像をＸＺ方向およびＹＺ方向に切断した断面により生成される２次元的な画像である。

また、ＣＰＵ７１は、図６に示すように、計測・解析した細胞Ｓの特性の分布を示すヒストグラムや散布図等のグラフおよび統計表示をモニタ７に各断面画像と並列に表示させるようになっている。さらに、ＣＰＵ７１は、モニタ７に表示されたヒストグラムや散布図等のグラフ上において、ユーザに関心のある領域（関心領域）を選択させることができるようになっている。

例えば、図７に示されるように、ヒストグラム上において関心領域を取り囲むように矩形等の線図を描かせることにより、線図内に囲われた関心領域内に含まれる細胞Ｓが選択されるようになっている。
また、ＣＰＵ７１は、図８に示されるように、ギャラリー表示に関する条件をユーザに選択させる画面をモニタ７に表示するようになっている。ギャラリー表示に関する条件としては、表示する画像の種類を示す表示モード、表示する画像の細胞Ｓにおける位置、縦横に一覧表示する際の表示順序、および、表示するチャネルを挙げることができる。

表示する画像の種類としては、例えば、断面画像とプロジェクション画像を挙げることができる。断面画像としては、例えば、細胞Ｓの長手軸Ａに直交する横断面の画像を挙げることができる。プロジェクション画像としては、例えば、細胞Ｓの長手軸Ａに沿う方向の最大輝度を長手軸Ａに直交する平面に投影した画像を挙げることができる。

表示する画像の細胞Ｓにおける位置としては、例えば、細胞Ｓの長手軸Ａに沿う方向の中央位置Ｃであるか重心位置Ｇの横断面であるかを選択することができる。
表示順序としては、表示する横断面の大きさ順、最大輝度の大きさ順、平均輝度の大きさ順などを選択することができる。また、順序については昇順と降順を切り替えることができる。

また、表示するチャネルとしては、チャネルＣＨ１，ＣＨ２のどちらの光検出器６５により検出された蛍光に基づき生成された画像を表示するかあるいは両方表示するのかについて選択することができる。

ギャラリー表示に関する条件が入力された場合には、ＣＰＵ７１は関心領域に含まれる細胞Ｓとして検索された全てのラベルに対応する細胞Ｓの３次元画像を処理して、各細胞Ｓの長手軸Ａを抽出するとともに、入力された条件に従って、各細胞Ｓの２次元画像を生成し、モニタ７に一覧表示するようになっている。

このように構成された画像処理装置９および顕微鏡システム１の作用について説明する。
最初に、本実施形態に係る顕微鏡システム１により、細胞Ｓの３次元画像を取得する場合について説明する。
まず、サンプルホルダ２９により容器を保持させて、容器を電動ステージ１３上に搭載し、レーザ光源部１５からレーザ光を発生させる。

レーザ光源部１５から発せられたレーザ光は、スキャナ１７によって２次元的に走査され、瞳投影レンズ４７、結像レンズ４９および対物レンズ１９を介して容器内の細胞Ｓに集光される。レーザ光の照射位置においては、細胞Ｓ内に存在している蛍光物質が励起されて蛍光が発生する。発生した蛍光は、対物レンズ１９、結像レンズ４９、瞳投影レンズ４７およびスキャナ１７を介してレーザ光の光路を戻り、ビームスプリッタ５１によって分岐されて画像取得部２１に入射する。

画像取得部２１に入射した蛍光は、コンフォーカルレンズ５３によって集光され、可変ピンホール５５を通過した蛍光のみがコリメートレンズ５７によって略平行光とされた後、グレーティング５９によって分光されて集光レンズ６１およびビームスプリッタ６３を介して波長毎に異なる光検出器６５により検出される。そして、制御装置５において、光検出器６５から出力される輝度信号に基づいて細胞Ｓのスライス画像が構築され、構築された複数枚のスライス画像が画像処理されて３次元画像が構築される。

この場合において、可変ピンホール５５を十分に絞っておくことにより、対物レンズ１９の焦点位置から発生した蛍光のみを通過させて光検出器６５により検出し、ブレのない鮮明な共焦点蛍光画像を取得することができる。

次に、本実施形態に係る画像処理装置９および顕微鏡システム１により、細胞集塊Ｔを構成する個々の細胞Ｓの２次元画像のギャラリー表示を行う手順について図９のフローチャートを参照して説明する。
まず、ＣＰＵ７１により、認識プログラムが実行され、ディスク６９に記憶されている３次元画像上の個々の細胞Ｓが認識されて互いに異なるラベルを付されて特定され、図３に示すようなラベル画像と図４に示すようなテーブルが生成される。また、認識された個々の細胞Ｓの３次元画像が生成される。

また、ＣＰＵ７１により、計測プログラムが実行され、３次元画像から認識された個々の細胞Ｓが計測・解析され、計測・解析された細胞Ｓの特性の分布を示すグラフが生成される。そして、ＣＰＵ７１により、表示プログラムが実行され、３次元画像を構成するＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像と、ヒストグラム等のグラフとが相互に対応付けられてモニタ７に並列に表示される。

続いて、例えば、図７に示すように、モニタ７に表示されたヒストグラム上においてユーザが入力部１１により任意の関心領域を指定すると（ステップＳＡ１）、ＣＰＵ７１は、図８に示されるように、ギャラリー表示に関する条件をユーザに選択させる画面をモニタ７に表示する（ステップＳＡ２）。
そして、ＣＰＵ７１により、ディスク６９に記憶されているラベル画像およびテーブルにおいて、関心領域に含まれる全ての細胞Ｓのラベルが検索される（ステップＳＡ３）。

ラベルが存在する場合（ステップＳＡ４）には、図６の画面において設定された条件に従って、関心領域内の各細胞Ｓの２次元画像が生成される（ステップＳＡ５）。
ユーザが、例えば、図６に示されるように、断面画像、重心位置Ｇ、横断面積の大きさ、降順およびチャネルＣＨ１，ＣＨ２の両方を選択した場合には、関心領域の指定により、関心領域内に含まれる全ての細胞Ｓの３次元画像から、図１０に示されるように、各細胞Ｓの長手軸Ａおよび重心位置Ｇが検出され、各細胞Ｓの長手軸Ａに直交し重心位置Ｇを含む平面（図中、斜線部）に沿う２次元画像、すなわち、各細胞Ｓの重心位置Ｇの横断面画像が生成される。

関心領域内に含まれる全ての細胞Ｓについて２次元画像が生成された場合には（ステップＳＡ６）、各細胞Ｓについて生成された２次元画像は、横断面積の大きい順に一覧表示（ギャラリー表示）される（ステップＳＡ７）。

また、ユーザが、例えば、チャネルＣＨ１のみを選択した場合には、全ての細胞ＳからＣＨ２により蛍光画像が取得された細胞Ｓが除かれる。また、ユーザが昇順を選んだ場合には、細胞Ｓの２次元画像が横断面積の小さい順に一覧表示される。

また、ユーザが、中央位置Ｃを選択した場合には、図１１に示されるように、指定された関心領域内に含まれる全ての細胞Ｓの３次元画像から、各細胞Ｓの長手軸Ａおよび長手軸方向の中央位置Ｃが検出され、各細胞Ｓの長手軸Ａに直交し長手軸方向の中央位置Ｃを含む平面（図中、斜線部）に沿う２次元画像、すなわち、各細胞Ｓの長手軸方向の中央の横断面画像が生成される。

また、ユーザが、プロジェクション画像を選択した場合には、図１２に示されるように、指定された関心領域内に含まれる全ての細胞Ｓの３次元画像から、各細胞Ｓの長手軸Ａが検出され、長手軸Ａに沿う方向の最大輝度を長手軸Ａに直交する平面Ｂに投影した画像が生成される。

このように、本実施形態に係る画像処理装置９および顕微鏡システム１によれば、スフェロイドＴを構成している各細胞Ｓの２次元画像が一覧表示されるので、ユーザは一目で細胞Ｓの状態を比較して観察することができる。この場合に、各細胞Ｓの２次元画像は、細胞Ｓの形状的特徴に基づいて定まる軸である長手軸Ａを基準とした平面に沿っているので、細胞Ｓの形状的特徴を良好に表しているとともに、統一された基準に従って生成されているので、細胞Ｓ間での比較を容易にすることができるという利点がある。その結果、３次元画像データで取得された細胞群あるいは各細胞Ｓの形態的特徴の観察精度を向上することができる。

なお、本実施形態においては、細胞Ｓの長手軸Ａに直交する平面に沿い、長手軸方向の中央位置Ｃあるいは重心位置Ｇを含む平面に沿う横断面の画像をギャラリー表示することとしたが、これに限定されるものではなく、例えば、図１３に示されるように、長手軸方向に沿う平面（図中、斜線部）であって重心位置Ｇを含む平面に沿う縦断面の画像をギャラリー表示することにしてもよい。

また、本実施形態においては、ギャラリー表示するための条件をユーザに入力させることとしたが、これに代えて、上記いずれかの条件を予め設定しておき、関心領域が指定された場合には、関心領域に含まれる全ての細胞Ｓについて設定された条件で２次元画像を生成しギャラリー表示することにしてもよい。

また、ユーザがギャラリー表示されたいずれかの細胞Ｓを指定した場合に、対応する散布図やヒストグラム、あるいはスフェロイドＴの３次元画像を構成するＸＹ断面画像、ＸＺ断面画像およびＹＺ断面画像において対応する細胞Ｓをハイライト表示することにしてもよい。また、ギャラリー表示における表示順を断面積の大きさ順、最大輝度の大きさ順、あるいは平均輝度の大きさ順としたが、これに限定されるものではなく、例えば検出順に表示することにしてもよい。

また、本実施形態においては、単一のスフェロイドＴを構成する個々の細胞Ｓについてギャラリー表示する場合を説明したが、これに代えて、サンプルホルダ２９に保持された容器に複数のスフェロイドＴが点在した状態で培養されている場合に、図１４に示されるように、各スフェロイドＴの形状的特徴に基づいて定まる軸（例えば、長手軸Ｄ）を基準とした平面（例えば、長手軸Ｄに直交し重心Ｐを含む平面）に沿う２次元画像を生成し、ギャラリー表示することにしてもよい。

また、本実施形態においては、細胞ＳまたはスフェロイドＴの形状的特徴に基づいて定まる軸として細胞ＳまたはスフェロイドＴの長手軸Ａ，Ｄを例示したが、これに限定されるものではない。
例えば、球状の細胞Ｓからなる細胞集塊Ｔまたは球状の３次元の細胞集塊Ｔ等の長手軸Ａ，Ｄを有しない場合には、球体という形状的特徴に基づいてＺ軸（光軸方向）を基準とした平面に沿うようにギャラリー表示してもよい。

また、本実施形態においては、細胞集塊としてスフェロイドＴを例示したが、これに限定されるものではなく、ニューロスフェア、オルガノイド等の３次元培養細胞群、ｉＰＳ細胞やＥＳ細胞等の幹細胞から発生・分化あるいは再生過程にある微小組織、線虫・ゼブラフィッシュ・マウス等の小動物、肝臓・脳・腫瘍などの組織、発生初期の胚のいずれかに適用してもよい。

また、実施形態においては、図７に示すようにヒストグラム上にて関心領域を指定するものを例示したが、これに代えて、散布図やライングラフ等にて関心領域を指定するようにしてもよい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態に適用したものに限定されることなく、これらの実施形態を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

１顕微鏡システム
３レーザ走査型顕微鏡（顕微鏡）
９ＰＣ（画像処理装置）
７１ＣＰＵ（解析部、関心領域選択部、解析結果表示部、ギャラリー生成部、３次元画像生成部）
Ａ，Ｄ長手軸（軸）
Ｃ中央位置
Ｇ重心位置
Ｓ細胞
Ｔスフェロイド（細胞集塊）

Claims

顕微鏡により、細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像に基づいて、前記細胞集塊を構成している各細胞の３次元画像を生成する３次元画像生成部と、
該３次元画像生成部により生成された前記３次元画像を処理して、前記細胞集塊を構成する各細胞について計測・解析する解析部と、
該解析部による前記各細胞の特性の分布をグラフ化して表示する解析結果表示部と、
該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、
該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞に対応する前記３次元画像から、前記細胞の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像を生成する条件をユーザに入力させる条件設定部と、
該条件設定部で設定された条件に基づいて生成された前記細胞の２次元の表示画像を一覧表示するギャラリー生成部とを備える画像処理装置。
前記条件設定部が、前記２次元の表示画像を表示する表示条件をユーザに入力させ、
前記ギャラリー生成部が、前記条件設定部で設定された表示条件に基づいて前記２次元の表示画像を一覧表示する請求項１に記載の画像処理装置。
前記軸が、前記細胞の長手軸である請求項１または請求項２に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面である請求項３に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面である請求項３に記載の画像処理装置。
前記平面が、前記長手軸に沿う平面のうち、前記細胞の重心位置を含む平面である請求項３に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、
前記表示画像が、前記長手軸方向または前記長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像である請求項３に記載の画像処理装置。
顕微鏡により、複数の細胞集塊に対して焦点位置を異ならせて取得された複数の２次元画像に基づいて、各前記細胞集塊の３次元画像を生成する３次元画像生成部と、
該３次元画像生成部により生成された前記３次元画像を処理して、前記細胞集塊について計測・解析する解析部と、
該解析部による前記細胞集塊の特性の分布をグラフ化して表示する解析結果表示部と、
該解析結果表示部により表示されたグラフ上において、関心領域をユーザに選択させる関心領域選択部と、
該関心領域選択部により選択された前記関心領域に含まれる複数の前記細胞集塊に対応する前記３次元画像から、前記細胞集塊の形状的特徴に基づいて定まる軸を基準とした平面に沿う２次元の表示画像を生成する条件をユーザに入力させる条件設定部と、
該条件設定部で設定された条件に基づいて生成された前記細胞集塊の２次元の表示画像を一覧表示するギャラリー生成部とを備える画像処理装置。
前記条件設定部が、前記２次元の表示画像を表示する表示条件をユーザに入力させ、
前記ギャラリー生成部が、前記条件設定部で設定された表示条件に基づいて前記２次元の表示画像を一覧表示する請求項８に記載の画像処理装置。
前記軸が、前記細胞集塊の長手軸である請求項８または請求項９に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面である請求項１０に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面のうち、前記長手軸方向の中央位置を含む平面である請求項１０に記載の画像処理装置。
前記平面が、前記長手軸に沿う平面のうち、前記細胞集塊の重心位置を含む平面である請求項１０に記載の画像処理装置。
前記平面が、前記長手軸に直交する平面または前記長手軸に沿う平面であり、
前記表示画像が、前記長手軸方向または該長手軸方向に直交する方向に沿って配置される各画素の輝度の最大値を前記平面に投影した画像である請求項１０に記載の画像処理装置。
請求項１から請求項１４のいずれかに記載の画像処理装置と、
前記細胞集塊に対して焦点位置を異ならせた複数の前記２次元画像を取得する顕微鏡とを備える顕微鏡システム。