JP7322683B2 - 画像処理方法、画像生成装置及び画像処理システム - Google Patents

Description

本発明は、画像処理方法、画像生成装置及び画像処理システムに関する。

神経細胞は、分化誘導の方法や分化誘導の段階によりＧＡＢＡニューロンやＤＯＰＡニューロンのように単一の細胞種のみが含まれる場合と神経細胞以外の細胞が混在しているヘテロな細胞集団を形成している場合とがある。これら細胞集団に含まれる個々の細胞を染色及び侵襲的な処置を行わずに、生きている状態で観察する技術は、神経細胞を含むにとどまらず、さまざま細胞の様解析や、薬剤スクリーニング等のアッセイを行う上で有効である。また、このような技術は、機能補助等を目的として、神経細胞と異なる細胞の層の上に神経細胞を播種し、神経細胞を培養する上でも有効である。このような技術に適用され得る画像として、例えば、特許文献１に記載されている定量位相画像が挙げられる。

国際公開第２０１９／０９７５８７号

本発明の一態様は、被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、前記分類用閾値設定工程により設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程とを備え、前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出部で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する画像処理方法である。
本発明の一態様は、被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出部と、前記位相算出部により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出部と、前記高さ算出部により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定部と、前記分類用閾値設定部で設定された前記分類用閾値と、前記高さ算出部により算出された前記被写体の高さとに基づいて前記被写体を分類する被写体分類部と、前記高さ算出部により算出された前記被写体の高さに基づいて画像データを生成する画像データ生成部と、前記被写体分類部によって分類された分類情報に基づいて、前記画像データ生成部で生成された画像データを処理する画像データ処理部と、を備える画像生成装置である。本発明の一態様は、顕微鏡に用いられる画像処理システムにおいて、被写体に照明光を照射する光源と、対物光学系を含み、前記照明光が照射された被写体の像を結像する結像光学系と、前記結像光学系からの前記被写体の像を撮像し、電気信号に変換するイメージセンサと、マイクロプロセッサを含む制御部とを備え、前記制御部は、前記マイクロプロセッサに次の工程を実行させる、前記電気信号に基づいて前記被写体からの光の波面の変化及び前記対物光学系の光軸と交差する計測面上の光強度分布を導出し、前記光の波面の変化と前記計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、前記被写体の高さを視認可能な態様で表示している画素を含む画像データを生成する画像生成工程と、前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、前記分類用閾値設定工程で設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程と、前記被写体分類工程で分類された前記被写体を前記高さに応じた視認可能な態様で前記画像データを表示部に表示する画像データ処理工程とを実行する
画像処理システムである。

実施形態に係る画像処理システムの一例を示す図である。 実施形態に係る画像生成装置の一例を示す図である。 実施形態に係る被写体を透過する光の位相の変化により、計測面上の光強度分布が変化することを示す概念図である。 実施形態に係る計測面を説明するための概念図である。 実施形態に係る焦点間隔を説明するための概念図である。 実施形態に係るサンプリング間隔を説明するための概念図である。 実施形態に係る定量位相画像の一例を示す図である。 実施形態に係る測定軌跡上の輝度の一例を示す図である。 実施形態に係る測定軌跡上の一部を拡大した図である。 実施形態に係る画像生成装置が実行する処理の一例を示すフローチャートである。

以下では、適宜図面を参照しながら、実施形態に係る画像生成装置及び画像処理システムについて説明する。実施形態に係る画像処理システムは、被写体において間隔Δｚ離れた複数の位置各々に対物レンズの焦点を配置しつつ、光を照射し、焦点が配置された領域各々からの光を検出し、当該検出により取得したデータに基づいて定量位相画像を作成する。そして、画像処理システムは、定量位相画像に含まれる画素が表示している高さに基づいて当該画像に描出されている被写体を分類する。

ここで言う定量位相画像は、被写体における厚さの変化と屈折率の変化を積とする位相を可視化した画像である。定量位相画像は、被写体の位相が２倍、３倍、４倍等の様々な値に変化しても位相を定量的に表すことができるため、被写体の位相を定量化した画像ともいえる。一方、既存の位相差画像や微分干渉画像は、位相に振幅が混ざる干渉画像であるため、被写体の位相を完全に定量化することはできない。

図１は、実施形態に係る画像処理システムの一例を示す図である。画像処理システム１は、顕微鏡を含んでおり、顕微鏡本体部１００と、画像生成装置４０とを備える。顕微鏡本体部１００は、被写体Ｓに光を照射する透過照明光学系１０と、ステージ８と、結像光学系７と、落射照明光学系１１０と、検出部９とを備える。結像光学系７は、対物光学系２０と、フィルターキューブ１２０と、リレー光学系３０とを備える。なお、画像生成装置４０の機能は顕微鏡本体部１００から物理的に離れた電子計算機等に配置してもよい。

透過照明光学系１０は、光源１１と、レンズ１２と、バンドパスフィルター１３と、視野絞り１４と、レンズ１５と、開口絞り１６と、集光レンズ１７とを備える。対物光学系２０は、対物レンズ２１を備える。対物レンズ２１は、複数の対物レンズ、例えば、対物レンズ２１ａ、対物レンズ２１ｂ及び対物レンズ２１ｃの中の一つを選択して使用する。リレー光学系３０は、結像レンズ３１と、ビームスプリッター３２と、ミラー３３ａ、ミラー３３ｂ及びミラー３３ｃと、レンズ３４ａ、レンズ３４ｂ及びレンズ３４ｃと、接眼レンズ３５とを備える。接眼レンズ３５は眼Ｅを近づけて覗き込むことができるように構成されている。なお、対物レンズ２１に含まれる対物レンズの数は特に限定されない。また、顕微鏡本体部１００に含まれる光学系の態様は、被写体Ｓの所望の面の画像を撮像により取得することができれば特に限定されない。

図１は、顕微鏡本体部１００の光学系の光軸を一点鎖線Ｌ１で示し、光源１１からの照明光、すなわち光束を二点鎖線Ｌ２で示している。対物レンズ２１のうち被写体Ｓに焦点を配置しているレンズを対物レンズ２１ａとすると、後に詳述する対物レンズ２１ａの光軸Ｌｏは、顕微鏡本体部１００の光軸Ｌ１と一致しているため、これを図１においてＬ１（Ｌｏ）と示した。検出部９で検出された光の検出信号の流れを実線矢印Ａ１で示し、画像生成装置４０による顕微鏡本体部１００の制御を実線矢印Ａ２で模式的に示した。一点鎖線Ｌ１、一点鎖線Ｌ２、実線矢印Ａ１及び実線矢印Ａ２は、以下の説明でも同様のものを示す。

光源１１は、ハロゲンランプ等の非コヒーレント光源装置を含み、被写体Ｓに照射する光Ｌ２を出射する。光源１１は、非コヒーレント光を出射し、出射された非コヒーレント光が後述する開口絞り１６を含む透過照明光学系１０の各部により、位相復元が可能な光軸に略垂直な波面を有する光とされて被写体Ｓに照射される構成となっている。また、ここで言う位相復元とは、後に詳述するが、計測した被写体Ｓからの光の強度から、強度輸送方程式を用いて被写体Ｓの位相値を算出することである。光Ｌ２は、被写体Ｓの位相計測が可能であればどのような波長の光でも構わないが、可視光で見えづらい被写体Ｓを位相計測により可視化できる観点では、そのまま可視光を使用することが簡素で好ましい。

なお、被写体Ｓに照射する光Ｌ２は、可視光でなくてもよく、紫外光や赤外光であってもよい。さらに、光Ｌ２の波面は光軸に略垂直でなくとも、波面の形状が既知であればよく、例えば、光Ｌ２の波面は略球面であってもよい。また、光源１１は、パルスレーザや連続発振（ＣＷ）レーザなどのコヒーレント光源を含み、光Ｌ２としてコヒーレント光を出射してもよい。

光源１１から出射した光Ｌ２は、レンズ１２に入射する。レンズ１２に入射した光Ｌ２は、レンズ１２により屈折され、略平行な光となってレンズ１２を透過し、バンドパスフィルター１３に入射する。バンドパスフィルター１３に入射した光Ｌ２は、所望の波長範囲の波長成分の光のみがバンドパスフィルター１３により透過されて視野絞り１４に入射する。ここで、バンドパスフィルター１３により透過される光の波長範囲は、軸上色収差によって発生する、位相復元誤差、すなわち位相を復元する際の位相の実測値と実際の位相との誤差が大きくなり過ぎないように適宜設定される。バンドパスフィルター１３は、適宜光路外の位置Ｐ１に退避可能に構成される。

なお、光源１１としてレーザ光等の波長範囲が狭い光源を用いる際は、バンドパスフィルター１３を光路に配置する必要は無い。また、バンドパスフィルター１３を使用せず、被写体Ｓに対して結像側に配置されたフィルターキューブ１２０のフィルターにより検出する波長範囲を制限してもよい。

視野絞り１４に入射した光Ｌ２は、その光束径が調節されて視野絞り１４を出射し、レンズ１５に入射する。レンズ１５に入射した光Ｌ２は、レンズ１５により収束されてレンズ１５を出射し、開口絞り１６に入射する。開口絞り１６に入射した光Ｌ２は、その波面が球面状になるように変換され、開口絞り１６を出射し、集光レンズ１７に入射する。集光レンズ１７に入射した光Ｌ２は、集光レンズ１７により屈折され、被写体Ｓに照射される際に光軸に略垂直な波面を有する光となり、被写体Ｓに照射される。

被写体Ｓは、位相の計測を行う対象となる部分又は当該部分の近傍に対物レンズ２１ａの焦点位置が含まれるようにステージ８上に配置される。被写体Ｓは、特に限定されないが、光Ｌ２が被写体Ｓに照射され透過する際に、振幅の変化の割合は比較的小さく、一方、位相の変化の割合は大きい場合に、本実施形態に係る位相計測の効果がより顕著に得られるので好ましい。このような物体を位相物体と呼ぶ。被写体Ｓとしては、上記の観点から、特に神経細胞等の細胞のような位相物体が好ましい。

ステージ８は、対物レンズ２１ａの光軸及び当該光軸に垂直な軸に沿って移動可能に構成されている。ここで、対物レンズ２１ａの光軸とは、図５に示すように、対物レンズ２１ａの被写体Ｓ側のレンズ面の光学中心と対物レンズ２１ａの焦点を通る直線で示される軸（光軸Ｌｏ）を指す。ステージ８は、モータ等の移動装置による電動駆動により、被写体Ｓを撮像する際に、対物レンズ２１ａの光軸Ｌｏに沿った移動が可能に構成されている。図５では、対物レンズ２１ａの光軸Ｌｏが、顕微鏡本体部１００の光軸Ｌ１と一致している点を、Ｌｏ（Ｌ１）と示した。以下の説明では、図１に座標軸９００として示すように、顕微鏡本体部１００の光軸Ｌ１、すなわち対物レンズ２１ａの光軸Ｌｏに平行にｚ軸をとり、ｚ軸に垂直であって紙面に平行にｘ軸を取り、ｘ軸及びｚ軸に垂直にｙ軸をとる。

対物光学系２０は、対物レンズ２１を含んで構成される。対物レンズ２１は、対物レンズ２１ａ、対物レンズ２１ｂ及び対物レンズ２１ｃを備える。画像処理システム１は、開口数ＮＡ等が異なる対物レンズ２１ａ、対物レンズ２１ｂ及び対物レンズ２１ｃを交換して被写体Ｓを撮像して、それぞれの対物レンズ２１により得たデータに基づいて位相計測を行う際、得られる位相値のばらつきを抑制するように構成されている。対物レンズ２１を変更した際に計測される位相値の変化が大きいと、異なる対物レンズ２１を用いて取得したデータの間の比較が難しくなる。また、異なる対物レンズ２１を用いて取得したデータのうちどの対物レンズ２１を用いて取得したデータが位相を復元する際の精度が高いのか判断が難しい等の理由により、一連の測定に係る作業に負担が生じる。

落射照明光学系１１０は、水銀ランプ１１１等を含んで構成されている。落射照明光学系１１０から出射した光は、フィルターキューブ１２０に入射する。

フィルターキューブ１２０は、励起フィルター１２１と、ダイクロイックミラー１２２と、吸収フィルター１２３とを含んで構成され、落射照明光学系１１０から入射した光を被写体Ｓへと反射する。フィルターキューブ１２０は、光路外の位置Ｐ２に適宜、退避できるように構成されている。

励起フィルター１２１は、落射照明光学系１１０から入射した励起光の波長範囲を、ダイクロイックミラー１２２の反射波長領域にするように透過波長域が設定されており、これにより、励起光の一部の波長範囲の励起光を透過させる。ダイクロイックミラー１２２は、励起フィルター１２１を透過した励起光を被写体Ｓに向けて反射する。吸収フィルター１２３は、ダイクロイックミラー１２２から入射した光のうち被写体Ｓや光学系からの不要な散乱光を吸収し、必要な光のみをリレー光学系３０の結像レンズ３１に出射する。

リレー光学系３０の結像レンズ３１は、フィルターキューブ１２０から入射した光を検出部９に結像するように屈折させてビームスプリッター３２に出射する。ビームスプリッター３２は、フィルターキューブ１２０から入射した光の一部を検出部９へと反射し、残りは透過させてミラー３３ａに出射する。ミラー３３ａで反射した光は、レンズ３４ａ、ミラー３３ｂ、レンズ３４ｂ、レンズ３４ｃ及びミラー３３ｃの順で、ミラーでの反射またはレンズでの屈折を経て接眼レンズ３５に入射する。接眼レンズ３５に入射した光は接眼レンズ３５により屈折されてユーザの眼Ｅに入射して知覚される。

検出部９は、イメージセンサ、例えば、ＣＣＤ、ＣＭＯＳを含んで構成され、リレー光学系３０のビームスプリッター３２により反射された光を検出する。検出した光に対応する検出信号は不図示のＡ／Ｄ変換器等により適宜Ａ／Ｄ変換されて画像生成装置４０に出力される。言い換えると、検出部９は、被写体Ｓの画像を撮像する。

なお、画像処理システム１は、被写体Ｓの位相計測に際し、検出部９が、透過照明光学系１０からの照明光Ｌ２が照射された被写体Ｓの像を撮像する構成にしたが、落射照明光学系１１０からの照明光が照射された被写体Ｓの像を撮像する構成にしてもよい。この場合、落射照明光学系１１０からの照明光は、対物レンズ２１ａを介して被写体Ｓに照射され、被写体Ｓで反射した光に基づく被写体Ｓの像を検出部９で撮像する。

図２は、実施形態に係る画像生成装置の一例を示す図である。画像生成装置４０は、入力部４１と、表示部４２と、通信部４３と、記憶部４４と、制御部５０とを備える。制御部５０は、装置制御部５１と、演算部５２とを備える。装置制御部５１は、最適条件計算部５１１を備える。演算部５２は、位相算出部５２１と、高さ算出部５２２と、画像生成部５２３と、分類用閾値設定部５２４と、被写体分類部５２５と、表示変更用閾値設定部５２６と、表示制御部５２７とを備える。

入力部４１は、入力装置、例えば、キーボード、マウス、タッチパネルを含んでおり、顕微鏡本体部１００による被写体Ｓの撮像や演算部５２による当該撮像により得られたデータの解析に必要な情報等を含む入力データを受け付ける。入力部４１は、受け付けた入力データを、後述の記憶部４４に適宜記憶させる。なお、入力部４１は、入力データを後述の通信部４３を介して取得してもよい。

表示部４２は、液晶モニタ等の表示装置により構成され、顕微鏡本体部１００による撮像の条件、当該撮像により得られたデータに基づいて演算部５２が生成した解析結果、定量位相画像等を表示する。

通信部４３は、インターネット等の通信網を利用して通信を行う通信装置により構成され、例えば、顕微鏡本体部１００による撮像の条件、当該撮像により得られたデータに基づいて演算部５２が生成した解析結果、定量位相画像を送信したり、適宜必要なデータを送受信したりする。

記憶部４４は、不揮発性メモリ等の記憶装置により構成され、例えば、制御部５０に処理を行わせるプログラム、顕微鏡本体部１００による撮像に必要なデータ、当該撮像により得られたデータ、当該データに基づいて演算部５２が生成した解析結果及び定量位相画像を記憶する。

制御部５０は、ＣＰＵ等のマイクロプロセッサ等を含むプロセッサにより構成され、画像処理システム１を制御する動作の主体として機能する。すなわち、記憶部４４等に格納されているプログラムを実行することにより、顕微鏡本体部１００による被写体Ｓの撮像を行う装置制御処理、当該撮像により得られたデータの位相復元処理等の解析処理、出力処理等の各種処理を行う。

最適条件計算部５１１は、顕微鏡本体部１００が被写体Ｓにおける複数の位置のそれぞれに対物レンズ２１ａの焦点を順次配置して検出部９により被写体Ｓからの光を検出する際に設定するための、当該複数の位置の間隔Δｚを算出する。この間隔Δｚを焦点間隔と呼ぶ。焦点間隔Δｚは、精度良く位相計測を行うために重要なパラメータである。以下、この点に関し、強度輸送方程式を利用した位相計測の方法に基づいて説明する。

図３は、実施形態に係る被写体を透過する光の位相の変化により、計測面上の光強度分布が変化することを示す概念図である。被写体Ｓは、細胞等の位相物体であり、波面Ｗ１、波面Ｗ２及び波面Ｗ３により模式的に示されているように、互いに平行で光軸に略垂直な波面を有する平面波が照射されている。平面波の進行方向は矢印Ａ３で示した。被写体Ｓを透過した光は、振幅は大きく変化しないものの、位相が変化することにより、例えば、図３に波面Ｗ４で示すように、等位相面、すなわち波面が変化する。ホイヘンス＝フレネルの原理で、曲線状の波面を構成する光は、実線矢印Ａ４で示されるように計測面ｉ１に到達する。ここで、後に詳述するように、一例として対物レンズ２１ａの焦点が配置される被写体Ｓにおける特定の面、すなわち対物レンズ２１ａの合焦面を計測面ｉ１と称する。計測面ｉ１は、対物レンズ２１ａの光軸に実質的に垂直な面である。図３では、計測面ｉ１は平面波の波面Ｗ１、波面Ｗ２及び波面Ｗ３と実質的に平行である。計測面ｉ１上では、上述のように被写体Ｓによる波面の変化に伴い所定の光の強度分布が形成される。被写体Ｓによる透過光の位相の変化と光強度分布との関係に基づいて、透過光の強度を解析することにより、位相の変化を計測する方法が提案されている。本実施形態では、以下に説明する強度輸送方程式を用いた方法を利用する。

伝播する波動における、強度Ｉと位相φの関係は、強度輸送方程式により記述される。強度輸送方程式は、以下の式（１）及び式（２）による連立方程式である。詳細は、Paganin D and Nugent KA, “Noninterferometric Phase Imaging withPartially Coherent Light,” Physical Review Letters, Volume 88, pp.2586-2589を参照されたい。

ここで、∇の添字であるｘｙは、ＸＹ平面を示す。ＸＹ平面は、光の伝搬方向に垂直な平面、すなわち本実施形態ではｚ軸に垂直な平面である。式（２）の左辺に現れる∇ｘｙφは、ＸＹ平面における位相φの勾配（gradient）を示す。式（１）の左辺と式（２）の右辺に現れるΦは、式（１）をポアソン方程式の形にして計算しやすいように導入された関数であり、検出したＸＹ平面における強度Ｉのｚに関する微分係数の分布を得て、ポアソン方程式（１）を解くことにより導出できる。式（１）を解いて得た関数Φと光強度分布から、式（２）を解いて位相φを算出することができる。

図４は、実施形態に係る計測面を説明するための概念図である。まず、被写体Ｓの計測面ｉ１における光強度分布及び計測面ｉ１におけるｚに関する微分係数分布を得る必要がある。このため、装置制御部５１は、図４で示すように、対物レンズ２１ａの焦点が所望の計測面ｉ１に含まれるように設定して、結像光学系７により検出部９の検出面に被写体Ｓの像を結像させて被写体Ｓからの光を検出部９に検出させる。検出部９の各画素からの検出信号は、図２に示した制御部５０に入力され、演算部５２により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データが生成される。

光強度分布データは、ある座標ｚの値に対応する計測面上での座標（ｘ、ｙ）の位置に対応する、検出部９における各画素で検出された光の強度分布を表すデータである。光強度分布データは、当該座標ｘ、ｙ、ｚの値に対応する光強度を示すデータであり、ルックアップテーブルの形式で構築されている。例えば、あるｚの値に対応する計測面上での光強度分布を色または階調で区別して二次元にマッピングすることにより、当該ｚの位置における光の強度分布を示す画像である光強度画像を作成することができる。なお、所定の座標ｘ、ｙ、ｚの値に対応する光強度の値を取り出すことができれば、光強度分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。

計測面ｉ１の位置、すなわち対物レンズ２１ａの焦点位置は、検出部９により検出される被写体Ｓからの光の光強度のコントラストに基づいた位置に設定されることが好ましい。装置制御部５１は、位相計測の前に取得した被写体Ｓの三次元の光強度分布データから算出したパラメータ、例えば、以下に示す分散ｖｚ等の被写体Ｓからの光の光強度のコントラストを示すパラメータに基づいて、計測面ｉ１の位置を設定することができる。上記三次元の光強度分布データを事前に撮像により取得する場合、この光強度分布データの取得のための撮像の際の被写体Ｓにおける焦点の位置は特に限定されず、適宜設定すればよい。

装置制御部５１は、事前に取得した三次元の光強度分布データについて、各ｚの値に対応した、ｘ方向及びｙ方向についての二次元の光強度分布をＩｚ（ｘ、ｙ）としたとき、各ｚの値に対応する光強度分布の分散ｖｚを以下の式（３）により算出する。

ここで、Ｎｘは事前に取得した光強度分布データのｘ方向のピクセル数、Ｎｙは事前に取得した光強度分布データのｙ方向のピクセル数、Ｉｚの上にバーが示されたものは各ｚの値に対応する、当該光強度分布データ上の全ての（ｘ，ｙ）についてのＩｚ（ｘ，ｙ）の算術平均等の平均値である。装置制御部５１は、算出した各ｚの値に対応する分散ｖｚに基づいて計測面ｉ１の位置、すなわち対物レンズ２１ａの焦点位置を設定する。例えば、装置制御部５１は、算出した分散ｖｚのうち極小となる分散ｖｚに対応するｚ方向の位置に計測面ｉ１の位置を設定する。言い換えると、装置制御部５１は、計測面ｉ１の位置をコントラストが低い光強度分布データに対応するｚの値に設置する。

装置制御部５１は、最適条件計算部５１１が算出した焦点間隔Δｚに基づいて、対物レンズ２１ａの焦点位置が、計測面ｉ１上の位置からｚ軸に沿って－Δｚ及び＋Δｚの距離ずれたそれぞれの位置となるように計測面ｉ２及び計測面ｉ３上に当該焦点位置を順次設定する。焦点間隔Δｚの具体的な値の決定方法は後述する。装置制御部５１は、これらの計測面ｉ２及び計測面ｉ３にそれぞれ対物レンズ２１ａの焦点を配置した際に、結像光学系７により検出部９の検出面に被写体Ｓの像を結像させて被写体Ｓからの光を検出部９に検出させる。計測面ｉ２及び計測面ｉ３に対物レンズ２１ａの焦点を配置したそれぞれの場合に対応する検出部９の各画素からの検出信号は、制御部５０に入力され、演算部５２により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データがそれぞれ生成される。なお、計測面ｉ１、計測面ｉ２又は計測面ｉ３上に配置される、それぞれの対物レンズ２１ａの焦点の位置は、それぞれ計測面ｉ１、計測面ｉ２又は計測面ｉ３上に存在すれば、ＸＹ平面上の位置は特に限定されない。

生成された計測面ｉ２と計測面ｉ３のそれぞれの計測面に対応するそれぞれの光強度分布データは、計測面ｉ１における光強度のｚに関する微分係数を算出するのに用いられる。演算部５２は、計測面ｉ２上の点及び計測面ｉ３上の点であって、ＸＹ平面上での座標が同じ位置等の互いに対応する位置にある２点の強度の値の差分を、計測面ｉ２及びｉ３の間の距離である２Δｚで割ることにより、計測面ｉ１における光強度のｚに関する微分係数に相当するｄＩ／ｄｚ＝（Ｉ３－Ｉ２）／２Δｚを算出する。演算部５２は、算出された光強度のｚに関する微分係数分布に対応する微分係数分布データを適宜、記憶部４４等に記憶させる。微分係数分布データは、座標ｘ、ｙ、ｚの値に対応する光強度のｚに関する微分係数の分布を示すデータであり、ルックアップテーブルの形式で構築されている。なお、所定の座標ｘ、ｙ、ｚの値に対応するｚに関する微分係数の値を取り出すことができれば、微分係数分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。

図５は、実施形態に係る焦点間隔を説明するための概念図である。図５では、ステージ８上に被写体Ｓが載置されている。図５では、対物レンズ２１ａの光軸Ｌｏに平行にｚ軸が設定され、被写体Ｓから対物レンズ２１ａへ向かう向きをｚ軸の+の向きとしている。また、焦点位置Ｆから対物レンズ２１ａに入射する光の光束を二点鎖線Ｌ２００で模式的に示した。図５では、対物レンズ２１ａの焦点位置Ｆをｚ＝ｚ０とし、ｚ＝ｚ０の点を含んでｚ軸に垂直な面を計測面ｉ１として示している。

装置制御部５１は、モータ等の移動装置を介して電動駆動することによりステージ８を移動させ、計測面ｉ１、計測面ｉ２又は計測面ｉ３上にそれぞれ対物レンズ２１ａの焦点位置を設定する。装置制御部５１は、対物レンズ２１ａの光軸Ｌｏに沿って互いに焦点間隔Δｚ離れた複数の位置のそれぞれに対物レンズ２１ａの焦点を順次配置する。ここで、対物レンズ２１ａの光軸Ｌｏに沿って互いに焦点間隔Δｚ離れた複数の位置とは、当該複数の位置を対物レンズ２１ａの光軸Ｌｏに射影した際に、互いにΔｚの距離離れる複数の位置を指す。また、対物レンズ２１ａは結像光学系７においてステージ８側にあるため、対物レンズ２１ａの焦点位置Ｆは、対物光学系２０又は結像光学系７の焦点位置と言い換えることもできる。

装置制御部５１の最適条件計算部５１１は、本実施形態における顕微鏡本体部１００の設定情報と後に詳述する位相復元パラメータｋを用い、焦点間隔Δｚを以下の式（４）により算出する。ここで、顕微鏡本体部１００の設定情報とは、定量位相画像の生成のために顕微鏡本体部１００に設定される情報であり、例えば、対物レンズ２１ａの開口数、照明光Ｌ２の波長、対物レンズ２１ａと被写体Ｓとの間の屈折率の情報である。

ここで、λは、照明光Ｌ２の波長であり、入力部４１へのユーザの入力等に基づいて装置制御部５１が設定する。ｎは、対物レンズ２１ａと被写体Ｓとの間の屈折率であり、入力部４１へのユーザの入力等に基づいて装置制御部５１が設定する。装置制御部５１は、対物レンズ２１ａが乾燥対物レンズの場合、対物レンズ２１ａと被写体Ｓとの間の雰囲気は空気であるため、空気の屈折率として例えばｎ＝１．００に設定する。一方、対物レンズ２１ａが液浸対物レンズの場合、装置制御部５１は、対物レンズ２１ａと被写体Ｓとの間に満たされる浸液の屈折率を屈折率ｎとして設定する。ＮＡは、対物レンズ２１ａの開口数であり、入力部４１へのユーザの入力等に基づいて装置制御部５１が設定する。そして、最適条件計算部５１１は、顕微鏡本体部１００の設定情報に基づいて、焦点間隔Δｚを算出する。具体的には、最適条件計算部５１１は、式（４）に示されたように、対物レンズ２１ａの開口数ＮＡ、照明光Ｌ２の波長λ、及び対物レンズ２１ａと被写体Ｓとの間の屈折率ｎの情報に基づいて焦点間隔Δｚを算出する。

また、位相復元パラメータｋは１以上の値であり、式（４）において、ｋ＝１の場合には、対物レンズ２１ａの性能を最大限に生かす遮断空間周波数まで、強度輸送方程式により位相復元を行うことができる。ｋの値が１より大きくなるに従って、強度輸送方程式により位相復元を行うことができる空間周波数は低くなる。さらに、位相復元の精度は、焦点間隔Δｚ及び被写体Ｓ上のサンプリング間隔の少なくとも一方を調節することにより高めることができる。

図６は、実施形態に係るサンプリング間隔を説明するための概念図である。図３を参照しながら説明した通り、被写体Ｓを透過して非平面となった波面Ｗ４は、計測面ｉ１、計測面ｉ２及び計測面ｉ３（以下、計測面ｉ１、計測面ｉ２及び計測面ｉ３を総称して計測面ｉと呼ぶ）に位相の変化に基づいた光強度分布を形成する。図６の右側の図は、計測面ｉを対物レンズ２１ａの光学中心から見た概念図で、検出部９の個々の画素に対応する部分Ｇを示した。個々の画素に対応する部分Ｇは、被写体Ｓに対応する領域を格子状に覆うように配列される。以下の説明において、サンプリング間隔Δｘ及びサンプリング間隔Δｙは、このように対物レンズ２１ａの焦点位置が設定された計測面ｉにおける個々の画素に対応する部分Ｇの幅である。

サンプリング間隔Δｘ及びサンプリング間隔Δｙは、検出部９の画素サイズをＰ、結像光学系７の横倍率をβとしたとき、Δｘ＝Δｙ＝Ｐ／βとなる。ここで、検出部９の画素サイズとは、ＣＣＤ等の場合、各画素の幅を示し、変形例６で後述するレーザ走査型蛍光観察ユニットを用いた走査型顕微鏡の場合、画素サイズＰは、視野数（対角）をスキャン倍率で割ったサイズである。以下では、サンプリング間隔をΔｘとして記述する。結像光学系７の横倍率βは、対物レンズ２１ａの倍率β１とリレー光学系３０の倍率β２との積となる。

最適条件計算部５１１が上述のように対物レンズ２１ａの焦点を配置する位置の数及び焦点間隔Δｚを設定したら、装置制御部５１は、設定された対物レンズ２１ａの焦点を配置する位置の数及び焦点間隔Δｚに基づいて被写体Ｓの撮像を行う。被写体Ｓからの光を検出部９が検出して得られた検出信号は、演算部５２に入力される。

演算部５２は、検出部９から入力された検出信号を処理する。演算部５２は、当該検出信号から光強度分布データを生成し、この光強度分布データに基づいて定量位相画像を生成する画像生成部として機能する。また、演算部５２は、光強度分布データに基づいて復元した被写体Ｓの位相に基づいて解析を行う。

演算部５２は、検出部９の各画素の位置と、入力された検出信号に基づいた光強度とが対応付けられた光強度分布データを生成し、適宜、記憶部４４等に記憶させる。演算部５２は、上述した式（１）、式（２）及び最適条件計算部５１１が設定した焦点間隔Δｚ等に基づいて、生成した光強度分布データから計測面ｉ１等を含む被写体Ｓにおける位相φに対応する位相分布データを生成し、適宜、記憶部４４等に記憶させる。位相分布データは、座標ｘ、ｙ、ｚの値に位相が対応付けられているデータであり、ルックアップテーブルの形式で構築されている。なお、所定の座標ｘ、ｙ、ｚの値に対応する位相値を取り出すことができれば、位相分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。

なお、式（３）に基づいて、最適条件計算部５１１が対物レンズ２１ａの焦点を配置する位置の数を、３を超える値に設定した場合は、演算部５２は、以下に詳述するようにＳａｖｉｔｚｋｙ－Ｇｏｌａｙ法を用いて光強度分布データから位相を復元することが好ましい。

演算部５２は、位相分布データに基づいて、２次元または３次元の定量位相画像を構築し、記憶部４４等に記憶させる。ここで、定量位相画像とは、被写体における厚さの変化と屈折率の変化を積とする位相を可視化した画像である。具体的には、一例として、定量位相画像は、式（１）及び式（２）で算出した位相値に応じて階調値を設定した画像である。定量位相画像は、一例として、位相値の大きさに比例した階調のグレースケールを設定した画像である。この場合、定量位相画像では、位相値の大小を示す階調値から被写体Ｓのｚ方向の寸法である高さを視認することができる。なお、定量位相画像は、式（１）及び式（２）で算出された位相値に応じて階調値を設定した画像に限られず、既存の他の方法で算出した位相値に応じて階調値を設定した画像であってもよい。

また、上述した通り、演算部５２は、位相算出部５２１と、高さ算出部５２２と、画像生成部５２３と、分類用閾値設定部５２４と、被写体分類部５２５と、表示変更用閾値設定部５２６と、表示制御部５２７とを備える。

位相算出部５２１は、被写体Ｓからの光の波面の変化と光が入射する対物レンズ２１ａ、対物レンズ２１ｂ又は対物レンズ２１ｃの光軸と交差する計測面ｉ１上の光強度分布との関係に基づいて、被写体Ｓを透過した光の位相を計測面ｉ１上の所定の第一領域ごとに算出する。また、位相算出部５２１は、計測面ｉ２及び計測面ｉ３についても同様の方法を使用して被写体Ｓを透過した光の位相を所定の第一領域ごとに算出する。具体的な算出方法は、上述した通りである。

高さ算出部５２２は、所定の第一領域ごとに算出された位相に基づいて、計測面ｉ１と交差する方向の寸法である高さを所定の第二領域ごとに算出する。すなわち、高さ算出部５２２は、所定の第一領域ごとに算出された位相を所定の第二領域ごとに計測面ｉ１と交差する方向の寸法である高さに変換する。例えば、高さ算出部５２２は、次の式（５）を使用して高さを算出する。また、第一領域及び第二領域は、いずれも任意に決定されてよい。

ｎ_１は、例えば、被写体Ｓの屈折率である。ｎ_２は、例えば、被写体Ｓの一例である神経細胞の周囲に存在する培養液の屈折率である。ｄは、被写体Ｓの一例である神経細胞各部の高さである。

また、高さ算出部５２２は、計測面ｉ２及び計測面ｉ３についても同様の方法を使用して高さを所定の第二領域ごとに算出する。なお、第二領域は、第一領域と一致していてもよいし、第一領域と一致していなくてもよい。

画像生成部５２３は、所定の第二領域ごとに算出された高さを視認可能な態様で表示している画素を含む画像を生成する。当該画素は、第一領域及び第二領域の少なくとも一方と一致していてもよいし、第一領域及び第二領域の少なくとも一方と一致していなくてもよい。

分類用閾値設定部５２４は、画素により表示されている高さに対して分類用閾値を設定する。分類用閾値は、例えば、定量位相画像に描出されている細胞の状態や細胞の種類を分類するために使用される。ここで言う細胞の状態は、例えば、生きている状態及び死んでいる状態を含む。また、ここで言う細胞の種類は、神経細胞、アストロサイト様の物質、死細胞である。なお、分類用閾値は、入力部４１を使用して入力されたデータに基づいて設定されてもよいし、過去に収集されたデータ等に基づいて事前に設定されていてもよい。

被写体分類部５２５は、画素により表示されている高さに基づいて画像に描出されている被写体Ｓを分類する。例えば、被写体分類部５２５は、画素により表示されている高さが分類用閾値を超えている領域の面積に基づいて被写体Ｓを分類する。或いは、被写体分類部５２５は、画素により表示されている高さが分類用閾値を超えている領域内の高さに基づいて算出された値に基づいて被写体Ｓを分類する。また、当該値は、当該領域内の高さの標準偏差、平均値、中央値、最大値、最小値等の統計値である。

例えば、被写体分類部５２５は、被写体Ｓの高さの標準偏差が比較的小さい場合、被写体Ｓがアストロサイト様の物質であることを示すデータを生成して記憶部４４等に格納してもよい。また、被写体分類部５２５は、被写体Ｓの高さの標準偏差が比較的大きい場合、被写体Ｓが細胞体であることを示すデータを生成して記憶部４４等に格納してもよい。また、被写体分類部５２５は、画素により表示されている高さが分類用閾値を超えている領域の面積が比較的小さい場合、被写体Ｓが死細胞であることを示すデータを生成して記憶部４４等に格納してもよい。また、被写体分類部５２５は、被写体Ｓが描出されている領域に高さのピークが所定の数以上存在する場合、被写体Ｓが複数の細胞が凝集しているものであることを示すデータを生成して記憶部４４等に格納してもよい。

表示変更用閾値設定部５２６は、画素により表示されている高さに対して表示変更用閾値を設定する。なお、表示変更用閾値は、入力部４１を使用して入力されたデータに基づいて設定されてもよいし、過去に収集されたデータ等に基づいて事前に設定されていてもよい。

表示制御部５２７は、画素により表示されている高さが表示変更用閾値を超えている領域又は画素により表示されている高さが表示変更用閾値以下である領域を表示部４２に表示する態様を変更させる。表示部４２に表示する態様の変更の一例としては、これらの領域に対応する部分を表示部４２に表示しないようにすることが挙げられる。

また、表示制御部５２７は、画素により表示されている高さが表示変更用閾値を超えている領域を表示部４２に表示する態様を変更させた場合、画像に含まれる画素により表示される高さの最小値から高さの最大値までの範囲を変更してもよい。さらに、表示制御部５２７は、画素により表示されている高さが表示変更用閾値以下である領域を表示部４２に表示する態様を変更させた場合、画像に含まれる画素により表示される高さの最小値から高さの最大値までの範囲を変更してもよい。

図７は、実施形態に係る定量位相画像の一例を示す図である。図７に示した定量位相画像Ｉｍは、細胞ｃ１と、細胞ｃ２と、細胞ｃ３と、細胞ｃ４と、測定軌跡Ｌとを示す。ここで細胞ｃ１及び細胞ｃ２は、例えば、死細胞である。細胞ｃ３は、例えば、神経細胞である。細胞ｃ４は、例えば、アストロサイト様の物質である。ここで、死細胞、神経細胞及びアストロサイト様の物質は、それぞれ互いにｚ軸方向の高さが異なる。表示制御部５２７は、被写体Ｓの高さに応じた態様（例えば、輝度、色など）によって、被写体Ｓを区別して表示する。

図８は、実施形態に係る測定軌跡上の輝度の一例を示す図である。図９は、実施形態に係る測定軌跡上の一部を拡大した図である。
表示制御部５２７は、例えば、細胞ｃ１に対応する位置Ｐ１と、細胞ｃ２に対応する位置Ｐ２と、細胞ｃ３に対応する位置Ｐ３と、細胞ｃ４に対応する位置Ｐ４を区別して表示する。同図に示すように、表示制御部５２７は、測定軌跡Ｌに沿った被写体Ｓの高さをグラフ表示することもできる。

次に、図１０を参照しながら、画像生成装置４０が実行する処理の一例を説明する。図１０は、実施形態に係る画像生成装置が実行する処理の一例を示す図である。

ステップＳ１０において、位相算出部５２１は、被写体からの光の波面の変化と光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、被写体を透過した光の位相を計測面上の所定の第一領域ごとに算出する。

ステップＳ２０において、高さ算出部５２２は、所定の第一領域ごとに算出された位相に基づいて、計測面と交差する方向の寸法である高さを所定の第二領域ごとに算出する。

ステップＳ３０において、画像生成部５２３は、所定の第二領域ごとに算出された高さを視認可能な態様で表示している画素を含む画像を生成する。

ステップＳ４０において、分類用閾値設定部５２４は、画素により表示されている高さに対して分類用閾値を設定する。

ステップＳ５０において、被写体分類部５２５は、画素により表示されている高さに基づいて画像に描出されている被写体を分類する。

ステップＳ６０において、表示変更用閾値設定部５２６は、画素により表示されている高さに対して表示変更用閾値を設定する。

ステップＳ７０において、表示制御部５２７は、画素により表示されている高さが表示変更用閾値を超えている領域又は画素により表示されている高さが表示変更用閾値以下である領域を表示部に表示する態様を変更させる。

以上説明したように、本実施形態の画像生成装置４０は、被写体Ｓの高さを視認可能な態様で表示することができる。

本発明の実施形態について図面を参照しながら説明した。ただし、画像処理システム１は、上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、組み合わせ及び設計変更の少なくとも一つを加えることができる。

１…画像処理システム、４０…画像生成装置、５２１…位相算出部、５２２…高さ算出部、５２３…画像生成部、５２４…分類用閾値設定部、５２５…被写体分類部、５２６…表示変更用閾値設定部、５２７…表示制御部

Claims (10)

1. 被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
   前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、
   前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、
   前記分類用閾値設定工程により設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程とを備え、
   前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出部で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する
   画像処理方法。
2. 前記高さ算出工程により算出された前記被写体の高さを視認可能な態様で表示する画像を生成する画像生成工程を更に備え、
   前記被写体分類工程は、前記分類用閾値を超える高さを有する前記被写体ごとに高さを決定し、各被写体の高さに基づいて前記分類用閾値を超える高さを有する被写体を分類し、
   前記画像生成工程は、分類された前記被写体を前記高さに応じた態様で表示部に表示する、
   請求項１に記載の画像処理方法。
3. 前記画像生成工程は、
   表示されている前記高さに対して表示変更用閾値を設定する表示変更用閾値設定工程と、
   表示されている前記高さが前記表示変更用閾値を超えている領域又は前記高さが前記表示変更用閾値以下である領域を前記表示部に表示する態様を変更させる表示制御工程とを備える、
   請求項２に記載の画像処理方法。
4. 前記表示制御工程は、前記表示されている高さが前記表示変更用閾値を超えている領域を前記表示部に表示する態様を変更させた場合又は前記表示されている高さが前記表示変更用閾値以下である領域を前記表示部に表示する態様を変更させた場合、表示される前記高さの最小値から高さの最大値までの範囲を変更する、
   請求項３に記載の画像処理方法。
5. 被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出部と、
   前記位相算出部により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出部と、
   前記高さ算出部により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定部と、
   前記分類用閾値設定部で設定された前記分類用閾値と、前記高さ算出部により算出された前記被写体の高さとに基づいて前記被写体を分類する被写体分類部と、
   前記高さ算出部により算出された前記被写体の高さに基づいて画像データを生成する画像データ生成部と、
   前記被写体分類部によって分類された分類情報に基づいて、前記画像データ生成部で生成された画像データを処理する画像データ処理部と、
   を備える画像生成装置。
6. 前記被写体分類部は、前記分類用閾値を超える高さを有する前記被写体ごとに高さを決定し、被写体の高さに基づいて前記分類用閾値を超える高さを有する被写体を分類し、
   前記画像データ処理部は、分類された前記被写体を前記高さに応じた態様で前記画像データを表示部に表示する、
   請求項５に記載の画像生成装置。
7. 前記画像データ処理部は、前記高さ算出部で高さを算出された各被写体のうち、前記分類用閾値設定部で設定された閾値を超える高さ情報を有する被写体が表示部に表示されないよう処理する、
   請求項５または請求項６のいずれか一項に記載の画像生成装置。
8. 前記画像データ処理部は、前記被写体分類部で分類された各被写体のうち、所定の分類に属する被写体が表示部に表示されないよう処理する、
   請求項５または請求項６のいずれか一項に記載の画像生成装置。
9. 顕微鏡に用いられる画像処理システムにおいて、
   被写体に照明光を照射する光源と、
   対物光学系を含み、前記照明光が照射された被写体の像を結像する結像光学系と、
   前記結像光学系からの前記被写体の像を撮像し、電気信号に変換するイメージセンサと、
   マイクロプロセッサを含む制御部とを備え、
   前記制御部は、前記マイクロプロセッサに次の工程を実行させる、
   前記電気信号に基づいて前記被写体からの光の波面の変化及び前記対物光学系の光軸と交差する計測面上の光強度分布を導出し、前記光の波面の変化と前記計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
   前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、
   前記被写体の高さを視認可能な態様で表示している画素を含む画像データを生成する画像生成工程と、
   前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、
   前記分類用閾値設定工程で設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程と、
   前記被写体分類工程で分類された前記被写体を前記高さに応じた視認可能な態様で前記画像データを表示部に表示する画像データ処理工程とを実行する
   画像処理システム。
10. 前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する
    請求項９に記載の画像処理システム。