JP5292846B2

JP5292846B2 - 観察装置と、観察方法

Info

Publication number: JP5292846B2
Application number: JP2008039066A
Authority: JP
Inventors: 宏之塚本
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-02-20
Filing date: 2008-02-20
Publication date: 2013-09-18
Anticipated expiration: 2028-02-20
Also published as: JP2009198709A

Description

本発明は、細胞などの透明な位相物体を広い視野で観察する観察装置と観察方法に関する。

従来、細胞の培養に際して、培養状況や培養容器中の細胞の分布や量を確認するための観察が行われている。その際、細胞は多くの場合吸収のほとんどない位相物体のため、通常の観察では細胞の有無を観察するのは困難であり、光学顕微鏡による観察に際して暗視野観察または位相差観察により細胞透過による位相変化を明暗変化に変換して観察が行われる（例えば、非特許文献１、２参照）。
小松啓，「光学顕微鏡の基礎と応用（３）」，応用物理，第６０巻，第１９号，１９９１年，ｐ１０３２−ｐ１０３４小松啓，「光学顕微鏡の基礎と応用（４）」，応用物理，第６０巻，第１１号，１９９１年，ｐ１１３６−ｐ１１３８

従来の観察装置では、被観察物全体の細胞の分布や量（細胞占有率と言う）を検出するためには、視野を多数回移動させる必要があり、観察時間が掛かってしまうという問題がある。

本発明は、上記課題に鑑みて行われたものであり、細胞占有率等の画像特徴量を短時間に検出することを可能にする観察装置と観察方法を提供することを目的とする。

上記課題を解決するため、本発明を例示する第１の態様は、
被観察物の分解能の異なる少なくとも２つの画像を同時に取得する少なくとも２つの撮像手段と、
前記撮像手段のうちの１つによって相対的に高い分解能で得られた画像の所定領域における画像特徴量に、前記撮像手段のうちの別の１つによって相対的に低い分解能で得られた画像の前記所定領域における画像特徴量が略等しくなるように、前記分解能の低い画像の画像処理のための基準値を算出する制御手段と、
前記基準値に基づき前記分解能の低い画像全体に亘り画像処理する画像処理手段と、
を有することを特徴とする観察装置を提供する。

また、本発明を例示する第２の様態は、
倍率の異なる少なくとも２つの撮像光学系により、同じ領域を含んで被観察物の高倍率画像と低倍率画像とを同時に撮像し、前記同じ領域の前記高倍率画像と前記低倍率画像との画像特徴量が略等しくなるように前記低倍率画像の基準値を算出し、算出された前記基準値に基づき前記低倍率画像全体を処理し前記低倍率画像の処理結果を表示手段に表示する観察方法を提供する。

本発明によれば、被観察物の同じ領域の高倍率の画像と低倍率の画像とを同時に取得し、高倍率画像から算出される画像特徴量とほぼ等しい画像特徴量となる低倍率画像の基準値を算出し、この基準値を用いて低倍率画像全体を処理することで短時間に画像特徴量をより正確に検出することを可能にする観察装置と観察方法を提供することができる。

以下、本発明の実施の形態にかかる観察装置について図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解の容易化のためのものに過ぎず、本発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。

（第１実施の形態）
図１は、第１実施の形態にかかる観察装置の概略構成図である。図２は、第１実施の形態にかかる観察装置の光学系部分の作用を説明する概念図である。図３は、第１実施の形態にかかる観察装置の低倍撮像光学系で得られる画像の例であり、（ａ）は周期光源をずらす前の画像、（ｂ）は周期光源を半周期ずらして得られる画像をそれぞれ示す。図４は、第１実施の形態にかかる観察装置で得られる画像の空間分解能の差異を示す図で、（ａ）は、高倍撮像光学系で得られる画像を、（ｂ）は低倍撮像光学系で得られる画像を、（ｃ）は参考として位相差顕微鏡で得られる画像をそれぞれ示す。

図１、図２において、観察装置１は、バックライト付きの透過型液晶パネル１４と、被観察物（位相物体、例えば細胞など）１０を載置するステージ（標本台）１３と、被観察物１０の全体像を撮像する撮像素子１１を有する低倍率撮像光学系１２と、被観察物１０の拡大像を撮像する撮像素子２１を有する高倍率撮像光学系２２と、透過型液晶パネル１４の明るさや位置を制御するコントローラ１５と、撮像素子１１及び撮像素子２１からの画像の画像処理やコントローラ１５の制御等を行うコンピュータ１６（以後、ＰＣと記す）と、ＰＣ１６で画像処理された被観察物１０の画像やコントローラ１５の制御情報等を表示するモニター１７などから構成されている。

ステージ１３に載置されている被観察物１０は、例えば、無染色の細胞が収められた透明な培養容器２５（例えば、径９０ｍｍのシャーレなど）である。また、ステージ１３は、透過型液晶パネル１４で照明された被観察物１０の略全域を観察可能にするために、被観察物１０を載置する領域が照明光を遮らないように、例えば、ガラス等の透明部材で構成されている。なお、培養容器が細胞領域に比べ大きい場合には、観察する領域を中空とし培養容器の周辺を支持するように構成しても良い。

低倍率撮像光学系１２の視野は十分に大きく、被観察物１０の略全域から射出した光は、低倍率撮像光学系１２によって捉えられ、撮像素子１１の撮像面上に結像する。一方、高倍率撮像光学系２１は、被観察物１０の一部を拡大して撮像素子２１で撮像するものである。低倍率撮像光学系１２と高倍率撮像光学系２２とは、その光軸がほぼ平行に配置され、同時に被観察物１０の画像を取得する。

撮像素子１１、及び撮像素子２１は、それぞれＰＣ１６からの指示に応じて撮像面上の画像を取得する。その画像は、ＰＣ１６へ取り込まれ、ＰＣ１６に設けられた画像処理部１８で画像処理が施されモニタ１７上へ表示される。また、ＰＣ１６は取得した画像から輝度値ヒストグラム、細胞占有率等を算出する。

なお、ＰＣ１６は、撮像素子１１、及び撮像素子２１で撮像された被観察物１０の画像処理前の画像や画像処理後の画像を不図示のメモリに必要に応じて保存することができる。また、画像処理前後の画像を必要に応じてモニター１７へ表示することや、算出されたヒストグラム、細胞占有率等を表示することができる。このように、画像処理部１８で処理された画像の処理結果（画像処理後の画像、輝度値ヒストグラム、細胞占有率等）をモニター１７へ表示することができる。

また、コントローラ１５は、ＰＣ１６からの指示に応じて、透過型液晶パネル１４で明部１４ｂと暗部１４ｄとの周期パターン（周期Ｐ）を表示する。透過型液晶パネル１４は各種の明部１４ｂと暗部１４ｄの周期パターンを形成可能であるが、ここでは、明部１４ｂと暗部１４ｄとが互いに平行に形成されたストライプパターンを用いた場合を代表として説明する。このとき、透過型液晶パネル１４によって、ストライプ状の面光源１４が形成される。また、コントローラ１５は、ＰＣ１６からの指示に基づき透過型液晶パネル１４を光学系の光軸に対して垂直な面内でシフトすることが可能である。

また、透過型液晶パネル１４で形成される面光源１４の明部１４ｂと暗部１４ｄのピッチＰは、観察対象である例えば細胞などの位相物体のサイズ（１０〜１５μｍ）と比較して十分に大きい。

また、面光源１４の明部１４ｂの数十ピッチが撮像光学系１２の視野内に存在し、面光源１４の明部１４ｂの幅と暗部１４ｄの比がほぼ１対１（デューティー比）である。また、低倍撮像光学系１２と高倍撮像光学系２２は物体面に合焦しており、撮像素子１１及び撮像素子２１上では面光源１４の像はボケている。なお、面光源１４には、明部１４ｂ、暗部１４ｄの二値のパターンあるいはグレースケールパターンの何れも採用できる。

第１実施の形態にかかる観察装置１により被観察物１０を低倍撮像光学系１２で撮影を行うと、図３（ａ）、（ｂ）に示すように、位相物体がある場所において、バックグラウンドのストライプパターンからの検出強度変化が生じる。一定以上の強度変化が生じた部分に位相物体があるとみなし、検出を行うことにより、位相物体の分布を測定することができる。その際に、バックグラウンドパターンの遷移部においては強度変化が弱い、あるいは生じないので、使用することができるのはパターンの明部１４ｂおよび暗部１４ｄのみである。したがって、全体の分布を求めるには、ストライプの位置を移動させて複数回撮影をする必要がある。このように、観察装置１では、面光源１４をずらして位相物体１０全体の画像を取得する。なお、光源のむらが像に現れる場合にはパターンの暗部１４ｄのみを使用することが好ましい。

次に、画像処理手段８を含むＰＣ１６における検査手順について説明する。

低倍率画像と高倍率画像での細胞画像の例を図４に示す。これは、ＮＩＨ３Ｔ３細胞をストライプパターン照明で撮影し、複数の縞位置での図３に示す画像から暗部１４ｄでの像のみを取り出して合成したものである。図４（ａ）、（ｂ）は物体側のＮＡを同程度にして撮影したものであり、高倍率画像（ａ）は１４μｍ／ｐｉｘ、低倍率画像(ｂ)は５４μｍ／ｐｉｘの分解能となっている。図４（ｃ）は参照用の位相差顕微鏡画像である。

ここで（ａ）、（ｂ）の各画像はほぼ同じ領域に対応していて、（ａ）と(ｂ)では元の画像におけるストライプパターンのコントラストがほぼ同等になるように露光量を調整している。（ａ）と(ｂ)を比べると、（ａ）のほうが高空間分解能で、コントラストが明確になっているのが分かる。

通常、物体の種類により輝度値に一定の基準値を用意して、それ以上の強度変化が生じた部分に位相物体があるとみなすが、位相物体による強度変化量は、位相物体（例えば、細胞等）の種類や密集度、容器の曇り、容器中の容液の状態など撮影ごとに変化し得る様々な状況にも依存する。このため、位相物体によるコントラストの低い低倍率画像の方が検出誤差が生じやすくなる傾向がある。よって高倍率画像で輝度値の基準値を決め、基準値以上にバックグラウンドから検出量が変化している領域の比率、すなわち占有率（細胞占有率）を算出し、同じ領域内での占有率が同程度になるように低倍率画像での輝度値の基準値を調整し、調整後の基準値で低倍率画像全体を処理することにより、検出誤差を減らせることがわかる。

具体的には、図５に示すステップに従って検出処理を実行する。図５は検出処理ステップを示すフローである。

細胞や容器の種類などの条件に応じて高倍率画像における輝度値の基準値をあらかじめ経験的に設定しておく。試料を撮影する際には、高倍撮像光学系２２と低倍撮像光学系１２の双方で撮影をするが、その際に両者が同じ領域Ｘを含むようにする（ステップＳ１）。

次に、細胞占有率の判定の際には、はじめに高倍撮像光学系２２で撮像された画像に上述の基準値を適用する。画像中で、基準値以上の明るさを持つ領域を細胞がある部分とみなし、領域Ｘ中での細胞占有率を制御装置であるＰＣ１６で算出する（ステップＳ２）。

続いて、低倍撮像光学系１２で撮像された領域Ｘの画像において輝度値ヒストグラムをＰＣ１６で算出し、領域Ｘ内での細胞占有率が高倍率画像での算出値とほぼ等しい値になるように低倍率画像での輝度値の基準値を設定する（ステップＳ３）。

最後に、低倍率画像全体に亘って低倍率画像での基準値を適用することにより、低倍率画像全体の細胞占有率を求める（ステップＳ４）。

なお、光源や撮影光学系による視野内での感度ムラについては、これらの操作の前に補正しておくことが好ましい。

図４（ａ）、（ｂ）に示す画像において、バックグラウンドノイズσは同程度である。また図４（ｃ）の位相差顕微鏡画像からの解析では領域中の細胞占有率は８％程度であるが、検出率がこれとほぼ一致するような「正しい」基準値による高倍率画像を図６（ａ）、低倍率画像を図６（ｂ）に示す。図６（ａ）に示す領域での検出率は高倍画像で８．４％、図６（ｂ）の低倍画像で８．２％である。ここでは、細胞があると判定された部分を白で表示している。このように「正しい」基準値では低倍画像も高倍画像もほぼ同じ検出率を示している。

これに対し、基準値が「正しい」基準値から２σ程度大きくなった「誤った」基準値による高倍率画像を図６（ｃ）、低倍率画像を図６（ｄ）に示す。図６（ｃ）、（ｄ）の領域内での検出率は高倍画像１２．５％に対して低倍画像では２８．７％である。このように、高倍率画像では、検出率が「正しい」基準値に対して１．５倍程度大きくなり、低倍画画像では、検出率が「正しい」基準値に対して３．５倍程度大きくなっている。

一方、画像でのバックグラウンドノイズは両者共に同程度、散乱光によるコントラストに相当する検出画像の標準偏差は低倍画像が高倍像の１／２．６程度となっている。よって、低倍画像のみによって基準値を設定しようとしても、基準値の誤差を高倍率画像によるものと同程度にするのは困難である。

ここから、撮影時の環境により基準値が正当な値からずれた場合の信頼性は高倍率画像の方がはるかに高く、基準値を設定するには、高倍画像を使用した方が有利であることがわかる。以上より、高倍画像にて基準値を設定して細胞占有率を算出し、この算出値にほぼ等しくなるように低倍率画像用の基準値を調整することにより細胞占有率の検出精度を上げること可能である。

（第２実施の形態）
次に、本発明の第２実施の形態にかかる観察装置について図７を参照しつつ説明する。

図７は、第２実施の形態にかかる観察装置１０１の光学部分の作用を説明する概念図である。第１実施の形態と同様の構成には同じ符号を付し説明省略する。

図７において、観察装置１０１は、低倍撮像光学系１２の観察視野中心と、高倍撮像光学系２２の観察視野中心がほぼ一致するように構成されている。即ち、両方の光学系の視野中心がほぼ一致するように、被観察物面に対して所定の角度傾斜して配設されている。

このように配置することで、撮像素子１１、２１或いは撮像光学系１１、２１の機械的な干渉を避けることが容易となる。

なお、撮像光学系１２、２２の光軸を傾斜させる場合、光源と位相物体の距離に応じてストライプパターンの相対位置は変化することになる。よって、単一のストライプパターンのみで撮影をする場合は、視野領域が暗部１４ｄとなるようにするために、光軸とストライプパターンの長軸方向が一つの平面内に入るような方向に結像光学系１２、２２の光軸を傾斜させることが好ましい。また、通常は領域全体についての情報を得るために、周期光源１４の位置を移動させつつ撮影を行うことになるので、この相対位置の変化は問題とならない。

また、その他の構成、作用、効果は第１実施の形態と同様であり、詳細な説明は省略する。

以上述べたように、上記実施の形態にかかる観察装置１、１０１では、被観察物１０の同じ領域Ｘの高倍率画像と低倍率画像とを同時に取得し、高倍率画像から算出される細胞占有率とほぼ等しい細胞占有率となる低倍率画像の基準値を算出し、ここの基準値を用いて低倍画像全体を処理することで短時間に細胞占有率をより正確に検出することを可能にする観察装置と、観察方法を提供することができる。

また、大面積に渡る観察物１０の細胞占有率を、簡便な装置を用いて測定画像から正確かつ高速に判断することが可能となる。

なお、上記実施の形態では、基準値は輝度値を用いているがこれに限定されないことは言うまでも無い。また、細胞以外の位相物体の占有率の検出に使用できることも言うまでも無い。

第１実施の形態にかかる観察装置の概略構成図である。第１実施の形態にかかる観察装置の光学系部分の作用を説明する概念図である。第１実施の形態にかかる観察装置の低倍撮像光学系で得られる画像の例であり、（ａ）は周期光源をずらす前の画像、（ｂ）は周期光源を半周期ずらして得られる画像をそれぞれ示す。第１実施の形態にかかる観察装置で得られる画像の空間分解能の差異を示す図で、（ａ）は、高倍撮像光学系で得られる画像を、（ｂ）は低倍撮像光学系で得られる画像を、（ｃ）は参考として位相差顕微鏡で得られる画像をそれぞれ示す。検出処理ステップを示すフローである。検出率の相違を示す図で、（ａ）は、「正しい」基準値による高倍率画像を、（ｂ）は「正しい」基準値による低倍率画像を、（ｃ）「誤った」基準値による高倍率画像を、（ｄ）は「誤った」基準値による低倍率画像を示す。第２実施の形態にかかる観察装置１０１の光学部分の作用を説明する概念図である。

符号の説明

１、１０１観察装置
１０被観察物（位相物体）
１１、２１撮像素子
１２低倍撮像光学系
１３ステージ
１４透過型液晶パネル
１５コントローラ
１６コンピュータ（ＰＣ）
１７モニタ
１８画像処理部
２２高倍撮像光学系

Claims

被観察物の分解能の異なる少なくとも２つの画像を同時に取得する少なくとも２つの撮像手段と、
前記撮像手段のうちの１つによって相対的に高い分解能で得られた画像の所定領域における画像特徴量に、前記撮像手段のうちの別の１つによって相対的に低い分解能で得られた画像の前記所定領域における画像特徴量が略等しくなるように、前記分解能の低い画像の画像処理のための基準値を算出する制御手段と、
前記基準値に基づき前記分解能の低い画像全体に亘り画像処理する画像処理手段と、
を有することを特徴とする観察装置。
前記撮像手段は、前記被観察物の像を撮像する倍率の異なる少なくとも２つの撮像光学系を含み、
前記制御手段は、前記分解能の高い前記撮像光学系の高倍率画像で求められる所定領域における画像特徴量が、前記分解能の低い前記撮像光学系の低倍率画像で求められる前記所定領域における画像特徴量と略等しくなるように、前記低倍率画像の画像処理のための基準値を算出することを特徴とする請求項１に記載の観察装置。
前記高倍率画像を撮像する前記撮像光学系の視野は、前記低倍率画像を撮像する前記撮像光学系の視野に含まれることを特徴とする請求項２に記載の観察装置。
前記高い分解能の撮像光学系の視野中心と前記低い分解能の撮像光学系の視野中心とが一致することを特徴とする請求項１から３のいずれか１項に記載の観察装置。
前記画像特徴量は、前記被観察物である細胞の前記撮像された画像に占める細胞占有率、あるいは前記撮像された画像の輝度ヒストグラムからなることを特徴とする請求項１から４のいずれか１項に記載の観察装置。
前記基準値は、前記被観察物である細胞の前記撮像された画像に占める細胞占有率が所定値となるときの前記画像の輝度値からなることを特徴とする請求項１から５のいずれか１項に記載の観察装置。
前記被観察物を照明し、明部と暗部とが周期的に配置された面光源と、
前記画像処理手段で処理された前記分解能の低い画像の処理結果を表示する表示手段と、
を備えたことを特徴とする請求項１から６のいずれか１項に記載の観察装置。
倍率の異なる少なくとも２つの撮像光学系により、同じ領域を含んで被観察物の高倍率画像と低倍率画像とを同時に撮像し、前記同じ領域の前記高倍率画像と前記低倍率画像との画像特徴量が略等しくなるように前記低倍率画像の基準値を算出し、算出された前記基準値に基づき前記低倍率画像全体を処理し前記低倍率画像の処理結果を表示手段に表示する観察方法。