JP6115562B2 - 観測装置、観測プログラム及び観測方法 - Google Patents

Description

本技術は、顕微鏡光学系を介して観測対象物の観測が可能な観測装置、観測プログラム及び観測方法に関する。

顕微鏡を介して観測対象物を観測する際、ユーザが観測したい観測対象物は観測試料のごく一部である場合は多い。例えば、培養液に含まれる細胞を観測する場合である。このような場合、ユーザは、観測試料において観測対象物を探索する必要があり、大きな負担となる。

何らかの分析方法を用いて、観測試料における観測対象物を検出することも可能である。例えば特許文献１に開示されている赤外分光分析装置を利用すれば、測定領域の赤外分光スペクトルから、測定領域に観測対象物が含まれているか否かを判断することも可能である。

特開平７−２７０３１１号公報

しかしながら、観測試料を分析装置と顕微鏡装置の間で移動させれば、観測試料中で観測対象物が移動してしまい、検出した観測対象物の位置が無意味となるおそれがある。また、時間の経過と共に観測対象物が移動あるいは変質する可能性もある。

以上のような事情に鑑み、本技術の目的は、観測対象物の検出及びその観測に適した観測装置、観測プログラム及び観測方法を提供することにある。

以上のような事情に鑑み、本技術の一形態に係る観測装置は、顕微鏡光学系と、撮像部と、分光部と、検出部とを具備する。
上記撮像部は、上記顕微鏡光学系を介して画像を撮像する。
上記分光部は、顕微鏡光学系を介して紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを取得する。
上記検出部は、上記吸収スペクトルまたは上記ラマンスペクトルを用いて観測試料における観測対象物を検出する。

この構成によれば、分光部と撮像部が共通の顕微鏡光学系を利用しているため、分光部が吸収スペクトルまたはラマンスペクトルを取得した位置と、撮像部の視野の相対的位置関係が規定されている。したがって、撮像部は、検出部が吸収スペクトルまたはラマンスペクトルによって検出した観測対象物の位置情報を利用して観測対象物を撮像することが可能となる。これにより、ユーザは自ら観測対象物を探索する必要がなく、簡単に観測対象物の顕微鏡画像を撮像することが可能となる。

上記観測装置は、上記検出部によって検出された観測対象物を、上記撮像部に撮像させる制御部をさらに具備してもよい。

この構成によれば、制御部が、顕微鏡光学系や照明等を制御することによって、検出部によって検出された観測対象物を撮像させるため、観測対象物の検出及び撮像を自動化することが可能となる。

上記検出部は、上記撮像部によって撮像された観測試料の画像に基づいて観測対象物候補を検出し、上記吸収スペクトルまたは上記ラマンスペクトルを用いて観測対象物候補が観測対象物か否かを判別してもよい。

この構成によれば、検出部は、予め観測試料の画像に基づいて、例えば輝度値等を利用することにより検出された観測対象物候補に対して、吸収スペクトルまたは上記ラマンスペクトルによる判別を実行すればよく、観測対象物を高速に検出することが可能となる。

上記検出部は、所定時間毎に観測対象物を検出し、上記制御部は、上記所定時間毎に上記検出部によって検出された観測対象物を、上記撮像部に撮像させてもよい。

この構成によれば、観測対象物が時間の経過と共に移動した場合であっても、検出部が観測対象物を追跡することができ、所定時間に渡る観測対象物の観測（タイムラプス観測）が可能となる。

上記検出部は、上記所定時間毎に、上記撮像部によって撮像された画像もしくは上記分光部によって取得された吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態を判別し、観測対象とするか否かを決定してもよい。

この構成によれば、時間の経過に伴なって観測対象物が観測に適しない状態となった場合に、観測を終了させることが可能となる。

以上のような事情に鑑み、本技術の一形態に係る観測プログラムは、検出部と、制御部とを具備する。
上記検出部は、顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、観測試料における観測対象物を検出する。
上記制御部は、検出部によって検出された観測対象物を、撮像部に撮像させる。

以上のよな事情に鑑み、本技術の一形態に係る観測方法は、検出部が、顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、観測試料における観測対象物を検出する。
制御部が、上記検出部によって検出された観測対象物を、撮像部に撮像させる。

以上のような事情に鑑み、本技術の別の形態に係る観測装置は、顕微鏡光学系と、撮像部と、紫外・可視・赤外分光部と、ラマン分光部とを具備する。
上記撮像部は、上記顕微鏡光学系を介して画像を撮像する。
上記紫外・可視・赤外分光部は、上記顕微鏡光学系を介して紫外、可視または赤外領域における吸収スペクトルを取得する。
上記ラマン分光部は、上記顕微鏡光学系を介してラマンスペクトルを取得する。

以上のように、本技術によれば、観測対象物の検出及びその観測に適した観測装置、観測プログラム及び観測方法を提供することが可能となる。

本技術の実施形態に係る観測装置の構成を示す模式図である。 同観測装置の動作を示すフローチャートである。 同観測装置の紫外・可視・赤外分光部によって取得される紫外、可視または赤外領域の２次元分光画像と、その吸収スペクトルの例である。 同観測装置の紫外・可視・赤外分光部によって取得される紫外、可視または赤外領域の２次元分光画像と、その吸収スペクトルの例である。 同観測装置のラマン分光部によって取得されるラマンスペクトルの例である。 同観測装置を用いるタイムラプス観測のフローチャートである。 同観測装置を用いるタイムラプス観測における観測対象物候補の提示と観測条件の設定に係るフローチャートである。 同観測装置によってユーザに提示される観測結果の例である。 同観測装置を用いるタイムラプス観測における観測位置の修正に係るフローチャートである。 同観測装置を用いるタイムラプス観測における観測対象物の探索に係るフローチャートである。 同観測装置を用いるタイムラプス観測における観測結果の提示と観測条件の変更に係るフローチャートである。 同観測装置の撮像部によって撮像される、経過時間が異なる観測対象物の画像の例である。 同観測装置の紫外・可視・赤外分光部によって取得される蛍光の２次元分光画像と、その蛍光スペクトルの例である。

本実施形態に係る観測装置について説明する。図１は本実施形態に係る観測装置１の構成を示す模式図である。同図に示すように、観測装置１は、ステージ２、顕微鏡光学系３、撮像部４、紫外・可視・赤外分光部５、ラマン分光部６、透過照明７、落射照明８及び制御ユニット９を有する。また、ステージ２には、観測試料を収容するためのインキュベータＳが載置されている。

顕微鏡光学系３はステージ２と対向して配置され、撮像部４、紫外・可視・赤外分光部５、ラマン分光部６及び落射照明８は顕微鏡光学系３に接続されている。透過照明７は、ステージ２について顕微鏡光学系３の反対側に配置されている。制御ユニット９は撮像部４、紫外・可視・赤外分光部５及びラマン分光部６に接続されると共に、必要に応じてステージ２あるいは顕微鏡光学系３等の各部に接続されている。

ステージ２は、インキュベータＳを支持し、インキュベータＳと顕微鏡光学系３の相対距離を規定する。ステージ２は、モータ等の駆動源によって、水平方向（Ｘ−Ｙ方向）及び鉛直方向（Ｚ方向）に移動可能に構成されたものとすることができる。なお、ステージ２の替わりに、顕微鏡光学系３がステージ２に対して移動可能に構成されていてもよい。

インキュベータＳは、観測対象物（細胞等）が培養されるディッシュやウェルプレートが収容され、培養環境を維持したまま、即ち細胞を生かしたまま、各種観測が可能に構成されている。インキュベータＳは培地交換や薬剤（サイトカイン等）の添加、あるいは薬剤に対する細胞の反応を見るような場合に、蓋を開け閉めする機会が多く、培養環境の維持に影響がある場合には、観測装置１の全体を覆って培養環境を維持するようにする方が望ましい。また、培地交換や試薬の添加も自動で行えるように構成されていてもよい。

顕微鏡光学系３は、観測試料を透過した、あるいは観測試料において生じた光（紫外線及び赤外線を含む）を紫外・可視・赤外分光部５、ラマン分光部６及び撮像部４に導く。顕微鏡光学系３の詳細な構成については後述するが、紫外・可視・赤外分光部５は顕微鏡光学系３を介して観測試料の吸収スペクトルを取得し、ラマン分光部６は顕微鏡光学系３を介して観測試料のラマンスペクトルを取得する。撮像部４は顕微鏡光学系３を介して観測試料の顕微鏡像を取得する。

撮像部４は、観測試料の顕微鏡光学系３による顕微鏡像を撮像する。撮像部４は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備え、観測試料の静止画あるいは動画を撮像可能に構成されている。撮像部４は、顕微鏡光学系３や透過照明７等の構成に応じて、観測試料の明視野像、暗視野像、位相差像、蛍光像、偏光顕微鏡像等の全部または少なくともいずれかを撮像するものとすることができる。撮像部４は、撮像した画像を制御ユニット９あるいは図示しない他の情報処理装置等に出力する。

紫外・可視・赤外分光部５は、顕微鏡光学系３を介して観測試料の紫外、可視または赤外領域における２次元分光画像を生成し、その２次元分光画像から紫外、可視または赤外領域における吸収スペクトル（紫外・可視・赤外分光スペクトル）を取得する。

透過照明７から出射された紫外、可視または赤外光は、観測試料を透過し、顕微鏡光学系３によって紫外・可視・赤外分光部５に導かれ、２次元分光画像が生成される。紫外・可視・赤外分光部５は、生成した２次元分光画像のうち、観測対象物の存在しない領域のフラットな透過スペクトルを抽出した後、その透過スペクトルと各画素の透過スペクトルの比の常用対数を取ることで吸収スペクトルを得ることが可能である。紫外・可視・赤外分光スペクトル（図３参照）は、観測試料を透過した紫外、可視または赤外光の波長に対する吸光度のプロットであり、観測試料の特性（分子構造や化学的状態）の情報を含んでいる。

なお、紫外・可視・赤外分光部５は、少なくとも紫外、可視または赤外領域の少なくともいずれかにおいて吸収スペクトルが取得できるものであればよく、紫外、可視または赤外領域の全領域にておいて吸収スペクトルが取得できるものであってもよい。また、紫外・可視・赤外分光部５は、観測試料に予め蛍光標識を施しておくことにより、蛍光の紫外・可視・赤外分光スペクトルを取得するものとすることも可能である。紫外・可視・赤外分光部５は、取得した吸収スペクトルを制御ユニット９に出力する。

ラマン分光部６は、顕微鏡光学系３を介して観測試料によるラマン散乱の２次元分光画像を生成し、その２次元分光画像からラマン散乱のスペクトル（ラマンスペクトル）を取得する。ラマン分光部６は、特定の波長を有する励起光（レーザ光）を顕微鏡光学系３を介して観測試料に照射する。それによって観測試料から放出された光（以下、放出光とする）は顕微鏡光学系３を介してラマン分光部６に導かれ、撮像される。

ラマン分光部６は、生成した２次元分光画像のうち、観測対象物の存在しない領域のフラットなスペクトルを抽出した後、そのスペクトルと各画素のスペクトルの差を取ることで観測対象物自体のラマンスペクトルを得ることも可能である。ラマンスペクトル（図５参照）は、放出光の強度を波長に対してプロットしたものである。放出光は、ラマン散乱による散乱光を含んでおり、ラマン散乱による散乱光の波長遷移（ラマンシフト）は、観測試料の特性（分子構造や結晶構造）によって異なり、即ち、ラマンスペクトルは観測試料の特性の情報を含んでいる。ラマン分光部６は、取得したラマンスペクトルを制御ユニット９に出力する。

透過照明７は、観測試料に対して照明光を照射する。上述のように、撮像部４は、明視野像、暗視野像、位相差像、蛍光像、偏光顕微鏡像等の全部または少なくともいずれかを撮像可能に構成されており、透過照明７はそれに応じた照明を観測試料に照射できるように構成されている。

具体的には、透過照明７は、撮像部４の撮像対象が明視野像である場合には通常の白色光を、暗視野像である場合には対物レンズの開口数（ＮＡ）より大きい開口数成分の照明光を観測試料に照射する。また、撮像部４の撮像対象が位相差像である場合には、対物レンズに応じて選択されたリングアパチャーを介して観測試料に照明光を照射する。透過照明７はこのような各種撮像手法あるいは撮像倍率に応じて適宜最適な照明光を照射できるように、制御ユニット９によってその構成が自動的に切り替えられるものが好適である。

落射照明８は、顕微鏡光学系３を介して観測試料に各種照明光を照射する。落射照明８は、透過照明７に対して補助的に、あるいは代替的に動作するものとすることができ、必要に応じて設けられるものとすることが可能である。

制御ユニット９は、紫外・可視・赤外分光部５またはラマン分光部６の出力に基づいて、ステージ２、顕微鏡光学系３等、観測装置１の各部を制御し、撮像部４に観測試料の顕微鏡像を撮像する。制御ユニット９は、ＰＣ（Personal computer）等の情報処理装置であり、機能的構成として検出部９１及び制御部９２を有する。

検出部９１は、紫外・可視・赤外分光部５によって取得された吸収スペクトルまたはラマン分光部６によって取得されたラマンスペクトルの少なくともいずれか一方によって、観測試料における観測対象物を検出する。観測対象物は、例えば細胞や細胞塊であり、インキュベータＳに収容された観測試料に含まれるものである。

検出部９１は、紫外・可視・赤外分光部５またはラマン分光部６によって吸収スペクトルまたはラマンスペクトルが取得された位置に、観測対象物が存在するか否かを吸収スペクトルまたはラマンスペクトルの解析によって判定するものとすることができる。即ち、検出部９１は、吸収スペクトルまたはラマンスペクトルの取得位置を、２次元的あるいは３次元的に走査することによって、観測試料における観測対象物を検出することが可能である。検出部９１による観測対象物の検出方法については後述する。

制御部９２は、検出部９１によって検出された、観測試料における観測対象物を撮像部４によって撮像させる。具体的には制御部９２は、観測対象物が撮像部４の撮像範囲に含まれるように、ステージ２と顕微鏡光学系３の相対位置を制御し、顕微鏡光学系３の撮像倍率や透過照明７等の照明タイミング等を制御すると共に撮像部４に撮像を指示するものとすることができる。

［顕微鏡光学系の構成について］
顕微鏡光学系３の構成について説明する。図１に示すように、顕微鏡光学系３は、対物レンズ３１、第１光路切替部３２及び第２光路切替部３３を有するものとすることができる。対物レンズ３１は観測試料（即ちインキュベータＳ）に対向して配置され、第１光路切替部３２は対物レンズ３１に後続し、第２光路切替部３３は第１光路切替部３２に後続して配置されている。

対物レンズ３１は、観測試料を透過し、あるいは観測試料から放出された光を所定の拡大倍率に拡大する。対物レンズ３１は、明視野像、暗視野像、位相差像、蛍光像あるいは偏光顕微鏡像等の撮像手法及び拡大倍率に応じて切替可能に構成されたものとすることができる。

第１光路切替部３２は、対物レンズ３１から入射する光の光路を切り替える。具体的には、落射照明８から観測試料の照明が実施される場合には、第１光路切替部３２はハーフミラーとすることができ、落射照明８からの照明光を対物レンズに向けて反射し、一方で対物レンズ３１からの入射光を第２光路切替部３３に向けて透過するものとすることができる。

また、撮像部４あるいは紫外・可視・赤外分光部５によって観測試料の蛍光が観測される場合には、第１光路切替部３２はダイクロイックミラーであるものとすることができる。即ち、落射照明８から観測試料に照射された励起光の波長帯域はダイクロイックミラーでカットされ、蛍光の波長帯域のみが第２光路切替部３３に向けて透過される。第１光路切替部３２は、必要に応じて切替が可能であるものが好適であり、あるいはこのような光路の切替が不必要な場合には設けられないものとすることも可能である。

第２光路切替部３３は、第１光路切替部３２から入射する光の光路を切り替える。第２光路切替部３３は入射光を撮像部４、紫外・可視・赤外分光部５及びラマン分光部６のそれぞれの方向に、所定の割合で振り分けるものとすることができる。また、第２光路切替部３３は、撮像部４、紫外・可視・赤外分光部５及びラマン分光部６のうち観測試料の観測に用いられるいずれか一つあるいは二つの方向に所定の割合で入射光を振り分けるものとすることもできる。例えば第１光路切替部３２は、紫外、可視、赤外領域の２次元分光画像（またはラマン散乱の２次元分光画像）が測定されている際には入射光の全てを紫外・可視・赤外分光部５（またはラマン分光部６）に振り分け、撮像部４による観測試料の撮像が行われる際には入射光の全てを撮像部４に振り分けるものとすることも可能である。

本実施形態においては、撮像部４、紫外・可視・赤外分光部５及びラマン分光部６は、顕微鏡光学系３において共通の光路を利用するものとしたがこれに限られない。顕微鏡光学系３において撮像部４、紫外・可視・赤外分光部５及びラマン分光部６のそれぞれの光路が独立して設けられていても、それぞれの相対的位置関係が特定されていればよい。即ち、紫外・可視・赤外分光部５あるいはラマン分光部６による２次元分光画像の視野と、撮像部４の視野の位置関係が規定されていればよい。より具体的には、紫外・可視・赤外分光部５あるいはラマン分光部６によるスペクトルに基づいて検出された観測対象物の存在位置が、撮像部４の視野に対してどの位置に相当するかがわかればよい。

観測装置１は以上のような構成を有するものとすることができるが、観測装置１には必要に応じて異なる構成とすることも可能である。例えば、観測試料の偏光顕微鏡像が撮像される場合には、透過照明７内に偏光子が、顕微鏡光学系３内に検光子が設けられるものとすることも可能である。

［観測装置の動作］
観測装置１の動作について説明する。図２は、観測装置１の動作を示すフローチャートである。事前に、ステージ２には、観測対象物を含む観測試料が収容されたインキュベータＳが載置されているものとする。

まず、観測対象物候補を抽出するか否かがユーザによって指定される（Ｓｔ１）。ユーザは、制御ユニット９等に対する操作入力によってこの指定をすることができる。例えばユーザは、観測試料における観測対象物の存在量が少ない場合や、観測試料における観測対象物の存在位置が予めある程度特定できている場合には、観測対象候補を抽出することを選択することができる。

観測対象物候補を抽出するようにユーザによって選択された場合（Ｓｔ１：Ｙｅｓ）には、観測対象物候補が抽出される（Ｓｔ２）。具体的には、検出部９１が、撮像部４によって観測試料が低倍率で撮像された画像（以下、低倍率画像とする）に対して画像処理等を実施し、観測対象候補物を抽出するものとすることができる。検出部９１は、例えば所定範囲毎の輝度値の差異に基づいて観測対象物候補を抽出するものとすることができる。また、ユーザが低倍率画像に基づいて、観測対象物候補を抽出するものとすることも可能である。検出部９１またはユーザは、観測対象物候補の空間座標（Ｘ、Ｙ、Ｚ座標）を制御部９２に登録するものとすることができる。

続いて、紫外・可視・赤外分光部５またはラマン分光部６の少なくともいずれか一方によって、上記観測対象物候補に対して分光スキャンが実行される（Ｓｔ３）。紫外・可視・赤外分光部５によって分光スキャンが実行される場合には、制御部９２による制御を受けて透過照明７から照明光が出射され、顕微鏡光学系３を介して紫外・可視・赤外分光部５に入射する。これを受けて紫外・可視・赤外分光部５おいて観測対象物候補の位置における紫外、可視または赤外領域の２次元分光画像が撮像され、吸収スペクトルが取得される。制御部９２によってステージ２と顕微鏡光学系３の相対位置が調整され、観測対象物候補の周辺領域も含めてスキャンされるものとすることができる。なお、この際、顕微鏡光学計３の拡大倍率が小さい方が、広い視野を高速にスキャンすることができ、好適である。

ラマン分光部６によって分光スキャンが実行される場合には、制御部９２による制御を受けてラマン分光部６から励起光が出射され、顕微鏡光学系３を介して観測試料に照射される。観測試料からの放出光（ラマン散乱光を含む）は顕微鏡光学系３を介してラマン分光部６に入射する。これを受けてラマン分光部６において観測対象物候補の位置におけるラマン散乱の２次元分光画像が撮像され、ラマンスペクトルが取得される。制御部９２によってステージ２と顕微鏡光学系３の相対位置が調整され、観測対象物候補の周辺領域も含めてスキャンされるものとすることができる。なお、この際、顕微鏡光学計３の拡大倍率が小さい方が、広い視野を高速にスキャンすることができ、好適である。

一方、観測対象物の存在候補領域を抽出するようにユーザによって選択されなかった場合（Ｓｔ１：Ｎｏ）には、観測試料の存在する空間（試料空間）の全体に対して分光スキャンが実行される（Ｓｔ４）。観測対象物候補が抽出される場合（Ｓｔ２）と同様に、制御部９２によって、ステージ２と顕微鏡光学系３の相対位置が調整され、観測対象物候補の周辺領域も含めてスキャンされるものとすることができる。

続いて、検出部９１は、紫外・可視・赤外分光部５によって取得された吸収スペクトルまたはラマン分光部６によって取得されたラマンスペクトルに特徴的なスペクトルがあるか否かを確認する（Ｓｔ５）。

図３及び図４は、紫外・可視・赤外分光部５によって取得された紫外、可視または赤外領域の２次元分光画像と、その一箇所における吸収スペクトルの例である。図３における観測対象物は赤血球であり、図４における観測対象物はＨｅｐＧ２（ヒト肝ガン由来細胞株）である。

図３に示す吸収スペクトルは、観測対象物（赤血球）が存在しない位置をリファレンスとして生成されたものである。同図に示すように、観測対象物が赤血球である場合、２次元分光画像において赤血球が存在する位置の吸収スペクトルでは波長３８０ｎｍ〜４６０ｎｍ付近のＳｏｒｅｔ帯において、ヘモグロビンに由来する強い吸収が確認される。一方、２次元分光画像において赤血球が存在しない位置の吸収スペクトルでは、ヘモグロビンに由来する強い吸収は確認されない。即ち、観測対象物が赤血球である場合には、Ｓｏｒｅｔ帯における吸収に基づいて、赤血球を検出することが可能である。

図４に示す吸収スペクトルは、観測対象物（ＨｅｐＧ２）が存在しない位置をリファレンスとして生成されたものである。同図に示すように、観測対象物がＨｅｐＧ２である場合、２次元分光画像においてＨｅｐＧ２が存在する位置の吸収スペクトルではＳｏｒｅｔ帯において、細胞内の小胞膜等に含まれるヘムに由来する強い吸収が確認される。一方、２次元分光画像においてＨｅｐＧ２が存在しない位置の吸収スペクトルでは、当該成分に由来する強い吸収は確認されない。即ち、観測対象物がＨｅｐＧ２である場合には、波長４００ｎｍ〜４８０ｎｍにおける吸収に基づいて、ＨｅＰＧ２を検出することが可能である。

この他にも検出部９１は、観測対象物に特有の吸収スペクトルから観測対象物を検出するものとすることが可能である。吸収スペクトルによって検出可能な観測対象物は細胞に限られず、特徴的な吸収スペクトルを有するものであればよい。

図５は、ラマン分光部によって取得されたラマンスペクトルの例である。図５における観測対象物はＨｅｐＧ２である。

図５は、ラマン分光部６によって生成されたラマン散乱の２次元分光画像においてＨｅｐＧ２が存在する位置のラマンスペクトルと、ＨｅｐＧ２が存在しない位置のラマンスペクトル（ｂａｃｋｇｒｏｕｎｄ）である。同図に示すように、ＨｅｐＧ２が存在する位置のラマンスペクトルには、ＨｅｐＧ２存在しない位置のラマンスペクトルには存在しないピークが表れている。これらのピークはＨｅｐＧ２のＲＮＡ（ribo nucleic acid）またはＤＮＡ（deoxyribonucleic acid）に由来するものと考えられる。観測対象物がＨｅｐＧ２以外の場合にも、ＲＮＡあるいはＤＮＡに由来するピークが存在すれば、細胞であるものと判断することが可能である。

この他にも検出部９１は、観測対象物に特有のラマンスペクトルから、観測対象物を検出するものとすることが可能である。ラマンスペクトルによって検出可能な観測対象物は細胞に限られず、特徴的なラマンスペクトルを有するものであればよい。

検出部９１は上記のように２次元分光画像の特定の位置における吸収スペクトルまたはラマンスペクトルに特徴的なスペクトルがあることを確認した場合（Ｓｔ５：Ｙｅｓ）には、当該位置の座標（Ｘ、Ｙ、Ｚ座標）を観測位置として登録する（Ｓｔ６）。また、検出部９１は特徴的なスペクトルが確認された領域の大きさ、即ち観測対象物と推定される領域の大きさによって当該位置の座標を登録するか否かをさらに選別するものとすることも可能である。検出部９１は、当該位置の座標を制御部９２に提供するものとすることができる。

また、検出部９１が当該位置における吸収スペクトルまたはラマンスペクトルに特徴的なスペクトルがないことを確認した場合（Ｓｔ５：Ｎｏ）には、当該位置を観測対象から除外する（Ｓｔ７）。検出部９１は、２次元分光画像の全領域における吸収スペクトルまたはラマンスペクトルの特徴的なスペクトルを有無を確認することにより、２次元分光画像における観測対象物を検出することが可能である。

以上のようにして、検出部９１は、紫外・可視・赤外分光部５によって取得された吸収スペクトルまたはラマン分光部６によって取得されたラマンスペクトルに基づいて、観測対象物を検出することが可能である。この検出結果は、制御部９２に提供され、制御部９２による撮像シーケンスに用いられてもよく、ユーザに提示されてもよい。

制御部９２は、検出部９１から提供された観測対象物の位置を利用して、ステージ２と顕微鏡光学系３の相対位置を調整し、撮像部４の視野を観測対象物に合わせることができる。さらに、制御部９２は、透過照明７や撮像部４を制御し、撮像部４に観測対象物を撮像させることも可能である。これにより、ユーザは自ら観測対象物を探索する必要がなく、容易に観測対象物の高倍率画像を得ることが可能となる。

［タイムラプス観測］
観測装置１を用いたタイムラプス（経時的）観測について説明する。タイムラプス観測は、観測対象物を長時間に渡って撮像し、観測対象物の経時的変化を観測するものである。ここで、観測対象物が培養液中の細胞や細胞塊である場合等には、時間の経過と共に観測対象物が移動し、あるいは死滅することも考えられる。したがって、観測試料中の一箇所のみを撮像し続けた場合には、観測対象物が視野から外れ、あるいは既に死滅して観測する価値がなくなっているものもそのまま撮像されることが発生し得る。ここで、本実施形態に係る観測装置１を用いることにより、このような問題を解消することが可能となる。

図６は、観測装置１を用いるタイムラプス観測のフローチャートである。同図に示すように、タイムラプス観測が開始されると、観測対象物候補が検出される（Ｓｔ１１）。観測対象物候補は、上述の説明のように、観測試料の低倍率画像に対する画像処理によって検出することが可能である。

続いて、観測対象物候補の提示と観測条件の設定が実施される（Ｓｔ１２）。図７は、観測対象物候補の提示と観測条件の設定に係るフローチャートである。図７に示すように、観測対象物候補の観測結果がユーザに提示される（Ｓｔ１２１）。観測対象物候補は、観測試料の低倍率画像に対して画像処理によって抽出された物体であり、観測対象物であるか、観測対象物ではない物体（ゴミあるいは死滅した細胞等）であるかはこの時点では判別されていない。

観測装置１は、観測対象物候補の観測結果、例えば撮像部４によって撮像された観測対象物候補の明視野像、位相差像、吸収スペクトルあるいはラマンスペクトル等をユーザに提示する。図８は、観測装置１によってユーザに提示される観測結果の例としてディスプレイに表示される表示画像を示す模式図である。図８（ａ）に示すように、観測対象物候補の像（明視野像等）が、観測対象物候補毎にトリミングして表示されるものとすることができる。

ユーザが観測対象物候補を選択すると、図８（ｂ）に示すように、選択された観測対象物候補のより詳細な観測結果が表示されるものとするとも可能である。ユーザは、表示された観測対象物候補の観測結果をみて、観測すべき観測対象物候補を観測対象物として選択するものとすることができる。

観測対象物候補が観測対象物として選択された場合（Ｓｔ１２２：Ｙｅｓ）には、観測対象物として保持される（Ｓｔ１２３）。続いて、観測対象物に対し、観測条件（測定項目、観測時間間隔等）が設定される（Ｓｔ１２４）。一方、観測対象物候補が観測対象物として選択されなかった場合（Ｓｔ１２２：Ｎｏ）には、当該観測対象物候補は観測対象から除外される（Ｓｔ１２５）。

図６に戻り、顕微鏡光学系３の視野が観測位置（最初の、又は次の観測位置）に移動する（Ｓｔ１３）。続いて観測装置１は、観測位置を修正する（Ｓｔ１４）。図９は観測位置の修正に係るフローチャートである。同図に示すように、顕微鏡光学系３の視野が次の観測位置に移動され（Ｓｔ１４１）ると、観測対象物が存在するか否かが確認される（Ｓｔ１４２）。例えば、観測対象物が細胞等の場合には、時間の経過と共に移動し、顕微鏡光学系３の視野から外れている可能性がある。

顕微鏡光学系３の視野内に観測対象物が存在している場合（Ｓｔ１４２：Ｙｅｓ）には、そのまま観測対象物として保持される（Ｓｔ１４３）。一方、顕微鏡光学系３の視野内に観測対象物が存在していない場合（ｓｔ１４２：Ｎｏ）には、観測対象物の探索（Ｓｔ１４４）が実施される。図１０は、観測対象物の探索に係るフローチャートである。

図１０に示すように、観測位置の周囲において観測対象物が探索される（Ｓｔ１５１）。観測対象物の探索は、図２に示すフローチャートに従ってなされる。観測対象物がひとつ検出された場合（Ｓｔ１５２：Ｙｅｓ）には、当該観測対象物が、前回の観測位置から移動した観測対象物であるとして、当該観測対象物の観測位置が修正される（Ｓｔ１５３）。

一方、観測対象物が複数検出された場合には、複数の観測対象物が一塊として認識される（Ｓｔ１５４）。これは、観測対象物が細胞である場合において、細胞分裂生じたことが想定されるためである。この場合には、この観測対象物の塊の中心に、観測対象物の観測位置が修正される（Ｓｔ１５５）。

図９に戻り、上記のように観測対象物の観測位置が修正され（Ｓｔ１４５）た後、観測対象物が保持される（Ｓｔ１４３）。図６に戻り、所定の観測、例えば明視野像、位相差像、蛍光像等の撮像が実施される（Ｓｔ１５）。続いて、観測結果の提示と観測条件の変更が実施される（Ｓｔ１６）。図１１は、観測結果の提示と観測条件の変更に係るフローチャートである。

図１１に示すように、観測対象物の観測結果がユーザに提示される（Ｓｔ１６１）。観測結果は、例えば図８に示したようにユーザに提示されるものとすることができる。続いて、観測条件を変更するか否かが確認される（Ｓｔ１６２）。観測条件の変更は例えば、観測対象物の細胞が死滅した場合、観測を終了するものとすることができる。また、観測対象物の細胞が未分化であった場合、分化促進のための薬剤（サイトカイン等）を添加する工程を追加し、あるいは観測時間間隔を短くし、あるいはさらなる観測項目（例えば吸収スペクトル等）を追加するものとすることも可能である。

観測対象物の状態変化は、吸収スペクトルあるいはラマンスペクトルの他に、明視野像、暗視野像、位相差像等の画像解析を用いて観測対象物の大きさの変化に基づいて判断することも可能である。図１２には、経過時間が異なる観測対象物（ＨｅＬａ細胞）の明視野像が示されている。図１２（ａ）と図１２（ｂ）を比較すると、下側の細胞が死滅していることが画像解析によって判別可能である。また、観測対象物の状態変化は偏光顕微鏡像によって、観測対象物の細胞の屈折率異方性の変から判別することも可能である。

さらに、観測対象物の細胞が特定の細胞に分化した場合には、観測を終了するものとすることができる。また、観測対象物が心筋細胞である場合には、動画、電気測定、磁場変化測定、超音波観測等により心筋細胞の拍動を検出することが可能である。心筋細胞の拍動が標準的な拍動に達した場合には、薬剤を添加する工程を添加し、あるいは観測時間間隔を短くし、あるいは新たに測定項目を追加するものとすることも可能である。

観測条件が変更される場合（Ｓｔ１６２：Ｙｅｓ）には、当該観測対象物に対する観測条件が再設定され、あるいは観測が終了する（Ｓｔ１６３）。観測条件が変更されない場合（Ｓｔ１６２：Ｎｏ）には、その観測条件が維持される（Ｓｔ１６４）。

図６に戻り、次の観測位置について、上記の工程（Ｓｔ１３〜Ｓｔ１６）が繰り返し実行される。これらの工程は予め設定された所定時間毎に実施されるものとすることが可能である。以上のようにして、タイムラプス観測が実施される。上記のように、紫外、可視、赤外領域の吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の情報が得られるため、観測対象物の追跡が可能となり、ユーザが容易にタイムラプス観測を実施することが可能となる。

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

上記紫外・可視・赤外分光部５は、観測対象物に蛍光標識が施されている場合には、２次元分光画像から、蛍光スペクトルを取得するものとすることも可能である。図１３は蛍光の２次元分光画像及び蛍光スペクトルの例である。図１３（ａ）は、ＲＣ−１（ウサギ角膜上皮細胞中にカルボキシＳＮＡＲＦ−１がローディングされた観測試料の蛍光分光画像と、その蛍光スペクトルである。図１３（ｂ）は、バックグラウンドが除去された同観測試料の蛍光分光画像とその蛍光スペクトルである。これらの図に示すように、蛍光分光画像において観測対象物の有無によって蛍光スペクトルが異なるため、検出部９１は紫外・可視・赤外分光部５において取得された蛍光スペクトルから観測対象物を検出することも可能である。

なお、本技術は以下のような構成も採ることができる。

（１）
顕微鏡光学系と、
上記顕微鏡光学系を介して画像を撮像する撮像部と、
上記顕微鏡光学系を介して紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを取得する分光部と、
上記吸収スペクトルまたは上記ラマンスペクトルを用いて観測試料における観測対象物を検出する検出部と
を具備する観測装置。

（２）
上記（１）に記載の観測装置であって、
上記検出部によって検出された観測対象物を、上記撮像部に撮像させる制御部をさらに具備する
観測装置。

（３）
上記（１）または（２）に記載の観測装置であって、
上記検出部は、上記撮像部によって撮像された観測試料の画像に基づいて観測対象物候補を検出し、上記吸収スペクトルまたは上記ラマンスペクトルを用いて観測対象物候補が観測対象物か否かを判別する
観測装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の観測装置であって、
上記検出部は、所定時間毎に観測対象物を検出し、
上記制御部は、上記所定時間毎に上記検出部によって検出された観測対象物を、上記撮像部に撮像させる
観測装置。

（５）
上記（１）から（４）のうちいずれか一つに記載の観測装置であって、
上記検出部は、上記所定時間毎に、上記撮像部によって撮像された画像もしくは上記分光部によって取得された吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態を判別し、観測対象とするか否かを決定する
観測装置。

（６）
顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、観測試料における観測対象物を検出する検出部と、
上記検出部によって検出された観測対象物を、撮像部に撮像させる制御部と
としてコンピュータを機能させる観測プログラム。

（７）
検出部が、顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、観測試料における観測対象物を検出し、
制御部が、上記検出部によって検出された観測対象物を、撮像部に撮像させる
観測方法。

（８）
顕微鏡光学系と、
上記顕微鏡光学系を介して画像を撮像する撮像部と、
上記顕微鏡光学系を介して紫外、可視または赤外領域における吸収スペクトルを取得する紫外・可視・赤外分光部と、
上記顕微鏡光学系を介してラマンスペクトルを取得するラマン分光部と
を具備する観測装置。

１…観測装置
３…顕微鏡光学系
４…撮像部
５…紫外・可視・赤外分光部
６…ラマン分光部
９１…検出部
９２…制御部

Claims (5)

1. 顕微鏡光学系と、
   前記顕微鏡光学系を介して画像を撮像する撮像部と、
   前記顕微鏡光学系を介して紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを取得し、２次元分光画像を生成する分光部と、
   前記撮像部によって撮像された観測試料の画像に基づいて観測対象物候補を検出し、前記吸収スペクトルまたは前記ラマンスペクトルを用いて、前記２次元分光画像において観測対象物に特徴的なスペクトルの領域の大きさに基づいて前記観測対象物候補が観測対象物か否かを判別することによって観測試料における観測対象物を検出する検出部と、
   前記検出部によって検出された観測対象物を、所定時間毎に前記撮像部に撮像させ、所定時間毎に前記分光部に２次元分光画像を生成させ、吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態変化を判断し、観測条件を変更させる制御部と
   を具備する観測装置。
2. 請求項１に記載の観測装置であって、
   前記検出部は、所定時間毎に観測対象物を検出し、
   前記制御部は、前記所定時間毎に前記検出部によって検出された観測対象物を、前記撮像部に撮像させる
   観測装置。
3. 請求項２に記載の観測装置であって、
   前記検出部は、前記所定時間毎に、前記撮像部によって撮像された画像もしくは前記分光部によって取得された吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態を判別し、観測対象とするか否かを決定する
   観測装置。
4. 顕微鏡光学系を介して撮像部によって撮像された観測試料の画像に基づいて観測対象物候補を検出し、前記顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、前記分光部が生成した２次元分光画像において観測対象物に特徴的なスペクトルの領域の大きさに基づいて前記観測対象物候補が観測対象物か否かを判別することによって観測試料における観測対象物を検出する検出部と、
   前記検出部によって検出された観測対象物を、所定時間毎に前記撮像部に撮像させ、所定時間毎に前記分光部に２次元分光画像を生成させ、吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態変化を判断し、観測条件を変更させる制御部と
   としてコンピュータを機能させる観測プログラム。
5. 検出部が、顕微鏡光学系を介して撮像部によって撮像された観測試料の画像に基づいて観測対象物候補を検出し、前記顕微鏡光学系を介して分光部によって取得された紫外、可視または赤外領域における吸収スペクトルまたはラマンスペクトルを用いて、前記分光部が生成した２次元分光画像において観測対象物に特徴的なスペクトルの領域の大きさに基づいて前記観測対象物候補が観測対象物か否かを判別することによって観測試料における観測対象物を検出し、
   制御部が、前記検出部によって検出された観測対象物を、所定時間毎に前記撮像部に撮像させ、所定時間毎に前記分光部に２次元分光画像を生成させ、吸収スペクトルまたはラマンスペクトルに基づいて観測対象物の状態変化を判断し、観測条件を変更させる
   観測方法。