JP6667419B2 - 撮像装置および方法並びに撮像制御プログラム - Google Patents

Description

本発明は、容器内に収容された観察対象を撮像する撮像装置および方法並びに撮像制御プログラムに関するものである。

ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。

従来、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。

ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞は、ウェルプレートなどの培養容器内に収容され、インキュベータ内において、環境温度および環境湿度が管理された状態で培養される。そして、培養された多能性幹細胞の画像を撮像する際に、培養容器がインキュベータから顕微鏡に供給される。

特開２０１１−１４１４４４ 特開２０１１−１２７９７２

しかしながら、上述したようにインキュベータから顕微鏡に培養容器を移動させた際、インキュベータ内と外気との温度および湿度の違いにより結露が生じ、培養容器の外側の底面に液滴が付着する。この液滴は、３０μｍ〜１００μｍ程度の大きさであり、肉眼では確認できないほどの大きさであるため、顕微鏡の操作者に気づかれずに、そのままの状態で培養容器内の細胞の撮像が行われていた。

しかしながら、液滴が付着したままの状態で細胞の撮像を行った場合、液滴に起因して細胞を通過した光の焦点位置がずれ、ボケた画像となってしまう問題がある。また、顕微鏡のオートフォーカス制御方法の一つに、培養容器に対して縞状のパターン光を照射し、そのパターン光の像をラインセンサなどによって検出することによってオートフォーカス制御を行う方法がある。しかしながら、このようなオートフォーカス制御を行ったとしても、上述した液滴が培養容器に付着している場合、ラインセンサ上におけるパターン光の結像位置がずれてしまうため、適切なオートフォーカス制御ができず、やはりボケた画像となってしまう問題がある。

なお、特許文献１には、培養容器の蓋に付着した液滴を検出する方法が開示されている。具体的には、位相差顕微鏡の位相差絞りの像の形状をしたマスク画像と、ベルトラレンズを位相差顕微鏡の光路内に挿入して撮像された画像とを重ね合わせ、その重ね合わせた輝度の総和を算出することによって、培養容器の蓋に付着した液滴を検出することが開示されている。しかしながら、特許文献１において問題としている液滴は、培養容器の蓋に付着したものであり、上述したような肉眼で確認できないような大きさの液滴ではないと推定される。すなわち、特許文献１において問題としている液滴は、肉眼でも確認できる程度の大きさであるため、特許文献１では、その液滴によって発生した迷光を検出することによって、液滴の有無を検出している。

しかしながら、液滴が肉眼で確認できない程度の大きさである場合、特許文献１に記載の方法では、迷光による輝度変化が得られず、液滴を検出することができない。

また、特許文献２には、培養液滴を検出する方法が開示されているが、この培養液滴も、上述した肉眼では確認できない液滴とは全く異なるものである。

本発明は、上記の問題に鑑み、容器の外側の底面に付着した、肉眼では確認できない程の大きさの液滴に起因するボケを抑制することができる撮像装置および方法並びに撮像制プログラムを提供することを目的とする。

本発明の撮像装置は、容器内に収容された観察対象を撮像する撮像部と、撮像部によって撮像された観察対象の画像に基づいて、容器の外側の底面に付着した液滴のパターン情報を取得し、そのパターン情報に基づいて、液滴が底面に付着しているか否かを判定する液滴付着判定部とを備え、撮像部が、液滴付着判定部によって容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、観察対象を再び撮像する。

また、上記本発明の撮像装置において、撮像部は、オートフォーカス制御を行って観察対象を撮像することができる。

また、上記本発明の撮像装置において、液滴付着判定部は、パターン情報として画像に含まれる空間周波数成分を取得し、その空間周波数成分に基づいて、容器の外側の底面に液滴が付着しているか否かを判定することができる。

また、上記本発明の撮像装置において、液滴付着判定部は、パターン情報として画像に含まれる明暗パターンを取得し、その明暗パターンに基づいて、容器の外側の底面に液滴が付着しているか否かを判定することができる。

また、上記本発明の撮像装置において、液滴付着判定部は、パターン情報として画像に含まれる空間周波数成分および明暗パターンを取得し、空間周波数成分に基づく第１の判定を行った後に明暗パターンに基づく第２の判定を行うことによって、容器の外側の底面に液滴が付着しているか否かを判定することができる。

また、上記本発明の撮像装置において、液滴付着判定部は、画像に含まれる液滴のパターンを認識することによってパターン情報を取得し、そのパターン情報に基づいて、容器の外側の底面に液滴が付着しているか否かを判定することができる。

また、上記本発明の撮像装置において、液滴付着判定部は、液滴を判別する機械学習された判別器を有し、その判別器を用いて液滴のパターンを認識することができる。

また、上記本発明の撮像装置において、液滴除去処理は、容器が収容されるインキュベータ内に、容器を予め設定された時間だけ放置する処理とすることができる。

また、上記本発明の撮像装置においては、液滴除去処理を行う液滴除去処理部を備えることができる。

また、上記本発明の撮像装置において、液滴除去処理部は、容器の外側の底面の液滴を拭き取る拭き取り部を有することができる。

また、上記本発明の撮像装置において、液滴除去処理部は、容器の底面の温度を上げる加熱部を有することができる。

また、上記本発明の撮像装置において、液滴除去処理部は、容器の底面に向かって送気する送気部を有することができる。

本発明の撮像方法は、容器内に収容された観察対象を撮像し、その撮像した観察対象の画像に基づいて、容器の外側の底面に付着した液滴のパターン情報を取得し、そのパターン情報に基づいて、液滴が底面に付着しているか否かを判定し、容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、観察対象を再び撮像する。

本発明の撮像制御プログラムは、コンピュータを、撮像部を制御することによって容器内に収容された観察対象を撮像させる撮像制御部と、撮像部によって撮像された観察対象の画像に基づいて、容器の外側の底面に付着した液滴のパターン情報を取得し、そのパターン情報に基づいて、液滴が底面に付着しているか否かを判定する液滴付着判定部として機能させ、撮像制御部が、液滴付着判定部によって容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、観察対象を再び撮像させる。

本発明の撮像装置および方法並びに撮像制御プログラムによれば、容器内に収容された観察対象を撮像し、その撮像した観察対象の画像に基づいて、容器の外側の底面に付着した液滴のパターン情報を取得し、そのパターン情報に基づいて、液滴が底面に付着しているか否かを判定する。そして、容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、観察対象を再び撮像するようにしたので、容器の外側の底面に付着した、肉眼では確認できない程の大きさの液滴に起因するボケを抑制することができる。

本発明の撮像装置の一実施形態を用いた顕微鏡システムの概略構成を示すブロック図 撮像装置本体および撮像制御装置の具体的な構成を示す図 培養容器の外側の底面に液滴が付着している様子を示す模式図 培養容器の底面に付着した液滴の位相差画像の一例を示す図 本発明の撮像装置の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 本発明の撮像装置のその他の実施形態を用いた顕微鏡システムの概略構成を示すブロック図 本発明の撮像装置のその他の実施形態を用いた顕微鏡システムの概略構成を示すブロック図

以下、本発明の撮像装置および方法並びに撮像制御プログラムの一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡システムの概略構成を示す図である。

本実施形態の顕微鏡システムは、図１に示すように、撮像装置本体１０と、インキュベータ１５と、撮像制御装置５０と、表示装置８０と、入力装置９０とを備えている。撮像装置本体１０は、本発明の撮像部に相当するものであり、本実施形態では、撮像装置本体１０と撮像制御装置５０とから本発明の撮像装置が構成されている。

撮像装置本体１０は、インキュベータ１５内で培養された観察対象である細胞の画像を撮像するものである。インキュベータ１５は、培養対象の細胞が収容された培養容器（本発明の容器に相当するものである）が収納されるものであり、培養容器の環境温度および環境湿度を管理するものである。撮像装置本体１０とインキュベータ１５との間には、培養容器を搬送する搬送機構（図示省略）が設けられており、その搬送機構によって、インキュベータ１５から取り出された培養容器が撮像装置本体１０に供給されたり、または、撮像装置本体１０からインキュベータ１５に培養容器が戻されたりする。搬送機構としては、ロボットアームおよび搬送ベルトなどの公知な機構を用いることができる。

図２は、撮像装置本体１０および撮像制御装置５０の具体的な構成を示す図である。図２に示すように、撮像装置本体１０は、照明光照射部２０と、結像光学系３０と、撮像素子４０と、フォーカス用光照射部７０と、反射光検出部７５と、ステージ６１と、ステージ駆動部６２とを備えている。

本実施形態の顕微鏡システムにおいては、照明光照射部２０と結像光学系３０との間に、ステージ６１が設けられており、このステージ６１上に培養容器６０が載置されて、支持される。培養容器６０内には、培養液Ｃおよび観察対象Ｓが収容されている。

ステージ駆動部６２は、Ｘ方向、Ｙ方向およびＺ方向にステージ６１を移動させるものである。Ｘ方向およびＹ方向は、観察対象設置面Ｐ１に平行な面上において互いに直交する方向であり、Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。

照明光照射部２０は、培養容器６０内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。具体的には、本実施形態の照明光照射部２０は、位相差計測用の白色光を出射する白色光源１１と、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２と、スリット板１２から射出されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３とを備えている。

スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。

ステージ６１上に設置された培養容器６０内には、観察対象Ｓとして細胞群などが収容される。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。

結像光学系３０は、対物レンズ３１と、位相板３２と、結像レンズ３３とを備えたものである。

位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。

位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。

対物レンズ３１は、後述する制御部５１の制御によって、Ｚ方向（光軸方向）に移動するものである。観察対象Ｓの位相差画像を撮像する場合には、制御部５１の制御によって対物レンズ３１をＺ方向へ移動させることによってオートフォーカス制御が行われ、撮像素子４０によって撮像される画像のコントラストが調整される。

本実施形態においては、フォーカス用光照射部７０によって培養容器６０に対してパターン光が照射され、その反射光が反射光検出部７５によって検出され、その検出信号に基づいてオートフォーカス制御が行われる。このパターン光の反射光の検出信号に基づくオートフォーカス制御については、後で詳述する。

結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像素子４０に結像するものである。

結像光学系３０は、その光学倍率を変更可能に構成するようにしてもよい。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ３１を結像光学系３０に設け、この複数の対物レンズ３１を自動的に切り換えるようにすればよい。この際、位相板３２も対物レンズ３１の変更に応じて変更される。また、ユーザが対物レンズ３１を手動で交換することによって倍率を変更するようにしてもよい。

撮像素子４０は、結像レンズ３３によって結像された観察対象Ｓの位相差画像を撮像するものである。撮像素子４０としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを用いることができる。

フォーカス用光照射部７０は、上述したようにオートフォーカス制御に用いられるものであり、オートフォーカス用の光として、予め設定されたパターンを有するパターン光を培養容器６０に対して照射するものである。具体的には、本実施形態のフォーカス用光照射部７０は、縞状のパターンを有するパターン光を照射するものであり、近赤外光を出射する近赤外光源７１と、近赤外光源７１から出射された近赤外を透過する線状部分と遮光する線状部分とから構成されるグリッド７２と、照射レンズ７３と、グリッド７２から出射された縞状の明暗のパターンを有するパターン光を培養容器６０に向けて反射し、かつ位相差計測用の照明光を透過するダイクロイックミラー７４とを備えている。

なお、本実施形態においては、パターン光として近赤外光を用いるようにしたが、パターン光の波長としてはこれに限らず、位相差計測用の照明光と異なる波長であればその他の波長でもよい。

反射光検出部７５は、培養容器６０へのパターン光の照射による反射光を検出するものである。具体的には、本実施形態の反射光検出部７５は、ハーフミラー７６と、光路差プリズム７７と、ラインセンサ７８とを備えている。

ハーフミラー７６は、グリッド７２から出射されたパターン光を透過し、かつパターン光の培養容器６０への照射による反射光を光路差プリズム７７の方向に反射するものである。

光路差プリズム７７は、入射されたパターン光の反射光を２つの光路に分け、ラインセンサ７８の異なる２箇所に結像するものである。ラインセンサ７８は、２箇所で撮像された第１の検出信号と第２の検出信号とを撮像制御装置５０の制御部５１に出力するものである。なお、本実施形態においては、光路差プリズム７７によって分けられた２つの光路の反射光を１つのラインセンサ７８によって検出するようにしたが、各光路の反射光を個別に検出する２つのセンサを設けるようにしてもよい。

撮像制御装置５０は、撮像装置本体１０の動作を制御するものである。撮像制御装置５０は、図２に示すように、制御部５１（本発明の撮像制御部に相当する）と、液滴付着判定部５２とを備えている。撮像制御装置５０は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の撮像制御プログラムの一実施形態がインストールされている。そして、この撮像制御プログラムがＣＰＵによって実行されることによって、図１に示す制御部５１および液滴付着判定部５２が機能する。

制御部５１は、反射光検出部７５のラインセンサ７８によって検出された第１の検出信号と第２の検出信号とに基づいて、対物レンズ３１をＺ方向に移動させてオートフォーカス制御を行うものである。具体的には、制御部５１は、第１の検出信号のコントラスト（波形パターン）と第２の検出信号のコントラスト（波形パターン）が近似する位置に対物レンズ３１を移動させることによって合焦位置を決定する。なお、本実施形態では、ラインセンサ７８を用いて第１および第２の検出信号を検出するようにしたが、これに限らず、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いてもよい。

また、制御部５１は、ステージ駆動部６２を駆動制御し、これによりステージ６１をＸ方向、Ｙ方向およびＺ方向に移動させるものである。ステージ６１が、Ｘ方向およびＹ方向に移動することによって、たとえば１つのウェル内が位相差計測用の照明光で走査され、１つのウェル内で分割された複数の撮像領域（視野）毎の位相差画像が撮像される。

液滴付着判定部５２は、撮像装置本体１０によって撮像された観察対象Ｓの位相差画像に基づいて、培養容器６０の外側の底面に液滴が付着しているか否かを判定するものである。

図３は、培養容器６０の外側の底面Ｐ２に液滴Ｗが付着している様子を示す模式図である。液滴Ｗは、インキュベータ１５から培養容器６０を取り出した際に、インキュベータ１５内と外気との温度および湿度の違いに起因して結露が生じ、これにより底面Ｐ２に付着したものである。液滴Ｗの大きさは、肉眼では確認できないほどの大きさであるが、位相差画像上においては明暗のコントラストが強調されるため確認可能である。

培養容器６０の底面Ｐ２に液滴Ｗが付着した場合、オートフォーカス制御におけるパターン光の像も液滴Ｗの影響によってボケてしまうため、適切なオートフォーカス制御を行うことができない。また、オートフォーカス制御を行ったとしても、観察対象Ｓではなく、液滴Ｗの方に焦点があってしまい、観察対象Ｓである細胞群の位相差画像がボケた画像となってしまう。

そこで、本実施形態の顕微鏡システムにおいては、液滴付着判定部５２によって培養容器６０の底面Ｐ２に液滴が付着しているか否かを判定し、液滴Ｗが付着していると判定された場合には、その液滴Ｗを除去する処理を行った後、再度、観察対象Ｓの位相差画像の撮像を行う。

本実施形態の液滴付着判定部５２は、培養容器６０の外側の底面Ｐ２に液滴が付着しているか否かの判定を２段階で行うものである。具体的には、液滴付着判定部５２は、
位相差画像に含まれる空間周波数成分および明暗パターンを液滴のパターン情報として取得し、空間周波数成分に基づいて液滴の付着を判定する第１の判定と、明暗パターンに基づいて液滴の付着を判定する第２の判定とを行うものである。

第１の判定においては、位相差画像に含まれる空間周波数成分を算出し、高周波成分が少ない場合には、すなわち液滴の付着により位相差画像がボケた画像となっている場合には、液滴が付着していると判定する。一方、高周波成分が多い場合には、培養容器６０内の各細胞に合焦しているか、または培養容器６０の底面に付着した液滴に合焦している状態なので、第２の判定を行って、各細胞または液滴のどちらに合焦しているのかを判定する。なお、空間周波数成分の解析については、たとえば位相差画像に含まれる空間周波数成分のスペクトルを求めて行うようにしてもよいし、位相画像に対してフーリエ変換などを施して行うようにしてもよい。

第２の判定においては、具体的には、位相差画像から各細胞の輪郭と各細胞に含まれる核の輪郭を抽出する輪郭抽出処理を行う。輪郭抽出処理としては、たとえばエッジ検出処理などの公知な処理を用いることができる。

また、培養容器６０の底面に付着した液滴の位相差画像は、図４に示すように、中心部分が暗く、周辺部分が明るい明暗パターンを有するため、液滴の周辺部分の輪郭および中心の暗い部分の輪郭も輪郭抽出処理によって抽出することができる。

そして、細胞の位相差画像も核の部分が暗く、細胞質の部分が明るくなるので、液滴と同様に明暗パターンを形成する。しかしながら、液滴の明暗パターンは、周辺の明るい部分の輪郭と中心の暗い部分の輪郭とが相似形となるが、細胞の場合、細胞の核は、円形に近いが、細胞質の輪郭は必ずしも円形ではなく、種々の形を有する。したがって、第２の判定においては、この違いを利用して、各細胞に合焦しているのか、液滴に合焦しているのかを判定する。

具体的には、位相差画像から抽出された輪郭から形成される各細胞または各液滴の明暗パターンの外側の輪郭と内側の輪郭とが相似形であるか否かを判定し、さらに明暗パターンの暗い部分と明るい部分の面積の比率が予め設定された閾値範囲内であるか否かを判定する。明暗パターンの外側の輪郭と内側の輪郭とが相似形であるか否かについては、たとえば各明暗パターンの外側の輪郭と内側の輪郭との類似度を算出し、その類似度が予め設定された閾値以上であるか否かを判定するようにすればよい。また、明暗パターンの暗い部分と明るい部分の面積の比率については、たとえば各細胞または各液滴の明暗パターンの暗い部分の面積の総和と、明るい部分の面積の総和との比率を算出するようにすればよい。

そして、第２の判定においては、明暗パターンの外側の輪郭と内側の輪郭とが相似形であり、かつ明暗パターンの暗い部分と明るい部分の面積の比率が予め設定された閾値範囲内である場合には、明暗パターンは液滴のパターンである可能性が高いので、液滴に合焦していると判定する。一方、上記の条件のいずれか一方を満たしていない場合には、細胞に合焦していると判定する。

そして、液滴付着判定部５２は、第２の判定において、液滴に合焦していると判定することによって、培養容器６０の外側の底面に液滴が付着していると判定する。

液滴付着判定部５２による判定結果は、制御部５１に出力される。制御部５１は、培養容器６０の外側の底面に液滴が付着していると判定された場合には、予め設定された液滴除去処理を行った後に、再び、観察対象Ｓの位相差画像を撮像する。

本実施形態における液滴除去処理は、培養容器６０を撮像装置本体１０のステージ６１からインキュベータ１５内に戻し、インキュベータ１５内に、培養容器６０を予め設定された時間だけ放置する処理である。このようにインキュベータ１５内に培養容器６０を放置することによって、培養容器６０の底面に付着した液滴を取り除くことができる。

そして、制御部５１は、上述した液滴除去処理が行われた後、再び、インキュベータ１５から撮像装置本体１０のステージ６１上に培養容器６０を設置し、観察対象Ｓを再び撮像する。なお、この再撮像の際、インキュベータ１５から撮像装置本体１０のステージ６１上への培養容器６０の搬送速度は、１回目の撮像の際の搬送速度よりも速くすることが好ましい。これにより、培養容器６０への液滴の再付着を防止することができる。

図１に戻り、撮像制御装置５０には、入力装置９０と表示装置８０とが接続されている。入力装置９０は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置９０は、上述した対物レンズ３１の倍率の情報などの設定入力を受け付けるものである。

表示装置８０は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像素子４０において撮像された位相差画像などを表示するものである。なお、表示装置８０をタッチパネルによって構成することによって、入力装置９０を兼用するようにしてもよい。

次に、本実施形態の顕微鏡システムの作用について、図５に示すフローチャートを参照しながら説明する。

まず、観察対象Ｓが収容された培養容器６０がインキュベータ１５から取り出され、ステージ６１上に設置される（Ｓ１０）。

次に、フォーカス用光照射部７０から出射されたパターン光の培養容器６０への照射によってオートフォーカス制御が行われ、観察対象Ｓの位相差画像の撮像が行われる（Ｓ１２）。

撮像素子４０によって撮像された位相差画像は、液滴付着判定部５２に入力される。そして、液滴付着判定部５２は、まず、位相差画像に含まれる空間周波数成分を算出し、高周波成分が多く含まれるか否かを判定する第１の判定を行う（Ｓ１４）。液滴付着判定部５２は、高周波成分が少なく、位相差画像がボケた画像である場合には（Ｓ１４，ＹＥＳ）、培養容器６０の底面に液滴が付着していると判定し、Ｓ２２の液滴除去処理に進む。

一方、液滴付着判定部５２は、位相差画像に高周波成分が多く含まれる場合には（Ｓ１４，ＮＯ）、第２の判定を行う。第２の判定においては、まず、位相差画像に含まれる明暗パターンの外側の輪郭と内側の輪郭とが相似形であるか否かが判定される（Ｓ１６）。そして、明暗パターンの外側の輪郭と内側の輪郭とが相似形であると判定された場合には（Ｓ１６，ＹＥＳ）、次に、明暗パターンの暗い部分と明るい部分の面積の比率が予め設定された閾値範囲内であるか否かが判定される（Ｓ１８）。そして、明暗パターンの暗い部分と明るい部分の面積の比率が予め設定された閾値範囲内であると判定された場合には（Ｓ１８，ＹＥＳ）、液滴付着判定部５２は、液滴に合焦していると判定し、培養容器６０の外側の底面に液滴が付着していると判定する（Ｓ２０）。

次いで、液滴付着判定部５２によって培養容器６０の外側の底面に液滴が付着していると判定された場合には（Ｓ２０，ＹＥＳ）、液滴除去処理が行われる（Ｓ２２）。具体的には、上述したように培養容器６０が、撮像装置本体１０のステージ６１からインキュベータ１５内に戻され、予め設定された時間だけ放置される。

そして、液滴除去処理が行われた後、インキュベータ１５から培養容器６０が取り出されて、撮像装置本体１０のステージ６１上に再び設置され、観察対象Ｓの位相差画像が再撮像される（Ｓ２４）。再撮像された観察対象Ｓの位相差画像は、制御部５１によって表示装置８０に表示される。

一方、Ｓ１６において、明暗パターンの外側の輪郭と内側の輪郭とが相似形でないと判定された場合（Ｓ１６，ＮＯ）、またはＳ１８において、明暗パターンの面積の比率が予め設定された閾値範囲内でないと判定された場合（Ｓ１８，ＮＯ）には、観察対象Ｓである細胞に合焦していると判定し（Ｓ２６）、すなわち培養容器６０の底面に液滴が付着しておらず適切な位相差画像が撮像されていると判定する。この場合、制御部５１は、上述した液滴除去処理および位相差画像の再撮像を行うことなく、１回目に撮像した位相差画像を表示装置８０に表示させる。

上記実施形態の顕微鏡システムによれば、培養容器６０内に収容された観察対象Ｓを撮像し、その撮像された観察対象Ｓの位相差画像に基づいて、培養容器６０の外側の底面に付着した液滴のパターン情報を取得し、そのパターン情報に基づいて、培養容器６０の外側の底面に液滴が付着しているか否かを判定し、培養容器６０の外側の底面に液滴が付着していると判定された場合には、予め設定された液滴除去処理が行われた後に、観察対象Ｓを再び撮像するようにしたので、培養容器６０の外側の底面に付着した、肉眼では確認できない程の大きさの液滴に起因するボケを抑制することができる。

なお、上記実施形態の顕微鏡システムにおいては、エッジ検出などの輪郭抽出処理を行うことによって明暗パターンを抽出し、その明暗パターンに基づいて液滴が付着しているか否かを判定するようにしたが、これに限らず、たとえば液滴のパターンを予め取得しておき、その液滴のパターンを用いてパターン認識を行って位相差画像内に液滴が含まれるか否かを示すパターン情報を取得し、そのパターン情報に基づいて、培養容器６０の外側の底面に液滴が付着しているか否かを判定するようにしてもよい。また、このようにパターン認識を行う場合、液滴のパターンが機械学習された判別器を生成しておき、その判別器を用いて液滴のパターンを認識するようにしてもよい。機械学習の手法としては、アダブーストおよびサポートベクタマシンを用いることができる。

また、上記実施形態の顕微鏡システムにおいては、液滴除去処理として、インキュベータ１５内に培養容器６０を戻して放置する処理を行うようにしたが、この際、液滴が早く蒸発するように、インキュベータ１５内の湿度を下げたり、またはインキュベータ１５内の温度を上げたりしてもよい。

また、インキュベータ１５に戻すことなく、ステージ６１上において、培養容器６０を予め設定された時間だけ放置し、その後、再撮像を行うようにしてもよい。また、液滴除去処理としては、これに限らず、図６に示すように、液滴除去処理を行う液滴除去処理部１６を設けるようにしてもよい。

液滴除去処理部１６の構成としては、たとえば培養容器６０の外側の底面の液滴を拭き取る拭き取り部を設けるようにすればよい。拭き取り部としては、たとえば液滴を拭き取る布などと、その布を培養容器６０の外側の底面に押し付けながらＸ−Ｙ面内で移動させる移動機構とを設けるようにすればよい。

また、液滴除去処理部１６は、培養容器６０の底面の温度を上げる加熱部を有するものとしてもよい。加熱部としては、たとえば電熱線などの公知な構成を用いることができる。加熱部によって培養容器６０の底面の温度を上げることによって液滴を蒸発させることができる。

また、液滴除去処理部１６は、培養容器６０の底面に向かって送気する送気部を有するものとしてもよい。送気部としては、たとえばファンなどの公知な構成を用いることができる。送気部によって培養容器６０の底面に向かって送気することによって液滴を蒸発させることができる。

また、液滴除去処理部１６は、インキュベータ１５内または撮像装置本体１０内に設けるようにしてもよい。

また、液滴付着判定部５２によって液滴が付着していると判定された場合には、制御部５１が、表示装置８０にメッセージを表示するなどしてユーザに対して警告するようにしてもよい。そして、液滴除去処理は、ユーザが手動で行うようにしてもよい。

また、液滴付着判定部５２によって液滴が付着しているか否かを判定する際に用いる閾値を変更可能に構成するようにしてもよい。上記閾値としては、位相差画像に含まれる空間周波数成分に高周波成分が多く含まれるか否かを判定する際の閾値、および明暗パターンの暗い部分と明るい部分の面積の比率が予め設定された閾値範囲内であるかを判定する際のその閾値範囲などがある。ただし、これらに限らず、判定に用いる閾値であればその他の閾値でもよい。閾値の変更は、たとえば閾値変更画面を表示装置８０に表示させ、入力装置９０において変更後の閾値を受け付けるようにすればよい。

また、図７に示すように、撮像装置本体１０内に小型インキュベータ１０ａを設けるようにしてもよい。そして、液滴付着判定部５２によって液滴が付着していると判定された場合に、小型インキュベータ１０ａ内において、培養容器６０を予め設定された時間だけ放置することによって液滴除去処理を行うようにしてもよい。また、小型インキュベータ１０ａ内の湿度を下げたり、または温度をあげたりすることによって液滴除去処理を行うようにしてもよい。また、インキュベータ１５から小型インキュベータ１０ａまでの培養容器６０の搬送時間はできるだけ短い方が好ましい。

また、上記実施形態の顕微鏡システムにおいては、オートフォーカス制御を行うようにしたが、オートフォーカス制御を行わない構成としてもよい。

また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。

１０ 撮像装置本体
１１ 白色光源
１２ スリット板
１３ コンデンサレンズ
１５ インキュベータ
１６ 液滴除去処理部
２０ 照明光照射部
３０ 結像光学系
３１ 対物レンズ
３２ 位相板
３３ 結像レンズ
４０ 撮像素子
５０ 撮像制御装置
５１ 制御部
５２ 液滴付着判定部
６０ 培養容器
６１ ステージ
６２ ステージ駆動部
７０ フォーカス用光照射部
７１ 近赤外光源
７２ グリッド
７３ 照射レンズ
７４ ダイクロイックミラー
７５ 反射光検出部
７６ ハーフミラー
７７ 光路差プリズム
７８ ラインセンサ
８０ 表示装置
９０ 入力装置
Ｃ 培養液
Ｐ１ 観察対象設置面
Ｐ２ 底面
Ｓ 観察対象
Ｗ 液滴

Claims (16)

1. 容器内に収容された観察対象を撮像する撮像部と、
   前記撮像部が前記容器の底面に合焦するようにオートフォーカス制御を行う制御部と、
   前記撮像部によって撮像された前記観察対象の画像に基づいて、前記容器の外側の底面に付着した液滴のパターン情報を取得し、該パターン情報に基づいて、前記液滴が前記底面に付着しているか否かを判定する液滴付着判定部とを備え、
   前記撮像部が、前記液滴付着判定部によって前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記観察対象を再び撮像する撮像装置。
2. 前記制御部は、オートフォーカス用のパターン光を前記容器の底面に照射して前記底面から反射された反射光を検出することでオートフォーカス制御を行う請求項１記載の撮像装置。
3. 前記液滴付着判定部が、前記パターン情報として前記画像に含まれる空間周波数成分を取得し、該空間周波数成分に基づいて、前記容器の外側の底面に液滴が付着しているか否かを判定する請求項１または２記載の撮像装置。
4. 前記液滴付着判定部が、前記パターン情報として前記画像に含まれる明暗パターンを取得し、該明暗パターンに基づいて、前記容器の外側の底面に液滴が付着しているか否かを判定する請求項１から３いずれか１項記載の撮像装置。
5. 容器内に収容された観察対象を撮像する撮像部と、
   前記撮像部によって撮像された前記観察対象の画像から取得した空間周波数成分から、前記観察対象の画像が、前記空間周波数成分に含まれる高周波成分が少ないボケた画像であるか否かを判定し、前記観察対象の画像が前記ボケた画像である場合には、液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記ボケた画像ではない場合には、さらに、前記観察対象の画像の明暗パターンが前記液滴のパターンであるか否かを判定して、前記観察対象の画像が前記液滴のパターンである場合には、前記液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記液滴のパターンでない場合には、前記液滴が前記容器の底面に付着していないと判定する液滴付着判定部とを備え、
   前記撮像部が、前記液滴付着判定部によって前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記観察対象を再び撮像する撮像装置。
6. 前記液滴付着判定部が、前記画像に含まれる液滴のパターンを認識することによって前記パターン情報を取得し、該パターン情報に基づいて、前記容器の外側の底面に液滴が付着しているか否かを判定する請求項１から３いずれか１項記載の撮像装置。
7. 前記液滴付着判定部が、前記液滴を判別する機械学習された判別器を有し、該判別器を用いて前記液滴のパターンを認識する請求項６記載の撮像装置。
8. 前記液滴除去処理が、前記容器が収容されるインキュベータ内に、前記容器を予め設定された時間だけ放置する処理である請求項１から７いずれか１項記載の撮像装置。
9. 前記液滴除去処理を行う液滴除去処理部を備えた請求項１から７いずれか１項記載の撮像装置。
10. 前記液滴除去処理部が、前記容器の外側の底面の液滴を拭き取る拭き取り部を有する請求項９記載の撮像装置。
11. 前記液滴除去処理部が、前記容器の底面の温度を上げる加熱部を有する請求項９記載の撮像装置。
12. 前記液滴除去処理部が、前記容器の底面に向かって送気する送気部を有する請求項９記載の撮像装置。
13. 撮像装置において、
    撮像部が容器内に収容された観察対象を撮像し、
    前記撮像部が前記容器の底面に合焦するようにオートフォーカス制御を行い、
    該撮像した前記観察対象の画像に基づいて、前記容器の外側の底面に付着した液滴のパターン情報を取得し、該パターン情報に基づいて、前記液滴が前記底面に付着しているか否かを判定し、
    前記撮像部が、前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記観察対象を再び撮像する撮像方法。
14. コンピュータを、
    撮像部を制御することによって容器内に収容された観察対象を撮像させる撮像制御部であって、前記撮像部が前記容器の底面に合焦するようにオートフォーカス制御を行う撮像制御部と、
    前記撮像部によって撮像された前記観察対象の画像に基づいて、前記容器の外側の底面に付着した液滴のパターン情報を取得し、該パターン情報に基づいて、前記液滴が前記底面に付着しているか否かを判定する液滴付着判定部として機能させ、
    前記撮像制御部が、前記液滴付着判定部によって前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記撮像部に前記観察対象を再び撮像させる撮像制御プログラム。
15. 撮像装置において、
    撮像部が容器内に収容された観察対象を撮像し、
    前記撮像部によって撮像された前記観察対象の画像から取得した空間周波数成分から、前記観察対象の画像が、前記空間周波数成分に含まれる高周波成分が少ないボケた画像であるか否かを判定し、前記観察対象の画像が前記ボケた画像である場合には、液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記ボケた画像ではない場合には、さらに、前記観察対象の画像の明暗パターンが前記液滴のパターンであるか否かを判定して、前記観察対象の画像が前記液滴のパターンである場合には、前記液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記液滴のパターンでない場合には、前記液滴が前記容器の底面に付着していないと判定し、
    前記撮像部が、前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記観察対象を再び撮像する撮像方法。
16. コンピュータを、
    撮像部を制御することによって容器内に収容された観察対象を撮像させる撮像制御部と、
    前記撮像部によって撮像された前記観察対象の画像から取得した空間周波数成分から、前記観察対象の画像が、前記空間周波数成分に含まれる高周波成分が少ないボケた画像であるか否かを判定し、前記観察対象の画像が前記ボケた画像である場合には、液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記ボケた画像ではない場合には、さらに、前記観察対象の画像の明暗パターンが前記液滴のパターンであるか否かを判定して、前記観察対象の画像が前記液滴のパターンである場合には、前記液滴が前記容器の底面に付着していると判定し、前記観察対象の画像が前記液滴のパターンでない場合には、前記液滴が前記容器の底面に付着していないと判定する液滴付着判定部として機能させ、
    前記撮像制御部が、前記液滴付着判定部によって前記容器の外側の底面に液滴が付着していると判定された場合には、液滴除去処理が行われた後に、前記観察対象を再び撮像させる撮像制御プログラム。