JP6704530B2 - 撮影制御装置、方法およびプログラム - Google Patents

Description

本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって、観察対象全体の像を観察する撮影装置を制御するための撮影制御装置、方法およびプログラムに関するものである。

ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。

そして、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞および分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。

一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察位置を走査し、観察位置毎の画像を撮像した後、観察位置毎の画像を繋ぎ合わせて合成画像を生成する方法が提案されている。

このようなタイリング撮影を行う場合には、培養容器内の各観察位置においてオートフォーカス制御を行うことによって、ボケの少ない高画質な画像を取得することが提案されている。ここで、オートフォーカス制御を行う場合、撮影時間の短縮の観点から、オートフォーカス制御を高速かつ高精度に行うことが重要である。

しかしながら、例えば培養容器として複数のウェルを有するウェルプレートを使用し、そのウェルプレート全体を結像光学系によって走査し、各観察位置についてオートフォーカス制御を行いながらタイリング撮影をする場合、各ウェルの底部の厚さは、製造上の誤差等によりウェル毎に異なる。また、培養容器のステージ上への設置の仕方によっては、ステージに対して培養容器の底面が傾いた状態で設置されて設置誤差が生じ、これにより各ウェルの底面の高さが大きく異なる場合がある。このように、各ウェルの底面の高さが大きく異なると、オートフォーカス制御のためにウェル底面の高さを測定する位置と撮影を行う位置とが異なる場合、精度よくオートフォーカス制御を行うことができない。

このようにオートフォーカス制御を精度よく行うことができないと、一部の観察領域の画像がボケた画像となる場合がある。このようにボケた画像のように劣化した画像については、個々の細胞の画像を高精度に抽出することができない。このため、例えば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、劣化した画像と劣化していない画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。

このため、複数のフォーカス検知ビームにより試料表面の傾きを検出し、ステージの動きによりフォーカスを補正する手法が提案されている（特許文献１参照）。また、結像光学系の周囲に複数の距離センサを配置し、各距離センサにより計測したステージまでの距離に基づいてステージの傾きを算出し、ステージの傾きを制御する手法も提案されている（特許文献２参照）。特許文献１，２に記載の手法により、ボケのない画像を取得することができる。

国際公開第２０１５／１３３１７６号 特開２０１５−２３０３９３号公報

しかしながら、特許文献１，２に記載された手法は、複数のフォーカス検知ビームまたは複数の距離センサにより複数位置に合焦された画像を取得し、これら複数の画像に基づいてステージの傾きを検出している。このため、容器またはステージの傾きを検出するための演算に時間を要することから、オートフォーカス制御のために時間を要するものとなってしまう。

また、ステージは移動中に振動したり、移動機構の精度等に起因して移動中に傾いてきたりする。このような場合、特許文献１，２に記載された手法を用いてステージの傾きを補正したとしても、対象とする観察位置において取得される画像はボケたものとなってしまう。したがって、特許文献１，２に記載された手法では、信頼性の高い評価を行うことができない。

本発明は上記事情に鑑みなされたものであり、オートフォーカス制御を高速化することができ、より正確かつ、信頼性の高い評価を行うことができるようにすることを目的とする。

本発明の撮影制御装置は、観察対象が収容された容器が設置されるステージと、
観察対象の画像を撮像する撮像素子を有する撮像系と、
容器内の観察対象の像を撮像素子に結像させる結像光学系と、
ステージおよび結像光学系の少なくとも一方を、水平面内の主走査方向および主走査方向に交差する副走査方向に移動させ、かつ少なくとも一方を主走査方向について往復移動させる水平方向駆動部と、
水平方向駆動部を制御する走査制御部と、
結像光学系を挟んで主走査方向に並べて設けられ、ステージに設置された容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、主走査方向の変更に応じて使用する変位センサを切り替える検出部と、
結像光学系が容器における対象観察位置に到達する前に、主走査方向において結像光学系に先行する変位センサによって検出された、対象観察位置における容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行うオートフォーカス制御部と、
第１の位置、および結像光学系が容器における対象観察位置に到達した後に、主走査方向において結像光学系に後続する変位センサによって検出された、対象観察位置における容器の鉛直方向の第２の位置に基づいて、対象観察位置に対する観察のための処理を制御する処理制御部とを備える。

「主走査方向において結像光学系に先行する変位センサ」とは、結像光学系が対象観察位置に到達する前に対象観察位置に到達する変位センサを意味する。また、「主走査方向において結像光学系に後続する変位センサ」とは、結像光学系が対象観察位置に到達した後に対象観察位置に到達する変位センサを意味する。

なお、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差が予め定められたしきい値より大きい場合に、対象観察位置の撮影および対象観察位置の画像に対する画像処理の少なくとも一方を制御するものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合に、対象観察位置を再撮影するものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合に、対象観察位置において第１の位置と第２の位置との差がしきい値より大きいことを通知するものであってもよい。

なお、通知がなされた場合、操作者は対象撮影画像を再度撮影する処理を行うこととなる。このため、本発明において「通知」は、撮影の制御に含まれるものとする。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合に、対象観察位置の画像に対してシャープネス強調処理を行うものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差が予め定められたしきい値より大きいか否かに応じて、対象観察位置の画像に含まれる観察対象の状態を評価するための評価方法を変更するものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合には、相対的に劣化に強い評価方法によって対象観察位置の画像を評価し、対象観察位置において第１の位置と第２の位置との差がしきい値以下の場合には、相対的に劣化に弱い評価方法によって対象観察位置の画像を評価するものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合には、対象観察位置の画像に含まれる観察対象の状態を示す特徴量を用いて評価し、対象観察位置において第１の位置と第２の位置との差がしきい値以下の場合には、画像特徴量を用いて評価するものであってもよい。

また、本発明による撮影制御装置においては、観察対象の状態を示す特徴量が、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含むものであってもよい。

また、本発明による撮影制御装置においては、処理制御部は、対象観察位置において第１の位置と第２の位置との差がしきい値より大きい場合には、対象観察位置を評価対象から除外するものであってもよい。

本発明による撮影制御方法は、観察対象が収容された容器が設置されるステージと、
観察対象の画像を撮像する撮像素子を有する撮像系と、
容器内の観察対象の像を撮像素子に結像させる結像光学系と、
ステージおよび結像光学系の少なくとも一方を、水平面内の主走査方向および主走査方向に交差する副走査方向に移動させ、かつ少なくとも一方を主走査方向について往復移動させる水平方向駆動部と、
水平方向駆動部を制御する走査制御部と、
結像光学系を挟んで主走査方向に並べて設けられ、ステージに設置された容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、主走査方向の変更に応じて使用する変位センサを切り替える検出部とを備えた撮影制御装置における撮影制御方法であって、
結像光学系が容器における対象観察位置に到達する前に、主走査方向において結像光学系に先行する変位センサによって検出された、対象観察位置における容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行うステップと、
第１の位置、および結像光学系が容器における対象観察位置に到達した後に、主走査方向において結像光学系に後続する変位センサによって検出された、対象観察位置における容器の鉛直方向の第２の位置に基づいて、対象観察位置に対する観察のための処理を制御するステップとを有する。

本発明による撮影制御プログラムは、観察対象が収容された容器が設置されるステージと、
観察対象の画像を撮像する撮像素子を有する撮像系と、
容器内の観察対象の像を撮像素子に結像させる結像光学系と、
ステージおよび結像光学系の少なくとも一方を、水平面内の主走査方向および主走査方向に交差する副走査方向に移動させ、かつ少なくとも一方を主走査方向について往復移動させる水平方向駆動部と、
水平方向駆動部を制御する走査制御部と、
結像光学系を挟んで主走査方向に並べて設けられ、ステージに設置された容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、主走査方向の変更に応じて使用する変位センサを切り替える検出部とを備えた撮影制御装置における撮影制御方法をコンピュータに実行させる撮影制御プログラムであって、
結像光学系が容器における対象観察位置に到達する前に、主走査方向において結像光学系に先行する変位センサによって検出された、対象観察位置における容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行う手順と、
第１の位置、および結像光学系が容器における対象観察位置に到達した後に、主走査方向において結像光学系に後続する変位センサによって検出された、対象観察位置における容器の鉛直方向の第２の位置に基づいて、対象観察位置に対する観察のための処理を制御する手順とをコンピュータに実行させる。

本発明によれば、結像光学系が容器における対象観察位置に到達する前に、主走査方向において結像光学系に先行する変位センサによって検出された、対象観察位置における容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御が行われる。このため、高速にオートフォーカス制御を行うことができる。

また、第１の位置、および主走査方向において結像光学系に後続する変位センサによって検出された対象観察位置における容器の鉛直方向の第２の位置に基づいて、対象観察位置に対する観察のための処理が制御される。このため、主走査方向に先行する変位センサによる検出後に、振動等により容器の鉛直方向の位置が変化しても、主走査方向に後続する変位センサにより、その変化を検出することができる。したがって、第１の位置および第２の位置に基づいて観察のための制御がなされた、対象観察位置における画像を用いることができ、これにより、観察対象に対して正確かつ信頼性の高い評価を行うことができる。

第１の実施形態の顕微鏡観察システムにおける顕微鏡装置の概略構成を示す図 結像光学系の構成を示す模式図 ステージの構成を示す斜視図 第１の実施形態の撮影制御装置の構成を示すブロック図 培養容器内における観察位置の走査位置を示す図 培養容器内の任意の位置に観察位置がある場合における結像光学系、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図 第１の変位センサと第２の変位センサとの切り替えを説明するための図 オートフォーカス制御のタイミングの一例を説明するための図 培養容器と第１および第２の変位センサとのＺ方向の位置関係を説明するための図 ウェル内の各観察位置の位相差画像の一例を示す図 第１の実施形態において行われる処理を示すフローチャート 第１の実施形態において行われる処理を示すフローチャート ウェル単位で統合された評価結果の表示例を示す図 第２の実施形態において行われる処理を示すフローチャート

以下、本発明の撮影制御装置、方法およびプログラムの第１の実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図１は、第１の実施形態の顕微鏡観察システムにおける顕微鏡装置１０の概略構成を示す図である。

顕微鏡装置１０は、観察対象である培養された細胞の位相差画像を撮像するものである。具体的には、顕微鏡装置１０は、図１に示すように、白色光を出射する白色光源１１、コンデンサレンズ１２、スリット板１３、結像光学系１４、結像光学系駆動部１５、撮像素子１６および検出部１８を備える。

スリット板１３は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Ｌが形成される。

図２は、結像光学系１４の詳細な構成を示す図である。結像光学系１４は、図２に示すように、位相差レンズ１４ａおよび結像レンズ１４ｄを備える。位相差レンズ１４ａは、対物レンズ１４ｂおよび位相板１４ｃを備える。位相板１４ｃは、照明光Ｌの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１３のスリットの大きさは、位相板１４ｃの位相リングと共役な関係にある。

位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が１／４波長ずれ、かつ明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板１４ｃの透明板を通過し、その位相および明るさは変化しない。

対物レンズ１４ｂを有する位相差レンズ１４ａは、図１に示す結像光学系駆動部１５によって対物レンズ１４ｂの光軸方向に移動する。なお、本実施形態においては、対物レンズ１４ｂの光軸方向とＺ方向（鉛直方向）とは同じ方向である。位相差レンズ１４ａのＺ方向への移動によってオートフォーカス制御が行われ、撮像素子１６によって撮像される位相差画像のコントラストが調整される。

また、位相差レンズ１４ａの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ１４ａまたは結像光学系１４を交換可能に構成するようにしてもよい。位相差レンズ１４ａまたは結像光学系１４の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。

結像光学系駆動部１５は、例えば圧電素子のようなアクチュエータを備え、後述するオートフォーカス制御部２１から出力された制御信号に基づいて駆動する。なお、結像光学系駆動部１５は、位相差レンズ１４ａを通過した位相差画像をそのまま通過させる構成となっている。また、結像光学系駆動部１５の構成は圧電素子に限らず、位相差レンズ１４ａをＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。

結像レンズ１４ｄは、位相差レンズ１４ａおよび結像光学系駆動部１５を通過した位相差画像が入射され、これを撮像素子１６に結像する。

撮像素子１６は、結像レンズ１４ｄによって結像された位相差画像を撮像する。撮像素子１６としては、ＣＣＤ（Charge-Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いてもよい。

検出部１８は、ステージ５１に設置された培養容器５０のＺ方向（鉛直方向）の位置を検出する。検出部１８は、具体的には、第１の変位センサ１８ａおよび第２の変位センサ１８ｂを備える。第１の変位センサ１８ａおよび第２の変位センサ１８ｂは、位相差レンズ１４ａを挟んで、図１に示すＸ方向に並べて設けられている。本実施形態における第１の変位センサ１８ａおよび第２の変位センサ１８ｂはレーザ変位計であり、培養容器５０にレーザ光を照射し、その反射光を検出することによって、培養容器５０の底面のＺ方向の位置を検出する。なお、培養容器５０の底面とは、培養容器５０の底部と観察対象である細胞との境界面、すなわち観察対象設置面である。

検出部１８によって検出された培養容器５０のＺ方向の位置を表す位置情報は、オートフォーカス制御部２１に出力され、オートフォーカス制御部２１は、入力された位置情報に基づいて、結像光学系駆動部１５を制御し、オートフォーカス制御を行う。なお、第１の変位センサ１８ａおよび第２の変位センサ１８ｂによる培養容器５０の位置の検出およびオートフォーカス制御部２１によるオートフォーカス制御については、後で詳述する。

スリット板１３と位相差レンズ１４ａおよび検出部１８との間には、ステージ５１が設けられている。ステージ５１上には、観察対象である細胞が収容された培養容器５０が設置される。

培養容器５０としては、シャーレ、ディッシュまたはウェルプレート等を用いることができる。また、培養容器５０に収容される細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。

ステージ５１は、後述する水平方向駆動部１７（図４参照）によって互いに直交するＸ方向およびＹ方向に移動する。Ｘ方向およびＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。

図３は、ステージ５１の一例を示す図である。ステージ５１の中央には、矩形の開口５１ａが形成されている。開口５１ａを形成する部材の上に培養容器５０が設置され、培養容器５０内の細胞の位相差画像が開口５１ａを通過するように構成されている。

次に、顕微鏡装置１０を制御する撮影制御装置２０の構成について説明する。図４は、第１の実施形態の撮影制御装置の構成を示すブロック図である。なお、顕微鏡装置１０については、撮影制御装置２０の各部により制御される一部の構成のブロック図を示している。

撮影制御装置２０は、顕微鏡装置１０全体を制御するものであり、オートフォーカス制御部２１、走査制御部２２、処理制御部２３および表示制御部２４を備える。

撮影制御装置２０は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成され、ハードディスクに本発明の観察装置制御プログラムの一実施形態がインストールされている。そして、この観察装置制御プログラムが中央処理装置によって実行されることによって、図４に示すオートフォーカス制御部２１、走査制御部２２、処理制御部２３および表示制御部２４が機能する。

オートフォーカス制御部２１は、上述したように検出部１８によって検出された培養容器５０のＺ方向の位置情報に基づいて、結像光学系駆動部１５を制御する。そして、結像光学系駆動部１５の駆動によって結像光学系１４の対物レンズ１４ｂが光軸方向に移動し、オートフォーカス制御が行われる。

走査制御部２２は、水平方向駆動部１７を駆動制御し、これによりステージ５１をＸ方向およびＹ方向に移動させる。水平方向駆動部１７は、圧電素子等を有するアクチュエータから構成される。

以下、走査制御部２２によるステージ５１の移動制御およびオートフォーカス制御部２１によるオートフォーカス制御について、詳細に説明する。

本実施形態においては、走査制御部２２による制御によってステージ５１をＸ方向およびＹ方向に移動させ、結像光学系１４を培養容器５０内において２次元状に走査し、結像光学系１４による各観察位置の位相差画像を撮像する。図５は、培養容器５０内における観察位置の走査位置を実線Ｍで示した図である。なお、本実施形態においては、培養容器５０として６つのウェルＷを有するウェルプレートを用いる。

図５に示すように、結像光学系１４は、走査開始点Ｓから走査終了点Ｅまで実線Ｍに沿って移動する。すなわち、結像光学系１４による培養容器５０上の観察位置は、Ｘ方向の正方向（図５の右方向）に走査された後、Ｙ方向（図５の下方向）に移動し、逆の負方向（図５の左方向）に走査される。次いで、観察位置は、再びＹ方向に移動し、再び正方向に走査される。このように、結像光学系１４は、Ｘ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器５０内を２次元状に走査する。

図６および図７は、培養容器５０内の任意の位置に観察位置Ｒがある場合における結像光学系１４、第１の変位センサ１８ａおよび第２の変位センサ１８ｂと、培養容器５０との位置関係を示した図である。

本実施形態においては、図６および図７に示すように、第１の変位センサ１８ａおよび第２の変位センサ１８ｂが結像光学系１４を挟んでＸ方向に並べて設けられている。そして、培養容器５０は上述したように２次元状に走査されるが、この際、培養容器５０におけるある観察位置Ｒが結像光学系１４に到達する前に、移動方向（すなわち主走査方向）において結像光学系１４に先行して、培養容器５０の観察位置ＲにおけるＺ方向の位置が検出される。具体的には、観察位置Ｒが図６に示す矢印方向（図６の左方向）に移動している場合には、第１の変位センサ１８ａおよび第２の変位センサ１８ｂのうち、主走査方向において結像光学系１４に先行する第１の変位センサ１８ａによって、培養容器５０の観察位置ＲにおけるＺ方向の位置が検出される。なお、図６においては、第１の変位センサ１８ａに斜線を付与している。そして、観察位置Ｒが、結像光学系１４の位置まで移動した場合に、前もって検出された培養容器５０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、位相差画像の撮像が行われる。また、本実施形態においては、位相差画像の撮像後、主走査方向において結像光学系１４に後続する第２の変位センサ１８ｂによっても、培養容器５０の観察位置ＲにおけるＺ方向の位置が検出される。この場合、第１の変位センサ１８ａによる検出位置が第１の位置に、第２の変位センサ１８ｂによる検出位置が第２の位置に対応する。

一方、観察位置Ｒが、図７の矢印方向（図７の右方向）に移動している場合には、第１の変位センサ１８ａおよび第２の変位センサ１８ｂのうち、主走査方向において結像光学系１４に先行する第２の変位センサ１８ｂによって、培養容器５０の観察位置ＲにおけるＺ方向の位置が検出される。なお、図７においては、第２の変位センサ１８ｂに斜線を付与している。そして、観察位置Ｒが図７に示す位置から結像光学系１４の位置まで移動した場合に、前もって検出された培養容器５０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、位相差画像の撮像が行われる。また、本実施形態においては、位相差画像の撮像後、主走査方向において結像光学系１４に後続する第１の変位センサ１８ａによっても培養容器５０の観察位置ＲにおけるＺ方向の位置が検出される。この場合、第２の変位センサ１８ｂによる検出位置が第１の位置に、第１の変位センサ１８ａによる検出位置が第２の位置に対応する。

なお、第１および第２の変位センサ１８ａ，１８ｂにより検出された培養容器５０の方向の位置を表す位置情報は、各観察位置ＲのＸ−Ｙ座標と対応づけられて、撮影制御装置２０における不図示の半導体メモリまたはハードディスクに記憶される。

このように第１の変位センサ１８ａを用いた培養容器５０のＺ方向の位置の検出と第２の変位センサ１８ｂを用いた培養容器５０のＺ方向の位置の検出とを、主走査方向の変更に応じて切り替えることによって、常に、観察位置Ｒの位相差画像の撮像に先行して、その観察位置Ｒの位置における培養容器５０のＺ方向の位置情報を取得することができる。

そして、オートフォーカス制御部２１は、上述したように結像光学系１４に先行して検出された培養容器５０のＺ方向の位置情報に基づいて、結像光学系駆動部１５を駆動制御することによって、オートフォーカス制御を行う。具体的には、オートフォーカス制御部２１には、培養容器５０のＺ方向の位置情報と結像光学系１４の光軸方向の移動量との関係が予め設定されている。オートフォーカス制御部２１は、入力された培養容器５０のＺ方向の位置情報に基づいて、結像光学系１４の光軸方向の移動量を求め、その移動量に応じた制御信号を結像光学系駆動部１５に出力する。結像光学系駆動部１５は、入力された制御信号に基づいて駆動し、これにより結像光学系１４（対物レンズ１４ｂ）が光軸方向に移動し、培養容器５０のＺ方向の位置に応じたフォーカス調整が行われる。

本実施形態においては、上述したように各観察位置Ｒについてそれぞれ前もって培養容器５０のＺ方向の位置が検出されるため、各観察位置Ｒの培養容器５０の位置の検出タイミングと、位相差画像の撮像タイミングが時間的にずれる。したがって、結像光学系１４（対物レンズ１４ｂ）のＺ方向の移動、すなわちオートフォーカス制御は、第１の変位センサ１８ａまたは第２の変位センサ１８ｂによって培養容器５０の位置の検出が行われた後、その検出位置に観察位置Ｒが到達するまでの間に行われる。

ここで、オートフォーカス制御のタイミングが早すぎる場合には、オートフォーカス制御の後、観察位置Ｒが検出位置に到達するまでの間に、何らかの要因によって、培養容器５０のＺ方向の位置がずれる可能性があり、フォーカス位置がずれる可能性がある。

したがって、オートフォーカス制御のタイミングは、観察位置Ｒが検出位置に到達する直前であって、かつその検出位置における位相差画像の撮像が間に合うタイミングであることが望ましい。なお、観察位置Ｒが検出位置に到達する直前とは、例えば図８に示すように、観察位置ＲがＸ方向に順次移動し、検出部１８による検出位置が、斜線で示すＰｄの位置である場合には、観察位置Ｒが、検出位置Ｐｄに隣接する観察位置Ｒの位置Ｐｒを通過した時点から検出位置Ｐｄに到達するまでの間であることが望ましい。なお、観察位置Ｒが検出位置Ｐｄに到達した時点でオートフォーカス制御を行うようにしてもよい。

本実施形態においては、オートフォーカス制御のタイミングが、上述したような望ましいタイミングとなるように、第１または第２の変位センサ１８ａ，１８ｂによる検出タイミングからその検出位置の位置情報を用いたオートフォーカス制御のタイミングまでの時間が予め設定されている。

なお、例えば位相差レンズ１４ａの倍率の変更等によってステージ５１の移動速度が変更された場合には、そのステージ５１の移動速度の変更に応じて上記の予め設定された時間を変更してもよい。または、上記時間を変更する代わりに、ステージ５１の移動速度が変更された場合に、第１の変位センサ１８ａまたは第２の変位センサ１８ｂをＸ方向に移動させることによって、第１の変位センサ１８ａまたは第２の変位センサ１８ｂと結像光学系１４との距離を変更してもよい。

また、本実施形態のように、結像光学系１４を挟んで第１の変位センサ１８ａおよび第２の変位センサ１８ｂをＸ方向に並べて設け、位相差画像の撮像に先行して培養容器５０の位置を検出する場合、培養容器５０の範囲の全域において培養容器５０の位置検出および位相差画像の撮像を行うには、図５に示すように、培養容器５０の範囲よりもＸ方向について外側の範囲Ｒ１，Ｒ２まで結像光学系１４、第１の変位センサ１８ａおよび第２の変位センサ１８ｂを相対的に移動させる必要がある。そして、範囲Ｒ１のＸ方向の幅として、少なくとも第１の変位センサ１８ａと結像光学系１４とのＸ方向の間隔を確保する必要があり、範囲Ｒ２のＸ方向の幅として、少なくとも第２の変位センサ１８ｂと結像光学系１４とのＸ方向の間隔を確保する必要がある。そして、観察位置Ｒの走査時間をできるだけ短縮するには、観察位置Ｒの走査範囲をできるだけ狭くすることが望ましい。したがって、範囲Ｒ１のＸ方向の幅は、第１の変位センサ１８ａと結像光学系１４とのＸ方向の間隔とすることが望ましく、範囲Ｒ２のＸ方向の幅は、第２の変位センサ１８ｂと結像光学系１４とのＸ方向の間隔とすることが望ましい。

一方、ステージ５１をＸ方向に移動させることによって観察位置Ｒを培養容器５０の範囲内において走査する場合、培養容器５０の範囲における観察位置Ｒの移動速度は一定であることが望ましい。したがって、ステージ５１のＸ方向への移動開始時にはステージ５１が一定の速度になるまで加速する必要があり、ステージ５１のＸ方向への移動終了時には、ステージ５１を一定の速度から減速して停止させる必要がある。

また、ステージ５１のＸ方向への移動速度を一定の速度にする場合、加速域をほとんどもたせることなく急速に一定の速度に制御することは可能であるが、このような制御を行った場合、培養容器５０に細胞と一緒に収容された培養液等の液面が揺れてしまい、位相差画像の画質の低下を招く可能性がある。また、ステージ５１を停止する際にも同様の問題が発生する可能性がある。

そこで、本実施形態においては、図５に示す範囲Ｒ１および範囲Ｒ２をステージ５１のＸ方向への移動の加減速域に設定する。このように培養容器５０の範囲のＸ方向の両側に加減速域を設定することによって、走査範囲を無駄に広げることなく、かつ培養容器５０の範囲において観察位置Ｒを一定の速度で走査することができる。さらに、上述したような培養液の液面の揺れも抑制することができる。

図４に戻り、処理制御部２３は、処理対象となる対象観察位置Ｒ０について、第１の変位センサ１８ａが検出した培養容器５０のＺ方向の位置と、第２の変位センサ１８ｂが検出した培養容器５０のＺ方向の位置との差分値の絶対値を算出する。そして、算出した差分値の絶対値が予め定められたしきい値Ｔｈ１よりも大きいか否かを判定する。図９は培養容器５０と第１および第２の変位センサ１８ａ，１８ｂとのＺ方向の位置関係を示す図である。なお、図９においては、培養容器５０は右方向に移動しているものとする。この場合、ある観察位置Ｒに関して、まずオートフォーカス制御のために第２の変位センサ１８ｂにより培養容器５０のＺ方向の位置が検出され、その後、第１の変位センサ１８ａにより培養容器５０のＺ方向の位置が検出される。

ここで、第２の変位センサ１８ｂによる検出時には図９に実線で示すように培養容器５０が傾いていないが、振動が生じたり、水平方向駆動部１７の精度等の影響により、第２の変位センサ１８ｂによる検出後に、図９に破線で示すように、培養容器５０が傾いてしまう場合がある。このような場合、第２の変位センサ１８ｂが検出した培養容器５０のＺ方向の位置と、第１の変位センサ１８ａが検出した培養容器５０のＺ方向の位置とが異なるものとなる。このような状態においては、第１の変位センサ１８ａが検出した培養容器５０のＺ方向の位置と、第２の変位センサ１８ｂが検出した培養容器５０のＺ方向の位置との差分値の絶対値は大きくなる。

このように、算出した差分値の絶対値が大きい状態においては、走査時に結像光学系１４に先行する変位センサにより検出された培養容器５０のＺ方向の位置に基づいて、観察位置Ｒのオートフォーカス制御を行っても、フォーカスが合っておらず、観察位置Ｒの画像はボケたものとなってしまう可能性がある。

処理制御部２３は、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいと判定された場合、対象観察位置Ｒ０に対する観察のための処理を制御する。具体的には、対象観察位置の撮影および対象観察位置の画像に対する画像処理の少なくとも一方を制御する。以下、撮影および画像処理の制御について説明する。

まず、撮影の制御について説明する。処理制御部２３は、差分値の絶対値がしきい値Ｔｈ１よりも大きいと判定された対象観察位置Ｒ０を再撮影する。ここで、差分値の絶対値がしきい値Ｔｈ１よりも大きいということは、対象観察位置Ｒ０にフォーカスが合わせられていない可能性が高く、対象観察位置Ｒ０の位相差画像がボケている可能性が高いこと意味する。このため、処理制御部２３は、顕微鏡装置１０に対して、対象観察位置Ｒ０に対してフォーカスが適切に合わせられるように指示を行って、対象観察位置Ｒ０の再撮影を行う。ここで、培養容器５０のＺ方向の位置情報は、上述したように観察位置ＲのＸ−Ｙ座標と対応づけられて記憶されている。このため、対象観察位置Ｒ０の位置は容易に特定することができる。

なお、処理制御部２３は、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいと判定された場合、対象観察位置Ｒ０がボケている可能性が高いことを通知するようにしてもよい。具体的には、本実施形態においては、後述するように表示制御部２４が、複数の位相差画像を繋げて合成した合成画像を表示装置３０に表示するが、表示装置３０に表示された合成画像において、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きくなった観察領域の位相差画像を強調して表示することにより通知を行えばよい。例えば、図１０に示す合成画像において、点線で囲まれた観察領域Ｒについて、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きくなったとする。この場合、点線で囲まれた領域に赤色等の枠を付与したり、枠を点滅させたり、領域を点滅させる等により、その領域の位相差画像を強調して表示すればよい。また、テキストまたは音声により通知をしてもよい。

次に画像処理の制御について説明する。処理制御部２３は、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいと判定された場合、対象観察位置Ｒ０の位相差画像に対して、シャープネス強調処理を行う。具体的には、算出した差分値の絶対値の大きさに応じてシャープネスの強調度を変更してシャープネス強調処理を行う。なお、本実施形態においては、各種差分値の値とシャープネスの強調度とを対応づけたテーブルが撮影制御装置２０のハードディスクに記憶されている。処理制御部２３は、このテーブルを参照して差分値の値に応じたシャープネスの強調度を取得して、対象観察位置Ｒ０の位相差画像に対してシャープネス強調処理を行う。

次に、図４に戻り、表示制御部２４は、顕微鏡装置１０によって撮像された各観察位置Ｒの位相差画像を結合することによって、１枚の合成位相差画像を生成し、その合成位相差画像を表示装置３０に表示させる。なお、観察位置が再撮影された場合は、再撮影により取得された位相差画像を用いて合成位相差画像を生成する。また、観察位置の位相差画像に対してシャープネス強調処理が行われた場合は処理済みの位相差画像を用いて合成位相差画像を生成する。

表示装置３０は、上述したように表示制御部２４によって生成された合成位相差画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用してもよい。

入力装置４０は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。本実施形態の入力装置４０は、例えば位相差レンズ１４ａの倍率の変更指示およびステージの移動速度の変更指示等の設定入力を受け付ける。

次に、本実施形態の顕微鏡観察システムが行う処理について説明する。図１１および図１２は第１の実施形態において行われる処理を示すフローチャートである。まず、観察対象である細胞が収容された培養容器５０が、ステージ５１上に設置される（ステップＳＴ１０）。次に、ステージ５１が移動して結像光学系１４が、図５に示す走査開始点Ｓの位置に設定され、培養容器５０の走査が開始される（ステップＳＴ１２）。

ここで、本実施形態においては、上述したように各観察位置Ｒについて、撮像に先行して培養容器５０のＺ方向の位置検出が行われ、その検出位置まで観察位置Ｒが到達した時点において、位相差画像の撮像が行われる。そして、この培養容器５０の位置検出と位相差画像の撮像は、培養容器５０を走査しながら行われ、ある観察位置Ｒの位相差画像の撮像と、観察位置Ｒの撮像前における観察位置Ｒに対応する培養容器５０のＺ方向の位置検出とが並行して行われる。

具体的には、図６の矢印方向に培養容器５０が移動している場合には、第１の変位センサ１８ａによって培養容器５０のＺ方向の位置が検出され（ステップＳＴ１４）、その検出された位置情報が、オートフォーカス制御部２１によって取得される。オートフォーカス制御部２１は、取得した培養容器５０のＺ方向の位置情報に基づいて、対物レンズ１４ｂの移動量を算出し（ステップＳＴ１６）、対物レンズ１４ｂの移動量を培養容器５０の検出位置のＸ−Ｙ座標上の位置と対応づけて記憶する（ステップＳＴ１８）。なお、この際、第１の変位センサ１８ａおよび第２の変位センサ１８ｂによって検出された、培養容器５０のＺ方向の位置も、培養容器５０の検出位置のＸ−Ｙ座標上の位置と対応づけて記憶される。

次いで、ステップＳＴ１４において第１の変位センサ１８ａによって培養容器５０の位置検出が行われた位置に向かって観察位置Ｒが移動する（ステップＳＴ２０）。そして、オートフォーカス制御部２１は、培養容器５０の位置検出が行われた位置に観察位置Ｒが到達する直前において記憶された対物レンズ１４ｂの移動量を取得し、取得した移動量に基づいてオートフォーカス制御を行う（ステップＳＴ２２，ＳＴ２４）。すなわち、オートフォーカス制御部２１は、予め記憶された移動量に基づいて結像光学系駆動部１５を駆動制御し、対物レンズ１４ｂをＺ方向に移動させる。そして、オートフォーカス制御後、培養容器５０の位置検出が行われた位置に観察位置Ｒが到達した時点において、位相差画像の撮像を行う（ステップＳＴ２６）。観察位置Ｒの位相差画像は、撮像素子１６から表示制御部２４に出力されて記憶される。なお、上述したように、ステップＳＴ２６における観察位置Ｒの位相差画像の撮像が行われている間、各観察位置Ｒよりも走査方向において先行する変位センサによる培養容器５０の位置検出が並行して行われる。

次いで、ステップＳＴ２８において、第２の変位センサ１８ｂの位置に対象観察位置Ｒ０が移動し、第２の変位センサ１８ｂによって対象観察位置Ｒ０における培養容器５０のＺ方向の位置が検出され、培養容器５０の検出位置のＸ−Ｙ座標上の位置と対応づけて記憶される。

そして、結像光学系１４による観察位置Ｒが、図５に示す加減速域の範囲Ｒ２まで移動し、Ｙ方向に移動した後、Ｘ方向について逆方向に走査される場合には（ステップＳＴ３０，ＹＥＳ）、すなわち、主走査方向が、図６の矢印方向から図７の矢印方向に変更された場合には、オートフォーカス制御に使用する変位センサを第１の変位センサ１８ａから第２の変位センサ１８ｂに切り替える（ステップＳＴ３２）。ステップＳＴ３０が否定された場合には、上述した培養容器５０の位置検出と位相差画像の撮像が順次行われる（ステップＳＴ１４〜ステップＳＴ２８）。

そして、全ての走査が終了していない場合には（ステップＳＴ３４，ＮＯ）、再び、観察位置ＲがＸ方向に移動し、上述した培養容器５０の位置検出と位相差画像の撮像が順次行われる（ステップＳＴ１４〜ステップＳＴ２８）。

観察位置Ｒが、加減速域の範囲Ｒ１，Ｒ２まで移動する度に使用する変位センサが切り替えられ、全ての走査が終了するまでステップＳＴ１４〜ステップＳＴ２８までの処理が繰り返して行われる。そして、観察位置Ｒが、図５に示す走査終了点Ｅの位置に到達した時点において全ての走査が終了する（ステップＳＴ３４，ＹＥＳ）。

全ての走査が終了した後、処理制御部２３は、複数の観察位置のうちの対象観察位置Ｒ０について、第１の変位センサ１８ａが検出した培養容器５０のＺ方向の位置と、第２の変位センサ１８ｂが検出した培養容器５０のＺ方向の位置との差分値の絶対値を算出する。（ステップＳＴ３６）。そして、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいか否かを判定する（ステップＳＴ３８）。

ステップＳＴ３８が肯定されると、処理制御部２３は、対象観察位置Ｒ０に対する観察のための処理を制御する（ステップＳＴ４０）。具体的には、対象観察位置Ｒ０の再撮影、対象観察位置Ｒ０の位相差画像がボケている可能性が高いことの通知、または対象観察位置Ｒ０の位相差画像に対するシャープネス強調処理を行う。なお、ステップＳＴ３８が否定された場合、ステップＳＴ４２の処理に進む。

そして、全ての観察位置Ｒの判定が終了するまでステップＳＴ３６〜ＳＴ４０の処理が繰り返される（ＳＴ４２，ＮＯ）。全ての観察位置Ｒの判定が終了した場合には（ＳＴ４２，ＹＥＳ）、表示制御部２４は全ての位相差画像を繋ぎ合わせて合成して合成位相差画像を生成し、生成した合成位相差画像を表示装置３０に表示し（ステップＳＴ４４）、処理を終了する。

このように、本実施形態においては、結像光学系１４が培養容器５０内の対象観察位置に到達する前に、主走査方向において対象観察位置Ｒ０に先行する変位センサによって検出された、対象観察位置Ｒ０における培養容器５０の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行うようにした。このため、高速にオートフォーカス制御を行うことができる。

また、第１および第２の変位センサ１８ａ，１８ｂによって検出された対象観察位置Ｒ０における培養容器５０の鉛直方向の位置に基づいて、対象観察位置Ｒ０に対する観察のための処理を制御するようにした。このため、主走査方向に先行する変位センサによる検出後に、振動等により培養容器５０の鉛直方向の位置が変化しても、主走査方向に後続する変位センサにより、その変化を検出することができる。したがって、観察のための制御がなされた、対象観察位置Ｒ０における位相差画像を用いることができ、これにより、観察対象に対して正確かつ信頼性の高い評価を行うことができる。

次いで、本発明の第２の実施形態について説明する。なお、本発明の撮影制御装置、方法およびプログラムの第２の実施形態を用いた顕微鏡観察システムの構成は、図１に示す第１の実施形態を用いた顕微鏡観察システムの構成と同一であり、処理制御部２３が行う処理のみが異なる。このため、構成についての説明は省略する。

上記第１の実施形態においては、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいと判定された場合、対象観察位置Ｒ０に対する観察のための処理を制御している。具体的には、対象観察位置の撮影および対象観察位置の画像に対する画像処理の少なくとも一方を制御している。第２の実施形態においては、処理制御部２３は、さらに対象観察位置Ｒ０の位相差画像に含まれる細胞の状態を評価するようにし、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいか否かに応じて、位相差画像の評価方法を変更するようにした点が第１の実施形態と異なる。以下、画像の評価について説明する。

第２の実施形態においては、処理制御部２３は、観察位置Ｒ毎の位相差画像に含まれる細胞の状態を評価することにより、対象観察位置Ｒ０に対する観察のための処理を制御する。細胞の状態を評価するとは、例えば位相差画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、共培養の際の細胞の種類ごとの細胞数をカウントしたり、位相差画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。ただし、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。

ここで、算出した差分値がしきい値Ｔｈ１より大きい場合、位相差画像はボケているか、またはボケている可能性が高く、差分値がしきい値以下の場合は位相差画像はボケていないか、またはボケていない可能性が高い。第２の実施形態における処理制御部２３は、ボケている位相差画像（差分値の絶対値＞Ｔｈ１、以下ボケている可能性が高い位相差画像を含む）と、ボケていない位相差画像（差分値の絶対値≦Ｔｈ１。以下ボケていない可能性が高い位相差画像を含む）とで異なる評価方法で細胞の状態を評価する。具体的には、処理制御部２３は、ボケていない位相差画像については、その位相差画像に含まれる細胞の状態を示す特徴量を用いて評価し、ボケている位相差画像については、画像特徴量を用いて評価する。

ボケていない位相差画像については、位相差画像に含まれる細胞の画像または核もしくは核小体等の細胞の微細構造の画像を高精度に認識することができる。このため、上述したように細胞の状態を示す特徴量を用いて評価することによって、生物学的な説明力に優れる評価結果を得ることができる。逆に言えば、細胞の状態を示す特徴量を用いた評価方法は、相対的にボケ（劣化）に弱い評価方法といえる。

細胞の状態を示す特徴量としては、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比の少なくとも１つを用いることができる。

個々の細胞の状態の特徴量としては、例えば細胞の数、細胞の密度、細胞の増加率および細胞の円形度等があるが、位相差画像に含まれる個々の細胞を認識し、その認識した細胞に基づいて算出される特徴量であればその他の特徴量でもよい。位相差画像に含まれる細胞の認識方法としては、例えば細胞の画像のエッジを検出したり、パターンマッチング処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、細胞の円形度については、未分化細胞は円形度が相対的に高くなるが、分化細胞は、例えば細長い形状となり、円形度が相対的に低くなる。したがって、個々の細胞の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。また、多能性幹細胞において、細胞が分化すると核内のクロマチン構造が変化し黒っぽくなるため、核を検出した後に核の輝度を評価することによって分化または未分化を評価することができる。但し、分化細胞か未分化細胞かを評価する方法としては、これに限らず、その他の公知な手法を用いることができる。または、神経細胞を評価する場合には、個々の細胞の状態を示す特徴量として、樹状突起の長さを用いることができる。樹状突起の長さを用いることによって、神経細胞の成長度を評価することができる。

また、細胞内に含まれる核または核小体の特徴量としては、例えば核または核小体の数、核または核小体の密度および核または核小体の増加率等があるが、位相差画像に含まれる核または核小体を認識し、その認識した核または核小体に基づいて算出される特徴量であればその他の特徴量でもよい。位相差画像に含まれる核または核小体の認識方法としては、細胞の認識方法と同様に、エッジ検出、パターンマッチングによる検出および判別器を用いた検出等を用いることができる。

また、白すじとは、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。そして、白すじの特徴量としては、例えば白すじの総面積、白すじの密度および白すじの分布状態等があるが、位相差画像に含まれる白すじを認識し、その認識した白すじに基づいて算出される特徴量であればその他の特徴量でもよい。白すじの認識方法としては、例えば位相差画像を２値化し、しきい値処理によって白すじを抽出するようにしてもよいし、パターンマッチング処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、白すじの特徴量については、例えば細胞コロニー内に未分化細胞が多い状態では白すじは少ないが、分化が進み分化細胞が多くなると白すじの量が多くなる。したがって、白すじの特徴量に基づいて、細胞コロニーの分化度または未分化度、もしくは細胞コロニーの成長度等を評価することができる。

また、細胞のＮＣ比とは、核／細胞質面積比である。ＮＣ比については、細胞質と核のそれぞれの検出器を使用することで求めることができる。細胞質は、一般的にグレーかつフラットな見た目を有し、これに対し、核は比較的丸くかつ内部に核小体等の構造を含む。したがって、それぞれの検出器を機械学習により作成し、位相差画像に適用することによって細胞質領域と核領域とが得られる。このようにして得られた細胞質領域と核領域との面積の比を算出することによって、ＮＣ比を算出することができる。ＮＣ比は、細胞コロニー単位で算出してもよいし、予め指定された領域内でのＮＣ比を算出するようにしてもよい。

一方、ボケた位相差画像については、個々の細胞の画像または核小体の画像等の検出精度が低くなる。したがって、ボケていない位相差画像のように個々の細胞の状態を示す特徴量を用いて評価するよりも、位相差画像自体の画像特徴量を用いて評価した方が、評価精度が向上する。画像特徴量を用いた評価方法は、上述した細胞の状態を示す特徴量を用いた評価方法よりも、相対的にボケ（劣化）に強い評価方法といえる。

ボケた位相差画像を評価する際に用いられる画像特徴量とは、撮像画像自体の特徴量であって、具体的には、位相差画像の平均輝度、位相差画像の輝度の分散、位相差画像の輝度の最大値と最小値との差、位相差画像のコントラスト、位相差画像のエントロピー、位相差画像の空間周波数分布、位相差画像の方向性および位相差画像のゼルニケ特徴等を用いることができる。

このような画像特徴量を用いて位相差画像に含まれる細胞の状態を評価する方法としては、例えば画像特徴量とその画像特徴量に対応する評価結果との関係を予め実験等によって求めておき、位相差画像の画像特徴量と上記関係とに基づいて、評価結果を得るようにすればよい。また、画像特徴量とその画像特徴量に対応する評価結果との関係を、例えば機械学習を用いて学習させて評価器を生成し、位相差画像の画像特徴量をその評価器に入力することによって評価結果を得るようにしてもよい。

また、第２の実施形態の処理制御部２３は、ウェル内の各観察領域の位相差画像の評価結果を統合して、そのウェルに対する評価結果を算出する。すなわちウェル単位での評価結果を算出する。このようにウェル単位（容器単位）での評価結果を算出することによって、継代または細胞の出荷の際等においてウェル単位で管理することができる。

第２の実施形態においては、上述したようにボケている位相差画像とボケていない位相差画像とで異なる評価方法で細胞の状態を評価するようにしたため、各観察領域の位相差画像を適切な評価方法で評価することができ、ウェル単位での評価結果としてもより正確で、かつ信頼性のある評価結果を得ることができる。

具体的には、例えばウェル内の各観察領域の位相差画像に含まれる分化細胞の割合と未分化細胞の割合の平均値をそれぞれ算出することによって、ウェル単位での分化細胞の割合と未分化細胞の割合を求めるようにしてもよい。

または、ウェル内の各観察領域の位相差画像について細胞または細胞コロニーの成長度を評価する場合には、その各観察領域の成長度の平均値をウェル単位の成長度として求めるようにしてもよい。また、ウェル内の全観察領域のうち、成長度がしきい値以上である観察領域の数の割合を算出し、その割合をウェル単位の成長度として求めるようにしてもよい。もしくは、上記割合がしきい値以上である場合には、ウェル単位での評価結果を「良い」とし、しきい値未満である場合には、ウェル単位での評価結果を「悪い」としてもよい。または、成長度がしきい値以上である観察領域の評価結果を「良い」とし、しきい値未満である観察領域の評価結果を「悪い」とし、ウェル内に含まれる評価結果が「良い」の観察領域の数が、しきい値以上である場合にウェル単位での評価結果を「良い」とし、しきい値未満である場合にウェル単位での評価結果を「悪い」としてもよい。

第２の実施形態においては、表示制御部２４は、処理制御部２３による評価結果を表示装置３０に表示させる。具体的には、第２の実施形態においては、上述したように処理制御部２３においてウェル単位での評価結果が算出されるため、表示制御部２４は、そのウェル単位での評価結果を表示装置３０に表示させる。図１３は、６ウェルのウェルプレートを用いた場合に、ウェル単位での分化細胞の割合と未分化細胞の割合とを算出し、統合された評価結果として表示した例である。

次いで、第２の実施形態において行われる処理について説明する。図１４は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、第１の実施形態におけるステップＳＴ３４までは、第１の実施形態と同一の処理が行われる。このため、図１４には第１の実施形態におけるステップＳＴ３４以降の処理のみを示している。第１の実施形態におけるステップＳＴ３４に引き続き、処理制御部２３は、複数の観察位置のうちの対象観察位置Ｒ０について、第１の変位センサ１８ａが検出した培養容器５０のＺ方向の位置と、第２の変位センサ１８ｂが検出した培養容器５０のＺ方向の位置との差分値の絶対値を算出する（ステップＳＴ５０）。そして、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいか否かを判定する（ステップＳＴ５２）。

ステップＳＴ５２が肯定されると、処理制御部２３は、対象観察位置Ｒ０の位相差画像について、ボケた位相差画像の評価方法を用いて評価を行う（ステップＳＴ５４）。具体的には、その位相差画像について画像特徴量を算出し、その画像特徴量を用いて位相差画像に含まれる細胞の状態を評価する。

一方、ステップＳＴ５２が否定されると、処理制御部２３は、対象観察位置Ｒ０の位相差画像について、ボケていない位相差画像の評価方法を用いて評価を行う（ステップＳＴ５６）。具体的には、その位相差画像について、細胞の状態を示す特徴量を算出し、その特徴量を用いて位相差画像に含まれる細胞の状態を評価する。

そして、全ての観察位置の位相差画像の評価が終了するまでＳＴ５０〜ＳＴ５６までの処理が繰り返される（ステップＳＴ５８，ＮＯ）。全ての観察位置の評価が終了した場合には（ステップＳＴ５８，ＹＥＳ）、処理制御部２３は、各観察位置の位相差画像の評価結果をウェル単位で統合し、ウェル単位の評価結果を取得する（ステップＳＴ６０）。さらに、表示制御部２４は、各観察位置の位相差画像を用いて合成位相差画像を生成し、合成位相差画像を表示装置３０に表示させ、かつウェル単位での統合評価結果を表示装置３０に表示させ（ステップＳＴ６２）、処理を終了する。

第２の実施形態においては、算出した差分値の絶対値がしきい値Ｔｈ１よりも大きいか否かに応じて、位相差画像の評価方法を変更するようにした。具体的には、位相差画像に含まれる細胞の状態を評価する際、ボケた位相差画像とボケていない位相差画像とで異なる評価方法で評価するようにした。このため、位相差画像に適した評価方法で位相差画像を評価することができ、より正確かつ、信頼性の高い評価を行うことができる。

なお、上記第２の実施形態においては、処理制御部２３において、ウェル内の各観察位置の位相差画像を統合して、ウェル単位での評価結果を算出するようにした。しかしながら、このように統合された評価結果を算出する際、ボケた位相差画像の評価結果とボケていない位相差画像の評価結果とに重み付けを付加するようにしてもよい。重み付けとしては、ボケていない位相差画像の評価結果に付加される重み付けが、ボケている位相差画像の評価結果に付加される重み付けよりも大きくなるように設定することが好ましい。これは、ボケていない位相差画像の方が評価結果の精度が高いと考えられるからである。

具体的には、例えばウェル内の各観察領域の成長度の平均値をウェル単位の成長度として求める場合、ボケた位相差画像の観察領域の成長度に対して０．５よりも小さい重み付けを付加し、ボケていない位相差画像の観察領域の成長度に対して０．５以上の重み付けを付加するようにすればよい。

または、成長度が予め定められたしきい値以上である観察領域の評価結果を「良い」とし、しきい未満である観察領域の評価結果を「悪い」とする場合、ボケた位相差画像の観察位置の成長度に対して０．５よりも小さい重み付けを付加して「良い」または「悪い」を評価し、ボケていない位相差画像の観察位置の成長度に対して０．５以上の重み付けを付加して「良い」または「悪い」を評価するようにしてもよい。そして、上述したようにウェル内に含まれる評価結果が「良い」の観察位置の数が、一定値以上である場合にウェル単位での評価結果を「良い」とし、一定値未満である場合にウェル単位での評価結果を「悪い」としてもよい。

また、上記第２の実施形態においては、算出した差分値の絶対値がしきい値Ｔｈ１より大きい場合には、観察位置Ｒの位相差画像を評価対象から除外することにより、評価方法を変更してもよい。この場合、評価結果を算出する際に、その観察位置Ｒの位相差画像が評価対象から除外される。

なお、上記実施形態においては、ステージ５１を移動させているが、これに限らず、ステージ５１を固定とし、結像光学系１４およびその他の位相差画像の撮像に係る構成を移動させてもよいし、ステージ５１と結像光学系１４およびその他の位相差画像の撮像に係る構成との双方を移動させてもよい。

また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用するようにしてもよい。

また、上記実施形態においては、全ての観察領域の位相差画像を取得した後に、対象観察位置Ｒ０についての差分値の絶対値がしきい値Ｔｈ１よりも大きいか否かを判定しているが、各観察領域の位相差画像を取得しつつ、上記判定を行うようにしてもよい。

１０ 顕微鏡装置
１１ 白色光源
１２ コンデンサレンズ
１３ スリット板
１４ 結像光学系
１４ａ 位相差レンズ
１４ｂ 対物レンズ
１４ｃ 位相板
１４ｄ 結像レンズ
１５ 結像光学系駆動部
１６ 撮像素子
１７ 水平方向駆動部
１８ 検出部
１８ａ 第１の変位センサ
１８ｂ 第２の変位センサ
２０ 撮影制御装置
２１ オートフォーカス制御部
２２ 走査制御部
２３ 処理制御部
２４ 表示制御部
３０ 表示装置
４０ 入力装置
５０ 培養容器
５１ ステージ
５１ａ 開口
Ｓ 走査開始点
Ｅ 走査終了点
Ｌ 照明光
Ｍ 観察位置の走査位置
Ｐｄ 検出位置
Ｐｒ 検出位置Ｐｄに隣接する観察位置Ｒの位置
Ｒ 観察位置
Ｒ１，Ｒ２ 加減速域の範囲
Ｗ ウェル

Claims (12)

1. 観察対象が収容された容器が設置されるステージと、
   前記観察対象の画像を撮像する撮像素子を有する撮像系と、
   前記容器内の前記観察対象の像を前記撮像素子に結像させる結像光学系と、
   前記ステージおよび前記結像光学系の少なくとも一方を、水平面内の主走査方向および該主走査方向に交差する副走査方向に移動させ、かつ前記少なくとも一方を前記主走査方向について往復移動させる水平方向駆動部と、
   該水平方向駆動部を制御する走査制御部と、
   前記結像光学系を挟んで前記主走査方向に並べて設けられ、前記ステージに設置された前記容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、前記主走査方向の変更に応じて使用する前記変位センサを切り替える検出部と、
   前記結像光学系が前記容器における対象観察位置に到達する前に、前記主走査方向において前記結像光学系に先行する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行うオートフォーカス制御部と、
   前記第１の位置、および前記結像光学系が前記容器における対象観察位置に到達した後に、前記主走査方向において前記結像光学系に後続する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第２の位置に基づいて、前記対象観察位置に対する観察のための処理を制御する処理制御部とを備えた撮影制御装置。
2. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が予め定められたしきい値より大きい場合に、前記対象観察位置の撮影および前記対象観察位置の画像に対する画像処理の少なくとも一方を制御する請求項１に記載の撮影制御装置。
3. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合に、前記対象観察位置を再撮影する請求項２に記載の撮影制御装置。
4. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合に、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きいことを通知する請求項２に記載の撮影制御装置。
5. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合に、前記対象観察位置の画像に対してシャープネス強調処理を行う請求項２に記載の撮影制御装置。
6. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が予め定められたしきい値より大きいか否かに応じて、前記対象観察位置の画像に含まれる前記観察対象の状態を評価するための評価方法を変更する請求項１に記載の撮影制御装置。
7. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合には、相対的に劣化に強い評価方法によって前記対象観察位置の画像を評価し、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値以下の場合には、相対的に劣化に弱い評価方法によって前記対象観察位置の画像を評価する請求項６に記載の撮影制御装置。
8. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合には、前記対象観察位置の画像に含まれる観察対象の状態を示す特徴量を用いて評価し、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値以下の場合には、画像特徴量を用いて評価する請求項７記載の撮影制御装置。
9. 前記観察対象の状態を示す特徴量が、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含む請求項８記載の撮影制御装置。
10. 前記処理制御部は、前記対象観察位置において前記第１の位置と前記第２の位置との差が前記しきい値より大きい場合には、前記対象観察位置を評価対象から除外する請求項６に記載の撮影制御装置。
11. 観察対象が収容された容器が設置されるステージと、
    前記観察対象の画像を撮像する撮像素子を有する撮像系と、
    前記容器内の前記観察対象の像を前記撮像素子に結像させる結像光学系と、
    前記ステージおよび前記結像光学系の少なくとも一方を、水平面内の主走査方向および該主走査方向に交差する副走査方向に移動させ、かつ前記少なくとも一方を前記主走査方向について往復移動させる水平方向駆動部と、
    該水平方向駆動部を制御する走査制御部と、
    前記結像光学系を挟んで前記主走査方向に並べて設けられ、前記ステージに設置された前記容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、前記主走査方向の変更に応じて使用する前記変位センサを切り替える検出部とを備えた撮影制御装置における撮影制御方法であって、
    前記結像光学系が前記容器における対象観察位置に到達する前に、前記主走査方向において前記結像光学系に先行する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行うステップと、
    前記第１の位置、および前記結像光学系が前記容器における対象観察位置に到達した後に、前記主走査方向において前記結像光学系に後続する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第２の位置に基づいて、前記対象観察位置に対する観察のための処理を制御するステップとを有する撮影制御方法。
12. 観察対象が収容された容器が設置されるステージと、
    前記観察対象の画像を撮像する撮像素子を有する撮像系と、
    前記容器内の前記観察対象の像を前記撮像素子に結像させる結像光学系と、
    前記ステージおよび前記結像光学系の少なくとも一方を、水平面内の主走査方向および該主走査方向に交差する副走査方向に移動させ、かつ前記少なくとも一方を前記主走査方向について往復移動させる水平方向駆動部と、
    該水平方向駆動部を制御する走査制御部と、
    前記結像光学系を挟んで前記主走査方向に並べて設けられ、前記ステージに設置された前記容器の鉛直方向の位置を検出する少なくとも２つの変位センサを有し、前記主走査方向の変更に応じて使用する前記変位センサを切り替える検出部とを備えた撮影制御装置における撮影制御方法をコンピュータに実行させる撮影制御プログラムであって、
    前記結像光学系が前記容器における対象観察位置に到達する前に、前記主走査方向において前記結像光学系に先行する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第１の位置に基づいて、オートフォーカス制御を行う手順と、
    前記第１の位置、および前記結像光学系が前記容器における対象観察位置に到達した後に、前記主走査方向において前記結像光学系に後続する前記変位センサによって検出された、前記対象観察位置における前記容器の鉛直方向の第２の位置に基づいて、前記対象観察位置に対する観察のための処理を制御する手順とをコンピュータに実行させる撮影制御プログラム。