以下、図面を参照して、本発明を適用した実施の形態について説明する。
〈第1の実施の形態〉
[顕微鏡観察システムの構成]
図1は、本発明を適用した顕微鏡観察システムの一実施の形態の構成例を示す図である。この顕微鏡観察システムは、顕微鏡11、パーソナルコンピュータ12、およびコントローラ13から構成される。
顕微鏡11には、観察対象の標本が入れられた容器14が載置されるステージ21、照明光を射出する光源22および光源23、対物レンズ24、複数の対物レンズ24を保持するレボルバ25、並びにカメラ26が設けられている。
光源22から放射された光束は、図示していない照明光学系により集光され、容器14に照射される。また、光源23から放射された光束は、対物レンズ24からカメラ26の撮像素子に至る結像光学系の光路中にあるハーフミラー等で、結像光学系に導入され、対物レンズ24を介して容器14に照射される。また、結像光学系は、対物レンズ24と図示しない結像レンズからなり、容器14中の標本の像を撮像素子に結像する。
ステージ21は、コントローラ13の制御に従って電動駆動され、移動する。これにより、ステージ21と対物レンズ24との相対的な位置関係が変化する。具体的には、ステージ21は、対物レンズ24の光軸と垂直な方向、つまり図中、横方向および奥行き方向(以下、xy方向とも称する)に移動する。
また、ステージ21には、図示せぬリニアエンコーダが設けられており、パーソナルコンピュータ12は、コントローラ13を介してリニアエンコーダから供給された信号により、ステージ21のx,yの各方向の位置を知ることができる。
レボルバ25は、コントローラ13の制御に従って電動駆動され、保持している複数の対物レンズ24のうちの何れかを、結像光学系の光路上に配置する。また、レボルバ25は、コントローラ13により駆動され、内蔵されたフォーカシング機構により、対物レンズ24の光軸と平行な方向、すなわち図中、縦方向(以下、z方向と称する)に移動する。これにより、対物レンズ24がz方向に移動することになる。
さらに、光源22および光源23は、コントローラ13の制御に従って照明光を射出し、照明光を容器14に照射する。例えば、容器14内の標本が明視野観察される場合、光源22から照明光が射出され、照明光は図示せぬ照明光学系を通って図中、上側から容器14に照射される。そして、容器14内の標本に照射された照明光は、標本を透過して観察光となり、対物レンズ24を介してカメラ26に入射する。
また、例えば標本が蛍光観察される場合、光源23から照明光として励起光が射出され、照明光は図示せぬ光学系および対物レンズ24を通って図中、下側から容器14に照射される。容器14内の標本に照明光が照射されると、標本からは観察光としての蛍光が発現する。標本からの観察光は対物レンズ24を含む結像光学系を通ってカメラ26に入射する。
カメラ26は、CCD(Charge Coupled Devices)等の撮像素子からなり、対物レンズ24を介して得られた標本の像を撮像することで、標本を被写体とする観察画像を撮影する。撮影により得られた観察画像は、カメラ26からコントローラ13に供給される。
コントローラ13は、パーソナルコンピュータ12からの指示に応じて顕微鏡11の各部の動作を制御したり、カメラ26から供給された観察画像をパーソナルコンピュータ12に供給したりする。
パーソナルコンピュータ12は、マウスなどからなる入力部31、入力部31からの指示に応じて動作する制御装置32、および液晶ディスプレイなどからなり、観察画像等の画像を表示する表示部33から構成される。制御装置32は、観察者(ユーザ)の入力部31への操作に応じて、コントローラ13の動作を制御したり、表示部33に各種の画像を表示させたりする。
また、図1の制御装置32は、より詳細には図2に示すように構成される。すなわち、制御装置32は、記録部61、観察制御部62、判別部63、および表示制御部64から構成される。
記録部61は、カメラ26で撮影された観察画像や、容器14の種別ごとに予め得られているテンプレート情報などの各種のデータを記録する。
ここで、テンプレート情報とは、ステージ21に容器14が載置されたときの、容器14における標本が入れられる標本収容部の位置を示す情報である。より詳細には、テンプレート情報には、仮想的な容器全体の画像であるテンプレート画像の画像データと、標本収容部の位置を示す標本収容部ごとの観察区域情報とが含まれている。
例えば、標本の観察に用いる容器14として、複数のウェルを有するウェルプレートや、複数の区域に仕切られた4分割ディッシュなどが用いられる。これらの仕切られたウェルや区域にはそれぞれ標本が入れられる。さらに、ウェルや区域毎に標本の観察条件を異なるものとするために、各ウェルや区域には、互いに異なる試薬が添加されたり、各ウェルや区域が互いに異なる濃度の溶液で満たされたりする。
なお、以下においては、説明を簡単にするため、容器14としてウェルプレートが用いられるものとして説明を続ける。容器14がウェルプレートである場合、テンプレート情報により示される標本収容部は、標本が入れられる各ウェルである。
また、容器14がウェルプレートである場合、ウェルプレートの種別によって、ウェルプレートに設けられたウェルの数、ウェルの形状、ウェルの大きさ、ウェルプレート上における各ウェルの位置の少なくとも何れかが異なる。そのため、記録部61は、ウェルプレート(容器14)の種別ごとに、テンプレート情報を記録している。
本実施の形態では、このテンプレート情報に含まれるテンプレート画像は、ステージ21が移動されていない状態で、ステージ21上の予め定められた位置(以下、仮想基準位置と称する)に、仮想的な容器を載置し、カメラにより、その仮想的な容器全体を上方から撮影して得られる画像である。なお、カメラにより撮像された画像以外にも、ウェルプレートの製造元が持っている容器14の寸法図から作成された画像をテンプレート画像としてもよい。
なお、ステージ21が移動されていない状態とは、対物レンズ24の光軸が、ステージ21の中心の位置にある状態をいう。また、仮想基準位置は、例えば、ステージ21が移動されていない状態において、仮想的な容器の中心が、対物レンズ24の光軸の位置となり、かつ仮想的な容器の長手方向がx方向(例えば、図1の奥行き方向)と平行となるような位置である。
例えば、12穴のウェルプレートのテンプレート情報に含まれるテンプレート画像は、ステージ21の仮想基準位置に12穴のウェルプレートが載置された状態で、その12穴のウェルプレートを図1中、上側から下方向(z方向)に見たときのウェルプレートの輪郭と、各ウェルの輪郭とを表す画像とされる。
また、テンプレート情報に含まれるウェルごとの観察区域情報は、テンプレート画像取得時に示すステージ21の位置を原点とし、仮想的なウェルプレートを仮想基準位置に載置した場合に、対物レンズ24の光軸と交わる位置を基準位置とし、その基準位置を原点としたときのウェルの位置を示す情報である。
なお、以下、テンプレート画像により表される仮想的なウェルプレートを、仮想ウェルプレート、またはテンプレートと呼ぶこととする。
また、本実施の形態での説明では、説明を簡単にするために、テンプレート画像の基準位置とステージ21から出力される位置情報の原点は同一位置に設定した。具体的には、対物レンズ24の光軸と垂直な平面(xy平面)上のxy座標を考え、ステージ21の中心が対物レンズ24の光軸と交わる状態のステージ21の位置を、ステージ21の基準位置とする。また、ステージ21が基準位置にあるときのステージ21のxy座標を(0,0)とした。そして、仮想ウェルプレートの各ウェルの形状が、半径rの円形状であるものとする。したがって、ウェルの観察区域(x1,y1)は、任意の1つのウェルの中心位置を(xφn,yφn)としたときに、(x1−xφn)2+(y1−yφn)2≦r2を満たす領域とされる。
したがって、ステージ21上に載置されたウェルプレートと同じ種別のテンプレート情報を用いれば、対物レンズ24の光軸、すなわち対物レンズ24の観察視野の中心の位置が、ウェルプレートのどの領域にあるかを特定することが可能となる。
例えば、ウェルプレートをステージ21上に載置し、ステージ21を移動させたとする。そのような場合、そのウェルプレートと同じ種別のテンプレートの各ウェルの観察区域情報と、xy座標により表されるステージ21の位置とから、対物レンズ24の観察視野の中心が、ウェルプレート上のどのウェルの領域内にあるかを特定することができる。
但し、この場合、実在のウェルプレートが、仮想ウェルプレートと同じ位置、つまり仮想基準位置に配置されることが前提とされる。
このように、記録部61には、テンプレート画像と、ウェルごとの観察区域情報とからなるテンプレート情報が記録されている。
また、図2の観察制御部62は、入力部31から供給される信号に応じて、コントローラ13を制御し、顕微鏡11で撮影する位置を制御したり、表示部33で表示される内容を表示制御部64に指示を与えたりする。観察制御部62には、カメラ26による観察画像の撮影を制御する撮影制御部71と、表示部33に表示されたテンプレート画像の表示位置の修正を制御する修正制御部72とが設けられている。
判別部63は、観察制御部62から供給されたステージ21のxy座標等の位置を示す情報(以下、単に位置情報と称する)と、記録部61に記録されている観察区域情報とに基づいて、対物レンズ24の観察視野の中心の位置を特定する。すなわち、観察視野の中心の位置が、容器14上のどのウェル内に位置するかが特定される。また、判別部63は、補正部73を有しており、補正部73は、観察制御部62の指示に応じて、記録部61から取得したテンプレート情報に含まれる各観察区域情報を補正する。
表示制御部64は、観察画像の画像データや、テンプレート情報に含まれるテンプレート画像の画像データを、記録部61または観察制御部62から取得して表示部33に供給し、表示部33に観察画像やテンプレート画像を表示させる。
[顕微鏡観察システムの動作]
ところで、観察者が所定の種別の容器14をステージ21上の予め定められた所定の位置に所定の姿勢で載置し、入力部31を操作して容器14に入れられた標本の蛍光観察を指示すると、顕微鏡観察システムは、観察者の指示に応じて標本を観察し、観察画像を撮影する処理である観察処理を開始する。
以下、図3のフローチャートを参照して、顕微鏡観察システムによる観察処理について説明する。
ステップS11において、観察制御部62は、テンプレートを選択する。
例えば、観察者は、ステージ21上に標本の入った容器14を載置すると、入力部31を操作して、テンプレートの一覧の表示を指示する。すると、観察制御部62は、入力部31からの信号に応じて表示制御部64にテンプレートの一覧の表示を指示し、表示制御部64は、その指示に従って記録部61に記録されているテンプレート情報を参照して、表示部33にテンプレートの一覧を表示させる。
そして、観察者が入力部31を操作して、表示された一覧から、ステージ21に載置した容器14と同じ種別のテンプレート(仮想ウェルプレート)を指定すると、観察制御部62は、観察者の操作に応じて、指定されたテンプレートを選択する。
テンプレートが指定されると、観察制御部62は、コントローラ13を制御して、光源23から照明光を射出させるとともに、カメラ26に容器14の一部の領域を被写体とする観察画像を撮影させる。また、コントローラ13は、カメラ26から供給された観察画像を、観察制御部62を介して表示制御部64に供給する。
ステップS12において、表示制御部64は、観察制御部62からの指示に応じて、コントローラ13から供給された観察画像や、標本の観察時の操作に関するGUI(Graphical User Interface)が表示される観察ウィンドウを表示部33に表示させる。
これにより、表示部33の表示画面には、例えば、図4に示す観察ウィンドウ101が表示される。
観察ウィンドウ101の中央には、カメラ26により撮影された観察画像が表示される観察画面111が設けられている。また、観察画面111の図中、右側には、マップウィンドウ112、選択操作ウィンドウ113、観察条件調整ウィンドウ114、およびステージ操作ウィンドウ115が設けられている。
マップウィンドウ112には、観察者により選択されたテンプレートのテンプレート画像121、つまり仮想ウェルプレートの画像が表示される。表示制御部64は、観察者から指定されたテンプレートのテンプレート画像121を記録部61から取得して、表示部33にテンプレート画像121を表示させる。
図4において、テンプレート画像121上の1つの円は、1つのウェルの位置を表しており、テンプレート画像121として、マップウィンドウ112に、図中、縦方向に3個、横方向に4個の合計12個のウェルが設けられた仮想ウェルプレートが表示されている。
なお、以下において、テンプレート(テンプレート画像121)上のウェルを特定する場合、図4中、一番上の列の左からj番目(但し、1≦j≦4)のウェルを、ウェルAjとも称し、そのウェルのウェル番地がAjであるとする。同様に、図4中、中央の列の左からj番目(但し、1≦j≦4)のウェルを、ウェルBjとも称し、そのウェルのウェル番地がBjであるとする。さらに、図4中、一番下の列の左からj番目(但し、1≦j≦4)のウェルを、ウェルCjとも称し、そのウェルのウェル番地がCjであるとする。
したがって、例えば、図4中、左上のウェルは、ウェルA1であり、中央の列の左から4番目のウェルは、ウェルB4である。また、実際の容器14上のウェルについても、テンプレート上のウェルと同様に、ウェルAj,ウェルBj,ウェルCj(但し、1≦j≦4)などと称することとする。
さらに、表示制御部64は、観察制御部62から供給されたステージ21の位置情報に基づいて、テンプレート画像121上に、現時点における観察視野の中心の位置を示す観察マーク122を表示させる。この位置は、対物レンズ24の光軸との交点の位置と一致している。
図4の例では、観察マーク122は、仮想ウェルプレートにおけるウェルB3内に表示されている。したがって、観察画面111には、ステージ21上の容器14における、ウェルB3内にある標本の観察画像が表示されていることになる。
上述したように、テンプレートは、ステージ21に実際に載置された容器14と同じ種別のものが選択される。そのため、容器14には、マップウィンドウ112に表示されている仮想ウェルプレート(テンプレート)と同じ配列でウェルが設けられている。したがって、仮想ウェルプレート上の観察マーク122に示される位置に対応する、容器14上の位置が、実際に顕微鏡11により観察されていることになる。
このように、マップウィンドウ112に、テンプレート画像121および観察マーク122を表示することにより、観察者は、ステージ21にどのような容器14が載置されており、その容器14のどの位置を観察しているかを容易に把握することができる。
また、選択操作ウィンドウ113には、顕微鏡11の光学系中に配置される蛍光フィルタや、標本の観察倍率を選択するためのアイコンが設けられており、観察者は、入力部31を操作してこれらのアイコンを選択することで、蛍光フィルタや観察倍率を変更できる。
例えば、選択操作ウィンドウ113内のアイコンが操作されると、コントローラ13は、観察制御部62の指示に応じて、顕微鏡11の蛍光フィルタを変更させたり、レボルバ25を駆動させて、観察光の光路上に配置される対物レンズ24を変更させたりする。
観察条件調整ウィンドウ114には、観察画像の撮影時の露光条件や、標本に照射される照明光の明るさなど、標本の観察条件を調整するためのアイコンが設けられている。観察者は、入力部31を操作してこれらのアイコンを操作することで、露光条件や照明光の明るさを調整することができる。
例えば、観察条件調整ウィンドウ114内のアイコンに対する操作がなされると、コントローラ13は、観察制御部62の指示に応じて顕微鏡11を制御し、カメラ26における露光時間や、光源23からの照明光の明るさ(光量)を変更させる。
ステージ操作ウィンドウ115には、ステージ21をx,yの各方向に移動させるときに操作されるアイコン、および対物レンズ24(レボルバ25)をz方向に移動させるときに操作されるアイコンが設けられている。観察者は、入力部31を操作してこれらのアイコンを操作することで、ステージ21や対物レンズ24を移動させることができる。
図3のフローチャートの説明に戻り、表示部33に観察ウィンドウ101が表示されると、観察者は入力部31を操作して、ステージ21に載置された容器14全体の撮影画像であるマクロ画像を取得するモードの選択を指示する。
ステップS13において、撮影制御部71は、観察者の操作に応じてマクロ画像を取得するモードを選択し、マクロ画像を撮影させる。
すなわち、観察制御部62は、コントローラ13を制御して、容器14内の標本の観察を、蛍光観察から明視野観察に切り替えさせる。具体的には、観察制御部62は、標本からの観察光の光路上に配置される対物レンズ24を、低倍率のものに変更させるとともに、光源23の動作を停止させ、光源22から照明光を射出させる。
これにより、光源22からの照明光が容器14に照射されて、容器14からの観察光が、低倍率の対物レンズ24を通ってカメラ26に入射することになる。また、この状態で、使用者は、対物レンズ24の焦点位置が、容器14の中央付近のウェル内の標本の位置となるように、対物レンズ24をz方向に移動させる。つまり、標本に合焦するように対物レンズ24が移動される。
具体的には、まず、観察制御部62は、対物レンズ24の光軸中心が、記録部61に記録されているテンプレートのウェルB2に対応する、容器14のウェル内に位置するようにステージ21を移動させる。そして使用者は、容器14の任意の対象にピントが合うように対物レンズ24を移動させる。使用者は合焦動作を終了すると、不図示のアイコンをクリックするなどにより観察制御部62に合焦動作が終了したことを通知する。また、観察制御部62は、その容器14にピントが合った状態における対物レンズ24のz方向の位置Z0を一時的に保持する。
次に、観察制御部62は、コントローラ13を制御して、ステージ21をxy方向に所定量ずつ移動させるとともに、撮影制御部71は、ステージ21の移動に同期させて、コントローラ13にステージ21の各位置での観察画像の撮影を指示する。
このようにして、ステージ21の各位置での容器14を撮影することにより、観察制御部62は、複数の観察画像を得る。そして、観察制御部62は、このようにして得られた観察画像を、それらの撮影位置と同じ配置で並べて合成することで1つの画像を生成し、得られた画像をマクロ画像とする。
これにより、例えば、図5に示すマクロ画像151が得られる。なお。マクロ画像151において、1つの長方形は、撮影により得られた1つの観察画像を示している。つまり、マクロ画像151は、図中、縦方向に13枚、横方向に12枚の合計156枚の観察画像からなる。
また、マクロ画像151の中央には、ステージ21上に配置された容器14の画像が表示されている。この容器14には、縦方向に3つ、横方向に4つの合計12個のウェルが設けられており、マクロ画像151上において、容器14は図中、右上方向に傾いている。
なお、マクロ画像を撮影するときに、対物レンズ24のz方向の位置を固定したまま各領域での観察画像を撮影するのは、各位置において、多少、容器14に焦点が合っていなくても、容器14全体の画像が得られればよいからである。また、対物レンズ24の焦点の位置合わせが容器14のほぼ中央のウェル内で行われるのは、容器14が傾いていたとしても、他の位置で焦点の位置合わせをする場合と比べて、マクロ画像の各位置でのぼけをより少なくすることができるからである。
また、マクロ画像は、複数枚の観察画像から生成されると説明されたが、ウェルプレート自体がかなり小さい特殊な複数のウェルを持つ容器では、1枚の画像とされてもよい。そのような場合、複数の対物レンズ24のなかから、観察視野内に容器14全体が収まる視野を持つものが選択されて、観察光の光路上に配置される。
このようにしてマクロ画像が得られると、観察制御部62は、生成したマクロ画像を表示制御部64に供給し、マップウィンドウ112への表示を指示する。
ステップS14において、表示制御部64は、観察制御部62からのマクロ画像を表示部33に供給し、マップウィンドウ112にマクロ画像を表示させる。
これにより、マップウィンドウ112には、例えば、図6に示すように、マクロ画像151がテンプレート画像121に重畳(スーパーインポーズ)されて表示される。図6の例では、テンプレート画像121の仮想ウェルプレートと、マクロ画像151上のウェルプレートがずれて表示されている。マクロ画像を取得したウェルプレートはステージ21に設けられた図示していない位置決め機構によって位置決めされて固定されているが、その位置決め機構には位置決め誤差や大きさにばらつきがあるため、ウェルプレートのマクロ画像151がテンプレート画像121と表示されてしまう。
そこで、表示制御部64は、マクロ画像151上のウェルプレートと、テンプレート画像121上の仮想ウェルプレートとの位置関係が、実際の容器14(ウェルプレート)と仮想ウェルプレートとの位置関係と一致するようにマクロ画像151を表示させる。すなわち、マップウィンドウ112において、ウェルプレートが仮想ウェルプレートに対してずれていれば、実際の容器14も、仮想ウェルプレートに対して、マップウィンドウ112の表示と同じ方向に同じ分だけずれて配置されていることになる。
図3のフローチャートの説明に戻り、マップウィンドウ112にマクロ画像151が表示されると、観察制御部62は、コントローラ13を制御して、対物レンズ24をマクロ画像の取得前のものに変更させる。また、観察制御部62は、コントローラ13を制御して、ステージ21の位置を、マクロ画像の取得前と同じ位置に移動させる。
ステップS15において、観察制御部62は、コントローラ13を制御して、標本の観察を明視野観察から蛍光観察に切り替えさせる。コントローラ13は、観察制御部62の指示に従って、光源22の動作を停止させ、光源23から照明光を射出させる。これにより、光源23からの照明光が標本に照射されるようになり、標本の蛍光観察が可能となる。
ところで、上述したように、観察区域情報により示される容器14の各ウェルの位置は、実際にステージ21に載置される容器14が、仮想基準位置に配置されることが前提とされている。しかしながら、実際には、図6に示したように、容器14が正確にテンプレート情報が示す位置に載置されないことがある。
このように、容器14の載置位置にずれが生じると、観察区域情報から正確にウェルの位置を特定することができなくなってしまう。そこで、顕微鏡観察システムでは、より正確に観察の対象となっている領域、つまり対物レンズ24の観察視野の中心の位置を特定できるように、観察区域情報を補正できるようになされている。
この観察区域情報の補正は、観察者が、テンプレート画像121とマクロ画像151が重なるようにテンプレート画像121を移動させて、その表示位置を修正させたときに、テンプレート画像121の修正時の移動方向と移動量に応じて行われる。
観察者は、マップウィンドウ112に表示されたテンプレート画像121と、マクロ画像151とを見て、観察区域情報の補正が必要だと判断した場合には、入力部31を操作して、テンプレートの表示位置を任意の位置に移動させる。
例えば、観察者は、図7に示すように、マップウィンドウ112上においてマクロ画像151のウェルプレートとテンプレートとが完全に重なるように、テンプレート(仮想ウェルプレート)を任意の方向に平行移動させたり、回転移動させたりする。
ステップS16において、観察制御部62の修正制御部72は、観察者の操作に応じて表示制御部64を制御し、テンプレートの表示位置を修正する。すなわち、修正制御部72は、入力部31から供給された信号に基づいて、表示制御部64にテンプレートの移動方向および移動量を通知し、マップウィンドウ112上におけるテンプレートの移動を制御する。表示制御部64は、修正制御部72からの通知に基づいてマップウィンドウ112上のテンプレートを移動させる。
このとき、マップウィンドウ112において、マクロ画像151は固定されたままとされ、テンプレート画像121(テンプレート)の表示位置だけが移動する。また、図7に示したように、テンプレートとマクロ画像151が重なった状態となると、観察者は、入力部31を操作して、テンプレートの修正の実行を指示する。
すると、修正制御部72は、観察者の操作に応じて、テンプレートの移動前の位置と、最終的にテンプレートがマクロ画像151に重なった状態となったときのテンプレートの位置とに基づいて、テンプレートの移動方向および移動量を求める。そして、修正制御部72は、求めた移動方向および移動量を判別部63の補正部73に供給し、補正部73に各ウェルの観察区域情報の補正を指示する。
なお、より詳細には、テンプレートの移動方向とは、テンプレートを平行移動させた方向と、テンプレートを回転移動させた方向をいい、テンプレートの移動量とは、テンプレートの平行移動および回転移動のそれぞれの移動量をいう。
ステップS17において、補正部73は、修正制御部72から供給されたテンプレートの移動方向および移動量に基づいて、各ウェルの観察区域情報を補正する。
例えば、補正部73は、観察区域情報と、テンプレートの移動方向および移動量とから、テンプレートの各ウェルの中心の移動後の位置(xy座標)を求め、それらの位置を示す情報と、ウェルの半径rとからなる情報を、補正後の観察区域情報とする。つまり、ウェルの中心の移動後の位置(ステージ21のxy座標)と、観察区域情報に含まれる移動前のウェルの位置(ステージ21のxy座標)との差分が、そのウェルの観察区域情報の補正値となる。
このように、観察区域情報を補正することにより、ステージ21に載置された実際の容器14の各ウェルの位置と、観察区域情報により示されるウェルの位置とのずれが修正される。これにより、対物レンズ24の観察視野の位置をより正確に特定することができる。
なお、観察者が、テンプレートの位置が、得られたマクロ画像151の位置に対してずれていないと判断し、テンプレートの表示位置の修正を指示しなかった場合には、テンプレートの表示位置の修正および観察区域情報の補正は行われない。
また、テンプレートの表示位置の修正では、テンプレートが平行移動または回転移動されると説明したが、テンプレートが拡大または縮小されるようにしてもよい。そのような場合、観察区域情報の補正は、テンプレートの移動方向、移動量、拡大縮小の倍率に基づいて求められる。例えば、テンプレート上の特徴点を予め複数定めておき、テンプレートの修正前後の特徴点の位置の変化に基づいて方程式を立て、その方程式を解くことにより、補正後の各ウェルの中心の座標が求められる。
テンプレート画像121の表示位置の修正と、観察区域情報の補正とが行われると、観察者は、ステージ操作ウィンドウ115内のアイコン等を操作して、容器14上の任意のウェル内から、観察目的に合った標本を探し出し、標本を蛍光観察する。
ステップS18において、観察制御部62は、入力部31からの信号に基づいて、観察者によりxy方向へのステージ21の移動が指示されたか否かを判定する。
ステップS18において、ステージ21のxy方向への移動が指示されなかったと判定された場合、ステージ21を移動させないので、処理はステップS20に進む。
これに対して、ステップS18において、ステージ21のxy方向への移動が指示されたと判定された場合、ステップS19において、観察制御部62は、観察者の指示に応じてコントローラ13を制御し、ステージ21をxy方向に移動させる。
なお、観察制御部62は、観察者により対物レンズ24のz方向の移動が指示された場合には、コントローラ13を制御して、対物レンズ24を移動させる。このようにして、観察者は、対物レンズ24やステージ21を移動させながら、任意のウェル内から、目的とする標本を見つけ出す。
観察者は、撮影に適した標本を見つけ出すと、ステージ21のxy方向の位置および対物レンズ24のz方向の位置の微調整を行い、観察画像の撮影位置やピントを定める。そして、観察者は、入力部31を操作することで、観察ウィンドウ101の観察条件調整ウィンドウ114上のアイコンを操作して、露光条件や照明光の明るさを調整し、さらに入力部31を操作して、観察画像の撮影を指示する。
ステップS19においてステージ21が移動されたか、またはステップS18において、ステージ21の移動が指示されなかったと判定された場合、ステップS20の処理が行われる。すなわち、ステップS20において、撮影制御部71は、入力部31からの信号に基づいて、観察画像の撮影が指示されたか否かを判定する。ステップS20において、撮影が指示されなかったと判定された場合、観察画像の撮影は行わないので、処理はステップS26に進む。
一方、ステップS20において、撮影が指示されたと判定された場合、ステップS21において、撮影制御部71は、コントローラ13に観察画像の撮影を指示し、観察画像を撮影させる。コントローラ13は、撮影制御部71の指示に応じてカメラ26に観察画像を撮影させ、カメラ26から供給された観察画像を観察制御部62に供給する。なお、撮影制御部71からは、静止画像を取得するようにコントローラ13に指示してもよいし、コントローラ13から供給されたライブ画像から観察画像の1フレーム分をキャプチャして、観察画像としてもよい。
観察制御部62は、供給された観察画像を表示制御部64に供給し、観察画面111に表示させる。また、観察制御部62は、コントローラ13から供給されるステージ21の位置情報に基づいて、表示制御部64へマップウィンドウ112の対象位置に撮影マークを表示する指示を行う。
表示制御部64は、観察制御部62の指示に応じて表示部33を制御し、マップウィンドウ112内のテンプレート画像121上における、観察画像が撮影された位置に対応する位置に、撮影マークを表示させる。この撮影マークは、観察画像が撮影された位置を示す画像である。
これにより、マップウィンドウ112には、例えば、図8に示す撮影マーク181−1乃至撮影マーク181−3が表示される。なお、図8において、撮影マーク181−1乃至撮影マーク181−3のそれぞれは、1つの観察画像が撮影された位置を示している。なお、以下、撮影マーク181−1乃至撮影マーク181−3のそれぞれを個々に区別する必要のない場合、単に撮影マーク181とも称する。
図8の例では、容器14上のウェル番地A1のウェル内の3箇所において、少なくとも1枚ずつ観察画像が撮影されたことになる。撮影マーク181は、観察画像が撮影されるごとに、その観察画像が撮影された位置に表示されていく。このように、観察画像が撮影された位置に、撮影マーク181を表示させることにより、観察者は、容器14上のどの位置で観察画像を撮影したかを簡単に知ることができる。
図3のフローチャートの説明に戻り、撮影マークを表示させると、観察制御部62は、さらに、観察画像が撮影されたときのステージ21の位置情報(xy座標)を判別部63に供給し、観察画像が撮影された領域の特定を指示する。
すると、ステップS22において、判別部63は、一時的に保持している補正後の観察区域情報と、観察制御部62からの位置情報とに基づいて、観察画像が撮影された容器14上のウェルを特定する。すなわち、観察画像が撮影されたときの対物レンズ24の観察視野の中心が、容器14上のどの位置にあったかが特定される。
例えば、判別部63は、保持しているテンプレート情報に含まれる複数の観察区域情報のうちの1つを選択する。そして、判別部63は、位置情報により示されるステージ21のxy座標が、選択した観察区域情報により示されるウェルの中心のxy座標を中心とする、ウェルの半径rの円の領域内の座標である場合、観察画像の撮影位置が、そのウェル内であるとする。つまり、観察画像が撮影されたときの対物レンズ24の観察視野の中心が、そのウェル内に位置していたと特定される。
また、判別部63は、保持している全ての観察区域情報について、観察画像の撮影位置が、観察区域情報に示されるウェル内ではないとされた場合、観察画像の撮影された位置は、容器14におけるウェルの領域とは異なる領域であるとする。すなわち、例えば、ウェル同士の間に設けられたウェル壁の領域に、対物レンズ24の光軸が位置する状態で観察画像が撮影されたとする。
判別部63は、観察画像の撮影位置、つまり観察の対象となった領域を特定すると、その特定結果を観察制御部62に供給する。
例えば、観察画像が撮影された位置が、容器14上のウェルA4であると特定された場合、判別部63は、観察画像の撮影位置がウェル番地A4のウェルである旨の特定結果を観察制御部62に供給する。また、例えば、観察画像が撮影された位置が、容器14上のウェルの領域とは異なる領域であると特定された場合、判別部63は、観察画像の撮影位置がウェルの領域以外の領域である旨の特定結果を観察制御部62に供給する。
ステップS23において、観察制御部62は、判別部63からの特定結果に基づいて、観察画像の撮影位置が容器14上のウェル内であるか否かを判定する。
ステップS23においてウェル内であると判定された場合、ステップS24において、観察制御部62は、撮影された観察画像とともに、観察画像が撮影された容器14のウェルを特定するウェル番地等を記録部61に供給し、観察画像とウェル番地を記録させる。
すると、記録部61は、観察制御部62から供給された観察画像と、ウェル番地とを関連付けて記録する。例えば、観察画像の撮影が行われたウェルが、ウェルA1であり、その観察画像の撮影が、ウェルA1内での1箇所目の撮影であった場合、観察画像のファイル名が「A1−1」などとされて観察画像が記録される。これにより、各観察画像がどの位置で撮影されたものであるかを観察者に対して提示することができる。また、観察者がいちいち各観察画像の撮影位置を記録したり、入力したりする必要もなくなり、より簡単に、かつ間違いなく観察画像の管理をすることができるようになる。
なお、観察画像には、ウェル番地の他、露光時間などの観察条件や、ステージ21の位置情報、対物レンズ24のz方向の位置を示す座標なども関連付けられて記録されるようにしてもよい。
ステップS24において観察画像が記録されると、その後、処理はステップS26に進む。
一方、ステップS23においてウェル内ではないと判定された場合、ステップS25において、観察制御部62は観察者に警告を発し、その後、処理はステップS26に進む。
例えば、観察制御部62は、表示制御部64に対して警告の表示を指示し、表示制御部64は、その指示に応じて、観察ウィンドウ101上の観察画面111に、「観察画像の撮影位置がウェル内ではありません」等の文字メッセージを表示させる。また、観察制御部62が、観察画面111に表示された文字メッセージと同じ内容の音声メッセージを、図示せぬスピーカに出力させるようにしてもよい。
このように、観察画像の撮影位置が、容器14上のウェル内の領域でない場合、撮影された観察画像は、ウェル内の標本が表示される画像ではないため、観察画像の記録は行われない。これにより、無駄な観察画像が記録されてしまうことを防止することができる。なお、警告が発せられた場合でも、観察画像が記録部61に記録されるようにしてもよい。
ステップS25において警告が発せられたか、ステップS24において観察画像が記録されたか、またはステップS20において撮影が指示されなかったと判定された場合、ステップS26において、観察制御部62は処理を終了するか否かを判定する。例えば、観察者が入力部31を操作して、標本の観察の終了を指示した場合、処理を終了すると判定される。
ステップS26において、処理を終了しないと判定された場合、処理はステップS18に戻り、上述した処理が繰り返される。すなわち、容器14上の任意のウェル内での観察が継続して行われる。
また、ステップS26において、処理を終了すると判定された場合、観察制御部62は、コントローラ13を制御して顕微鏡11での観察を終了させ、観察処理は終了する。
このようにして、顕微鏡観察システムは、マップウィンドウ112にテンプレートとマクロ画像を重畳して表示させるとともに、観察者の操作に応じてテンプレートの表示位置を修正する。また、顕微鏡観察システムは、テンプレートの修正結果に基づいて、テンプレートの各ウェルの観察区域情報を補正する。
このように、テンプレートの修正結果に基づいて、各ウェルの観察区域情報を補正することにより、テンプレートの各ウェルの位置と、実際にステージ21上に載置されている容器14の各ウェルの位置とを一致させることができる。したがって、観察の対象となっている対物レンズ24の観察視野の位置をより正確に特定することができる。また、観察画像に対して、その観察画像が撮影された正確なウェル番地を関連付けて記録できるようになる。
なお、以上においては、テンプレート画像121の移動方向および移動量に基づいて、観察区域情報が補正されると説明したが、観察区域情報の補正は、実際の容器14上のウェルの位置と、観察区域情報により示されるウェルの位置とのずれが修正されれば、どのように行われてもよい。
例えば、ステージ21上にテンプレート情報が示す容器14の輪郭線の一部を示す位置を表す線等が予め引かれており、観察者がその線と容器14の該当する輪郭とのずれ量を計測し、その計測結果を、入力部31を操作して入力すると、その入力に基づいて、補正部73が観察区域情報を補正するようにしてもよい。また、例えば、容器14の配置位置のテンプレート情報が示す位置に対するずれ量を検出するセンサを、予めステージ21に設けておき、そのセンサの出力に基づいて、補正部73が観察区域情報を補正するようにしてもよい。
さらに、例えば、補正部73が、マクロ画像から容器14の輪郭を抽出し、抽出した容器14の輪郭の画像と、テンプレート画像とを用いたパターンマッチングにより、容器14のずれ量を検出して観察区域情報を補正するようにしてもよい。
さらに、以上においては、容器14としてウェルプレートが用いられる例について説明したが、容器14として複数の区域に仕切られた4分割ディッシュなどが用いられてもよい。
例えば、テンプレートとして、4分割ディッシュが選択された場合、図9に示すように、マップウィンドウ112には、4分割ディッシュを表すテンプレート画像211が表示される。この場合、テンプレート情報に含まれる観察区域情報は、4分割ディッシュに設けられた、標本が入れられる各区域の位置を特定するための情報とされる。
また、マクロ画像を取得するモードの選択が指示されると、ステージ21上に載置された4分割ディッシュのマクロ画像の撮影が行われ、その結果、例えば、図10に示す4分割ディッシュのマクロ画像241が得られる。そして、図11に示すように、マップウィンドウ112には、マクロ画像241がテンプレート画像211に重畳(スーパーインポーズ)されて表示される。
さらに、図12に示すように、観察者の入力部31への操作により、マップウィンドウ112上のテンプレート画像211(テンプレート)が、マクロ画像241上の容器14と重なるように、テンプレート画像211が移動される。そして、テンプレート画像211の移動方向および移動量から、観察区域情報が補正される。
〈第2の実施の形態〉
[顕微鏡観察システムの動作]
また、以上においては、観察者の操作により観察画像が撮影されると説明したが、観察者が観察画像を撮影する位置(以下、撮影ポイントと称する)を登録しておき、それらの登録された位置でタイムラプス観察が行われるようにしてもよい。
そのような場合、観察者が容器14をステージ21上に載置し、入力部31を操作してタイムラプス観察時の撮影ポイントの指定の開始を指示すると、顕微鏡観察システムは、その指示に応じて撮影ポイントの登録を行なう処理である登録処理を開始する。
以下、図13のフローチャートを参照して、顕微鏡観察システムによる登録処理について説明する。なお、図13において、ステップS61乃至ステップS69の処理のそれぞれは、図3のステップS11乃至ステップS19の処理のそれぞれと同様であるので、その説明は省略する。
観察者は、撮影に適した標本を見つけ出すと、ステージ21のxy方向の位置および対物レンズ24のz方向の位置の微調整を行い、観察画像の画角やピントを定める。そして、観察者は、入力部31を操作することで、ステージ21のxy方向の位置、および対物レンズ24のz方向の位置を、観察画像を撮影する位置である撮影ポイントとして登録するように指示する。
ステップS70において、観察制御部62は、撮影ポイントの登録が指示されたか否かを判定する。
ステップS70において、登録が指示されなかったと判定された場合、処理はステップS75に進む。
これに対して、ステップS70において、登録が指示されたと判定された場合、観察制御部62は、登録が指示された時点でのステージ21の位置情報を判別部63に供給して、容器14上の位置の特定を指示し、処理はステップS71に進む。
ステップS71において、判別部63は、一時的に保持している補正後の観察区域情報と、観察制御部62からの位置情報とに基づいて、登録が指示された撮影ポイントが含まれる容器14上のウェルを特定する。
すなわち、ステップS71では、図3のステップS22の処理と同様の処理が行われ、撮影ポイントの登録が指示されたときの対物レンズ24の観察視野の中心が、容器14上のどの位置にあったかが特定される。
判別部63は、撮影ポイントの位置、つまり観察の対象となった領域を特定すると、その特定結果を観察制御部62に供給する。
ステップS72において、観察制御部62は、判別部63からの特定結果に基づいて、撮影ポイントの位置が容器14上のウェル内であるか否かを判定する。
ステップS72においてウェル内であると判定された場合、ステップS73において、観察制御部62は、判別部63からの特定結果に基づいて、指示された撮影ポイントを特定するための撮影位置登録情報を生成する。そして、観察制御部62は、生成した撮影位置登録情報を記録部61に供給して記録させる。
例えば、登録が指示された時点でのステージ21の位置情報、対物レンズ24のz方向の位置、撮影ポイントを特定する識別番号、および照明光の明るさや露光時間等の現時点での標本の観察条件を示す情報からなる撮影位置登録情報が生成される。
ここで、撮影ポイントの識別番号は、撮影ポイントが含まれるウェルのウェル番地と、そのウェル内における何個目の撮影ポイントであるかを示す情報からなる。具体的には、撮影ポイントがウェルA1内に位置する2個目の撮影ポイントであるとすると、その撮影ポイントの識別番号は、「A1−2」とされる。
なお、撮影位置登録情報は、登録された順番に並べられて記録される。したがって、制御装置32は、撮影位置登録情報が並べられている順番から、タイムラプス観察時に、観察画像を撮影していく撮影ポイントの順番を知ることができる。
さらに、観察制御部62は、撮影位置登録情報が記録されて撮影ポイントが登録されると、マップウィンドウ112における、その撮影ポイントの位置に、登録された撮影ポイントであることを示す登録マークを表示させるように、表示制御部64に指示する。すると、表示制御部64は、観察制御部62からの指示に応じて、表示部33を制御し、マップウィンドウ112に、登録マークを表示させる。これにより、ウェル内の同じ標本の位置を、観察者が撮影ポイントとして重複して登録してしまうことを防止することができる。
このようにして、記録部61に撮影位置登録情報が記録されると、その後、処理はステップS75に進む。
また、ステップS72においてウェル内ではないと判定された場合、ステップS74において、観察制御部62は観察者に警告を発し、その後、処理はステップS75に進む。例えば、ステップS74では、図3のステップS25と同様の処理が行われて、観察画面111に、観察画像の撮影位置がウェル内ではない旨の文字メッセージが表示される。
このように、登録しようとする撮影ポイントの位置が、容器14上のウェル内の領域でない場合、撮影ポイントで撮影される観察画像は、ウェル内の標本が表示される画像ではないため、撮影ポイントの登録は行われない。これにより、タイムラプス観察時に、無駄な観察画像が記録されてしまうことを防止することができる。なお、警告が発せられた場合でも、撮影ポイントが登録されるようにしてもよい。
ステップS74において警告が発せられたか、ステップS73において撮影ポイントが登録されたか、またはステップS70において登録が指示されなかったと判定されると、ステップS75の処理が行われる。
すなわち、ステップS75において、観察制御部62は、観察動作条件の入力が指示されたか否かを判定する。
例えば、観察者は、全ての撮影ポイントの登録を終えると、入力部31を操作して、タイムラプス観察の撮影時間間隔、撮影回数(ラウンド数)など、タイムラプス観察を行うときの観察動作条件の入力を指示する。観察制御部62は、入力部31から、観察動作条件の入力を指示する旨の信号が供給されると、入力が指示されたと判定する。
ステップS75において、観察動作条件の入力が指示されなかったと判定された場合、処理はステップS68に戻り、上述した処理が繰り返される。
これに対して、ステップS75において、観察動作条件の入力が指示されたと判定された場合、ステップS76において、観察制御部62は、観察者により入力された観察動作条件を示す観察動作条件情報を記録部61に供給し、記録させる。
例えば、観察者が、撮影時間間隔として30分を指定し、撮影回数として49回を指定したとすると、観察制御部62は、観察動作条件として、撮影時間間隔「30分」および撮影回数「49回」を示す観察動作条件情報を記録部61に供給して、記録させる。
この場合、登録された全ての撮影ポイントで観察画像を撮影する処理が、30分間隔で49回繰り返されることになり、これらの一連の処理が終了するまでに24時間(=30×(49−1)=1440分)かかることになる。
このようにして、記録部61に観察動作条件情報が記録されると、登録処理は終了する。
以上のように、顕微鏡観察システムは、テンプレートの修正結果に基づいて、各ウェルの観察区域情報を補正することにより、テンプレートの各ウェルの位置と、実際にステージ21上に載置されている容器14の各ウェルの位置とを一致させることができる。したがって、登録が指示された撮影ポイントの位置をより正確に特定することができ、標本の写らない無駄な撮影ポイントが登録されてしまうことを防止することができる。また、登録された撮影ポイントと、その撮影ポイントのある容器14上のウェルを特定する情報とを関連付けて記録できるようになる。
記録部61に、各撮影ポイントの撮影位置登録情報と、観察動作条件情報とが記録されると、観察者は顕微鏡観察システムに対して、それらの情報に基づくタイムラプス観察をさせることができるようになる。観察者が入力部31を操作して、タイムラプス観察を指示すると、顕微鏡観察システムは、その指示に応じてタイムラプス観察処理を開始する。
以下、図14のフローチャートを参照して、顕微鏡観察システムによるタイムラプス観察処理について説明する。
ステップS111において、観察制御部62は、記録部61に記録されている観察動作条件情報を参照して、各撮影ポイントにおける観察画像を撮影する時刻となったか否かを判定する。
ステップS111において、撮影する時刻となっていないと判定された場合、処理はステップS111に戻り、撮影する時刻となったと判定されるまで判定の処理が繰り返される。
これに対して、ステップS111において、撮影する時刻となったと判定された場合、ステップS112において、観察制御部62は、記録部61に順番に並べられて記録されている撮影位置登録情報を参照して、撮影ポイントを1つ選択する。
ステップS113において、カメラ26は、選択された撮影ポイントでの観察画像を撮影する。すなわち、観察制御部62は、選択した撮影ポイントの撮影位置登録情報に基づいてコントローラ13を制御し、対物レンズ24の観察視野の中心が撮影ポイントに位置するようにステージ21を移動させるとともに、撮影位置登録情報に示される位置に対物レンズ24を移動させる。また、観察制御部62は、撮影位置登録情報に基づいてコントローラ13を制御し、カメラ26における露光時間や、照明光の明るさも変更させる。さらに、撮影制御部71は、コントローラ13を制御して、選択された撮影ポイントにおける観察画像を撮影させる。
コントローラ13は、ステージ21やレボルバ25を移動させたり、露光時間や照明光の明るさを変更させたりするとともに、カメラ26に観察画像を撮影させ、撮影により得られた観察画像を観察制御部62に供給する。
また、観察画像の撮影時において、観察制御部62は、観察画像の撮影位置登録情報を表示制御部64に供給し、観察画像に関する情報の表示を指示する。すると、表示制御部64は、観察制御部62の指示に応じて表示部33を制御し、現在、どのウェルの何個目の撮影ポイントを撮影しているかを示す文字を観察画面111に表示させるとともに、マップウィンドウ112に、その撮影ポイントの撮影マークを表示させる。例えば、観察画面111に表示される文字は「ウェル番地B2のポイント2で観察画像を撮影しています」などとされる。
ステップS114において、観察制御部62は、コントローラ13から供給された観察画像と、撮影ポイントおよびラウンドを特定する情報とを記録部61に供給し、関連付けて記録させる。
例えば、撮影ポイントが、ウェルB2内の2個目の撮影ポイントであり、今回の観察画像の撮影が、その撮影ポイントの3回目の撮影である(3ラウンド目である)場合、観察制御部62は、観察画像のファイル名を「B2−2−0003」として記録させる。つまり、撮影ポイントの識別番号にラウンド数が付加された文字列がファイル名とされる。
ステップS115において、観察制御部62は、全ての撮影ポイントで観察画像を撮影したか否かを判定する。ステップS115において、まだ全ての撮影ポイントで観察画像を撮影していないと判定された場合、処理はステップS112に戻り、上述した処理が繰り返される。すなわち、次の撮影ポイントの観察画像が撮影される。
これに対して、ステップS115において、全ての撮影ポイントで観察画像を撮影したと判定された場合、1つのラウンドが終了したので、ステップS116において、観察制御部62は、全てのラウンドが終了したか否かを判定する。
ステップS116において、まだ全てのラウンドが終了していないと判定された場合、処理はステップS111に戻り、上述した処理が繰り返される。すなわち、次のラウンドでの観察画像の撮影が行われる。
一方、ステップS116において、全てのラウンドが終了したと判定された場合、タイムラプス観察処理は終了する。
このようにして、顕微鏡観察システムは、記録されている撮影位置登録情報および観察動作条件情報に基づいて、タイムラプス観察を行い、各撮影ポイントの観察画像を記録する。観察画像の記録時に、撮影ポイントとラウンド数とを特定できるようにファイル名を定めることで、より効率的、かつ確実に観察画像の管理を行うことができる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。