JP6478605B2 - 顕微鏡システムおよびその制御方法 - Google Patents
顕微鏡システムおよびその制御方法 Download PDFInfo
- Publication number
- JP6478605B2 JP6478605B2 JP2014250317A JP2014250317A JP6478605B2 JP 6478605 B2 JP6478605 B2 JP 6478605B2 JP 2014250317 A JP2014250317 A JP 2014250317A JP 2014250317 A JP2014250317 A JP 2014250317A JP 6478605 B2 JP6478605 B2 JP 6478605B2
- Authority
- JP
- Japan
- Prior art keywords
- stage
- image
- slide
- axis
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
Description
本明細書の開示は顕微鏡システムとその制御方法に関する。
近年、癌罹患率が大幅な増加傾向にあるが、癌の治療に際しては、癌の性状を鑑別する病理診断が重要であって、その診断内容如何によって治療方針が決まって行くと言う状況がある。がん発生の機序は遺伝子に起因する事が解っており、遺伝子に起きた異変が、細胞内形態の異型、細胞形態の異型、組織形態の異型などとなって現れる。これらの異型の形態を顕微鏡により観察し、組織型を判定するのが病理診断における形態診断である。
一方、近年の医療の進展により、癌細胞では、癌遺伝子がコードする特定タンパクの過剰発現が多く見られる事が解り、この過剰タンパクを検出する事で、癌の特徴を判別する事が可能になっている。タンパクの検出は、例えば、目標とするタンパクを特異的に染色し、組織の染色度合を細胞単位で顕微鏡観察する事で行う。この方法は、癌の機能的特徴を判定するものであって、病理診断における機能診断と呼ばれる。
形態診断、機能診断の何れにおいても、組織切片のミクロレベルの微細構造を顕微鏡により詳細に観察すること(以下、ミクロ観察、ミクロ診断)が必須であり、病理医にとって、光学顕微鏡はとりわけ重要なツールとなっている。また、顕微鏡による肉眼でのミクロ診断に際し、エビデンスとして重要な所見画像の記録を行いたい場合が多々生じるため、デジタルカメラが光学顕微鏡に装着され所見画像の記録に活用されている。また、デジタルカメラ(撮像素子)が組み込まれたデジタルスキャナやデジタル顕微鏡も利用可能である。このように、顕微鏡に加えて、撮像機能を提供するデジタルカメラが病理医にとって重要なツールとして加わりつつある。たとえば、デジタルカメラ(撮像素子)が搭載されたデジタル顕微鏡(特許文献1参照)は、スクリーニング操作の過程で必要に応じてエビデンス画像を容易に撮影することができるため便利性が高く、癌に限らず、広く病理診断における活用が望まれている。
一般に、病理医による病理診断では、以下に述べる手順で、組織切片の形態診断が行われる。即ち、形態診断の最初に行われるスクリーニングでは、一般染色(HE染色)された組織切片が載置されたスライドガラス(以下、スライド)を顕微鏡により低倍で観察して関心領域(ROI)と呼ばれる病変部を特定し、ROIを高倍で観察して詳細な診断が行われる。このとき、病理医は、観察視野を移動しながら、すなわち顕微鏡のXYステージ(スライド)を移動しながら低倍率と高倍率による観察を繰り返す。
たとえば、病理医は、スライドに載せられている被検体の全体を低倍率でスクリーニングして、詳細な観察が必要な個所(ROI)が観察されたステージの位置を記憶/記録しておく。そして、低倍率でのスクリーニングを終えた後、記憶または記録されているXYステージの位置をたよりにROIの観察位置を探し、高倍率に切り替えてスクリーニングを行う。あるいは、病理医は、低倍率スクリーニングで発見したROIを直ちに高倍率で観察するという手順を用いることもできる。
一方、機能診断では、通常、形態診断で特定の所見を有する組織切片の連続切片に対して、機能染色(形態診断における形態染色に対して、例えば、免疫組織化学染色による機能染色)を施し、顕微鏡による観察が行われる。すなわち、形態情報と機能情報とをスライド間で比較観察することが行われる。
また、形態診断において、隣接する複数の切片から作製された複数のスライドの形態画像を精度よく位置合わせし重畳して表示し、組織の厚み方向の変化を観察することは診断上有用である。
また機能診断において、一般染色(HE染色)による形態画像と(複数の)機能染色による機能画像とを精度よく位置合わせして重畳し、形態異型と機能の変化を比較観察することは診断上有用である。
しかしながら、顕微鏡システムにおいて、観察位置や静止画撮影の位置を病理診断に耐える精度で再現することができていなかった。例えば、ステージが有する位置の誤差、ステージ間の機差による誤差、あるいはスライド載置に伴う観察位置の座標変化等が生じていた。さらには、高精度な管理に未対応の既存スライドとの互換性や、対物レンズの変更による観察位置の変化については考慮されておらず、これらの要因が観察位置の再現の精度に悪影響を与えていた。したがって、これらの要因のうちの少なくとも何れかに起因した観察位置の変化に対してより普遍的な位置情報を提供し、顕微鏡による観察位置の再現性を向上することが望まれている。
そこで本発明の実施形態に係る顕微鏡システムは以下の構成を備える。すなわち、顕微鏡本体と、前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置し、ステージ基準位置を示すためのマークを有するステージと、前記ステージの前記X軸方向およびY軸方向の位置を取得する取得手段と、前記イメージセンサにより撮影された画像から、前記ステージに設けられたマークが示す前記ステージ基準位置と、前記ステージに載置されたスライドに設けられたマークが示すスライド基準位置を検出する検出手段と、前記スライド基準位置を検出できた場合には前記取得手段により取得される前記ステージの位置を前記スライド基準位置を基準とした座標で管理し、前記スライド基準位置を検出できなかった場合には前記ステージの位置を前記ステージ基準位置を基準とした座標で管理する管理手段とを備えることを特徴とする。
また、本発明のその他の実施形態に係る顕微鏡システムは、顕微鏡本体と、前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置するステージと、前記ステージの前記X軸方向およびY軸方向の位置を取得する取得手段と、前記イメージセンサにより撮影された画像から、前記ステージに載置されたスライドに設けられているマークによって示されるスライド基準位置を検出する検出手段と、前記取得手段により取得される前記ステージの位置を、前記検出手段により検出された前記スライド基準位置を基準とした座標で管理する管理手段と、を備え、前記管理手段は、前記顕微鏡本体の観察に使用される対物レンズに応じたスライド基準位置を用いることを特徴とする。
これにより、顕微鏡による観察位置をより普遍的な情報でより高精度に管理することが可能となる。
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、以下では、病理診断用に用いられる正立型であって、対物レンズが観察対象(スライド)の上側に配置され、観察光をスライド下面から投射する透過光観察を行う顕微鏡を本発明の実施形態として説明する。
本実施形態の位置管理顕微鏡システムは、病理診断に要求される所定精度で観察位置の位置管理を行い、過去の観察位置を正確に再現することを可能とする。そのため、位置管理の為の基準を有するスライドを使用し、更に、該スライドを載置した際、載置されたスライドの回転誤差を補正する手段を有する高精度なXYステージを具備する。更に、このXYステージは観察位置のXY座標値を直接的に把握する機能を有するとともに、装着されたデジタルカメラ(撮像素子)などとの相対的な位置関係の誤差など補正する手段を有する。ここで、病理診断に要求される所定精度は、関心領域(ROI)の最小サイズとなろう。細胞内の構造物は、μ台からサブμ台の範囲に分布しており、ここで観察される異型が病理診断で求められる最小サイズのROIと考えて良い。一方、通常使用する可視光用対物レンズでは、100倍における分解能は約0.2μm(緑色光550nmにて)であり、また、紫外光用対物レンズを用いれば約0.1μm(紫外光200nmにて)まで解像可能である。従って、ROIの最少サイズは、紫外解像限界0.1μmの例えば10倍として1μm角となる。よって、目標とすべき位置管理の精度は、解像限界の0.1μmであり、座標管理単位は、例えばその1/10として、0.01μm刻みとなる。以下では、このような位置精度を実現する位置管理顕微鏡システムについて説明する。又、本実施形態の位置管理顕微鏡システムは、位置管理の為の基準を有さない既存のスライドも、互換性の観点からサポートするべく、所定の対応手段を具備している。
図1は本実施形態による位置管理顕微鏡システム(以下、顕微鏡システム10)の基本構成を示す図である。顕微鏡システム10は、顕微鏡本体100、ステージ200、カメラ装着用のアダプタ部300、デジタルカメラ400、制御ユニット500を備える。ステージ200、アダプタ部300、デジタルカメラ400は本実施形態の位置管理に対応する構成、機能を有する。制御ユニット500は、コントローラ501とディスプレイ502を有する。コントローラ501はCPU511、メモリ512を含む(図15参照)。CPU511は、メモリ512に格納されたプログラムを実行することにより、後述する各種処理を実行する。また、コントローラ501は、表示部としてのディスプレイ502の表示制御を行う。
顕微鏡本体100を構成する鏡基121は、顕微鏡の各種構造物を取り付ける為の堅牢な本体フレームである。接眼鏡基122は鏡基121に固定され、接眼鏡筒123(本例では双眼)を接続する。光源ボックス124は、透過観察用の光源(たとえば、ハロゲンランプまたはLEDなど)を収納し、鏡基121に取り付けられる。Z摘み125は、Zベース130をZ軸方向(上下方向)へ移動させるための摘みである。Zベース130には、位置管理機能を提供するステージ200が載置される。Zベース130は,Z摘み125の回転に応じてZベース130をZ方向に移動するZベース移動機構131(図2(a)を参照)により鏡基121に装着されている。126は対物レンズユニットであり、光学倍率に応じた複数種類のユニットが存在する。リボルバ127は、複数種類の対物レンズユニット126を取り付けられる構造を有し、リボルバ127を回転させる事により、所望の対物レンズユニットを顕微鏡による観察のために選択する事が出来る。
ステージ200は、位置基準付きスライド(以下、スライド700)を搭載し、Z軸まわりに回転するΔΘステージ600と、スライド700を載置したΔΘステージ600をX方向とY方向を含むXY面上で移動するXYステージを含む。ΔΘステージ600はスライド700上の位置基準マークを基に回転ずれを補正する機能を提供する。また、ステージ200は、XYステージ上にXY方向の高精度スケールを具備したXYスケール板210を有している。X摘み201、Y摘み202はそれぞれステージ200をX方向、Y方向へ手動で移動するための摘みである。
アダプタ部300は、接眼鏡基122に鏡基マウント128を介してデジタルカメラ400を装着するための装着部として機能する、カメラ装着用のアダプタである。アダプタ部300は、デジタルカメラ400と鏡基マウント128との軸合せ機能を有する。鏡基マウント128は、位置決め基準が付与された所定のねじ込み機構を有する。
デジタルカメラ400は、アダプタ部300及び鏡基マウント128により、接眼鏡基122と所定の位置関係を保って、着脱可能に顕微鏡本体100に取り付けられる。デジタルカメラ400は、顕微鏡本体100により得られる顕微鏡画像を撮像する。デジタルカメラ400は、エビデンス記録を目的とするもので、例えば、USBインタフェースケーブル11を介してコントローラ501に接続され、コントローラ501からの指示により顕微鏡下の観察像を撮影する。撮影された観察像は、コントローラ501の制御下でディスプレイ502に表示される。デジタルカメラ400の撮像機能は、イメージセンサの出力をリアルタイムでモニタに表示する所謂ライブビューを行うためのライブ画像撮像機能と、静止画撮像機能を含む。ライブ画像撮像機能は静止画撮像機能よりも低解像度である。また、ライブ画像撮像機能および静止画撮像機能は、撮影された画像(動画、静止画)を所定のインタフェース(本実施形態ではUSBインタフェース)を介して外部装置へ送信することが可能となっている。
図2は、本実施形態による顕微鏡システム10の光学系を説明する図である。図2(a)に示すように、透過観察用の光源141、光源141からの光源光を集光するコレクタレンズ142が光源ボックス124に収納されている。143は視野絞りであり、スライド上の照明径を決める。視野絞り143を通った光源光は、ミラー144、中継レンズ145、開口絞り146、コンデンサレンズ147をとおり、スライド上の被検体(組織切片)に照射される。スライドガラス上の被検体を透過した光は、対物レンズユニット126内の対物レンズ148へ入る。対物レンズ148をとおった光は結像レンズ149を経てスプリットプリズム150に到達する。なお、コレクタレンズ142、中継レンズ145、コンデンサレンズ147、対物レンズ148、結像レンズ149などは、其々、通常複数枚のレンズの組み合わせで構成されている。
スプリットプリズム150は、ビームスプリッタとも呼ばれ、対物レンズ148からの光学像の光路を接眼光学系または撮像光学系に切り替える機能を有する。たとえば、接眼光学系用反射プリズム、及び、撮像光学系用ストレートプリズムをプッシュプルロッドによって入れ替える構成となっている。これにより、
・デジタルカメラ400(イメージセンサ401)による撮像のみとし、接眼鏡筒123からの観察を行えない状態、
・接眼鏡筒123からの観察のみで、イメージセンサ401による撮像を行えない状態、のいずれかの状態とすることができる。
・デジタルカメラ400(イメージセンサ401)による撮像のみとし、接眼鏡筒123からの観察を行えない状態、
・接眼鏡筒123からの観察のみで、イメージセンサ401による撮像を行えない状態、のいずれかの状態とすることができる。
または、上記構成に替えて、あるいは上記構成に加えて、接眼光学系とカメラ撮像光学系の両方に半分ずつの光量を通すハーフミラースプリットプリズムを配置してもよい。この場合、イメージセンサ401による撮像と接眼鏡筒123からの観察の両方を行える状態を提供可能となる。スプリットプリズム150をカメラ側に切り替えると、組織切片を透過した光はアダプタレンズ301を介して、デジタルカメラ400内のイメージセンサ401上に結像する。イメージセンサ401を有するデジタルカメラ400は、顕微鏡下の画像を撮像する。
接眼系の光路は接眼鏡筒123へ向かう光路である。図2(b)は接眼鏡筒123の接眼光学系の一例を説明する為の図であり、ジーデントップ式双眼鏡筒の例を示している。図2(b)において、右側の光学系は左眼用光学系であり、左眼用スプリットプリズム151により左眼系の一次像の結像面152に像が形成され、左眼用接眼レンズ153を介してユーザにより観察される。一方、図2(b)の左側の光学系は右目用光学系であり、右眼用平行プリズム154により右眼系の一次像の結像面155に像が形成され、右眼用接眼レンズ156を介してユーザにより観察される。
図2(a)に戻り、撮像光学系の光路には、アダプタ部300とデジタルカメラ400の装着により、アダプタレンズ301とイメージセンサ401が配される。アダプタレンズ301は、接眼鏡基122に取り付けられたアダプタ部300内に組込まれたレンズであり、通常、複数枚で構成される。アダプタレンズ301により、デジタルカメラ400内に配設されたイメージセンサ401の撮像面に観察像が形成され、デジタルカメラ400による顕微鏡画像の撮像が可能となる。
図3(a)は、位置管理に対応したステージ200の構成を示す斜視図である。図3(a)において、Xステージとしての位置管理面ステージ220はステージ200の最上面に位置し、Yステージ240上をX方向に移動する。Yステージ240は、ステージベース260上をY方向に移動する。ステージベース260は、顕微鏡本体100のZベース130上に固定される。ステージベース260、Yステージ240、位置管理面ステージ220によりXYステージが構成されている。位置管理面ステージ220には、XYスケール板210、ΔΘステージ600が配置、固定されており、ΔΘステージ600にはスライド700が載置される。
図3(b)は位置管理面ステージ220の上面を示す図である。上述したように、位置管理面ステージ220の上面には、ΔΘステージ600、XYスケール板210が配設されている。XYスケール板210の上面には、X方向移動時の位置管理に使われるX方向の軸情報を有するXエリアスケール211、及び、Y方向移動時の位置管理に使われるY方向の軸情報を有するYエリアスケール212、及び、XYの軸合せ基準としてのXYクロスハッチ213が極めて高精度に形成されている。なお、高精度位置管理を実現する基準とすべく、XYスケール板210の材質には、熱膨張係数が極めて小さい材質、たとえば合成石英が使用され、一体的に構成されている。
また、XYスケール板210のXエリアスケール211、Yエリアスケール212、XYクロスハッチ213における各パターンの作製には、半導体露光装置などのナノ技術が用いられる。たとえば、石英ウエハー上に、X軸及びY軸のラインの集合よりなるXエリアスケール211、Yエリアスケール212、XYクロスハッチ213を5nm〜10nmの精度でナノ技術により一体的に作製する。なお、Xエリアスケール211、Yエリアスケール212、XYクロスハッチ213を露光装置で描画することにより作製することも可能であるが、低コスト化を実現するにはナノインプリントを用いることが好適である。その後、機械加工により所定形状に切り出してXYスケール板210とする。この為、Xエリアスケール211のXY軸とXYクロスハッチ213のXY軸の一致度、Yエリアスケール212のXY軸とXYクロスハッチ213のXY軸の一致度、及び、X軸とY軸の直角度はナノレベル台で形成され得る。したがって、XYクロスハッチ213のX軸及びY軸は、Xエリアスケール211及びYエリアスケール212のX軸及びY軸をナノレベル台の精度で代表することが可能となる。なお、Xエリアスケール211、Yエリアスケール212、XYクロスハッチ213の夫々を個別に切り離したり、又は、個別に作製したりして、夫々を位置管理面ステージ上に所定の位置関係になるように配設する事も可能である。しかしながら、その実現には、機械的な誤差を補正する高度な位置合わせ技術が必要になりコスト増の要因になってしまう。
ΔΘステージ600上にはスライド700が載置される。その載置方向は、図3(b)に示す如く、例えばラベルエリア721が原点マーク701の左側となり、観察対象とカバーガラスの配置領域であるカバーガラスエリア722が原点マーク701の右側となるような方向とする。205で示される破線の領域は顕微鏡による観察対象領域である。観察対象領域205は、対物レンズ148の中心位置(あるいはイメージセンサ401の中心位置(観察位置))がXYステージに対して相対的に移動する範囲であり、スライド700とXYクロスハッチ213とをゆとりを持って包含するサイズとなっている。これにより、どの様な条件下でも、スライド700およびXYクロスハッチ213が観察対象領域205に入るようにしている。すなわち、スライド700のみならずXYクロスハッチ213も、撮像部であるデジタルカメラ400により撮影可能に配置されている。
また、本実施形態では、観察対象領域205の右上端をXYクロスハッチ上のクロスハッチ原点としており、これをステージ原点206と一致させている。また、対物レンズ148の中心(あるいはイメージセンサ401の中心(観察位置))とステージ原点206が一致した状態をステージ200のXY初期化位置とする。ただし、ステージ原点として他の場所を定義しても良い事は言うまでもない。なお、ステージ座標のX軸およびY軸、即ち、ステージX軸203及びステージY軸204は、夫々、XYクロスハッチ213のX及びY軸に平行である。
図3(c)にXエリアスケール211のスケールパターンの例を示す。Xエリアスケール211は、位置を検出するX方向への、透過部と遮光部による透過型回折格子として形成され、例えば、透過部及び遮光部は夫々2μm巾のラインであってこのペアが4μmピッチで配列されている。なお、スケールパターンは、周期的に光路長が異なるように段差が設けられた位相格子であってもよい。
図4(a)は、スライド700と、XYスケール板210上のXエリアスケール211、Yエリアスケール212、及び、XYクロスハッチ213とのZ方向の位置関係を示す図である。図4(a)に示す如く、スライド700の上面とXYスケール板210の上面とが、所定精度で同一平面内になるように、位置管理面ステージ220及びΔΘステージ600が設計される。したがって、ΔΘステージ600の上面は、XYスケール板210の上面よりもスライド700の厚みの分だけ低くなっている。このように、本実施形態では、XYスケール板210の上面(Xエリアスケール211、Yエリアスケール212、及び、XYクロスハッチ213の配置された面)とスライド700の上面を一致させている(ほぼ同一平面としている)。これにより、XYスケール板210上に配置された各マーク(パターン)とスライド700に設けられた各マーク(パターン)のZ方向の位置を一致させることができる。こうする事により、観察面、即ち、スライド700の上面部のXY位置を、外部にある位置基準(Xエリアスケール211及びYエリアスケール212)で高精度に管理する事が可能になる。XYクロスハッチ213は、Xエリアスケール211又はYエリアスケール212を代表する為に、これらと同一平面内に在る事が重要である。なお、実装上は、XYスケール板210の上面(マークが配置された面)とスライド700の上面が、Z方向に概ね0.5mmの範囲内に存在するようにすればよい。
Xエリアスケール211やYエリアスケール212のスケールパターンは、ステージベース260に対して固定された検出センサ(X軸センサ271、Y軸センサ272)により読み出され、ステージ200のXY座標が観察位置そのものに対して直接的に高精度に取得される。即ち、Xステージのリニアエンコーダから得たX方向に対する位置情報とYステージのリニアエンコーダからY方向に対する位置情報とを合わせてYステージの座標値を得るような、XYステージの軸(X軸またはY軸)毎の特定の一軸上の座標で座標値を代表する間接的方法は用いられない。本実施例では、XY方向に移動する位置管理面ステージ(Xステージ)220の移動が直接、XYスケール板210により計測される。これにより例えば、機械的なあそびあるいは誤差に伴う、Xステージ220がX方向に移動する際のY方向への微小な位置ずれや、Yステージ240がY方向に移動する際のX方向への微小な位置ずれについても検出センサで検出できるため、位置管理の精度を大きく向上させることができる。Xエリアスケール211及びYエリアスケール212と、X軸センサ271及びY軸センサ272とのZ方向の位置関係には、図4(b)及び(c)に示すように二通りの方法がある。第1の方法である図4(b)では、X軸センサ271,Y軸センサ272がXYスケール板210の上側(対物レンズ側)に配置される。この場合、遮光膜214をXYスケール板210の下面に設ける必要がある。第2の方法である図4(c)では、X軸センサ271,Y軸センサ272がXYスケール板210の下側(Zベース130側)に配置される。この場合、遮光膜214はXYスケール板210の上面に設けられる。なお、XYクロスハッチ213はデジタルカメラ400により観察される必要があるため、XYクロスハッチ213の位置には遮光膜は配置されない。
第1の方法では、図4(b)に示されるように、X軸センサ271,Y軸センサ272は、ステージベース260に固定されたエル型部材207を介して位置管理面ステージ220上に張り出したセンサ取付け部材208の下面に実装される。X軸センサ271,Y軸センサ272の各々の検出面は、位置管理面ステージ220上のXエリアスケール211、Yエリアスケール212を読むべく下向きとなる。第2の方法では、X軸センサ271,Y軸センサ272は、ステージベース260上に検出面を上向きにして、検出面が所定の高さとなるように実装される。最下位に位置するステージベース260上のX軸センサ271、Y軸センサ272は、Yステージ240、位置管理面ステージ220に設けられた所定サイズの孔を通して最上位にあるXエリアスケール211、Yエリアスケール212を下側から読む。
なお、X軸センサ271,Y軸センサ272のXY方向の配置は、第1および第2の方法で共通である。X軸センサ271のY方向の取付け位置は、顕微鏡の観察視野170(実際の観察視野の大きさよりもかなり大きく図示されている)の視野中心(対物レンズ148の中心)を通るX軸上とし、X方向の位置検出精度を担保する。また、Y軸センサ272の取付け位置は、顕微鏡の観察視野170(実際の観察視野の大きさよりもかなり大きく図示されている)の中心(視野中心(対物レンズ148の中心))を通るY軸上とし、Y方向の位置検出精度を担保する。XYスケール板210により、ステージ200のX座標、Y座標を得るためのXエリアスケール211、Yエリアスケール212、イメージセンサ401の軸合わせ(後述)のためのXYクロスハッチが同一部材の同一面上に設けられる。これにより、高精度なピッチ、直角度を有するX,Yエリアスケールと、これらの軸方向に高精度に一致したXYクロスハッチ得ることができ、高精度な座標の取得が可能となる。
なお、本実施形態では、斜行センサ273が設けられており、位置管理面ステージ220に微小な斜行や蛇行(複雑な斜行)が生じても位置管理精度を維持できるようにしている。図4(b)、(c)の例では、X軸方向で斜行を検知する構成が示されており、斜行センサ273がX軸センサ271の取付け位置のY方向に、所定間隔を置いて実装されている。X軸センサ271と斜行センサ273の間隔は遠い方が高精度となるので、両センサはステージの可動範囲においてXエリアスケール211から外れない限り離れて配置される。なお、斜行はY軸方向で検出してもよく、その場合は、斜行センサ273をY軸センサ272の取付け位置のX方向に所定間隔を置いて実装する。Xエリアスケール211とYエリアスケール212の直交性はその製作法から高精度であることが保証される為、XY方向のうちの一方向の斜行を検出すれば十分である。
なお、X軸センサ271,Y軸センサ272としては、同一出願人による特願2014−079401に記載された検出センサを用いることができる。ナノ技術による高精度エリアスケールとこの検出センサを用いると、例えば2000分の一の内挿演算により、10nm(0.01μm)以下の分解能及び0.1μmの位置精度が実現され得る。もちろん、これは一例であって、光学レンズを用いた他の市販検出センサをX軸センサ271、Y軸センサ272として用い、周知の内挿演算により、10nm(0.01μm)以下の分解能及び0.1μmの位置精度を実現しても良い。また、図3(c)に示されるスケールはインクリメンタルタイプの例であるが、アブソリュートタイプであっても良い。即ち、所定精度が得られれば、エンコーダ(スケールとセンサ)の方式は問わない。なお、Yエリアスケール212は、Xエリアスケール211をZ軸まわりに90度回転した形態のスケールパターンである。又、XエリアスケールがY軸情報を含んでいても、逆にYエリアスケールがX軸情報を含んでいても良い。
図5(a)、(b)にX軸センサ271、Y軸センサ272、斜行センサ273とXエリアスケール211、Yエリアスケール212との位置関係を示す。この関係は、上述した第1の方法によるセンサの配置でも、第2の方法によるセンサの配置でも同様である。
図5(a)は、顕微鏡による観察位置、即ち、顕微鏡による観察視野170(実際の観察視野の大きさよりもかなり大きく図示されている)の中心が、XY初期化位置、即ちステージ原点206に有る場合の各センサとスケールの位置関係を示している。この場合、位置管理面ステージ220は、鏡基121に対して左下端(左端かつ遠端)に位置する。一方、図5(b)は、顕微鏡による観察位置、即ち、観察視野170の中心が、観察対象領域205の左下端に有る場合の各センサとスケールの位置関係を示している。この場合、位置管理面ステージ220は、鏡基121に対して右上端(右端かつ近端)に位置する。
図5(a)(b)から、Xエリアスケール211、及び、Yエリアスケール212に必要なサイズが明らかとなる。即ち、
・Xエリアスケール211のサイズは、観察対象領域205のX方向移動量をゆとりを持って包含するサイズと、これに斜行検知の為に同等のサイズを加えた領域、すなわち、観察対象領域205の約2倍のサイズが必要となる。
・Yエリアスケール212のサイズは、観察対象領域205のY方向移動量をゆとりを持って包含するサイズが必要となる。
・Xエリアスケール211のサイズは、観察対象領域205のX方向移動量をゆとりを持って包含するサイズと、これに斜行検知の為に同等のサイズを加えた領域、すなわち、観察対象領域205の約2倍のサイズが必要となる。
・Yエリアスケール212のサイズは、観察対象領域205のY方向移動量をゆとりを持って包含するサイズが必要となる。
ただし、斜行検知をY方向で行う場合には、Yエリアスケール212において観察対象領域の約2倍のサイズが必要となり、Xエリアスケール211に必要なサイズは、観察対象領域205のX方向移動量をゆとりを持って包含するサイズとなる。
ここで、X軸センサ、Y軸センサ、斜行センサの夫々を複数にし、中間で引き継ぐ方式とすると各エリアスケールのサイズを小さくできる。これにより、位置管理面ステージ220の小型化が可能になる。図6(a)(b)に夫々のセンサを2個ずつにした場合の例を示す。なお、本例ではX軸センサ、Y軸センサの両方について引き継ぎを行う複数のセンサを配置したが、X軸センサ、Y軸センサのいずれかについて引き継ぎを行う複数のセンサを配置してもよい。
図6(a)(b)において、X軸センサ271、Y軸センサ272、斜行センサ273の中間(夫々、X及びY方向移動量が半分の位置)にX軸中間センサ271a、Y軸中間センサ272a、斜行中間センサ273aが配置されている。図6(a)は、観察視野170の中心がXY初期化位置、即ちステージ原点206に有る場合を、図6(b)は、観察視野170の中心が観察対象領域205の左下端に有る場合を示している。図5、図6の両図から明らかなように、中間センサとの引き継ぎにより、Xエリアスケール211はX方向に半分、Yエリアスケール212はY方向に半分のサイズで済むことになる。すなわち、X軸センサ271とX軸中間センサ271aは、X軸方向に沿って所定の間隔を持って配置されており、Xエリアスケール211のX軸方向の大きさは、上記所定の間隔よりも大きいがXYステージのX軸方向の移動範囲よりも小さくできる。Y軸中間センサ272aを設けた場合も同様である。よって、X軸センサ271、Y軸センサ272が一つずつの場合に比べて、XYスケール板210の大きさを小さくすることができる。
次に、XYスケール板210に設けられたXYクロスハッチ213について説明する。図7A(a)(b)は、XYクロスハッチ213のパターンを説明する図である。図7A(a)に示されるように、XYクロスハッチ213は、クロスハッチ290、クロスハッチ原点291、クロスハッチX軸292、クロスハッチY軸293の4種類の位置基準マークを具備する。クロスハッチX軸292、クロスハッチY軸293は、それぞれX方向、Y方向に伸びるライン状のパターンである。
クロスハッチ原点291は、ステージのXY初期化位置においてステージ原点206(すなわちステージ原点基準の座標を得るためのステージ基準位置)として使用され、観察対象領域205(対物レンズ148の中心が移動する領域)の右上端部に位置する。クロスハッチ290、クロスハッチX軸292、クロスハッチY軸293は、ステージ200におけるX軸及びY軸の基準である。ステージ200の各部は、このXYクロスハッチ213のX軸及びY軸に揃うように組み上げられるか、又は、組み上げた後に調整が行なわれる。すなわち、ステージ200のXY移動方向(ステージX軸203、ステージY軸204)とXYクロスハッチ213のXY方向が高精度に一致するように組み上げられる。これにより、ステージ200のXY移動方向が、夫々、Xエリアスケール211のX軸方向、及び、Yエリアスケール212のY軸方向に揃う事になる。こうして、XYスケール板210上のデジタルカメラ400により観察が可能な位置に配置されたXYクロスハッチ213は、ステージのX軸及びY軸の基準として、デジタルカメラ400のイメージセンサ401とステージ200とのXY軸合せに使用可能となる。なお、顕微鏡本体100へステージ200を取付ける際に、鏡基121とステージ200とのXY軸合せにも、XYクロスハッチ213を利用する事が可能である。
後述するように、本実施形態の顕微鏡システムでは、ステージ200のXY軸方向とステージ200に載置されたスライド700のXY軸方向とを、イメージセンサ401を介して高精度に一致させる。これにより、一つのスライドを置きなおして観察した場合の位置ズレや、異なるデジタル顕微鏡間のステージの特性の影響を受けない、普遍的な位置管理を可能としている。より具体的には、
・XYクロスハッチ213をデジタルカメラ400により撮像して得られた画像に基づいてステージ200とイメージセンサ401のXY軸方向を一致させ、
・スライド700のY軸マークをデジタルカメラ400を用いて撮像して得られた画像に基づいてスライド700とイメージセンサ401のXY軸方向を一致させる、
ことにより、ステージ200のXY軸方向とステージ200に載置されたスライド700のXY軸方向とを一致させるが、処理の詳細については後述する。
・XYクロスハッチ213をデジタルカメラ400により撮像して得られた画像に基づいてステージ200とイメージセンサ401のXY軸方向を一致させ、
・スライド700のY軸マークをデジタルカメラ400を用いて撮像して得られた画像に基づいてスライド700とイメージセンサ401のXY軸方向を一致させる、
ことにより、ステージ200のXY軸方向とステージ200に載置されたスライド700のXY軸方向とを一致させるが、処理の詳細については後述する。
図7A(b)に、クロスハッチ原点291、クロスハッチX軸292、クロスハッチY軸293、クロスハッチ290の4つのマークの寸法関係の具体例を示す。クロスハッチX軸292は複数の異なる太さのX軸ラインの複合体、クロスハッチY軸293は複数の異なる太さのY軸ラインの複合体であり、それぞれX軸方向の軸情報、Y軸方向の軸情報を有する。なお、各ラインの太さは複数の倍率の対物レンズに対応している。すなわち、クロスハッチX軸292、クロスハッチY軸293のそれぞれは、幅が異なる複数のラインから構成され、それら複数のラインは中心線(X軸あるいはY軸)を中心として線対象に配置されたラインパターンである。クロスハッチ原点291は、その中心がクロスハッチX軸292及びクロスハッチY軸293の中心線の交点と一致するように配置される。後述するX初期位置マーク234(図9(b))及びY初期位置マーク253(図10(b))は、クロスハッチ原点291に合わせて実装される。
クロスハッチY軸293のより詳細な構成例を図7B(c)、図7B(d)に示す。図7B(d)は、図7B(c)の中心部を拡大した図である。クロスハッチY軸293は、例えば、中心線を線対称軸とする同一幅のラインのペアが、幅を変えて複数対、線対称に配列された構成を有する。なお、中心線上には何らかのラインが存在しても良い。又、ラインとスペースの関係を反転させても良い。これにより、対物レンズ低倍時の画角においても、又、高倍時の画角においても、適切な数と太さのラインがライブ画像撮像機能や静止画撮像機能により撮像され、後述する重心検知において、所定の精度が担保される。クロスハッチX軸292は、クロスハッチY軸293を90度回転した構成を有する。クロスハッチX軸292及びクロスハッチY軸293を構成するライン又はスペースの中心線の間隔、ラインとスペースの境界(エッジ)の間隔、ライン又はスペースの幅などは、所定の値に設定されており実距離情報として有用である。又、各ラインは、更に、微細ラインとスペースのペアの集合体より構成しても良い。微細ラインの幅は、例えば、マークを構成する複数のラインのうちの最も狭いラインの幅の1/10以下(例えば、1μm)とする。こうすると、より微細な実距離情報を包含可能となる。
クロスハッチ290は、1mm角の中に0.5mm長のX軸ライン及びY軸ラインを2個ずつ交互に配した小クロスハッチをX方向及びY方向に1mmピッチで配列したものである。小クロスハッチの詳細な構成例を図7B(e)に示す。小クロスハッチの0.5mm長のX軸及びY軸ラインは40倍対物レンズの視野サイズ(0.37mm)より大きく、視野内でX軸ライン又はY軸ラインのみを適切な幅で観察でき、重心検知により高精度な位置情報を取得できる。クロスハッチ290は、ステージ移動精度の調整やメンテナンスに有用である。また、観察視野170における周辺部のひずみを計測するのに用いることができる。計測されたひずみは、撮影画像のひずみ補正に用いることができる。なお、XYクロスハッチ213を構成する基準マークは、夫々の間の間隔、夫々のサイズ、又、夫々の基準マークの構成、基準マークを構成するライン又はスペースの中心線の間隔、ラインとスペースの境界(エッジ)の間隔、ライン又はスペースの幅などは、所定の値に設定されており実距離情報として有用である。なお、図7A(b)に示す如く、各基準マークのサイズ、お互いの距離などは、全て、例えば10倍対物レンズの視野サイズ1.5mmを上回る。即ち、効率的にマーク位置を検出できるように、顕微鏡の同一視野内で、隣接する位置基準マークが同時に観察されないように、其々の間隔が視野サイズに相当する距離以上(本実施形態では、10倍対物レンズの視野サイズ1.5mm以上)離して配設される。なお、クロスハッチ原点291にも、クロスハッチX軸292やクロスハッチY軸293と同様の微細ライン(たとえば、1μm幅の白ラインと黒ラインが交互に並ぶようにする)を入れてもよい。
なお、Xエリアスケール211やYエリアスケール212、XYクロスハッチ213についてXYステージの軸方向に対する精度、X軸方向とY軸方向の直交の精度を維持できるのであれば、XYスケール板210は必ずしも一体に構成されなくてもよい。しかしながら、Y方向の位置を検出するためのリニア(一軸)スケールをYステージに配置し、X方向の位置を検出するためのリニア(一軸)スケールをXステージに配置した一般的なXYステージのように、Y方向の位置を検出するためのYエリアスケールをYステージに配置し、X方向の位置を検出するためのXエリアスケールをXステージに配置するような構成を採用した場合、上述した精度を維持するために高度な機械加工技術及び位置合わせ技術が要求される。これは、顕微鏡のコスト増の要因となるであろう。また、スケールが各ステージに別個に設けられていると、ステージを一方向(たとえばX方向)のみへ移動している間に機構の「がたつき」により生じた他方向(たとえばY方向)への動きを検出できない。これに対して、一体のXYスケール板210を用いれば、Xエリアスケール211とYエリアスケール212が常に一緒に動くので、上記「がたつき」により生じた位置の変化も確実に検出することができる。
次に、位置管理面ステージ220上に配設されるΔΘステージ600の構成について図8を用いて説明する。ΔΘステージ600は回転中心601を中心としてZ軸まわりに回転する回転ステージである。ΔΘステージ600の目的は、スライドの自動ローディング、手動ローディングを問わず、スライドの載置において生じるスライドの回転ズレを補正し、上述した観察位置の位置管理の目標精度である±0.1μmを目指すものである。
スライド回転ズレの最悪値は端部で±0.5mm位と想定され、約±0.4度(±0.38度)の回転ズレに相当する。この様子を図8(c)に示す。このようなスライドの回転ずれを補正するために、ΔΘステージ600によりスライドを回転させ、観察可能範囲(56mm)で±0.1μmの垂直誤差(正接誤差、TAN誤差)(±約0.1ミリ度)となるように補正する。なお、実用的には、2mmの観察範囲の両端で±0.1μmの垂直誤差(±約3ミリ度)に収める事が出来れば、病理診断では十二分なレベルと予想される。ΔΘの最大可動範囲は、±2〜3度以内で十分である。
図8(a)で、ΔΘステージ600上には、スライドの載置位置を規定するスライドホルダ602が配設され、位置基準付きスライド700が載置される。スライドホルダ602に設けられたレバー604は、スライド700をスライドホルダ602の基準位置603に向けて加圧する機能を有しており、これによりスライド700が安定して載置される。
ΔΘステージ600は、位置管理面ステージ220に対して固定された回転中心601を回転軸として、ΔΘステージ600のXY平面内で摺動的に回転可能となっている。たとえば位置管理面ステージ220内には、ΔΘ駆動モータ611、ボールネジのネジ軸612、ボールネジのナット部613が実装されている。ネジ軸612は、ΔΘ駆動モータ611の回転軸の先に配設される部材であり、ナット部613はボールネジのネジ軸612の回転によりネジ軸方向に移動する部材である。ΔΘ駆動モータ611を回転させると、ネジ軸612が回転し、ナット部613に取り付けられた駆動リニアギア614が移動するため、ΔΘステージ600の端部に取り付けられた嵌合相手の被駆動円弧ギア615が移動する。この結果、ΔΘステージ600は載置されたスライドごと回転中心601を軸として回転し、スライドの回転誤差の補正が為される。図8(b)では角度θだけスライド700を時計方向へ回転させた状態が示されている。なお、ΔΘステージ600の回転駆動は、上述したような駆動モータ、ボールねじ、ギアの組み合わせに限られるものではなく、たとえば、移動体と駆動モータによる摩擦を利用した超音波駆動であってもよい。
又、ΔΘステージ600の端部には、起動時の初期化に使用されるΔΘの初期位置マーク620が取り付けられており、ΔΘステージ600の初期位置が規定される。初期位置マーク620の対向面にはΔΘ初期位置センサ621が位置管理面ステージ220側に設けられ、起動時にΔΘステージ600の初期位置を検出する。該初期位置をスライドの回転ズレが無い場合の基準位置とすれば、ΔΘステージ600は該基準位置の前後に例えば±2〜3度の範囲で回転すれば十分である。ΔΘステージ600の制御については後述する。
次に、本実施形態のステージ200のXYステージを構成する位置管理面ステージ220、Yステージ240、ステージベース260について詳細に説明する。なお、以下では、図4(c)により説明したセンサ配置方法(ステージベース260上にX軸センサ271、Y軸センサ272、斜行センサ273を配置する方法)を用いた場合の各ステージの構成を説明する。ただし、図4(b)に示したセンサ配置方法の場合の構成等についても、以下の説明から明らかであろう。
まず、位置管理面ステージ220について、図9を参照して説明する。図9(a)は位置管理面ステージ220の上面図(対物レンズ側からみた図)であり、図9(b)は位置管理面ステージ220の裏面図(Zベース130側から見た図)である。本実施形態では位置管理面ステージ220は、Yステージ240上をX方向に移動するXステージ機能を有する。
XYスケール板210のXエリアスケール211、Yエリアスケール212に対応する位置に、X軸センサ271、Y軸センサ272、斜行センサ273がエリアスケールをアクセス可能とするための開口221、222が設けられている。開口221,222の大きさはそれぞれXエリアスケール211、Yエリアスケール212を包含する大きさとする。
開口223は、コンデンサレンズ用開口224(コンデンサレンズ147を組込んだコンデンサレンズユニットのサイズよりも大きめにゆとりを持たせたサイズを有している)の中心が観察対象領域205内の全域にわたってXYステージに対して相対的に移動した場合に、コンデンサレンズ用開口224が位置管理面ステージ220を相対的に移動する範囲に設けられている。この開口223により、位置管理面ステージ220が観察対象領域205のいかなる位置に移動しても、コンデンサレンズユニット(コンデンサレンズを組込んだ筐体)は位置管理面ステージ220と干渉しない。
位置管理面ステージ220の裏側には、X軸クロスローラガイド231が、X軸方向と平行に2本配設されている。X軸クロスローラガイド231と対向するようにYステージ240上にX軸クロスローラガイド241(図10)が取り付けられており、これにより、位置管理面ステージ220がYステージ240によりX方向に摺動可能に支持される。Xスライダ232は、Yステージ240の対向面に組み込まれたX軸駆動モータ242(図10)の移動体であり、X軸駆動モータ242により位置管理面ステージ220はX軸方向に駆動される。すなわち、X軸駆動モータ242とXスライダ232とにより、例えば超音波によるリニアモータが構成される。
X軸ラックギア233はX摘み201と連動して回転するYステージ240上のX軸ピニオンギア244の回転により位置管理面ステージ220をX方向に移動する。なお、手動による位置管理面ステージ220のX方向への移動はラック&ピニオンに限る訳でなく、例えば、ワイヤ&プーリー方式などであっても良い。いずれにしろ、本実施形態では手動駆動、及び、電動駆動の両手段により位置管理面ステージ220をX方向に移動可能である。
X初期位置マーク234は、ステージ200のXY初期化位置であるステージ原点206のX方向位置に対応しており、本実施形態では、XYクロスハッチ213のクロスハッチ原点291を通るクロスハッチY軸293の中心線の延長上に実装される。
次に、図10を参照してYステージ240について説明する。図10(a)はYステージ240の上面図(位置管理面ステージ220側からみた図)であり、図10(b)はYステージ240の裏面図(Zベース130側から見た図)である。
図10(a)において、X軸クロスローラガイド241は、位置管理面ステージ220の裏面に配設されたX軸クロスローラガイド231とペアをなし、位置管理面ステージ220をX軸方向に摺動可能に支持する。X軸駆動モータ242は位置管理面ステージ220のXスライダ232を介して、位置管理面ステージ220をX方向に移動する。X軸ピニオンギア244は位置管理面ステージ220の裏面に設けられたX軸ラックギア233と噛み合わさり、その回転により位置管理面ステージ220をX軸方向へ移動する。X軸ピニオンギア244はX摘み201の回転にしたがって回転するので、ユーザはX摘み201を操作することで位置管理面ステージ220をX軸方向へ移動させることができる。X初期位置センサ243は、位置管理面ステージ220の裏面に設けられているX初期位置マーク234を検出する。
開口245は、ステージベース260に配置されたX軸センサ271および斜行センサ273が、位置管理面ステージ220の開口221を介してXエリアスケール211にアクセスするための開口である。Yステージ240はステージベース260に対してXY方向のうちのY方向に移動するので、開口245はY方向に延びた形状となっている。同様に、開口246は、ステージベース260に設けられたY軸センサ272が、位置管理面ステージ220の開口222を介してYエリアスケール212にアクセスするための開口である。また、開口247は、コンデンサレンズ用開口224(コンデンサレンズ147を組込んだコンデンサレンズユニットのサイズよりも大きめにゆとりを持たせたサイズを有している)の中心(コンデンサレンズ147の中心でもある)が観察対象領域205を移動した場合の、コンデンサレンズ用開口224が移動する領域に対応する。上述したようにYステージ240はXY方向のうちのY方向に移動するので、X軸方向には延びず、Y軸方向に延びた形状を有している。この開口247により、Yステージ240が観察対象領域205のY方向に移動しても、コンデンサレンズユニットと干渉しない。
Yステージ240の裏面(図10(b))において、Y軸クロスローラガイド251がY軸に平行に2本配設されている。Y軸クロスローラガイド251と対になるクロスローラガイドはステージベース260に取り付けられており、これにより、Yステージ240は、ステージベース260によりY方向に摺動可能に支持される。Yスライダ252は、ステージベース260の対向面に組み込まれたY軸駆動モータ264(図11)の移動体であり、Y軸駆動モータ264によりYステージ240はY軸方向に駆動される。Y軸駆動モータ264とYスライダ252とにより、例えば超音波によるリニアモータが構成される。
Y軸ピニオンギア254はY摘み202の回転にしたがって回転する。Y摘み202の回転により、ステージベース260上に固定されたY軸ラックギア263(図11)をY軸方向へ移動する。したがって、ユーザはY摘み202を操作することで手動によりYステージ240をY軸方向へ移動することができる。なお、手動によるステージのY方向移動はラック&ピニオンに限る訳でなく、例えば、ワイヤ&プーリー方式であっても良い。いずれにしろ、本実施形態では手動駆動、及び、電動駆動の両手段によりYステージ240をY方向に移動可能である。Yステージ240は、位置管理面ステージ220を支持したままで、ステージベース260に対しY方向に移動する。Y初期位置マーク253は、ステージ原点206のY方向位置に対応した位置に配置されたマークである。本実施形態では、XYクロスハッチ213のクロスハッチ原点291を通るクロスハッチX軸292の中心線の延長上にY初期位置マーク253は実装される。
次に、図11を参照してステージベース260について説明する。図11は、ステージベース260の上面図(ステージベース260をYステージ240側から見た図)である。ステージベース260上には、Xエリアスケール211を読むためのX軸センサ271と斜行センサ273、Yエリアスケール212を読むためのY軸センサ272が取り付けられている。各センサは、位置管理面ステージ220に設けられたXYスケール板210のXエリアスケール211及びYエリアスケール212に対して所定の距離となるように台座(不図示)により高さ調整が為されている。また、上述のように、X軸センサ271はステージ原点206を通るX軸上に設けられ、Y軸センサ272は、ステージ原点206を通るY軸上に設けられている。又、斜行センサ273は、X軸センサ271の取付け位置のY方向に、所定間隔を置いて実装されている。
Y軸クロスローラガイド262は、Yステージ240の裏面に配設されたY軸クロスローラガイド251とペアを為し、Yステージ240をY軸方向に摺動可能に支持する。Y軸駆動モータ264はYステージ240(Yスライダ252)をY方向に電動により移動するためのモータである。Y軸ラックギア263は、Y軸ピニオンギア254の回転によりYステージ240をY方向に移動する。Y初期位置センサ265は、Yステージ240の裏面に配置されているY初期位置マーク253を検出する。開口261は、コンデンサレンズ用開口224(コンデンサレンズ147を組込んだコンデンサレンズユニットのサイズよりも大きめにゆとりを持たせたサイズ)に対応する。この開口261により、コンデンサレンズユニットはステージベース260と干渉しない。
なお、ステージベース260の裏面には、Zベース130上に固定する為の複数のネジ穴が設けられている(不図示)。
なお、ステージベース260の裏面には、Zベース130上に固定する為の複数のネジ穴が設けられている(不図示)。
開口261、247、223は、スライド上の観察位置にスライド下面からコンデンサレンズユニットを接近可能にするとともに、コンデンサレンズ147により集光された光源光を通過させる。
なお、以上説明した各ステージに設けられた、X軸センサ271、Y軸センサ272、斜行センサ273、コンデンサレンズ147のための開口のサイズは、機械強度と精度が維持される限り、大きめであっても問題のないことは言うまでもない。
次に、接眼鏡基122とデジタルカメラ400を接続するためのアダプタ部300について説明する。イメージセンサ401は例えばCMOS素子からなる画素が行列状に、すなわち行方向(X方向)と列方向(Y方向)に整列したエリアセンサ(カメラセンサ)であって、XY軸を有する。一般に、顕微鏡では、観察光学系のXY軸(スプリットプリズム150及び接眼鏡筒123の光学系(図2)で決まる)は鏡基121のX軸に合せて組み上げられている。また、XYステージもZベース130を介して、鏡基121のX軸に合せて所定の精度で取り付けられている。従って、イメージセンサ401のX軸が接眼鏡筒123のX軸(=鏡基121のX軸)に対して回転ズレがあると、そのXY軸は接眼観察像のXY軸及びステージのXY軸との間で回転ずれを生じる。
デジタルカメラ400はアダプタ部300に位置決めピン付きのレンズマウントを介して取り付けられ、アダプタ部300は接眼鏡基122に位置決めピン付きのねじ込みで取り付けられている。位置決めピンではそのメカ精度により、必ず微小な回転ズレが存在すると考えて良い。図28は、撮像画像のXY軸(イメージセンサ401のXY軸)とステージのXY軸との回転ズレの影響を説明する図である。説明の都合上、多少誇張して示している。例えば、図28(a)に示されるように、ステージ200をX軸方向に移動し、ROI全体を隣接する2枚の画像2001,2002で撮像した場合、回転ズレによりそれぞれ同じように斜めに撮像される。
一方、撮像された画像2001、2002(エビデンス画像)は図28(b)の様にイメージセンサのX軸を水平軸として表示される。図28(b)において2011は視野の中心であって、イメージセンサ401の中心と一致する。2012はROIエリア内の注目対象物を想定し、画像2001と画像2002で同一物を示している。ところが、上述した回転ズレのため、左右に隣接する画像2001,2002の間で、そのY座標は違った値になってしまう。これは、エビデンス画像上の座標値が、ステージによる位置座標と異なってしまう事を意味する。とくに、ROIが大きく、その全体がスライド上の切片エリア全域に及ぶ場合を想定すると、観察位置のセンサXY軸による座標とステージのXY軸による座標値とが大きく乖離する事を意味する。位置管理の視点では、エビデンス画像上の注目点のセンサXY軸による座標とステージのXY軸による座標とは、共通である事が望まれる。そして、その一致度の精度目標は、上述したXYステージによる位置管理の目標である0.1μm(0.01μm刻み)と同等となる。
さらに、コントローラ501により2枚の画像を合成し、ROI全体のエビデンス画像を生成しようとすると、画像処理による回転補正が必要になる。しかるに回転ずれの量は不明であり、画像認識処理による高精度な接続は難易度が高く、又、回転演算処理は通常画質の劣化を伴う。しかるに、回転ズレが位置管理の目標である0.1μm内に収まっていれば、2枚の画像は単なる平行移動により高精度で繋がることになる。本実施形態のアダプタ部300は、イメージセンサ401のXY軸とステージ200(XYステージ)のXY軸との位置合わせを行う機構を有し、上述のような課題に対応する。
図12はアダプタ部300の構成を示す図である。一般に、顕微鏡本体100とデジタルカメラ400は異なるメーカにより製造される。アダプタ部300は、このような異なるメーカ間での製品の互換性に配慮し、第1のアダプタ部である光学アダプタ320、第2のアダプタ部であるΔCアダプタ340、及び、第3のアダプタ部であるカメラアダプタ360を有する三体構造とした。これは、接眼鏡基122の鏡基マウント128が顕微鏡メーカ固有の規格であり、デジタルカメラ400のカメラマウントがカメラメーカ固有の規格である為、新たな共通規格になる新マウントを有するΔCアダプタ340を提供するのが好適だからである。
なお、図12の顕微鏡メーカ固有規格になる接眼鏡基122上の鏡基マウント128は、一般に光学アダプタの固定のみを目的とし、回転方向の位置は不定であった。これに対して、本実施形態では、接眼鏡基122と光学アダプタの回転位置が所定の位置関係を有するように位置決め基準穴311が新たに付与されたマウントを搭載する。また、これに対応して、一般に、回転方向の位置が不定であった光学アダプタ320の鏡基側マウント321にも、位置決め基準突起322が新たに付与される。基準突起322が鏡基マウント128の位置決め基準穴311に嵌合して装着されることにより、光学アダプタ320の回転方向の位置(位置決め基準穴311との嵌合位置)が接眼鏡基122に対して一意に決まる。
光学アダプタ320内には、アダプタレンズ301が収容されている。また、光学アダプタ320の鏡基側マウント321と反対側の端部には、新たな共通規格マウントの凹側としてのアダプタ側マウント331が設けられている。アダプタ側マウント331は、位置決め基準穴332を有し、ΔCアダプタ340と接続される。ΔCアダプタ340の新たな共通規格マウントの凸側である鏡基側のマウント341は、位置決め基準突起358を有し、位置決め基準穴332に嵌合して光学アダプタ320のアダプタ側マウント331と接続される。
ΔCアダプタ340のカメラ側のマウント342は、新たな共通規格マウントの凹側としてのマウントであり、位置決め基準穴359を有しており、カメラアダプタ360と接続される。一方、カメラアダプタ360において、アダプタ側マウント361は新たな共通規格マウントの凸側であり、位置決めのための基準突起362を有する。カメラアダプタ360のアダプタ側マウント361は、ΔCアダプタ340のカメラ側のマウント342に装着される。カメラアダプタ360がΔCアダプタ340に装着される際には、ΔCアダプタ340の位置決め基準穴359にカメラアダプタ360の基準突起362が嵌合し、カメラアダプタ360の回転方向がΔCアダプタ340に対して一意に決まる。カメラアダプタ360のカメラレンズマウント363はカメラメーカ固有規格のマウントであり、通常、デジタルカメラ400のカメラマウント402に対して固有規格の位置決め機構を有する。
以上により、
・接眼鏡基122と光学アダプタ320との機械的接続、
・光学アダプタ320とΔCアダプタ340との機械的接続、
・ΔCアダプタ340とカメラアダプタ360との機械的接続、
・カメラアダプタ360とデジタルカメラ400との機械的接続、
を介して、デジタルカメラ400のイメージセンサ401と接眼鏡基122の回転方向の位置が所定精度内で規定される。すなわち、顕微鏡の鏡基121のXY軸とデジタルカメラ400のイメージセンサ401のXY軸との回転方向の位置関係が、機械的精度で決まる所定の精度内で担保される。この場合、上述した接続箇所4か所の機械的精度が合算されるため、回転位置合わせの精度は、例えば50mmΦの外周で最悪±0.5mm(±約1度)となり、これは50mmの観察範囲の両端での±0.5mmの回転ズレに相当する。
・接眼鏡基122と光学アダプタ320との機械的接続、
・光学アダプタ320とΔCアダプタ340との機械的接続、
・ΔCアダプタ340とカメラアダプタ360との機械的接続、
・カメラアダプタ360とデジタルカメラ400との機械的接続、
を介して、デジタルカメラ400のイメージセンサ401と接眼鏡基122の回転方向の位置が所定精度内で規定される。すなわち、顕微鏡の鏡基121のXY軸とデジタルカメラ400のイメージセンサ401のXY軸との回転方向の位置関係が、機械的精度で決まる所定の精度内で担保される。この場合、上述した接続箇所4か所の機械的精度が合算されるため、回転位置合わせの精度は、例えば50mmΦの外周で最悪±0.5mm(±約1度)となり、これは50mmの観察範囲の両端での±0.5mmの回転ズレに相当する。
以上のような、マウントに設けられた機械的な基準機構による位置決め精度では、目標精度である±0.1μmを実現することができず、図28を参照して上述したようなイメージセンサ401の回転に関する課題に対応しきれない。本実施形態のΔCアダプタ340は、鏡基121とデジタルカメラ400のイメージセンサ401との回転ズレを補正し、高精度な位置管理の目標精度である±0.1μmを実現するものである。56mmの観察範囲の両端で±0.1μmの垂直誤差は±約0.1ミリ度に相当する。従って、ΔCアダプタ340には、±約1度の範囲の誤差を±約0.1ミリ度にまで補正する能力が要求される。なお、実用的には2mmの観察範囲の両端で±0.1μmの垂直誤差(±約3ミリ度)に収めることが出来れば、病理診断では十二分なレベルと予想される。この場合でも、ΔCアダプタ340は、±約1度の範囲の誤差を±約3ミリ度にまで補正することが必要となる。なお、ΔCアダプタ340の最大補正範囲は、±2〜3度程度あれば十分である。ΔCアダプタ340は、このような精度で回転補正を行う機能を実現するための回転機構を有する。
図13(a)にΔCアダプタ340の構造を示す。マウント341は、接続部として位置決め基準突起358を有する共通規格マウント凸側である。凸側の内筒部343は、クロスローラリング344の外輪部345に固定されている。外輪部345の上部には外筒346が組みつけられ、外筒346は、外筒ベース板347を有する。ΔC駆動モータ348、ボールネジ349(図13(b))、及び、駆動制御用の電気基板(図示せず)等が外筒ベース板347に実装されている。クロスローラリング344の内輪部350には、共通規格マウント凹側であるマウント342が組みつけられる。クロスローラリング344の外輪部345と内輪部350との間に配設されたローラベアリング351により、内輪部350は外輪部345に対し滑らかに回転する。即ち、マウント342は、カメラアダプタ360との接続部として共通規格マウント凹側を有し、共通規格マウント凸側であるマウント341に対して回転する。結果的に、鏡基121(接眼鏡基122)に対してデジタルカメラ400が回転することになる。こうして、マウント341とマウント342の配置関係(本実施形態では回転位置関係)を変更する駆動機構が構成される。
図13(b)はΔCアダプタ340における回転駆動法を示す図である。外筒ベース板347上に固定されたΔC駆動モータ348のロータ軸の先にはボールネジ349のネジ軸352が形成され、ネジ軸352の回転によりボールネジのナット部353はΔC駆動モータ348の軸方向にリニアに移動する。このとき、ボールネジのナット部353に固定された駆動リニアギア354も移動する。駆動リニアギア354の嵌合相手は共通規格マウント凹側であるマウント342の外壁に固定された被駆動円弧ギア355であり、これにより、駆動リニアギア354の移動にしたがってマウント342が回転駆動される。こうして、共通規格マウント凸側としてのマウント341に対して、共通規格マウント凹側としてのマウント342の回転補正が為される。ΔC駆動モータ348は不図示の制御回路により、コントローラ501からの駆動指示に応じて所定角度だけマウント342を回転させるように駆動される。なお、マウント342の回転駆動は、駆動モータ、ボールねじ、ギアの組み合わせに限られるものではなく、たとえば、移動体と駆動モータによる摩擦を利用した超音波駆動であってもよい。
共通規格マウント凹側としてのマウント342の外壁には、起動時の初期化に使用されるΔC初期位置マーク356が所定の位置に取り付けられ、ΔCの初期位置を規定する。ΔC初期位置マーク356の対向面にはΔC初期位置センサ357が外筒ベース板347上に配設され、起動時に初期位置の検出を行う。例えば、ΔCの初期位置を位置決め基準穴と位置決め基準突起との嵌合位置とすると、ΔCアダプタ340では、検出された初期位置を基準にして、例えば±2〜3度の範囲でΔC補正を行う事になる。すなわち、本実施形態のΔCアダプタ340は、位置決め基準突起322、358、362と、位置決め基準穴311、332、359を用いた機械的な位置決め機構と、ΔC初期位置センサ357による位置決め機構により、粗な位置決め(第1の調整)を行う。そして、その後に、イメージセンサ401により取得された画像に基づいて、ΔC駆動モータ348を用いた微細な位置合わせ(第2の調整)が行われる。このような2段階の位置決めにより、イメージセンサ401のXY軸方向とステージのXY軸方向を高精度に一致させている。
次に、本実施形態の顕微鏡システム10において用いられる位置基準付きスライド(スライド700)について説明する。図14は本実施形態によるスライド700を説明する図である。以下に説明するように、スライド700は、少なくとも原点マーク701とY軸マーク703の2つのマークを有する。それぞれのマークはY軸上の特定の位置とX軸上の特定の位置を示すとともに、少なくとも一方のマークはX方向又はY方向の軸情報を示し、これらにより正確に基準位置(原点位置)及び軸方向を特定できるようにしている。本実施形態では、Y軸マーク703がY軸方向を規定している。この様な構成を有する位置基準は、短冊状の狭領域しか利用可能な場所が無い場合に好適である。これらのマークは、全て、ラベルエリア721とカバーガラス及び観察対象である被検体(組織切片)の配置位置であるカバーガラスエリア722との間の隙間領域に配設される。なお、被検体はカバーガラスエリア722の範囲内に載置されなければならないが、カバーガラスに関しては、カバーガラスエリア722より大きなカバーガラスを用いて、マークがカバーガラスで蔽われたとしても、焦点位置が変わるのみで差支えはない。すなわち、本明細書において、カバーガラスエリア722とは、観察対象が配置されるエリアを示すものであって、カバーガラスの大きさを規定するものではない。又、将来、被検体の配置位置が変わり、位置基準を配置するために利用可能な空き領域がスライド700の右端部に移動した場合には、右端部に本実施形態になる位置基準マークを配設すれば対応可能となる。
図14(a)において、原点マーク701はスライド700の位置基準マークであり、スライド700上の被検体の観察位置を座標管理する為の原点となる。702は予備原点マークであり、原点マーク701が汚れやキズ等により検知不能になった場合の予備の原点である。原点マーク701と予備原点マーク702は一定の位置関係で配設される。703はY軸マークであり、Y方向の軸情報を有するY軸ラインを示す。Y軸マーク703により示される軸方向は、スライド700の長手方向の端面に垂直な方向であり、この方向をY軸方向と称する。原点マーク701、Y軸マーク703、予備原点マーク702は、後述する中心線(軸方向)の検出において用いられる顕微鏡の倍率で観察した際に同時に観察されないように、互いに離間して配置されている。また、原点マーク701と予備原点マーク702は、Y軸マーク703の中心線上の、Y軸マーク703を挟んだ両側に配置されている。なお、原点位置を特定するためにY軸マークの703の中心線を用いたがこれに限られるものでなく、Y軸マーク703によりユニークに特定される、Y軸方向に沿うライン(以下、基準ライン)であればよい。そして、その基準ラインの延長線上における特定の位置を原点位置とすればよい。したがって、原点マーク701(および予備原点マーク702)は、その基準ラインの延長線上における特定の位置を示すように、Y軸マーク703と離間して配置される。以下、原点マーク701、Y軸マーク703、予備原点マーク702を総称して位置基準マークという。
これらの位置基準マークは、其々の間隔が視野サイズに相当する距離以上(例えば10倍対物レンズの視野サイズ=φ1.5mm以上)離して配設されることが望ましい。顕微鏡の同一視野内で、隣接する位置基準マークが混ざって見えることが防止され、効率的にマークを検出できるからである。又、高精度な原点基準とする為、汚れや傷への配慮が重要である。したがって、肉眼検知または画像認識により汚れや傷が見つかった場合は、原点マーク701に代えて予備原点マーク702を使用するなどの対応が必要である。なお、原点マーク701に対する予備原点マーク702の位置は既知であるため、座標値の変換等は容易に行える。但し、以降の説明では、汚れ・キズの影響が無い様配慮された位置基準マークが観察されるものとして説明を行う。
図14(b)、図14(c)に位置基準マークの具体例を示す。図14(b)において、原点マーク701(及び予備原点マーク702)は、上下の二つの2等辺三角形を使用し、両者の頂点が接する点が原点(及び予備原点)である。また、Y軸マーク703は、図示のように異なる太さのY軸ラインの複合体からなり、その中心線が原点のY軸を示す。なお、Y軸マーク703はスライド700の横枠と垂直となる様に配設される。また、異なる太さのY軸ラインを配置しているのは、対物レンズ倍率の低倍から高倍に対応する為である。
Y軸マーク703はクロスハッチY軸293と同様のパターン構成であり、その構成例について、図7B(c)(d)を流用して説明する。Y軸マーク703は、中心線を線対称軸とする同一幅のラインのペアが、幅を変えて複数対、線対称に配列された構成を有する。なお、中心部に関しては、中心線上に何らかのラインが存在しても良い。又、ラインとスペースの関係を反転させても良い。これにより、対物レンズ低倍時の画角においても、又、高倍時の画角においても、適切な数と太さのラインが撮像(ライブでも静止画でも)され、後述する重心検知において、所定の精度が担保される。Y軸マークを構成するライン又はスペースの中心線の間隔、ラインとスペースの境界(エッジ)、ライン又はスペースの幅などは、所定の値に設定されており実距離情報として有用である。又、Y軸マーク703や原点マーク701、予備原点マーク702は、クロスハッチY軸293やクロスハッチ原点291と同様に、例えば、1μmの微細ラインとスペースのペアの集合体より構成しても良い。こうすると、より微細な実距離情報を包含可能となる。なお、スライド700の基準マークは、夫々の間の間隔、夫々のサイズ、又、夫々の基準マークの構成、基準マークを構成するライン又はスペースの中心線の間隔、ラインとスペースの境界(エッジ)、ライン又はスペースの幅などは、所定の値に設定されており実距離情報としても利用可能である。
図14(c)は原点マーク701(及び予備原点マーク702)の他の例であり、異なる太さのX軸ラインの複合体からなり、そのX軸方向の中心線が原点及び予備原点のX軸を示す。したがって、原点マーク701(予備原点マーク702)から得られるX軸方向の中心線とY軸マーク703から得られるY軸方向の中心線との交点がスライド700の原点(予備原点)となる。なお、図14(c)に示されている原点マーク701(予備原点マーク702)のより詳細な構成は、たとえば、図7B(c)(d)を90度回転したものとなる。
また、位置基準マーク間の位置関係は、図14(b)(c)に示すように原点マーク701と予備原点マーク702は、Y軸マーク703の中心線上に配置される。本実施形態では、原点マーク701と予備原点マーク702の各中心線とY軸マークの中心線とを一致させるものとする。又、同図に例を示す寸法関係の如く、基準マークのサイズ、お互いの距離などは、全て、10倍対物レンズの視野サイズφ1.5mmを上回るようにしている。
なお、これらの位置基準マークは、目標精度の達成、及び、消耗品としての低コスト化を実現する為、たとえば、ナノインプリント技術を使用し、5nm〜10nmの精度でスライド上に製作される。この為、Y軸マーク703のY方向中心線と原点マーク701,702のY方向中心線の一致度、及び、Y軸マーク703のY方向中心線(原点Y軸)と原点マーク701のX方向中心線との直角度、はナノレベル台となる。よって、Y軸マーク703と原点マーク701,予備原点マーク702で規定されるスライド原点の位置と該原点を基点とするスライドX軸711、スライドY軸712は、ナノレベル台の精度を持つ事になる。
図15は本実施形態による顕微鏡システム10の制御構成例を示すブロック図である。ステージ200は、コントローラ501とUSB等のインタフェースケーブル13を介して接続される。ステージ200において、ステージMPU280は、ステージ200の原点位置への復帰や、コントローラ501からの指示にしたがったステージ200の移動を制御する。ΔΘ駆動回路281はステージMPU280からの指示にしたがって、ΔΘステージ600のΔΘ駆動モータ611を駆動する。X軸駆動回路282はステージMPU280からの指示にしたがって、位置管理面ステージ220をX方向へ移動するX軸駆動モータ242を駆動する。Y軸駆動回路283はステージMPU280からの指示にしたがって、Yステージ240をY方向へ移動する事により位置管理面ステージ220をY方向へ移動するY軸駆動モータ264を駆動する。
X軸センサ処理回路284はX軸センサ271がXエリアスケール211を検出した信号に基づいてX座標値を生成し、ステージMPU280に供給する。斜行センサ処理回路285は斜行センサ273がXエリアスケール211を検出した信号に基づいてX座標値を生成し、ステージMPU280に供給する。Y軸センサ処理回路286はY軸センサ272がYエリアスケール212を検出した信号に基づいてY座標値を生成し、ステージMPU280に供給する。また、ΔΘ初期位置センサ621、X初期位置センサ243、Y初期位置センサ265のそれぞれからの検出信号はステージMPU280に供給され、たとえば各ステージの初期化動作に用いられる。
なお、ΔΘ駆動回路281、X軸駆動回路282、Y軸駆動回路283などのモータ駆動回路類、及び、ステージMPU280、電源回路(不図示)等は消費電力が大きめであり、熱源となり得るため熱膨張による位置精度への影響が懸念される。したがってこれらの電気回路類は外部コントローラとして別筐体に収めても良い。また、ステージMPU280の機能をコントローラ501により実現するようにしてもよい。
アダプタ部300のΔCアダプタ340は、コントローラ501とUSB等のインタフェースケーブル12を介して接続される。ΔCアダプタ340において、ΔCMPU380は、コントローラ501からの指示に応じてΔCアダプタ340におけるマウント342の回転制御等を行う。ΔC駆動回路381は、ΔCMPU380からの指示に応じてΔC駆動モータ348を駆動する。ΔC初期位置センサ357からの信号はΔCMPU380に供給され、たとえばΔCアダプタ340のマウント342を初期位置(回転の原点位置)に復帰させるのに用いられる。なお、ΔC駆動回路381やΔCMPU380、電源回路(不図示)等の電気回路部品は消費電力が大きめの為、熱源となり熱膨張による位置精度への影響が懸念される。したがって、これらの電気部品を外部コントローラとして、別筐体に収めても良い。また、ΔCMPU380の機能をコントローラ501により実現するようにしてもよい。
デジタルカメラ400は、コントローラ501とUSB等のインタフェースケーブル12を介して接続され、イメージセンサ401により撮影された画像をコントローラ501に送信する。デジタルカメラ400において、カメラMPU480は、デジタルカメラ400の各制御を実行する。画像処理回路481はイメージセンサ401により得られた画像信号を処理してデジタルの画像データを生成する。
なお、本実施形態では、デジタルカメラ400として汎用のデジタルカメラを用いて、アダプタ部300により着脱可能な構成としているがこれに限られるものではない。たとえば、イメージセンサ401を有する撮像部が接眼鏡基122に固定されていてもよい。このとき、イメージセンサ401が、ステージのXY軸と高精度に一致した状態に組み立てられていれば、アダプタ部300による回転補正の機構は省略可能である。また、上述したステージMPU280、ΔCMPU380、カメラMPU480は、所定のプログラムを実行することにより各種機能を実現するものであってもよいし、専用のハードウエア回路により構成されてもよい。
コントローラ501は、たとえば、プログラムを格納したメモリ512と、メモリ512に格納されたプログラムを実行することにより種々の処理を実現するCPU511を有し、顕微鏡システム10における計測・制御機能を司るコンピュータ装置である。以下、本実施形態による顕微鏡システム10の動作について詳細に説明する。
図16は、本実施形態の顕微鏡システム10におけるコントローラ501の動作を説明するフローチャートである。顕微鏡システム10の各部へ電源が投入され、コントローラ501に位置管理観察モードの実行が指示されると図16のフローチャートに示す動作が開始される。
まずステップS11においてコントローラ501は自身を初期化する。コントローラ501の初期化においては、たとえば、顕微鏡システム10における計測・制御機能を司る位置管理アプリケーションを実行するためのプラットフォームにおける起動時の環境設定が為される。該環境設定が終了すると、例えばWindows(登録商標)の場合であれば、スタートアップフォルダに置かれた起動ショートカットから所望のアプリケーションソフトが自動起動される。本実施形態では、顕微鏡システムの計測・制御機能を実装する位置管理アプリケーションソフト(以下、位置管理アプリ)の起動ショートカットがスタートアップフォルダに置かれており、位置管理アプリが自動起動されるものとする。以上のようにして、位置管理アプリが起動されると、ステップS12において、コントローラ501は、ステージ200、アダプタ部300(ΔCアダプタ340)、デジタルカメラ400からの初期化完了の通知を待つ。
図17は、顕微鏡システム10におけるステージ200、アダプタ部300(ΔCアダプタ340)、デジタルカメラ400の各部の初期化動作を示すフローチャートである。各部の電源が投入されると、夫々が、図17に示されるような電源起動時の初期化動作を行う。
・XYステージ初期化
ステップS101において、ステージ200のステージMPU280は位置管理面ステージ220とYステージ240を初期位置に移動することによりXYステージの初期化を行う。すなわち、ステージMPU280は、X軸駆動回路282及びY軸駆動回路283に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。これを受けて、X軸駆動回路282及びY軸駆動回路283は、夫々、駆動信号をX軸駆動モータ242及びY軸駆動モータ264に送り、Xステージ(位置管理面ステージ220)及びYステージ240を夫々指定された方向と速度にて移動する。
ステップS101において、ステージ200のステージMPU280は位置管理面ステージ220とYステージ240を初期位置に移動することによりXYステージの初期化を行う。すなわち、ステージMPU280は、X軸駆動回路282及びY軸駆動回路283に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。これを受けて、X軸駆動回路282及びY軸駆動回路283は、夫々、駆動信号をX軸駆動モータ242及びY軸駆動モータ264に送り、Xステージ(位置管理面ステージ220)及びYステージ240を夫々指定された方向と速度にて移動する。
ステージ200は、高精度なXエリアスケール211及びYエリアスケール212を高精度に検出可能なX軸センサ271及びY軸センサ272からの検出信号を内挿処理するX軸センサ処理回路284及びY軸センサ処理回路286を有している。この内挿処理において、たとえば2000分の1の内挿演算を行うと、2μm幅のラインパターンから10nm以下の分解能が得られ、実施形態の位置管理顕微鏡システムが目標としている位置管理精度、すなわち0.1μmの精度が得られる。ステージMPU280は、X軸センサ処理回路284及びY軸センサ処理回路286からの信号に基づいて位置管理面ステージ220のX方向移動量と位置(X座標)、及びYステージ240のY方向移動量と位置(Y座標)を高精度に把握し管理している。
位置管理面ステージ220上のX初期位置マーク234がX初期位置センサ243の検出位置に到達すると、X初期位置センサ243からのステータス変化がステージMPU280に伝達される。同様に、Yステージ240上のY初期位置マーク253がY初期位置センサ265の検出位置に到達すると、Y初期位置センサ265からのステータス変化がステージMPU280に伝達される。ステージMPU280は、ステータス変化の受信に応じてX軸駆動回路282、Y軸駆動回路283に停止制御コマンドを送り、ステージ200のXY駆動を停止する。
次に、ステージMPU280は、より低い移動速度の設定による正逆の微小移動を順次行なう様にX軸駆動回路282、Y軸駆動回路283に制御コマンドを送り、より正確な初期位置を選んで位置管理面ステージ220及びYステージ240を停止する。そして、ステージMPU280は、自身が保持する、X軸センサ処理回路284及びY軸センサ処理回路286からの信号に基づいて得られるX座標値及びY座標値をゼロにリセットし、XY初期化位置をXYステージ原点(座標(0,0))とする。なお、X及びY初期位置マークとX及びY初期位置センサとによるXY初期化位置、即ち、ステージ原点の検出精度は機械精度による微小な再現性誤差(初期化をし直すと若干ずれる)を含む。しかし、ステージの移動量はエリアスケールと所定の検出部(X軸センサ271、Y軸センサ272、斜行センサ273)により高精度に管理される。
・ΔΘステージ600の初期化
次に、ステージMPU280は、ΔΘ駆動回路281に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。この駆動制御コマンドを受けて、ΔΘ駆動回路281は、駆動信号をΔΘ駆動モータ611に送ることによりΔΘステージ600を指定の方向と速度にて回転させる。ΔΘステージ600上のΔΘ初期位置マーク620が、ΔΘ初期位置センサ621の検出位置に到達すると、ΔΘ初期位置センサからのステータス変化がステージMPU280に伝達される。ステータス変化を受信したステージMPU280は、ΔΘ駆動回路281に停止制御コマンドを送り、ΔΘ駆動を停止する。ついで、ステージMPU280は、より低い移動速度の設定による正逆の微小回転を順次行なう様にΔΘ駆動回路281に制御コマンドを発し、より正確な初期位置を選んでΔΘステージ600を停止する。次いで、ステージMPU280は、自身が保持するΔΘ座標値をゼロにリセットし、ΔΘの中心位置、即ち、回転ズレが無い正位置とする。起動時点でのΔΘステージ600のΔΘ位置が不明な場合(不揮発メモリに残っていない場合等)は、例えば3度一方向に回し、ΔΘ初期位置マーク620が見つからなければ、逆方向に6度戻すというようにΔΘステージ600を駆動する。
次に、ステージMPU280は、ΔΘ駆動回路281に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。この駆動制御コマンドを受けて、ΔΘ駆動回路281は、駆動信号をΔΘ駆動モータ611に送ることによりΔΘステージ600を指定の方向と速度にて回転させる。ΔΘステージ600上のΔΘ初期位置マーク620が、ΔΘ初期位置センサ621の検出位置に到達すると、ΔΘ初期位置センサからのステータス変化がステージMPU280に伝達される。ステータス変化を受信したステージMPU280は、ΔΘ駆動回路281に停止制御コマンドを送り、ΔΘ駆動を停止する。ついで、ステージMPU280は、より低い移動速度の設定による正逆の微小回転を順次行なう様にΔΘ駆動回路281に制御コマンドを発し、より正確な初期位置を選んでΔΘステージ600を停止する。次いで、ステージMPU280は、自身が保持するΔΘ座標値をゼロにリセットし、ΔΘの中心位置、即ち、回転ズレが無い正位置とする。起動時点でのΔΘステージ600のΔΘ位置が不明な場合(不揮発メモリに残っていない場合等)は、例えば3度一方向に回し、ΔΘ初期位置マーク620が見つからなければ、逆方向に6度戻すというようにΔΘステージ600を駆動する。
以上のようにして、ステージ200のXYステージとΔΘステージ600の初期化が完了すると、ステージMPU280は、ステップS103において、ステージ初期化終了コマンドをコントローラ501に送信する。
・ΔCアダプタ340の初期化
次に、ΔCアダプタ340(アダプタ部300における第2のアダプタ部)の初期化動作を説明する。ステップS111において、ΔCMPU380は、ΔC駆動回路381に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。これを受けて、ΔC駆動回路381は、駆動信号をΔC駆動モータ348に送る。ΔC駆動モータ348の駆動により、ΔCアダプタ340の共通規格マウント凹側であるマウント342が指定された方向と速度で回転する。共通規格マウント凹側としてのマウント342上のΔC初期位置マーク356がΔC初期位置センサ357の検出位置に到達すると、ΔC初期位置センサ357からステータス変化がΔCMPU380に伝達される。このステータス変化を受けてΔCMPU380は停止制御コマンドをΔC駆動回路381に送り、ΔC駆動モータ348を停止する。
次に、ΔCアダプタ340(アダプタ部300における第2のアダプタ部)の初期化動作を説明する。ステップS111において、ΔCMPU380は、ΔC駆動回路381に所定方向への駆動制御コマンドを送る。この駆動制御コマンドには、例えば、パラメータとして移動方向及び移動速度が付加されている。これを受けて、ΔC駆動回路381は、駆動信号をΔC駆動モータ348に送る。ΔC駆動モータ348の駆動により、ΔCアダプタ340の共通規格マウント凹側であるマウント342が指定された方向と速度で回転する。共通規格マウント凹側としてのマウント342上のΔC初期位置マーク356がΔC初期位置センサ357の検出位置に到達すると、ΔC初期位置センサ357からステータス変化がΔCMPU380に伝達される。このステータス変化を受けてΔCMPU380は停止制御コマンドをΔC駆動回路381に送り、ΔC駆動モータ348を停止する。
次いで、ΔCMPU380は、より低い移動速度の設定による正逆の微小回転を順次行なう様に制御コマンドをΔC駆動回路381に発して、より正確な初期位置を選んで回転駆動を停止する。次いで、ΔCMPU380は自身が保持するΔC座標値(ΔCアダプタの回転角度)をゼロにリセットし、ΔCの中心位置、即ち、回転ズレが無い正位置とする。なお、起動時点でのΔC位置が不明な場合(不揮発メモリに残っていない場合)は、例えば3度一方向に回し、ΔC初期位置マークが見つからなければ、逆方向に6度戻す。以上のようにしてΔCアダプタ340が初期の回転位置になると、ステップS112において、ΔCMPU380はΔCアダプタ初期化終了コマンドをコントローラ501に送信する。
なお、ステージ200におけるXYステージの位置管理およびΔΘステージ600の回転位置の管理、並びにΔCアダプタ340の回転位置の管理に、アブソリュートタイプのスケールとセンサを使用してもよい。アブソリュートタイプのスケールとセンサを使用すれば、上述したようなステージ200のXY初期位置の検出、及び、ΔΘステージ600やΔCアダプタ340における初期位置の検出は省略可能となる。
・デジタルカメラ400の初期化
デジタルカメラ400のカメラMPU480においては、所定の位置管理対応機能(後述)が動作する為の環境設定が為される(ステップS121)。そして、初期化が完了すると、カメラ初期化終了コマンドがコントローラ501へ送信される(ステップS122)。なお、本実施形態では、電源の投入に応じてデジタルカメラ400がカメラ動作初期化を実行し、完了した旨をコントロ−ラ501に送信するようにしたがこれに限られるものでない。たとえば、デジタルカメラ400のユーザインタフェース(操作メニュー)から、ユーザがコントローラ501からの外部コマンドに応じた動作を実行するモードを設定したことに応じてカメラ初期化終了コマンドを送信するようにしてもよい。
デジタルカメラ400のカメラMPU480においては、所定の位置管理対応機能(後述)が動作する為の環境設定が為される(ステップS121)。そして、初期化が完了すると、カメラ初期化終了コマンドがコントローラ501へ送信される(ステップS122)。なお、本実施形態では、電源の投入に応じてデジタルカメラ400がカメラ動作初期化を実行し、完了した旨をコントロ−ラ501に送信するようにしたがこれに限られるものでない。たとえば、デジタルカメラ400のユーザインタフェース(操作メニュー)から、ユーザがコントローラ501からの外部コマンドに応じた動作を実行するモードを設定したことに応じてカメラ初期化終了コマンドを送信するようにしてもよい。
図16に戻り、上述のように、コントローラ501は自身の初期化(ステップS11)を終えた後、ステージ初期化終了コマンド、ΔCアダプタ初期化終了コマンド、カメラ初期化終了コマンドの全てが受信されるのを待っている(ステップS12)。これらの全ての初期化終了のコマンドが受信されると、コントローラ501は、初期化が完了したものと判断し、処理をステップS12からステップS13に進め、位置管理アプリは位置管理観察の為の準備動作を開始する。
ステップS13において、コントローラ501は、デジタルカメラ400により撮影されるステージ200のXYクロスハッチ213の画像に基づいて、イメージセンサ401のX,Y軸とステージのX、Y軸をそろえるようにΔCアダプタ340を制御する。これにより、ステージ200のステージX軸203、ステージY軸204にイメージセンサ401の画素(ピクセル)の並びを合わせるΔC補正が行われる。
図18はΔC補正の動作を説明するフローチャートである。上述したように、ΔC補正の目的は、イメージセンサ401の画素配列におけるXY軸と、ステージ200のXY軸とを揃える事である。本実施形態では、観察対象領域205に配設された、ステージ200のXY軸を代表するXYクロスハッチ213のXY軸と、イメージセンサ401のXY軸との軸合せを行う。
まず、ステップS201において、位置管理アプリが稼働するコントローラ501は、カメラMPU480に所定の制御コマンドを送り、デジタルカメラ400をカラーライブモードに設定する。カラーライブモードにおいて、デジタルカメラ400のカメラMPU480は、観察画像の低解像度静止画(イメージセンサの全画素を使わない間引き画像)のカラー撮影を行い、所定の時間間隔で随時、コントローラ501に送信する。コントローラ501はデジタルカメラ400から低解像度静止画が送信されるごとにこれをディスプレイ502に表示することでライブ画像を提供する。
次いで、ステップS202において、顕微鏡の対物レンズを低倍(例えば10倍)に変更するよう、例えばディスプレイ502を用いて観察者(操作者、ユーザ)に促す。観察者は、リボルバ127を回転させて10倍対物レンズに変更した後、10倍の対物レンズが使用中になっていることを不図示の入力部(たとえば、キーボード操作あるいはGUI上のマウス操作)によりコントローラ501に通知する。なお、顕微鏡が電動リボルバを有する場合には、コントローラ501が所定の制御コマンドを顕微鏡に送ることで、自動で対物レンズの低倍設定が実行されるようにしてもよい。
ステップS203において、コントローラ501は、ステージMPU280に制御コマンドを送り、デジタルカメラ400により撮影可能に配置されたXYクロスハッチ213のクロスハッチX軸292上に観察位置を移動する。なお、クロスハッチX軸292のための観察位置(座標)は、ステージ原点を基準とした既知の座標値である。クロスハッチX軸292は、他の位置基準マークが混ざって見えないように例えば10倍対物レンズの視野サイズ(たとえばφ1.5mm)以上、他のマークから離れている。そのため、ディスプレイ502にはクロスハッチX軸292のみのライブ画像が表示されるようになる。図19(a)において801は、イメージセンサ401による撮像視野である。なお、イメージセンサ401の撮像視野801は、図19(b)に示すように顕微鏡(光学系)の観察視野803より狭い観察視野803の内側の、ひずみがより少なく光量がより均一である領域804に内接する。ただし、より安全を見て、撮像視野801よりも小さい領域802をイメージセンサ401の撮像視野としても良い。なお、イメージセンサ401の観察視野803に対する視野サイズは、光学アダプタ320内のアダプタレンズ301の倍率により調整される。
次いで、ステップS204〜S207により、デジタルカメラ400による撮像のための画角の調整が行われる。たとえば、まず、ステップS204において、コントローラ501は、撮像視野801内のクロスハッチX軸292の黒画像のY方向重心位置(画素値の重心)を計算する。なお、本実施形態では、黒画像のY方向重心位置を求めているがこれに限られるものではなく、白画像のY方向重心位置を求めてもよいし、黒画像と白画像のそれぞれのY方向重心位置の平均値を用いるようにしてもよい。そして、ステップS205において、コントローラ501は、ステップS204で計算された重心が撮像視野の中心に来る様にステージMPU280に制御コマンドを送り、XYステージを移動する。そして、ステップS206において、コントローラ501は、イメージセンサ401による撮像の画角が条件を満たしているかを判定する。本実施形態では、たとえば、40倍対物レンズの場合に対して想定される撮像視野801におけるクロスハッチX軸292の黒または白画像のライン数、および/または、ライン幅のサイズに基づいて画角が条件を満たすかどうかを判定する。判定の結果、画角が条件を満たしていれば処理はステップS206からステップS208へ進み、画角が条件を満たしていなければ処理はステップS206からステップS207へ進む。ステップS207において、コントローラ501は、顕微鏡の対物レンズの倍率を大きくするよう、例えばディスプレイ502を用いて観察者(操作者、ユーザ)に促す。或いは、電動リボルバの場合はコントローラ501が制御コマンドを顕微鏡に送ることで自動的に対物レンズの高倍率への設定が行われる。
以上のステップS204からステップS207を繰り返すことにより、ユーザによる手動操作又は制御コマンドにより対物レンズが低倍(10倍)から高倍に切り替わり、ステップS204において算出された重心位置へステージが移動する。本実施形態では、最終的に40倍対物レンズにより、図19(c)に示すような画角となる。なお、対物レンズの倍率の変更は、10倍→20倍→40倍のように段階的に行われてもよいし、10倍→40倍へ一度に変更されてもよい。
ステップS206において画角が条件を満たしている判定された場合、画角が40倍対物レンズに対応する画角になったと見做され、処理はステップS208へ進む。ステップS208において、コントローラ501は、カメラMPU480に制御コマンドを送り、デジタルカメラ400を計測モードに切り替える。計測モードとは、イメージセンサ401の画像情報を画素単位で利用する為のモードである。例えば、イメージセンサ401が図19(e)に示すようなカラー撮影のための原色ベイヤー配列のカラーフィルタを使用していれば、画像処理回路481は夫々、R,G,Bの各画素の画像を白黒信号として扱う。その際に、画像処理回路481は、RGB各画素からの画像信号を正規化し、夫々のダイナミックレンジを合わせる。又、ガンマ等の非線形処理は行わず、画素からの画像信号をリニアのままで処理し出力する。該計測モードは、高精度な重心計算などに好適な画像処理を含み、デジタルカメラ400に実装される位置管理対応機能である。
なお、上述した計測モードを使用しなくても、既存のカラーモード、又は、白黒モード(RGB信号から算出する輝度信号を使用)で得られる画像を用いることも可能であるが、重心計算などの演算結果の精度が落ちる。また、カラーフィルタの無い白黒カメラを使用することも出来るが、スライド観察時にカラー観察が出来なくなってしまう。
次いで、ステップS209〜S212において、ΔC補正が実行される。まず、ステップS209において、コントローラ501は、カメラMPU480に制御信号を送り、計測モードで、イメージセンサ401の全画素を用いた静止画撮像を行う。こうして得られるクロスハッチX軸292の静止画像の部分拡大像を図19(c)に示す。イメージセンサ401の各画素によるクロスハッチX軸の画像が両者の軸ズレを反映したモアレ像として得られる。即ち、計測モードでは、画素ごとに情報が得られるため、高精度な演算結果(後述の重心線)を得る事が出来る。
次いで、ステップS210にて、コントローラ501はイメージセンサ401のX軸とクロスハッチX軸292との傾き(軸ズレ)を計測、即ち、回転ズレ角度を計算する。計算法は、図19(d)に示すように、イメージセンサ401の撮像視野内を、同一幅の短冊領域810によりX軸方向に短冊状の部分領域に分割し、各短冊領域毎に(部分領域毎に)重心を計算する。短冊領域の幅が狭いほど検出精度は向上するので、その幅を一画素分としても良い。すなわち、1画素以上の幅の短冊領域を用いることができる。また、イメージセンサ401の画素欠陥の影響を防ぐ為、複数画素分の幅の短冊領域とし、その短冊領域を一画素幅ずつずらして視野内を細分しても良い。回転ズレである角度差αは、各短冊領域の重心のY座標値の変化量から高精度で求められる。たとえば、複数の短冊領域から得られた複数の重心位置を通る重心線811を最小二乗法等により求め、重心線811とイメージセンサ401のピクセルの並びのX方向とから角度差αが得られる。
次いでステップS211において、ステップS210で計測された傾き(回転ズレ角度)が許容差内か否か(所定の閾値以下か否か)を判定する。傾きが許容差内でない場合、ステップS212において、コントローラ501は、ΔCMPU380に制御コマンドを送り、ΔCアダプタ340のマウント342(すなわちイメージセンサ401)を、所定方向に所定角度だけ回転させる。ここで、所定の閾値は、ΔCアダプタ340について上述したように、3ミリ度であることが好ましく、より好ましくは0.1ミリ度である。また、ΔCアダプタ340では、制御コマンドに応じてΔC駆動モータ348を駆動してマウント342を所定角度ずつ回転させるが、その所定角度は、所定の閾値以下の角度(好ましくは3ミリ度以下、より好ましくは0.1ミリ度以下)とする。その後、処理はステップS209に戻り、静止画撮像の撮影(S209)と傾き計測(S210)を行う。コントローラ501は以上の処理(ステップS209〜S212)をくりかえし、ステップS211で傾きが許容差内に収まったと判定されると、処理はステップS213へ進む。ステップS213において、コントローラ501は、カメラMPU480に制御信号を送り、デジタルカメラ400をカラーライブモードに戻し、ΔC補正を終了する。
なお、ステップS212において、ΔCアダプタ340のマウント342を所定量回転させているがこれに限られるものでない。たとえば、ΔC駆動モータ348によるマウント342の回転量を制御できる構成であれば、ステップS210で計算された傾き(回転ズレに相当する角度差α)の分だけマウント342を回転するように制御してもよい。また、デジタルカメラ400から撮影可能に配置されたパターンとしてクロスハッチX軸292を用いたが、これに限られるものではなく、例えば、クロスハッチY軸293やクロスハッチ290でもよい。また、Xエリアスケール211やYエリアスケール212の一部をデジタルカメラ400から撮影可能に配置して用いるようにしてもよい。また、上記では、イメージセンサ401の顕微鏡本体100に対する配置状態の調整(変更)として、回転の調整(ΔC補正)を行ったがこれに限られるものではない。例えば、ΔCアダプタ340によるΔC補正の機能に加えて、あるいは第4のアダプタとしてZ方向への微小な調整を行う機能が設けられてもよい。例えば、アダプタ部300において、イメージセンサ401のZ軸方向の位置を調整可能とし、微妙なフォーカス調整を行えるようにしてもよい。その場合、例えば、ΔCアダプタ340にZ方向へ駆動する3つのアクチュエータで三点を支持する構造を用いることができる。さらに、XY面に対するイメージセンサ401の撮像面の傾きを調整できるようにしてもよい。これは、たとえば、撮影されたクロスハッチ290の画像における格子パターンのフォーカス変化(格子パターンのボケの変化)を検出することにより撮像面の傾きを判定することで行える。また、撮像面の傾きは、上述した3つのアクチュエータの駆動量を調整することで調整することができる。また、上記ではΔC補正をアダプタ部300にて実現したが、ステージ200にΔC補正のための回転機構を持たせてもよい。
以上のようにしてΔC補正を完了すると、処理は図16に戻り、ステップS14において、コントローラ501は、ディスプレイ502を用いて観察者にスライドのローディング許可を通知し、ΔΘステージ600にスライドが載置されるのを待つ。ΔΘステージ600にスライドが載置されると、処理はステップS15へ進み、コントローラ501は、ΔΘステージ600のΔΘ補正を実行して、載置されたスライドの回転ずれを補正する。なお、スライドの載置(スライドローディングの有無)の検知は、自動検知(図示せず)でもよいし、手動指示であってもよい。上述のように、ΔΘ補正に先立ってΔC補正が実行され、ステージ200とイメージセンサ401のX軸方向とY軸方向が一致している。そして、このΔΘ補正によりスライド700とイメージセンサ401のX軸方向、Y軸方向が一致させられる。その結果、イメージセンサ401を介して、ステージ200とスライド700のX軸方向、Y軸方向が一致することになる。以下、ΔΘ補正の動作について図20を参照して説明する。
図20は、実施形態によるΔΘ補正動作を説明するフローチャートである。ステップS301において、コントローラ501は、手動操作、又は、顕微鏡に制御コマンドを送ることで、対物レンズを低倍(例えば10倍)に設定する。次に、ステップS302において、コントローラ501は、ステージMPU280に制御コマンドを送り、ΔΘステージ600に載置されているスライド上のY軸マーク703(図14)上に観察位置を移動する。なお、スライド700上のY軸マーク703の位置(座標)は、スライドの回転ズレによる誤差を含むが、ステージ原点からの既知の座標値である。図14で上述したように、Y軸マーク703は、他の位置基準マークが混ざって見えないよう、例えば10倍対物レンズの視野サイズ(たとえばφ1.5mm)以上、他のマークから離れている。したがって、図21(a)に示されるように、イメージセンサ401の撮像視野801にはY軸マーク703のみが存在し、ディスプレイ502にはY軸マーク703のみのライブ画像が表示される。
次に、ステップS303において、コントローラ501は、撮像視野801内のY軸マーク703の黒画像の重心位置を計算する。なお、本実施形態では、黒画像のX方向重心位置を求めているがこれに限られるものではなく、白画像のX方向重心位置を求めてもよいし、黒画像と白画像のそれぞれのX方向重心位置の平均値を用いるようにしてもよい。そして、ステップS304において、コントローラ501は、その重心位置が視野の中心に来る様、ステージMPU280に制御コマンドを送り、ステージ200を移動する。そして、ステップS305において、コントローラ501は、たとえば40倍の対物レンズの場合に対して想定される撮像視野801におけるY軸ラインマークの黒画像または白画像のライン数、および/または、幅のサイズに基づいて画角を判断する。画角が条件を満たしていない場合、処理はステップS305からステップS306へ進み、コントローラ501は、顕微鏡の対物レンズの倍率を大きくするよう、例えばディスプレイ502を用いて観察者(操作者、ユーザ)に促す。或いは、電動リボルバの場合はコントローラ501が制御コマンドを顕微鏡に送ることで自動的に対物レンズの高倍率への設定を行うようにしてもよい。
以上のステップS303からステップS306を繰り返すことにより、ユーザによる手動操作又は制御コマンドにより対物レンズが低倍(10倍)から高倍に切り替わり、ステップS304において、ステップS303で算出された重心位置へステージが移動する。本実施形態では、最終的に40倍対物レンズにより、図21(b)に示すような画角となる。なお、対物レンズの倍率の変更は、10倍→20倍→40倍のように段階的に行われてもよいし、10倍→40倍へ一度に変更されてもよい。ステップS305において40倍対物レンズの場合に対する画角であると判定されると、処理はステップS307へ進む。
次いで、ステップS307において、コントローラ501は、カメラMPU480に制御コマンドを送り、デジタルカメラ400をステップS208と同様、計測モードに切り替える。次いでステップS308において、コントローラ501は、カメラMPU480に制御信号を送り、計測モードで、イメージセンサ401の全画素を用いた静止画撮像を行う。こうして得られるY軸マーク703の静止画像の部分拡大像を図21(b)の右側に示す。イメージセンサ401の各画素によるY軸ラインの画像が両者の軸ズレを反映したモアレ像として得られる。
次いで、ステップS309において、コントローラ501は、イメージセンサ401のY軸とスライド700のY軸マーク703との傾き(軸ズレ)を計測、即ち、回転ズレ角度を計算する。計算方法は、たとえば図21(c)に示すように、イメージセンサ401の撮像視野内を、同一幅の短冊領域によりY軸方向に細分し、各短冊領域毎に重心を計算する。短冊領域の幅が狭いほど検出精度は向上するので、一画素分の幅としても良い。また、イメージセンサの画素欠陥の影響を防ぐ為、画素複数分の短冊領域とし、該領域を一画素幅ずつずらして視野内を細分しても良い。回転ズレの角度は、各短冊領域の重心のX座標値の変化量から高精度で求められる。たとえば、複数の短冊領域から得られた複数の重心位置を通る重心線822を最小二乗法等により求め、重心線822とイメージセンサ401のピクセルの並びのY方向との回転ズレの角度βが得られる。
次いでステップS310において、コントローラ501は、ステップS309で計測された傾き角が許容差内か否か(所定の閾値以下か否か)を判定する。傾き角が許容差内では無い場合、処理はステップS311へ進み、コントローラ501は、ステージMPU280に制御コマンドを送り、ΔΘステージ600を所定方向に所定量だけ回転させる。ここで所定の閾値は、ΔΘステージ600について上述したように、3ミリ度であることが好ましく、より好ましくは0.1ミリ度である。ΔΘステージ600では制御コマンドに応じてΔΘ駆動モータ611を駆動して所定量(所定角度)ずつΔΘステージ600を回転し、その所定角度は、上述した所定の閾値以下の角度(好ましくは3ミリ度以下、より好ましくは0.1ミリ度以下)とする。そして、ステップS308に戻り、コントローラ501は、計測モードで静止画撮像を行い、傾き計測を行ない(ステップS309)、その傾きが許容差内に収まれば、ΔΘ補正を終了する。
なお、ステップS311において、ΔΘステージ600を所定量回転させているがこれに限られるものでない。たとえば、ΔΘ駆動モータ611によるΔΘステージ600(スライド)の回転量を制御できる構成であれば、ステップS309で計算された傾き(回転ズレの角度β)の分だけΔΘステージ600を回転するように制御してもよい。
図16に戻り、以上のようにしてΔΘ補正が完了すると、ステップS16において、コントローラ501は、ΔΘステージ600に載置されているスライドのスライド原点の検出を開始する。検出されたスライド原点は、スライド700上の観察位置(座標)をステージ200の位置(座標)を用いて管理するための基準位置として用いられる。すなわち、ステージ200の位置として測定されたスライド原点の座標値と、観察位置におけるステージの座標値の差分をとることにより、スライド原点に依存した(ステージ原点に依存しない)座標値が得られ、これが観察位置の座標として用いられる。換言すれば、ステージ原点を基準としたスライド原点の座標値とステージ原点を基準とした観察位置における座標値との差分により、スライド700上の観察位置(座標)が管理される。こうして、スライド上の観察位置の座標は、スライド原点を基準位置とするステージ200の位置(座標)になる。なお、ステップS16の実行時において、(ステップS305、S306、S307により)対物レンズは40倍、デジタルカメラ400は計測モードとなっている。図22に、実施形態による原点検出動作のフローチャートを示す。
コントローラ501は、ステップS401においてΔΘ補正後のY軸マーク703の静止画撮像を行い、ステップS402において短冊領域による重心計算から重心線を求める。そして、ステップS403において、コントローラ501は、計算された重心線がイメージセンサ401の撮像視野におけるY軸方向の中心線と一致するように、ステージMPU280に制御コマンドを送り、ステージをX方向に移動する。こうして、図23(a)に示す如く、Y軸マーク703のY方向中心線841にイメージセンサ401の撮像視野801のY方向の中心線842を一致させる。
次いでステップS404において、コントローラ501は、ステージMPU280に制御コマンドを送り、ステップS101で得られたXYステージ原点(座標(0,0))を基準とするこの時のステージ座標値を受け取る。そして、このうちのX座標値が高精度なスライド原点のY方向中心線のX座標値となる。また、それはイメージセンサ401の撮像視野801のY方向の中心線842のX座標値ともなる。
次いで、ステップS405において、コントローラ501は、ステージMPU280に制御コマンドを送り、イメージセンサ観察位置をスライド700の原点マーク701上に移動する。ΔΘ補正によりスライドY軸712の軸ズレは無くなっており、この為、ステージをY方向上方に所定量移動すれば、図23(b)に示すように原点マーク701がイメージセンサ401の撮像視野801に捉えられる。但し、ステージの移動位置は、XY初期化位置の検出精度分の誤差、及び、スライドの回転ズレに対するΔΘ補正後に残るY軸方向の位置ズレ誤差を含む(合せて0.1〜0.2mm程度)。そのため、原点マークのX方向の重心線851はイメージセンサ401の撮像視野801のX方向の中心線852からは若干のズレを持つ。
そこで、ステップS406にて、コントローラ501は、図23(b)の状態の原点マーク701を計測モードにて静止画撮像し、ステップS407において短冊領域による重心計算からY方向の重心位置を求める。そして、ステップS408において、コントローラ501は、求めた重心線851がイメージセンサ401の撮像視野801のX方向の中心線852と一致するように、ステージMPU280に制御コマンドを送り、ステージをY方向に移動する。こうして、図23(c)に示す如く、原点マーク701のX方向の重心線851とイメージセンサ401の撮像視野801のX方向の中心線852を一致させることができる。なお、図23(b)(c)は図14(b)に示した原点マークを用いた場合を示し、図23(d)(e)は図14(c)に示した原点マークを用いた場合を示している。
次いでステップS409にて、コントローラ501は、ステージMPU280に制御コマンドを送り、ステップS101で得られたXYステージ原点(座標(0,0))を基準とするこの時のステージ座標値を受け取る。このうちのY座標値が高精度なスライド原点のX方向中心線のY座標値となる。また、それはイメージセンサ401の観察視野のX方向の中心線のY座標値ともなる。
次いでステップS410において、コントローラ501は、観察位置の位置管理の基準をステップS101で得られたXYステージ原点(座標(0,0))からスライド原点に置き換える。次いで、コントローラ501は、ステップS411においてカメラMPU480に制御コマンドを送り、デジタルカメラ400を計測モードからカラーライブモードに切り替える。なお、ステップS16のスライド原点の検出は、対物レンズ(倍率)が変更される毎に実施されるのが好ましい。対物レンズの切り替えにより光軸がずれる場合があるからである。この点については後述する。
図16に戻り、ステップS17でコントローラ501(位置管理アプリが稼働)は、観察モードに移行する。そして、ステップS18にて、コントローラ501は、対物レンズを低倍に切り替えるようディスプレイ502により通知するか、制御コマンドを顕微鏡に送り対物レンズを低倍に切り替える。そして、ステップS19において、コントローラ501は、位置管理観察の準備完了をディスプレイ502により観察者に伝える。この時の観察位置(撮像視野の中心)はスライド原点上である。なお、対物レンズが切り替わると視野の中心が微妙にずれる事があるので、使用される対物レンズに応じたスライド原点を用いるような構成を設けることが好ましい。これを実現するために、たとえば、対物レンズが切り替わるたびにスライド原点を検出しなおすべく、ステップS17以降において図32(a)に示される処理の実行を開始する。図32(a)のステップS3201において、コントローラ501は、対物レンズの切り替わりがあったか否かを判定する。対物レンズの切り替わりは、リボルバ127により対物レンズを切り替えたことを検出するセンサを設けることにより検出することができる。あるいは、ユーザが対物レンズの切り替えを行ったことを所定のユーザインタフェースを介してコントローラ501に通知することにより、対物レンズの切り替わりが検出されてもよい。対物レンズの切り替わりが検出されると、処理はステップS3202に進み、コントローラ501はステップS16と同様の処理によりスライド原点を検出し、これを座標の基準位置とする。また、新たにスライドがロードされるたびに、ステップS15から処理が繰り返される。
なお、リボルバ127の機構精度が高く、視野中心の微妙なズレが主に対物レンズの倍率に依存する場合は、対物レンズの倍率毎にスライド原点を求め、これらを記憶して置く事でステップ16の処理を省略しても良い。なお、その場合、コントローラ501は、たとえば、顕微鏡本体100から不図示の信号線を介して、対物レンズの倍率を示す情報を取得し、ステップS3202で得られたスライド原点の座標をその検出時に使用していた対物レンズの倍率と対応付けてメモリ512に記憶しておく。そして、対物レンズの切り替えが検出された際には、コントローラ501は、切替後の対物レンズの倍率に対応したスライド原点の座標がメモリ512に記憶されていればその記憶されている座標を使用する。切替後の対物レンズの倍率に対応したスライド原点が記憶されていない場合は、コントローラ501は、上述したようにスライド原点の検出を実行する。
以上のようにして、ΔCアダプタ340による補正、ΔΘステージ600による補正、スライド700の原点検出を終えると、コントローラ501は、顕微鏡システム10を観察モードで動作させる。図24は、観察モードにおける観察位置の位置管理ならびに、デジタルカメラ400を用いた静止画撮影と記録を制御するコントローラ501の処理を説明するフローチャートである。
まず、ステップS501において、コントローラ501は、上述のステップS16で取得されたスライド原点のステージ原点を基準とした位置をメモリに記憶する。以下、このステージ原点を基準とするスライド原点座標を(x0、y0)とする。次に、ステップS502において、コントローラ501は、間隔が既知である2つのマーク、または、一つのマークを構成する間隔が既知であるライン又はスペースの中心線の間隔、ラインとスペースの境界(エッジ)、ライン又はスペースの幅などを用いて、ステージ200の座標値と実距離との間の変換係数(第1係数)を取得する。本実施形態では、クロスハッチX軸292、クロスハッチY軸293、クロスハッチ290、スライドのY軸マーク703などを用いることができる。取得された変換係数(第1係数)はメモリ512に記憶される。
第1係数の取得は、たとえば、以下のようになされる。まず、XYクロスハッチ213あるいはスライド700の位置基準マークのうち、間隔が既知である2つのマーク、または、一つのマーク内の2つのライン(パターン)のそれぞれの中央部へイメージセンサ401の所定位置(たとえば観察位置)が来るように、コントローラ501はステージ200を移動する。そして、コントローラ501は、それぞれの位置の座標の差分と、それら2つのマークまたはラインのそれぞれの中心線の間隔の実距離に基づいて、座標値と実距離の間の変換を行う第1係数を算出する。たとえば、XYクロスハッチ213のクロスハッチ290の右上端部に位置する小クロスハッチにおいて、左のY軸方向のマークと右のY軸方向のマークのライン幅方向のそれぞれの中央の位置に観察位置を順次に合わせる。このときの、X座標の変化量とそれらマーク間の実距離(たとえば0.5mm)とに基づいて第1係数が求まる。あるいは、たとえば、XYクロスハッチ213のクロスハッチY軸293の中心部の2本の10μmライン(図7B(d))を用い、それぞれのラインの中央位置に順次に観察位置を合わせる。そして、そのときの、X座標の変化量とそれらライン間の実距離(20μm)とに基づいて第1係数が求まる。なお、本実施形態では、X座標について第1係数を取得しているが、Y座標について第1係数を取得するようにしてもよい。また、本実施形態では、X座標について取得された第1係数をY座標に流用するが、X座標用の第1係数、Y座標用の第1係数を個別に計測して保持し、X,Y座標それぞれに個別の変換係数が用いられるようにしてもよい。また、変換係数の取得に用いる2つのマーク/パターンが同一の視野に収まらなくてもよい。たとえば、クロスハッチ290の最右端のY軸方向のマークと最左端のY軸方向のマークを用いてもよい。
次に、ステップS503において、コントローラ501は、間隔が既知である2つのマークが1つの画像に収まるように静止画撮影を実行する。そして、コントローラ501は、得られた画像を用いて、イメージセンサ401のピクセル距離と実距離との間の変換係数(第2係数)を取得し、これをメモリに記憶する。
第2係数の取得は、たとえば、以下のようになされる。まず、XYクロスハッチ213あるいはスライド700の位置基準マークのうち、間隔が既知である一つのマーク内の2つのラインが撮影視野に収まるようにして、静止画撮影を行う。そして、コントローラ501は、静止画像を解析し、2つのラインの間のピクセル数をカウントし、そのカウント値とそれら2つのラインの間隔の実距離に基づいて、ピクセル距離と実距離の間の変換を行う第2係数を算出する。たとえば、クロスハッチY軸293の外側の両ラインが画面内に入るように撮影し、それら両ラインの間隔に相当する画素数と既知の実距離から第2係数が求まる。なお、上記では一つのマーク内の2つのラインを用いたが、間隔が既知である2つのマークを用いるようにしてもよい。
ステップS504では、ステージMPU280から得られるステージ200のステージ原点を基準とする座標値(x,y)を、スライド原点を基準とした座標値(x0−x,y−y0)に変換し、スライド原点を基準とした座標値により位置管理を行う。ここで、(x0、y0)は、ステージ原点を基準とするスライド原点の座標である。その後、ユーザがコントローラ501に静止画撮影を指示すると、処理はステップS505からステップS506へ進み、コントローラ501はデジタルカメラ400に静止画撮影を指示する。観察モードにおけるデジタルカメラ400は、コントローラ501から静止画撮影の指示を受けると、直ちに静止画を撮影し、その画像データをコントローラ501に送信する。ステップS507、S508において、コントローラ501はデジタルカメラ400から受信した画像データを含む画像ファイルを生成し、記憶する。
ステップS507において、画像ファイルに付加する付帯情報を生成する。付帯情報には、上述した第1係数、第2係数、観察位置(スライド原点を基準としたステージ200の座標)が含まれる。なお、その他、使用している顕微鏡を識別する顕微鏡IDや、その時の対物レンズ倍率、観察対象のスライドを識別するスライドID等が付帯情報として含まれてもよい。これら付帯情報の一部(顕微鏡IDや対物レンズ倍率など)は、たとえば、不図示の信号線を介して顕微鏡本体100からコントローラ501に通知される。なお、スライドIDの取得は、たとえばバーコードを利用して実現することがあげられる。この場合、ラベルエリア721に添付されるラベルにバーコードなどで固有番号を付しておくか、または、ラベルエリア721のスライドガラスに直接バーコードを印字し、バーコードリーダ(不図示)またはイメージセンサ401によりこれを読み取るようにする。
次にステップS508において、コントローラ501は、ステップS506で受信した画像データを用いて、ステップS507で生成した付帯情報がファイルヘッダに記録された画像ファイルを生成し、記録する。図25に画像ファイルのデータ構成の一例を示す。画像ファイルのヘッダには、ファイル名2501の他に、上述した画像データ2608の付帯情報、すなわち、観察位置2502、第1係数2503、第2係数2504、顕微鏡ID2505、対物レンズ倍率2506、スライドID2507が格納される。こうして、付帯情報と画像データが関連付けられて記録されることになる。なお、付帯情報の格納は画像ファイルのヘッダに限られるものではなく、フッタに格納されてもよい。また、付帯情報を別ファイルとして記録し、参照のためのリンク情報を画像データのヘッダまたはフッタに付帯してもよい。なお、観察位置2052には、原点マーク701が示す位置を基準とした座標値、即ち、(x0−x,y−y0)が記録される。原点マーク701が汚れて使用できない場合には予備原点マーク702が用いられることになるが、その場合でも座標値は原点マーク701が示す原点位置を基準とした値に換算されて記録されようにすることが好ましい。なお、原点マーク701と予備原点マーク702との位置関係は厳密に規定されているので、予備原点マーク702を用いて、原点マーク701による基準位置を特定することができる。もちろん、予備原点マーク702を用いた場合に予備原点マーク702が示す位置(原点マーク701が示す位置とは異なる位置)を基準とするようにしてもよいが、その場合は付帯情報としてどちらの原点マークを用いたかを記録する必要がある。
なお、本実施形態では斜行センサ273を有しており、ステージ200の位置管理の精度をより向上させている。斜行センサ273による斜行検出と斜行補正については、図30A、図30B、図31により後述する。
次に、コントローラ501による静止画ファイルの表示とステージ200の同期について説明する。本実施形態では、スライド700上の被検体の観察位置を精度よく管理できるため、スライド700を用いて撮影された静止画の撮影時の観察位置を顕微鏡側で容易に再現することができる。また、静止画が表示されているディスプレイ502からステージ200の移動を指示したり、ステージ200の移動に同期して撮影済みの静止画を切り替えて表示したりすることができる。
図26は、コントローラ501による静止画像の表示とステージ200の移動制御の連携を説明するフローチャートである。また、図27は表示画面とステージ200の位置の同期を説明する図である。
ステップS601において、コントローラ501は、選択された画像ファイルの画像データをディスプレイ502に表示する。このときコントローラ501は、ディスプレイ502における画像データの表示サイズから、画像データの1ピクセルの大きさとディスプレイ502の表示画素の大きさの関係(イメージセンサの1画素がディスプレイ上の何画素に対応するか)を把握できる。
ステップS602において、コントローラ501は、付帯情報に含まれている観察位置(座標)に顕微鏡の観察位置が一致するように、ステージ200を移動する。これにより、ステージの位置管理がスライド700の原点を基準としているので、スライド700に対する観察位置と、ディスプレイ502に表示中の画像の観察位置とを高精度に一致させることができる。なお、スライド700は、たとえば、表示中の画像の撮影に用いられたスライドである。たとえば、コントローラ501は、画像ファイルから取得した観察位置(xorg、yorg)をその画像ファイルから取得される第1係数を用いて実距離に変換し、スライド原点からの実距離でもってステージ200に移動指示を行う。このように実距離を用いれば、静止画撮影時の顕微鏡(ステージ200)と現在使用している顕微鏡(ステージ)が異なる場合に対応できる。実距離で観察位置を受け取ったステージ200は、自身の第1係数を用いて実距離を座標値へ変換し、ステージ200を移動する。
図27に示されるように、表示されている画像1100の画像ファイルのヘッダから付帯情報として記録されている(スライド原点基準の)観察位置座標(xorg,yorg)を読出し、これを実距離に変換する(S701)。これにより、スライド原点から観察位置までの実距離Lx、Lyが得られる。この実距離で表された座標(Lx、Ly)を、現在使用中のステージの第1係数を用いてステージ座標値へ変換することで(ステップS702)、使用中のステージに対応した(スライド原点基準の)観察位置の座標(x0−x,y−y0)が得られる。次いで、現在使用中のステージのステージ原点を基準とするスライド原点座標(x0、y0)から、ステージ原点基準の観察位置(x,y)が得られる。コントローラ501は、こうして得られたステージ原点基準の観察位置の座標(x,y)にイメージセンサ401の撮像中心が位置するように、ステージ200の移動を指示する(ステップS703)。これにより、表示中の画像の観察位置と顕微鏡におけるスライド700の観察位置を一致させることができる。すなわち、静止画撮影されたときの観察位置が正確に再現されることになる。
次に、図26において、コントローラ501は、ディスプレイ502の画面上で観察位置の移動指示が発生したか(ステップS603)、ステージ200の移動が発生したか(ステップS606)を判定する。ディスプレイ502の画面上で観察位置の移動指示が発生した場合、処理はステップS603からステップS604へ進む。なお、画面上の観察位置の移動指示は、たとえば、マウスによるドラッグ操作の開始点と終了点を検出することにより行われる。ステップS604では、たとえば、図27において、マウスによるドラッグの開始点1001、終了点1002が検出されると、画面の移動方向と移動量を有するベクトル1003が得られ、これが移動指示として得られる。これは、表示されている画像1100の(スライド原点基準の)観察位置(xorg,yorg)を、ベクトル1003に相当する分移動する事を意味する。
コントローラ501は、ディスプレイ502上の画面の移動指示を検出すると、そのX、Y方向の移動量をXYステージの移動量に変換する。たとえば、図27において、ベクトル1003から、ディスプレイ502上の表示画素距離を取得する。表示画素距離は、X方向の移動量ΔxdispとY方向の移動量Δydispであり、これらをイメージセンサ401におけるピクセル距離(Δxpix、Δypix)に変換する(ステップS711)。続いて、コントローラ501は、第2係数を用いてピクセル距離を実距離(ΔLx,ΔLy)に変換する(ステップS712)。そして、コントローラ501は、この実距離を現在使用しているステージ200の第1係数(ステップS502で得られる)を用いてステージの移動量(Δx、Δy)に変換する(ステップS713)。こうして得られた移動量(Δx、Δy)によりステージ200を現在の(x,y)位置から移動する(S605)ことにより、ステージ200がベクトル1004で示されるように移動する。その結果、ディスプレイ502における新たな観察位置(ベクトル1003だけ移動した観察位置)とステージ200による観察位置(ベクトル1004だけ移動した観察位置)が同期する。
一方、ステージ200の移動が指示された場合は、処理はステップS606からステップS607へ進み、ステージの移動量に応じてディスプレイ502の表示を移動する。これは上述したステップS604の処理を逆方向に実行するものである。すなわち、コントローラ501は、図27において、ステージ200がベクトル1004で表されるように移動した場合、その移動量(Δx、Δy)を、ステップS502で取得した第1係数を用いて実距離(ΔLx,ΔLy)に変換する(ステップS713)。そして、コントローラ501は、実距離を現在表示中の画像ファイルの付帯情報に記録されている第2係数を用いてピクセル距離(Δxpix,Δypix)に変換する。そして、ピクセル距離をディスプレイ502における表示画素距離(Δxdisp,Δydisp)に変換し(ステップS711)、ベクトル1003だけ画像を移動するように制御される。
次に、ステップS608において、ステップS604またはS607で得たベクトル1003にしたがって表示内容を更新する。この場合、現在表示している画像1100を画像1101で更新することになる。換言すれば、画像1100の表示範囲を、画像1101の表示範囲と重複する範囲に変更することになる。そのため、表示中の画像ファイルには画像1100と画像1101の重ならない部分は画像データが無い不足部分となるので、他の画像ファイルから画像を取得して合成する。使用すべき画像ファイルは、対物レンズ倍率、スライドID、顕微鏡IDが共通な画像ファイルから、観察位置に基づいて選択される。
なお、合成可能な画像ファイルが無い場合は、画像表示のために新たな画像が必要である。そのため、コントローラ501は、ステージ200の移動後に静止画撮影を行って新たな画像ファイルを生成し、これを表示するか、上述の不足部分(余白部分)を補うように既存の重複部分と画像合成を行う(ステップS609、S610、S611)。なお、新たな画像ファイルを表示する場合も、不足部分を補うように合成する場合も、画像1100と画像1101を合成した画像を取得していく。ただし、画像1100と画像1101の合成の仕方については特に制限はない。たとえば、画像1100の周辺に画像1101の一部を合成してもよいし、画像1101の周辺に画像1100の一部を合成してもよいし、画像が重複する領域を半分に分割するような位置で合成するようにしてもよい。このような合成処理により、スライド上の被検体の切れ目の無い観察画像を得ることができる。画像(またはXYステージ)の移動により生じた不足部分に対して、このような構成により逐次合成していくことにより、観察位置を移動していく間に、合成画像が成長していくことになる。
以上説明したように、上記実施形態によれば、スライドにおける基準位置を基準とした座標による観察位置の管理を行えるため、観察位置の再現を容易に行うことができる。また、位置精度としてXYスケール板210による高精度な位置検出により、0.1μmの精度でステージを移動制御することができ、病理診断における正確な観察位置の特定、観察位置の再現が可能となる。すなわち、従来は記憶に頼っていたROIの観察位置の再現をより正確に且つ迅速に行える。また、ΔΘステージ600の採用によりスライドをいったんステージから取り出した後でも、スライドの載置状態(たとえば回転ズレ)による影響が低減され、観察位置を正確に再現できる。
上述したように、位置管理観察では、表示画像の位置座標とステージ上の位置座標とが、高精度で同期するので、観察者はディスプレイにより、常時、観察位置のスライド原点を基準とする座標値を高精度で知ることが出来る。又、所定のアプリケーションソフトにより、観察位置の経過を記録することが可能になり、又、座標値の指定により、任意の観察位置を高精度で再現する事が可能になる。又、記録されているエビデンス画像を再生し、表示された画像対応するスライド上の観察位置を正確に、顕微鏡で再観察することができる。この機能は、表示中の画像ファイルの付帯情報に記録されているスライドIDと現在ステージに載置されているスライドのラベルから読み取ったIDが一致する場合に実行される。
これにより、形態診断において、例えば、厚み方向に隣接する複数の切片より作製された複数のスライドの画像を重畳して表示し、組織の厚み方向の変化を観察するなど、本来、病理診断として行なえれば価値がある事が実現できる。この場合に必要な追加的な処理は、例えば、複数のスライドの同じ位置座標における複数の画像を、垂直に重ね、垂直方向(厚み方向)への送り操作により、表示する画像を随時切り替えられる様にする。あるいは、複数のスライドの画像を並べて表示し、同じ位置を所定のマークにて示したり、それら複数の画像間で観察箇所の移動を同期して行なわせるようにしても良い。あるいは、より多くの連続切片画像を用いることで、既存の3D化アルゴリズムを活用し、3D表示を行う事も可能である。これらは、コントローラ501上で、ソフトウエアにて実行される。
更にまた、機能診断において、同様なソフトウエア処理により、コントローラ501は染色状態の異なる複数の画像を、重畳してディスプレイ502に表示させることができる。たとえば、形態染色を行ったスライドで観察を行った後、そのスライドを用いて機能染色を行って観察を行い、形態染色と機能染色で撮影した顕微鏡画像を所定精度で合成表示することが可能になる。あるいは、連続切片になる形態画像と(複数の)機能染色による機能画像とを重畳して表示し、形態異型と機能変化とを比較観察するなどが可能になる。これらは、本来、病理診断として行なえれば価値があるが、従来、実現できなかった事である。
また、イメージセンサの素子の並びとステージのXY方向、スライドのXY方向を正確に一致させるので、複数の静止画像の回転ズレが解消され、複数の撮影画像を容易に合成することができる。
また、実距離を介して座標を管理できるようにしているので、座標値と実距離の関係が異なるステージ200が用いられても、観察位置を正確に特定することができる。なお、付帯情報として記録する(スライド原点基準の)観察位置の座標値に実距離を使用しても良い事は言うまでもない。その場合、上述した第1係数(ステージ200の座標値と実距離との間の変換係数)は付帯情報から省略されてもよい。ただし、第1係数を付帯情報に含めておけば、第1係数を得るための測定処理等を省略でき、便利である。また、座標値とともに、それが実距離による記述なのか、あるいは、ステージ上の距離なのかを付帯記録して置いても良い。
また、上記ではデジタルカメラ400を装着した形態を説明したが、イメージセンサ401が鏡基121に組み込まれたものであってもよい。その場合、ΔCアダプタ340による回転ズレの補正は省略可能となる。
なお、以上述べた動作フローにおいて、デジタルカメラ400が、電源起動時にカラーライブモードとなる設定を有したり、計測モード固有の画像処理にてライブモードを実現する機能を有していてもよい。また、デジタルカメラ400がいずれのライブモードからでも静止画撮像を行い、その後、自動でライブモードに戻る機能を有していてもよい。
なお、以上の動作フローにおいて、デジタルカメラでの計測モードにおける各種画像処理、CPUでの短冊幅の設定、重心計算、画角判断などの各種処理として、両者の役割分担を明記した。しかしながら、それらの処理の部分又は全部を別の装置で実現する事も可能である。
又、以上述べた実施形態では、通常サイズ(1インチx3インチ)のスライドのみを扱ったが、大サイズ(2インチx3インチ)であっても同様である事は明らかであろう。
又、以上述べた実施形態では、Z方向の調整、即ち、焦点合せに関しては、敢えて触れなかったが、高倍対物レンズにおける画角判断(S206、S305)、静止画撮像(S209、S308、S401と406)等では、焦点合せが必要となる場合がある。又、図14に関して上述したように、スライド700上のマークがカバーガラスで蔽われた場合、焦点合わせが必要になる。そのような焦点合わせはZ調整機構により達成されるが、本実施形態では、たとえば、手動指示又は制御コマンドにより顕微鏡のZベース130を移動させることで行える。
また、上記実施形態では、原点マークを有するスライド700を用いて観察を行う場合を説明したが、原点マークが存在しない一般的なスライドを利用した場合は、上述のような位置管理(スライド基準位置を基準とした位置管理)はできない。このような場合に対して、実施形態に係る顕微鏡システムでは、少しでも精度よく位置管理を行うために、ステージ200の初期化においてより正確にステージ原点を決定し、これを基準に位置管理をするようにしてもよい。すなわち、スライド基準位置を特定できなかった場合には、より高精度なステージの原点位置となり得るクロスハッチ原点291を基準としてステージの位置管理が行われる。この場合、顕微鏡システムの全体動作を示すフローチャートは図29のようになる。
図16のステップS11、S12に示した初期化処理を完了し、ΔC補正(ステップS13)を終えると、処理はステップS291へ進む。ステップS291において、コントローラ501は、クロスハッチ原点291を用いて観察位置(イメージセンサ401の中心)とステージ原点の位置合わせを行う。クロスハッチ原点291を用いた位置合わせは、ステップS16で説明したスライド700の原点検出(図22)と同様の手法(マークの重心検出を用いた方法)で実現できる。こうして、クロスハッチ原点基準の観察位置の座標管理が実現する。この方法によれば、X及びY初期位置マークとX及びY初期位置センサとによる機械的誤差を含むステージ原点を基準とする座標管理に比べて、格段に精度が向上する。
その後、スライドがロードされると、処理はステップS14からステップS292へ進み、コントローラ501は、ステージ200に載置されているスライドが原点マークを有しているか否かを判定する。これは、載置されているスライドの原点マークのある筈の位置へステージを移動し、デジタルカメラ400により撮影された画像中に原点マーク701が存在するか否かを判定することでなされる。スライドに原点マークが有れば、コントローラ501は上述したステップS15、S16の処理を実行し、ステップS17以降でスライド原点を基準とした位置管理を行う。他方、原点マークが存在しなかった場合は、処理はステップS17へ進み、ステップS291で取得したクロスハッチ原点291によるステージ原点を基準として位置管理を行う。なお、図25に示した画像ファイルのヘッダに、スライド原点の有無の検知結果、または、位置管理にスライド原点を用いたのかステージ原点を用いたのかを区別する情報を含ませるようにしてもよい。このような情報を記録しておくことで、たとえば、スライド原点を用いたことを示しているのにスライドから原点を検出できなかった場合は、検出できないほどに原点マークが汚れているといったことを判断できる。
図29により説明した以上のような処理により、スライドが原点マークを有していなくても、ステージ原点が高精度に位置合わせされるため、ステージ200、アダプタ部300(ΔCアダプタ340)による高精度な位置管理能力を生かした位置管理が可能となる。たとえば、原点マークを有していないスライドを載置したまま、ステージ200への電源がオフされ、その後再びオンされたような場合、ステップS291によりステージ原点の位置合わせが高精度に実施されるため、より精度のよい位置管理を継続することができる。
なお、図16で説明したように、対物レンズの切り替えが行われた場合にはクロスハッチ原点291によるステージ原点とスライド原点の検出をやり直すことが好ましい。したがって、図29のステップS17以降、対物レンズの切り替えが検出された場合に原点の検出を再実行するべく、図32(b)に示される処理の実行が開始される。すなわち、ステップS3211において、コントローラ501は、対物レンズの切り替わりがあったか否かを判定する。対物レンズの切り替わりが検出されると、処理はステップS3212に進み、コントローラ501はスライド原点の検出が可能なスライドか否かを判定する。これは、たとえば、ステップS292の判定結果をメモリに保持しておき、これを参照することで実現できる。スライド原点が検出可能であれば、処理はステップS3213へ進み、コントローラ501はステップS16と同様の処理によりスライド原点を検出し、これを座標の基準位置とする。他方、スライド原点を検出できないスライドの場合は、処理はステップS3214へ進み、ステップS291と同様にクロスハッチ原点291によるステージ原点と観察位置の位置合わせを行う。なお、新たにスライドがロードされるたびに、ステップS292以降の処理が繰り返される。
なお、図32(a)について上述したように、本処理においても、メモリ512に対物レンズの倍率とスライド原点またはステージ原点の座標を対応付けて記憶するようにしてもよい。すなわち、ステップS3213で検出されたスライド原点またはステップS3214で検出されたステージ原点の座標を、その検出時に使用していた対物レンズの倍率に対応付けて記憶し、対物レンズの倍率が切り替えられた際に再利用できるようにしてもよい。又、ステージ原点をその検出時に使用していた対物レンズの倍率に対応付けて記憶して置く場合は、対物レンズ毎のステージ原点の検出ステップ(図32(b)の対応する部分)は、図29のステップS291において行っても良い。こうする事で、図32(b)のステップS3214ではステージ原点の検出を省き、記憶されたステージ原点を使用する事が出来る。
以上では、斜行センサに関連する処理動作を含めずに説明を行ったが、本実施形態では斜行センサ273を有しており、ステージ200の位置管理の精度をより向上させている。以下、斜行センサの役割、斜行補正処理について説明する。
スライド700が載置される位置管理面ステージ220は、ステージ200のX軸及びY軸方向駆動に際し、μ台の微小な軸変動を生じる場合がある。これは、ステージ機構の微小な歪、及び、X軸及びY軸クロスローラガイドの機械加工精度に起因する微小な斜行や蛇行(複雑な斜行)に起因するものである。このようなμ台の微小な軸変動により、結果的に図30A(a)に示す様な微小な回転ズレになって現れる可能性がある。
図30A(a)で、2102は移動前の位置管理面ステージ220の位置、2103は回転ズレを生じた移動後の位置管理面ステージ220の位置を示す。位置2103の状態をより具体的に示したのが図30A(b)である。図30A(b)では、X軸センサ271及び斜行センサ273が配設されたステージベース260に対して、微小な回転ズレを含む位置管理面ステージ220の位置2104が示されている。図30B(c)に、図30A(b)におけるX軸センサ271と、観察視野170の中心と、観察視野170の中心を通る位置管理面ステージ220の位置2104におけるX方向の軸1105との関係を示す。
図30B(c)に示されるように、軸1105は、観察視野170の中心とX軸センサ271の検知中心を通る線1106に対し垂直方向にシフトしている。本例では、X軸センサ271の検知中心において垂直方向に2μmシフトとしているものとする。この垂直方向シフト量をt、このシフトによる微小な回転ズレ角をdとすると、この回転ズレに伴うX軸センサ271によるX座標の変化eは、0.025nmであり、Xセンサの分解能10nmに比べて、極めて小さく検知不能である。因みにeの計算式の例は、
d = ASIN(t/L1)、e =L1*(1-COSd)
であり、ここで、L1は観察視野170の中心とX軸センサ271の検出中心との距離であり、この例では80mmとしている。即ち、X軸センサ271は観察視野170の中心の精確な座標を得る為に観察視野170の中心を通る軸線上に配設されており、そのようなX軸センサ271では、微小な回転ズレの影響を受ける事が無く、従って微小な回転ズレを検知する事はできない。
d = ASIN(t/L1)、e =L1*(1-COSd)
であり、ここで、L1は観察視野170の中心とX軸センサ271の検出中心との距離であり、この例では80mmとしている。即ち、X軸センサ271は観察視野170の中心の精確な座標を得る為に観察視野170の中心を通る軸線上に配設されており、そのようなX軸センサ271では、微小な回転ズレの影響を受ける事が無く、従って微小な回転ズレを検知する事はできない。
これに対し、斜行センサ273は、観察視野170の中心を通る軸線上から離れて、X軸センサ271の垂直上方に配設されている為、回転ズレを検知する事が出来る。図30B(d)は、斜行センサ273における変化量を説明する為の図である。同図でfは、回転ズレdに対する斜行センサ273におけるX座標の変化量であり、fは、X軸センサ271と斜行センサ273との距離S(同図の例では40mm)から、
f =(S2+L12)1/2 (COSD-COS(D+d))
ここで、D=ATAN(S/L1)、d = ASIN(t/L1)
により算出される。該計算式により、垂直方向に2μm(t)のシフトに対して、fは1μmとなる。これはセンサの分解能10nmに比べて十分な変化量であり、斜行センサ273によれば、位置管理面ステージ220の微小な回転ズレ角dが検知可能となる。
f =(S2+L12)1/2 (COSD-COS(D+d))
ここで、D=ATAN(S/L1)、d = ASIN(t/L1)
により算出される。該計算式により、垂直方向に2μm(t)のシフトに対して、fは1μmとなる。これはセンサの分解能10nmに比べて十分な変化量であり、斜行センサ273によれば、位置管理面ステージ220の微小な回転ズレ角dが検知可能となる。
さて、位置管理面ステージ220が微小な回転ズレを有すると、載置されたスライド700も微小な回転ズレを有する事になり、位置2103の撮像画像は回転ズレを含む。図30A(a)で示した位置2102及び位置2103におけるスライド700の撮像画像の表示画像を図31(a)に示す。図31(a)で、2107は位置2102に対する撮像画像の表示画像、2108は位置2103に対する撮像画像の表示画像である。表示画像2108は、回転ズレを有し、表示画像2107との位置座標に基づく画像合成において微小な不一致を生じる。これに伴い、表示画面とステージ200の位置の同期にも微小な回転ズレを生じる。本実施形態では、0.1μmの位置管理精度を目標としており、この回転ズレにより、所定の観察範囲(例えば、観察対象領域205)で0.1μmを超える垂直方向シフトが生じない様、斜行補正が必要となる。この回転ズレは、デジタルカメラ400の回転ズレ(ΔC)、スライド載置の際のスライド自体の回転ズレ(ΔΘ)など、所定の対象に対する一度の補正で済むものと異なり、所定のスレショルドを判定基準として、ステージの移動に応じて適宜、補正を行う事が必要である。
例えば、垂直方向シフト量t=0.1μmとして、上述の計算式より、fを計算すると、f=50nmとなる。したがって、本実施形態では、0.1μmの位置管理精度を実現するために、f=50nmを斜行補正を行うか否かのスレショルドとする。このスレショルド例は、観察視野170の中心とX軸センサ271の検出中心との距離L1が80mmの場合である。一方、原点マーク701から、スライド700の最遠端までの距離は53mm(図14(a)参照)であり、80mmより小さく、従って、スライド原点を基準とする観察視野170の中心の座標(x0−x,y−y0)は0.1μm以内の位置管理精度となる。
斜行センサ273は、例えば、XYステージの初期化時において、その座標値をゼロにリセットし、その後、コントローラは、常にX軸センサ271によるX座標値と斜行センサ273によるX座標値との差分値を変化量(f)として常に監視する。なお、変化量(f)は初期化時はゼロである。後のスライド原点の検知において、又は、クロスハッチ原点291の検知において差分値が生じた場合は、その差分値を基準値として再設定し、再設定された基準値からの斜行センサ273のX座標変化量(f)を常時監視する。そして、該変化量fがスレショルド(例えば50nm)以下に収まっている場合は、斜行無しとして上述した図24〜27、29の処理が行われる。一方、変化量fがスレショルドを超える場合は、斜行有りと判定され、斜行処理が行なわれてから、上述した図24〜27、29の処理が行われる。
斜行処理では、まず、fから回転ズレ角dを、逆方向の計算式、
d=ACOS(COSD-f/L2)-D、
ここでD=ATAN(S/L1)、
L2は、観察視野170の中心から斜行センサ273の検出中心との距離
により求め、表示画像2108を表示画像の中心(観察視野170の中心に対応する)を回転軸として回転ズレ角d回転する。即ち、図31(b)に示す如く、図31(a)の回転ズレを含む表示画像2108をdだけ回転し、表示画像2109とする。回転方向は、図30A(a)における位置管理面ステージ220の位置2103の回転ズレとは逆の方向である。以上述べた斜行処理により、ステージ機構の微小な歪、及び、X軸及びY軸クロスローラガイドが有する微小な軸変動などにより生じる微小な回転ズレが補正され、必要な位置管理精度が担保される。
d=ACOS(COSD-f/L2)-D、
ここでD=ATAN(S/L1)、
L2は、観察視野170の中心から斜行センサ273の検出中心との距離
により求め、表示画像2108を表示画像の中心(観察視野170の中心に対応する)を回転軸として回転ズレ角d回転する。即ち、図31(b)に示す如く、図31(a)の回転ズレを含む表示画像2108をdだけ回転し、表示画像2109とする。回転方向は、図30A(a)における位置管理面ステージ220の位置2103の回転ズレとは逆の方向である。以上述べた斜行処理により、ステージ機構の微小な歪、及び、X軸及びY軸クロスローラガイドが有する微小な軸変動などにより生じる微小な回転ズレが補正され、必要な位置管理精度が担保される。
なお、他のスレショルドの例として、変化量fより得られる回転ズレ角dから、原点マーク701を基準とする観察視野170の中心位置の回転によるシフト量を計算し、X方向及びY方向シフト量が0.1μm以内である事としても良い。また、斜行補正の他の例として、斜行量がスレショルドを超えた場合は、直近のスレショルド以下の位置に移動し、そこで撮像を行い、その移動量を補正して位置同期を行っても良い。また、機械加工精度が向上し、斜行補正が行われる頻度が稀となった場合には、斜行補正を行わず、斜行検知をステージの故障検知として利用しても良い。
また、本発明の実施形態には、以下の処理を実行する装置や当該処理の方法も含まれる。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:顕微鏡システム、100:顕微鏡本体、200:ステージ、300:アダプタ部、400:デジタルカメラ、500:制御ユニット、600:ΔΘステージ、700:スライド
Claims (31)
- 顕微鏡本体と、
前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、
互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置し、ステージ基準位置を示すためのマークを有するステージと、
前記ステージの前記X軸方向およびY軸方向の位置を取得する取得手段と、
前記イメージセンサにより撮影された画像から、前記ステージに設けられたマークが示す前記ステージ基準位置と、前記ステージに載置されたスライドに設けられたマークが示すスライド基準位置を検出する検出手段と、
前記スライド基準位置を検出できた場合には前記取得手段により取得される前記ステージの位置を前記スライド基準位置を基準とした座標で管理し、前記スライド基準位置を検出できなかった場合には前記ステージの位置を前記ステージ基準位置を基準とした座標で管理する管理手段とを備えることを特徴とする顕微鏡システム。 - 前記管理手段は、前記顕微鏡本体の観察に使用される対物レンズに応じたステージ基準位置またはスライド基準位置を用いることを特徴とする請求項1に記載の顕微鏡システム。
- 顕微鏡本体と、
前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、
互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置するステージと、
前記ステージの前記X軸方向およびY軸方向の位置を取得する取得手段と、
前記イメージセンサにより撮影された画像から、前記ステージに載置されたスライドに設けられているマークによって示されるスライド基準位置を検出する検出手段と、
前記取得手段により取得される前記ステージの位置を、前記検出手段により検出された前記スライド基準位置を基準とした座標で管理する管理手段と、を備え、
前記管理手段は、前記顕微鏡本体の観察に使用される対物レンズに応じたスライド基準位置を用いることを特徴とする顕微鏡システム。 - 前記検出手段は、スライド基準位置とそのスライド基準位置の検出時に使用されていた対物レンズとを識別する情報を対応付けてメモリに記憶し、
前記管理手段は、前記顕微鏡本体の観察に使用される対物レンズが切り替わると、切替後の対物レンズに対応付けて記憶されているスライド基準位置を前記メモリから読み出して用いることを特徴とする請求項3に記載の顕微鏡システム。 - 前記検出手段は、前記顕微鏡本体の観察に使用される対物レンズが切り替わるたびに前記スライド基準位置を検出しなおすことを特徴とする請求項3に記載の顕微鏡システム。
- 前記スライドに設けられているマークが示す軸方向と前記ステージの前記X軸方向または前記Y軸方向を一致させる補正手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の顕微鏡システム。
- 前記補正手段は、前記スライドに設けられているマークが示す軸方向と前記イメージセンサの画素配列により規定される軸方向を一致させるように回転補正し、
前記検出手段は、前記回転補正を行った後、前記スライド基準位置を検出することを特徴とする請求項6に記載の顕微鏡システム。 - 前記補正手段は、
スライドを載置して、前記X軸方向および前記Y軸方向に直交するZ軸方向の軸まわりに回転する回転ステージと、
前記イメージセンサにより撮像された、前記スライドに設けられているマークの画像から取得される軸方向と、前記イメージセンサのX軸方向またはY軸方向とを一致させるように前記回転ステージを回転させる制御手段を備えることを特徴とする請求項7に記載の顕微鏡システム。 - 前記装着手段は、前記装着されたイメージセンサを前記X軸方向および前記Y軸方向に直交するZ方向の軸まわりに回転させる回転機構を有し、
前記補正手段は、前記回転補正に先立って、前記イメージセンサにより撮像された、前記ステージに設けられているマークの画像から取得される軸方向と、前記イメージセンサのX軸方向またはY軸方向とを一致させることを特徴とする請求項8に記載の顕微鏡システム。 - 前記補正手段は、前記イメージセンサにより撮像された画像を1画素以上の幅を有する短冊状の部分領域に分割し、部分領域毎に算出された画素値の重心位置に基づいてマークが示す軸方向を検出することを特徴とする請求項8または9に記載の顕微鏡システム。
- 前記軸方向を提供するマークは、幅が異なる複数のラインから構成され、該複数のラインは線対象に配置されていることを特徴とする請求項10に記載の顕微鏡システム。
- 前記ステージまたは前記載置されたスライドに設けられた、間隔の実距離が既知である2つのマーク、または1つのマークが有する2つのパターンの位置を検出することにより、前記座標と実距離の間の変換のための第1係数を算出する第1の算出手段をさらに備えることを特徴とする請求項1乃至11のいずれか1項に記載の顕微鏡システム。
- 前記第1の算出手段は、間隔の実距離が既知である2つのマーク、または1つのマークが有する2つのパターンのそれぞれに前記イメージセンサの撮影視野の所定位置を一致させたときの前記取得手段により取得される前記ステージの位置に基づいて、前記座標と実距離の間の変換のための第1係数を算出することを特徴とする請求項12に記載の顕微鏡システム。
- 前記ステージまたは前記載置されたスライドに設けられた、間隔の実距離が既知である2つのパターンを前記イメージセンサの撮像視野に入れて撮影された画像から、ピクセル距離と前記実距離との間の変換のための第2係数を算出する第2の算出手段をさらに備えることを特徴とする請求項1乃至13のいずれか1項に記載の顕微鏡システム。
- 前記イメージセンサにより撮影された画像と、該画像の撮影時における前記ステージの位置を示す、前記スライド基準位置を基準とした座標を含む付帯情報を関連付けて記録する記録手段をさらに備えることを特徴とする請求項1乃至14のいずれか1項に記載の顕微鏡システム。
- 前記付帯情報に含まれる、前記スライド基準位置を基準とした座標は、前記スライド基準位置からの実距離を表すことを特徴とする請求項15に記載の顕微鏡システム。
- 前記付帯情報は、前記座標と実距離の間の変換のための第1係数と、前記画像におけるピクセル距離と実距離の間の変換のための第2係数をさらに含むことを特徴とする請求項15または16に記載の顕微鏡システム。
- 前記画像を表示することに応じて、前記画像の前記付帯情報に含まれている前記スライド基準位置を基準とした座標を前記第1係数を用いて変換して得られた実距離に基づいて前記ステージを前記画像を撮影したときの観察位置に移動させる制御手段をさらに備えることを特徴とする請求項17に記載の顕微鏡システム。
- 前記イメージセンサにより撮影された画像と、該画像の撮影時における前記ステージの位置を示す、前記スライド基準位置または前記ステージ基準位置を基準とした座標と、
基準位置が前記スライド基準位置と前記ステージ基準位置のいずれであるかを示す情報と、を含む付帯情報を関連付けて記録する記録手段をさらに備えることを特徴とする請求項1または2に記載の顕微鏡システム。 - 前記記録手段は、前記画像を記録する画像ファイルのヘッダまたはフッタに、前記付帯情報を記録する、または前記付帯情報へのリンク情報を記録することを特徴とする請求項15乃至19のいずれか1項に記載の顕微鏡システム。
- 前記画像は、前記ステージの前記画像の撮影時における前記スライド基準位置を基準とした座標値と、前記イメージセンサのピクセル距離と実距離との間の変換のための係数とを含む付帯情報と関連付けられており、
前記画像を表示しているディスプレイの画面上で指示された移動方向と移動量のうち前記移動量を前記ピクセル距離に変換し、前記係数を用いて前記移動量に対応する実距離を算出する算出手段と、
前記算出手段により算出された実距離と前記移動方向に基づいて前記ステージを移動する移動手段とを備えることを特徴とする請求項1乃至14のいずれか1項に記載の顕微鏡システム。 - 前記画像は、前記画像の撮影時における前記ステージの座標値と、前記イメージセンサのピクセル距離と実距離との間の変換のための係数とを含む付帯情報と関連付けられており、
前記ステージのXY方向への移動に応じて、前記取得手段により取得される位置に基づいて前記ステージの移動方向と移動量を算出する算出手段と、
前記移動量に対応する実距離と前記係数に基づいて前記移動量をピクセル距離に変換し、該ピクセル距離と前記移動方向に基づいて、前記画像を表示しているディスプレイの表示内容を更新する更新手段とを備えることを特徴とする請求項1乃至14のいずれか1項に記載の顕微鏡システム。 - 前記ディスプレイにおいて前記ステージの移動の前に表示されていた画像と前記ステージが移動した後に撮影した画像を接続する接続手段をさらに備えることを特徴とする請求項21または22に記載の顕微鏡システム。
- 前記イメージセンサにより撮影された複数の画像を、それぞれの画像の撮影時における前記ステージの位置を示す座標に基づいて接続し、前記イメージセンサの撮像視野よりも大きい範囲の画像を生成する生成手段をさらに備えることを特徴とする請求項1乃至23のいずれか1項に記載の顕微鏡システム。
- 前記取得手段は、前記ステージのX軸方向の位置を検出するX軸センサと、該X軸センサよりY軸方向に所定間隔だけ離れて配置された斜行センサとを有し、
前記X軸センサにより検出される前記ステージの位置と、前記斜行センサにより取得される前記ステージの位置との差に基づいて斜行を検出する斜行検出手段をさらに備えることを特徴とする請求項1乃至24のいずれか1項に記載の顕微鏡システム。 - 前記斜行検出手段により検出された斜行に基づいて、前記イメージセンサにより取得された画像を回転することにより斜行を補正する斜行補正手段をさらに備えることを特徴とする請求項25に記載の顕微鏡システム。
- 前記顕微鏡システムにより取得される観察対象の複数の画像であって、隣接する複数の切片を観察対象とする複数のスライドの画像を重畳して表示部に表示させる表示制御手段をさらに有することを特徴とする請求項1乃至26のいずれか1項に記載の顕微鏡システム。
- 前記顕微鏡システムにより取得される観察対象の複数の画像であって、染色状態の異なる複数の画像を、重畳して表示部に表示させる表示制御手段をさらに有することを特徴とする請求項1乃至26のいずれか1項に記載の顕微鏡システム。
- 顕微鏡本体と、
前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、
互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置し、ステージ基準位置を示すためのマークを有するステージと、を備えた顕微鏡を制御するコントローラによる制御方法であって、
前記ステージの前記X軸方向およびY軸方向の位置を取得する取得工程と、
前記イメージセンサにより撮影された画像から、前記ステージに設けられたマークが示す前記ステージ基準位置と、前記ステージに載置されたスライドに設けられたマークが示すスライド基準位置を検出する検出工程と、
前記スライド基準位置を検出できた場合には前記取得工程で取得される前記ステージの位置を前記スライド基準位置を基準とした座標で管理し、前記スライド基準位置を検出できなかった場合には前記ステージの位置を前記ステージ基準位置を基準とした座標で管理する管理工程とを有することを特徴とする顕微鏡システムの制御方法。 - 顕微鏡本体と、
前記顕微鏡本体に装着手段を介して装着された、顕微鏡下の観察像を撮影するイメージセンサと、
互いに直交するX軸方向およびY軸方向に移動し、観察対象のスライドを載置するステージと、を備えた顕微鏡を制御するコントローラによる制御方法であって、
前記ステージの前記X軸方向およびY軸方向の位置を取得する取得工程と、
前記イメージセンサにより撮影された画像から、前記ステージに載置されたスライドに設けられているマークによって示されるスライド基準位置を検出する検出工程と、
前記取得工程で取得された前記ステージの位置を、前記検出工程で検出された前記スライド基準位置を基準とした座標で管理する管理工程と、を有し、
前記管理工程では、前記顕微鏡本体の観察に使用される対物レンズに応じたスライド基準位置を用いることを特徴とする顕微鏡システムの制御方法。 - 請求項29または30に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014250317A JP6478605B2 (ja) | 2014-12-10 | 2014-12-10 | 顕微鏡システムおよびその制御方法 |
US15/532,240 US10634897B2 (en) | 2014-12-10 | 2015-12-08 | Microscope system and control method thereof |
PCT/JP2015/006083 WO2016092815A2 (en) | 2014-12-10 | 2015-12-08 | Microscope system and control method thereof |
EP15817582.8A EP3230785B1 (en) | 2014-12-10 | 2015-12-08 | Microscope system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014250317A JP6478605B2 (ja) | 2014-12-10 | 2014-12-10 | 顕微鏡システムおよびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016110043A JP2016110043A (ja) | 2016-06-20 |
JP6478605B2 true JP6478605B2 (ja) | 2019-03-06 |
Family
ID=55066707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014250317A Active JP6478605B2 (ja) | 2014-12-10 | 2014-12-10 | 顕微鏡システムおよびその制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10634897B2 (ja) |
EP (1) | EP3230785B1 (ja) |
JP (1) | JP6478605B2 (ja) |
WO (1) | WO2016092815A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6562627B2 (ja) | 2014-12-10 | 2019-08-21 | キヤノン株式会社 | 顕微鏡システム |
JP6609174B2 (ja) * | 2015-12-10 | 2019-11-20 | キヤノン株式会社 | 顕微鏡システムおよびその制御方法 |
EP3542204B1 (en) | 2016-11-18 | 2021-02-17 | Ventana Medical Systems, Inc. | Method and system to detect substrate placement accuracy |
EP3927467A4 (en) * | 2019-02-20 | 2022-12-14 | Pacific Biosciences of California, Inc. | SCANNING APPARATUS AND METHODS FOR DETECTING CHEMICAL OR BIOLOGICAL ANALYTES |
CN111654653B (zh) * | 2020-02-29 | 2022-05-10 | 杭州市中医院 | 一种病理取材记录仪 |
CN114125261A (zh) * | 2020-09-01 | 2022-03-01 | 深圳迈瑞生物医疗电子股份有限公司 | 可移动装置运动校准的方法、图像分析装置和分析系统 |
CN115979750B (zh) * | 2022-12-14 | 2023-07-25 | 江苏医药职业学院 | 一种基于机器视觉的细胞载玻片精确点胶方法及系统 |
CN115979770B (zh) * | 2023-03-21 | 2023-05-30 | 天津医科大学总医院 | 一种肝胆外科用化验标本处理装置 |
CN118129650B (zh) * | 2024-05-09 | 2024-07-16 | 沈阳和研科技股份有限公司 | 一种划片机机芯组件x轴直线度的视觉检测系统及方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1876170A (en) * | 1930-04-30 | 1932-09-06 | Pomosin Werke Gmbh | Hardening of steel |
JP2909829B2 (ja) * | 1989-07-05 | 1999-06-23 | セイコーインスツルメンツ株式会社 | 位置合わせ機能付複合走査型トンネル顕微鏡 |
US5731883A (en) | 1996-04-10 | 1998-03-24 | Eastman Kodak Company | Apparatus and method for producing integral image elements |
EP0841594A3 (en) * | 1996-11-07 | 1999-08-25 | Nikon Corporation | Mark for position detection, mark detecting method and apparatus, and exposure system |
EP1226546B1 (en) * | 1999-10-29 | 2007-03-21 | Cytyc Corporation | Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system |
US6673315B2 (en) * | 2001-06-29 | 2004-01-06 | Biomachines, Inc. | Method and apparatus for accessing a site on a biological substrate |
US20030210262A1 (en) | 2002-05-10 | 2003-11-13 | Tripath Imaging, Inc. | Video microscopy system and multi-view virtual slide viewer capable of simultaneously acquiring and displaying various digital views of an area of interest located on a microscopic slide |
DE10336803A1 (de) | 2003-08-11 | 2005-03-24 | Leica Microsystems Wetzlar Gmbh | Verfahren und System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes |
WO2006033273A1 (ja) | 2004-09-22 | 2006-03-30 | Nikon Corporation | 顕微鏡システムおよび画像処理方法 |
JP2007024927A (ja) * | 2005-07-12 | 2007-02-01 | Olympus Corp | 顕微鏡画像撮影装置 |
JP2007288050A (ja) * | 2006-04-19 | 2007-11-01 | Shinko Electric Ind Co Ltd | 半導体装置および半導体装置の製造方法 |
JP2008298861A (ja) * | 2007-05-29 | 2008-12-11 | Olympus Corp | 観察装置 |
JP2009036970A (ja) * | 2007-08-01 | 2009-02-19 | Nikon Corp | カバーガラス、スライドガラス、プレパラート、観察方法、及び顕微鏡装置 |
US7848019B2 (en) * | 2007-12-10 | 2010-12-07 | Cytyc Corporation | Microscope calibration apparatus and method and stage including calibration apparatus |
JP2009237277A (ja) * | 2008-03-27 | 2009-10-15 | Nippon Zeon Co Ltd | 顕微鏡観察用容器 |
JP2011145470A (ja) * | 2010-01-14 | 2011-07-28 | Olympus Corp | 顕微鏡 |
US8175452B1 (en) | 2010-10-26 | 2012-05-08 | Complete Genomics, Inc. | Method and system for imaging high density biochemical arrays with sub-pixel alignment |
JP2013011856A (ja) * | 2011-06-01 | 2013-01-17 | Canon Inc | 撮像システムおよびその制御方法 |
DE102012005587A1 (de) * | 2012-03-20 | 2013-09-26 | Metasystems Hard & Software Gmbh | Automatische Kalibrierung eines Mikroskop-Scanningsystems |
FR2993988B1 (fr) | 2012-07-27 | 2015-06-26 | Horiba Jobin Yvon Sas | Dispositif et procede de caracterisation d'un echantillon par des mesures localisees |
JP5684214B2 (ja) | 2012-10-17 | 2015-03-11 | 京楽産業.株式会社 | 遊技機 |
JP2015006083A (ja) | 2013-06-21 | 2015-01-08 | 株式会社東芝 | 固定子、固定子の製造方法 |
JP6312505B2 (ja) | 2014-04-08 | 2018-04-18 | キヤノン株式会社 | 光学式エンコーダおよびこれを備えた装置 |
JP6562626B2 (ja) * | 2014-12-10 | 2019-08-21 | キヤノン株式会社 | 顕微鏡システム |
JP6643072B2 (ja) * | 2015-12-10 | 2020-02-12 | キヤノン株式会社 | 顕微鏡システムおよびその制御方法 |
-
2014
- 2014-12-10 JP JP2014250317A patent/JP6478605B2/ja active Active
-
2015
- 2015-12-08 WO PCT/JP2015/006083 patent/WO2016092815A2/en active Application Filing
- 2015-12-08 US US15/532,240 patent/US10634897B2/en active Active
- 2015-12-08 EP EP15817582.8A patent/EP3230785B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016092815A3 (en) | 2016-10-27 |
JP2016110043A (ja) | 2016-06-20 |
WO2016092815A2 (en) | 2016-06-16 |
US20180267288A1 (en) | 2018-09-20 |
EP3230785B1 (en) | 2022-02-09 |
US10634897B2 (en) | 2020-04-28 |
EP3230785A2 (en) | 2017-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6562626B2 (ja) | 顕微鏡システム | |
JP6562627B2 (ja) | 顕微鏡システム | |
JP6478605B2 (ja) | 顕微鏡システムおよびその制御方法 | |
JP6643072B2 (ja) | 顕微鏡システムおよびその制御方法 | |
JP6560490B2 (ja) | 顕微鏡システム | |
JP6562625B2 (ja) | スライドおよび当該スライドを用いる顕微鏡システム | |
JP6659133B2 (ja) | スライドおよびスライドとカバーガラスのセット、並びに顕微鏡システム | |
US10928620B2 (en) | Microscope system and method of controlling the same | |
US11009693B2 (en) | Microscope system | |
JP6562624B2 (ja) | 顕微鏡システムのためのアダプタ、及び当該アダプタを有する顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6478605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |