図1は、一実施形態に係る顕微鏡システム1の構成を例示した図である。図2は、顕微鏡システム1に含まれるコンピュータ20のハードウェア構成を例示した図である。図3は、顕微鏡システム1の機能構成を例示した図である。以下、図1から図3を参照しながら、顕微鏡システム1の構成について説明する。
顕微鏡システム1は、図1に示すように、顕微鏡装置10と、顕微鏡装置10に接続されたコンピュータ20を備えている。顕微鏡システム1は、さらに、図1に示すように、表示装置31、LED(Light Emitting Diode)33を備えるスピーカー32、キーボード41、及びマウス42を備えてもよく、これらは、コンピュータ20に、有線又無線で接続されてもよい。
顕微鏡装置10は、例えば、工業用顕微鏡であり、ステージ11と、対物レンズ12と、レボルバ13と、撮影装置14と、を備えている。なお、顕微鏡装置10は、工業用顕微鏡に限らず、生物用顕微鏡であってもよい。また、顕微鏡装置10は、明視野観察法、暗視野観察法、微分干渉観察法、位相差観察法、蛍光観察法などの種々の検鏡法に対応しても良い。また、顕微鏡装置10は、正立顕微鏡に限らず、倒立顕微鏡であってもよい。さらに、顕微鏡装置10は、レーザ走査型顕微鏡であってもよい。
ステージ11には、試料Sが載置される。ステージ11は、例えば、電動ステージであり、図3に示す顕微鏡システム1の駆動制御部10bと駆動部10cを含んでいる。ステージ11は、コンピュータ20からの命令により駆動制御部10bが駆動部10cに駆動信号を出力することで移動する。ステージ11のアクチュエータは、駆動部10cの一例であり、例えば、ボールネジとステッピングモータの組み合わせである。この場合、駆動制御部10bがパルス信号を駆動部10cへ出力することで、ステージ11は移動する。また、ステージ11のアクチュエータには、移動量を検出するためのエンコーダが附属してもよい。
ステージ11は、少なくとも、対物レンズ12の光軸と直交する方向に移動するXYステージを含んでいる。また、ステージ11は、対物レンズ12の光軸方向に移動するZステージを含んでもよく、顕微鏡装置10の焦準部として機能しても良い。さらに、ステージ11は、対物レンズ12の光軸回りに回転する回転ステージを含んでもよい。
対物レンズ12は、試料Sからの光を集光する顕微鏡対物レンズである。対物レンズ12は、例えば、無限遠補正型の対物レンズであり、レボルバ13に装着されている。
レボルバ13は、光路上に配置する対物レンズを切り替える装置である。レボルバ13は、例えば、電動レボルバであり、図3に示す顕微鏡システム1の駆動制御部10bと駆動部10cを含んでいる。レボルバ13は、コンピュータ20からの命令により駆動制御部10bが駆動部10cに駆動信号を出力することで、対物レンズを切り替える。レボルバ13には、対物レンズ12に加えて図示しない対物レンズが装着されていてもよい。
また、レボルバ13は、顕微鏡装置10の焦準部として機能しても良い。レボルバ13は、コンピュータ20からの命令により駆動制御部10bが駆動部10cに駆動信号を出力することで、対物レンズ12の光軸方向に移動してもよい。レボルバ13のアクチュエータは、駆動部10cの一例であり、例えば、ボールネジとステッピングモータの組み合わせである。この場合、駆動制御部10bがパルス信号を駆動部10cへ出力することで、レボルバ13は対物レンズ12の光軸方向へ移動する。また、レボルバ13のアクチュエータには、移動量を検出するためのエンコーダが附属してもよい。
撮影装置14は、図3に示す顕微鏡システム1の撮影部10aの一例であり、例えば、入射した観察光を電気信号に変換するイメージセンサを含む、デジタルカメラである。イメージセンサは、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などである。撮影装置14は、試料Sを撮影して、顕微鏡画像を生成する。顕微鏡画像は、撮影装置14からコンピュータ20へ出力される。
顕微鏡画像は、試料Sの画像であり、例えば、ライブ画像、静止画像などである。ライブ画像とは、広義には、顕微鏡装置10が指定されたフレームレートで取得した顕微鏡画像のことである。また、ライブ画像とは、狭義には、顕微鏡装置10が指定されたフレームレートで取得した最新の顕微鏡画像のことである。一方、静止画像とは、画質を重視した設定で顕微鏡装置10が取得した顕微鏡画像のことである。
コンピュータ20は、例えば、標準的なコンピュータである。コンピュータ20は、図2に示すように、プロセッサ21、メモリ22、I/Oインタフェース23、ストレージ24、可搬記憶媒体28が収容される可搬記憶媒体駆動装置25、NWインタフェース26を備える。これらの構成要素はバス27によって相互に接続されている。
プロセッサ21は、図3に示す顕微鏡システム1の制御部20aの一例であり、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などを含んでいる。プロセッサ21は、プログラムを実行してプログラムされた処理を行う。
プロセッサ21は、例えば、対物レンズ12と試料Sとの衝突について利用者に注意を促すために、メモリ22に所定のプログラムを展開して実行する。また、プロセッサ21は、例えば、試料Sの三次元情報を生成するために、メモリ22に所定のプログラムを展開して実行してもよい。なお、試料Sの三次元情報は、試料Sの立体的な形状及び寸法を特定する情報である。
メモリ22は、例えば、RAM(Random Access Memory)である。メモリ22は、プログラムの実行の際に、プログラム及びデータを記憶するワークメモリとして機能する。
I/O(Input/Output)インタフェース23は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface:登録商標)などの規格に準拠したインタフェース回路などである。I/Oインタフェース23には、顕微鏡装置10、表示装置31、スピーカー32、キーボード41、及び、マウス42が接続されている。
ストレージ24は、例えば、ハードディスク、フラッシュメモリであり、プログラム及びデータを記憶する。可搬記憶媒体駆動装置25は、光ディスク、コンパクトフラッシュ(登録商標)等の可搬記憶媒体28を収容する。可搬記憶媒体28は、ストレージ24と同様に、プログラム及びデータを記憶する。
なお、メモリ22、ストレージ24、及び、可搬記憶媒体28は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。
NW(Network)インタフェース26は、例えば、LAN(Local Area Network)カードなどである。NWインタフェース26は、ネットワーク経由で図示しない装置と通信してもよい。NWインタフェース26を経由して顕微鏡システム1の外部の装置からデータを受信してもよく、NWインタフェース26を経由して顕微鏡システム1で取得したデータを外部の装置へ送信しても良い。
表示装置31、スピーカー32、及びLED33は、それぞれ、図3に示す顕微鏡システム1の通知部30の一例である。通知部30は、利用者が五感を通じて認識できる態様で利用者に情報を通知する。表示装置31は、図3に示す顕微鏡システム1の表示部30aの一例である。表示装置31は、例えば、液晶ディスプレイ、有機EL(OLED)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどである。スピーカー32は、図3に示す顕微鏡システム1の音声出力部30bの一例であり、音声を出力する。LED33は、図3に示す顕微鏡システム1の発光部30cの一例であり、光を出力する。
キーボード41及びマウス42は、それぞれ、図3に示す顕微鏡システム1の入力部40の一例であり、顕微鏡システム1の利用者が直接操作する装置である。キーボード41及びマウス42は、利用者の操作に応じた操作信号をコンピュータ20へ出力する。顕微鏡システム1は、キーボード、マウスに加えて又は代わりに、ジョイスティック、タッチパネル、スタイラスなどを含んでもよい。
なお、図2に示す構成は、コンピュータ20のハードウェア構成の一例であり、コンピュータ20はこの構成に限定されるものではない。コンピュータ20は、汎用装置ではなく専用装置であってもよい。例えば、ソフトウェアプログラムを読み込んで実行するプロセッサ21の代わりに又は加えて、専用設計の電気回路を備えてもよい。
図4は、顕微鏡システム1が行う注意喚起処理のフローチャートである。以下、図4を参照しながら、注意喚起方法について概説する。なお、図4に示す注意喚起処理は、顕微鏡システム1の利用者が開始指示をコンピュータ20へ入力し、プロセッサ21が所定のアプリケーションプログラムを実行することで開始される。
まず、コンピュータ20は、試料Sの三次元情報と対物レンズ12の位置情報を取得する(ステップS1)。試料Sの三次元情報は、予めストレージ24に格納されている。このステップでは、プロセッサ21がストレージ24から試料Sの三次元情報を読み出して、メモリ22に格納する。さらに、プロセッサ21は、対物レンズ12の位置を算出し、その位置を示す位置情報(以降、単に対物レンズ12の位置情報と記す。)をメモリ22に格納する。以降では、対物レンズ12の位置情報が、ステージ11に対する対物レンズ12の相対位置である例について説明するが、これに限らない。対物レンズ12の位置情報は、顕微鏡装置10内における対物レンズ12の位置を特定する情報であればよい。
試料Sの三次元情報は、例えば、顕微鏡システム1で生成された情報であってもよい。より具体的には、試料Sの三次元情報は、顕微鏡装置10が取得した顕微鏡画像と、その顕微鏡画像を取得したときの顕微鏡装置10の設定情報(例えば、倍率、対物レンズの位置などの情報)を用いてコンピュータ20が試料Sの三次元形状を算出することにより、生成した情報であってもよい。また、試料Sが電子部品等の工業製品である場合には、試料Sの三次元情報は、CADシステムで作成された試料Sの3DCADデータであってもよい。
対物レンズ12の位置情報は、コンピュータ20から顕微鏡装置10の駆動制御部10bへ出力される情報に基づいて生成されてもよい。例えば、コンピュータ20が、駆動制御部10bへ出力される情報に基づいて基準位置からの変位量を算出し、その変位量に基づいて対物レンズ12の位置情報を生成してもよい。
また、対物レンズ12の位置情報は、顕微鏡装置10のエンコーダからコンピュータ20へ出力される情報に基づいて生成されてもよい。例えば、コンピュータ20が、駆動制御部10bから出力される情報に基づいて基準位置からの変位量を算出し、その変位量に基づいて対物レンズ12の位置情報を生成してもよい。
次に、コンピュータ20は、対物レンズ12と試料Sとの衝突について利用者に注意を促すための注意喚起情報を生成する(ステップS2)。このステップでは、プロセッサ21は、少なくとも、ステップS1で取得した三次元情報と位置情報に基づいて、注意喚起情報を生成する。
最後に、コンピュータ20は、注意喚起情報を通知部30へ出力する(ステップS3)。注意喚起情報が表示部30aへ出力された場合であれば、表示部30aが衝突について注意喚起する情報を含む画面を表示し、衝突リスクを利用者に通知する。また、注意喚起情報が音声出力部30bへ出力された場合であれば、音声出力部30bが音声を出力し、衝突リスクを利用者に通知する。また、注意喚起情報が発光部30cへ出力された場合であれば、発光部30cが光を出力し、衝突リスクを利用者に通知する。
以上のように、顕微鏡システム1によれば、試料Sの三次元情報と対物レンズ12の位置情報に基づいて生成された注意喚起情報が通知部30へ出力されるため、試料Sを観察中の利用者が衝突リスクを認識することができる。このため、対物レンズと試料の衝突を回避することができる。
以下、各実施例において、顕微鏡システム1が行う注意喚起処理の具体例を詳細に説明する。
[実施例1]
図5は、本実施例に係る注意喚起処理のフローチャートである。図6は、図5に示す注意喚起処理開始前の画面の一例である。図7は、衝突リスクについて説明するための図である。図8は、図5に示す注意喚起処理開始後の画面の一例である。図9は、衝突リスクについて説明するための別の図である。
顕微鏡システム1は、図6に示す画面100を表示装置31に表示する。画面100は、ライブ画像M1を表示する画像表示領域110と、広視野画像M2を表示する画像表示領域120と、ライブ画像の撮影倍率を設定する倍率設定領域130と、ボタン140を含んでいる。
ライブ画像M1と広視野画像M2はいずれも試料Sの画像である。ライブ画像M1は、いわゆる狭義のライブ画像であり、顕微鏡装置10が指定されたフレームレートで取得した最新の顕微鏡画像である。この例では、ライブ画像M1には、試料Sの特徴部C2が表れている。
広視野画像M2は、ライブ画像よりも広い領域を撮影した静止画像である。広視野画像M2は、顕微鏡装置10で予め取得された画像であり、例えば、ライブ画像M1よりも低倍の撮影倍率で撮影した画像であってもよく、複数の画像を貼り合わせることで生成された画像であってもよい。広視野画像M2には、試料Sの複数の特徴部(特徴部C1、特徴部C2、特徴部C3、特徴部C4)が表れている。
広視野画像M2上には、ライブ画像M1に対応するライブ観察領域の位置を示すマークLVが表示されている。このマークLVにより、利用者は、ライブ画像M1を用いて観察中のライブ観察領域が試料S中のどこに位置しているのかを把握することができる。
図5に示す注意喚起処理が開始される前に、顕微鏡システム1の利用者は、ライブ画像M1及び広視野画像M2を見ながら入力部40を操作することで、顕微鏡装置10の視野を試料S中の所望の領域に合わせる。さらに、利用者は、入力部40を操作することで、その所望の領域に合焦する。その後、利用者がボタン140を押下することで、図5に示す注意喚起処理が開始される。以降では、特徴部C2に合焦した状態で、ボタン140が押下された場合を例に説明する。
図5に示す注意喚起処理が開始されると、コンピュータ20は、まず、試料Sの三次元情報を取得し(ステップS11)、さらに、対物レンズ12の位置情報を取得する(ステップS12)。ステップS11及びステップS12は、図4に示すステップS1と同様である。なお、ステップS12では、基準位置として合焦位置が用いられる。
次に、コンピュータ20は、試料Sと対物レンズ12の間の距離を算出する(ステップS13)。このステップでは、プロセッサ21は、少なくともステップS11で取得した三次元情報とステップS12で取得した位置情報に基づいて、試料Sと対物レンズ12の距離を算出する。より詳細には、プロセッサ21は、例えば、三次元情報と位置情報に基づいて、試料Sの表面と対物レンズ12の先端平面P1との間の、対物レンズ12の光軸方向についての距離を算出する。
ステップS13では、対物レンズ12の光軸と直交する方向の位置(以降、XY位置と記す)毎に、対物レンズ12の先端平面P1から試料Sの表面までの光軸方向に沿った距離が算出される。なお、1回目のステップS13では、対物レンズ12の光軸上のXY位置における対物レンズ12の先端平面P1から試料Sの表面までの光軸方向に沿った距離は対物レンズ12の作動距離に一致する。
距離が算出されると、コンピュータ20は、分類情報を生成する(ステップS14)。このステップでは、プロセッサ21は、少なくともステップS13で算出した距離に基づいて分類情報を生成する。
分類情報は、試料Sの領域を、対物レンズ12と試料Sとの衝突リスクの大きさで分類した情報である。分類情報は、例えば、試料Sの領域を、衝突リスクが小さい領域と、衝突リスクが中程度の領域と、衝突リスクが大きい領域と、に分類した情報であってもよい。
図7には、対物レンズ12の先端平面P1から作動距離以上離れている領域を衝突リスクが小さい領域に、対物レンズ12の先端平面P1と焦点面P2の間の領域を衝突リスクが中程度の領域に、対物レンズ12の先端平面P1よりも像側に突出した領域を衝突リスクが大きい領域に、分類した例が示されている。この例では、特徴部C3は衝突リスクが中程度の領域に分類され、特徴部C4は衝突リスクが中程度の領域と高い領域に分類されている。
図7に示す例では、衝突リスクが小さい領域は、ステージ11を光軸と直交する方向に移動させても対物レンズ12と衝突することがない領域である。また、衝突リスクの中程度の領域は、ステージ11を光軸と直交する方向に移動させても対物レンズ12と衝突しないが、ステージ11又は対物レンズ12を光軸方向に沿ってステージ11と対物レンズ12が接近する方向に移動させたときに対物レンズ12と衝突する可能性が高い領域である。また、衝突リスクの大きい領域は、ステージ11を光軸と直交する方向に移動させたときとステージ11又は対物レンズ12を光軸方向に沿ってでステージ11と対物レンズ12が接近する方向に移動させたときに対物レンズ12と衝突する可能性が高い領域である。
分類情報が生成されると、コンピュータ20は、広視野画像M2を加工する(ステップS15)。このステップでは、プロセッサ21は、少なくともステップS14で生成した分類情報に基づいて広視野画像M2を加工して広視野画像M3を生成し、広視野画像M3を含む注意喚起情報を生成する。より詳細には、プロセッサ21は、例えば、分類情報に基づいて広視野画像M2に衝突リスクの大きさに応じた色を重畳し、さらに、ライブ観察領域に対応する位置にマークLVを重畳して、図8に示す広視野画像M3を生成する。
広視野画像M3が生成されると、コンピュータ20は、画面上の広視野画像表示を更新する(ステップS16)。このステップでは、プロセッサ21は、ステップS15で生成された注意喚起情報を表示装置31へ出力し、表示装置31に広視野画像M3を含む画面101を表示することで広視野画像表示を更新する。なお、画面101は、注意喚起情報の一例であり、広視野画像M2の代わりに広視野画像M3を含む点が画面100とは異なっている。
その後、コンピュータ20は、注意喚起処理の終了指示が入力されるまで(ステップS17YES)、ステップS12からステップS17の処理を繰り返す。
以上のように、本実施例では、分類情報を用いて生成された注意喚起情報が表示装置31に表示される。このため、試料Sの各領域における衝突リスクを視覚的に把握することが可能であり、その結果、利用者は対物レンズと試料の衝突を回避することができる。
また、本実施例では、図8に示すように、衝突リスクの大きさに応じた色が重畳された画像(広視野画像M)が表示される。例えば、衝突リスクが中程度の領域には黄色が、衝突リスクが高い領域には赤色が、重畳される。これにより、試料Sの各領域における衝突リスクを直感的に把握することができる。なお、衝突リスクの大きさに応じた色の代わりに、衝突リスクの大きさに応じた濃淡を重畳しても同様の効果を得ることができる。
また、本実施例では、図7に示すように、衝突リスクの大きさが3つのレベルで表現されている。特に、光軸方向への移動により衝突が発生する可能性が高いことを示すレベル(衝突リスク中)と、光軸方向だけでなく光軸と直交する方向への移動によっても衝突が発生する可能性が高いことを示すレベル(衝突リスク大)とが、区別されている。これにより、利用者は、どのような操作を行ったときに衝突が発生し得るかについても把握することができる。
なお、図7及び図8では、衝突リスクの大きさに応じた色により衝突リスクの大きさを表す例を示したが、図9に示すように、色と濃淡の組み合わせを用いることで、衝突リスクの大きさと試料Sの立体形状を表しても良い。図9には、衝突リスクが中程度の領域と衝突リスクが高い領域に異なる色を重畳し、さらに、各色の濃淡により各領域内の高さ分布を表した例が示されている。これにより、利用者は衝突リスクに加えて試料Sの立体形状についても把握することが可能となる。
[実施例2]
図10は、本実施例に係る注意喚起処理のフローチャートである。図11は、図10に示す注意喚起処理開始後の画面の一例である。以下、図10及び図11を参照しながら、本実施例に係る注意喚起処理について、実施例1に係る注意喚起処理と異なる点を中心に、説明する。
図10に示す注意喚起処理が開始されると、コンピュータ20は、まず、試料Sの三次元情報を取得する(ステップS21)。ステップS21は、図5に示すステップS11と同様である。
次に、コンピュータ20は、対物レンズ12の形状情報を取得する(ステップS22)。対物レンズ12の形状情報は、対物レンズ12の外形形状を特定するための情報であり、予めストレージ24に格納されている。対物レンズ12の形状情報は、例えば、対物レンズ12を構成する胴の外径を示す情報(以降、外径情報と記す。)を含んでいる。このステップでは、プロセッサ21がストレージ24から対物レンズ12の形状情報を読み出して、メモリ22に格納する。
さらに、コンピュータ20は、対物レンズ12の位置情報を取得する(ステップS23)。ステップS23は、図5に示すステップS12と同様である。
その後、コンピュータ20は、試料Sと対物レンズ12の間の距離を算出し(ステップS24)、算出した距離に基づいて分類情報を生成する(ステップS25)。ステップS24及びステップS25は、図5に示すステップS13及びステップS14と同様である。
分類情報が生成されると、コンピュータ20は、広視野画像M2を加工する(ステップS26)。このステップでは、プロセッサ21は、少なくとも、ステップS25で生成した分類情報と、ステップS22で取得した形状情報と、に基づいて広視野画像M2を加工して広視野画像M4を生成し、広視野画像M4を含む注意喚起情報を生成する。
より詳細には、プロセッサ21は、例えば、広視野画像M2に、分類情報に基づいて衝突リスクの大きさに応じた色を重畳し、さらに、ライブ観察領域に対応する位置にマークLVを重畳し、さらに、形状情報に基づいて対物レンズ12の外形線OBを重畳して、図11に示す広視野画像M4を生成する。なお、外形線OBは、光軸上から対物レンズ12を見たときの対物レンズ12の輪郭を示す線であり、例えば、形状情報に含まれている外径情報を用いて生成される。
広視野画像M4が生成されると、コンピュータ20は、画面上の広視野画像表示を更新する(ステップS27)。このステップでは、プロセッサ21は、ステップS26で生成された注意喚起情報を表示装置31へ出力し、表示装置31に広視野画像M4を含む画面102を表示することで広視野画像表示を更新する。なお、画面102は、注意喚起情報の一例であり、広視野画像M3の代わりに広視野画像M4を含む点が画面101とは異なっている。
その後、コンピュータ20は、注意喚起処理の終了指示が入力されるまで(ステップS28YES)、ステップS23からステップS28の処理を繰り返す。
本実施例でも、実施例1と同様に、分類情報を用いて生成された注意喚起情報が表示装置31に表示される。このため、試料Sの各領域における衝突リスクを視覚的に把握することが可能であり、その結果、対物レンズと試料の衝突を回避することができる。
また、試料Sの各領域における衝突リスクを直感的に把握することができる点、利用者がどのような操作を行ったときに衝突が発生し得るかについて把握することができる点も、実施例1と同様である。
さらに、本実施例によれば、広視野画像M4上に対物レンズ12の外形線OBが表示される。このため、対物レンズ12の形状を考慮して、対物レンズ12と試料Sの衝突リスクをより正確に把握することができる。具体的には、対物レンズ12を光軸方向に(より詳細には、光軸方向に沿って対物レンズ12を試料Sに近づく方向へ)移動させたときにライブ観察領域外で対物レンズ12と試料Sが衝突する可能性についても把握することができる。また、対物レンズ12を光軸と直交する方向にどの程度移動させたときに対物レンズ12と試料Sが衝突するかについても把握することができる。
[実施例3]
図12は、本実施例に係る注意喚起処理のフローチャートである。図13は、図12に示す注意喚起処理開始後の画面の一例である。以下、図12及び図13を参照しながら、本実施例に係る注意喚起処理について説明する。
図12に示す注意喚起処理が開始されると、コンピュータ20は、まず、試料Sの三次元情報を取得し(ステップS31)、さらに、対物レンズ12の形状情報を取得する(ステップS32)。ステップS31及びステップS32は、図10に示すステップS21及びステップS22と同様である。
さらに、コンピュータ20は、対物レンズ12の作動距離を取得する(ステップS33)。対物レンズ12の作動距離は、対物レンズ12の先端平面P1から焦点面P2までの距離であり、予めストレージ24に格納されている。このステップでは、プロセッサ21がストレージ24から対物レンズ12の作動距離を読み出して、メモリ22に格納する。
その後、コンピュータ20は、対物レンズ12の位置情報を取得し(ステップS34)、試料Sと対物レンズ12の間の距離を算出する(ステップS35)。ステップS34及びステップS35は、図10に示すステップS23及びステップS24と同様である。
その後、コンピュータ20は、少なくとも対物レンズ12の現在位置と衝突位置と合焦位置の位置関係を算出する(ステップS36)。このステップでは、プロセッサ21は、少なくとも、ステップS31で取得した三次元情報と、ステップS32で取得した形状情報と、ステップS33で取得した作動距離と、ステップS34で取得した位置情報に基づいて、対物レンズ12の光軸方向についての上述した位置関係を算出して、その位置関係を含む注意喚起情報を生成する。
対物レンズ12の光軸方向についての対物レンズ12の現在位置とは、対物レンズ12の現在の先端平面P1の位置のことである。また、対物レンズ12の光軸方向についての衝突位置とは、対物レンズ12の光軸方向への移動により対物レンズ12と試料Sが衝突する対物レンズ12の先端平面P1の位置のことである。また、対物レンズ12の光軸方向についての合焦位置とは、対物レンズ12の光軸方向の移動により試料Sに合焦する対物レンズ12の先端平面P1の位置のことである。
対物レンズ12の現在位置は、位置情報から算出される。また、対物レンズ12の衝突位置は、対物レンズ12の外形線OB内における試料Sの最も高い表面の位置とみなすことができるため、三次元情報と形状情報から算出される。さらに、対物レンズ12の合焦位置は、光軸上における試料Sの表面から作動距離だけ離れた位置とみなすことができるため、三次元情報と作動距離から算出される。
位置関係が算出されると、コンピュータ20は、位置関係を示すインジケータの表示を更新する(ステップS37)。このステップでは、プロセッサ21は、ステップS36で生成された注意喚起情報を表示装置31へ出力し、図13に示すように、インジケータ150を含む画面103を表示装置31に表示する。なお、画面103は、注意喚起情報の一例であり、インジケータ150を含む点が画面101とは異なっている。また、インジケータ150は、現在位置を示すバーB1、衝突位置を示すバーB2、合焦位置を示すバーB3、及び、試料面を示すバーB4を含んでいて、これらのバーによってステップS36で算出した位置関係を視覚的に表している。
その後、コンピュータ20は、注意喚起処理の終了指示が入力されるまで(ステップS38YES)、ステップS34からステップS38の処理を繰り返す。
本実施例では、利用者はインジケータ150を確認することで、現在位置と衝突位置の位置関係を把握することができる。これにより、対物レンズ12を光軸方向へ動かしたときの衝突リスクを認識することができる。従って、例えば、インジケータ150を確認しながら対物レンズ12を光軸方向に動かすことで、焦準動作中に対物レンズ12を動かしすぎて試料Sと衝突するといった事態を回避することができる。特に、衝突位置を対物レンズ12の形状情報を用いて算出することで、対物レンズ12の光軸上で生じる衝突に限らず、対物レンズ12の光軸外で生じる衝突についてもそのリスクを認識することができる。
また、本実施例では、インジケータ150上に現在位置とともに合焦位置が表示される。このため、焦準動作において対物レンズ12を動かすべき方向を認識することができる。さらに、本実施例では、インジケータ150上に現在位置とともに衝突位置と合焦位置が表示されているため、利用者は、衝突することなく合焦可能か否かを事前に確認することができる。
なお、本実施例では、インジケータ150に現在位置と衝突位置と合焦位置が表示されている例を示したが、衝突を回避するためには、インジケータ150に少なくとも現在位置と衝突位置が表示されていればよい。このため、ステップS36では、プロセッサ21は、少なくとも三次元情報と位置情報と形状情報に基づいて、少なくとも現在位置と衝突位置の位置関係を含む注意喚起情報を生成すればよい。
[実施例4]
図14は、本実施例に係る注意喚起処理のフローチャートである。図15は、発光制御について説明するための図である。図16は、音声制御について説明するための図である。以下、図14から図16を参照しながら、本実施例に係る注意喚起処理について説明する。なお、本実施例は、注意喚起情報を表示する代わりに、注意喚起情報を用いて衝突リスクの大きさを報知する点が、実施例1から実施例3とは異なっている。
図14に示す注意喚起処理が開始されると、コンピュータ20は、まず、試料Sの三次元情報と対物レンズ12の形状情報を取得し(ステップS41、ステップS42)、さらに、対物レンズ12の位置情報を取得する(ステップS43)。ステップS41、ステップS42、ステップS43は、図12に示すステップS31、ステップS32、ステップS34と同様である。
次に、コンピュータ20は、試料Sと対物レンズ12の間の距離を算出する(ステップS44)。このステップでは、プロセッサ21は、少なくともステップS41で取得した三次元情報とステップS42で取得した形状情報とステップS43で取得した位置情報に基づいて、試料Sと対物レンズ12の距離を算出する。
より詳細には、プロセッサ21は、少なくとも光軸上における光軸方向についての距離を算出し、さらに、望ましくは光軸と直交する方向についての距離を算出する。なお、光軸方向についての距離は、先端平面P1と試料Sの表面との距離であり、光軸と直交する方向についての距離は、対物レンズ12の胴の側面と試料Sの表面との距離である。
距離が算出されると、コンピュータ20は、報知情報を生成する(ステップS45)。ステップS45では、プロセッサ21は、少なくともステップS44で算出した距離に基づいて、衝突リスクの大きさに応じた報知情報を生成する。なお、報知情報は、注意喚起情報の一例である。
ステップS44で複数の方向について距離を算出した場合には、プロセッサ21は、最も短い距離に基づいて報知情報を生成しても良い。また、プロセッサ21は、対物レンズ12の位置情報の変化に基づいて移動方向を検知し、ステップS44で算出した距離のうちの移動方向についての距離に基づいて報知情報を生成しても良い。
報知情報が生成されると、コンピュータ20は、衝突リスクの大きさを報知する(ステップS46)。ステップS46では、プロセッサ21は、報知情報を通知部30に出力し、通知部30は、報知情報を用いて利用者に衝突リスクの大きさを報知する。
具体的には、例えば、図15に示すように、ステップS44で算出された距離が近いほど、短い周期で発光を繰り返すことで、通知部30であるLED33が衝突リスクの大きさを報知してもよい。図15には、LED33のON/OFF状態の時間変化を示す3つのグラフ(グラフG1、グラフG2、グラフG3)が含まれている。なお、この他にも、例えば、光の波長の違いを用いて衝突リスクの大きさを報知しても良い。
また、例えば、図16に示すように、ステップS44で算出された距離が近いほど、大きな振幅で且つ高い周波数の音声を出力することで、通知部30であるスピーカー32が衝突リスクの大きさを報知してもよい。図16には、スピーカー32から出力される音声波形を示す3つのグラフ(グラフG4、グラフG5、グラフG6)が含まれている。
その後、コンピュータ20は、注意喚起処理の終了指示が入力されるまで(ステップS47YES)、ステップS43からステップS47の処理を繰り返す。
本実施例では、衝突リスクの大きさが音声や光などを用いて利用者に報知される。このため、他の実施例と同様に、利用者は衝突リスクを把握することが可能であり、その結果、対物レンズ12と試料Sの衝突を回避することができる。
特に、報知される衝突リスクの大きさが試料Sと対物レンズ12の距離に基づいて判断されていることから、例えば、移動量など顕微鏡装置の動作情報のみに基づいて衝突リスクの大きさを判断する場合よりも、正確なリスク評価が可能である。これにより、信頼性の高い情報を利用者に提供することができる。このため、利用者はより確実に対物レンズ12と試料Sの衝突を回避することができる。尚、本実施例では、算出された距離に従って報知情報を生成する例を示したが、報知情報は、距離以外の他の要素を考慮して生成してもよい。例えば、距離に加えてステージの移動速度に基づいて報知情報を生成しても良い。
[実施例5]
図17は、本実施例に係る注意喚起処理のフローチャートである。図18は、移動速度と距離の関係の一例を示した図である。図19は、移動速度と距離の関係の別の例を示した図である。以下、図17から図19を参照しながら、本実施例に係る注意喚起処理について説明する。なお、本実施例は、利用者に衝突について注意を促す代わりに、ステージ11又は対物レンズ12の移動速度を制御する点が、実施例1から実施例4とは異なっている。
図17に示す注意喚起処理が開始されると、コンピュータ20は、まず、試料Sの三次元情報と対物レンズ12の形状情報を取得し(ステップS51、ステップS52)、さらに、対物レンズ12の位置情報を取得し(ステップS53)、試料Sと対物レンズ12の間の距離を算出する(ステップS54)。ステップS51からステップS54は、図14に示すステップS41からステップS44と同様である。
その後、コンピュータ20は、ステージ11又は対物レンズ12の移動速度を決定する(ステップS55)。このステップでは、プロセッサ21は、少なくともステップS54で算出した距離に基づいて、移動速度を決定する。より具体的には、プロセッサ21は、例えば、ストレージ24に格納されている距離と移動速度の関係を示す情報を参照することで、ステップS54で算出された距離に対応する移動速度を決定する。
ストレージ24に格納されている情報は、例えば、図18のグラフG7に示すように、距離が一定値よりも短い場合に、距離が短いほど移動速度が小さくなる関係を示してもよい。また、ストレージ24に格納されている情報は、例えば、図19のグラフG8に示すように、距離が短くなると移動速度が段階的に小さくなる関係を示してもよい。ストレージ24に格納されている情報は、これらの例に限らない。距離と移動速度が少なくとも正の相関を有していればよい。
移動速度が決定されると、コンピュータ20は、駆動制御部10bを制御する(ステップS56)。このステップでは、プロセッサ21は、ステップS55で決定した移動速度でステージ11又は対物レンズ12の少なくとも一方が移動するように、駆動制御部10bを制御する。
その後、コンピュータ20は、注意喚起処理の終了指示が入力されるまで(ステップS57YES)、ステップS53からステップS57の処理を繰り返す。
本実施例では、試料Sと対物レンズ12の距離に応じて移動速度が調整される。特に、距離が短いときに移動速度が小さくなるように移動速度が調整されることで、利用者が衝突リスクに気が付いてから移動を停止するまでの間に試料Sと対物レンズ12が衝突する可能性を低くすることができる。また、仮に停止が間に合わず衝突した場合であっても移動速度が小さくなっているため、衝突によって試料S及び対物レンズ12が受けるダメージを小さく抑えることができる。
なお、距離と移動速度の関係を示す情報は、対物レンズ毎に予めストレージ24に格納されていてもよい。具体的には、倍率の高い対物レンズほど移動速度を小さいことが望ましい。これにより、実視野の大きさに応じた移動速度を実現しつつ、衝突の可能性を低く抑えることができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、注意喚起方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
例えば、実施例1及び実施例2では、広視野画像上に色又は濃淡を重畳することで衝突リスクを利用者に認識させる例を示したが、広視野画像の代わりに又は広視野画像に加えてライブ画像上に色又は濃淡を重畳しても良い。
また、実施例4では、音声又は光で衝突リスクの大きさを報知する例を示したが、図20に示すように、画面100上にポップアップウィンドウPWを表示することで、衝突リスクを報知してもよい。この場合、例えば、距離が一定値よりも短くなったときにポップアップウィンドウPWを表示するようにしてもよい。これにより、ポップアップウィンドウPWが表示された後では、利用者はより慎重にステージ11又は対物レンズ12を動かすことになる。このため、対物レンズ12と試料Sの衝突を回避することができる。なお、一定値は、対物レンズの倍率毎に異なってもよい。また、予め決められた距離毎に、異なるポップアップウィンドウPWが表示されてもよい。これにより、衝突リスクの大きさの変化を利用者が認識することができる。
さらに、実施例1では、対物レンズの先端平面P1から試料Sの表面までの距離と作動距離との大小関係を基準として衝突リスクの設定を行ったが、衝突リスクの設定の基準はこの例に限らない。例えば、作動距離の代わりに利用者によって設定される任意の値(距離)を先端平面P1から試料Sの表面までの距離とを比較した結果に基づいて、衝突リスクを設定しても良い。
また、実施例5では、距離に応じて移動速度を変化させる例を示したが、移動速度の代わり単位移動量(つまり、1ステップ当たりの移動量)を距離に応じて変化させてもよい。また、距離が一定値を下回ると移動速度又は単位移動量を0に変化させてもよい。これにより、対物レンズ12と試料Sの衝突をより確実に回避することができる。
また、上述した実施例を他の実施例と組み合わせてもよい。例えば、実施例1又は実施例2に示す広視野画像の表示と実施例3に示すインジケータの表示の両方が行われてもよい。これらの表示制御に加えて、実施例4に示す報知制御が行われてもよく、さらに、実施例5に示す駆動制御が行われてもよい。