JP4637337B2 - 顕微鏡画像観察システム及びその制御方法 - Google Patents

顕微鏡画像観察システム及びその制御方法 Download PDF

Info

Publication number
JP4637337B2
JP4637337B2 JP2000287626A JP2000287626A JP4637337B2 JP 4637337 B2 JP4637337 B2 JP 4637337B2 JP 2000287626 A JP2000287626 A JP 2000287626A JP 2000287626 A JP2000287626 A JP 2000287626A JP 4637337 B2 JP4637337 B2 JP 4637337B2
Authority
JP
Japan
Prior art keywords
image
specimen
preparation
mesh
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000287626A
Other languages
English (en)
Other versions
JP2001166218A (ja
Inventor
明嗣 加賀山
修二 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000287626A priority Critical patent/JP4637337B2/ja
Priority to KR1020017006096A priority patent/KR20010092741A/ko
Priority to PCT/JP2000/006739 priority patent/WO2001023938A1/ja
Priority to CN00802102A priority patent/CN1322305A/zh
Priority to TW089120300A priority patent/TW508452B/zh
Publication of JP2001166218A publication Critical patent/JP2001166218A/ja
Application granted granted Critical
Publication of JP4637337B2 publication Critical patent/JP4637337B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば病理標本の観察に用いられる顕微鏡画像観察システム及びその制御方法に関するものである。
【0002】
【従来の技術】
従来、顕微鏡を用いた病理観察では、まず、病理医が標本をセットしたプレパラート全体を肉眼観察して大まかな観察方針を立て、続いて低倍率で顕微鏡観察を行い初期診断を行なった後、高倍率による詳細な観察を行うといった診断手順が行なわれていた。
【0003】
また、病理医のいない遠隔地の病院等では、標本に対する適正な判断が行えない。従って、病理医のいる大病院へ標本を送り、適正な判断を仰いでいた。しかしながら、このような処理では多くの時間を要してしまう。そこで、近年では、処理時間の短縮を目的として、病理医のいない病院と病理医のいる病院とを通信回線で結び、病理医のいない病院にある標本を載置した顕微鏡を遠隔地にいる病理医が遠隔操作しつつ標本の適正な判断をリアルタイムで通信できるようにした顕微鏡遠隔観察システムが確立されてきた。顕微鏡遠隔観察システムについては、例えば特開平06−222281号公報に開示されている。
【0004】
この公報に開示されたシステムの動作を以下説明する。
【0005】
まず、病理医のいない病院側(以下、依頼側と称する)で依頼者がプレパラート上の標本全体をマクロ撮影スタンドのTVカメラにて撮像する。そして、撮像されたマクロ画像を情報処理装置(依頼側端末)に接続されているフレームメモリに取込む。フレームメモリは、取り込まれた画像をデジタル化し、情報処理装置に接続されているモニタまたはフレームメモリに接続されているTVモニタにマクロ画像として表示する。以上が初期診断のプロセスである。
【0006】
この初期診断の後、プレパラートを光学顕微鏡の電動X−Yステージ上に載せ換えて標本を光学顕微鏡のTVカメラで撮影する。この撮像後、初期診断と同様にフレームメモリで撮像画像を取込みデジタル化する。そして、情報処理装置に接続されているモニタまたはフレームメモリに接続されているTVモニタに顕微鏡画像として表示する。これにより、高倍率での詳細な観察が行われる。
【0007】
また、このような情報処理装置に接続されているフレームメモリに取込まれた画像は、例えばISDN等の公衆回線を介して遠隔地に配置された病理医のいる病院側(以下、観察側と称する)の観察端末の情報処理装置に転送される。そして、情報処理装置のモニタ上に画像を表示する。これにより、依頼者は、遠隔からの病理医(観察者)による病理診断を可能にしている。
【0008】
さらに、詳細観察において、観察者が所望とする顕微鏡画像を観察するため、初期観察で得られたマクロ画像上の観察したい位置にメッシュを設定し、メッシュによって設定された各格子の領域を順次自動的に画像を取込することもできる。
【0009】
【発明が解決しようとする課題】
前述した特開平06−222281号公報に開示された技術では、プレパラート上の標本像全体をマクロ画像スタンドのTVカメラにて撮像し、これにより得られたマクロ画像を情報処理装置に接続されているフレームメモリで取込み、画像をデジタル化し、情報処理装置に接続されているモニタまたはフレームメモリに接続されているTVモニタに表示することができる。
【0010】
しかしながら、顕微鏡本体とマクロ画像撮影スタンドが別体となっている。このため、依頼者がプレパラートをマクロ画像撮影スタンドから光学顕微鏡の電動X−Yステージへ載せ換える作業が必要であった。
【0011】
この作業は、プレパラートをマクロ画像撮影スタンドに載せて取込んだマクロ画像の位置関係と、そのプレパラートを光学顕微鏡の電動X−Yステージに載せて固定したときの位置関係とを正確に一致させるのが困難である。
【0012】
このため、マクロ画像をメッシュ分割したりフレーム指定するような、マクロ画像の位置を基準にして次の観察する位置を指定するような制御において、光学顕微鏡の電動X−Yステージを移動させ、その指定した観察位置に移動しても、本来取り込みたい位置にずれが生じてしまうという問題が生じる。
【0013】
また、仮にマクロ撮影スタンドでマクロ画像の撮影を行わず、マクロ画像を使わないで、直接、光学顕微鏡でプレパラートの標本を観察した場合、最低倍率の対物レンズを使用して観察しても標本の大きさによっては取込んだ画像の視野内に入らない。従って、標本の全体像が分かりづらい。
【0014】
また、メッシュ分割で標本の所望とする範囲にメッシュを設定したり、フレーム指定で同様に標本の所望とする範囲にフレームを設定するのが困難で、何度か同様の操作を繰り返す必要がある。この同様の操作の繰り返しには、多大な時間が費やされていた。
【0015】
さらに、遠隔地にある観察側の情報処理装置から、依頼側の情報処理装置を制御して、観察、遠隔操作するような場合は、マクロ撮影スタンドでマクロ画像を撮影し、光学顕微鏡の電動X−Yステージに載せかえるのは、観察側から依頼側の作業者に載せかえを指示し手動で行わなければならない。このように、自動で出来ない為に作業効率が悪化するという問題があった。
【0016】
また、遠隔地にある観察側の情報処理装置から、光学顕微鏡で直接プレパラートの標本を観察すると、プレパラート上のどの位置に標本があるか観察者には全く分からない。従って、画像の取り直しや、このための画像の伝送時間を含めて時間がかかり作業効率が悪化するという問題があった。
【0017】
本発明は、上記事情に鑑みてなされたもので、標本の全体像を認識できるとともに、標本上の実際に観察している位置や範囲などを容易に把握することができる顕微鏡画像観察システム及びその制御方法を提供することを目的とする。
【0018】
【課題を解決するための手段】
この発明の第1の観点によれば、プログラムされたコンピュータによって顕微鏡を制御する装置であって、対物レンズを介して所定の倍率で取り込まれたプレパラート上の標本の標本像を取得する画像取得手段と、前記プレパラートの位置決めをし載置する標本載置手段と、前記標本載置手段と前記画像取得手段を相対的に移動させる移動手段と、前記標本載置手段の位置を検出する位置検出手段と、前記標本像の倍率を記憶する倍率記憶手段と、前記プレパラート上における前記標本像の取得位置を認識する為のプレパラート模擬画像を表示する位置認識用画像を生成するとともに、前記位置検出手段を介して検出された前記標本取得位置及び前記倍率記憶手段に記憶された倍率に基づいて、前記標本像を、前記位置認識画像上における該プレパラート模擬画像の縮尺に縮小変換した縮小画像を形成し、前記プレパラート上における前記標本像取得位置に対応した、前記プレパラート模擬画像上における前記縮小画像の表示位置を求める演算手段と、前記プレパラート模擬画像上に前記縮小画像を前記表示位置に基づいて合成した画像を表示する表示手段とを備えたことを特徴とする顕微鏡画像観察システムが提供される。
【0019】
このような構成によれば、位置認識用画像上で、オペレータ(依頼者、観察者)が実際に観察している位置を容易に把握することができる。
【0028】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【0031】
(第1実施形態)
図1は、本発明の顕微鏡画像観察システムの概略構成を示している。図において、100は依頼側端末、200は被依頼側、つまり観察側端末である。依頼側端末100はパソコン1を、観察側端末200はパソコン8をそれぞれ有する。これらパソコン1及び8が回線接続装置2及び9並びに通信回線(例えば、ISDN)20を介して通信自在に接続されている。
【0032】
依頼側端末100のパソコン1は、標本像を表示するための表示機能を有するモニタ3を備えるとともに、パソコン1のソフトウェアを操作し、データを入力する手段としてキーボード5およびマウス4を備えている。
【0033】
依頼側端末100のパソコン1は、さらにインターフェイス19を介して顕微鏡14に接続されている。顕微鏡14は、図示しないプレパラートをクレンメルで固定するようにした電動ステージ15、電動ステージ15のプレパラート上の標本像を取込む対物レンズ16、対物レンズ16を倍率の異なるものに自動交換する電動レボルバ17および対物レンズ16を介して取込んだ標本像を撮影、つまり顕微鏡取得画像(顕微鏡画像)を取得するビデオカメラ18を備えている。また、顕微鏡14は、これらの他、不図示のオートフォーカスユニット、調光機能、電動絞り機構等を備えていることは無論である。
【0034】
さらに、依頼側端末100のパソコン1は、ビデオキャプチャー機能を有しており、顕微鏡画像を撮影するビデオカメラ18の画像出力を受ける端子をはじめとする各種端子を備えている。パソコン1内部にはビデオカメラ18等から出力された画像情報を記憶するための記憶部を有しているが、パソコン1にはさらに、その周辺機器としてMO(光磁気ディスク)等の記録装置を付属しても良いことは無論である。
【0035】
回線接続装置2には、ハンドフリー通話器7が接続されている。このハンドフリー通話器7によれば、受話器を持つことなくパソコン操作を行いながら依頼側と観察側の会話を実現することができる。
【0036】
なお、上述では、顕微鏡14に搭載されているビデオカメラ18のみをパソコン1に接続する構成としたが、不図示のビデオセレクタなどを介してマクロ撮影装置を更に接続することができる。
【0037】
一方、観察側端末200のパソコン8についても、標本像を表示するための表示機能を有するモニタ10を備えるとともに、パソコンのソフトウェアを操作したりデータを入力する手段としてキーボード12およびマウス11を備えている。また、このパソコン8の内部には、依頼側端末100のパソコン1から転送された画像情報を記憶するための記憶部を有しているが、パソコン8の周辺機器としてMO(光磁気ディスク)等の記録装置を付属しても良いことは無論である。また、回線接続装置9にハンドフリー通話器13を接続することもできるようにしている。
【0038】
図2は、依頼側端末100の具体的構成を示すブロック図である。
【0039】
依頼側端末100は、上述したように顕微鏡14と、この顕微鏡14に対して各種制御信号の通信をし、顕微鏡14に取り付けられたビデオカメラ18からの画像を取込み、後述の各種処理を行うパソコン1からなっている。
【0040】
顕微鏡14は、顕微鏡画像を撮影するビデオカメラ18と、取得倍率変更手段として対物レンズ16を切換える電動レボルバ17、図示しないプレパラートを載置するとともに、クレンメルで固定した状態で、顕微鏡の光軸と直交する平面内に移動可能にした電動ステージ15、位置検出手段として電動ステージ15の移動位置を検出するエンコーダ21を有している。
【0041】
電動ステージ15には、ステージ移動時の基準となるステージの原点位置を検出する原点センサ31を備えている。例えば、システム起動時に電動ステージ15が移動し原点センサ31が原点位置を検出することで原点出しを行い、その原点を基準に電動ステージ15を移動し移動位置をエンコーダ21により検出している。
【0042】
一方、パソコン1は、各装置、プログラムを統括するCPU29、CPU29から制御回路につながるCPUバス28を有し、このCPUバス28にコンピュータプログラムを記録する記録媒体27が接続されている。記録媒体27は、以降に示す顕微鏡14の操作やGUI(グラフィックユーザインタフェイス)の制御等を実行する制御プログラム27aを有している。この記録媒体27は、フレキシブルディスク、ハードディスク、CD−ROM、メモリーカード等プログラムを記録できるものなら形式を問わない。
【0043】
また、CPUバス28にはデータ、プログラム等CPUの処理に必要な情報を記憶するデータ記憶装置26、画像取得手段として顕微鏡画像を撮影するビデオカメラ18からのビデオ信号を入力し画像をデジタル化するビデオキャプチャー22、ビデオキャプチャー22でデジタル化した画像やGUIを表示可能にするビデオカード23が接続されている。このビデオカード23には、実際に画像やGUIを表示するパソコン1の外部にあるモニタ3が接続されている。
【0044】
CPUバス28には、入出力インターフェイス24を介してパソコン1の外部にあるオペレータからの入力手段であるマウス4やキーボード5に接続され、さらに、入出力インターフェイス25を介して顕微鏡14の電動レボルバ17、電動ステージ15、エンコーダ21が接続され、パソコン1からの制御を可能にしている。
【0045】
同様にして、CPUバス28には、入出力インターフェイス30を介してパソコン1外部の回線接続装置2が接続され、さらに公衆回線(ISDN)20を介して、図示していない遠隔地の観察側端末200に接続されている。
【0046】
なお、図2では依頼側端末100の構成を説明したが、観察側端末200のパソコン8も、顕微鏡14、ビデオキャプチャー22を除いている点以外、依頼側端末100のパソコン1と同様のため、説明は省略する。
【0047】
次に、このように構成された実施の形態の動作を説明する。
【0048】
まず、第1の実施の形態に関わる顕微鏡画像観察システムによる、依頼側端末100での標本の位置認識を中心にした操作シーケンスを図3から図9を用いて説明する。
【0049】
始めに、観察を行う前に、電動ステージ15は観察前にステージの原点出しを行っておく。ここで求められたステージの原点は後の制御で電動ステージ15を移動させた時の移動量と移動位置を求めるための基準位置として使用する。
【0050】
原点位置の検出方法は、図2の原点センサ31を検出した位置を原点位置とする方法や、原点センサ31から電動ステージ15を駆動する不図示のパルスモータの特定のパルスカウント分ずらした位置を原点とする方法等を用いることができる。このパルスをカウントすることによる原点検出手段の代用も可能である。
【0051】
次に、標本、例えば細胞を載置したプレパラートを顕微鏡14の電動ステージ15上に固定する。電動ステージ15にはプレパラートの固定治具として図5の51や52のようなクレンメルa及びbがある。
【0052】
これらクレンメルa51及びクレンメルb52は、ステージ上の所定の位置に配置されており、ステージとの物理的位置は予め定められている。また、クレンメルa51及びクレンメルb52により、プレパラートは所定の位置に固定配置される。従って、クレンメルa51及びクレンメルb52によるプレパラートの固定により、プレパラートの位置決めがなされる。また、ステージの原点は予め求められているため、このような固定により電動ステージ15の原点とプレパラートの位置関係も決定される。本発明ではクレンメルを使用しているが、原点とプレパラートの位置関係が決定できれば固定方法は問わない。
【0053】
以降の操作シーケンスはパソコン1の記録媒体27に記憶されている制御プログラム27aに基づいて処理される。制御プログラム27aの流れは図3のフロチャートに示される。
【0054】
図3のフローチャートに示される処理の開始により、まず、モニタ3に位置認識用画像であるプレパラートを含む模擬画像を表示したウィンドウ(以下、プレパラート模擬ウィンドウと称する)40を表示する(ステップS10)。図4は、プレパラート模擬ウィンドウ40の表示例であり、これがモニタ3上に表示される。ウィンドウとはマイクロソフト社のオペレーティングソフト、ウィンドウズの技術を利用した情報を表示、入力するための画面である。
【0055】
次に、ステップS11の“対物レンズの変更が入力されたか?”にて。対物レンズの変更指示があったかどうか確認する。対物レンズの変更の入力があった場合(Y)、ステップS12に進み、指定された対物レンズへ変更する。具体的には、電動レボルバ17を回転させて指定された対物レンズ16を選択する。対物レンズ16の変更の入力が無ければ(N)、すでに設定されたある対物レンズ16を使用してステップS12を経ずに次のステップへ進む。
【0056】
次に、ステップS13に進み、“ステージの移動指示は入力されたか?”にてステージの移動指示があったかどうか確認する。ステージの移動指示の入力があった場合(Y)、ステップS14に進み、指定された位置へ電動ステージ15を移動する。ステージの移動指示の入力が無ければ(N)、すでに設定されている位置で次のステップへ進む。
【0057】
電動ステージ15の移動指示は、例えば図9に示すようなボタン50をウィンドウ上に表示し、オペレータがマウス4やキーボード5の入力手段を使用しボタンをクリックすることで移動可能である。例えば、図9のボタン50をクリックすると、各ボタンの矢印と同じ方向に電動ステージ15が移動するように不図示のパルスモータへ駆動パルスが送られ移動制御される。
【0058】
次に、ステップS14に進み、ビデオカメラ18から顕微鏡画像をパソコン1にデジタル画像として取込む。そして、ステップS16の“プレパラート模擬ウィンドウの中に表示”にて取込んだ画像を表示する。ここで、プレパラート模擬ウィンドウ40の中にはリアルタイム(ビデオレートまたはそれに近いスピードで画面を随時描画)の画像もしくは静止画で原画像41が表示されている。この画像は、顕微鏡14のビデオカメラ18で撮影された画像がパソコン1内のビデオキャプチャー22を介してビデオカード23にてウィンドウと合成されて表示されたものである。
【0059】
また、プレパラート模擬ウィンドウ40内には、原画像41と並べてクレンメルa43、クレンメルb44、プレパラート45からなる位置認識用画像47が表示されている。この位置認識用画像47は、電動ステージ15上の各構成の位置を認識するための画像であり、顕微鏡14の電動ステージ15上のプレパラート53を固定している実物の構成と同様に構成図を縦横の比が同一縮尺比となるように表示されるのが望ましい。もちろん、実物の構成の縮尺比と完全に一致させる必要はない。
【0060】
次に、ステップS17に進み、“取込んだ画像をプレパラート模擬ウィンドウ上のプレパラートの縮尺に変換”する処理を行う。このステップS17では、プレパラート模擬ウィンドウ40の縮尺にあわせ、取込んだ画像の画素数を変換し縮小画像42を作る。
【0061】
ただし、例えば図4に示すように、この縮小画像42の表示方向は顕微鏡の光学系の構成により画像は上下左右反転する場合がある。もちろん、原画像41をプレパラート模擬ウィンドウ40に表示する際に、上下左右を反転させて表示するようにしてもよい。
【0062】
次に、ステップS18に進み、“ステージ位置を検出しプレパラート上の観察位置を計算”する処理を行う。ここでは、電動ステージ15の位置をエンコーダ21にて検出し、前記原点出しにより求めた原点を基準にXY座標で求める。また、ステージ位置はエンコーダ21を使わないで電動ステージ15を駆動するパルスモータへの駆動パルスのパルス数をカウントすることでも求めることができる。つまり、駆動パルスを1パルスパルスモータへ入力したとき電動ステージ15が何mm移動するか既知であるため、原点からのパルス数を求めればステージの位置を求めることができる。例えば1パルスで電動ステージ15が0.001mm移動するような設計になっている場合、1000パルスで電動ステージ15は1mm動くことになる。
【0063】
パルス数のカウントにより電動ステージ15の位置を計算する場合、ステップS14において電動ステージ15が移動する際のパルス数をカウントしておき、このパルス数を図示しない記憶装置に記憶しておく。そして、このパルス数を読出し、電動ステージ15の移動量に換算するのが好ましい。
【0064】
次に、ステップS19に進み、“縮小画像を実物のプレパラートで観察している位置と対応する位置に表示”の処理を行う。ここでは、ステップS18で求めた電動ステージ15の位置から、プレパラート模擬ウィンドウ40のプレパラート45上の位置に換算する。そして、換算した位置にステップS17で求めた画像を縮小画像42として表示する。
【0065】
縮小画像42は位置認識用画像47と電動ステージ15上の位置とを関連づける指標として表示される。すなわち、この縮小画像42を観察することにより、オペレータは位置認識用画像47と電動ステージ15の相対的な位置関係を視覚により把握することができる。より具体的には、位置認識用画像47と画像の取得位置との相対的な位置関係を視覚により把握することが可能となる。
【0066】
ここで、電動ステージ15の移動時におけるプレパラート模擬ウィンドウ40の画像の変移について図5を用いて詳細に説明する。
【0067】
上記のように縮小画像42をプレパラート模擬ウィンドウ40上の位置認識用画像47に表示する場合、電動ステージ15の装置座標系とプレパラート模擬ウィンドウ40の画像を表示するグラフィック表示座標系の基準を一致させるか又は位置関係を明確にしておく必要がある。
【0068】
図5(a)は電動ステージ15及び対物レンズ16を簡易的に記載したものである。ステージ移動の基準とするため電動ステージ15の移動平面の垂直方向であって対物レンズ16の光軸(中心軸)をZ軸とし、Z軸に直行するX軸、Y軸の座標系を決める。ステージはこのXY平面と平行となっており、X軸及びY軸の交点を原点Oとする(ここでは原点Oはステージ平面上にあるとする)。
【0069】
原点Oは前記原点出しで求めたステージ原点と仮定しても、前記原点出しで求めたステージ原点からオフセットした位置と仮定しても良いが、装置の機械的設計上から原点出しで求めたステージ原点からの距離は既知値である。
【0070】
前記、原点Oを基準にシステムの座標系が決定される。このシステム座標系より原点Oから図5(b)のクレンメルa51、クレンメルb52、プレパラート53の位置も既知となる。つまりクレンメルa51、クレンメルb52は電動ステージ15に機械的固定されているものであり、プレパラート53が脱着可能であるがプレパラート53のサイズが既知であり、さらに上記クレンメルに当てつけて載置しているため、最終的にプレパラート53の座標位置も既知となる。
【0071】
以上の位置情報を基に、図5(c)のように、位置認識用画像47をパソコンのグラフィックで表示する。つまり、上記位置情報を基に、縦横同一の縮尺で実物と同様にクレンメルa43、クレンメルb44、プレパラート45を描画し、かつ、システム座標系の原点Oに対する位置認識用画像47の原点O’を決定し、縮小画像42を表示する際の基準とする。なお、クレンメルa51及びクレンメルb52は電動ステージ15上の実空間でのクレンメルを、クレンメル43及び44は位置認識用画像47上でのクレンメルを示す。
【0072】
また、システム座標系と位置認識用画像47の縮尺値が既知となるため、システム座標系で電動ステージ15がある距離移動した場合その距離に対応する位置認識用画像47上の移動距離が縮尺比から算出できる。これにより、システム座標系とプレパラート模擬ウィンドウの基準点が一致しかつ縮尺比が既知のため電動ステージ15上とプレパラート模擬ウィンドウ40の位置認識用画像47との位置関係が確立する。
【0073】
次いで、例えば図5(b)に示す電動ステージ15の位置から図5(d)に示す位置に移動する場合について説明する。
【0074】
図5(b)に示す観察している場所がプレパラート53上の原点Oの位置から、図5(d)に示すように電動ステージ15をX軸のー方向(左)へ移動した場合、観察している位置は図5(d)上の点Pになる。この原点Oと点Pの線OPの長さが移動距離となる。この移動距離は図2に示すエンコーダ21により検出可能である。また、エンコーダ21を使わなくてもパルスモータの駆動パルスが1パルスあたり電動ステージ15を何mm動かせたか既知のため移動に費やした駆動パルス総数により距離を求める事もできる。
【0075】
上記移動距離および移動方向から、プレパラート模擬ウィンドウ40上の位置認識用画像47の縮小画像移動位置を求める。図5(b)で観察している位置は原点Oとすると、図5(c)で表示されている縮小画像42の中心位置はO’となる。図5(b)の位置から電動ステージ15をX軸のー方向へ線OP移動移動したとき、図5(e)で示すように縮小画像42は点P’を中心とする位置へ移動する。縮小画像42の移動方向はステージの移動方向と反対になり、表示位置の計算は線OPの移動距離をシステム座標系とプレパラート模擬ウィンドウ40の縮尺比により計算して求めることができる。
【0076】
以上の様に、電動ステージ15の移動に連動して、プレパラート模擬ウィンドウ40上の縮小画像42が移動する事で、オペレータに対してプレパラート上のどのあたりを観察しているか視覚的に分かり易くすることができる。また、縮小画像42は実際に観察している標本を映し出しているため、標本のどの位置がプレパラート上のどのあたりにあるか視覚的に分かりやすく、所望とする観察位置を容易にみつけることもできる。さらに、電動ステージ15を動かしすぎて観察位置がプレパラート53から外れるなどの誤操作の防止も可能である。
【0077】
本実施形態では縮小画像40は原画像41を縮尺比にあわせて縮小表示する方式を取っているが、位置や観察範囲を示すものであれば画像に限らず範囲を示す枠や位置を示す+字ポインタのような指標でもかまわない。もちろん、図4(c)のX’軸、Y’軸及び原点O’のみを指標として示すものであっても構わない。
【0078】
このようにステップS19で観察位置の指標とする縮小画像42を表示した後、ステップS20に進む。ステップS20では、図4の位置認識用画像47のプレパラート45上に図6に示すようなメッシュ外枠を表示する。ここでは、プレパラート45上にはメッシュでの取込範囲のメッシュ外枠46を表示している。
【0079】
メッシュとは特開平06−222281号公報に記載されている画像取込み手段である。例えば、図6に示すように観察したい標本に対して縦m×横nの格子(図6では3×3メッシュ62)を設定し、順次格子に対応する位置で対物レンズの倍率を大きくして画像を取込んで行く(図6では合計9枚の画像を取込むことができる)。格子の数は1×1つまり1つの枠でも可能である。
【0080】
次に、ステップS21の“メッシュ位置、サイズの変更指示が入力されたか?”に進み、メッシュ外枠46位置、サイズの変更指示があったかどうか確認する。メッシュ外枠46位置、サイズの変更の入力があった場合(Y)、ステップS22の“位置認識用画像47のプレパラート45上のメッシュサイズ位置を変更して表示する”にて、指定されたサイズや位置へメッシュ外枠46を変更する。メッシュ位置、サイズの変更指示の入力が無ければ(N)、すでに設定されたあるメッシュ位置、サイズを使用して次のステップへ進む。
【0081】
ステップS21でのプレパラート45上のメッシュ外枠46は、例えば図7(a)に示すように、オペレータがマウス4やキーボード5の入力手段を使用し枠の四隅をドラッグし移動する。これにより、メッシュ外枠46の大きさを変更することができる。また、メッシュ外枠46をドラッグし移動することでメッシュ外枠46全体を上下左右に移動することができる。メッシュ外枠46の表示はメッシュの外枠のみでなく実際に分割する範囲を外枠と合せ格子状に表示することも可能である。
【0082】
なお、図7(b)に示すようにマウスポインタ60を原画像41上に表示し、所望するメッシュの範囲を選択するために原画像41上の所望とする位置をクリックすることでメッシュ外枠46の角の位置(図7(b)の場合は右上)を設定することができる。メッシュ外枠46は設定されると原画像41上にオーバレイ表示される。その他、図7(c)に示すようにボタン61をモニタ3上に表示し、オペレータがマウス4やキーボード5の入力手段を使用しボタンをクリックすることで対象とする四隅の角を選択し、これにより所望する標本のメッシュ外枠46の範囲を設定するようにしてもよい。
【0083】
ここで、メッシュ外枠46と縮小画像42の移動との関係について図8を用いて説明する。前述の通り、電動ステージ15を移動すると、このステージ15の移動に連動して縮小画像42が位置認識用画像47のプレパラート45上を移動する。例えば図8(a)の位置に縮小画像42が移動した場合、縮小画像42内の斜線部分が細胞のような観察を所望する部分とすると、メッシュ外枠46内に細胞が入っていることが視覚的に予想(認識)することができる。同様に図8(b)の右上、図8(c)の右下、図8(d)の左下の位置でも細胞の位置がメッシュ外枠42内に入っていることが分かる。
【0084】
図8(e)では、メッシュ外枠46が図8(a)〜(d)に対して狭く設定されている。この図8(e)のような場合、縮小画像42がメッシュ外枠46と重なっており、更に観察を所望する細胞と重なっている。同様に、図8(f)の右上、図8(g)の右下、図8(h)の左下の位置でも細胞の位置がメッシュ外枠42と重なっている。この状態でメッシュの順次画像取込みを行うと、観察を所望する部分(細胞)全体をもれなく取込めなくなる。
【0085】
前記ではメッシュ外枠46の角部の場合を示したが、メッシュ外枠46の辺部でも、細胞とメッシュ外枠の位置関係が確認でき、最適なメッシュ設定を視覚的に容易に設定することができる。
【0086】
なお、電動ステージ15の移動により、現在観察している画像の位置がメッシュ外枠46上にかかるようなときは、電動ステージ15の移動に連動して原画像41上のメッシュ外枠46も移動するようにしている。
【0087】
このような処理を繰り返し、標本の所望とする範囲にメッシュの設定が完了する。
【0088】
次に、ステップS23の“メッシュによる取込み指示がされたか?”に進み、メッシュによる取込み指示があったかどうか確認する。メッシュによる取込みの入力があった場合(Y)、ステップS24に進み、メッシュによる範囲の順次取込を開始し、“メッシュで指定される倍率に変更”の処理を行う。本実施形態では、電動レボルバ17により対物レンズ16の倍率を変更しメッシュの格子サイズ(観察範囲)に合う対物レンズ16を選択する。
【0089】
次いで、ステップS25の“メッシュで指定される標本を取込む位置へ電動ステージを移動”の処理を行う。このステップS25では、電動ステージ15をメッシュで指定されている位置に観察位置を移動する。次いで、ステップS26の“画像取込、保存”に進み、顕微鏡取得画像を取込むとともに、この取込んだ標本の顕微鏡取得画像を静止画像としてデータ記憶装置26等の保存装置に保存する。次いで、ステップS27の“メッシュ取込み終了か?”にて、メッシュ全てについて画像の取込み、保存が終了したか確認され、必要な画像がすべて取込まれたならメッシュ取込みの処理を終了する。
【0090】
次に、ステップS28の“終了指示が入力されたか?”に進み、一連の処理を終了するかどうか確認する。終了の指示があった場合、処理を終了し、指示が無かった場合、再度上記一連の処理を繰り返す。
【0091】
以上のような実施形態によれば、モニタ3上にプレパラート模擬ウィンドウ40を表示し、このプレパラート模擬ウィンドウ40中に原画像41を表示するとともに、原画像41と並べてクレンメルa43、クレンメルb44、プレパラート45の画像からなる位置認識用画像47を表示する。そして、この位置認識用画像47中のプレパラート45に原画像41の画素を間引きして縮小した縮小画像42を表示する。これにより、このプレパラート模擬ウィンドウ40上から、原画像41に相当する標本の一部が表示されている位置認識用画像中のプレパラート上で実際に観察している位置や範囲などをオペレータが容易に把握することができる。
【0092】
なお、位置認識用画像47は、縮小画像の位置がわかれば良いので、プレパラートの代わりに目盛状の格子を表示したりメッシュの外枠のみ表示するだけでも良い。
【0093】
また、電動ステージ15の移動にともない実際の移動量に対応してプレパラート45上の縮小画像42も移動するようにしたので、標本の所望とする位置を把握し、メッシュ外枠46内に標本の所望とする範囲が入るかオペレータが確認することができ、メッシュを容易に設定することができる。また原画像41上にメッシュ外枠46を表示し、メッシュの四隅を指定可能にすることやメッシュ自体を移動可能とすることで、メッシュで取込む標本の範囲を容易に指定することもできる。
【0094】
(第2実施形態)
次に、第2の実施の形態に関わる顕微鏡画像観察システムによる、観察側端末200での標本の位置認識を中心にした操作シーケンスを図10から図11を用いて説明する。
【0095】
第1の実施の形態では、依頼側端末100について述べたが、この顕微鏡画像観察システムでは、遠隔地にある観察側端末200からの操作も可能である。
【0096】
図10は、観察側端末200から操作する場合の操作シーケンスを説明するものである。図10で示すように、依頼側端末100の処理と遠隔地の観察側端末200の処理とで別個独立となっているが、まず、どちらも処理を開始して操作可能状態にしておく。
【0097】
そして、依頼側端末100について初期化処理を行う(ステップS30)。本実施形態では、標本の画像を取込める状態にしておき、電動ステージ15の位置、現在使用している対物レンズ16の倍率などを記憶する。
【0098】
次に、観察側端末200との回線接続(ステップS31)処理を行う。ここでは、各端末の連携処理が出来るように、依頼側端末100から観察側端末200へISDN回線20を介して回線接続の要求を行う。観察側端末200では回線接続要求にて回線接続(ステップS45)処理を行ない、相互の情報交換が可能になり、観察側端末200から依頼側端末100に対して遠隔操作が可能となる。
【0099】
次に、観察側端末200では、初期データ受信の処理を行う(ステップS46)。ここでは観察側端末200から初期データの送信要求を依頼側端末100へ送信し、その回答として依頼側端末100は初期データを受信する。依頼側端末100では、観察側端末200からの初期データの送信要求により、必要な初期データ、例えば使用対物レンズ、電動ステージの位置等を観察側端末200へ送信する(ステップ32)。
【0100】
次に、観察側端末200では図3のステップS10と同様にウィンドウ上にプレパラート模擬ウィンドウ40を表示する(ステップS47)。プレパラート模擬ウィンドウは図4に示すものと同様でも良いが、図11に示す原画像(図4の原画像41)を省略した位置認識用画像47のみでもよい。
【0101】
次に、観察側端末200ではステップS48の“対物レンズの変更が入力されたか?”に進み、対物レンズ16の変更指示があったかどうか確認する。対物レンズ16の変更の入力があった場合(Y)、ステップS49の“指定された対物レンズへ変更要求”の処理を行う。このステップS49に進む場合、観察側端末200は対物レンズ16の変更情報(例えば100倍を400倍に変更等の情報)を依頼側端末100へ送信し、対物レンズ16の変更を要求する。
【0102】
依頼側端末100では、要求がある場合、ステップ33の“指定された対物レンズへ変更”の処理にて、顕微鏡14の電動レボルバ17を回転させて指定された対物レンズ16を選択する(要求が無い場合は始めに選択されていた対物レンズを使用する)。また、観察側端末200では対物レンズ16の変更の入力が無ければ(N)、次のステップへ進む。
【0103】
以上のように対物レンズ16の設定が完了した後、観察側端末200ではステップS50の“ステージの移動指示は入力されたか?”にて電動ステージ15の移動指示があったかどうか確認する。電動ステージ15の移動指示の入力があった場合(Y)、ステップS51の“指定された位置へステージを移動要求”に進み、ステージ移動要求処理を行う。このステップS51では、観察側端末200は指定された位置情報を依頼側端末100へ送信し電動ステージ15の移動を要求する。
【0104】
依頼側端末100では、このステージ移動要求を受け、ステップS34の“指定された位置へステージ移動”の処理を行う。具体的には、顕微鏡14の電動ステージ15を指定された位置へ移動する(要求が無い場合は移動を行わない)。観察側端末200では電動ステージ15の移動指示の入力が無ければ(N)、すでに設定されている位置で次のステップへ進む。
【0105】
ここで、電動ステージ15の移動指示は、図9に示すようなボタン50を観察側端末200のパソコン8のウィンドウ上に表示し、オペレータがマウス4やキーボード5の入力手段を使用しボタンをクリックすることで移動する。そして、図9のボタン50をクリックすると、各ボタンの矢印と同じ方向に電動ステージ15が移動するように駆動パルスをパルスモータへ送り移動制御している(観察側端末200は遠隔地にあるため、電動ステージ15を直接手で動かすことは当然できない)。
【0106】
次に、観察側端末200は、原画像データ受信処理を行う(ステップS52)。ここでは観察側端末200から原画像データの送信を依頼側端末100に要求し、依頼側端末100では、要求がある場合、ステップS35の“原画像データ送信”に進み、ビデオカメラ18から顕微鏡画像をパソコン1にデジタル画像として取込んだ画像を、観察側端末200に対して原画像41のデータとして送信する。
【0107】
本実施形態では、ステップS52では原画像データの受信を行っているが、代替的には、ステップS47で示したように、図11の位置認識用画像47を使用する場合、原画像データは必要なく、縮小画像のデータのみで良い。つまり、依頼側端末100にて原画像を縮小画像に変換し、縮小画像のデータを観察側に送るようにする。原画像はデータ量が多く、このまま通信回線(ISDN20)で送信すると通信回線の混雑を起こし、各端末の処理のスピードが遅くなるなど障害をきたす。これに対し縮小画像はデータ量を少なくしているので通信回線を使った伝送には向いている。当然、通信回線が高速で一度に大量のデータを伝送できれば原画像を伝送してもよい。また、このような制御プログラムは、不図示のサーバーコンピュータにつないだネットワークを介してサーバーコンピュータに記録されている制御プログラムをパソコンにダウンロードして実行することも可能である。
【0108】
次に、ステップS53に進み、“プレパラート模擬ウィンドウ40に原画像を表示”の処理を行う。このステップS53では、(ステップS52)にて受信した原画像データを基に原画像41を表示する。このステップS53は、原画像41を使用せずに図11の位置認識用画像47のみを使用する場合不要となる。
【0109】
次に、ステップS54に進み、“原画像をプレパラート模擬ウィンドウ上のプレパラートの縮尺に変換”の処理を行う。ここでは、位置認識用画像47の縮尺にあわせ、取込んだ画像の画素数変換を行い縮小画像42を作る。このステップS54は図11の位置認識用画像47を使用する場合、依頼側端末100にて縮小画像データ送信前に行うことも可能である。
【0110】
次に、観察側端末200では、ステップS55に進み、“ステージ位置を検出しプレパラート上の観察位置を計算”の処理を行う。このステップS55では、原画像41を取込んだときの電動ステージ15の位置を、依頼側端末100に要求する。依頼側端末100では、要求がある場合、ステップS36に進み、“電動ステージの位置を求め送信”の処理を行う。このステップS36では観察側端末200の要求により、依頼側端末100は電動ステージ15に設置してあるエンコーダ21により電動ステージ15の位置を検出し、位置情報を回答として観察側端末200へ送信する。
【0111】
また、エンコーダ21を使わずパルスモータへの駆動パルス数で位置情報を記憶している場合、その値から位置情報を算出して観察側端末200へ送信する。ただし、依頼側端末200にてこの駆動パルス数情報を管理している場合ここでの送信処理は不要である。
【0112】
次に、観察側端末200では、ステップS56に進み、“縮小画像を実物のプレパラートで観察している位置と対応する位置に表示”の処理を行う。このステップS56では、ステップS55で求めた電動ステージ15の位置から、プレパラート模擬ウィンドウ40のプレパラート45上の位置に換算する。そして、換算した位置にステップS54で求めた画像を縮小画像42として表示する。
【0113】
次に、観察側端末200では、ステップS57に進み、“プレパラート模擬ウィンドウ上にメッシュを表示”の処理を行う。このステップS57では、プレパラート模擬ウィンドウ40、または、図11の位置認識用画像47にメッシュでの取込範囲のメッシュ外枠46を表示している。
【0114】
次に、観察側端末200では、ステップS58に進み、“メッシュ位置、サイズの変更指示が入力されたか?”にてメッシュ外枠46の位置、サイズの変更指示があったかどうか確認する。メッシュ外枠46の位置、サイズの変更の入力があった場合(Y)、ステップS59の“プレパラート模擬ウィンドウのプレパラート上のメッシュサイズ位置を変更して表示する”に進み、指定されたサイズや位置へメッシュ外枠46を変更する。メッシュ位置、サイズの変更指示の入力が無ければ(N)、すでに設定されたあるメッシュ位置、サイズを使用して次のステップへ進む。
【0115】
次に、観察側端末200では、ステップS60の“メッシュによる取込み指示がされたか?”に進み、メッシュによる取込み指示があったかどうか確認する。メッシュによる取込み指示の入力があった場合(Y)、観察側端末200から依頼側端末100に対して、メッシュによる取込み要求を送信する。(N)の場合はステップS63へ進む。依頼側端末100では、メッシュによる取込み開始?(ステップS37)にて観察側端末200から要求がある場合、(Y)の処理に進む。(N)の場合はステップS43へ進む。
【0116】
メッシュによる取込みを開始する場合、ステップS61の“メッシュ情報送信”にてメッシュの情報(倍率、分割数、メッシュ位置等)を観察側端末200から依頼側端末100へ送信する。依頼側端末100ではこのメッシュ情報を受信すると、ステップS38の“メッシュで指定される倍率に変更”の処理を行う。このステップS38では、具体的には電動レボルバ17により対物レンズ16の倍率を変更しメッシュの格子サイズ(観察範囲)に合う対物レンズ16を選択する。
【0117】
次いで、依頼側端末100では、ステップS39に進み、“メッシュで指定される標本を取込む位置へ電動ステージを移動”の処理を行う。ここでは、電動ステージ15の観察位置をメッシュの指定位置に移動させる。次いで、依頼側端末100では、ステップS40の“画像取込、保存”にて顕微鏡取得画像を取込むとともに、この取込んだ標本の顕微鏡取得画像を静止画像としてデータ記憶装置26等の保存装置に保存する。
【0118】
次いで、依頼側端末100ではステップS41に進み、“メッシュ取込み終了か?”にて、メッシュ全てについて画像の取込み、保存が終了したか確認され、必要な画像がすべて取込めたならメッシュ取込みの処理を終了する。
【0119】
次に、依頼側端末100ではステップS42に進み、“画像送信”の処理を行う。ここでは、メッシュ取込みにより取込んだ画像を観察側端末200へ送信する。観察側端末200ではステップS62の“画像受信保存”の処理を行う。このステップS62では、送信されてきた画像を順次データ記憶装置26等に記憶保存していく。
【0120】
上記図10及び図11に示される処理では、メッシュで指定される画像をすべて取込んでから、依頼側端末100から観察側端末200へ送信しているが、画像を1枚取込むごとに送信することも可能である。
【0121】
次に、観察側端末200にて、ステップS63の“終了指示が入力されたか?”にて一連の処理を終了するかどうか確認する。終了の指示があった場合(Y)、依頼側端末に終了要求を行い一連の処理を終了する。指示が無かった場合、ステップS48に戻り、再度上記一連の処理を繰り返す。依頼側端末100では、ステップS43の“終了か?”にて観察側端末200からの終了要求を受信し終了であれば一連の処理を終了し、終了要求でなければステップS32の後のステップに戻り再度一連の処理を繰り返す。
【0122】
以上のように、観察側端末200のパソコン8のモニタ10上にプレパラート模擬ウィンドウ40と同等なウィンドウを表示し、依頼側端末100のビデオカメラ18から取り込んだ取得画像をパソコン1からISDN回線20を介してパソコン8に伝送し、依頼側端末100のモニタ3のプレパラート模擬ウィンドウ40上と同様に、プレパラートに原画像の画素を間引きして縮小した縮小画像を表示するようにすることで、遠隔地の観察側端末200にて、これらの画面上から依頼側端末100で操作するのと同様な感覚で、操作を行なうことができ、実際のプレパラート上の標本の位置、観察している範囲をオペレータが容易に把握することができる。
【0123】
従来、遠隔地の観察側端末200では目視で標本の全体像を見ることができないことから、標本全体を把握するのに時間を費やしていたが、本実施形態に示す構成により、遠隔地からも標本の全体像が容易に把握できるとともに、所望とする範囲にメッシュを設定できるようになる。
【0124】
(第3実施形態)
次に、第3の実施の形態に関わる顕微鏡画像観察システムによる発明の形態を説明する。装置自体は第1の実施の形態で説明したものと同様のため説明を省略する。
【0125】
図12は、本実施形態で用いられるプレパラート模擬ウィンドウ40の表示例を示す図である。図12は第1の実施の形態で示されるプレパラート模擬ウィンドウ40と基本的な構成は同じである。このプレパラート模擬ウィンドウ40のプレパラート45上に縮小画像42が表示されている。第1実施形態では、電動ステージ15を移動させるのに、図9に示すボタン50を用いて行う場合を示した。しかし、このような操作は目的の位置まで移動するには時間がかかり操作性があまり良くない。そこで、本実施形態では観察したい位置を移動する場合の手法について説明する。
【0126】
図12の縮小画像42は、観察位置を移動する前(移動前)の状態を示す。この縮小画像42上にマウスポインタ60をマウス4にて移動させる。ここで、マウス4を使って縮小画像42を選択する。ウィンドウズの場合マウス4のボタンを押した状態を維持することでその縮小画像42をドラッグ(選択状態)にすることができる。オペレーティングシステムによって方式は異なるが縮小画像42を選択状態に出来れば手法は問わない。
【0127】
この縮小画像42を選択された状態でマウス4を移動することでマウスポインタ60を移動すると、マウスポインタ60と一緒に縮小画像42の枠の部分が移動できるようにする。さらに、その画像上の移動量から換算して、電動ステージ15を連動して移動させるようにする。例えば観察者がウィンドウ40上で縮小画像42をドラッグした状態で移動し縮小画像42‘(移動後)の位置に移動させると、電動ステージ15も動作し、縮小画像42’が表示されている位置に対応した位置に電動ステージ15が移動する。これにより、観察している画像も移動する位置とともに移動する。移動範囲は電動ステージ15の移動範囲内なら可能であるが、必要なのはプレパラート45内である。従って、プレパラート45内でマウスポインタ60の移動範囲に制限をかけても良い。
【0128】
以上のようにマウス4に縮小画像42、電動ステージ15が連動して動作することによって、オペレータが縮小画像42を見ながら容易にプレパラート45上の観察したい位置(例えば細胞の位置)を設定することができる。
【0129】
(第4実施形態)
次に、第4の実施の形態に関わる顕微鏡画像観察システムによる発明の形態を説明する。装置形態は第1の実施の形態で説明したものと同様のため省略する。本実施形態の特徴は、クレンメルでプレパラートが固定されない場合の位置決めの手法に関する。
【0130】
第1実施形態の場合、図5で説明したように電動ステージ15上のプレパラート53はクレンメルa51、クレンメルb52によって固定されており、各クレンメルa51及びクレンメルb52に当て付けることで位置決めがなされており、実際のプレパラート53とプレパラート模擬ウィンドウ40上の位置関係とが対応付けされている。
【0131】
しかし、顕微鏡によってはクレンメルa51、クレンメルb52のような固定手段の無いものがある。この場合プレパラート模擬ウィンドウ40と実際のプレパラートの位置関係が定まらない。このような場合の位置決め手段について説明する。
【0132】
図13は縮小画像42を拡大して表示したものである。電動ステージ15上にプレパラート53をクレンメルにて固定、位置決めしないで載置した場合、プレパラート模擬ウィンドウ40上のプレパラート45との位置関係が決定できない。
【0133】
そこで、図13に示すように縮小画像42上にX軸基準直線(クロスX)70およびY軸基準直線(クロスY)71からなる2つの基準直線を表示する。そして、プレパラート像の角a(この場合はプレパラート53の左上の角)を、電動ステージ15を移動させることで縮小画像42内に表示させる。さらに、X軸基準直線70およびY軸基準直線71の交点Kをプレパラート像の角aに重なる位置に電動ステージ15を移動させて、その位置をパソコン1に記憶させることで、基準位置とする。
【0134】
つまり、プレパラート模擬ウィンドウ40上で縮小画像42の点Kの位置とプレパラート像の角aの位置を一致させることで、実際のプレパラート53とプレパラート模擬ウィンドウ40上の位置関係とが対応付けすることが出来る。
【0135】
本発明は上記実施形態に限定されるものではない。上述した実施形態では、位置認識用画像47を固定して、この位置認識用画像47内に電動ステージ15の移動に連動して縮小画像42の表示位置を移動させる場合を示したが、電動ステージ15の移動に伴う観察位置と、電動ステージ15上の各構成の位置の物理的な相対位置関係を反映する表示であれば、例えば縮小画像42の表示位置を固定し、位置認識用画像47の表示位置を電動ステージ15の移動に合わせて移動させてもよい。もちろん、縮小画像42と位置認識用画像47の双方を画面上で移動させてもよい。
【0136】
また、上述した実施形態では、縮小画像の移動で標本の全体像を予想(認識)するようにしていたが、例えば合成して表示した縮小画像を表示した座標位置に残しておくことで、オペレータに対して標本の全体像を視覚的に認識させることができる。
【0137】
また、上述した実施形態では、位置認識用画像上で縮小画像が移動するような構成であったが、例えば縮小画像の移動方向(進行方向)を示す矢印も位置認識用画像上に表示するようにすれば、オペレータのボタン50の操作を視覚的にサポートすることにつながる。
【0138】
また、本発明は、病理観察に用いられる顕微鏡画像観察システムにおける課題に基づいてなされたものであるが、特に病理観察での使用に限定する必要はない。上述したシステムで観察される標本が細胞以外のものであったり、画像取得手段を標本に対して移動できるものであれば、工業系分野、例えばクリーンルームの外側に居ながら、クリーンルームの内側で検査される標本、例えばLCD基板やウェハ基板等の検査に適用することもできる。
【0139】
【発明の効果】
以上述べたように、本発明によれば、標本の全体像を認識できるとともに、標本上の実際に観察している位置や範囲などを容易に把握することができる。また、標本の移動や、位置決めが容易に出来る。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る顕微鏡画像観察システムの全体構成を示す図。
【図2】同実施形態に係る依頼側端末及び顕微鏡のブロック構成図。
【図3】同実施形態に係る顕微鏡画像観察手法のフローチャートを示す図。
【図4】同実施形態に係るプレパラート模擬ウィンドウの表示例を示す図。
【図5】同実施形態に係る電動ステージの移動とプレパラートの画像の変移の対応関係を説明するための図。
【図6】同実施形態に係るメッシュの具体的構成例を示す図。
【図7】同実施形態に係るメッシュ外枠と縮小画像の移動との関係を示す図。
【図8】同実施形態に係るメッシュ外枠の設定手法を示す図。
【図9】同実施形態に係る電動ステージの移動指示のためにモニタに表示される画面の一例を示す図。
【図10】本発明の第2実施形態に係る顕微鏡画像観察手法のフローチャートを示す図。
【図11】同実施形態に係る原画像を用いないウィンドウの表示例を示す図。
【図12】同実施形態に係るプレパラート模擬ウィンドウの表示例を示す図。
【図13】同実施形態に係る縮小画像を拡大して示す図。
【符号の説明】
1…パソコン
2.9…回線接続装置
3,10…モニタ
4…マウス
5…キーボード
7、13…ハンドフリー通話器
8…パソコン
11…マウス
12…キーボード
14…顕微鏡
15…電動ステージ
16…対物レンズ
17…電動レボルバ
18…ビデオカメラ
19…インターフェイス
20…ISDN回線
21…エンコーダ
22…ビデオキャプチャー
23…ビデオカード
24…入出力インターフェイス
25…入出力インターフェイス
26…データ記憶装置
27…記録媒体
27a…制御プログラム
28…CPUバス
29…CPU
30…入出力インターフェイス
40…プレパラート模擬ウィンドウ
41…原画像
42…縮小画像
43…クレンメルa
44…クレンメルb
45…プレパラート
46…メッシュ外枠
47…位置認識用画像
50…ボタン
51…クレンメルa
52…クレンメルb
53…プレパラート
60…マウスポインタ
61…ボタン
62…メッシュ
70…X軸基準直線
71…Y軸基準直線
100…依頼側端末
200…観察側端末

Claims (2)

  1. プログラムされたコンピュータによって顕微鏡を制御する装置であって、
    対物レンズを介して所定の倍率で取り込まれたプレパラート上の標本の標本像を取得する画像取得手段と、
    前記プレパラートの位置決めをし載置する標本載置手段と、
    前記標本載置手段と前記画像取得手段を相対的に移動させる移動手段と、
    前記標本載置手段の位置を検出する位置検出手段と、
    前記標本像の倍率を記憶する倍率記憶手段と、
    前記プレパラート上における前記標本像の取得位置を認識する為のプレパラート模擬画像を表示する位置認識用画像を生成するとともに、前記位置検出手段を介して検出された前記標本取得位置及び前記倍率記憶手段に記憶された倍率に基づいて、前記標本像を、前記位置認識画像上における該プレパラート模擬画像の縮尺に縮小変換した縮小画像を形成し、前記プレパラート上における前記標本像取得位置に対応した、前記プレパラート模擬画像上における前記縮小画像の表示位置を求める演算手段と、
    前記プレパラート模擬画像上に前記縮小画像を前記表示位置に基づいて合成した画像を表示する表示手段と、
    を備えたことを特徴とする顕微鏡画像観察システム。
  2. プログラムされたコンピュータによって顕微鏡を制御する方法であって、
    対物レンズを介して所定の倍率で取り込まれたプレパラート上の標本の標本像を画像取得手段により取得する工程、
    標本載置手段により前記プレパラートの位置決めをし載置する工程、
    移動手段により前記標本載置手段と前記画像取得手段を相対的に移動させる工程、
    位置検出手段により前記標本載置手段の位置を検出する工程、
    倍率記憶手段に前記標本像の倍率を記憶する工程、
    演算手段により、前記プレパラート上における前記標本像の取得位置を認識する為のプレパラート模擬画像を表示する位置認識用画像を生成し、前記検出された前記標本像の取得位置及び前記記憶された倍率に基づいて、前記標本像を、前記位置認識画像上における該プレパラート模擬画像の縮尺に縮小変換した縮小画像を形成し、前記プレパラート上における前記標本像の取得位置に対応した、前記プレパラート模擬画像上における前記縮小画像の表示位置を求める工程、
    表示手段により、前記プレパラート模擬画像上に前記縮小画像を前記表示位置に基づいて合成した画像を表示する工程
    を含むことを特徴とする顕微鏡画像観察システムの制御方法。
JP2000287626A 1999-09-29 2000-09-21 顕微鏡画像観察システム及びその制御方法 Expired - Fee Related JP4637337B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000287626A JP4637337B2 (ja) 1999-09-29 2000-09-21 顕微鏡画像観察システム及びその制御方法
KR1020017006096A KR20010092741A (ko) 1999-09-29 2000-09-28 현미경화상관찰시스템, 그 제어방법 및 제어프로그램을기록한 컴퓨터에 판독 가능한 기록매체
PCT/JP2000/006739 WO2001023938A1 (fr) 1999-09-29 2000-09-28 Systeme d'observation d'image au microscope, procede de controle, et support enregistre lisible par l'ordinateur a programme de controle enregistre
CN00802102A CN1322305A (zh) 1999-09-29 2000-09-28 显微镜图像观察系统、其控制方法及用记录了控制程序的计算机可读取的记录媒体
TW089120300A TW508452B (en) 1999-09-29 2000-09-29 Microscopic image-observing system, controlling method thereof and computer-readable recording medium with controlling program stored therein

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-277001 1999-09-29
JP27700199 1999-09-29
JP2000287626A JP4637337B2 (ja) 1999-09-29 2000-09-21 顕微鏡画像観察システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2001166218A JP2001166218A (ja) 2001-06-22
JP4637337B2 true JP4637337B2 (ja) 2011-02-23

Family

ID=26552212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000287626A Expired - Fee Related JP4637337B2 (ja) 1999-09-29 2000-09-21 顕微鏡画像観察システム及びその制御方法

Country Status (5)

Country Link
JP (1) JP4637337B2 (ja)
KR (1) KR20010092741A (ja)
CN (1) CN1322305A (ja)
TW (1) TW508452B (ja)
WO (1) WO2001023938A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804527B2 (ja) * 2001-12-17 2006-08-02 株式会社ニコン 顕微鏡システム
JP4709492B2 (ja) * 2004-02-20 2011-06-22 オリンパス株式会社 顕微鏡用ステージの転がり部材保持ケーシング位置ずれ補正方法
JP2006126615A (ja) * 2004-10-29 2006-05-18 Nikon Corp 顕微鏡システム
CN100454078C (zh) * 2006-06-22 2009-01-21 北京普利生仪器有限公司 一种全息数字化切片的显微图像制作方法
JP5091460B2 (ja) * 2006-11-08 2012-12-05 株式会社日立国際電気 検査測定装置
CN102707425B (zh) * 2012-06-21 2014-04-16 爱威科技股份有限公司 图像处理方法和装置
JP2014153500A (ja) * 2013-02-07 2014-08-25 Sony Corp 画像取得装置およびステージ制御方法
CN104965302A (zh) * 2015-06-26 2015-10-07 深圳市虚拟现实科技有限公司 增强现实显微镜
JP6703599B2 (ja) * 2015-09-14 2020-06-03 エッセンリックス コーポレーション 試料、特に血液を分析するための装置及びシステム、並びにそれらの使用方法
CN107492117B (zh) * 2017-07-27 2020-07-28 北京大学 一种基于视频的微颤动功能像成像方法
JP6956591B2 (ja) * 2017-10-30 2021-11-02 株式会社Nobori 遠隔病理診断システム及び遠隔病理診断方法
JP7506524B2 (ja) * 2020-05-20 2024-06-26 株式会社エビデント 顕微鏡システム、制御方法、プログラム
JP7506523B2 (ja) * 2020-05-20 2024-06-26 株式会社エビデント 顕微鏡システム、制御方法、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0293083A3 (en) * 1987-04-30 1990-07-18 Corabi International Telemetrics, Inc. Remote transmission diagnostic system
JPH05241075A (ja) * 1992-03-02 1993-09-21 Olympus Optical Co Ltd 顕微鏡システム
JP3152747B2 (ja) * 1992-06-19 2001-04-03 オリンパス光学工業株式会社 巨視的映像機能を備えた顕微鏡システム
JP3321198B2 (ja) * 1992-06-22 2002-09-03 オリンパス光学工業株式会社 顕微鏡静止画像観察システム
JP3321197B2 (ja) * 1992-06-22 2002-09-03 オリンパス光学工業株式会社 顕微鏡静止画像伝送システム
JP3226336B2 (ja) * 1992-07-29 2001-11-05 オリンパス光学工業株式会社 画像遠隔観察システム
JP3325064B2 (ja) * 1993-01-22 2002-09-17 オリンパス光学工業株式会社 顕微鏡遠隔観察システムとその制御方法
JP2770699B2 (ja) * 1993-03-18 1998-07-02 住友金属工業株式会社 観察位置表示装置
JPH11275572A (ja) * 1998-03-25 1999-10-08 Nikon Corp 顕微鏡画像表示システム及び顕微鏡画像伝送表示システム

Also Published As

Publication number Publication date
KR20010092741A (ko) 2001-10-26
CN1322305A (zh) 2001-11-14
WO2001023938A1 (fr) 2001-04-05
JP2001166218A (ja) 2001-06-22
TW508452B (en) 2002-11-01

Similar Documents

Publication Publication Date Title
JP4937457B2 (ja) 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP4770493B2 (ja) 遠隔指示システム及び遠隔指示方法
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
JP4637337B2 (ja) 顕微鏡画像観察システム及びその制御方法
JP3557246B2 (ja) 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法
US6259473B1 (en) Section image obtaining apparatus and method of obtaining section image
EP1860481A1 (en) Micropscope system and method for synthesiing microscopic images
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2000295462A (ja) 顕微鏡画像伝送システム
JP3321197B2 (ja) 顕微鏡静止画像伝送システム
JP3321198B2 (ja) 顕微鏡静止画像観察システム
JP2007034050A (ja) 観察装置及びその制御方法
JPH1172717A (ja) 顕微鏡デジタル写真撮影システム
KR100897674B1 (ko) 표본 검사 시스템 및 표본 검사 방법
JP2005266718A (ja) 顕微鏡画像撮影システム
JP4346888B2 (ja) 顕微鏡装置
JP3152747B2 (ja) 巨視的映像機能を備えた顕微鏡システム
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
JP2008175764A (ja) 外観検査装置
JPH06222281A (ja) 顕微鏡遠隔観察システム
JPH09120031A (ja) 撮像装置及び顕微鏡画像伝送システム
JP3826506B2 (ja) 情報表示方法
KR20000057920A (ko) 현미경 화상 전송 시스템, 현미경 화상 처리 방법 및현미경 화상 처리에 이용하는 기록 매체
JP3226336B2 (ja) 画像遠隔観察システム
JPH11344676A (ja) 顕微鏡画像撮影システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4637337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees