JP3325064B2 - 顕微鏡遠隔観察システムとその制御方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、顕微鏡遠隔観察、とり
わけ医療分野における遠隔病理診断を可能にする画像遠
隔観察システムに関する。

【０００２】

【従来の技術】従来、顕微鏡による病理観察では、先
ず、病理専門医がプレパラート全体を肉眼観察して大ま
かな観察方針を立て、続いて低倍率で顕微鏡観察を行い
初期診断を行うのが一般的である。そして、高倍率での
詳細な観察は普通、これらの作業の後に行う。このよう
な作業を遠隔操作においても実現させようとするもの
が、プレパラートのマクロ画像までを扱うことのできる
顕微鏡遠隔観察システムである。

【０００３】例えば、本出願人により提案された特願平
４−１６１０９５号、特願平４−２０２４８９号、特願
平４−２０２４８８号、特願平４−１６２７１３号で
は、このような顕微鏡遠隔観察システムに関する技術が
示されている。そして、これらの技術は、双方向の通信
手段によって結ばれる顕微鏡端末と観察端末とで構成さ
れており、該顕微鏡端末はマクロ画像及び顕微鏡画像を
取り込んで送信し、該観察端末はこの画像を受信して表
示すると共に、顕微鏡端末に対して様々な制御コードを
送信する。

【０００４】以下、図６のフローチャートを参照して、
従来の顕微鏡遠隔観察システムの動作について説明す
る。従来の顕微鏡遠隔観察システムでは、顕微鏡端末と
観察端末の両システムを立ち上げた後、先ず、顕微鏡端
末においてプレパラートのマクロ画像を取り込み（ステ
ップＳ３０１）、これを顕微鏡端末の作業者の指示に基
づき図７に示すようにメッシュに分割する（ステップＳ
３０２）。続いて、このメッシュの格子に対応する部位
の画像を１枚ずつ顕微鏡の低倍率で取り込んでいき（ス
テップＳ３０３）、全ての画像を取り込み終わったとこ
ろで観察端末にマクロ画像も含めて全ての画像を送信す
る（ステップＳ３０４）。そして、観察端末では、この
送信された画像を受信し（ステップＳ３０５）、この画
像を遠隔観察する（ステップＳ３０６，３０７）。この
観察端末の観察者の各種指示は、顕微鏡端末に制御コー
ドとして送信することができるので、観察者は所望とす
る顕微鏡画像を随時観察することができる。以上の動作
により、所望とする顕微鏡画像を観察した後、全ての動
作を終了する。

【０００５】

【発明が解決しようとする課題】しかしながら、顕微鏡
観察に供される標本の形と大きさは千差万別であり、比
較的大きい楕円形または矩形の標本ならば適切なメッシ
ュ分割ができるが、例えば図８に示すような細長い標本
や、図９に示すようなバイオプシー標本が複数個並んだ
ものでは、メッシュ分割はかえって効率の低下を招く場
合がある。これは、取り込む画像が増えていれば、それ
だけ取り込みと伝送に時間がかかるからである。

【０００６】さらに、顕微鏡端末を操作する作業者は一
般的に臨床検査技師であり病理診断の専門家ではないの
で、標本をメッシュ分割する際に不必要な部位にまでメ
ュシュをかけたり、必要な部位にかけ損なったりする危
険性がある。そして、不必要な部位にまでメュシュをか
けると、観察端末の病理専門医は診断と関係しない無駄
な画像を見なけらばならず、必要な部位にかけ損なう
と、顕微鏡端末に対して改めて必要な部位を指示し画像
を取り直さなければならないなどの不具合が生じてしま
う。

【０００７】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、標本画像の遠隔観察にお
いて、主に初期観察画像における所望とする観察領域の
指定を高効率で行うことにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の顕微鏡遠隔観察システムでは、少なくとも
顕微鏡を含み、標本の画像を取り込む画像取り込み手段
を有する顕微鏡端末と、上記顕微鏡端末の画像取り込み
手段で取り込んだ標本画像を表示する表示部を有する観
察端末と、上記表示部に表示された標本画像上に所望の
顕微鏡倍率で観察する観察領域を指定して、この指定し
た箇所の画像を上記所望の顕微鏡倍率で取り込むよう上
記顕微鏡を制御する制御手段と、上記観察領域の指定情
報と画像情報とを少なくともやり取りするために、上記
顕微鏡端末と観察端末とに夫々設けた通信手段と、を具
備し、上記制御手段における前記観察領域の指定は、上
記表示部に表示された標本画像上に表示される前記所望
の顕微鏡倍率の視野に相当するフレームを用いた指定
と、上記表示部に表示された標本画像上におけるメッシ
ュ分割による指定とが選択できることを特徴とする。さ
らに、本発明の顕微鏡観察システムでは、少なくとも顕
微鏡を含み、標本の画像を取り込む画像取り込み手段を
有する顕微鏡端末と、上記顕微鏡端末の画像取り込み手
段で取り込んだ標本画像を表示する表示部を有する観察
端末と、上記表示部に表示された標本画像上に所望の顕
微鏡倍率の視野に相当するフレームを指定し、フレーム
情報に基づいて標本画像上に指定した箇所の画像を前記
所望の顕微鏡倍率で取り込むよう上記顕微鏡を制御する
制御手段と、上記フレーム情報と画像情報とを少なくと
もやり取りするために、上記顕微鏡端末と観察端末とに
夫々設けた通信手段と、を具備し、上記指定したフレー
ムを自由に移動でき、所望の位置に固定できるようにし
たことを特徴とする。

【０００９】

【作用】即ち、本発明の顕微鏡遠隔観察システムでは、
少なくとも顕微鏡を含む顕微鏡端末の画像取り込み手段
により標本の画像が取り込まれ、観察端末の表示部によ
り上記顕微鏡端末の画像取り込み手段で取り込まれた標
本画像が表示され、制御手段により、上記表示部に表示
された標本画像上に所望の顕微鏡倍率で観察する観察領
域が指定されて、この指定された箇所の画像が上記所望
の顕微鏡倍率で取り込まれるよう上記顕微鏡が制御さ
れ、上記顕微鏡端末と観察端末とに夫々設けられた通信
手段により上記観察領域の指定情報と画像情報とが少な
くともやり取りされる。そして、上記制御手段における
前記観察領域の指定では、上記表示部に表示された標本
画像上に表示される前記所望の顕微鏡倍率の視野に相当
するフレームを用いた指定と、上記表示部に表示された
標本画像上におけるメッシュ分割による指定とが選択で
きる。 さらに、本発明の顕微鏡観察システムでは、少な
くとも顕微鏡を含む顕微鏡端末の画像取り込み手段によ
り標本の画像が取り込まれ、観察端末の表示部により上
記顕微鏡端末の画像取り込み手段で取り込まれた標本画
像が表示され、制御手段により、上記表示部に表示され
た標本画像上に所望の顕微鏡倍率の視野に相当するフレ
ームが指定され、フレーム情報に基づいて標本画像上に
指定された箇所の画像が前記所望の顕微鏡倍率で取り込
まれるよう上記顕微鏡が制御され、上記顕微鏡端末と観
察端末とに夫々設けられた通信手段により上記フレーム
情報と画像情報とが少なくともやり取りされる。そし
て、上記指定したフレームを自由に移動でき、所望の位
置に固定できる。

【００１０】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。図１は、本発明の第１の実施例に係る顕
微鏡遠隔観察システムの構成を示すブロック図である。

【００１１】本実施例の顕微鏡遠隔観察システムは、顕
微鏡画像を取り込んで送信するための顕微鏡端末と、該
顕微鏡端末から送信される顕微鏡画像を受信して観察す
るための観察端末とからなり、両端末は通信回線によっ
て接続されている。尚、本実施例では、両端末を接続す
る通信回線としてＩＳＤＮ回線を利用しているが、この
他、アナログ公衆回線や光ケーブルなどを用いることも
できる。

【００１２】同図に示されるように、観察端末において
は、図示しない外部記憶装置と画像の圧縮伸長部を装備
しシステム全体の制御を行う情報処理装置１が、システ
ムの各種操作を指示するためのメニュー画面を表示する
モニタ２と、情報を入力するためのキーボード３と、メ
ニュー画面上で観察者がメニューの選択や画像領域の指
定を行うためのポインティング・デバイス４と、通信モ
デム５と、ＮＴＳＣ方式のテレビジョン（ＴＶ）信号を
デジタル変換しデジタル画像情報を作り出すフレームメ
モリ６とに接続されている。そして、このフレームメモ
リ６は、デジタル画像を表示するＴＶモニタ７に接続さ
れている。尚、観察端末では情報処理装置１のモニタ２
と画像を表示するためのＴＶモニタ７を別々に設けてい
るが、モニタ２の解像度が十分である場合には該モニタ
２をＴＶモニタ７として兼用することもできる。

【００１３】一方、顕微鏡端末においては、図示しない
外部記憶装置と画像圧縮伸長部を備えている情報処理装
置９が、システムを操作するためのメニュー画面を表示
するモニタ１０と、情報を入力するキーボード１１と、
メニュー画面上で作業者がメニューの選択や画像領域の
指定を行うマウスなどのポインティング・デバイス１２
と、通信モデム１３と、ＮＴＳＣ方式のテレビジョン
（ＴＶ）信号をデジタル変換しデジタル画像情報を作り
出すフレームメモリ１４とに接続されている。

【００１４】さらに、電動Ｘ−Ｙステージ１９は、通信
インターフェイス（ＲＳ−２３２Ｃ、ＧＰ−ＩＢ、パラ
レル、シリアル、ＳＣＳＩのいずれかのインターフェイ
ス）を介して情報処理装置９と接続されている。そし
て、電動式の対物レンズレボルバ１８も上記通信インタ
ーフェイスを介して情報処理装置９に接続されている。
そして、上記フレームメモリ１４は、デジタル画像を表
示するＴＶモニタ１５と、作業者が顕微鏡からの映像と
マクロ撮影スタンド側からの映像を選択するビデオ信号
切り替え機２１とに接続されている。さらに、このビデ
オ信号切り替え機２１は、カメラコントロールユニット
(CCU;Camera Control Unit) 一体型のＴＶカメラ１７
と、ＴＶカメラ２２とに接続されている。

【００１５】そして、光学顕微鏡２０は、ＣＣＵ一体型
のＴＶカメラ１７と、対物レンズレボルバ１８と、電動
Ｘ−Ｙステージ１９とが一体に構成されている。さら
に、プレパラートのマクロ画像を撮影するためのマクロ
撮影スタンド２６は、上記ＴＶカメラ２２及びレンズ２
３と、プレパラートをセットしてマクロ画像を撮影する
Ｘ−Ｙステージ２４と、高周波光源装置２５とが一体に
構成されている。尚、この顕微鏡端末においてもモニタ
１０とＴＶモニタ１５とを兼用することもできる。

【００１６】このような構成の観察端末及び顕微鏡端末
は、それぞれの通信モデム５，１３が通信回線２７を介
して接続されており、画像及び制御コードのやり取りを
行うことができる。さらに、観察端末の観察者と顕微鏡
端末の作業者のコミュニケーションの円滑化を図るため
に、通信回線２８により接続された電話機８及び１６を
各端末に装備している。以下、図２のフローチャートを
参照して、このような構成の第１の実施例に係る顕微鏡
遠隔観察システムの動作について詳細に説明する。

【００１７】観察端末の観察者と顕微鏡端末の作業者と
が、両端末間で電話機８、１６で電話連絡を行いながら
タイミングを計り、それぞれのシステムを立ち上げる
と、まず顕微鏡端末において、マクロ撮影スタンド２６
により標本の全体像であるマクロ画像を取り込む（ステ
ップＳ１０１）。

【００１８】続いて、作業者がモニタ１０に表示された
メニュー画面上で、ポンティング・デバイス１２を操作
することによりマクロ画像をメュシュ分割するかフレー
ム指定するかを選択する（ステップＳ１０２）。このメ
ニュー画面の様子は図３に示す通りであり、例えば「マ
クロ画像分割方法」指定３１では「メッシュ分割」か
「フレーム指定」を選択でき、「対物レンズ倍率」指定
３２では「２倍」、「４倍」、「１０倍」の中から所望
とする倍率を選択でき、「処理命令」指定３３では、
「次のフレーム」か「取り込み実行」かを選択できる。
尚、同図に示したのはメニューの一例に過ぎない。

【００１９】さて、このようなメニュー画面３０におい
て作業者が「マクロ画像分割方法」指定３１で「フレー
ム指定」を選択した場合には、情報処理装置９がＴＶモ
ニタ１５に表示されているマクロ画像上に指定された顕
微鏡倍率の視野に相当するフレームを表示する。このフ
レームはポインティング・デバイス１２によってＴＶモ
ニタ１５上で自由に移動させることができる。また、図
４に示すように所望の位置で固定させることもできる。

【００２０】さらに、１つのフレームが固定されると、
続いてＴＶモニタ１５に次のフレームが表示されるの
で、作業者は再びポインティング・デバイス１２を操作
して、このＴＶモニタ１５の画面上でフレームを移動
し、所望とする位置で固定することができる。以下、必
要な回数だけ同様の操作を繰り返すことができる（ステ
ップＳ１０３〜１０５）。

【００２１】一方、作業者が「マクロ画像分割方法」指
定３１で「メュシュ分割」を選択した場合には、情報処
理装置９がＴＶモニタ１５に表示されているマクロ画像
を所定のメュシュにより均等に分割する（ステップＳ１
０６，１０７）。

【００２２】こうして所望とする「フレーム指定」及び
「メュシュ分割」を終了した後、顕微鏡画像の取り込み
を行う（ステップＳ１０８）。具体的には、情報処理装
置９がマクロ画像上のフレームの位置を基に光学式顕微
鏡２０の電動Ｘ−Ｙステージ１９を制御して所定の位置
にプレパラートを移動させ、次いで対物レンズレボルバ
１８に信号を送り所定の対物レンズに切り替えるように
指示する。また、この時、フレームメモリ１４をスルー
状態に切り替え、作業者がＴＶモニタ１５を見ながらピ
ントと絞りを合わせられるようにした。

【００２３】そして、作業者がポインティング・デバイ
ス１２をメニュー画面３０上で操作して「処理命令」指
定３３の「取り込み実行」を選択すると、情報処理装置
９がフレームメモリ１５内の画像情報を取り込んで情報
処理装置９の外部記憶装置に記憶し、この記憶の後、次
のフレームに対応する位置に電動Ｘ−Ｙステージ１９を
移動させ、同様の操作を指定された全てのフレームに対
して繰り返して行う。この取り込まれた画像は観察端末
に送信され（ステップＳ１０９）、観察端末では、この
送信された画像を受信すると（ステップＳ１１０）、該
画像を観察端末の観察者が遠隔観察する（ステップＳ１
１１）。この時、顕微鏡端末でも同時に、この画像を観
察することができるので、ポインティングデバイス４，
１２の操作や電話連絡などにより、該画像に関して観察
端末の観察者と顕微鏡端末の作業者はディスカッション
することもできる。そして、観察端末の観察者の各種指
示は情報処理装置１が通信モデム５を介して顕微鏡端末
に制御コードとして送信するので、観察者は随時、所望
とする顕微鏡画像を観察することができる。以上の動作
により、所望とする全ての顕微鏡画像を観察し、全ての
動作を終了する。

【００２４】このように、本発明の第１の実施例に係る
顕微鏡遠隔観察システムでは、マクロ画像の「メッシュ
分割」、「フレーム指定」の両方を選択できるようにし
たので、例えばバイオジプシー標本やメッシュ分割に適
さない形の標本の遠隔観察の効率を向上させることがで
きる。また、オートフォーカス、オートアイリス式の顕
微鏡を使用すれば、作業者の手作業が無くなり作業効率
を向上させることができる。

【００２５】以上、本発明の第１の実施例に係る顕微鏡
遠隔観察システムについて説明したが、最初にマクロ画
像を観察端末に送り、フレーム指定を観察端末からでき
るようにしたシステムも観察端末が本当に見たいところ
を自ら指定できるという点で効果がある。また、各フレ
ームに対応する顕微鏡画像を１枚取り込むたびに観察端
末に伝送していく方法も観察端末の待ち時間を減らす意
味で有効である。そこで、このような点に着目してなさ
れた本発明の第２の実施例に係る顕微鏡遠隔観察システ
ムについて説明する。

【００２６】従来の顕微鏡遠隔観察システムでは、マク
ロ画像のメッシュ分割は顕微鏡端末でのみ可能であっ
た。これに対して第２の実施例では、まず顕微鏡端末で
マクロ画像を取り込み、このマクロ画像を観察端末に送
信してしまい、観察端末でメュシュ分割の指定をするよ
うにしたことに特徴を有している。尚、本実施例の構成
は第１の実施例とほぼ同しである為、ここではその説明
を省略し、特徴のある動作についてのみ説明する。以
下、図５のフローチャートを参照して、第２の実施例に
係る顕微鏡遠隔観察システムの動作について詳細に説明
する。

【００２７】観察端末の観察者と顕微鏡端末の作業者と
が電話機８，１６により電話連絡を行いながらタイミン
グを計りシステムを立ち上げると、まず顕微鏡端末にお
いて、マクロ撮影スタンド２６がプレパラートのマクロ
画像を取り込み（ステップＳ２０１）、このマクロ画像
を情報処理装置９が通信モデム１３を介して観察端末の
情報処理装置１に送信する（ステップＳ２０２）。

【００２８】すると、観察端末では、この受信したマク
ロ画像に対して観察者、即ち病理専門医がメッシュ分割
の指定を行う（ステップＳ２０３，２０４）。このメッ
シュ分割の位置情報は顕微鏡端末の情報処理装置９に送
られ、該情報処理装置９が光学顕微鏡２０の電動Ｘ−Ｙ
ステージ１９及び対物レンズレボルバ１８に対して制御
信号を出力して所定位置及び所定倍率設定を行った後、
顕微鏡画像を取り込む（ステップＳ２０５，２０６）。
そして、メッシュの格子に対応する顕微鏡低倍率画像を
すべて取り込み終わったら、それら画像情報を観察端末
に送信する（ステップＳ２０７）。そして、観察端末
は、顕微鏡端末から送信された画像情報を受信し（ステ
ップＳ２０８）、観察端末の観察者はこの画像を遠隔観
察する（ステップＳ２０９，２１０）。この観察端末の
観察者の各種指示は、情報処理装置１が通信モデム５を
介して顕微鏡端末に制御コードとして送信することがで
きるので、観察者は所望とする顕微鏡画像を随時観察す
ることができる。以上の動作により所望とする顕微鏡画
像を観察し、全ての動作を終了する。

【００２９】このように、第２の実施例に係る顕微鏡遠
隔観察システムは、観察端末の観察者、即ち病理専門医
による初期診断に必要な画像をできるだけ手早く取り込
んで、送信することに着目してなされたものである。即
ち、第２の実施例によれば、顕微鏡端末で取り込んだマ
クロ画像をそのまま観察端末に送り、観察端末の病理専
門医が直接自分でメッシュをかける領域を指定すること
ができる。

【００３０】以上詳述したように、本発明の顕微鏡遠隔
観察システムでは、バイオジプシー標本やメッシュ分割
に適さない形の標本の遠隔観察の効率を向上することが
できる。さらに、病理遠隔観察の初期観察に当たり、病
理専門医が所望する部位の画像を正確に取り込めるよう
になり、その結果より、精度の高い病理遠隔観察ができ
る。

【００３１】

【発明の効果】本発明によれば、標本画像の遠隔観察に
おいて、主に初期観察画像における所望とする観察領域
の指定を高効率で行うことを可能とした顕微鏡遠隔観察
システムを提供することができる。

【図面の簡単な説明】

【図１】本発明の顕微鏡遠隔観察システムの構成を示す
図である。

【図２】本発明の第１の実施例に係る顕微鏡遠隔観察シ
ステムの動作を説明するためのフローチャートである。

【図３】モニタ２，１０に表示されたメニュー画面を様
子を示す図である。

【図４】ＴＶモニタ１５上に表示されたマクロ画像にフ
レームをかけた様子を示す図である。

【図５】本発明の第２の実施例に係る顕微鏡遠隔観察シ
ステムの動作を説明するためのフローチャートである。

【図６】従来の顕微鏡遠隔観察システムの動作を説明す
るためのフローチャートである。

【図７】従来の顕微鏡遠隔観察システムによりマクロ画
像をメッシュにより分割した様子を示す図である。

【図８】従来の顕微鏡遠隔観察システムにより細長い標
本のマクロ画像をメッシュにより分割した様子を示す図
である。

【図９】従来の顕微鏡遠隔観察システムによりバイオプ
シー標本が複数個並んだもののマクロ画像をメッシュに
より分割した様子を示す図である。

【符号の説明】

１，９…情報処理装置、２，１０…モニタ、３，１１…
キーボード、４，１２…ポインティング・デバイス、
５，１３…通信モデム、６，１４…フレームメモリ、
７，１５…ＴＶモニタ、８，１６…電話機、１７…ＴＶ
カメラ、１８…対物レンズレボルバ、１９…電動Ｘ−Ｙ
ステージ、２０…光学顕微鏡、２１…ビデオ信号切り替
え機、２２…ＴＶカメラ、２３…レンズ、２４…Ｘ−Ｙ
ステージ、２５…高周波光源装置、２６…マクロ撮影ス
タンド。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 笹崎 伸幸 東京都渋谷区幡ヶ谷１丁目２番８号 オ リンパスソフトウェア株式会社内 (56)参考文献 特開 昭61−156214（ＪＰ，Ａ) 特開 昭64−3560（ＪＰ，Ａ) 特開 昭64−20449（ＪＰ，Ａ) 特開 平５−111029（ＪＰ，Ａ) 特開 平４−194905（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G02B 19/00 - 21/00 G02B 21/06 - 21/36 G01N 33/48 H04N 7/18

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 少なくとも顕微鏡を含み、標本の画像を
   取り込む画像取り込み手段を有する顕微鏡端末と、 上記顕微鏡端末の画像取り込み手段で取り込んだ標本画
   像を表示する表示部を有する観察端末と、 上記表示部に表示された標本画像上に所望の顕微鏡倍率
   で観察する観察領域を指定して、この指定した箇所の画
   像を上記所望の顕微鏡倍率で取り込むよう上記顕微鏡を
   制御する制御手段と、 上記観察領域の指定情報と画像情報とを少なくともやり
   取りするために、上記顕微鏡端末と観察端末とに夫々設
   けた通信手段と、を具備し、 上記制御手段における前記観察領域の指定は、上記表示
   部に表示された標本画像上に表示される前記所望の顕微
   鏡倍率の視野に相当するフレームを用いた指定と、上記
   表示部に表示された標本画像上におけるメッシュ分割に
   よる指定とが選択できる ことを特徴とする顕微鏡遠隔観
   察システム。
2. 【請求項２】 少なくとも顕微鏡を含み、標本の画像を
   取り込む画像取り込み手段を有する顕微鏡端末と、 上記顕微鏡端末の画像取り込み手段で取り込んだ標本画
   像を表示する表示部を有する観察端末と、 上記表示部に表示された標本画像上に所望の顕微鏡倍率
   の視野に相当するフレームを指定し、フレーム情報に基
   づいて標本画像上に指定した箇所の画像を前記所望の顕
   微鏡倍率で取り込むよう上記顕微鏡を制御する制御手段
   と、 上記フレーム情報と画像情報とを少なくともやり取りす
   るために、上記顕微鏡端末と観察端末とに夫々設けた通
   信手段と、 を具備し、 上記指定したフレームを自由に移動でき、所望の位置に
   固定できるようにしたことを特徴とする顕微鏡遠隔観察
   システム。