JP3226336B2 - 画像遠隔観察システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、顕微鏡遠隔観察、とり
わけ医療分野における遠隔病理診断を可能にする画像遠
隔観察システムに関する。

【０００２】

【従来の技術】従来、医療分野において、顕微鏡を用い
た病理診断は必須の診断項目とされているが、現状は病
理学者が大幅に不足しており、病理専門医が不在の病院
も多数存在する。そして、このような病院では、例えば
大学医学部等から定期的に病理専門医が派遣され、診断
が行われている。しかし、大学と言えども病理専門医に
は限りがあり、全ての病院が病理診断の恩恵を受けてい
るわけではない。

【０００３】そこで、このような現状を改善するため
に、１９８０年代から「テレパソロジー」、即ち、遠隔
病理診断の構想が医師、メーカーなどから提案されるよ
うになった。これは、遠隔地の病院から大学等に顕微鏡
画像を伝送し、該顕微鏡画像を基に大学の病理専門医が
診断を行うというものである。ここで、上記テレパソロ
ジーシステムは、リアルタイムの顕微鏡動画像を扱うタ
イプと静止画像を扱うタイプの２つに分けることができ
る。

【０００４】まず、顕微鏡動画像を扱うタイプでは、顕
微鏡の操作を全て遠隔地の観察者がリモートコントロー
ルにより制御するか、あるいはオートフォーカスやオー
トアイリス機能を備えた顕微鏡を使用している。例え
ば、特開昭６４−２０４４９号公報では、顕微鏡動画像
を扱うタイプとして「遠隔病理診断回路網」に関する技
術が開示されている。

【０００５】このシステムは、双方向性の通信手段によ
って接続された病理医が操作するためのワークステーシ
ョンと、該ワークステーションからの命令を受信し、そ
れに従って作動するＴＶカメラ手段を備えたロボット顕
微鏡とにより構成されており、顕微鏡画像は上記ＴＶカ
メラ手段によって撮影され、上記通信手段を介して病理
学者のワークステーションに送られ、表示されることを
特徴としている。

【０００６】また、この「遠隔病理診断回路網」の改良
例として、ハイビジョンの動画像を光ファイバケーブ
ル、あるいは衛星通信によって遠隔地に伝送する技術も
提案されている。

【０００７】一方、顕微鏡静止画像を伝送するシステム
としては、顕微鏡側の作業者が診断あるいは相談に必要
と思われる部位の静止画像を取り込み、アナログデジタ
ル公衆回線によって病理専門医の端末に伝送するシステ
ム（「病理画像伝送研究会（第１回）記録」、病理画像
伝送研究会）や、通信回線としてＩＳＤＮ（ＮＴＴ；Ｉ
ＮＳネット６４）を用いることで、静止画像上に表示さ
れるポインタと音声（電話）により、顕微鏡側の作業者
に指示を与えるシステム等が提案されている。

【０００８】

【発明が解決しようとする課題】しかしながら、上記テ
レパソロジーシステムの顕微鏡動画像を扱うタイプにお
いて、リアルタイム動画を扱える通信手段としては、衛
生通信や専用の光ケーブルしかなく、一般病院がこのよ
うな通信設備を購入・維持していくことは経済的にも技
術的にも殆ど不可能である。

【０００９】一方、静止画像を用いるタイプでは、アナ
ログ又はデジタル公衆回線が用いられる為、一般病院で
も十分に導入可能であるが、静止画像であるため遠隔地
の観察者が顕微鏡をリモコン操作することは困難であ
り、顕微鏡側にも作業者が付いて顕微鏡を操作する必要
がある。

【００１０】そして、顕微鏡側の作業者が診断に重要と
判断される領域の画像を取り込み、観察者に伝送すると
いう方法した場合には、観察者が本当に観たい領域を顕
微鏡側の作業者に指示することが困難となる。本発明
は、上記問題に鑑みてなされたもので、その目的とする
所は、静止画像による効率の良い経済的な顕微鏡遠隔観
察を可能とすることにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様では、顕微鏡を用いて観察画像
を取り込むための画像取込手段と、該画像取込手段で取
り込んだ観察画像の操作及び少なくとも前記顕微鏡を制
御するシステムの操作を行うための第１の入力手段と、
少なくともシステムの状態と操作メニューを表示する第
１の表示手段と、を有する顕微鏡端末と、上記顕微鏡端
末からの観察画像の操作及びシステムの操作を行うため
の第２の入力手段と、少なくともシステムの状態と操作
メニューを表示する第２の表示手段と、を有する観察端
末と、上記顕微鏡端末と上記観察端末とに各々設けら
れ、上記顕微鏡端末と上記観察端末との双方向での通信
を可能にする通信手段と、上記顕微鏡端末の第１の入力
手段と上記観察端末の第２の入力手段との操作権利を切
り替える切り替え手段と、を備えたことを特徴とする画
像遠隔観察システムが提供される。第２の態様では、上
記第１の態様において、前記切り替え手段により切り替
えられた操作権利に応じて、操作権利を有する端末の観
察画像の操作及びシステムの操作と同一の操作及び操作
状況の表示を他方の端末において実行する手段を備えた
ことを特徴とする画像遠隔観察システムが提供される。
第３の態様では、顕微鏡を用いて観察画像を取り込むた
めの画像取込手段と、該画像取込手段で取り込んだ観察
画像の操作及び少なくとも前記顕微鏡を制御するシステ
ムの操作を行うための第１の入力手段と、少なくともシ
ステムの状態と操作メニューを表示する第１の表示手段
と、を有する顕微鏡端末と、上記顕微鏡端末からの観察
画像の操作及びシステムの操作を行うための第２の入力
手段と、少なくともシステムの状態と操作メニューを表
示する第２の表示手段と、を有する観察端末と、上記顕
微鏡端末と上記観察端末とに各々設けられ、上記顕微鏡
端末と上記観察端末との双方向での通信を可能にする通
信手段と、上記観察端末の観察画像の操作及びシステム
の操作と同一の操作及び操作状況の表示を上記顕微鏡端
末において実行する手段と、を備えたことを特徴とする
画像遠隔観察システムが提供される。

【００１２】

【作用】上記目的を達成するために、本発明の第１の態
様では、顕微鏡端末において、画像取込手段により顕微
鏡を用いて観察画像が取り込まれ、第１の入力手段によ
り該画像取込手段で取り込んだ観察画像の操作及び少な
くとも前記顕微鏡を制御するシステムの操作が行われ、
第１の表示手段により少なくともシステムの状態と操作
メニューが表示される。観察端末において、第２の入力
手段により上記顕微鏡端末からの観察画像の操作及びシ
ステムの操作が行われ、第２の表示手段により少なくと
もシステムの状態と操作メニューが表示される。上記顕
微鏡端末と上記観察端末とに各々設けられた通信手段に
より、上記顕微鏡端末と上記観察端末との双方向での通
信が実現され、切り替え手段により上記顕微鏡端末の第
１の入力手段と上記観察端末の第２の入力手段との操作
権利が切り替えられる。第２の態様では、上記第１の態
様において、前記切り替え手段により切り替えられた操
作権利に応じて、操作権利を有する端末の観察画像の操
作及びシステムの操作と同一の操作及び操作状況の表示
が他方の端末において実行される。第３の態様では、顕
微鏡端末において、画像取込手段により顕微鏡を用いて
観察画像が取り込まれ、第１の入力手段により該画像取
込手段で取り込んだ観察画像の操作及び少なくとも前記
顕微鏡を制御するシステムの操作が行われ、第１の表示
手段により少なくともシステムの状態と操作メニューが
表示される。観察端末において、第２の入力手段により
上記顕微鏡端末からの観察画像の操作及びシステムの操
作が行われ、第２の表示手段により少なくともシステム
の状態と操作メニューが表示される。特に、上記顕微鏡
端末と上記観察端末とに各々設けられた通信手段によ
り、上記顕微鏡端末と上記観察端末との双方向での通信
が実現され、上記観察端末の観察画像の操作及びシステ
ムの操作と同一の操作及び操作状況の表示を上記顕微鏡
端末において実行される。

【００１３】また、本発明の画像遠隔観察システムで
は、被観察端末において、第１の入力手段により画像取
込手段で取り込んだ観察画像の操作及びシステムの操作
を行う。次いで、被観察端末は、通信手段により通信可
能に観察端末に接続されているので、被観察端末から観
察端末へ観察画像が伝送される。観察端末に被観察端末
からの観察画像が伝送されると、第２の入力手段による
観察端末の観察画像の操作及びシステムの操作と同一の
操作が上記被観察端末において実行される。

【００１４】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。

【００１５】図１は、本発明の一実施例に係る画像遠隔
観察システムのブロック図である。同図に示すように、
本システムは大きく別けて顕微鏡端末装置１００と観察
端末装置１０１とで構成されている。

【００１６】まず、顕微鏡端末装置１００には、全体の
制御を行うための情報処理装置１ａが設けられており、
該情報処理装置１ａには、モニタ２ａ、キーボード３
ａ、マウス４ａ、フレームメモリ５ａ、電動Ｘ−Ｙステ
ージ９、電動対物レンズレボルバ１０、通信制御部１７
ａがそれぞれ接続されている。さらに、フレームメモリ
５ａにはＴＶモニタ６ａ、ビデオ信号切り替え器７が接
続されており、該ビデオ信号切り替え器７は顕微鏡８に
配設されたＴＶカメラ１１と、ＴＶカメタ１２に接続さ
れている。このＴＶカメラ１２は、マクロレンズ１３を
備えておりＸ−Ｙステージ１４と光源１５を備えたスタ
ンド１６に設置されている。

【００１７】一方、観察端末装置１０１には、観察端末
装置１０１全体の制御を行うための情報処理部１ｂが設
けられている。そして、この情報処理部１ｂにはモニタ
２ｂ、キーボード３ｂ、マウス４ｂ、フレームメモリ５
ｂ、通信制御部１７ｂがそれぞれ接続されており、該フ
レームメモリ５ｂはＴＶモニタ６ｂに接続されている。

【００１８】そして、通信制御部１７ａ，１７ｂはデジ
タル公衆回線１９により接続されており、更に電話機１
８ａ，１８ｂは電話回線２０により接続されている。
尚、上記通信制御部１７ａ，１７ｂとしてコンピュータ
のディジタル信号を搬送波に変えて通信回線にのせる変
調器であるモデムを使用する場合には、通信回線である
上記デジタル公衆回線１９は電話回線等で代用すること
ができる。

【００１９】このような構成において、上記情報処理装
置１ａ、１ｂは、各端末装置全体の制御を行い、モニタ
２ａ、２ｂは、システムの操作を行う観察者に対するシ
ステムの状態や操作メニュー等を表示する。

【００２０】そして、フレームメモリ５ａ，５ｂは、Ｎ
ＴＳＣ方式のテレビジョン（ＴＶ）信号をデジタル変換
しデジタル画像情報を作り出し、ＴＶモニタ６ａ，６ｂ
は、ビデオ信号切り替え器７により切り替えられたＴＶ
カメラ１１、１２のいずれかにより撮影された観察画像
を表示する。

【００２１】そして、操作者と観察者は、電話機１８
ａ，１８ｂにより電話回線２０を介して通話することが
できる。 さらに、マウス４ａ，４ｂにより、メニューの
選択や画像領域の指定を行うことができ、その内容等
は、通信制御部１７ａ，１７ｂによりデジタル公衆回線
１９を介して通信される。

【００２２】まず、顕微鏡端末装置１００において、マ
ウスバッファを“オン”し（ステップＳ１０１）、プレ
パラートのマクロ画像を取り込み（ステップＳ１０
２）、それをブロック化して（ステップＳ１０３）、各
ブロックに対応する顕微鏡画像を取り込む（ステップＳ
１０４）。

【００２３】そして、観察端末装置１０１では、この間
にシステムの立ち上げを終わらせておく。尚、この立ち
上げタイミングは両端末間で電話連絡を行いながら計る
ようにする（ステップＳ２０１）。

【００２４】次に、顕微鏡端末装置１００から観察端末
装置１０１を呼び出し（ステップＳ１０５）、回線接続
と同時にマクロ画像及び顕微鏡画像を伝送する（ステッ
プＳ１０６）。そして、この伝送が終わると、顕微鏡端
末装置１００では、メニューの制御をマウスバッファ５
３ａから受信バッファ５６ａに切り替える（ステップＳ
１０７）。

【００２５】こうして、観察端末装置１０１では、回路
接続されると（ステップＳ２０２）、受信した画像ファ
イルを保存した後（ステップＳ２０３）、マウスバッフ
ァ５３ｂを“オン”する（ステップＳ２０４）。これに
よって、観察端末装置１０１において様々な操作を行う
と、それに従って顕微鏡端末装置１００も同様の動きを
行うようになる。

【００２６】次に、観察端末装置１０１では画像の選
択、表示を行い、マウスバッファ５３ｂの内容を送信バ
ッファ５５ｂを介して顕微鏡端末装置１００に送信する
（ステップＳ２０５）。すると、顕微鏡端末装置１００
では、受信バッファ５６ａが受信した内容に従って画像
の選択・表示を行うようになる（ステップＳ１０８）。
続いて、観察端末装置１０１では、表示画像上に更に高
倍率で観察したい領域と倍率、画像圧縮率を指定し、マ
ウスバッファ５３ｂの内容を送信バッファ５５ｂを介し
て顕微鏡端末装置１００に送信する（ステップＳ２０
６）。すると、顕微鏡端末装置１００では、受信バッフ
ァ５６ａが受信した内容に従って観察領域、倍率の指定
を行うようになる（ステップＳ１０９）。

【００２７】こうして、観察端末装置１０１では指定を
終了したか否かを判定し、指定を終了しない場合にはス
テップＳ２０６に戻り、指定を終了する場合には次のス
テップＳ２０８に進む（ステップＳ２０７）。

【００２８】そして、観察端末装置１０１では画像取り
込み命令を選択し、マウスバッファ５３ｂの内容を送信
バッファ５５ｂを介して顕微鏡端末装置１００に送信し
た後（ステップＳ２０８）、マウスバッファ５３ｂを
“オフ”し、受信バッファ５６ｂを“オン”する（ステ
ップＳ２０９）。

【００２９】そして、顕微鏡端末装置１００では、受信
バッファ５６ａが受信した内容に従って画像取り込みを
選択した後（ステップＳ１１０）、受信バッファ５６ａ
を“オフ”し、マウスバッファ５３ａを“オン”する
（ステップＳ２１１）。そして、指定された位置へステ
ージを移動し（ステップＳ１１２）、指定された倍率に
変更し（ステップＳ１１３）、ピント、絞りの調節を行
い（ステップＳ１１４）、画像取り込み選択を行い、マ
ウスバッファ５３ａの内容を送信バッファ５５ａを介し
て観察端末装置１０１に送信する（ステップＳ１１
５）。

【００３０】さらに、顕微鏡端末装置１００では、全て
の画像を取り込んだか否かを判定し（ステップＳ１１
６）、取り込んでいない場合にはステップＳ１１２に戻
り、取り込んだ場合には、次のステップＳ１１７に進
み、画像ファイルを伝送した後、マウスバッファ５３ａ
を“オフ”し、受信バッファ５６ａを“オン”する（ス
テップＳ１１８）。

【００３１】そして、観察端末装置１０１では、受信バ
ッファ５６ｂが受信した内容に従ってマウスポインタ５
７ｂを作動させ（ステップＳ２１０）、画像ファイルを
受信し、保存した後（ステップＳ２１１）、受信バッフ
ァ５６ｂを“オフ”し、マウスバッファ５３ｂを“オ
ン”する（ステップＳ２１２）。そして、受信画像の観
察を行い、マウスバッファ５３ｂの内容を送信バッファ
５５ｂを介して顕微鏡端末装置１００に送信する（ステ
ップＳ２１３）。すると、顕微鏡端末装置１００では、
受信バッファ５６ａが受信した内容に基づいてマウスポ
インタ５７ａを制御する（ステップＳ１１９）。

【００３２】さらに、観察端末装置１０１では観察画像
を診断し、結論が出た場合にはステップＳ２１５に進
み、結論が出ない場合にはステップＳ２０５に戻り、上
記動作を繰り返す（ステップＳ２１４）。ステップＳ２
１５では、観察端末装置１０１は顕微鏡端末装置１００
に終了コードを送信し、全ての動作を終了する（ステッ
プＳ２１５）。そして、顕微鏡端末装置１００では、観
察端末装置１０１からの終了コードを受信し（ステップ
Ｓ１２０）、全ての動作を終了する（ステップＳ１２
１）。

【００３３】以上説明したように、本実施例の画像遠隔
観察システムでは、顕微鏡端末装置１００におけるメニ
ュー画面の操作は、マウスポインタ５７ａによって行わ
れるが、これは通常、マウス５４ａからマスウバッファ
５３ａに送られるデータをＣＰＵ５２ａが判断して制御
する。

【００３４】しかし、マウスバッファ５３ａを受信バッ
ファ５６ａに切り替えても、その中身がマウスポインタ
の制御に関わるものであればシステムは矛盾なく作動す
る。そこで、観察端末装置１０１おいて、マウスバッフ
ァ５３ｂの内容をそのまま送信バッファ５５ｂを介して
顕微鏡端末装置１００の受信バッファ５６ａに送れば、
顕微鏡端末装置１００のマウスポインタ５７ａを観察端
末装置１０１のマウスポインタ５７ｂと全く同じように
制御させることができる。

【００３５】さらに、マウスポインタ５７ａ，５７ｂの
制御ができればメニュー画面５１ａ，５１ｂの制御もで
き、これにより両端末で同時に画像を表示させたり、同
じ処理を行わせたりすることが可能になる。

【００３６】同様に、顕微鏡端末装置１００におけるメ
ニュー操作を観察端末装置１０１においてトレースさせ
ることも可能である。但し、マウスバッファ５３ａ，５
３ｂがオフ状態になっている端末では、作業者は自から
メニュー画面５１ａ，５１ｂの制御を行う事はできな
い。以上詳述したように、本発明の画像遠隔観察システ
ムでは、顕微鏡静止画像を用いることで、経済的、技術
的問題を解決した。

【００３７】そして、顕微鏡端末装置１００、観察端末
装置１０１の両端末に全く同じメニュー画面を持たせ、
一方の端末でメニューを操作・選択することにより、他
方の端末でも全く同様にメニューが操作・選択されるよ
うにすることで、両端末間での意思疎通を可能とした。

【００３８】さらに、病理診断の手順に基づいたメニュ
ーを採用し、観察側と顕微鏡側でメニュー操作の権利が
切り替わるようにすることで、効率のよい遠隔観察を実
現した。

【００３９】

【発明の効果】本発明によれば、効率の良い経済的な静
止画像による顕微鏡遠隔観察が可能な画像遠隔観察シス
テムを提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像遠隔観察システム
の構成を示す図である。

【図２】実施例の動作を示すフローチャートである。

【図３】実施例の動作を示すフローチャートである。

【図４】実施例の動作を示すフローチャートである。

【図５】実施例に係る画像遠隔観察システムの詳細な構
成を示す図である。

【符号の説明】

１…モニタ、２…情報処理装置、３…キーボード、４…
マウス、５…フレームメモリ、６…ＴＶモニタ、７…ビ
デオ信号切り替え器、８…顕微鏡、９…電動Ｘ−Ｙステ
ージ、１０…電動対物レンズレボルバ、１１，１２…Ｔ
Ｖカメラ、１３…マクロレンズ、１４…Ｘ−Ｙステー
ジ、１５…光源、１６…顕微鏡スタンド、１７…通信制
御部、１８…電話機、１９…デジタル公衆回線、２０…
電話回線。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−20449（ＪＰ，Ａ) 特開 平５−111029（ＪＰ，Ａ) 特開 昭62−192（ＪＰ，Ａ) 特開 昭60−48011（ＪＰ，Ａ) 特開 平２−195936（ＪＰ，Ａ) 病理画像伝送研究会（第１回）記録 平成３年11月 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G02B 19/00 - 21/00 G02B 21/06 - 21/36 H04N 7/14 H04N 7/18

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 顕微鏡を用いて観察画像を取り込むため
   の画像取込手段と、該画像取込手段で取り込んだ観察画
   像の操作及び少なくとも前記顕微鏡を制御するシステム
   の操作を行うための第１の入力手段と、少なくともシス
   テムの状態と操作メニューを表示する第１の表示手段
   と、を有する顕微鏡端末と、 上記顕微鏡端末からの観察画像の操作及びシステムの操
   作を行うための第２の入力手段と、少なくともシステム
   の状態と操作メニューを表示する第２の表示手段と、を
   有する観察端末と、 上記顕微鏡端末と上記観察端末とに各々設けられ、上記
   顕微鏡端末と上記観察端末との双方向での通信を可能に
   する通信手段と、 上記顕微鏡端末の第１の入力手段と上記観察端末の第２
   の入力手段との操作権利を切り替える切り替え手段と、 を備えたことを特徴とする画像遠隔観察システム。
2. 【請求項２】 前記切り替え手段により切り替えられた
   操作権利に応じて、操作権利を有する端末の観察画像の
   操作及びシステムの操作と同一の操作及び操作状況の表
   示を他方の端末において実行する手段を備えたことを特
   徴とする請求項１に記載の画像遠隔観察システム。
3. 【請求項３】 顕微鏡を用いて観察画像を取り込むため
   の画像取込手段と、該画像取込手段で取り込んだ観察画
   像の操作及び少なくとも前記顕微鏡を制御するシステム
   の操作を行うための第１の入力手段と、少なくともシス
   テムの状態と操作メニューを表示する第１の表示手段
   と、を有する顕微鏡端末と、 上記顕微鏡端末からの観察画像の操作及びシステムの操
   作を行うための第２の入力手段と、少なくともシステム
   の状態と操作メニューを表示する第２の表示手段と、を
   有する観察端末と、 上記顕微鏡端末と上記観察端末とに各々設けられ、上記
   顕微鏡端末と上記観察端末との双方向での通信を可能に
   する通信手段と、 上記観察端末の観察画像の操作及びシステムの操作と同
   一の操作及び操作状況の表示を上記顕微鏡端末において
   実行する手段と、 を備えたことを特徴とする画像遠隔観察システム。