JP3698737B2 - 顕微鏡遠隔観察システム及び遠隔観察方法 - Google Patents
顕微鏡遠隔観察システム及び遠隔観察方法 Download PDFInfo
- Publication number
- JP3698737B2 JP3698737B2 JP03563993A JP3563993A JP3698737B2 JP 3698737 B2 JP3698737 B2 JP 3698737B2 JP 03563993 A JP03563993 A JP 03563993A JP 3563993 A JP3563993 A JP 3563993A JP 3698737 B2 JP3698737 B2 JP 3698737B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- observation
- microscope
- partial
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
Description
【０００１】
本発明は、主として医療・生物系の顕微鏡観察に利用されるシステムに係り、特に病理分野での観察やテレパソロジー、テレコンサルテーション等の遠隔病理診断を高効率で行う顕微鏡遠隔観察システム及び観察画像管理方法に関する。
【０００２】
【従来の技術】
従来、例えば医療分野においては、顕微鏡を用いた病理診断が必須の診断項目とされている。そして、遠隔地の病院から大学等に顕微鏡画像を伝送し、該顕微鏡画像を基に大学の病理専門医が診断を行うためのシステムも提案されている。
このようなシステムは、主としてリアルタイムの顕微鏡動画像を扱うシステムと静止画像を扱うシステムとの２つに大別される。
【０００３】
例えば、この静止画像を扱うシステムには、顕微鏡静止画像を親子関係によって取り込み、保存や管理をするシステムがある。このシステムは、低倍率の対物レンズで取り込んだ画像上で高倍率のレンズで観察したい領域を指定し、その領域の画像を拡大して取り込むものである。そして、この低倍率の画像は親画像、高倍率の画像は子画像と称される。このように、このシステムは観察経過を構造的に残すことができデータ量も少ないので一般的な通信回線でも実現することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述したリアルタイムの顕微鏡動画像を扱うシステムでは、動画は静止画に比べて情報量が多いため、画像を伝送する通信回線が高価なものになってしまう。即ち、現状においては衛星や光ファイバを利用する以外に手段がないため実用的ではない。さらに、観察経過における診断記録を全てファイリングして検索し、再生することは通信回線やディスク容量、処理能力等の理由で実用的ではない。そして、一度取り込んだ画像は取り込んだ後から焦点を調節できないという問題もある。特に、細胞診断においては焦点をずらしながら顕微鏡を覗き診断を下すということがよくあるが、このようなスタンドアローンの顕微鏡での手法により観察ができないことも従来のシステムの問題点である。
【０００５】
一方、前述した静止画像を扱うシステムでは、静止画を転送する場合に一度取り込み転送してしまった画像は、後から焦点を調整し直すことができないといった問題がある。また、特に細胞診においては、標本自体にある程度の厚みがあるため、焦点の合う位置は必ずしも１ケ所とは限らない。このような場合に、通常の顕微鏡観察のように、ある対象の焦点をずらしながら観察するような使い方ができないことも問題となっている。
【０００６】
本発明は上記問題に鑑みてなされたもので、その目的とするところは、遠隔地において顕微鏡画像における所望とする対象の焦点位置を変えた画像の観察を可能とし、更には操作性、データ取り込み・圧縮効率を向上させる顕微鏡遠隔観察システム及び観察画像管理方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の顕微鏡遠隔観察システムでは、標本の観察画像を取り込む手段と、取り込んだ画像を保存する手段と、観察画像の焦点位置を変化させる手段と、観察画像を送信する手段を備えた顕微鏡端末と、この顕微鏡端末から送信される画像を受信し表示する観察端末とを備えた顕微鏡遠隔観察システムであって、前記顕微鏡端末は、取り込んだ第１の観察画像に対してその画像の一部分の領域を指定する手段と、前記指定した領域について前記第１の観察画像とは焦点位置を異ならせた同一倍率の標本画像を取り込んで第２の観察画像として保存する部分画像取得手段とを備え、前記観察端末は、前記第１および第２の観察画像を受信して、第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示することを特徴とする。
また、前記観察端末は、前記第１の観察画像にはめ込んで表示する画像を焦点位置の異なる複数の第２の観察画像の中から選択する選択手段を備えることを特徴とする。
また、前記指定する手段は前記第１の観察画像の互いに異なる複数の部分領域を指定可能であり、前記部分画像取得手段は指定された複数の部分領域に対してそれぞれ前記第２の観察画像を取得し、前記選択手段は、前記第１の観察画像にはめ込んで表示する画像を前記複数の部分領域ごとに独立して選択可能であることを特徴とする。
本発明の顕微鏡画像の遠隔観察方法は、厚みのある標本の顕微鏡画像を観察端末において遠隔観察する方法であって、前記標本の第１の観察画像を取り込んでその画像の一部分の領域を指定し、前記第１の観察画像と、前記指定された領域について同一の倍率で焦点位置を異ならせて取り込まれ保存された第２の観察画像とを受信し、前記第１の観察画像を表示手段に表示するとともに、前記指定された領域に対して第１の観察画像とは焦点位置の異なる前記第２の観察画像をはめ込んで表示することを特徴とする。
また、前記第１の観察画像にはめ込んで表示する画像を焦点位置が異なる複数の第２の観察画像の中から選択するステップを有することを特徴とする。
また、前記第１の観察画像の互いに異なる複数の部分領域に対してそれぞれ保存された前記第２の画像を受信するとともに、前記選択するステップでは、前記第１の観察画像にはめ込んで表示する画像を、前記複数の部分領域ごとに独立して選択可能にしたことを特徴とする。
【０００８】
【作用】
本発明の顕微鏡遠隔観察システムでは、標本の観察画像を取り込む手段によって取り込んだ第１の観察画像に対して、部分領域を指定する手段によりその画像の一部領域を指定すると、部分画像取得手段により、指定した領域について前記第１の観察画像とは焦点位置を異ならせた同一倍率の標本画像を取り込んで第２の観察画像として保存する。観察端末では、第１の観察画像を表示するとともに、これとは焦点位置の異なる第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示するので、第１の観察画像を観察しながら、所定の注目領域についてフォーカスの異なる第２の観察画像を同時に観察可能になる。
本発明の顕微鏡画像の遠隔観察方法では、厚みのある標本の第１の観察画像を取り込んでその画像の一部分の領域を指定し、第１の観察画像と指定された領域について同一の倍率で焦点位置を異ならせて取り込まれ保存された第２の観察画像とを受信して、第１の観察画像を表示手段に表示するとともに、これとは焦点位置の異なる第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示するので、第１の観察画像を観察しながら、所定の注目領域についてフォーカスの異なる第２の観察画像を同時に観察可能になる。
【０００９】
【実施例】
以下、図面を参照して、本発明の実施例について説明する。
図１は本発明の第１の実施例に係る顕微鏡遠隔観察システムの構成を示すブロック図である。
【００１０】
図１（ａ）に示すように、本実施例に係る顕微鏡遠隔観察システムは、実際に顕微鏡を操作して画像を取り込む依頼側端末１００と、この依頼側端末１００より通信回線１１を介して送信された画像データに基づき所望とする顕微鏡画像を観察する観察側端末１０１とで構成されている。そして、この依頼側端末１００はパソコン部１２と顕微鏡部１３と会議用電話機１０で構成されており、上記観察側端末１０１はパソコン部１２´と会議用電話機１０´とで構成されている。さらに、上記依頼側端末１００は、詳細には図１（ｂ）に示すような構成となっている。即ち、上記パソコン部１２は全体を制御するパーソナルコンピュータ１とＣＲＴディスプレイ２、ポインティングデバイスであるマウス３、入力機器であるキーボード４、フレームメモリ５、ＴＶモニタ６とで構成されている。
【００１１】
そして、上記顕微鏡部１３はカメラコントロールユニット(CCU;Camera Control Unit) ７と顕微鏡８、ＴＶカメラ９とで構成されている。さらに、上記会議用電話機１０は受話機を持たずに会話ができるもので、通信回線１１を介して観察側端末１０１における会議用電話機１０´に接続されている。尚、上記観察側端末１０１におけるパソコン部１２´は、上記依頼側端末１００におけるパソコン部１２と同一構成であるので、ここでは説明を省略する。
【００１２】
このような構成において、上記依頼側端末１００における顕微鏡８はパーソナルコンピュータ１によって制御され、そのステージ１５のｘ，ｙ，ｚ方向への移動が指示される。そして、画像データは顕微鏡８に取り付けられたカメラ９により取り込まれ、ファイルとして記録するときには圧縮される。さらに、顕微鏡画像の遠隔観察の際には、このカメラ９により取り込まれた画像データは通信回線１１を介して観察側端末１０１へと転送される。
【００１３】
そして、第１の実施例に係る顕微鏡遠隔観察システムは、ｘ，ｙ座標、対物レンズ１４の倍率及び親画像によって決定される一つの対象に対して、焦点を変えた複数の顕微鏡拡大画像を取り込むことを可能とした事に特徴を有している。
次に、図２を参照して顕微鏡画像間の親子関係について説明する。
【００１４】
図２（ａ）に示すように、本実施例では、画像はｘ，ｙ平面上での対物レンズ１４の切り替えによる拡大・縮小の関係である親子関係により全て管理されており、更には同一の対物レンズ１４でとらえた同一座標の画像をステージ１５の光軸方向であるｚ方向に操作して複数枚の静止画として取り込み親子関係と共に管理している。例えば、図２（ａ）に示す画像１〜５は、図２（ｂ）に示す焦点位置１〜５をずらして同一対象を取り込んだ画像である。このように、焦点位置をずらした顕微鏡画像を比較することにより、遠隔地にいても自ら顕微鏡を操作し観察するときと同等の顕微鏡画像の観察が可能となる。
以下、図３のフローチャートを参照して、第１の実施例による画像取り込みの動作について詳細に説明する。
【００１５】
先ず、ステップＳ１０１ではマウス３やキーボード４などにより画像の属性を設定し、パーソナルコンピュータ１に入力する。この属性値としてはステージ１５のｘ，ｙ座標、対物レンズ１４の倍率及び親画像があるが、本実施例では、これらデータが等しい画像を同一対象に対する画像として一つにまとめて取り扱う。
【００１６】
続いて、ステップＳ１０２では顕微鏡８のステージ１５をｚ方向に動かすことでピント合わせを行う。この操作はオートフォーカスの顕微鏡であれば全自動で行う事ができる。さらに、ステップＳ１０３ではＴＶカメラ９により顕微鏡画像の取り込みを行う。
【００１７】
そして、ステップＳ１０４では移動後のステージ１５のｚ座標を取得する。このｚ座標の違いによって、同一対象の複数画像を区別する。尚、このデータはステップＳ１０１で入力した他の属性値とまとめてパーソナルコンピュータ１に記録される。
【００１８】
次に、ステップＳ１０５では画像の取り込み、圧縮を行う。ここで、フレームメモリ５上に記録されている画像データは図示しない画像圧縮伸長装置によってデータ圧縮され、この圧縮データがファイルとして記録される。
【００１９】
続いて、ステップＳ１０６では画像の取り込みを終了するか否かを確認し、終了するならばループを抜け、終了せずに画像を取り込むならばステップＳ１０７でステージ１５のｚ座標を調節する。この調節は手動でも自動でもよい。
【００２０】
そして、ステップＳ１０８では、取り込んだ画像を取り込まれた順序に関わらずｚ座標によって高さ順にソートする。このとき、ステージ１５が設置台から離れている方、即ち対物レンズ１４に近い方が上である。このソートにより、画像をまとめて見るとあたかもステージ１５を上から下へと動かしたように見えるのである。尚、この上下は反対方向でもよいことは勿論である。
こうして、ステップＳ１０９で全ての取り込みを終了する。そして、取り込み終了後は通信観察中であれば観察側端末に画像を転送する。
【００２１】
以上のようにして取り込んだ画像は、親子関係を利用して表示・観察することができる。即ち、図４に示すように、同一対象に関する画像が複数枚ある場合は画像の横にスクロールバー１９が表示され、このスクロールバー１９のアイコン２０，２２をマウス３でクリックすることでアイコン２１を上下し、表示される画像を１フレームずつｚ座標値が高いもの、低いものへと変える。
【００２２】
このアイコン２１はｚ方向の値でソートされた画像の中で表示中の画像がどの位置にあるかを示すもので、該アイコン２１を動かすことによって表示画像を変えることもできる。そして、これらアイコン２１の操作で実際の高さ順に画像が表示される。つまり、アイコン２１を上へ動かせば上の画像が見え、下に動かせば下の画像が見えるようになる。
尚、画像間の関係の概念図は先に図２に示した通りで、そのツリー構造図は図５に示す通りであり、全ての画像は標本単位の親子関係の中に属している。
【００２３】
そして、同一対象に対する画像はｚ座標値以外の全ての属性が同じなので、一つにまとめて取り扱われる。また、ｚ座標値によってソートされているので、高さ順に並んでいる。この画像同士はシーケンシャルあるいはランダムに呼び出し合うことができる。そして、同一対象に対する画像は、親子関係という観点からは全て同じに扱われる。即ち、この複数画像中のどの画像からでも同一の親画像或いは子画像を呼び出して表示することができる。
【００２４】
さらに、一般的な親子関係は、画像の大きさ、即ち対物レンズ１４の倍率とステージ１５上での座標位置（ｘ，ｙ）による画像の関係であったが、この親子関係にｚ座標の関係を加えたのが同一対象に対する複数画像という関係である。
【００２５】
以上説明したように、第１の実施例に係る顕微鏡画像観察システムでは、同一対象に対して焦点をずらした複数の画像を取り込んで比較することができ、更には、それらを一つにまとめて管理することで、顕微鏡画像の遠隔観察をより高効率のものとしている。
次に、本発明の第２の実施例について説明する。
【００２６】
前述した第１の実施例では、画像を取り込むときのステージ１５のｚ座標を画像毎に独自に設定していた。これに対して、第２の実施例では、取り込み枚数と各画像間の間隔とを初めに設定し、顕微鏡８のステージ１５を制御することによって数フレーム〜十数フレームの画像を連続的に取り込むことを可能にする。また、その再生を高速で実行すれば動画的な再生も可能となる。尚、第２の実施例の構成は先に図１に示した第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図６のフローチャートを参照して、第２の実施例による画像取り込みの動作について説明する。
【００２７】
ステップＳ２０１では画像の属性をマウス３、キーボード４により設定し、パーソナルコンピュータ１に入力する。この属性値としては第１の実施例と同様にｘ，ｙ座標、対物レンズ１４の倍率及び親画像があるが、本実施例ではこれらに加えてフレーム間ピッチｐと取り込み枚数ｎを設定する。このｐとｎが画像の連続取り込みのパラメータとなる。
【００２８】
続いて、ステップＳ２０２ではステージ１５を顕微鏡８のオートフォーカス機能によってｚ方向に動かしてピントを合わせる。更に、ステップＳ２０３では、このときの値を得る。この焦点位置Ｚ0 を連続取り込みの中央の座標とする。
そして、ステップＳ２０４ではｚ座標を取り込み範囲の最大値まで移動する。
このときの最大値、最小値は次式で示される。
Ｚ＝Ｚ0 ＋１／２×（ｎ−１）ｐ
Ｚ＝Ｚ0 −１／２×（ｎ−１）ｐ
【００２９】
そして、ステップＳ２０５のループで画像取り込みをｎ枚連続して行い、ステップＳ２０６では、移動後のステージ１５のｚ座標を取得する。このｚ座標の違いによって同一対象の複数画像を区別する。そして、このデータはステップＳ２１１で入力した他の属性値とまとめて記録される。さらに、ステップＳ２０７では画像の取り込み、圧縮を行う。ここで、フレームメモリ５上に記録されている画像データは、図示しない画像圧縮伸長装置によってデータ圧縮され、その圧縮データがファイルとして記録される。そして、ステップＳ２０８では、次の画像の取り込み位置にステージ１５を移動させる。画像間の距離はピッチｐで設定されているので移動後の座標は次式で示される。
Ｚ＝Ｚ−ｐ
【００３０】
こうしてｎ枚の画像の取り込みが終了するとループを抜け、ステップＳ２０９で取り込み終了となる。第１の実施例と異なり高さ順に画像を取り込んでいるので改めてソートする必要はない。
【００３１】
このようにして、取り込んだ画像の表示・観察は、第１の実施例と同様にスクロールバーによる画像の選択による。ここで、第１の実施例と大きく違う点は、画像の伸長・再生速度が速ければ（約１枚当り１／１０秒以下）、取り込んだ画像の連続再生は動画に見えるという点である。即ち、各画像間のピッチはｐによって一定なのでステージ１５をｚ方向に一定速度で動かした状態を見ているのと同じことになる。尚、画像間の親子関係については第１の実施例と同様である。以上説明したように、第２の実施例によれば、手動による選択で画像１枚づつピントを気にして作業に手間をかけることなく、複数画像の取り込みを自動化することによって操作性を向上することができる。更には、動画としての再生を可能とすることで、手元の顕微鏡の操作による観察により近づけることができる。
次に、本発明の第３の実施例について説明する。
【００３２】
前述した第１及び第２の実施例では、焦点をずらした複数の画像データを持つことになるので、その複数画像の中の所望とする特定画像をマーキングしておく必要がある。そこで、第３の実施例は、同一対象に対する複数画像へのマーキング機能を備えたものである。尚、第３の実施例の構成は図１に示した第１の実施例の構成とほぼ同じであるため、ここでは説明を省略する。
【００３３】
このマーキング機能によりユーザが特定の画像をマーキングするのは非常に簡単である。即ち、図７に示すように、ディスプレイ２上に表示されたマーク釦２３をマウスでクリックすれば、表示中の画像がマーキングされるのである。この時、システム内部では表示中の画像の画像取り込み時に入力した画像属性データ中のマーキングのフラグを“オン”にする。
【００３４】
一方、画像の表示・再生時にはマークされたものとそれ以外のものを区別しなければならない。そこで、図８に示すように、区別するためにスクロールバー１９上のアイコン２６の色を表示されている画像によって変える。即ち、マークされていない画像ではアイコン２６は特に色はついていない。そして、スクロールバー１９を操作して表示画像を変えたときマーキングされた画像であればアイコン２６は色が変わる。この図８に示す二つの三角形が描かれている釦２５をクリックすると、画像の表示は高さ順の１枚づつの表示（この場合、釦２４をクリック）ではなく、マーキングされているものだけのスキップ表示になる。
【００３５】
さらに、複数画像の連続取り込みを行うと当然静止画１枚だけの転送よりも転送時間が長くなる。この時間を短くするためには画像の圧縮率を上げなければならないため画質は自ずと低下する。そこで、本実施例ではマーキングした画像の低圧縮・高画質による再取り込みを可能にする。
以下、図９のフローチャートを参照して、第３の実施例による再取り込みの動作について説明する。
【００３６】
先ず、ステップＳ３０１では表示中の画像の属性データを再びマウス３、キーボード４によりパーソナルコンピュータ１に入力する。このデータは１度目の取り込み時に設定されたものである。続いて、ステップＳ３０２では顕微鏡８のステージ１５を動かし、ステップＳ３０３では対物レンズ１４を切り替える。そして、ステップＳ３０４では圧縮率を低く高画質にする。
【００３７】
そして、ステップＳ３０５では画像を取り込む。尚、高画質の画像がこの取り込みで得られたので低画質の画像は必要ない。よって、ステップＳ３０６では元の画像を消去する。こうしてステップＳ３０７で全ての動作を終了する。
【００３８】
このようにして取り込まれた画像は依頼側端末１００から観察側端末１０１へと転送されて両端末で同時に見ることができる。そして、この画像は画像同士の関係の中では図１０に示すように再取り込みした画像が位置していた場所に示される。
【００３９】
以上説明したように、第３の実施例によれば、観察側でのマーキングにより依頼側端末１００では観察側端末１０１の観察者がどこに注目しているかを把握することができる。さらに、子画像を取り込むときに、親画像となる複数画像群の中でマーキングされたものがある場合に、ピントを合わせるべき位置を依頼側端末１００が把握することができる。
【００４０】
そして、観察・診断終了時に再び再生するとき、観察側端末１０１の観察者が注目していた位置も把握することができる。また、低圧縮での連続取り込みとマーキングしたものの再取り込みを組み合わせることにより、転送時間の短縮と必要なところの高画質化を両立することもできる。
次に、本発明の第４の実施例について説明する。
【００４１】
前述した第１乃至第３の実施例のように全ての対象に対して画像全体の連続取り込みを行うとデータ量が増え、第３の実施例のように特定画像をマーキングをしても注目しているのが画像全体の中のどの部分なのかは記録に残らない。
【００４２】
これに対して、第４の実施例は画像の一部分のみを指定し、その部分だけの連続取り込みを行うようにしたシステムである。ここで、一部分のみを取り込んだ画像を部分画像と称し、対象全体を取り込んだ画像を全体画像と称す。
【００４３】
さらに、第４の実施例では、この部分画像の中で注目したもののｚ座標値を用いて、全体を焦点位置を変えた画像として追加取り込みできるようにした。尚、第４の実施例の構成は先に図１に示した第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図１１のフローチャートを参照して、第４の実施例による部分画像取り込みの動作について説明する。
【００４４】
先ず、ステップＳ４０１では、部分画像の取り込み範囲を指定する。これは図１２に示すように、マウスポインティング２７を所望とする位置に移動させ、マウス３をクリックすることにより全体画像上で指定することができる。このステップＳ４０１では指定した取り込み範囲も入力する。
【００４５】
続いて、ステップＳ４０２では画像の属性を入力する。このステップで前述した第１及び第２の実施例と違うのは、親画像の代りに全体画像が属性値として入力される点である。そして、連続取り込みの設定は前述した第２及び第３実施例と同様にフレーム間ピッチｐと取り込み枚数ｎによって決められる。
【００４６】
そして、ステップＳ４０３では連続取り込みを行う。この手順は第２実施例と同様である。但し、圧縮してファイルに残す画像データは、図１３に示す取り込み指定範囲２８の中の画像に係るデータだけである。こうして、画像データを取り込むと、ステップＳ４０４で全ての取り込みを終了する。
【００４７】
このようにして取り込まれた画像間の関係は図１３に示す通りであり、更に図１４はそのツリー構造図である。同図に示すように、全ての画像は標本単位の親子関係の中に属しており、同一対象に対する複数画像という関係は第１乃至第３の実施例と同じである。
【００４８】
さらに、本実施例では、これらの関係に加え全体画像と部分画像という関係が加わる。この全体画像とは従来取り込んでいたフルサイズの画像であり、部分画像とは同じ対象の一部分の領域だけを取り込んだ画像である。そして、ある領域を連続取り込みした部分画像の集まりを部分画像群という。尚、一つの全体画像上に複数の場所を指定した部分画像群があっても構わない。
【００４９】
そして、同一対象に対する複数画像という関係は全体画像においても部分画像においても成立する。この全体画像と部分画像という関係は親画像と子画像の関係に似ているが表示方法が全く違う。
【００５０】
この部分画像は図１５に示すように、全体画像上ではその範囲を示す矩形３０によって表示される。この場合、子画像を示す矩形２９と部分画像の矩形３０は表示方法を変えて区別する必要がある。そして、この違いを表す方法としては、図１５に示すように、矩形の色を変える方法や矩形の太さを変える方法、片方の矩形の角を丸めて表示する方法などが考えられる。
【００５１】
ここで、一つの対象、一つの全体画像群上には複数の部分画像群が存在する。
そして、これらの表示・再生方法としては、第１乃至第３の実施例のような一つのスクロールバーを用いる方法と、各部分画像群毎にスクロールバーを出す方法とがある。
先ず、図１６を参照して、一つのスクロールバーによる表示方法について説明する。
【００５２】
図１６（ａ）に示すように二つの部分画像群３１，３２が画面上にあり、各画像のｚ座標は図１６（ｂ）に示すようになっている。この時、二つの部分画像は同じｚ座標値のものが表示される。但し、各部分画像群のｚ座標の最大値・最小値は等しいとは限らないので、そのときはｚ座標の値が違う画像が表示される。例えば、図１６（ｂ）のａが表示されているときはａ′が同時に表示され、全体画像が複数枚取り込まれているときは部分画像のｚ座標に最も近いｚ座標値のものが表示される。しかし、複数の部分画像群があったとき、取り込んでいる対象が違うのだから、焦点の合う位置は異なっているはずである。それならば各部分画像ごとにスクロールバーを出し、表示する画像を選択できる方がよい。
そこで、図１７を参照して、部分画像毎にスクロールバーを出す表示方法について説明する。
【００５３】
図１７に示すように、部分画像を表す矩形上でマウス３をクリックすると、横にスクロールバー３４が表示される。初めから表示されていないのは画像全体の観察に邪魔だからである。表示する部分画像を変える方法は今までのスクロールバー３５による画像表示方法と同様である。
【００５４】
そして、一つの部分画像群の表示調節が終わったら、別の部分画像の矩形内をクリックすれば良い。すると、その部分画像の横にまたスクロールバー３４が表示され、表示画像を変えることができるようになる。また、全体画像が複数の時は今までの実施例通りにスクロールバー３５が全体画像の横に表示される。これを動かせば全体画像の表示を変えることができる。
【００５５】
以上説明したように、第４の実施例によれば、連続取り込みをする領域が小さいので取り込み・圧縮速度が速くなりデータ量が少なくなる。さらに、注目する対象のみを連続取り込みするので、観察経過がより明確に残せる。そして、特に顕微鏡の最高倍率で取り込んだ画像の中の重要な部分に係るデータを記録しておくことができる。また、適切な焦点位置の画像のみ全体の再取り込みをすることが出来るのでデータ量を減らすことができる。そして、部分画像毎の表示により一つの対象中の複数の注目部分を適切なフォーカスの画像で同時に観察することができる。
次に、本発明の第５の実施例について説明する。
【００５６】
前述した第４の実施例では、既に取り込まれている全体画像の上で部分画像の連続取り込みを指定している。これに対して、第５の実施例は、子画像取り込み時に部分画像の範囲指定を行い、子画像全体は連続取り込みしないで１枚だけの取り込みとして、部分画像の連続取り込みを子画像取り込み時に行うことに特徴を有している。尚、第５の実施例の構成は図１に示す第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図１８のフローチャートを参照して、第５の実施例による画像取り込み方法について説明する。
【００５７】
先ず、ステップＳ５０１では子画像取り込み指定をする。続いて、ステップＳ５０２では部分取り込みの範囲を指定する。即ち、図１９に示すように親画像上に描かれた取り込むべき子画像の矩形３８の中に、小さい矩形３７をマウスポインティング３６を移動させ、マスス３をクリックすることで指定する。
【００５８】
そして、ステップＳ５０３では、上記子画像上での実際の部分取り込み範囲をステップＳ５０１１とステップＳ５０２の指定データから求める。これは、図２０に示す通りである。即ち、図２０において、親画像及び子画像の画素数をＸ，Ｙとし、子画像指定領域ｘ，ｙに対する子画像指定時の部分画像領域３９の相対座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）とすると、子画像上での実際の部分画像の範囲４０の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）は次式で示される。
Ｘ１＝Ｘ／ｘ×ｘ１，Ｙ１＝Ｙ／ｙ×ｙ１
Ｘ２＝Ｘ／ｘ×ｘ２，Ｙ２＝Ｙ／ｙ×ｙ２
【００５９】
続いて、ステップＳ５０４では子画像を取り込む。この時は子画像全体の画像は１枚しか取り込まない。そして、ステップＳ５０５で部分画像の連続取り込みを行う。この時の方法は、先に図１６（ａ），（ｂ）に示した第４の実施例の部分画像取り込みと同じである。尚、画像間の関係、表示・再生共に第４の実施例と同様である。
以上説明したように、第５の実施例によれば、第４の実施例の機能に加えて子画像取り込み時に特に注目する部分を指定することができる。
【００６０】
以上詳述したように、本発明の顕微鏡遠隔観察システムによれば、同一対象に対して焦点をずらした複数画像を取り込んで比較することを可能とし、顕微鏡画像の遠隔観察をより高効率のものとしている。更には、複数画像の取り込みを自動化することで操作性を向上することもできる。そして、画像取り込み、圧縮速度を向上させデータ量自体も縮小させることができる。
尚、本発明は前述の実施例に限定されることなく、種々の改良・変更が可能であることは勿論である。
【００６１】
本発明によれば、遠隔地において顕微鏡画像における所望とする対象の焦点位置を変えた画像の観察を可能とし、更には操作性、データ取り込み・圧縮効率を向上させる顕微鏡遠隔観察システム及び観察画像管理方法を提供することができる。
【図面の簡単な説明】
【図１】（ａ）及び（ｂ）は、本発明の第１の実施例に係る顕微鏡遠隔観察システムの構成を示すブロック図である。
【図２】（ａ）及び（ｂ）は、画像間の親子関係について説明するための図である。
【図３】第１の実施例による画像取り込みの動作について説明するためのフローチャートである。
【図４】同一対象の画像が複数枚ある場合に、表示されるスクロールバーを示す図である。
【図５】画像間の関係を示すツリー構造図である。
【図６】第２の実施例による画像取り込みの動作について説明するためのフローチャートである。
【図７】第２の実施例のマーキング機能によりユーザが特定の画像をマークキングする場合に使用されるマークを示す図である。
【図８】画像の表示・再生時にマークキングされた画像とそれ以外の画像とを区別する手法について説明するための図である。
【図９】第３の実施例による再取り込みの動作について説明するためのフローチャートである。
【図１０】画像間の関係を示すツリー構造図である。
【図１１】第４の実施例による部分画像取り込みの動作について説明するためのフローチャートである。
【図１２】部分画像の取り込み範囲の指定について説明するための図である。
【図１３】画像間の関係を示す概念図である。
【図１４】画像間の関係を示すツリー構造図である。
【図１５】子画像を示す矩形と部分画像の矩形とを区別する手法について説明するための図である。
【図１６】（ａ）及び（ｂ）は一つの対象、一つの全体画像群上に存在する複数の部分画像群の一つのスクロールバーによる表示方法について説明するための図である。
【図１７】一つの対象、一つの全体画像群上に存在する複数の部分画像群の部分画像ごとにスクロールバーを出す表示方法について説明するための図である。
【図１８】第５の実施例による画像取り込み方法について説明するためのフローチャートである。
【図１９】親画像上に描かれた取り込むべき子画像の矩形中に小さい矩形を指定した様子を示す図である。
【図２０】子画像上での実際の部分取り込み範囲を指定データから求める手法について説明するための図である。
【符号の説明】
１…パーソナルコンピュータ、２…ＣＲＴディスプレイ、３…マウス、４…キーボード、５…フレームメモリ、６…ＴＶモニタ、７…カメラコントロールユニット、８…顕微鏡、９…ＴＶカメラ、１０，１０´…会議用電話、１１…通信回線、１２，１２´…パソコン部、１３…顕微鏡部、１４…対物レンズ、１５…ステージ。
本発明は、主として医療・生物系の顕微鏡観察に利用されるシステムに係り、特に病理分野での観察やテレパソロジー、テレコンサルテーション等の遠隔病理診断を高効率で行う顕微鏡遠隔観察システム及び観察画像管理方法に関する。
【０００２】
【従来の技術】
従来、例えば医療分野においては、顕微鏡を用いた病理診断が必須の診断項目とされている。そして、遠隔地の病院から大学等に顕微鏡画像を伝送し、該顕微鏡画像を基に大学の病理専門医が診断を行うためのシステムも提案されている。
このようなシステムは、主としてリアルタイムの顕微鏡動画像を扱うシステムと静止画像を扱うシステムとの２つに大別される。
【０００３】
例えば、この静止画像を扱うシステムには、顕微鏡静止画像を親子関係によって取り込み、保存や管理をするシステムがある。このシステムは、低倍率の対物レンズで取り込んだ画像上で高倍率のレンズで観察したい領域を指定し、その領域の画像を拡大して取り込むものである。そして、この低倍率の画像は親画像、高倍率の画像は子画像と称される。このように、このシステムは観察経過を構造的に残すことができデータ量も少ないので一般的な通信回線でも実現することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述したリアルタイムの顕微鏡動画像を扱うシステムでは、動画は静止画に比べて情報量が多いため、画像を伝送する通信回線が高価なものになってしまう。即ち、現状においては衛星や光ファイバを利用する以外に手段がないため実用的ではない。さらに、観察経過における診断記録を全てファイリングして検索し、再生することは通信回線やディスク容量、処理能力等の理由で実用的ではない。そして、一度取り込んだ画像は取り込んだ後から焦点を調節できないという問題もある。特に、細胞診断においては焦点をずらしながら顕微鏡を覗き診断を下すということがよくあるが、このようなスタンドアローンの顕微鏡での手法により観察ができないことも従来のシステムの問題点である。
【０００５】
一方、前述した静止画像を扱うシステムでは、静止画を転送する場合に一度取り込み転送してしまった画像は、後から焦点を調整し直すことができないといった問題がある。また、特に細胞診においては、標本自体にある程度の厚みがあるため、焦点の合う位置は必ずしも１ケ所とは限らない。このような場合に、通常の顕微鏡観察のように、ある対象の焦点をずらしながら観察するような使い方ができないことも問題となっている。
【０００６】
本発明は上記問題に鑑みてなされたもので、その目的とするところは、遠隔地において顕微鏡画像における所望とする対象の焦点位置を変えた画像の観察を可能とし、更には操作性、データ取り込み・圧縮効率を向上させる顕微鏡遠隔観察システム及び観察画像管理方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の顕微鏡遠隔観察システムでは、標本の観察画像を取り込む手段と、取り込んだ画像を保存する手段と、観察画像の焦点位置を変化させる手段と、観察画像を送信する手段を備えた顕微鏡端末と、この顕微鏡端末から送信される画像を受信し表示する観察端末とを備えた顕微鏡遠隔観察システムであって、前記顕微鏡端末は、取り込んだ第１の観察画像に対してその画像の一部分の領域を指定する手段と、前記指定した領域について前記第１の観察画像とは焦点位置を異ならせた同一倍率の標本画像を取り込んで第２の観察画像として保存する部分画像取得手段とを備え、前記観察端末は、前記第１および第２の観察画像を受信して、第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示することを特徴とする。
また、前記観察端末は、前記第１の観察画像にはめ込んで表示する画像を焦点位置の異なる複数の第２の観察画像の中から選択する選択手段を備えることを特徴とする。
また、前記指定する手段は前記第１の観察画像の互いに異なる複数の部分領域を指定可能であり、前記部分画像取得手段は指定された複数の部分領域に対してそれぞれ前記第２の観察画像を取得し、前記選択手段は、前記第１の観察画像にはめ込んで表示する画像を前記複数の部分領域ごとに独立して選択可能であることを特徴とする。
本発明の顕微鏡画像の遠隔観察方法は、厚みのある標本の顕微鏡画像を観察端末において遠隔観察する方法であって、前記標本の第１の観察画像を取り込んでその画像の一部分の領域を指定し、前記第１の観察画像と、前記指定された領域について同一の倍率で焦点位置を異ならせて取り込まれ保存された第２の観察画像とを受信し、前記第１の観察画像を表示手段に表示するとともに、前記指定された領域に対して第１の観察画像とは焦点位置の異なる前記第２の観察画像をはめ込んで表示することを特徴とする。
また、前記第１の観察画像にはめ込んで表示する画像を焦点位置が異なる複数の第２の観察画像の中から選択するステップを有することを特徴とする。
また、前記第１の観察画像の互いに異なる複数の部分領域に対してそれぞれ保存された前記第２の画像を受信するとともに、前記選択するステップでは、前記第１の観察画像にはめ込んで表示する画像を、前記複数の部分領域ごとに独立して選択可能にしたことを特徴とする。
【０００８】
【作用】
本発明の顕微鏡遠隔観察システムでは、標本の観察画像を取り込む手段によって取り込んだ第１の観察画像に対して、部分領域を指定する手段によりその画像の一部領域を指定すると、部分画像取得手段により、指定した領域について前記第１の観察画像とは焦点位置を異ならせた同一倍率の標本画像を取り込んで第２の観察画像として保存する。観察端末では、第１の観察画像を表示するとともに、これとは焦点位置の異なる第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示するので、第１の観察画像を観察しながら、所定の注目領域についてフォーカスの異なる第２の観察画像を同時に観察可能になる。
本発明の顕微鏡画像の遠隔観察方法では、厚みのある標本の第１の観察画像を取り込んでその画像の一部分の領域を指定し、第１の観察画像と指定された領域について同一の倍率で焦点位置を異ならせて取り込まれ保存された第２の観察画像とを受信して、第１の観察画像を表示手段に表示するとともに、これとは焦点位置の異なる第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示するので、第１の観察画像を観察しながら、所定の注目領域についてフォーカスの異なる第２の観察画像を同時に観察可能になる。
【０００９】
【実施例】
以下、図面を参照して、本発明の実施例について説明する。
図１は本発明の第１の実施例に係る顕微鏡遠隔観察システムの構成を示すブロック図である。
【００１０】
図１（ａ）に示すように、本実施例に係る顕微鏡遠隔観察システムは、実際に顕微鏡を操作して画像を取り込む依頼側端末１００と、この依頼側端末１００より通信回線１１を介して送信された画像データに基づき所望とする顕微鏡画像を観察する観察側端末１０１とで構成されている。そして、この依頼側端末１００はパソコン部１２と顕微鏡部１３と会議用電話機１０で構成されており、上記観察側端末１０１はパソコン部１２´と会議用電話機１０´とで構成されている。さらに、上記依頼側端末１００は、詳細には図１（ｂ）に示すような構成となっている。即ち、上記パソコン部１２は全体を制御するパーソナルコンピュータ１とＣＲＴディスプレイ２、ポインティングデバイスであるマウス３、入力機器であるキーボード４、フレームメモリ５、ＴＶモニタ６とで構成されている。
【００１１】
そして、上記顕微鏡部１３はカメラコントロールユニット(CCU;Camera Control Unit) ７と顕微鏡８、ＴＶカメラ９とで構成されている。さらに、上記会議用電話機１０は受話機を持たずに会話ができるもので、通信回線１１を介して観察側端末１０１における会議用電話機１０´に接続されている。尚、上記観察側端末１０１におけるパソコン部１２´は、上記依頼側端末１００におけるパソコン部１２と同一構成であるので、ここでは説明を省略する。
【００１２】
このような構成において、上記依頼側端末１００における顕微鏡８はパーソナルコンピュータ１によって制御され、そのステージ１５のｘ，ｙ，ｚ方向への移動が指示される。そして、画像データは顕微鏡８に取り付けられたカメラ９により取り込まれ、ファイルとして記録するときには圧縮される。さらに、顕微鏡画像の遠隔観察の際には、このカメラ９により取り込まれた画像データは通信回線１１を介して観察側端末１０１へと転送される。
【００１３】
そして、第１の実施例に係る顕微鏡遠隔観察システムは、ｘ，ｙ座標、対物レンズ１４の倍率及び親画像によって決定される一つの対象に対して、焦点を変えた複数の顕微鏡拡大画像を取り込むことを可能とした事に特徴を有している。
次に、図２を参照して顕微鏡画像間の親子関係について説明する。
【００１４】
図２（ａ）に示すように、本実施例では、画像はｘ，ｙ平面上での対物レンズ１４の切り替えによる拡大・縮小の関係である親子関係により全て管理されており、更には同一の対物レンズ１４でとらえた同一座標の画像をステージ１５の光軸方向であるｚ方向に操作して複数枚の静止画として取り込み親子関係と共に管理している。例えば、図２（ａ）に示す画像１〜５は、図２（ｂ）に示す焦点位置１〜５をずらして同一対象を取り込んだ画像である。このように、焦点位置をずらした顕微鏡画像を比較することにより、遠隔地にいても自ら顕微鏡を操作し観察するときと同等の顕微鏡画像の観察が可能となる。
以下、図３のフローチャートを参照して、第１の実施例による画像取り込みの動作について詳細に説明する。
【００１５】
先ず、ステップＳ１０１ではマウス３やキーボード４などにより画像の属性を設定し、パーソナルコンピュータ１に入力する。この属性値としてはステージ１５のｘ，ｙ座標、対物レンズ１４の倍率及び親画像があるが、本実施例では、これらデータが等しい画像を同一対象に対する画像として一つにまとめて取り扱う。
【００１６】
続いて、ステップＳ１０２では顕微鏡８のステージ１５をｚ方向に動かすことでピント合わせを行う。この操作はオートフォーカスの顕微鏡であれば全自動で行う事ができる。さらに、ステップＳ１０３ではＴＶカメラ９により顕微鏡画像の取り込みを行う。
【００１７】
そして、ステップＳ１０４では移動後のステージ１５のｚ座標を取得する。このｚ座標の違いによって、同一対象の複数画像を区別する。尚、このデータはステップＳ１０１で入力した他の属性値とまとめてパーソナルコンピュータ１に記録される。
【００１８】
次に、ステップＳ１０５では画像の取り込み、圧縮を行う。ここで、フレームメモリ５上に記録されている画像データは図示しない画像圧縮伸長装置によってデータ圧縮され、この圧縮データがファイルとして記録される。
【００１９】
続いて、ステップＳ１０６では画像の取り込みを終了するか否かを確認し、終了するならばループを抜け、終了せずに画像を取り込むならばステップＳ１０７でステージ１５のｚ座標を調節する。この調節は手動でも自動でもよい。
【００２０】
そして、ステップＳ１０８では、取り込んだ画像を取り込まれた順序に関わらずｚ座標によって高さ順にソートする。このとき、ステージ１５が設置台から離れている方、即ち対物レンズ１４に近い方が上である。このソートにより、画像をまとめて見るとあたかもステージ１５を上から下へと動かしたように見えるのである。尚、この上下は反対方向でもよいことは勿論である。
こうして、ステップＳ１０９で全ての取り込みを終了する。そして、取り込み終了後は通信観察中であれば観察側端末に画像を転送する。
【００２１】
以上のようにして取り込んだ画像は、親子関係を利用して表示・観察することができる。即ち、図４に示すように、同一対象に関する画像が複数枚ある場合は画像の横にスクロールバー１９が表示され、このスクロールバー１９のアイコン２０，２２をマウス３でクリックすることでアイコン２１を上下し、表示される画像を１フレームずつｚ座標値が高いもの、低いものへと変える。
【００２２】
このアイコン２１はｚ方向の値でソートされた画像の中で表示中の画像がどの位置にあるかを示すもので、該アイコン２１を動かすことによって表示画像を変えることもできる。そして、これらアイコン２１の操作で実際の高さ順に画像が表示される。つまり、アイコン２１を上へ動かせば上の画像が見え、下に動かせば下の画像が見えるようになる。
尚、画像間の関係の概念図は先に図２に示した通りで、そのツリー構造図は図５に示す通りであり、全ての画像は標本単位の親子関係の中に属している。
【００２３】
そして、同一対象に対する画像はｚ座標値以外の全ての属性が同じなので、一つにまとめて取り扱われる。また、ｚ座標値によってソートされているので、高さ順に並んでいる。この画像同士はシーケンシャルあるいはランダムに呼び出し合うことができる。そして、同一対象に対する画像は、親子関係という観点からは全て同じに扱われる。即ち、この複数画像中のどの画像からでも同一の親画像或いは子画像を呼び出して表示することができる。
【００２４】
さらに、一般的な親子関係は、画像の大きさ、即ち対物レンズ１４の倍率とステージ１５上での座標位置（ｘ，ｙ）による画像の関係であったが、この親子関係にｚ座標の関係を加えたのが同一対象に対する複数画像という関係である。
【００２５】
以上説明したように、第１の実施例に係る顕微鏡画像観察システムでは、同一対象に対して焦点をずらした複数の画像を取り込んで比較することができ、更には、それらを一つにまとめて管理することで、顕微鏡画像の遠隔観察をより高効率のものとしている。
次に、本発明の第２の実施例について説明する。
【００２６】
前述した第１の実施例では、画像を取り込むときのステージ１５のｚ座標を画像毎に独自に設定していた。これに対して、第２の実施例では、取り込み枚数と各画像間の間隔とを初めに設定し、顕微鏡８のステージ１５を制御することによって数フレーム〜十数フレームの画像を連続的に取り込むことを可能にする。また、その再生を高速で実行すれば動画的な再生も可能となる。尚、第２の実施例の構成は先に図１に示した第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図６のフローチャートを参照して、第２の実施例による画像取り込みの動作について説明する。
【００２７】
ステップＳ２０１では画像の属性をマウス３、キーボード４により設定し、パーソナルコンピュータ１に入力する。この属性値としては第１の実施例と同様にｘ，ｙ座標、対物レンズ１４の倍率及び親画像があるが、本実施例ではこれらに加えてフレーム間ピッチｐと取り込み枚数ｎを設定する。このｐとｎが画像の連続取り込みのパラメータとなる。
【００２８】
続いて、ステップＳ２０２ではステージ１５を顕微鏡８のオートフォーカス機能によってｚ方向に動かしてピントを合わせる。更に、ステップＳ２０３では、このときの値を得る。この焦点位置Ｚ0 を連続取り込みの中央の座標とする。
そして、ステップＳ２０４ではｚ座標を取り込み範囲の最大値まで移動する。
このときの最大値、最小値は次式で示される。
Ｚ＝Ｚ0 ＋１／２×（ｎ−１）ｐ
Ｚ＝Ｚ0 −１／２×（ｎ−１）ｐ
【００２９】
そして、ステップＳ２０５のループで画像取り込みをｎ枚連続して行い、ステップＳ２０６では、移動後のステージ１５のｚ座標を取得する。このｚ座標の違いによって同一対象の複数画像を区別する。そして、このデータはステップＳ２１１で入力した他の属性値とまとめて記録される。さらに、ステップＳ２０７では画像の取り込み、圧縮を行う。ここで、フレームメモリ５上に記録されている画像データは、図示しない画像圧縮伸長装置によってデータ圧縮され、その圧縮データがファイルとして記録される。そして、ステップＳ２０８では、次の画像の取り込み位置にステージ１５を移動させる。画像間の距離はピッチｐで設定されているので移動後の座標は次式で示される。
Ｚ＝Ｚ−ｐ
【００３０】
こうしてｎ枚の画像の取り込みが終了するとループを抜け、ステップＳ２０９で取り込み終了となる。第１の実施例と異なり高さ順に画像を取り込んでいるので改めてソートする必要はない。
【００３１】
このようにして、取り込んだ画像の表示・観察は、第１の実施例と同様にスクロールバーによる画像の選択による。ここで、第１の実施例と大きく違う点は、画像の伸長・再生速度が速ければ（約１枚当り１／１０秒以下）、取り込んだ画像の連続再生は動画に見えるという点である。即ち、各画像間のピッチはｐによって一定なのでステージ１５をｚ方向に一定速度で動かした状態を見ているのと同じことになる。尚、画像間の親子関係については第１の実施例と同様である。以上説明したように、第２の実施例によれば、手動による選択で画像１枚づつピントを気にして作業に手間をかけることなく、複数画像の取り込みを自動化することによって操作性を向上することができる。更には、動画としての再生を可能とすることで、手元の顕微鏡の操作による観察により近づけることができる。
次に、本発明の第３の実施例について説明する。
【００３２】
前述した第１及び第２の実施例では、焦点をずらした複数の画像データを持つことになるので、その複数画像の中の所望とする特定画像をマーキングしておく必要がある。そこで、第３の実施例は、同一対象に対する複数画像へのマーキング機能を備えたものである。尚、第３の実施例の構成は図１に示した第１の実施例の構成とほぼ同じであるため、ここでは説明を省略する。
【００３３】
このマーキング機能によりユーザが特定の画像をマーキングするのは非常に簡単である。即ち、図７に示すように、ディスプレイ２上に表示されたマーク釦２３をマウスでクリックすれば、表示中の画像がマーキングされるのである。この時、システム内部では表示中の画像の画像取り込み時に入力した画像属性データ中のマーキングのフラグを“オン”にする。
【００３４】
一方、画像の表示・再生時にはマークされたものとそれ以外のものを区別しなければならない。そこで、図８に示すように、区別するためにスクロールバー１９上のアイコン２６の色を表示されている画像によって変える。即ち、マークされていない画像ではアイコン２６は特に色はついていない。そして、スクロールバー１９を操作して表示画像を変えたときマーキングされた画像であればアイコン２６は色が変わる。この図８に示す二つの三角形が描かれている釦２５をクリックすると、画像の表示は高さ順の１枚づつの表示（この場合、釦２４をクリック）ではなく、マーキングされているものだけのスキップ表示になる。
【００３５】
さらに、複数画像の連続取り込みを行うと当然静止画１枚だけの転送よりも転送時間が長くなる。この時間を短くするためには画像の圧縮率を上げなければならないため画質は自ずと低下する。そこで、本実施例ではマーキングした画像の低圧縮・高画質による再取り込みを可能にする。
以下、図９のフローチャートを参照して、第３の実施例による再取り込みの動作について説明する。
【００３６】
先ず、ステップＳ３０１では表示中の画像の属性データを再びマウス３、キーボード４によりパーソナルコンピュータ１に入力する。このデータは１度目の取り込み時に設定されたものである。続いて、ステップＳ３０２では顕微鏡８のステージ１５を動かし、ステップＳ３０３では対物レンズ１４を切り替える。そして、ステップＳ３０４では圧縮率を低く高画質にする。
【００３７】
そして、ステップＳ３０５では画像を取り込む。尚、高画質の画像がこの取り込みで得られたので低画質の画像は必要ない。よって、ステップＳ３０６では元の画像を消去する。こうしてステップＳ３０７で全ての動作を終了する。
【００３８】
このようにして取り込まれた画像は依頼側端末１００から観察側端末１０１へと転送されて両端末で同時に見ることができる。そして、この画像は画像同士の関係の中では図１０に示すように再取り込みした画像が位置していた場所に示される。
【００３９】
以上説明したように、第３の実施例によれば、観察側でのマーキングにより依頼側端末１００では観察側端末１０１の観察者がどこに注目しているかを把握することができる。さらに、子画像を取り込むときに、親画像となる複数画像群の中でマーキングされたものがある場合に、ピントを合わせるべき位置を依頼側端末１００が把握することができる。
【００４０】
そして、観察・診断終了時に再び再生するとき、観察側端末１０１の観察者が注目していた位置も把握することができる。また、低圧縮での連続取り込みとマーキングしたものの再取り込みを組み合わせることにより、転送時間の短縮と必要なところの高画質化を両立することもできる。
次に、本発明の第４の実施例について説明する。
【００４１】
前述した第１乃至第３の実施例のように全ての対象に対して画像全体の連続取り込みを行うとデータ量が増え、第３の実施例のように特定画像をマーキングをしても注目しているのが画像全体の中のどの部分なのかは記録に残らない。
【００４２】
これに対して、第４の実施例は画像の一部分のみを指定し、その部分だけの連続取り込みを行うようにしたシステムである。ここで、一部分のみを取り込んだ画像を部分画像と称し、対象全体を取り込んだ画像を全体画像と称す。
【００４３】
さらに、第４の実施例では、この部分画像の中で注目したもののｚ座標値を用いて、全体を焦点位置を変えた画像として追加取り込みできるようにした。尚、第４の実施例の構成は先に図１に示した第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図１１のフローチャートを参照して、第４の実施例による部分画像取り込みの動作について説明する。
【００４４】
先ず、ステップＳ４０１では、部分画像の取り込み範囲を指定する。これは図１２に示すように、マウスポインティング２７を所望とする位置に移動させ、マウス３をクリックすることにより全体画像上で指定することができる。このステップＳ４０１では指定した取り込み範囲も入力する。
【００４５】
続いて、ステップＳ４０２では画像の属性を入力する。このステップで前述した第１及び第２の実施例と違うのは、親画像の代りに全体画像が属性値として入力される点である。そして、連続取り込みの設定は前述した第２及び第３実施例と同様にフレーム間ピッチｐと取り込み枚数ｎによって決められる。
【００４６】
そして、ステップＳ４０３では連続取り込みを行う。この手順は第２実施例と同様である。但し、圧縮してファイルに残す画像データは、図１３に示す取り込み指定範囲２８の中の画像に係るデータだけである。こうして、画像データを取り込むと、ステップＳ４０４で全ての取り込みを終了する。
【００４７】
このようにして取り込まれた画像間の関係は図１３に示す通りであり、更に図１４はそのツリー構造図である。同図に示すように、全ての画像は標本単位の親子関係の中に属しており、同一対象に対する複数画像という関係は第１乃至第３の実施例と同じである。
【００４８】
さらに、本実施例では、これらの関係に加え全体画像と部分画像という関係が加わる。この全体画像とは従来取り込んでいたフルサイズの画像であり、部分画像とは同じ対象の一部分の領域だけを取り込んだ画像である。そして、ある領域を連続取り込みした部分画像の集まりを部分画像群という。尚、一つの全体画像上に複数の場所を指定した部分画像群があっても構わない。
【００４９】
そして、同一対象に対する複数画像という関係は全体画像においても部分画像においても成立する。この全体画像と部分画像という関係は親画像と子画像の関係に似ているが表示方法が全く違う。
【００５０】
この部分画像は図１５に示すように、全体画像上ではその範囲を示す矩形３０によって表示される。この場合、子画像を示す矩形２９と部分画像の矩形３０は表示方法を変えて区別する必要がある。そして、この違いを表す方法としては、図１５に示すように、矩形の色を変える方法や矩形の太さを変える方法、片方の矩形の角を丸めて表示する方法などが考えられる。
【００５１】
ここで、一つの対象、一つの全体画像群上には複数の部分画像群が存在する。
そして、これらの表示・再生方法としては、第１乃至第３の実施例のような一つのスクロールバーを用いる方法と、各部分画像群毎にスクロールバーを出す方法とがある。
先ず、図１６を参照して、一つのスクロールバーによる表示方法について説明する。
【００５２】
図１６（ａ）に示すように二つの部分画像群３１，３２が画面上にあり、各画像のｚ座標は図１６（ｂ）に示すようになっている。この時、二つの部分画像は同じｚ座標値のものが表示される。但し、各部分画像群のｚ座標の最大値・最小値は等しいとは限らないので、そのときはｚ座標の値が違う画像が表示される。例えば、図１６（ｂ）のａが表示されているときはａ′が同時に表示され、全体画像が複数枚取り込まれているときは部分画像のｚ座標に最も近いｚ座標値のものが表示される。しかし、複数の部分画像群があったとき、取り込んでいる対象が違うのだから、焦点の合う位置は異なっているはずである。それならば各部分画像ごとにスクロールバーを出し、表示する画像を選択できる方がよい。
そこで、図１７を参照して、部分画像毎にスクロールバーを出す表示方法について説明する。
【００５３】
図１７に示すように、部分画像を表す矩形上でマウス３をクリックすると、横にスクロールバー３４が表示される。初めから表示されていないのは画像全体の観察に邪魔だからである。表示する部分画像を変える方法は今までのスクロールバー３５による画像表示方法と同様である。
【００５４】
そして、一つの部分画像群の表示調節が終わったら、別の部分画像の矩形内をクリックすれば良い。すると、その部分画像の横にまたスクロールバー３４が表示され、表示画像を変えることができるようになる。また、全体画像が複数の時は今までの実施例通りにスクロールバー３５が全体画像の横に表示される。これを動かせば全体画像の表示を変えることができる。
【００５５】
以上説明したように、第４の実施例によれば、連続取り込みをする領域が小さいので取り込み・圧縮速度が速くなりデータ量が少なくなる。さらに、注目する対象のみを連続取り込みするので、観察経過がより明確に残せる。そして、特に顕微鏡の最高倍率で取り込んだ画像の中の重要な部分に係るデータを記録しておくことができる。また、適切な焦点位置の画像のみ全体の再取り込みをすることが出来るのでデータ量を減らすことができる。そして、部分画像毎の表示により一つの対象中の複数の注目部分を適切なフォーカスの画像で同時に観察することができる。
次に、本発明の第５の実施例について説明する。
【００５６】
前述した第４の実施例では、既に取り込まれている全体画像の上で部分画像の連続取り込みを指定している。これに対して、第５の実施例は、子画像取り込み時に部分画像の範囲指定を行い、子画像全体は連続取り込みしないで１枚だけの取り込みとして、部分画像の連続取り込みを子画像取り込み時に行うことに特徴を有している。尚、第５の実施例の構成は図１に示す第１の実施例の構成とほぼ同じであるため説明は省略する。
以下、図１８のフローチャートを参照して、第５の実施例による画像取り込み方法について説明する。
【００５７】
先ず、ステップＳ５０１では子画像取り込み指定をする。続いて、ステップＳ５０２では部分取り込みの範囲を指定する。即ち、図１９に示すように親画像上に描かれた取り込むべき子画像の矩形３８の中に、小さい矩形３７をマウスポインティング３６を移動させ、マスス３をクリックすることで指定する。
【００５８】
そして、ステップＳ５０３では、上記子画像上での実際の部分取り込み範囲をステップＳ５０１１とステップＳ５０２の指定データから求める。これは、図２０に示す通りである。即ち、図２０において、親画像及び子画像の画素数をＸ，Ｙとし、子画像指定領域ｘ，ｙに対する子画像指定時の部分画像領域３９の相対座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）とすると、子画像上での実際の部分画像の範囲４０の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）は次式で示される。
Ｘ１＝Ｘ／ｘ×ｘ１，Ｙ１＝Ｙ／ｙ×ｙ１
Ｘ２＝Ｘ／ｘ×ｘ２，Ｙ２＝Ｙ／ｙ×ｙ２
【００５９】
続いて、ステップＳ５０４では子画像を取り込む。この時は子画像全体の画像は１枚しか取り込まない。そして、ステップＳ５０５で部分画像の連続取り込みを行う。この時の方法は、先に図１６（ａ），（ｂ）に示した第４の実施例の部分画像取り込みと同じである。尚、画像間の関係、表示・再生共に第４の実施例と同様である。
以上説明したように、第５の実施例によれば、第４の実施例の機能に加えて子画像取り込み時に特に注目する部分を指定することができる。
【００６０】
以上詳述したように、本発明の顕微鏡遠隔観察システムによれば、同一対象に対して焦点をずらした複数画像を取り込んで比較することを可能とし、顕微鏡画像の遠隔観察をより高効率のものとしている。更には、複数画像の取り込みを自動化することで操作性を向上することもできる。そして、画像取り込み、圧縮速度を向上させデータ量自体も縮小させることができる。
尚、本発明は前述の実施例に限定されることなく、種々の改良・変更が可能であることは勿論である。
【００６１】
本発明によれば、遠隔地において顕微鏡画像における所望とする対象の焦点位置を変えた画像の観察を可能とし、更には操作性、データ取り込み・圧縮効率を向上させる顕微鏡遠隔観察システム及び観察画像管理方法を提供することができる。
【図面の簡単な説明】
【図１】（ａ）及び（ｂ）は、本発明の第１の実施例に係る顕微鏡遠隔観察システムの構成を示すブロック図である。
【図２】（ａ）及び（ｂ）は、画像間の親子関係について説明するための図である。
【図３】第１の実施例による画像取り込みの動作について説明するためのフローチャートである。
【図４】同一対象の画像が複数枚ある場合に、表示されるスクロールバーを示す図である。
【図５】画像間の関係を示すツリー構造図である。
【図６】第２の実施例による画像取り込みの動作について説明するためのフローチャートである。
【図７】第２の実施例のマーキング機能によりユーザが特定の画像をマークキングする場合に使用されるマークを示す図である。
【図８】画像の表示・再生時にマークキングされた画像とそれ以外の画像とを区別する手法について説明するための図である。
【図９】第３の実施例による再取り込みの動作について説明するためのフローチャートである。
【図１０】画像間の関係を示すツリー構造図である。
【図１１】第４の実施例による部分画像取り込みの動作について説明するためのフローチャートである。
【図１２】部分画像の取り込み範囲の指定について説明するための図である。
【図１３】画像間の関係を示す概念図である。
【図１４】画像間の関係を示すツリー構造図である。
【図１５】子画像を示す矩形と部分画像の矩形とを区別する手法について説明するための図である。
【図１６】（ａ）及び（ｂ）は一つの対象、一つの全体画像群上に存在する複数の部分画像群の一つのスクロールバーによる表示方法について説明するための図である。
【図１７】一つの対象、一つの全体画像群上に存在する複数の部分画像群の部分画像ごとにスクロールバーを出す表示方法について説明するための図である。
【図１８】第５の実施例による画像取り込み方法について説明するためのフローチャートである。
【図１９】親画像上に描かれた取り込むべき子画像の矩形中に小さい矩形を指定した様子を示す図である。
【図２０】子画像上での実際の部分取り込み範囲を指定データから求める手法について説明するための図である。
【符号の説明】
１…パーソナルコンピュータ、２…ＣＲＴディスプレイ、３…マウス、４…キーボード、５…フレームメモリ、６…ＴＶモニタ、７…カメラコントロールユニット、８…顕微鏡、９…ＴＶカメラ、１０，１０´…会議用電話、１１…通信回線、１２，１２´…パソコン部、１３…顕微鏡部、１４…対物レンズ、１５…ステージ。
Claims (6)
- 標本の観察画像を取り込む手段と、取り込んだ画像を保存する手段と、観察画像の焦点位置を変化させる手段と、観察画像を送信する手段を備えた顕微鏡端末と、この顕微鏡端末から送信される画像を受信し表示する観察端末とを備えた顕微鏡遠隔観察システムであって、
前記顕微鏡端末は、取り込んだ第１の観察画像に対してその画像の一部分の領域を指定する手段と、前記指定した領域について前記第１の観察画像とは焦点位置を異ならせた同一倍率の標本画像を取り込んで第２の観察画像として保存する部分画像取得手段とを備え、
前記観察端末は、前記第１および第２の観察画像を受信して、第２の観察画像を第１の観察画像の対応する領域にはめ込んで表示することを特徴とする顕微鏡遠隔観察システム。 - 前記観察端末は、前記第１の観察画像にはめ込んで表示する画像を焦点位置の異なる複数の第２の観察画像の中から選択する選択手段を備えることを特徴とする請求項１記載の顕微鏡遠隔観察システム。
- 前記指定する手段は前記第１の観察画像の互いに異なる複数の部分領域を指定可能であり、前記部分画像取得手段は指定された複数の部分領域に対してそれぞれ前記第２の観察画像を取得し、前記選択手段は、前記第１の観察画像にはめ込んで表示する画像を前記複数の部分領域ごとに独立して選択可能であることを特徴とする請求項２に記載の顕微鏡遠隔観察システム。
- 厚みのある標本の顕微鏡画像を観察端末において遠隔観察する方法であって、
前記標本の第１の観察画像を取り込んでその画像の一部分の領域を指定し、
前記第１の観察画像と、前記指定された領域について同一の倍率で焦点位置を異ならせて取り込まれ保存された第２の観察画像とを受信し、
前記第１の観察画像を表示手段に表示するとともに、前記指定された領域に対して第１の観察画像とは焦点位置の異なる前記第２の観察画像をはめ込んで表示することを特徴とする顕微鏡画像の遠隔観察方法。 - 前記第１の観察画像にはめ込んで表示する画像を焦点位置が異なる複数の第２の観察画像の中から選択するステップを有することを特徴とする請求項４に記載の顕微鏡画像の遠隔観察方法。
- 前記第１の観察画像の互いに異なる複数の部分領域に対してそれぞれ保存された前記第２の画像を受信するとともに、前記選択するステップでは、前記第１の観察画像にはめ込んで表示する画像を、前記複数の部分領域ごとに独立して選択可能にしたことを特徴とする請求項５に記載の顕微鏡画像の遠隔観察方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03563993A JP3698737B2 (ja) | 1993-02-24 | 1993-02-24 | 顕微鏡遠隔観察システム及び遠隔観察方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03563993A JP3698737B2 (ja) | 1993-02-24 | 1993-02-24 | 顕微鏡遠隔観察システム及び遠隔観察方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004318417A Division JP3704529B2 (ja) | 2004-11-01 | 2004-11-01 | 顕微鏡観察システムおよび顕微鏡画像の表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06250097A JPH06250097A (ja) | 1994-09-09 |
| JP3698737B2 true JP3698737B2 (ja) | 2005-09-21 |
Family
ID=12447455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03563993A Expired - Fee Related JP3698737B2 (ja) | 1993-02-24 | 1993-02-24 | 顕微鏡遠隔観察システム及び遠隔観察方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3698737B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494901B2 (en) | 2019-05-21 | 2022-11-08 | Saint Louis University | Digital telepathology and virtual control of a microscope using edge computing |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19548091A1 (de) * | 1995-01-11 | 1996-07-25 | Zeiss Carl Fa | Einhand-Steuerelement für Bewegungssteuerungen, vorzugsweise von optischen Instrumenten |
| JP2002196257A (ja) * | 2000-12-25 | 2002-07-12 | Nikon Corp | 画像処理装置、コンピュータ読取可能な記録媒体、及び顕微鏡システム。 |
| JP4937457B2 (ja) | 2001-03-01 | 2012-05-23 | オリンパス株式会社 | 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体 |
| JP2010061129A (ja) * | 2009-08-14 | 2010-03-18 | Claro Inc | スライド画像データ |
| JP5059816B2 (ja) * | 2009-08-14 | 2012-10-31 | 株式会社クラーロ | スライド画像データ作成装置 |
-
1993
- 1993-02-24 JP JP03563993A patent/JP3698737B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494901B2 (en) | 2019-05-21 | 2022-11-08 | Saint Louis University | Digital telepathology and virtual control of a microscope using edge computing |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06250097A (ja) | 1994-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7215467B2 (en) | System and method for controlling microscope | |
| JP4667944B2 (ja) | 画像作成装置 | |
| US7949161B2 (en) | Microscope system and method for synthesizing microscopic images | |
| JP3557246B2 (ja) | 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法 | |
| JP4542386B2 (ja) | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム | |
| JP5015381B2 (ja) | 顕微鏡写真撮影装置 | |
| JP4470759B2 (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| WO2008068891A1 (ja) | 画像処理装置、画像処理プログラム及び観察システム | |
| JP2013054083A (ja) | ホールスライドイメージ作成装置 | |
| JP4847101B2 (ja) | 顕微鏡システム | |
| JP3698737B2 (ja) | 顕微鏡遠隔観察システム及び遠隔観察方法 | |
| JP2000295462A (ja) | 顕微鏡画像伝送システム | |
| JP3704529B2 (ja) | 顕微鏡観察システムおよび顕微鏡画像の表示方法 | |
| JP4637337B2 (ja) | 顕微鏡画像観察システム及びその制御方法 | |
| US20050270370A1 (en) | Microscope image processing system, microscope image processing method, program, and recording medium | |
| US20140063072A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| KR20010092740A (ko) | 현미경화상전송시스템 | |
| JP3448847B2 (ja) | 顕微鏡静止画像観察システム | |
| JP3321198B2 (ja) | 顕微鏡静止画像観察システム | |
| JP3377548B2 (ja) | 顕微鏡画像観察システム | |
| JP2012190028A (ja) | 顕微鏡システム | |
| JP2005266718A (ja) | 顕微鏡画像撮影システム | |
| JPH05241075A (ja) | 顕微鏡システム | |
| JPH06265794A (ja) | 顕微鏡画像観察記録システム | |
| KR20000057920A (ko) | 현미경 화상 전송 시스템, 현미경 화상 처리 방법 및현미경 화상 처리에 이용하는 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050706 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |