JP3824116B2 - 顕微鏡画像遠隔制御システム - Google Patents

顕微鏡画像遠隔制御システム Download PDF

Info

Publication number
JP3824116B2
JP3824116B2 JP01653498A JP1653498A JP3824116B2 JP 3824116 B2 JP3824116 B2 JP 3824116B2 JP 01653498 A JP01653498 A JP 01653498A JP 1653498 A JP1653498 A JP 1653498A JP 3824116 B2 JP3824116 B2 JP 3824116B2
Authority
JP
Japan
Prior art keywords
image
stage
means
reference image
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01653498A
Other languages
English (en)
Other versions
JPH11211988K1 (ja
JPH11211988A (ja
Inventor
幸宏 久保田
明 伴野
朋子 日▲高▼
高志 酒井
Original Assignee
Nttエレクトロニクス株式会社
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nttエレクトロニクス株式会社, 日本電信電話株式会社 filed Critical Nttエレクトロニクス株式会社
Priority to JP01653498A priority Critical patent/JP3824116B2/ja
Publication of JPH11211988K1 publication Critical patent/JPH11211988K1/ja
Publication of JPH11211988A publication Critical patent/JPH11211988A/ja
Application granted granted Critical
Publication of JP3824116B2 publication Critical patent/JP3824116B2/ja
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、顕微鏡画像の静止画像取得システムに関し、特に、全体参照画像作成後、遠隔地にて前記全体参照画像上で注視位置を指定することによって当該注視位置を中心とする高倍率静止画像を遠隔地からでも取得することに適用して有効な技術に関するものである。
【0002】
【従来の技術】
従来、この種の全体参照画像上を指定することによって表示したい位置の高倍率静止画像を取得する手段として、特願平4−162715号の技術を挙げることができる。この技術では標本の全体像を把握するために、プレパラートを顕微鏡のステージにセットする前に専用のマクロ撮影のスタンドにセットして固定のサイズの全体参照画像として撮影し、さらに、高倍率の画像の撮影に関しては、該全体参照画像をブロックに分割し、この分割したブロックを高倍率で撮影している。
【0003】
【発明が解決しようとする課題】
前記の従来技術では、全体参照画像を取得するために、専用のマクロ撮影のスタンドと専用のカメラが必要であった。その結果、全体参照画像を取得するという目的のために、経済的負担を強いられるという問題があった。
【0004】
全体参照画像は、プレパラートを専用のマクロ撮影のスタンドにセットして固定サイズの画像として取込まれるので、顕微鏡のステージ上にプレパラートをセットし直す必要があり、かつ、取込める標本の大きさに制限があった。
【0005】
専用のマクロ撮影のスタンドから顕微鏡のステージへプレパラートをセットし直す結果、専用のマクロ撮影のスタンドにセットして撮影した画像上の座標と、顕微鏡のステージにセットして撮影した画像上の座標との対応をとるのに手間がかかると共に、熟練を要するという問題があった。
【0006】
また、標本の大きさに制限がある結果、標本が大きいときには所定領域の全てを撮影することができない結果必要な部分が表示されない全体参照画像が作成される場合があり、また、標本が小さいときには所定領域が全体参照画像のほんの一部分になってしまい不必要な部分まで取込むという無駄が生じる場合があるという問題もあった。
【0007】
また、高精細静止画像を倍率を変えながら取得するので、似たような画像を含むような部分領域が複数箇所に発生するような病理画像では、特に、全体参照画像中のどの部分領域を何倍の倍率で取得済みであるのかを病理医が覚えておくことが非常に困難である。
【0008】
本発明の目的は、遠隔地からでも顕微鏡の自動移動式ステージに置かれた標本の所定領域の全体参照画像上の必要な部分の高精細画像の取得を効率的に行うことが可能な技術を提供することにある。
【0009】
本発明の他目的は、専用のマクロ撮影のスタンドと専用のカメラを使用することなく元の標本に近い全体参照画像を取得することが可能な技術を提供することにある。
【0010】
本発明の他の目的は、全体参照画像上の任意の位置の位置情報とステージ制御座標値との関連付けを容易にすることが可能な技術を提供することにある。
【0011】
本発明の他の目的は、様々なサイズの全体参照画像を取得することが可能な技術を提供することにある。
【0012】
本発明の他の目的は、受信装置(病理医)側が指定した位置が中心になるような高精細画像の取得を短時間で、かつ容易に行うことが可能な技術を提供することにある。
【0013】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0014】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。
【0015】
(1)顕微鏡の自動移動式ステージに置かれた標本の所定領域の全体参照画像を取得して送信する送信装置と、前記送信された全体参照画像を遠隔地で受信し、その全体参照画像中の注視位置の情報である注視位置情報を送信装置側に送信し、前記注視位置情報に基づいた高倍率画像を要求する受信装置と、を有する顕微鏡画像遠隔制御システムであって、前記送信装置は、前記顕微鏡のステージ制御の方向が変化したかしないかによって画像合成に使用する重複領域の大きさを調整する手段と、前記顕微鏡の自動移動式ステージを前記重複領域があるように制御しながら所定倍率で前記標本の分割撮影を繰り返す手段と、この分割撮影により得られた複数枚の画像とその複数枚の画像それぞれに関する複数個のステージ制御座標値をメモリに取込む手段と、前記メモリ上で前記重複領域があるように分割撮影された複数枚の画像を平面的な位置関係に矛盾が生じないようにつなぎ合わせて前記全体参照画像を作成する手段と、前記複数個のステージ制御座標値を複数個のドット単位の平面座標値に変換する手段と、前記複数枚の画像をつなぎ合わせて作成された全体参照画像に前記複数個のドット単位の平面座標値を付加して前記受信装置に送信する手段と、前記受信装置から受信した前記注視位置情報に基づいて前記注視位置の高倍率画像を取得する手段と、前記高倍率画像を前記受信装置に送信する手段と、有し、前記受信装置は、注視位置の指定を前記ドット単位の平面座標値により指定し、前記送信装置に注視位置情報を送信する手段を有することを特徴とする。
【0017】
)前記()の顕微鏡画像遠隔制御システムにおいて、前記送信装置は、前記顕微鏡のステージ制御の方向によってステージ制御の誤差を計算し画像合成に使用する重複領域の大きさを最適にする手段を有することを特徴とする。
【0018】
)前記(1)またはの顕微鏡画像遠隔制御システムにおいて、前記送信装置は、前記顕微鏡のステージに置かれた標本の所定領域をラインセンサカメラで全体参照画像を作成する手段を有することを特徴とする。
【0021】
前述の手段によれば、顕微鏡の自動移動式ステージを制御しながら所定倍率で前記標本の分割撮影を繰り返し、この分割撮影により得られた画像群をメモリに取込み、該メモリ上で分割撮影された画像群の平面的な位置関係に矛盾が生じないようにつなぎ合わせることによって前記全体参照画像を合成するので、専用のマクロ撮影のスタンドと専用のカメラを用意し、マクロ撮影のスタンドにプレパラートをセットしなくても全体参照画像を取込むことができる。また、専用のマクロ撮影のスタンドを使用したら標本が大きすぎたり小さすぎたりして全体参照画像が適切に取得できなかったものでも、所定領域の全体参照画像を最も適した任意の大きさの画像として合成することができる。
【0022】
また、合成された全体参照画像の任意の座標とステージ制御座標との対応付けがされているので、全体参照画像の任意の座標と顕微鏡のステージ制御座標との対応をとるのに熟練を必要としないし、手間もかからない。
【0023】
また、全体参照画像の注視位置情報をその全体参照画像の座標値で指定し、次の送信画像を該注視位置を中心にその周辺部分を拡大して取得する手段の両方の手段によって次の送信画像の中心の位置を指定し、最も効率的な画像の取得ができる。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施例を詳細に説明する。
【0025】
(実施例1)
図1は本発明の顕微鏡画像遠隔制御システムを実現するためのハードウェア構成を示すブロック図であり、1はCCDカメラ、2は顕微鏡、3は標本、4は自動移動式ステージ(以下、単にステージという)、5は送信装置(例えばパソコンを用いる:臨床側のパソコン)、5Aは送信装置5の表示装置、6は通信回線、7は受信装置(例えばパソコン等を用いる:病理医側のパソコン)である。
【0026】
本実施例1の顕微鏡画像遠隔制御システムは、図1に示すように、送信装置5とCCDカメラ1は、SCSIケーブルで接続され、送信装置5とステージ4は、RS−232Cケーブルで接続されている。送信装置5と受信装置7は通信回路6で接続されている。通信回路6としてはISDN回線、アナログ回線の他に、光ケーブル回線などを用いることもできる。
【0027】
前記CCDカメラ1は顕微鏡2で拡大した標本3を静止画像として撮影する電子撮像装置であり、撮影した静止画像はSCSI等の通信インタフェース経由で送信装置5のメモリに蓄積される。
【0028】
ステージ4は、水平方向に移動させる手段と、動かない座標系であるステージ制御座標を顕微鏡2の上に持ち、送信装置5よりRS−232C等の通信インタフェース経由での指示による基準点がステージ制御座標上の指定した点にくるように水平方向に自動的に移動させる手段と、現在のステージ位置の基準点がステージ制御座標のどこの座標値にあるかをRS−232C等の通信インタフェース経由で送信装置5に取込む手段とを有している。
【0029】
送信装置5は、CCDカメラ1で撮影した画像群をメモリ上に取込む手段と、前記画像群をメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせて全体参照画像を作成する手段と、メモリ上の静止画像を通信回線6を通して受信装置7に送信する手段と、CCDカメラ1で撮影した画像群及び全体参照画像を表示装置5Aに表示する手段と、受信装置7との通信を開始する手段と、送信装置5からの通信を終了する手段と、ステージ4の制御位置を指定する手段とを有する。
【0030】
受信装置7は、送信装置5から送信された静止画像を表示装置7Aに表示する表示手段と、送信装置5との通信を開始する手段と、注視位置を指定する手段と、指定した位置情報を送信装置5に送信する手段と、送信装置5との通信を終了する手段とを有する。
【0031】
通信回線6は診断作業中接続されていても構わないが、この実施例1では、データを送信するときのみに通信回線6を接続するように送信装置5及び受信装置7の通信を開始する手段と通信を終了する手段とを活用することとする。データを送信するときにのみ通信回線6を接続するようにすることによって、通信コストの削減を図ることができる。
【0032】
図2は本実施例1の顕微鏡画像遠隔制御システムの動作を説明するためのフローチャート、図3は本実施例1の顕微鏡画像遠隔制御システムにおけるステージ制御フローチャートであり、本発明中の全体参照画像として取込みたい範囲の座標値に関してステージ4を制御するフローを示す。
【0033】
図1及び図2を参照して送信装置5及び受信装置7内のソフトウェアの動作を以下に説明する。
【0034】
実施例1を説明するために必要である前提条件を記述する。標本3はプレパラートの上に乗せられたもの全体であり、その標本3の中でも診断するために静止画像として受信装置(病理医側)7へ伝送したい部分領域を所定領域という。参照画像は次の送信画像を取得するために使用する画像であり、所定領域の全体参照画像とは所定の全体が含まれる参照画像である。注視位置とは高精細画像を取得したい領域の中心の位置である。
【0035】
顕微鏡2にCCDカメラ1を接続して顕微鏡2で拡大した画像をCCDカメラ1で撮影し、送信装置5に標本3の画像を取込むためには、接眼レンズの代わりにリレーレンズを使用する。対物レンズの倍率、リレーレンズの倍率、それらのレンズを使用したときのCCDカメラ1で取込む画像の実際のサイズとの関係の例を表1に示し、この例を使用して以降の実施例1を説明する。
【0036】
【表1】
【0037】
今、CCDカメラ1で取込んだ画像の顕微鏡2のステージ制御座標は、画像の中央位置のステージ制御座標であるように設定してある。また、顕微鏡1のステージ制御座標はミクロンメートル(μm)単位の値で与えられる。1倍のリレーレンズと4倍の対物レンズを使用してCCDカメラ1で取込んだ静止画像の左上の角の位置のステージ制御座標から中心位置のステージ制御座標へ向かうベクトルをPと定義する。
【0038】
まず、標本3を低倍率レンズでの取込み可能領域で分割してメモリに取込む方法を説明する。この方法は、全体参照画像として取込みたい範囲のステージ制御座標値をメモリに取込む手段と、メモリに取込んだステージ制御座標値に関してステージを制御しながら画像をメモリに取込む手段とに分けられる。
【0039】
以下に、全体参照画像として取込みたい範囲のステージ制御座標値をメモリに取込む手段を説明する。
【0040】
顕微鏡2のステージ4に標本3がセットしてあり、対物レンズは4倍、リレーレンズは1倍になっている。まず、全体参照画像として取込みたい範囲が含まれるような長方形領域の左上の角が取込み可能領域の中央より右下になるような位置でその顕微鏡2のステージ制御座標を取込む。
【0041】
次に、全体参照画像として取込みたい範囲が含まれるような長方形領域の右下の角が取込み可能領域の中心より左上になるような位置でその顕微鏡のステージ制御座標を取込む。全体参照画像の左上のステージ制御座標と右下のステージ制御座標の取込みは、右上のステージ制御座標と左下のステージ制御座標の取込みに置き換えてもよい。
【0042】
図2及び図3を参照して、メモリに取込んだステージ制御座標値に関してステージを制御しながら画像をメモリに取込む手段を説明する。左上のステージ制御座標値を(x1,y1)、右下のステージ制御座標値を(x2,y2)とする。ただし、x1<x2,y1<y2である。また、x1,y1、x2,y2の単位はミクロンメートルである。|x1−x2|/2210≦k1となる最小の自然数k1と、|y1−y2|/1650≦k2となる最小の自然数k2を計算する(S301)。ステージ4を、顕微鏡2の視野の中心が(x1,y1)+Pのステージ制御座標値になるよう制御する(S302)。
【0043】
Pはメモリへの1回の静止画像取込みサイクルにおいて該画像の中心位置を示す(x1,y1)からの相対座標である。分割撮影する静止画像それぞれに1つのPの値が定まる。その位置で1つの分割された320*240ドットの静止画像として顕微鏡画像をメモリに取込み、同時に分割撮影した画像の中心の位置であるステージ制御座標値(x1,y1)+Pをそれぞれの分割画像に対応するよう記録する(S201,S303)。
【0044】
自動移動式ステージ4を取込み可能領域が右方向になるように2210ミクロンメートル移動するように制御し(S304)、顕微鏡画像を320*240ドットの静止画像としてメモリ上に取込み、同時に分割撮影した画像の中心の位置であるステージ制御座標値(x1+2210,y1)+Pを記録する(S307)。これを(k1−1)回繰り返したら、今度はステージを取込み可能領域が下方向になるように1650ミクロンメートル制御し(S309)、同様に320*240ドットの静止画像としてメモリ上に取込み、同時に撮影画像の中心の位置のステージ制御座標値を記録する(S312)。さらに、ステージを取込み可能領域が左方向になるように2210ミクロンメートル制御し(S313)、320*240ドットの静止画像としてメモリ上に取込み、同時に撮影画像の中心の位置のステージ制御座標値を記録する(S316)。同様にステージの制御を行い(S318)、(k1*k2)枚の静止画像のメモリ上への取込みと、それぞれの静止画像の中心の位置のステージ制御座標値の記録を行う(S202,S321)。
【0045】
次に、図2を参照して、メモリに取込んだ320*240ドットの静止画像群をメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせて全体参照画像を作成する方法を説明する。
【0046】
メモリに取込んだ320*240ドットの静止画像群をメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせて全体参照画像を作成するために、分割撮影された静止画像の中心の位置に記録された顕微鏡のステージ制御座標値をドット単位の平面座標値に変換する(S203)。
【0047】
変換の方法としては、中心の位置に記録されたステージ制御座標値(xi,yi)(単位はミクロンメートル)を平面座標値((xi−x1)/6.9+160,(yi−y1)/6.9+120)=(x,y)(単位はドット)(6.9=320/2210)に変換する方法を採用する。この方法を採用することによって、顕微鏡のステージ制御座標を撮影された画像上の位置を示すドット単位の平面座標に変換することができ、かつ画像の左上の角の平面座標値を(0,0)とすることができる。
【0048】
メモリ上に記録されている(k1*k2)枚の320*240の静止画像を、それぞれの画像の中心の位置として記録されている平面座標値に基づいて平面座標軸上に順番に配置することによって、画像をつなぎ合わせて、全体参照画像を作成する(S204)。ここで、画像を見やすくするためにシームレス処理を行ったり、320*240の静止画像群に発生する輝度のむらをなくすための画像処理を行っても良い。
【0049】
受信装置7との通信を開始する手段で回線を接続する。ドット単位の平面座標値が(k1*k2)箇所に記録された全体参照画像を受信装置7に送信する(S205)。全体参照画像送信終了時に受信装置7のパソコンとの通信を終了する手段で回線を切断する。
【0050】
受信装置7ではドット単位の平面座標値が(k1*k2)箇所に記録された全体参照画像を受信し、表示装置(ディスプレイ)7Aに表示する。
【0051】
次に、注視位置を指定し、この指定された注視位置の平面座標値を取得する方法について説明する。
【0052】
受信したドット単位の平面座標値が記録された全体参照画像上で、高精細静止画像を取得したい注視位置を指定する。全体参照画像の左上の角の平面座標値が(0,0)であることから前記指定した注視位置のドット単位の平面座標値を計算する。あるいは、前記指定した注視位置の平面座標値と(k1*k2)個の全体参照画像上に記録されている平面座標値との距離を計算して、距離の値が最も小さい全体参照画像上の位置と平面座標値を認識し、その位置から何ドットずつ離れているか計算して指定した注視位置の平面座標値を求めてもよい(S206)。
【0053】
以上の方法で指定した注視位置の平面座標値を求めたら、送信装置5のとの通信を開始する手段で通信回線6を接続し、指定した注視位置のドット単位の平面座標値を送信装置5に送信する(S207)。座標値送信終了時に送信装置5との通信を終了する手段で通信回線6を切断する。
【0054】
受信した平面座標値を顕微鏡2上のミクロンメートル単位のステージ制御座標に変換する(S208)。変換の方法としてはドット単位の平面座標値を(x,y)としたとき、ステージ制御座標値(xi,yi)=((x−160)*6.9+x1,(y−120)*6.9+y1)を採用する。この座標値の変換については、受信装置7で座標データの送信をする前に行って、ミクロンメートル単位の顕微鏡2のステージ制御座標値を送信装置5に送信しても良い。
【0055】
受信装置7で座標データの送信をする前に行って、ミクロンメートル単位の顕微鏡2のステージ制御座標値を送信装置5に送信しても良い。
【0056】
受信装置7が指定した注視位置を次の送信画像の中心とするために、ステージ制御座標値が((x−160)*6.9+x1,(Y−120)*6.9+y1)になるようにステージを制御する(S209)。高倍率の対物レンズで、高精細静止画像としてメモリに取込む。
【0057】
高精細静止画像としてメモリに取込んだら、受信装置7との通信を開始する手段で通信回線6を接続する。該高精細静止画像を受信装置7に送信する(S210)。該高精細静止画像送信終了時に受信装置7との通信を終了する手段で通信回線6を切断する。
【0058】
以上の本実施例1の説明では、全体参照画像を4倍の対物レンズで作成すること、リレーレンズが1倍であることを前提に述べたが、勿論、その他の倍率でも構わない。その場合は、その倍率の対物レンズ、リレーレンズで拡大したときの取込んだ画像の実際のサイズから計算式を算出し直す。
【0059】
また、データ送信時に通信回線6を切断し、データ送信終了時に通信回線6を切断する実施例について述べたが、送信装置5及び受信装置7のどちらかの手段として通信回線6が接続されている場合、例えば、15秒以上データが送信されてこなかったら自動的に通信回線6を切断するような手段を持たせてもよい。
【0060】
本実施例1の顕微鏡画像遠隔制御システムの用途として遠隔病理診断について説明する。
【0061】
まず、送信装置(臨床側)5は標本3を顕微鏡2のステージ4にセットし、対物レンズを4倍にする。全体参照画像として取得する範囲を決定しその範囲が含まれるような長方形領域を決める。その長方形領域の左上の角が取込み可能領域の中心より右下にくるようにステージ4を制御する。その位置の顕微鏡2のステージ制御座標を取込む。さらに、前記長方形領域の右下の角が取込み可能領域の中心より左下にくるようにステージ4を制御する。その位置の顕微鏡のステージ制御座標を取込む。
【0062】
前記ステージ座標群を基に、送信装置(臨床側)5のパソコンの「ステージ4を制御しながら画像をメモリに取込む手段」及び「メモリに取込んだ静止画像群をメモリ上でつなぎ合わせて全体参照画像を作成する手段」が働き、全体参照画像が作成され、表示装置5Aに表示される。
【0063】
全体参照画像を受信装置(病理医側)7に送信する。対物レンズを高倍率に換えておく。
【0064】
受信装置7は受信した全体参照画像を見て、注視位置をクリックするなどして指定する。受信装置7の「指定した位置の平面座標値を取得する手段」及び「指定した位置の平面座標値を送信装置へ送信する手段」が働き、指定した注視位置の平面座標値が送信装置5へ送信される。
【0065】
送信装置5はその送信を受信し、送信装置5の「受信した平面座標値をステージ制御座標に変換する手段」及び「該ステージ制御座標値が画像の中心の位置のステージ制御座標値と同一になるようにステージを制御する手段」が働き、高倍率の高精細静止画像が作成され、表示装置5Aに表示される。前記高精細静止画像を受信装置7のパソコンに送信する。
【0066】
受信装置7では前記高精細静止画像を表示装置7Aに表示し、診断を下す。他の注視位置の高精細静止画像を取得したいときは、再度全体参照画像上で注視位置を指定することによって、同様に取得する。
【0067】
以上の説明からわかるように、本実施例1によれば、顕微鏡2のステージ4を制御しながら所定倍率で標本3の分割撮影を繰り返し、この分割撮影により得られた画像群をメモリに取込み、該メモリ上で分割撮影された画像群の平面的な位置関係に矛盾が生じないようにつなぎ合わせることによって全体参照画像を作成するので、専用のマクロ撮影のスタンドと専用のカメラを用意し、マクロ撮影のスタンドにプレパラートをセットしなくても全体参照画像を取込むことができる。また、専用のマクロ撮影のスタンドを使用したら標本が大きすぎたり小さすぎたりして全体参照画像が適切に取得できなかったものでも、所定領域の全体参照画像を最も適した任意の大きさの画像として作成することができる。
【0068】
また、作成された全体参照画像の任意の座標とステージ制御座標との対応付けがされているので、全体参照画像の任意の座標と顕微鏡のステージ制御座標との対応をとるのに熟練を必要としないし、手間もかからない。
【0069】
また、全体参照画像の注視位置情報をその全体参照画像の座標値で指定し、次の送信画像を該注視位置を中心にその周辺部分を拡大して取得する手段の両方の手段によって次の送信画像の中心の位置を指定し、最も効率的な画像の取得ができる。
【0070】
(実施例2)
前記実施例1では送信装置5及び受信装置7のパソコン上で指定したステージ制御座標値とメモリに取込んだ画像の中心の位置の実際のステージ制御座標値とが完全に一致することを前提として説明したが、顕微鏡2のステージ制御の精度によって受信装置7のパソコン上で指定したステージ制御座標値とメモリに取込んだ画像の中心の位置の実際のステージ制御座標値とが異なっている場合がある。それ故、前記実施例1に従って全体参照画像を作成すると所定領域中に全体参照画像上に表示されないような部分画像領域が発生してしまう可能性がある。
【0071】
その問題を解決するためには、以下のことを行う。
【0072】
図4は本発明の実施例2のステージを制御しながら画像を取込む手段を説明するための図である。図4中の実線の四角はCCDカメラ1で撮影しメモリに取込む画像を示し、点線の四角は実線の四角のうち全体参照画像を作成するためにメモリに取込む画像を示し、矢印はステージの移動を示している。
【0073】
本実施例2でも前記実施例1と同様に標本3をメモリへの取込み可能領域で分割して、その後その分割に基づいてステージ4を制御しメモリに取込む。さらにメモリに取込んだ画像をつなぎ合わせて全体参照画像を作成するという方法をとる。しかし、本実施例2では前記実施例1と異なり、図4に示すように、画像が重複するようにステージ4を制御し画像をメモリに取込む。そして、その重複領域中の同一の大きさの長方形画像同士の差を求めることによってその差がもっと小さくなるように画像をつなぎ合わせる位置を決める方法を採用する。
【0074】
前記長方形画像は、例えば1枚目にメモリに取込んだ画像と2枚目のメモリに取込んだ画像の重複領域の長方形部分領域、2枚目にメモリに取込んだ画像と3枚目にメモリに取込んだ画像の重複領域の長方形部分領域といったように、ステージ4を制御するその前後の画像の重複領域の長方形部分領域とする。つなぎ合わせる隣接する2枚の画像に対して顕微鏡2のステージ制御誤差が生じなかった場合重なって取込まれる領域を重複領域とする。
【0075】
図5はステージ制御前の重複領域中の小領域を示す図、図6は隣接する画像の重複領域の大きさを求める処理手順を示すフローチャート、図7はメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせる処理手順を示すフローチャートである。
【0076】
図4、図5、図6、図7を参照して、本実施例2の送信装置5内のソフトウェアの動作を次に説明する。
【0077】
この実施例2では顕微鏡2のステージ制御の精度が10ミクロンメートル以下であることを前提とする。また、2つの画像をつなぎ合わせるために必要な2つの画像の重なり合った長方形部分画像領域の短いほうの一辺の画素数を適当に決める。数値が大きければつなぎ合わせの精度は高くなるが処理に時間がかかるし、数値が小さければ処理にかかる時間が少なくてすむが精度が下がることを考慮して、適当な数値を設定する。本実施例2では20ドットと定める。
【0078】
機器の構成や機能、レンズの倍率による画像の実際のサイズ等の前提条件は、前記実施例1と同様とする。また、以下の説明では、全体参照画像は前記実施例1と同様に4倍の対物レンズ、1倍のリレーレンズを使用する。
【0079】
図6を参照して、あらかじめ、つなぎ合わせる二つの画像の重複領域の短いほうの一辺の大きさを求めておく(S601)。これは{(つなぎ合わせに必要な画素数)ドット+(ステージ制御の最大誤差)ドット×2}をミクロンメートル単位に計算しなおすことによって求める(S602)。これは対物レンズとリレーレンズの倍率に依存する。なぜならば、ステージ制御最大誤差10ミクロンメートルがその倍率で拡大したとき何ドットに相当するかが変わってくるからである。
【0080】
対物レンズの倍率が4倍でリレーレンズが1倍の場合、ステージ制御の最大誤差10ミクロンメートルは、10*320/2210=1.4より、ステージ制御の最大誤差は2ドットと計算できる。{(ステージ制御の最大誤差)ドット×2+(つなぎ合わせに必要な画素数)ドット}=2*2+20=24となり、24ドット必要という結果になる。24ドットは24*2210/320=165.8となり、この場合2つの画像の重複領域の短いほうの一辺は標本3の実際の大きさで166ミクロンメートル必要と計算できる(S603)。
【0081】
以上の計算より、全体参照画像を作成するためにメモリに取込む部分はメモリに取込んだ画像の上下左右端から166/2=83ミクロンメートル分、24/2=12ドットずつを取り除いた部分領域を中心にステージ制御の最大誤差である2ドットを限界に上下左右にずらした25通りの部分領域画像のうちのいづれかということになる。その部分領域画像の大きさは図4の点線の四角で示したように、2210−166=2044、1650−166=1484より2044*1484(ミクロンメートル)である。
【0082】
次に、標本を低倍率レンズでの取込み可能領域で分割してメモリに取込む方法を説明する。この方法は、全体参照画像として取込みたい範囲のステージ制御座標値をメモリに取込む手段と、メモリに取込んだステージ制御座標値に関してステージ制御座標値をメモリに取込む手段と、メモリに取込んだステージ制御座標値に関してステージを制御しながら画像をメモリに取込む手段とに分けられる。
【0083】
全体参照画像として取込みたい範囲のステージ制御座標値をメモリに取込む手段については前記実施例1のとおりとする。
【0084】
図4を参照してメモリに取込んだステージ制御座標値に関してステージを制御しながら画像をメモリに取込む機能を説明する。この手段はほとんど前記実施例1の手段と同様であるので、前記実施例1と違う点だけを述べる。
【0085】
メモリに取込む部分領域画像の大きさが2044*1484(ミクロンメートル)であるので、k1,k2を求める計算式は(|x1−x2|)/2044≦k1、(|y1−y2|)/1484≦k2である。最初にステージを制御するステージ制御座標値は(x1−83,y1−83)+Pであり、最初に記録するステージを制御座標値も(x1−83,y1−83)+Pである。ステージの制御については、左右方向は2044ミクロンメートル、下方向は1484ミクロンメートル制御する。
【0086】
図7を参照して、メモリに取込んだ320*240の静止画像群をメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせて全体参照画像を作成する方法を説明する。この方法は、ステージ制御前の重複領域中の小領域を指定する方法と、相関係数を計算して合成位置を決定し画像をつなぎ合わせる方法とに分けられ、両方法を組み合わせて全体参照画像を作成する。
【0087】
まず、一枚目の静止画像をメモリに取込む。取込む画像は320*240で取込んだ画像のうち、上下左右12ドットずつを取り除いた296*216の画像とする。
【0088】
図5を参照しながらステージ制御前の重複領域中の小領域を指定する方法を説明する。ステージ制御によって移動する方向の端から24ドットの領域をステージ制御前の重複領域とする(S701)。ステージを左右に制御するときは24*240の静止画像であり、ステージを下方向に制御するときは320*24の静止画像である。ここではステージを左右に制御するときを説明する。x座標方向の24ドットのうち両端の2ドットずつ、合計4ドットと、y座標方向の240ドットのうち両端の2ドットずつ、合計4ドットはステージ制御の誤差を考慮するとメモリに取込まれていない可能性があるので、24*240の画像の端から2ドットずつ切り取った20*236の画像Aをステージ制御前の重複領域中の小領域と指定する(S702)。
【0089】
相関係数を計算して合成位置を決定し画像をつなぎ合わせる方法を説明する。ステージ制御後の静止画像中でステージ制御前の画像と重なると計算される部分の24*240の静止画像Bを考える(S703)。24*240の静止画像の中には20*236の静止画像が25通り考えられる。これらを任意にB1〜B25とする(S704)。Nを1〜25の自然数とする。F(i,j)を画像Aの画素(i,j)の画素値、GN(i,j)を画像BNの画素(i,j)の画素値とする。ここで画素値とは画素の特徴量であり、同一画像の同一画素で比較した場合同一値となり、異なった画像の任意の画素同士を比較した場合異なった値を示すものである。また、画像Bの画素(1,1)から画像BNの画素(1,1)へ向かうベクトルをPN(PNx,PNy)とする(S705)。画像Aと画像BNの差をとる。計算式としては、x≧0のときf(x)が0以上でかつ単調増となるようなfにおいて、HN=ΣΣf(|F(i,j)−GN(i,j)|)(i=1,2,3,…20,j=1,2,3,…236)を採用する(S706)。例えば、f(x)=x2などが考えられる。HNが最も小さくなるNの値を求める(S707)。Nが一意に決まらない場合(S708)は、その中でもPNが(2,2)に最も近いものを選択する(S709)。それでも一意に決まらなければ、例えばNの値が最も小さいものを採用するといったルールを決めておく(S710,S711)。ステージ制御後の画像のうち左上の画素が(10+PNx,10+PNy)であるような296*216の静止画像をメモリに取込む(S712)。これを(k1*k2−1)回繰り返し(k1*k2)枚の静止画像をメモリに取込むことによって、全体参照画像を作成する。
【0090】
静止画像の中心の位置に記録された顕微鏡のステージ制御座標をドット単位の平面座標値に変換する。変換の方法としては、前記実施例1と同様に中心の位置に記録されたステージ制御座標値(xi,yi)を平面座標値((xi−x1)/6.9+160,(yi−y1)/6.9+120)に変換する方法を採用する。
【0091】
受信装置(病理側)7のパソコンとの通信を開始する機能で回線を接続する。ドット単位の平面座標値が(k1*k2)箇所に記録された全体参照画像を病理側に送信する。全体参照画像送信終了時に受信装置(病理側)7のパソコンとの通信を終了する手段で通信回線6を切断する。
【0092】
受信装置(病理側)7ではドット単位の平面座標値が(k1*k2)箇所に記録された全体参照画像を受信し、表示装置(ディスプレイ)7Aに表示する。
【0093】
注視位置を指定し、該注視位置の平面座標値を取得する方法について説明する。受信したドット単位の平面座標値が記録された全体参照画像上で、高精細静止画像を取得したい注視位置を指定する。指定した注視位置との距離がもっとも小さくなるような位置を(k1*k2)個の平面座標値の記録されている位置の中から求め、その位置から何ドットずつ離れているかを計算して前記求めた静止画像の中心位置の平面座標値と合わせ、指定した注視位置の平面座標値を求める。
【0094】
以上の方法で指定した注視位置の平面座標値を求めたら、残りの説明は前記実施例1と同様である。
【0095】
本実施例2ではステージ制御の誤差と、画像をつなぎ合わせるために必要な2つの画像の重なり合った長方形部分画像領域の大きさを決めて、その値に従って画像が重複するようにメモリに取込む。そのため、所定領域中に全体参照画像上に表示されないような部分領域が発生することがないという効果が得られる。また、画像をつなぎ合わせる位置を計算してつなぎ合わせるので、実際の標本と同一又はそれに近い全体参照画像が作成できるという効果も得られる。
【0096】
また、全体参照画像に(k1*k2)個の平面座標値を付加して送信し、注視位置の指定を当該平面座標により指定することにより、静止画像の画素の精度よりステージ制御座標の精度の方が良いという条件、例えば、静止画像の画素の精度は1ドット6.9ミクロンメートルであり、ステージ制御座標の精度は1ミクロンメートルである場合、全体参照画像の注視位置を指定したときの目的とするステージ制御座標値の取得の精度を高めることができる。
【0097】
前記(k1*k2)個の平面座標値を付加しなかった場合、重ね合わせの際にサブピクセルの誤差が生じる。重ね合わせを繰り返すと誤差は重畳する。重畳された誤差は、全体参照画像上で位置を指定した際のステージ制御の誤差にそのまま反映される。これに対して、本実施例1の方法では、(k1*k2)個の平面座標値を付加しているので、合成時にサブピクセルがずれていようが、その誤差が重畳されようが、指定した位置の位置情報は最も近い(k1*k2)個の平均座標値の中の値からの距離として計算されるので、指定した目的とするステージ制御座標値に近い値を取得することができる。
【0098】
これにより全体参照画像の作成において、個々の分割画像の位置がずれたとしても当該分割画像の中心位置は分割画像と一体的にずれるため当該中心位置から求めた注視位置の位置ずれは発生しない。
【0099】
(実施例3)
前記実施例2では顕微鏡ステージ制御の誤差の最大値から重複領域の大きさを計算し顕微鏡2のステージ4を制御した。それ故、前記実施例2に従って全体参照画像を作成すると重複領域が必要以上に大きくなってしまう箇所が発生する。その問題を解決するためには、以下のことを行う。
【0100】
ステージ制御時の誤差の特徴として同一の方向に制御させたときの誤差は少なく、ステージ制御の方向を変えたときの誤差は大きいということがいえる。従って、本実施例3では前記実施例2とは異なり、ステージ制御の方向が変化したかしなかったかによって、つなぎ合わせる二つの画像の重複領域の短いほうの一辺の大きさを調整する。
【0101】
本実施例3では顕微鏡のステージ制御の誤差の最大値は10ミクロンメートルであり、ステージ制御の方向が直前にステージを制御した方向と同一であればその場合の顕微鏡のステージ制御の誤差の最大値は5ミクロンメートルであると定める。
【0102】
図6を参照して、あらかじめ、つなぎ合わせる二つの画像の重複領域の短いほうの一辺の大きさを求めておく。ステージ制御の方向が直前のステージ制御の方向と変化する場合は、前記実施例2と同様に二つの画像の重複領域の短いほうの一辺は標本の実際の大きさで166ミクロンメートルと計算できる。
【0103】
また、ステージ制御の方向が直前のステージ制御の方向と同一の場合についても計算する。5*320/2210=0.7より、ステージ制御の最大誤差は1ドットである。{(ステージ制御の最大誤差)ドット×2+(つなぎ合わせに必要な画素数)}=1*2+20=22(ドット)は22*2210/320=151.9(ミクロンメートル)であり、この場合、二つの画像の重複領域の短いほうの一辺は標本3の実際の大きさで152ミクロンメートル必要であると計算できる。
【0104】
以上の計算より、全体参照画像を作成するためにメモリに取込む部分はメモリに取込んだ画像の上下端から12ドットずつ、左右端からはステージ制御の方向によって12ドットあるいは11ドットそれぞれ取り除いた部分領域を中心に、166ミクロンメートル重複するようにメモリに取込んだ後の画像はステージ最大誤差である2ドットを限界に上下左右にずらした25通りの部分領域画像のうちのいづれか、152ミクロンメートル重複するようにメモリに取込んだ後の画像はステージ最大誤差である1ドットを限界に上下左右にずらした9通りの部分領域画像のうちいづれかということになる。
【0105】
図8はステージを制御しながら画像をメモリに取り込む手段を説明するための図である。図8を参照してメモリに取込んだステージ制御座標値に関してステージを制御しながら画像をメモリに取込む手段を説明する。|x1−x2|≦2210*k1−166*2−152(k1−2)より、k1を求める計算式はk1≧(|x1−x2|+28)/2058である。k2を求める計算式は変わらない。
【0106】
ステージ4を166ミクロンメートル重複するように制御する前の画像Aの指定の方法、及びステージ制御後の画像とのつなぎ合わせの方法は、前記実施例2と同様であるので、ステージ4を152ミクロンメートル制御するときのステージ制御の画像Aの指定方法、及びステージ制御後の画像とのつなぎ合わせの方法について説明する。
【0107】
まず、ステージ制御前の重複領域中の小領域を指定する方法を説明する。
【0108】
ステージ制御によって移動する方向の端から22ドットの領域をステージ制御前の重複領域とする。ステージは左右に制御されるので、22*240の静止画像である。x座標方向の22ドットのうち両端の1ドットずつ、合計2ドットと、y座標方向の240ドットのうち両端の1ドットずつ合計2ドットは、ステージ制御の誤差を考慮すると、メモリに取込まれない可能性があるので、22*240の画像の端から1ドットずつを切りとった20*238の画像Aをステージ制御前の重複領域中の小領域と指定する。
【0109】
相関係数を計算して合成位置を決定し画像をつなぎ合わせる方法を説明する。ステージ制御後の静止画像中でステージ制御前の画像と重なると計算される部分の22*240の静止画像を考える。22*240の静止画像中には20*238の静止画像が9通り考えられる。これらを任意にB1〜B9とする。Nを1〜9の自然数とする。F(i,j)、GN(i,j)、PN、HNを前記実施例2と同様に定義する。前記実施例2と同様にHNが最小になるNの値を求める。Nが一意に決まらなければ、その中でもPNが(1,1)に最も近いものを選択する。ステージ制御後の画像のうち左上の画素が(10+PNx,10+PNy)であるような298*218の静止画像をメモリに取込む。(k1*k2)枚の静止画像をメモリに取込むことによって全体参照画像を作成する。
【0110】
本実施例3ではステージ制御の方向によって、適用する2つの画像の重なり合った長方形部分画像領域の大きさを決定する。そのため、静止画像としてメモリに取込む画像の枚数が減少するので、取込みにかかる時間が短縮できるという効果が得られる。また、重複領域を小さく設定できるので、2つの画像の合成にかかる時間も短縮できるという効果も得られる。取込みにかかる時間と画像の合成にかかる時間の両方が短縮できることによって、全体参照画像作成にかかる時間は大きく短縮できる。
【0111】
(実施例4)
前述の実施例1,2,3ではCCDカメラ1で取込んだ静止画像を合成することによって全体参照画像を作成した。それ故、前述の実施例1,2,3に従って全体参照画像を作成すると輝度にむらができる結果、画像をつなぎ合わせた個所が目立ってしまい、実際の標本とは異なった画像として全体参照画像が作成されてしまうという問題があった。
【0112】
この問題を解決するためには、以下のことを行う。静止画像をCCDカメラ1で取込むため輝度にむらが生じる。従って、本実施例4では前述の実施例1,2,3とは異なり、全体参照画像を作成するためにラインセンサカメラを使用することによって輝度のむらを軽減する。
【0113】
図9は本発明の実施例4の全体参照画像を作成する手段を説明するための図であり、1はラインセンサカメラである。
【0114】
ラインセンサの仕様によるが、本実施例4でのラインセンサカメラ1Aの画素数は1024画素、1画素サイズは14*14ミクロンメートル(μm)であるとする。また、ステージ制御の最大誤差は10ミクロンメートルであり、2つの画像をつなぎ合わせるのに必要な2つの画像の重なり合った長方形部分画像領域の短いほうの一辺の画素数を20ドットとする。
【0115】
図9を参照してステージを制御しながらラインセンサで全体参照画像を作成する手段を説明する。図6を参照して、あらかじめ、つなぎ合わせる二つの画像の重複領域の短いほうの一辺の大きさを求めておく。ステージ制御の最大誤差10ミクロンメートルは1ドットであるので、2つの画像の重複領域の短いほうの一辺の大きさは22ドット、22*14=308ミクロンメートル必要と計算できる。前述の実施例1,2,3と同様の方法で全体参照画像として取込みたい範囲のステージ制御座標を取込む。|y1−y2|/14028≦k2となる最小の自然数k2を計算する。ラインセンサカメラ1Aで取込むラインの一番上のステージ制御座標値が(x1−154,y1−154)になるように制御する。ステージを右方向にx座標値が(x2+154)になるまで制御し、画像をメモリに取込み左上の位置にステージ制御座標値(x1−154,y1−154)を記録する。メモリに取込まれた静止画像のx座標方向の大きさは(x2−x1+308)/14ドットである。ラインセンサで取込むラインの一番上のステージ制御座標値が(x1−154,y1+13874)になるように制御する。同様にステージ4を右方向にx座標値が(x2+154)になるまで制御し、画像をメモリに取込み左上の位置にステージ制御座標値(x1−154,y1+13874)を記録する。これを(k2−1)回繰り返し、k2枚の静止画像のメモリへの取込みと左上の位置のステージ制御座標値の記録を行う。
【0116】
一枚目の静止画像をメモリに取込む。取込む画像は{(x2−x1+308)/14}*1024で取込んだ画像のうち、上下左右11ドットずつを取り除いた静止画像である。
【0117】
次の画像との重複領域中の小領域を指定する方法を説明する。次の画像との重複領域は静止画像中の下端から22ドットにあたる部分である{(x2−x1+308)/14}*22の静止画像であり、ステージ制御の最大誤差は1ドットであるので、前述の実施例1,2,3と同様に計算すると、重複領域中の小領域Aは、[{(x2−x1+308)/14}−2]*20の上下左右端から1ドットずつを切り取ったものである。
【0118】
相関係数を計算して合成位置を決定し画像をつなぎ合わせる方法を説明する。次の画像中で前の画像と重なると計算される静止画像中の上端から22ドットにあたる部分である{(x2−x1+308)/14}*22の静止画像を画像Bとする。画像Bの中には〔{(x2−x1+308)/14}−2〕*20の静止画像が9通り考えられる。これらを任意にB1〜B9とし、以降の全体参照画像の作成の方法は前記実施例3と同様とする。
【0119】
本実施例4によれば、一枚の静止画像が前述の実施例1,2,3で得られる静止画像と比較して大きいため全体参照画像を取込む枚数が少なくて済み、その結果、画像合成を行う回数を削減することができる。画像合成を行う回数が削減できることにより、合成にかかる時間が短縮できるという効果が得られるとともに、実際の標本と同一の全体参照画像が作成されやすいという効果が得られる。
【0120】
また、顕微鏡のステージに置かれた標本の所定領域の全体参照画像を、顕微鏡のステージを制御しながらラインセンサでスキャンし、該画像群をメモリに取込み、該メモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせることによって合成する手段により、専用のマクロ撮影のスタンドを用意し、該マクロ撮影のスタンドにプレパラートをセットしなくても、全体参照画像を取込むことができる。
【0121】
また、平面で撮影するCCDカメラでは一枚の静止画像中で画像の中心と端とでは輝度が違うので、つなぎ合わせたときにつなぎ目が顕著になってしまうが、ラインセンサでスキャンすることにより、横にスキャンすれば縦方向の、縦にスキャンすれば横方向のつなぎ目が発生しないので、その分元の標本3と近い画像を作成することができる。これにより、前述の実施例1,2,3ほど頻繁に輝度によって合成位置が顕著になる部分のない全体参照画像が作成できるという効果が得られる。
【0122】
(実施例5)
前述の実施例1では全体参照画像上の注視位置を受信装置(病理医側)7が指定することによって、前記注視位置を中心とする静止画像を取得した。しかし、似たような画像を含むような部分領域が複数箇所に発生するような病理画像では特に、全体参照画像中のどの部分領域を何倍の倍率で取得済みであるのか病理医が覚えておくことは困難である。そのため、同一の注視位置の静止画像を複数枚取得してしまうことがあり得る。また、取得済みの静止画像と大半の部分が重複するような静止画像を取得してしまうことがあり得る。
【0123】
この問題を解決するために、受信装置7が取得した画像の位置情報を受信装置7が保持し、同一の個所の画像や、大部分が同一になるような個所の画像を取得するのを防止する。
【0124】
本実施例5では受信装置7が取得済みの画像と同一の画像や、大部分が同一になるような画像の取得を防止する方法を説明する。全体参照画像は対物レンズ4倍で作成されているとする。
【0125】
受信装置7が全体参照画像を取得し、注視位置を指定するまでの実施例は前述の実施例1〜4と同様とする。
【0126】
あらかじめ、対物レンズを指定したときのその倍率での全体参照画像として取込まれる静止画像の範囲が全体参照画像中の何ドット四方になるかを計算する。例えば、高精細画像を10倍の対物レンズで取得すると、例えば表1により、取得される標本3の実際の大きさは900*690ミクロンメートルになる。900*690ミクロンメートルは全体参照画像上においては、130*100の画像が高精細静止画像として取得される。対物レンズが20倍、40倍の場合もあらかじめ同様の方法で計算しておく。
【0127】
受信装置7が取得した画像の静止画像の位置情報を視覚的に全体参照画像上に表示する方法を説明する。まず、高精細静止画像を取得する対物レンズの倍率を合わせ、その倍率データをパソコンに持たせる。本実施例5では対物レンズを10倍とする。対物レンズ10倍は全体参照画像上の130*100の静止画像に相当する。
【0128】
受信装置7が注視位置を指定すると同時にその注視位置が中心になるような130*100の静止画像を四角の点線で囲む。高精細静止画像を取得する部分領域がその位置でよければ、例えば、「高精細画像取得」ボタンを押下する等の合図をすることによって、全体参照画像上に表示した点線の四角を実線の四角に置き換える。さらに、前述の実施例と同様に当該注視位置の平面座標値を取得し、以降も前述の実施例1〜4と同様に受信装置7は目的の高精細静止画像を取得する。
【0129】
さらに、高精細静止画像を取得するときは、高精細静止画像を取得する対物レンズの倍率を合わせ、その倍率データをパソコンに持たせる。以降同様に高精細静止画像を取得する部分領域を点線で囲み、その位置でよいかどうかを確認して、点線の四角を実線の四角に置き換え、さらに病理側は高精細静止画像を取得する。
【0130】
四角の大きさの大小でレンズの倍率を推測することはできるが、例えば、対物レンズの倍率が4倍だったら赤の点線で表示し、高精細静止画像として取得したら赤の実線の四角を表示、また、対物レンズの倍率が10倍だったら青の点線で表示し、高精細静止画像として取得したら青の実線の四角を表示するというように倍率によって色分けをしたら、受信装置7が全体参照画像を見たときにどの部分領域を何倍の対物レンズの高精細静止画像として取得したか一目瞭然である。
【0131】
本実施例5では、すでに高精細静止画像として取得した部分領域の画像を再度高精細静止画像として取得するかどうかを確認しながら高精細静止画像の取得を行うことができるので、不必要な画像の取得を行う時間を削減できるという効果が得られる。
【0132】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0133】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
【0134】
(1)従来のように専用のマクロ撮影のスタンドと専用のカメラを使用することなく全体参照画像を取得することができるという効果に加え、プレパラートを2つのステージにわたって移動させる必要がないため全体参照画像上の所定の位置の位置情報とステージ制御座標値との関連付けが容易にできる。
【0135】
(2)全体参照画像を作成する範囲を指定することによって効率よく、様々なサイズの全体参照画像が取得できる。
【0136】
(3)全体参照画像上で注視位置を指定し、該注視位置のステージ制御座標値にステージを自動制御することによって、受信装置側(病理医側)が指定した位置が中心になるような高精細画像の取得を短時間で、かつ容易に行うことができる。
【0137】
(4)顕微鏡の誤差を考慮して重複するように静止画像を取得することによって、より元の標本に近い全体参照画像を取得することができる。
【0138】
(5)輝度差がより顕著にならないラインセンサを使用して静止画像を取得することによって、より元の標本に近い全体参照画像を取得することができる。
【0139】
(6)受信装置側(病理医側)が高精細静止画像を取得した場所を全体参照画像上に視覚的に表示することによって、同一個所の高精細静止画像あるいは大半が重複するような高精細静止画像を取得することを防止することによって、必要な部分の高精細画像の取得を効率的に行うことができる。
【図面の簡単な説明】
【図1】本発明の実施例1の顕微鏡画像遠隔制御システムを実現するためのハードウェア構成を示すブロック構成図である。
【図2】本実施例1の顕微鏡画像遠隔制御システムの動作を説明するためのフローチャートである。
【図3】本実施例1の顕微鏡画像遠隔制御システムを実現するための処理フローを示す図である。
【図4】本発明の実施例2のステージを制御しながら画像をメモリに取込む手段を説明するための図である。
【図5】本実施例2のステージ制御前の重複領域中の小領域を示す図である。
【図6】本実施例2の隣接する2つの画像の重複領域の大きさを求める処理手順のフローチャートである。
【図7】本実施例2のメモリ上で平面的な位置関係に矛盾が生じないようにつなぎ合わせる処理手順のフローチャートである。
【図8】本発明の実施例3のステージを制御しながら画像をメモリに取込む手段を説明するための図である。
【図9】本発明の実施例4のステージを制御しながらラインセンサカメラで全体参照画像を作成する手段を説明するための図である。
【図10】本発明の実施例5の全体の参照画像上に高精細静止画像取得位置情報を表示する手段を説明するための図である。
【符号の説明】
1…CCDカメラ、1A…ラインセンサカメラ、2…顕微鏡、3…標本、4…自動移動式ステージ、5…送信装置(臨床側のパソコン)、5A…送信装置の表示装置、6…通信回線、7…受信装置(病理医側のパソコン)。

Claims (3)

  1. 顕微鏡の自動移動式ステージに置かれた標本の所定領域の全体参照画像を取得して送信する送信装置と、前記送信された全体参照画像を遠隔地で受信し、その全体参照画像中の注視位置の情報である注視位置情報を送信装置側に送信し、前記注視位置情報に基づいた高倍率画像を要求する受信装置と、を有する顕微鏡画像遠隔制御システムであって、
    前記送信装置は、前記顕微鏡のステージ制御の方向が変化したかしないかによって画像合成に使用する重複領域の大きさを調整する手段と、前記顕微鏡の自動移動式ステージを前記重複領域があるように制御しながら所定倍率で前記標本の分割撮影を繰り返す手段と、この分割撮影により得られた複数枚の画像とその複数枚の画像それぞれに関する複数個のステージ制御座標値をメモリに取込む手段と、前記メモリ上で前記重複領域があるように分割撮影された複数枚の画像を平面的な位置関係に矛盾が生じないようにつなぎ合わせて前記全体参照画像を作成する手段と、前記複数個のステージ制御座標値を複数個のドット単位の平面座標値に変換する手段と、前記複数枚の画像をつなぎ合わせて作成された全体参照画像に前記複数個のドット単位の平面座標値を付加して前記受信装置に送信する手段と、前記受信装置から受信した前記注視位置情報に基づいて前記注視位置の高倍率画像を取得する手段と、前記高倍率画像を前記受信装置に送信する手段と、を有し、
    前記受信装置は、注視位置の指定を前記ドット単位の平面座標値により指定し、前記送信装置に注視位置情報を送信する手段を有する
    ことを特徴とする顕微鏡画像遠隔制御システム。
  2. 前記送信装置は、前記顕微鏡のステージ制御の方向によってステージ制御の誤差を計算し画像合成に使用する重複領域の大きさを最適にする手段を有することを特徴とする請求項1に記載の顕微鏡画像遠隔制御システム。
  3. 前記送信装置は、前記顕微鏡のステージに置かれた標本の所定領域をラインセンサカメラで全体参照画像を作成する手段を有することを特徴とする請求項1または2に記載の顕微鏡画像遠隔制御システム。
JP01653498A 1998-01-29 1998-01-29 顕微鏡画像遠隔制御システム Expired - Lifetime JP3824116B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01653498A JP3824116B2 (ja) 1998-01-29 1998-01-29 顕微鏡画像遠隔制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01653498A JP3824116B2 (ja) 1998-01-29 1998-01-29 顕微鏡画像遠隔制御システム

Publications (3)

Publication Number Publication Date
JPH11211988K1 JPH11211988K1 (ja) 1999-08-06
JPH11211988A JPH11211988A (ja) 1999-08-06
JP3824116B2 true JP3824116B2 (ja) 2006-09-20

Family

ID=11918944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01653498A Expired - Lifetime JP3824116B2 (ja) 1998-01-29 1998-01-29 顕微鏡画像遠隔制御システム

Country Status (1)

Country Link
JP (1) JP3824116B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847729B1 (en) 1999-04-21 2005-01-25 Fairfield Imaging Limited Microscopy
JP5179683B2 (ja) * 2000-03-31 2013-04-10 株式会社ニコン 光学顕微鏡システム
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7518652B2 (en) 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
JP2004101871A (ja) 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
US7257268B2 (en) * 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition
WO2005119575A2 (en) 2004-05-27 2005-12-15 Aperio Technologies, Inc Systems and methods for creating and viewing three dimensional virtual slides
JP4653041B2 (ja) * 2005-08-31 2011-03-16 クラリエント・インコーポレーテッド イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法
WO2006028439A1 (en) * 2004-09-01 2006-03-16 Aperio Technologies, Inc. System and method for data management in a linear-array-based microscope slide scanner
JP4983289B2 (ja) * 2007-02-14 2012-07-25 株式会社ニコン 顕微鏡画像処理システム及び顕微鏡
EP2344864A4 (en) 2008-10-24 2018-01-24 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
JP5705750B2 (ja) * 2009-03-11 2015-04-22 サリン カラー テクノロジーズ リミテッド カット石を撮像する方法およびシステム
JP5059816B2 (ja) * 2009-08-14 2012-10-31 株式会社クラーロ スライド画像データ作成装置
JP2010061129A (ja) * 2009-08-14 2010-03-18 Claro Inc スライド画像データ
JP5353842B2 (ja) * 2010-09-06 2013-11-27 株式会社ニコン 光学顕微鏡システム
JP5718012B2 (ja) * 2010-10-13 2015-05-13 オリンパス株式会社 走査型レーザ顕微鏡
JP5466142B2 (ja) * 2010-12-15 2014-04-09 アペリオ・テクノロジーズ・インコーポレイテッドAperio Technologies, Inc. リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
JP2013250531A (ja) * 2012-06-04 2013-12-12 Olympus Corp 顕微鏡システム及びその制御方法

Also Published As

Publication number Publication date
JPH11211988K1 (ja) 1999-08-06
JPH11211988A (ja) 1999-08-06

Similar Documents

Publication Publication Date Title
JP4468442B2 (ja) イメージングシステム性能測定
US6389179B1 (en) Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP4262014B2 (ja) 画像撮影装置および画像処理方法
US8014632B2 (en) Super-resolution device and method
US9224193B2 (en) Focus stacking image processing apparatus, imaging system, and image processing system
US7567648B2 (en) System of generating stereoscopic image and control method thereof
JP4012710B2 (ja) 画像入力装置
JP4937457B2 (ja) 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
KR100785594B1 (ko) 화상 처리 장치
JP3265893B2 (ja) 画像表示装置
US20050134719A1 (en) Display device with automatic area of importance display
US7164786B2 (en) Image sensing and image processing apparatuses
EP0782100B1 (en) Three-dimensional shape extraction apparatus and method
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
JP5018980B2 (ja) 撮像装置、長さ測定方法、及びプログラム
US7554575B2 (en) Fast imaging system calibration
US8249382B2 (en) Image-capturing apparatus, image processing method and program product
JP4495041B2 (ja) ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
US6823080B2 (en) Three-dimensional information processing apparatus and method
US7428007B2 (en) Image pickup apparatus and image processing method for picking up an image of a target in divisions
US20060171566A1 (en) Determining scene distance in digital camera images
EP1610548A1 (en) Projector with automatic focus adjustment
JP2004181233A (ja) 画像中の重要領域決定方法及びプログラム
US9818377B2 (en) Projection system, image processing apparatus, and correction method
WO2011132364A1 (ja) 立体画像撮影装置および立体画像撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060620

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20060621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060621

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term