JP4346888B2 - Microscope equipment - Google Patents

Microscope equipment Download PDF

Info

Publication number
JP4346888B2
JP4346888B2 JP2002314877A JP2002314877A JP4346888B2 JP 4346888 B2 JP4346888 B2 JP 4346888B2 JP 2002314877 A JP2002314877 A JP 2002314877A JP 2002314877 A JP2002314877 A JP 2002314877A JP 4346888 B2 JP4346888 B2 JP 4346888B2
Authority
JP
Japan
Prior art keywords
image
line
specimen
image data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002314877A
Other languages
Japanese (ja)
Other versions
JP2004151263A (en
Inventor
仲宏 安田
ベントン エリック
義浩 本間
洋介 梅島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Precision Inc
National Institute of Radiological Sciences
Original Assignee
Seiko Precision Inc
National Institute of Radiological Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Precision Inc, National Institute of Radiological Sciences filed Critical Seiko Precision Inc
Priority to JP2002314877A priority Critical patent/JP4346888B2/en
Publication of JP2004151263A publication Critical patent/JP2004151263A/en
Application granted granted Critical
Publication of JP4346888B2 publication Critical patent/JP4346888B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、病院や研究所等において、細胞や組織等を検査する顕微鏡装置に関し、特に標本の標本深さが異なる複数の層毎の画像を簡単かつ迅速に撮像できる顕微鏡装置に関する。
【0002】
【従来の技術】
病院等の医療機関や大学の研究所等においては、顕微鏡による細胞や組織等の標本検査等が頻繁に行われている。ところで標本検査は、膨大な数の細胞を顕微鏡で拡大して広大な検査領域になった状態で検査をするため多大な労力と負担を要していた。このため、細胞や組織等の標本検査においては、検査の全体効率を向上させるために、顕微鏡等で悪性細胞の有無を検査して、悪性細胞が発見された場合には、その部分を撮像してマーキング等により特定する検査部門と、この特定された部分について医学的な診断を行う診断部門との分業が行われている。そして、分業された各部門間を繋ぐものとして、近年、電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体が利用されはじめ、標本画像をデータ化しデータ伝送媒体により標本画像を各部門間でやり取りするようになっている。このため、本願出願人等は、標本画像のデータ化の仕方として、顕微鏡で拡大した細胞や組織等の標本を、ラインセンサでライン画像として撮像し、このライン画像をコンピュータによる画像処理によって、標本全体の広大な領域の鮮明な撮像画像を迅速に作成する手段を提案している(特許願2002-097495号、特許願2002-097497号、特許願2002-097498号、特許願2002-097499号)。
【0003】
【発明が解決しようとする課題】
しかし細胞や組織等の標本検査においては、一定の焦点位置の標本深さ平面のみを観察して悪性細胞や悪性を考慮すべき細胞と判断できるとは限らず、その標本深さとは異なる標本深さの細胞の形状等を観察しなければ判断できない場合も多い。したがって細胞や組織の検査を的確に行うためには、顕微鏡の焦点位置を変えて、立体的に細胞や組織を検査することが重要になっている。
【0004】
しかるに上述した出願に係る発明では、広大な撮像領域について、鮮明な画像を迅速に作成することができるものの、撮像画像が単一の標本深さのものに限られている。そして、複数の異なる標本深さの層について画像が必要なときは、顕微鏡の焦点位置を変えて撮像する標本深さを変え複数回撮像する必要があり、その分、作業時間と負担とが増大する。
【0005】
そこで本発明の目的は、標本深さが異なる複数の各層の標本画像を、簡単かつ迅速に撮像できる顕微鏡装置を提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決すべく、本発明による顕微鏡装置の第1の特徴は、標本の標本深さが異なる複数の層をそれぞれ同時に結像させる光学レンズと、前記層をそれぞれ画像として撮像する複数の撮像素子と、この撮像素子で撮像した画像から標本の複数の層毎の画像を作成する画像処理手段とを備えることにある。
【0007】
本発明による顕微鏡装置の第2の特徴は、前記特徴1に記載した光学レンズが、対物レンズと収差補正レンズとからなることにある。また本発明による顕微鏡装置の第3の特徴は、前記特徴2に記載した収差補正レンズが、複数の撮像素子毎にそれぞれ結像する複数のレンズであることである。そして本発明による顕微鏡装置の第4の特徴は、前記特徴2に記載した収差補正レンズは、複数の曲率半径をもつレンズであることである。
【0008】
【発明の実施の形態】
発明の実施の形態を実施例に基づき図面を参照して説明する。図1に示す標本検査システムは、画像作成部門3の端末605と、検査部門4の端末41と、診断部門5の端末51とを備えた細胞診用標本検査システムである。各端末は電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体によりデータの送受信が可能になっている。ここで画像作成部門3では、標本である細胞や組織を顕微鏡装置6で拡大して撮像して画像を作成し、検査部門4では、この画像から悪性細胞や悪性を考慮すべき細胞を特定し、診断部門5では、この特定された細胞について診断を行う。また端末605、41、51は、それぞれ記憶部653、42、52を備えており、これらの記憶部には、標本深さ(焦点位置)が異なる3つの層毎に撮像した、細胞や組織の画像データ32a〜32c、42a〜42c、52a〜52cがそれぞれ記憶してある。ここでいう標本深さは、顕微鏡装置6で標本を撮像するときの標本の深さ方向の焦点位置の違いを示す。つまり、上述した3つの層は層32aが対物レンズに一番近い最上層であり、層32cは対物レンズから一番遠い最下層であり、層32bは層32aと層32cとの中間層である。
【0009】
次に図2〜図7を参照しつつ、画像作成部門3における細胞や組織の画像データの作成手順について説明する。まず最初に、この画像データの作成手順を概説する。標本601の細胞や組織の3つの標本深さが異なる位置を、標本601との高さを異ならして配列した電子撮像装置であるラインセンサ631a、631b、631cにそれぞれ同時に結像させる。本実施例では、図4に示すように階段状に各ラインセンサ631a、631b、631cを配置することによって標本601との高さを異ならせている。そして、3個のラインセンサ631a、631b、631cによって、3つの異なる標本深さの画像をライン画像データとして読み取る。そして、図2〜図4に示す移動手段604によって、標本601を水平移動させ、図3に示す端末605によって、このライン画像データを記憶部651に記憶していく。次に画像処理装置内の演算処理部651によって、この記録したライン画像から、標本601の標本深さが異なる3つの層毎の画像データを生成する。以下詳述する。
【0010】
まず、図2と図3とを参照しつつ、顕微鏡602の全体構成を概説する。本発明の実施例で使用する顕微鏡602は光学顕微鏡である。細胞や組織等の検査では、焦点の合っている部分のみを見ただけでは、悪性細胞と判断することは難しい場合があり、焦点の合っていないぼんやりと写った(焦点ぼけした)部分を注目することがある。光学顕微鏡である顕微鏡602で撮像するとこの焦点の合っていない情報も画像データとして残せるので細胞や組織等の検査には、好適である。顕微鏡602は、鏡筒625と、この鏡筒に装着した目視観察用接眼レンズ623、標本601のある程度の2次元的な広がりを撮像する2次元CCDセンサ部627、対物レンズ621等からなる光学レンズを備えている。また鏡筒625は、この鏡筒を上下移動させるラックアンドピニオン機構661を介して、L字型の架台606に支持されている。そして、標本601を裏面から照射するために、外部に設けたハロゲンランプ(図示せず。)からの光を導入する光ファイバー607が、L字型の架台606の下部に接続してある。
【0011】
ところで光学レンズは、図4に示すように、2個のレンズ621a、621bで構成される複合レンズからなる対物レンズ621と、互いに平行に高さを異ならして配置した3個のラインセンサ631a、631b、631c毎に設置された3個の蒲鉾型の収差補正レンズ622a、622b、622cとから構成してある。収差補正レンズ622a、622b、622cは、図4の破線と、実線と、一点破線とで示したように、X軸方向にそれぞれ互いにラインセンサの素子間分ずれた位置にあってかつ異なる標本深さの層(表層601b、中間層601b、下層601c)を、それぞれラインセンサ631a、631b、631cに結像するような光学的形状に形成したものである。なお対物レンズ621は、倍率の異なるものが3個、レボルバ624に装着してあり、相互に手動切り替え可能になっている。
【0012】
さて図4に示すように、3個のラインセンサ631a、631b、631cと、収差補正レンズ622a、622b、622cとは、カメラケース632に収納されており、このカメラケース632は、図2に示すように顕微鏡602の鏡筒625の先端に着脱可能に装着してある。なおこの装着部の形状は、レンズ取り付け部分についての、一眼レフカメラの標準取り付け形状である、Fマウントを採用している。ラインセンサ631a等は、1辺が7μmの荷電結合素子を1個ずつ、直線状に4000個配列して構成してある。したがって、撮像倍率が100倍の場合は、幅が、7μm ÷ 100 =0.07μm、長さが、7μm× 4000個 ÷ 100 = 0.28mmの範囲を、一度に撮像することができる。
【0013】
L字型の架台606の水平部の上には、移動手段604が設置されている。移動手段604は、標本601を載せるチルティングテーブル642と、このチルティングテーブルを左右および前後方向に水平移動させるリニアモータ641とを備えている。リニアモータ641は公知の技術であって、帯状に配列した永久磁石の上を、電機子が移動するものであり、高速駆動、高応答性、そして高精度位置決めが可能である。そして、リニアモータ641は、後述するようにコンピュータによってリモートコントロールされ、所定の位置に標本601を移動させる。
【0014】
チルティングテーブル642は、平面視にて正三角形を構成するように配置した3個の超音波モータ642aと、この超音波モータの垂直の出力軸642cの先端で3点支持される平板形状のテーブル部642dと、この超音波モータの相互の位置を固定する固定部材642bとから構成してある。そして、垂直の出力軸642cの先端は、テーブル部642dの裏面上に形成した窪みに当接しており、相互の水平方向位置がずれないようにしている。
【0015】
超音波モータ642aは公知の技術であって、電圧を加えると変形する圧電セラミックス上に弾性部材を当設し、この圧電セラミックスに超音波領域の電圧をかけて弾性部材に屈曲振動を発生させ、これにより出力軸を回転させるものであり、高い応答性と制御性とを有し、作動音が小さい等の特性を有している。ここで使用する超音波モータ642aは、出力軸642cがネジ構造になっており、この出力軸が回転して上下に可動する。そしてチルティングテーブル642は、コンピュータからの指示によって、標本601の傾きと、焦点距離とを調整する。
【0016】
ランプ部626には、ハロゲンランプ(図示せず。)が収納してあり、このハロゲンランプからの光を、ハーフミラーにより、顕微鏡602の光軸に沿うように直角に曲げて標本601に照射し、この標本からの反射光を増強して、鮮明な撮像を得ている。この落射光源であるランプ部626を使用するときは、標本601が光の透過性が低い物質のときである。また標本601の裏面からも照射できるように透過光源として、外部に設けたハロゲンランプ(図示せず。)からの光を導入する光ファイバー607が、L字型の架台606の下部に接続してある。細胞や組織等のように光の透過性が高いものを見るときはこちらからの光源を主光源とすることが多く、本実施例でも標本601の裏面から照射させている。
【0017】
また2次元CCDセンサ部627内には、ある程度2次元的な広がりを撮像可能な2次元CCDセンサ(図示せず。)を備えている。すなわち細胞検査においては、顕微鏡602によって拡大した画像を、直接表示手段に表示して、この表示画面を見ながら悪性細胞が存在する特定の部位や範囲等を確認することが必要になる場合もある。しかるに撮像素子がラインセンサ631a等のみだった場合、一時に撮像できるライン画像は極めて幅が狭いため、この幅が狭いライン画像の表示画面を見ながら、悪性細胞が存在する特定の部位や範囲を確認することは困難である。一方、ある程度2次元的な広がりを撮像可能な2次元CCDセンサを備えて、これによる表示画面を見ながら、細胞や組織等の特定の部位や範囲を確認することは容易である。そこで、2次元CCDセンサを備えることにより、標本601内の特定の部位や範囲を容易に確認できるようにしている。
【0018】
この2次元CCDセンサは、一般的なCCDカメラに使用されている、一辺が21μmの電荷結合素子を、縦横600 × 600 = 約35万個、平面的に配置したものであり、標本601の所定の範囲を、ハーフミラーを介して撮像する。
【0019】
さて端末605は、市販用のコンピュータ、いわゆるパソコンを使用するものであって、演算処理部651、表示手段652、及びライン画像データを記憶する記憶部653とから構成される。この演算処理部651は、画像処理装置内に設けられ、後述するように、標本601の撮像領域の設定、移動手段604の移動、この移動手段のエンコーダからフィードバックされた移動量を基にしたラインセンサ631a等の撮像実行指示、このラインセンサで撮像したライン画像データの取り込み、およびこのライン画像データを合成して撮像領域の全体的な平面画像の作成を行なう。
【0020】
次に上述した構成部品によって、細胞や組織の画像データ32a〜32cを作成する手順を説明する。図2に示すように、まず検査対象である細胞や組織片を、スライドガラスとカバーガラスとの間に挟んだ標本601を、チルティングテーブル642のテーブル部642dの上面にセットし、移動しないようにバキューム手段等によって、この標本をこのテーブル部642dに吸着等して固定する。次に図7に示すように、標本601の検査領域611をパソコンの入力手段からの入力により設定する。
【0021】
ところで検査領域611を設定する理由は、後述するようにラインセンサ631a等で順次撮像するライン画像の撮像の、始点611aと終点611bとを設定するためである。なお検査領域611の設定には、ある程度の2次元的な広がりを有する撮像画像が必要になるため、2次元CCDセンサからの撮像データを、端末605の表示手段652に表示させ、その表示画面を見ながら、移動手段604をXY方向に移動調整して行う。これにより、対角線上の位置611a、611bのXY座標が、移動手段604のリニアモータ641の移動始点と終点位置に対応する情報として、演算処理部651に記憶される。したがって後述するように、ラインセンサ631a等によって撮像する場合には、演算処理部651からの指示によって、リニアモータ641を、最初の撮像位置である内側位置611aから、最後の撮像位置である水平方向位置611bまで順次移動させる。
【0022】
なお検査領域611の設定の際には、標本601の焦点距離と、傾きとの調整を同時に行なう。すなわち検査領域611を設定する際に、まず始点位置611aにおいて、表示手段652に表示された、2次元CCDセンサからの表示画像を見ながら、標本601の表層601aに焦点を合わせ、次にリニアモータ641をX軸方向に移動させて、検査領域611の右端部位置で焦点を合わせる。そしてこの焦点位置のずれから、X軸方向の傾きを算出して、チルティングテーブル642の傾きを調整する。そして次に同様な手段によって、検査領域611の右上部位置611bで焦点を合わせて、Y軸方向の傾きを調整する。
【0023】
ここで2次元CCDセンサの焦点位置と、標本601の表層601aを撮像するラインセンサ631aの焦点位置とが一致するように構成しておけば、直ちにこの標本の表層601aに、ラインセンサ631aの焦点を合わせることができる。そして、他のラインセンサ631b、631cはラインセンサ631aと同時にそれぞれの焦点深さの位置に焦点が合うように収差補正レンズ622a、622b、622cが設計されているので、2次元CCDセンサの焦点を合わせた段階で、3つのラインセンサ全てに焦点が合うこととなる。
【0024】
次いで、図7、図8を参照しつつ、ラインセンサ631a等で標本601を撮像する手順を説明する。この撮像は、演算処理部651に内蔵してあるプログラムによって制御される。演算処理部651は先ず最初に、エンコーダによって検査位置j=0、k=0を設定し、この検査位置を、座標X=0、Y=0として認識する。そしてこのXY座標(0、0)位置に、リニアモータ641によって標本601を移動させる。このXY座標(0、0)位置は、図7に示す検査領域611の左下隅611aであり、この点が撮像を開始する始点となる。図8では、(a)の位置となり、ラインセンサ631aが左下隅611aと重なる位置に配置される。
【0025】
さて検査領域611の左下隅611a位置に、撮像位置の始点が設定されると、演算処理部651は、X軸に移動量dxを設定し、検査位置(0、0)におけるラインセンサ631a、631b、631cで撮像したそれぞれのライン画像を、記憶部653に記憶すると共に、X軸方向に一定の速度で、リニアモータ641の移動を開始させる。(図8(a)〜(c))移動手段604の移動量は、エンコーダにより計測されて、演算処理部651にそのデータが送られる。そして、移動手段604によって検査領域611が、X軸方向にラインセンサ631a等の1計測幅分だけ移動されたと演算処理部651により判断されたときに、2番目の検査位置X=1dx、Y=0、すなわち座標(1dx、0)におけるこのラインセンサからのライン画像を記憶部653に記憶する。
【0026】
そして演算処理部651は、1ライン画像を記録する毎に、kに1を加えていき、リニアモータ642が一定の速度でX軸方向に移動し、検査位置が図7に示す検査領域611の右下隅に至るまで、(図8の(d)〜(f)の動きに相当)X軸方向長さLの1列の範囲について、順次ライン画像を記憶部653に記憶する。
【0027】
そして検査領域611の最下段、すなわちY軸座標=0の撮像の取り込みが完了すると、演算処理部651は、エンコーダにj=1を設定し、検査位置X=L、Y=1dy、すなわちXY座標(L、1dy)位置に、リニアモータ641によって検査位置を移動させる。この位置は、図7に示す検査領域611の左下隅611aから、X軸方向にLだけ右であって、ラインセンサ631a等の長さ分だけY軸方向に移動した位置である。そして、Y=1dyの位置において、検査領域611の右端から左端まで、順次ライン画像を取り込む。
【0028】
このようにして、ラインセンサ631a等の走査方向を、右から左へ、又は左から右へと変更しつつ、ラインセンサ631a等が新たな撮像範囲に移動した瞬間に、演算処理部651は、順次ライン画像を計測座標と共に記憶部653に記録する。そして、J>nまでに達すると、演算処理部651は、検査領域611の全領域を撮像したと判断し、記録したライン画像を合成して、3つの異なる標本深さの層601a、601b、601cにおける全検査領域の平面画像データを、それぞれ記憶部653に層画像データ32a、32b、32cとして記憶する。
【0029】
なお演算処理部651は、ラインセンサ631a等で撮像する際に、上述した検査領域611におけるXY座標と、標本深さすなわちZ軸座標とを、個々の撮像したライン画像データに付加する。すなわち図4に示すように、ラインセンサ631a、631b、631cで同時に撮像する標本深さが異なる層601a、601b、601cは、互いにX軸方向にラインセンサの素子間分ずれているが、このズレ量は、ラインセンサ631aで撮像されるライン画像を基準とするとラインセンサ631bで撮像されるライン画像の座標のXの値はこのズレ量が加算され、X座標値は1素子間分ずらして付加される。さらにラインセンサ631cで撮像されるライン画像の座標のXの値はさらに1素子間分ずらして付加されることになる。そして、層601a、601b、601cは、互いにZ軸方向にラインセンサの設けられる高さ分ずれているが、このズレ量は、ラインセンサ631aで撮像されるライン画像を基準とするとラインセンサ631bで撮像されるライン画像の座標のZの値はこのズレ量が加算され、Z座標値は1高さ分ずらして付加される。さらにラインセンサ631cで撮像されるライン画像の座標のZの値はさらに1高さ分ずらして付加されることになる。このように端末605の演算処理部651によって、個々のライン画像を撮像する際に、標本601の全検査領域611における撮像位置のXYZ座標を、このライン画像データに付加される。
【0030】
また、ラインセンサ631a〜631cの撮像の仕方は、上述のように全てのラインセンサを常に撮像状態にしておいてもよいし、標本の端部(図8の(a)〜(c)に相当)では、図8(a)では、ラインセンサ631cのみで撮像し、図8(b)では、ラインセンサ631cと631bとで撮像し、図8(c)以降では、全てのラインセンサで撮像し、標本の他の端部(図8の(d)〜(f)に相当)では、図8(d)までは全てのラインセンサで撮像しており、図8(e)では、ラインセンサ631bと631aとで撮像し、図8(f)では、ラインセンサ631aのみで撮像するように、演算処理部651により制御して撮像してもよい。つまり、このように標本の存在しない位置を撮像することになるラインセンサでは撮像しないように制御すれば、画像データから標本の存在しない場所の撮像データをなくすことができるようになる。
【0031】
次にこの全検査領域の画像データ32a〜32cを表示手段652に表示させる方法を説明する。端末605に表示すべき層画像例えば32aを選択する。端末605の演算処理部651は、選択された層画像32aの全領域のサムネイル(縮小画像)を表示手段652に表示する。そして、サムネイル上に縮小ではない画像を表示すべき所望の平面領域を指定されると、演算処理部651は、記憶部653に記憶されている画像データから層画像データ32aを選択し、そこから指定された平面領域に相当する画像データを抽出する。そして、他の層画像データ32b、32cからも指定された平面領域に対応した位置の平面領域に相当する画像データを演算処理部651は抽出する。そして、この各層画像データ32a〜32cから抽出された各平面領域の画像データをひとまとまりのものとして演算処理部651は画像処理装置内にある画像保存メモリに記憶する。その後、演算処理部651は、表示手段652に選択された層画像32aの指定された平面領域の画像を表示させる。
【0032】
このように、演算処理部651は、表示手段652に表示された平面領域の各層画像データを抽出して画像保存メモリに別に記憶しているので、作業者が表示されている層画像を見て、焦点が合ってなくぼんやりと写っている部分に注目したく、この表示されている層画像とは違う位置に焦点が合った標本深さの他の層画像を見たくなったときに、この画像保存メモリに別に記憶してある画像データを使って時間をかけずに他の層画像を表示装置652に表示させることができる。このため、作業者は、端末605のみを使用してあたかも顕微鏡602の接眼レンズ623を覗きながら、3つの焦点位置の標本深さを観察しているかのように、表示手段652に指定した任意の平面領域の画像を表示することができる。つまり、抽出した平面領域に対応する各層画像データを別に演算処理部651が記憶することにより、端末605のみで、仮想的に顕微鏡で見た視野を再現することができることになる。
【0033】
なお、図4に示すように、ラインセンサ631a等毎にそれぞれ収差補正レンズ622a等を設ける場合に限らず、図5に示すように、複数(実施例では3つ)の曲率半径を持つ収差補正レンズ722によって、標本深さの異なる層701a、701b、701cを、ラインセンサ731a、731b、731cに結像させてもよい。またラインセンサ631a等の構成は、CCDを1個づつ4000個配列する場合に限らず、数個ずつを更に長く配列してもよい。また、ラインセンサ631a等を構成する各々のCCDのサイズは、小さい方が解像度の良い画像を撮像できるが、大きいサイズのCCDを使用する場合には、撮像の拡大率を大きくすれば、解像度の良い画像を撮像することができる。
【0034】
また標本601の焦点位置や傾き調整は、上述した手動ではなく、レーザ投光手段を有する合焦手段を顕微鏡602に組み込み、コンピュータからの指示に基づいてチルティングテーブル642を移動させることによって、自動化することも容易にできる。さらに、ラインセンサ631a等の数は、上述したような3個に限らず、2個でもあるいは4個以上にすることも可能であり、それぞれの数に相当する標本深さの検査領域を同時に撮像することができる。
【0035】
さて次に、細胞検査システムについて説明する。まず演算処理部651は、それぞれ記憶部653に記憶した、3つの標本深さの層601a、601b、601cにおける全検査領域の画像データ32a〜32cを、画像作成部門3の記憶部653に記憶すると共に、大容量記録媒体であるDVDに記録する。そして、このDVDは、検査部門4と、診断部門5に送付され、それぞれ端末41、51を介して記憶部42、52に記憶される。これにより、検査対象となる細胞や組織について、標本深さの異なる層601a、601b、601cにおける全検査領域の同一画像データ42a〜42c、52a〜52cが、検査部門4と診断部門5の端末41、51にも、存在することとなる。
【0036】
ここで各部門毎に記憶部653,42,52を備え、細胞や組織の全撮像領域の画像データを記録させた理由は、この画像データが、標本毎に1Gバイト程度またはそれ以上の膨大な容量となるためである。すなわち、この画像データを1つの共通サーバ等に記録しておき、各部門の端末から、データ伝送媒体を利用してアクセスやダウンロード等させるシステムも考えられるが、画像のデータ容量が大きすぎるため、現在の伝送速度では、送受信に時間が掛かりすぎて実用に適さないからである。
【0037】
そこでまず検査部門4では、記憶部42に記憶した画像データ42a〜42cから、細胞や組織の3つの層の中から所望の層の所定の平面領域の画像を端末41に表示させ、悪性細胞や悪性を考慮すべき細胞の有無を検査する。画像データ42a〜42cは端末41の第1の画像表示手段としての表示手段41aで表示可能な面積よりも広い面積の画像データであるため、端末41で表示させるには、所望の層の画像データから表示させる所定の平面領域を指定することになる。
【0038】
そして悪性細胞や悪性を考慮すべき細胞があれば、その範囲を表示画面上で特定する。この特定方法としては、表示画面上で、その細胞が見られる範囲を、枠線や色分けで区分するもの、表示画像中に矢印や記号やコメントを挿入するものが準備されている。
【0039】
複数の部門で同時に検査等をする場合はまず、検査部門4と診断部門5と画像作成部門3との間を電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体により通信可能状態とする。検査部門4の作業者が端末41を操作し、端末41に表示すべき層画像例えば42aを選択する。端末41は、選択された層画像を指定する標本深さ情報を第1条件として設定する。そして、端末41は設定された層画像42aの全体のサムネイル(縮小画像)を表示手段41aに表示する。
【0040】
作業者はそこから縮小ではない画像を表示すべき所望の平面領域を選択する。端末41は、この選択された平面領域を指定する座標情報等を第2条件として設定する。そして、端末41の演算処理部は、他の層画像データ42b、42cからも指定された平面領域に対応した位置の平面領域に相当する画像データを抽出する。そして、この各層画像データ42a〜42cから抽出された各平面領域の画像データをひとまとまりのものとして演算処理部は画像処理装置内にある画像保存メモリに記憶する。その後、端末41は、第1条件と第2条件とを用い記憶部42に記憶されている画像データから層画像データ42aを選択し、そこから選択された平面領域に相当する画像データを抽出し、表示手段41aに選択された平面領域の画像を表示させる。第1条件や第2条件は選択された平面領域の層画像データと違い、非常に小さなデータ量であるため、データ伝送媒体により送受信しても通信に時間がかかることはない。
【0041】
同時に端末41は、送信手段によりデータ伝送媒体を介して画像作成部門3と診断部門5との端末605、51に第1条件および第2条件を送信する。端末605、51は、受信した第1条件および第2条件とを用い記憶部653、52に記憶されている対応画像データから層画像データ32a、52aを選択し、そこから選択された平面領域に相当する画像データを抽出し、第2の画像表示手段としての表示手段652,51aに端末41に表示した画像に対応した対応画像を表示させる。もちろんこのとき、端末605、51も端末41と同様に、端末605、51の各演算処理部は、他の層画像データ32b、32c又は52b、52cから指定された平面領域に対応した位置の平面領域に相当する画像データを抽出する。そして、この各層画像データ32a〜32c又は52a〜52cから抽出された各平面領域の画像データをひとまとまりのものとして各演算処理部は画像処理装置内にある画像保存メモリに記憶している。
【0042】
以上により、第1条件と第2条件の2つの条件をデータ伝送媒体により送受信するだけで、検査部門4の端末41と画像作成部門3の端末605および診断部門5の端末51には同じ画像が表示されることとなる。
【0043】
そして、検査部門4の作業者が端末41に表示されている画像上に、マウスやキーボード等の入力装置から枠線や色分けで区分したり、表示画像中に矢印や記号やコメントを挿入する指標を表示すると、端末41は、その指標の種類や座標等を表す情報を第3条件として設定する。この第3条件も第1,2条件と同様に選択された平面領域の層画像データに比べるとデータ量が少なく通信に時間がかかることはない。そして同時に端末41は、送信手段によりデータ伝送媒体を介して画像作成部門3の端末605と診断部門5の端末51とに第3条件を送信する。端末605、51は、受信した第3条件を用い指標を表示手段652,51aに表示する。このため、端末605、51の表示手段652,51aにも端末41に表示される指標に対応した指標が表示される。
【0044】
このため、検査部門4と画像作成部門3と診断部門5とがデータ伝送媒体を介して第1〜3条件という少ないデータ量を送受信するのみで、広大な撮像領域を持つ画像の中の同じ平面領域を見ながら検討することが可能となり、例えば診断部門5では、悪性細胞を探す手間を必要としない。また、検査部門4で特定された悪性細胞や悪性を考慮すべき細胞以外においても、診断部門5で別に悪性を考慮すべき細胞を発見したり、さらに高倍率の撮像データ等が必要な場合には、診断部門5の作業者が端末51の表示画面上でその位置を特定したり、撮像条件の指示を付記すれば、すでに上記端末41で説明したことと同様に端末51がデータ伝送媒体を介して、第1〜3条件を検査部門4と画像作成部門3の端末605、41に送信し、その特定範囲や撮像条件等が直ちに表示され、その表示された指示に従って、迅速かつ的確に処理を行うことが可能になる。
【0045】
そして、例えば検査部門4の作業者が、現在表示されている画像の焦点が合っている部分のみでは、悪性細胞か判断がつかず、焦点が合っていない焦点ぼけしている部分を焦点の合っている別の標本深さの層画像で見たい場合、作業者が焦点の合っている別の標本深さの層の画像を端末41に指定すると、端末41の演算処理部は、表示している平面領域に対応する別の層画像データを画像保存メモリに記憶しているので、第1条件を変更するだけで全撮像領域から新たに対応する平面領域を抽出する必要なしにすぐに別な層画像を表示することができる。つまり、作業者が、現在表示されている層画像42aから42bに表示を切り換えたい場合、例えば作業者が層画像42bを選択すると、端末41は、選択された層画像を指定する標本深さ情報を第1条件として再設定し、表示手段41aに画像保存メモリの抽出された層画像42bを表示する。そして、端末41が他の端末605、51に変更した第1条件のみを送信するだけで、他の端末にも端末41と同じ変更された層画像が画像保存メモリから抽出され直ちに表示されることになる。
【0046】
上記実施例では、3部門で同時に同じ画像を見て検討をしていたが、これに限らず、2部門のみや4部門以上で同様に同じ画像を見ながら検討をしてもよい。このように、データ伝送媒体を介して、情報や意見の交換を行うことができるので、あたかも各部門が一堂に会したように、極めて的確な標本検査を効率的に行うことが可能になる。また本発明は、単に細胞や組織に限らず、血液やバクテリア等の標本検査にも利用できる。また、上記実施例では、各層の抽出画像を択一的に表示手段652に表示する構成としたが、これに限らず、各層の抽出画像の複数の組み合わせを同時的に表示手段652に表示するようにしてもよい。例えば、抽出された2つ以上の標本深さの画像を重畳して表示してもよく、また、抽出された2つ以上の画像を並列的に表示手段652に表示させてもよい。この場合、平面領域を画面の大きさの半分以下にすれば、2つ以上の画像を並列的に表示手段に表示させることができる。このようにすると、表示手段652に2つ以上の画像を表示するので、立体的に認識しやすくなり検査がよりしやすくなる。
【0047】
【発明の効果】
ラインセンサで標本の検査範囲を1回走査するだけで、標本深さがそれぞれ異なる複数の全体画像を、同時に作成することができる。したがって標本の標本深さが異なる層毎に検査範囲全体にわたる鮮明な画像を迅速に得ることができる。
【図面の簡単な説明】
【図1】検査システムの全体構成図である。
【図2】顕微鏡装置の構成である。
【図3】顕微鏡装置の他の構成図である。
【図4】光学レンズの構成図である。
【図5】光学レンズの他の構成図である。
【図6】ラインセンサと収差補正レンズの拡大正面図である。
【図7】ライン画像の撮像手順の説明図である。
【図8】ラインセンサの撮像に関する説明図である。
【符号の説明】
6 顕微鏡装置
601 標本
621、721 対物レンズ(光学レンズ)
622a〜622c、722 収差補正レンズ(光学レンズ)
631a〜631c 撮像素子
651 演算処理部(画像処理手段)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscope apparatus that inspects cells, tissues, and the like in hospitals, laboratories, and the like, and more particularly to a microscope apparatus that can easily and quickly capture images of a plurality of layers having different specimen depths.
[0002]
[Prior art]
In medical institutions such as hospitals and research laboratories in universities, specimen inspection of cells and tissues with a microscope is frequently performed. By the way, the specimen inspection requires a great amount of labor and burden since the inspection is performed in a state where a vast number of cells are enlarged by a microscope and become a vast inspection area. Therefore, in specimen inspection of cells and tissues, in order to improve the overall efficiency of the inspection, the presence or absence of malignant cells is examined with a microscope or the like, and if malignant cells are found, the part is imaged. There is a division of labor between an inspection department specified by marking and the like and a diagnostic department that performs medical diagnosis on the specified part. In recent years, data transmission media such as public lines such as telephone lines and dedicated Internet lines have begun to be used as connections between divisional divisions, and sample images are converted into data using data transmission media. It comes to communicate with. For this reason, the applicant of the present application, for example, takes a sample of a cell or tissue magnified with a microscope as a line image with a line sensor as a method for converting the sample image into data, and the line image is processed by computer image processing. Means for quickly creating a clear captured image of the entire large area has been proposed (Patent Application No. 2002-097495, Patent Application No. 2002-097497, Patent Application No. 2002-097498, Patent Application No. 2002-097499). .
[0003]
[Problems to be solved by the invention]
However, in specimen inspection of cells, tissues, etc., it is not always possible to determine malignant cells or cells that should be considered malignant by observing only the specimen depth plane at a certain focal position. In many cases, the cell shape cannot be determined without observing the shape of the cell. Therefore, in order to accurately inspect cells and tissues, it is important to inspect cells and tissues in three dimensions by changing the focal position of the microscope.
[0004]
However, in the invention according to the application described above, although a clear image can be quickly created for a large imaging region, the captured image is limited to a single sample depth. And when images are needed for multiple layers with different specimen depths, it is necessary to change the specimen depth by changing the focal position of the microscope and change the specimen depth to capture multiple times, which increases work time and burden. To do.
[0005]
SUMMARY OF THE INVENTION An object of the present invention is to provide a microscope apparatus that can easily and quickly capture specimen images of a plurality of layers having different specimen depths.
[0006]
[Means for Solving the Problems]
In order to solve the above problems, the first feature of the microscope apparatus according to the present invention is that an optical lens for simultaneously imaging a plurality of layers having different specimen depths and a plurality of imaging for imaging each of the layers as images. There exists an element and the image processing means which produces the image for every several layers of a sample from the image imaged with this image pick-up element.
[0007]
A second feature of the microscope apparatus according to the present invention is that the optical lens described in the feature 1 includes an objective lens and an aberration correction lens. A third feature of the microscope apparatus according to the present invention is that the aberration correction lens described in the feature 2 is a plurality of lenses that respectively form an image for each of the plurality of imaging elements. A fourth feature of the microscope apparatus according to the present invention is that the aberration correction lens described in the feature 2 is a lens having a plurality of radii of curvature.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described based on examples with reference to the drawings. The specimen inspection system shown in FIG. 1 is a cytological specimen inspection system provided with a terminal 605 of the image creation department 3, a terminal 41 of the examination department 4, and a terminal 51 of the diagnosis department 5. Each terminal can transmit and receive data through a data transmission medium such as a public line such as a telephone line or a dedicated Internet line. Here, in the image creation department 3, a cell or tissue as a specimen is magnified and imaged by the microscope device 6 to create an image, and the examination department 4 identifies malignant cells or cells that should be considered malignant from this image. In the diagnosis department 5, the identified cell is diagnosed. The terminals 605, 41, and 51 have storage units 653, 42, and 52, respectively. In these storage units, cells and tissues captured for each of the three layers having different specimen depths (focal positions) are stored. Image data 32a to 32c, 42a to 42c, and 52a to 52c are stored. The specimen depth here indicates a difference in focal position in the specimen depth direction when the microscope apparatus 6 images the specimen. That is, in the three layers described above, the layer 32a is the uppermost layer closest to the objective lens, the layer 32c is the lowermost layer farthest from the objective lens, and the layer 32b is an intermediate layer between the layers 32a and 32c. .
[0009]
Next, a procedure for creating image data of cells and tissues in the image creation department 3 will be described with reference to FIGS. First, the procedure for creating the image data will be outlined. The positions at which the three specimen depths of the cells and tissues of the specimen 601 are different from each other are imaged simultaneously on line sensors 631a, 631b, and 631c, which are electronic imaging devices arranged at different heights from the specimen 601. In the present embodiment, as shown in FIG. 4, the line sensors 631 a, 631 b, 631 c are arranged in a stepped manner to make the height different from that of the sample 601. The three line sensors 631a, 631b, and 631c read images having three different sample depths as line image data. Then, the specimen 601 is horizontally moved by the moving means 604 shown in FIGS. 2 to 4, and this line image data is stored in the storage unit 651 by the terminal 605 shown in FIG. Next, the arithmetic processing unit 651 in the image processing apparatus generates image data for each of the three layers having different specimen depths of the specimen 601 from the recorded line image. This will be described in detail below.
[0010]
First, an overall configuration of the microscope 602 will be outlined with reference to FIGS. 2 and 3. The microscope 602 used in the embodiment of the present invention is an optical microscope. In the examination of cells and tissues, it may be difficult to judge malignant cells by just looking at the in-focus part, and pay attention to the part that is blurred (out of focus). There are things to do. When an image is taken with a microscope 602 which is an optical microscope, this out-of-focus information can be left as image data, which is suitable for examination of cells and tissues. The microscope 602 includes an optical lens including a lens barrel 625, a visual observation eyepiece 623 attached to the lens barrel, a two-dimensional CCD sensor unit 627 that captures a certain two-dimensional extent of the sample 601, an objective lens 621, and the like. It has. The lens barrel 625 is supported by an L-shaped gantry 606 via a rack and pinion mechanism 661 that moves the lens barrel up and down. An optical fiber 607 for introducing light from a halogen lamp (not shown) provided outside is connected to the lower part of the L-shaped gantry 606 in order to irradiate the specimen 601 from the back surface.
[0011]
As shown in FIG. 4, the optical lens includes an objective lens 621 composed of a composite lens composed of two lenses 621a and 621b, and three line sensors 631a arranged parallel to each other at different heights. It is composed of three saddle-shaped aberration correction lenses 622a, 622b, and 622c installed for each of 631b and 631c. The aberration correction lenses 622a, 622b, and 622c are located at positions shifted from each other in the X-axis direction by the distance between the line sensor elements as shown by the broken line, the solid line, and the one-dot broken line in FIG. These layers (surface layer 601b, intermediate layer 601b, lower layer 601c) are formed in optical shapes so as to form images on line sensors 631a, 631b, and 631c, respectively. Note that three objective lenses 621 having different magnifications are attached to the revolver 624, and can be manually switched with each other.
[0012]
As shown in FIG. 4, the three line sensors 631a, 631b, 631c and the aberration correction lenses 622a, 622b, 622c are housed in a camera case 632, which is shown in FIG. In this manner, the microscope 602 is detachably attached to the tip of the lens barrel 625. In addition, the shape of this attachment part employ | adopts F mount which is the standard attachment shape of a single-lens reflex camera about a lens attachment part. The line sensor 631a and the like are configured by arranging 4000 charge coupled devices each having a side of 7 μm in a straight line. Accordingly, when the imaging magnification is 100 times, a range of 7 μm ÷ 100 = 0.07 μm in width and 7 μm × 4000 pieces / 100 = 0.28 mm in length can be captured at a time.
[0013]
A moving means 604 is installed on the horizontal portion of the L-shaped frame 606. The moving means 604 includes a tilting table 642 on which the specimen 601 is placed, and a linear motor 641 that horizontally moves the tilting table in the left-right and front-back directions. The linear motor 641 is a known technique in which an armature moves on a permanent magnet arranged in a strip shape, and can be driven at high speed, high responsiveness, and highly accurate positioning. The linear motor 641 is remotely controlled by a computer as will be described later, and moves the sample 601 to a predetermined position.
[0014]
The tilting table 642 is a flat table that is supported at three points by three ultrasonic motors 642a arranged so as to form an equilateral triangle in plan view and a vertical output shaft 642c of the ultrasonic motor. It is comprised from the part 642d and the fixing member 642b which fixes the mutual position of this ultrasonic motor. The tip of the vertical output shaft 642c is in contact with a recess formed on the back surface of the table portion 642d so that the horizontal positions of the vertical output shaft 642c do not shift.
[0015]
The ultrasonic motor 642a is a known technique, and an elastic member is placed on a piezoelectric ceramic that deforms when a voltage is applied, and a voltage in an ultrasonic region is applied to the piezoelectric ceramic to generate a bending vibration in the elastic member. This rotates the output shaft, and has characteristics such as high responsiveness and controllability and low operating noise. In the ultrasonic motor 642a used here, the output shaft 642c has a screw structure, and this output shaft rotates to move up and down. The tilting table 642 adjusts the inclination and focal length of the sample 601 according to instructions from the computer.
[0016]
The lamp unit 626 accommodates a halogen lamp (not shown), and the light from the halogen lamp is bent at a right angle along the optical axis of the microscope 602 by a half mirror and applied to the specimen 601. The reflected light from this specimen is enhanced to obtain a clear image. The lamp unit 626 that is the epi-illumination light source is used when the specimen 601 is a substance having low light transmittance. Further, an optical fiber 607 for introducing light from a halogen lamp (not shown) provided externally as a transmissive light source so as to be irradiated from the back surface of the specimen 601 is connected to the lower portion of the L-shaped frame 606. . When viewing a light-transmitting object such as a cell or tissue, the light source from here is often used as the main light source. In this embodiment, the light is irradiated from the back surface of the specimen 601.
[0017]
In the two-dimensional CCD sensor unit 627, a two-dimensional CCD sensor (not shown) capable of capturing a two-dimensional extent to some extent is provided. That is, in the cell examination, it may be necessary to display an image magnified by the microscope 602 directly on the display means and confirm a specific part or range where malignant cells are present while viewing this display screen. . However, when the image sensor is only the line sensor 631a or the like, the line image that can be captured at a time is extremely narrow, and therefore, while viewing the display screen of the narrow line image, the specific region or range where malignant cells are present can be determined. It is difficult to confirm. On the other hand, a two-dimensional CCD sensor that can image a two-dimensional extent to some extent is provided, and it is easy to confirm a specific part or range such as a cell or tissue while viewing the display screen. Therefore, by providing a two-dimensional CCD sensor, a specific part or range in the sample 601 can be easily confirmed.
[0018]
This two-dimensional CCD sensor is a flat-type arrangement of 600 × 600 = about 350,000 charge-coupled devices having a side of 21 μm, which is used in a general CCD camera. Is imaged through a half mirror.
[0019]
The terminal 605 uses a commercially available computer, a so-called personal computer, and includes an arithmetic processing unit 651, a display unit 652, and a storage unit 653 that stores line image data. The arithmetic processing unit 651 is provided in the image processing apparatus and, as will be described later, is a line based on the setting of the imaging region of the sample 601, the movement of the moving unit 604, and the amount of movement fed back from the encoder of the moving unit. An imaging execution instruction from the sensor 631a and the like, capturing of line image data captured by the line sensor, and synthesis of the line image data to create an overall planar image of the imaging region.
[0020]
Next, a procedure for creating cell and tissue image data 32a to 32c using the above-described components will be described. As shown in FIG. 2, first, a specimen 601 in which a cell or tissue piece to be examined is sandwiched between a slide glass and a cover glass is set on the upper surface of the table portion 642d of the tilting table 642 so as not to move. The sample is fixed to the table portion 642d by suction or the like by vacuum means or the like. Next, as shown in FIG. 7, the inspection area 611 of the sample 601 is set by input from the input means of the personal computer.
[0021]
The reason for setting the inspection area 611 is to set the start point 611a and the end point 611b of the line image picked up sequentially by the line sensor 631a and the like as will be described later. The setting of the inspection area 611 requires a picked-up image having a certain two-dimensional extent, so that picked-up data from the two-dimensional CCD sensor is displayed on the display means 652 of the terminal 605 and the display screen is displayed. While moving, the moving means 604 is moved and adjusted in the XY directions. Accordingly, the XY coordinates of the diagonal positions 611a and 611b are stored in the arithmetic processing unit 651 as information corresponding to the movement start point and end point position of the linear motor 641 of the moving unit 604. Therefore, as will be described later, when imaging is performed by the line sensor 631a or the like, the linear motor 641 is moved from the inner position 611a, which is the first imaging position, to the horizontal direction, which is the last imaging position, according to an instruction from the arithmetic processing unit 651. Move sequentially to position 611b.
[0022]
When setting the inspection region 611, the focal length and inclination of the sample 601 are adjusted simultaneously. That is, when setting the inspection area 611, first, at the start position 611a, while focusing on the surface layer 601a of the sample 601 while viewing the display image from the two-dimensional CCD sensor displayed on the display means 652, the linear motor 641 is moved in the X-axis direction to focus at the right end position of the inspection region 611. Then, the tilt in the X-axis direction is calculated from this focal position shift, and the tilt of the tilting table 642 is adjusted. Then, the focus is adjusted at the upper right position 611b of the inspection area 611 by the same means, and the inclination in the Y-axis direction is adjusted.
[0023]
Here, if the focal position of the two-dimensional CCD sensor and the focal position of the line sensor 631a for imaging the surface layer 601a of the sample 601 coincide with each other, the focal point of the line sensor 631a immediately follows the surface layer 601a of the sample. Can be combined. The other line sensors 631b and 631c are designed so that the aberration correction lenses 622a, 622b and 622c are focused on the respective focal depths simultaneously with the line sensor 631a. At the combined stage, all three line sensors are in focus.
[0024]
Next, a procedure for imaging the sample 601 with the line sensor 631a and the like will be described with reference to FIGS. This imaging is controlled by a program built in the arithmetic processing unit 651. First, the arithmetic processing unit 651 sets inspection positions j = 0 and k = 0 by the encoder, and recognizes the inspection positions as coordinates X = 0 and Y = 0. Then, the sample 601 is moved to the XY coordinate (0, 0) position by the linear motor 641. This XY coordinate (0, 0) position is the lower left corner 611a of the inspection area 611 shown in FIG. 7, and this point is the starting point for starting imaging. In FIG. 8, the line sensor 631a is located at the position (a) and overlaps the lower left corner 611a.
[0025]
When the start point of the imaging position is set at the position of the lower left corner 611a of the inspection area 611, the arithmetic processing unit 651 sets the movement amount dx on the X axis, and the line sensors 631a and 631b at the inspection position (0, 0). , 631c are stored in the storage unit 653, and the movement of the linear motor 641 is started at a constant speed in the X-axis direction. (FIGS. 8A to 8C) The moving amount of the moving unit 604 is measured by an encoder, and the data is sent to the arithmetic processing unit 651. Then, when the arithmetic processing unit 651 determines that the inspection area 611 has been moved in the X-axis direction by one measurement width such as the line sensor 631a by the moving unit 604, the second inspection position X = 1dx, Y = A line image from this line sensor at 0, that is, at coordinates (1dx, 0) is stored in the storage unit 653.
[0026]
Then, each time one line image is recorded, the arithmetic processing unit 651 adds 1 to k, the linear motor 642 moves in the X-axis direction at a constant speed, and the inspection position is in the inspection region 611 shown in FIG. Up to the lower right corner (corresponding to the movements of (d) to (f) in FIG. 8), the line image is sequentially stored in the storage unit 653 for the range of one column of the length L in the X-axis direction.
[0027]
When the capturing of the imaging at the bottom of the inspection area 611, that is, the Y-axis coordinate = 0 is completed, the arithmetic processing unit 651 sets j = 1 in the encoder, and the inspection position X = L, Y = 1dy, that is, the XY coordinate. The inspection position is moved by the linear motor 641 to the (L, 1dy) position. This position is a position which is right by L in the X-axis direction from the lower left corner 611a of the inspection region 611 shown in FIG. 7 and moved in the Y-axis direction by the length of the line sensor 631a and the like. Then, at the position of Y = 1dy, line images are sequentially captured from the right end to the left end of the inspection area 611.
[0028]
In this way, at the moment when the line sensor 631a or the like moves to a new imaging range while changing the scanning direction of the line sensor 631a or the like from right to left or from left to right, the arithmetic processing unit 651 The line images are sequentially recorded in the storage unit 653 along with the measurement coordinates. When J> n is reached, the arithmetic processing unit 651 determines that the entire region of the inspection region 611 has been imaged, and synthesizes the recorded line images to create three different sample depth layers 601a, 601b, The planar image data of all the inspection areas in 601c are stored as layer image data 32a, 32b, and 32c in the storage unit 653, respectively.
[0029]
Note that the arithmetic processing unit 651 adds the XY coordinates in the inspection region 611 and the sample depth, that is, the Z-axis coordinates, to each captured line image data when imaging with the line sensor 631a or the like. That is, as shown in FIG. 4, the layers 601a, 601b, and 601c having different sample depths simultaneously imaged by the line sensors 631a, 631b, and 631c are shifted from each other by the line sensor elements in the X-axis direction. When the line image captured by the line sensor 631a is used as a reference, the amount of X of the coordinates of the line image captured by the line sensor 631b is added to this amount, and the X coordinate value is added by shifting by one element. Is done. Further, the X value of the coordinates of the line image captured by the line sensor 631c is further shifted by one element. The layers 601a, 601b, and 601c are displaced from each other by the height at which the line sensor is provided in the Z-axis direction. This amount of deviation is determined by the line sensor 631b when the line image captured by the line sensor 631a is used as a reference. This shift amount is added to the Z value of the coordinates of the line image to be captured, and the Z coordinate value is added with a shift of one height. Further, the Z value of the coordinates of the line image picked up by the line sensor 631c is further shifted by one height. As described above, when each line image is captured by the arithmetic processing unit 651 of the terminal 605, the XYZ coordinates of the imaging positions in the entire examination region 611 of the sample 601 are added to the line image data.
[0030]
In addition, the line sensors 631a to 631c may be imaged by keeping all line sensors in the imaging state as described above, or corresponding to the end portions of the sample ((a) to (c) in FIG. 8). In FIG. 8A, the image is picked up by only the line sensor 631c, in FIG. 8B, the image is picked up by the line sensors 631c and 631b, and from FIG. 8C, the image is picked up by all the line sensors. At the other end of the specimen (corresponding to (d) to (f) in FIG. 8), all line sensors up to FIG. 8 (d) are imaged, and in FIG. 8 (e), the line sensor 631b is captured. And 631a, and in FIG. 8F, the arithmetic processing unit 651 may control the image so that only the line sensor 631a captures the image. That is, if the line sensor that captures the position where the sample does not exist is controlled so as not to capture the image, the image data of the place where the sample does not exist can be eliminated from the image data.
[0031]
Next, a method for displaying the image data 32a to 32c of all the inspection areas on the display means 652 will be described. A layer image to be displayed on the terminal 605, for example, 32a is selected. The arithmetic processing unit 651 of the terminal 605 displays thumbnails (reduced images) of the entire region of the selected layer image 32a on the display unit 652. When a desired plane area on which an image that is not reduced is to be displayed is designated on the thumbnail, the arithmetic processing unit 651 selects the layer image data 32a from the image data stored in the storage unit 653, and from there Extract image data corresponding to the specified plane area. Then, the arithmetic processing unit 651 extracts image data corresponding to the planar area at a position corresponding to the designated planar area from the other layer image data 32b and 32c. The arithmetic processing unit 651 stores the image data of each planar area extracted from each of the layer image data 32a to 32c as a group into an image storage memory in the image processing apparatus. Thereafter, the arithmetic processing unit 651 causes the display unit 652 to display an image of the designated plane area of the selected layer image 32a.
[0032]
In this way, the arithmetic processing unit 651 extracts each layer image data of the planar area displayed on the display unit 652 and stores it separately in the image storage memory, so that the operator can see the displayed layer image. If you want to focus on the part that is not in focus and blurry, or if you want to see another layer image of the sample depth that is in a different position from the displayed layer image, Other layer images can be displayed on the display device 652 without taking time using image data stored separately in the image storage memory. For this reason, the operator uses the terminal 605 alone and looks at the eyepiece 623 of the microscope 602, as if observing the sample depth at the three focal positions, and the arbitrary one designated on the display unit 652 An image of a planar area can be displayed. In other words, the image processing unit 651 stores each layer image data corresponding to the extracted plane area separately, so that the field of view viewed with the microscope can be virtually reproduced only by the terminal 605.
[0033]
As shown in FIG. 4, not only when the aberration correction lens 622a is provided for each line sensor 631a, etc., but also as shown in FIG. 5, the aberration correction has a plurality of (three in the embodiment) curvature radii. Layers 701a, 701b, and 701c having different specimen depths may be formed on the line sensors 731a, 731b, and 731c by the lens 722. Further, the configuration of the line sensor 631a and the like is not limited to the case where 4000 CCDs are arranged one by one, and several pieces may be arranged longer. Further, the smaller the size of each CCD constituting the line sensor 631a and the like, the better the resolution of the image. However, when a large size CCD is used, the resolution can be increased by increasing the imaging magnification. A good image can be taken.
[0034]
Further, the focus position and tilt adjustment of the specimen 601 are not automatically performed by the above-described manual operation, but by incorporating focusing means having laser projection means into the microscope 602 and moving the tilting table 642 based on instructions from the computer. It is also easy to do. Further, the number of line sensors 631a and the like is not limited to three as described above, and may be two or four or more, and simultaneously image an inspection region having a sample depth corresponding to each number. can do.
[0035]
Next, the cell inspection system will be described. First, the arithmetic processing unit 651 stores, in the storage unit 653 of the image creation department 3, the image data 32a to 32c of all the examination regions in the three sample depth layers 601a, 601b, and 601c, respectively stored in the storage unit 653. At the same time, it is recorded on a DVD which is a large capacity recording medium. This DVD is sent to the examination department 4 and the diagnosis department 5 and stored in the storage units 42 and 52 via the terminals 41 and 51, respectively. As a result, the same image data 42a to 42c and 52a to 52c of all examination regions in the layers 601a, 601b, and 601c having different specimen depths for the cells and tissues to be examined are the terminals 41 of the examination department 4 and the diagnosis department 5. , 51 also exist.
[0036]
Here, the reason is that the storage units 653, 42, and 52 are provided for each department, and the image data of all the imaging regions of the cells and tissues are recorded. This image data is an enormous amount of about 1 Gbyte or more for each specimen. This is because it becomes capacity. That is, a system in which this image data is recorded on one common server and accessed from a terminal of each department using a data transmission medium is also conceivable, but the data capacity of the image is too large. This is because at the current transmission rate, transmission / reception takes too much time and is not suitable for practical use.
[0037]
Therefore, the examination department 4 first displays an image of a predetermined plane area of a desired layer among the three layers of cells and tissues from the image data 42a to 42c stored in the storage unit 42, and displays malignant cells and Check for cells that should be considered malignant. Since the image data 42a to 42c is image data having an area larger than the area that can be displayed by the display means 41a as the first image display means of the terminal 41, the image data of a desired layer is displayed on the terminal 41. A predetermined plane area to be displayed is designated.
[0038]
If there are malignant cells or cells that should be considered malignant, the range is specified on the display screen. As the specifying method, there are prepared a method in which the range in which the cell can be seen on the display screen is divided by a frame line or color coding, and a method in which an arrow, a symbol, or a comment is inserted in the display image.
[0039]
When performing inspections in a plurality of departments at the same time, first, the inspection department 4, the diagnostic department 5, and the image creation department 3 are made communicable by a data transmission medium such as a public line such as a telephone line or a dedicated Internet line. . An operator of the inspection department 4 operates the terminal 41 to select a layer image to be displayed on the terminal 41, for example, 42a. The terminal 41 sets the sample depth information specifying the selected layer image as the first condition. Then, the terminal 41 displays the entire thumbnail (reduced image) of the set layer image 42a on the display means 41a.
[0040]
The operator selects a desired planar area from which an image that is not reduced is to be displayed. The terminal 41 sets coordinate information or the like specifying the selected plane area as the second condition. Then, the arithmetic processing unit of the terminal 41 extracts image data corresponding to the planar area at a position corresponding to the designated planar area from the other layer image data 42b and 42c. Then, the arithmetic processing unit stores the image data of each planar area extracted from each of the layer image data 42a to 42c as a group in an image storage memory in the image processing apparatus. Thereafter, the terminal 41 selects the layer image data 42a from the image data stored in the storage unit 42 using the first condition and the second condition, and extracts image data corresponding to the selected planar area from the layer data. Then, the image of the selected planar area is displayed on the display means 41a. Unlike the layer image data of the selected planar area, the first condition and the second condition have a very small amount of data, so that communication does not take time even if data is transmitted and received.
[0041]
At the same time, the terminal 41 transmits the first condition and the second condition to the terminals 605 and 51 of the image creation department 3 and the diagnosis department 5 through the data transmission medium by the transmission means. The terminals 605 and 51 use the received first condition and second condition to select the layer image data 32a and 52a from the corresponding image data stored in the storage units 653 and 52, and then select the plane area selected therefrom. Corresponding image data is extracted, and a corresponding image corresponding to the image displayed on the terminal 41 is displayed on the display means 652 and 51a as the second image display means. Of course, at this time, similarly to the terminal 41, the calculation processing units of the terminals 605 and 51 each have a plane corresponding to the plane area designated by the other layer image data 32b, 32c or 52b, 52c. Image data corresponding to the region is extracted. Each arithmetic processing unit stores the image data of each planar area extracted from each of the layer image data 32a to 32c or 52a to 52c as a group and stored in an image storage memory in the image processing apparatus.
[0042]
As described above, the same image is displayed on the terminal 41 of the examination department 4, the terminal 605 of the image creation department 3, and the terminal 51 of the diagnostic department 5 only by transmitting and receiving two conditions of the first condition and the second condition by the data transmission medium. Will be displayed.
[0043]
Then, an index for an operator of the examination department 4 to classify the image displayed on the terminal 41 by a frame line or color coding from an input device such as a mouse or a keyboard, or to insert an arrow, a symbol, or a comment in the display image Is displayed, the terminal 41 sets information indicating the type and coordinates of the index as the third condition. Similar to the first and second conditions, the third condition has a smaller data amount and does not take longer to communicate than the layer image data of the selected planar region. At the same time, the terminal 41 transmits the third condition to the terminal 605 of the image creation department 3 and the terminal 51 of the diagnosis department 5 via the data transmission medium by the transmission means. The terminals 605 and 51 display the indicator on the display means 652 and 51a using the received third condition. For this reason, the indicator corresponding to the indicator displayed on the terminal 41 is also displayed on the display means 652 and 51a of the terminals 605 and 51.
[0044]
Therefore, the examination plane 4, the image creation department 3, and the diagnosis department 5 only transmit and receive a small amount of data of the first to third conditions via the data transmission medium, and the same plane in an image having a vast imaging area. For example, the diagnosis department 5 does not need to search for malignant cells. In addition to malignant cells identified in the examination department 4 or cells other than those that should be considered malignant, cells that should be considered malignant in the diagnosis department 5 are required, or when high-magnification imaging data is required. If the operator of the diagnosis department 5 specifies the position on the display screen of the terminal 51 or adds an instruction for the imaging condition, the terminal 51 selects the data transmission medium in the same manner as described above for the terminal 41. The first to third conditions are transmitted to the terminals 605 and 41 of the examination department 4 and the image creation department 3, and the specific range, imaging conditions, etc. are immediately displayed, and processed promptly and accurately according to the displayed instructions. It becomes possible to do.
[0045]
Then, for example, the operator of the examination department 4 cannot determine whether it is a malignant cell only in a portion where the currently displayed image is in focus, and focus on a portion that is out of focus and is out of focus. When an operator wants to view a layer image of another sample depth, the operator designates the layer image of another sample depth in focus on the terminal 41, and the arithmetic processing unit of the terminal 41 displays the image. Since another layer image data corresponding to the plane area is stored in the image storage memory, it is possible to immediately change the first condition without having to extract a corresponding plane area from all the imaging areas. A layer image can be displayed. That is, when the worker wants to switch the display from the currently displayed layer image 42a to 42b, for example, when the worker selects the layer image 42b, the terminal 41 displays the sample depth information for designating the selected layer image. Are set as the first condition, and the extracted layer image 42b of the image storage memory is displayed on the display means 41a. Then, by transmitting only the changed first condition to the other terminals 605 and 51, the same modified layer image as the terminal 41 is extracted from the image storage memory and displayed immediately on the other terminals. become.
[0046]
In the above-described embodiment, the same image is simultaneously examined in three departments. However, the present invention is not limited to this, and the examination may be performed while viewing the same image only in two departments or in four or more departments. As described above, since information and opinions can be exchanged via the data transmission medium, it is possible to perform highly accurate specimen inspection efficiently as if each department met together. In addition, the present invention is not limited to cells and tissues, but can be used for specimen inspection of blood, bacteria, and the like. In the above embodiment, the extracted image of each layer is alternatively displayed on the display unit 652. However, the present invention is not limited to this, and a plurality of combinations of the extracted images of each layer are simultaneously displayed on the display unit 652. You may do it. For example, two or more extracted sample depth images may be superimposed and displayed, or the two or more extracted images may be displayed on the display unit 652 in parallel. In this case, two or more images can be displayed in parallel on the display means if the plane area is made half or less of the screen size. In this way, since two or more images are displayed on the display means 652, it is easy to recognize three-dimensionally and the inspection becomes easier.
[0047]
【The invention's effect】
A plurality of whole images with different sample depths can be created simultaneously by scanning the sample inspection range once with the line sensor. Therefore, a clear image over the entire inspection range can be quickly obtained for each layer having different specimen depths.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an inspection system.
FIG. 2 is a configuration of a microscope apparatus.
FIG. 3 is another configuration diagram of the microscope apparatus.
FIG. 4 is a configuration diagram of an optical lens.
FIG. 5 is another configuration diagram of the optical lens.
FIG. 6 is an enlarged front view of a line sensor and an aberration correction lens.
FIG. 7 is an explanatory diagram of a procedure for capturing a line image.
FIG. 8 is an explanatory diagram relating to imaging of a line sensor.
[Explanation of symbols]
6 Microscope device 601 Sample 621, 721 Objective lens (optical lens)
622a to 622c, 722 Aberration correction lens (optical lens)
631a to 631c Image sensor 651 Arithmetic processing unit (image processing means)

Claims (1)

標本の標本深さが異なる複数の層をそれぞれ同時に結像させる光学レンズと、
前記層毎に対応して設けられ、各層をそれぞれ画像として撮像するラインセンサと、
前記ラインセンサで撮像した画像から前記標本の複数の層毎の画像を作成する画像処理手段とを備え、
前記光学レンズは、対物レンズと収差補正レンズとからなり、
前記収差補正レンズは、前記複数のラインセンサ毎にそれぞれ結像させる複数のレンズであって、
前記収差補正レンズは、前記標本深さが異なる複数の層を、それぞれの前記ラインセンサに結像させるような光学的形状に形成されている
ことを特徴とする顕微鏡装置。
An optical lens for simultaneously imaging a plurality of layers having different specimen depths,
A line sensor provided corresponding to each layer, and imaging each layer as an image,
Image processing means for creating an image for each of a plurality of layers of the specimen from an image captured by the line sensor;
The optical lens includes an objective lens and an aberration correction lens,
The aberration correction lens is a plurality of lenses that form an image for each of the plurality of line sensors,
The microscope apparatus, wherein the aberration correction lens is formed in an optical shape such that a plurality of layers having different sample depths are imaged on the respective line sensors.
JP2002314877A 2002-10-29 2002-10-29 Microscope equipment Expired - Fee Related JP4346888B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002314877A JP4346888B2 (en) 2002-10-29 2002-10-29 Microscope equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002314877A JP4346888B2 (en) 2002-10-29 2002-10-29 Microscope equipment

Publications (2)

Publication Number Publication Date
JP2004151263A JP2004151263A (en) 2004-05-27
JP4346888B2 true JP4346888B2 (en) 2009-10-21

Family

ID=32459071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002314877A Expired - Fee Related JP4346888B2 (en) 2002-10-29 2002-10-29 Microscope equipment

Country Status (1)

Country Link
JP (1) JP4346888B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5012071B2 (en) * 2007-02-14 2012-08-29 株式会社ニコン Slit scanning confocal microscope
JP5499732B2 (en) 2009-06-23 2014-05-21 ソニー株式会社 Biological sample image acquisition apparatus, biological sample image acquisition method, and biological sample image acquisition program
JP5561027B2 (en) * 2009-11-30 2014-07-30 ソニー株式会社 Information processing apparatus, information processing method, and program thereof
GB201113071D0 (en) 2011-07-29 2011-09-14 Ffei Ltd Method and apparatus for image scanning
DE102015209756A1 (en) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Arrangement and method for light-sheet microscopy
CN112748563A (en) * 2021-01-14 2021-05-04 桂林优利特医疗电子有限公司 Electron microscopic module based on flexible hinge focusing

Also Published As

Publication number Publication date
JP2004151263A (en) 2004-05-27

Similar Documents

Publication Publication Date Title
JP6437947B2 (en) Fully automatic rapid microscope slide scanner
EP3018520B1 (en) Digital microscope
JP4937850B2 (en) Microscope system, VS image generation method thereof, and program
JP2017194699A5 (en)
JP4970869B2 (en) Observation apparatus and observation method
JP4878913B2 (en) Microscope system, microscope image synthesis method, and program
JP2017194700A5 (en)
CN105004723A (en) Pathological section scanning 3D imaging and fusion device and method
US20160062101A1 (en) Method and apparatus for small and large format histology sample examination
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2013054083A (en) Whole slide image creation device
CN111788508A (en) Digital microscope and method for changing the magnification of a digital microscope
US7865007B2 (en) Microscope system, observation method and observation program
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2007017930A (en) Microscopic device
JP4346888B2 (en) Microscope equipment
KR100897674B1 (en) Sample inspection system and sample inspection method
JP4046161B2 (en) Sample image data processing method and sample inspection system
JP2005266718A (en) Microscopic image photographing system
EP1918751A1 (en) Microscope system, observation method and observation program
JP4231915B2 (en) Specimen inspection method and system
JP6068010B2 (en) Microscope system
CN115914786A (en) Image acquisition apparatus and image acquisition method using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081023

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20081023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090715

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees