JP5132867B2 - 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム - Google Patents

仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム Download PDF

Info

Publication number
JP5132867B2
JP5132867B2 JP2003571983A JP2003571983A JP5132867B2 JP 5132867 B2 JP5132867 B2 JP 5132867B2 JP 2003571983 A JP2003571983 A JP 2003571983A JP 2003571983 A JP2003571983 A JP 2003571983A JP 5132867 B2 JP5132867 B2 JP 5132867B2
Authority
JP
Japan
Prior art keywords
images
image
plane
focal plane
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003571983A
Other languages
English (en)
Other versions
JP2005518570A (ja
Inventor
ヴィ.バクス ジェームズ
ダブリュ.バクス ジェームズ
Original Assignee
オリンパス アメリカ インコーポレイテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス アメリカ インコーポレイテツド filed Critical オリンパス アメリカ インコーポレイテツド
Publication of JP2005518570A publication Critical patent/JP2005518570A/ja
Application granted granted Critical
Publication of JP5132867B2 publication Critical patent/JP5132867B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1447Spatial selection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1452Adjustment of focus; Alignment

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Lens Barrels (AREA)

Description

本発明は、ガラス顕微鏡スライドなどのサポート上の標本から仮想顕微鏡スライドを撮像して構成する方法及びその装置に関し、当該仮想顕微鏡スライドは、仮想スライド全体に渡ってZ軸画像の次元を含み、当該Z軸画像の内容は、ガラス顕微鏡スライドに渡る複数の個別の主画像焦点位置、すなわち基準画像焦点位置に関連するものであまた、本発明は、ローカルまたはリモート位置での仮想焦点合わせを可能にする、第3者による観察のため、座標を付けられておりかつZ軸次元のX、Y平面中で継ぎ目のない複数の仮想顕微鏡スライド画像を記憶し、転送する方法及び装置に関する。
本出願は、2002年2月22日出願の米国仮出願第60/358,747号の利益を主張するものである。
顕微鏡を使用した微小対象物の拡大については良く知られている。顕微鏡により、容易に微小対象物を拡大することができ、それにより微小対象物の細部を観察することができる。顕微鏡は、任意の所与の倍率に対して、対応する視野を有している。一般的には、拡大する量が多くなるほど、対象物に対する対応する視野が狭くなる。
図1は、従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。図1に示すように、顕微鏡対物レンズ10は、任意の所与の焦点距離に対して、被写界深度11(つまり、焦点が合った対象物が現われるZ軸方向の範囲)を有する対応する焦点面を有している。また、一般的には、拡大する量が多くなるほど、対象物に対する対応する被写界深度が小さくなる。これらの顕微鏡視野の単一ディジタル画像の撮像については良く知られており、その技術の、被写界深度画像内容を記録するための単一対象物位置における画像スタックの撮像および表示には実績がある。このような画像は、例えば、共焦点顕微鏡検査法機器(confocal microscopy instrument)で使用されており、単一X、Y平面位置における画像スタック中の各画像のZ軸焦点位置を変化させることによって、対象物を通して画像化している。
1750年前後の初期の顕微鏡技術における顕微鏡標本は、薄くかつ小型の2枚の円形ガラスプレートの間に置かれ、顕微鏡対物レンズの下側のスロット中で前後に引っ張ることができる細長い象牙の「スライダ」上に取り付けられていた。今日の技術では、スライダは、取付け構造としての長方形ガラス「スライド」に置き換えられ、対象標本は、そのガラススライド上に置かれ、場合によっては、より薄いガラス「カバースリップ」で覆われている。
これらのガラススライド取付け構造は、その表面積全体に渡って平らではなく、つまり、40倍乃至100倍の共通顕微鏡対物レンズの被写界深度の許容範囲内にある。ガラススライド取付け構造の一部は他の部分より分厚く、場合によっては、そり(warp)、すなわち曲率(curvature)を有しており、そのために、単一視野画像を獲得する場合と対照的に、仮想顕微鏡スライド(virtual microscope slide)の構成に重大な問題をもたらしている。これは、ほとんどの実例において、対物レンズのZ軸焦点面を標本の断面部分と同じ面に位置付けすることができず、そのために、Z軸次元の標本を何らかの方法で調整しない限り、スライドの表面全体に渡って、すなわち隣接する平面X、Y視野の中で、Z軸次元の「焦点が合わない」ことに起因している。
例えば、スライドの一方の端部がもう一方の端部より分厚く、他のすべての要素が同じで、かつ、ステージサポートが平らであると仮定した単純なケースの場合、対物レンズ焦点面内における標本の断面の同じ部分の位置決めに関して、スライドの両端間に傾斜が生成される。この傾斜は、狭い視野の中では明白ではないため、単一視野多重Z次元画像の場合、これは問題ではない。この問題の他の面は、ステージサポートに関連している。
市販されているステージは、広く使用されているガラス顕微鏡スライドの全動作距離に渡って平行かつ平らでないことがしばしばであり、また、ミクロトームによる切片化も、一様な厚さの切片をもたらしていないため、標本対象物の断面の厚さが様々な厚さになっている。したがって、多数の要因により、適切な焦点面がスライド上の場所毎に変化している。焦点距離の位置は、顕微鏡の対物レンズによって決まり、また、焦点面の位置を調整するために対物レンズを移動させることができるが、一般的には、ガラススライド構造を保持しているステージプラットホームをZ方向に上下に移動させることによって、所与の標本位置に対する最適焦点面および単一視野すなわち画像タイルを得ている。したがって、当分野で良く知られているように、顕微鏡スライドの平らな表面および顕微鏡スライドに付着された標本に対するZ軸方向の焦点面位置は、所与の標本における正確な焦点に対して、実質的にポイント毎に変化している。
また、仮想顕微鏡スライドが知られており、仮想顕微鏡スライドの生成、保管およびインターネットディスプレイまたはイントラネットディスプレイが教示されている(例えば、参照によりその内容が本明細書に組み込まれている特許文献1参照)。特許文献1が教示しているように、仮想顕微鏡スライドは、通常、顕微鏡スライドの一部またはすべてのディジタル化拡大ビュー、および顕微鏡スライド上に配置された対象物(生物学的標本など)からなっている。生成された仮想顕微鏡スライドは、顕微鏡光学視野制限の限界を克服している。つまり、仮想顕微鏡スライドは、スライドの様々な部分からのディジタル画像を記憶するためのデータ構造を有しており、合成画像部分からのX、Y平面ビューの再現を可能にしている。
また、観察に関しては、仮想画像(virtual image)において、ユーザによる場所から場所への継ぎ目のない迅速な操作を可能にし、かつ、様々な顕微鏡対物レンズを使用し倍率変化を模擬するように仮想画像のズームを可能にするようにインターネットまたはイントラネットビューワソフトウェア(intranet viewer software)を使用することにより、コンピュータ端末ディスプレイスクリーンの有限サイズの限界を克服している。従来技術による仮想スライドは、実際の顕微鏡を通した観察によって得られる、隣接かつ整列したX、Y平面画像の観察に係る観察プロセスおよび検査プロセスを模擬するコンピュータ観察を可能にしている。
前述の特許文献1に示されているように、ディジタル化される対象物の領域は、単一Z平面焦点距離で撮像された、隣接する複数の顕微鏡対物レンズ光学視野からなっている。なかには、仮想顕微鏡スライドを表すために、数千の顕微鏡対物レンズ光学視野を記録しているものもある。前述の特許文献1に示されているように、ディジタル化された個々の視野は、タイル(tile)と呼ばれている。選択されるZ平面の対象物位置は、所与のタイルに対して、顕微鏡スライド上のX、Y位置によって変化し、また、前述の特許文献1に示されているように、個々の画像被写界深度に対する自動焦点決定、あるいは画像被写界深度の近傍の予め決定されている焦点位置からの延長による、代表的かつ合理的に最適な焦点位置選択として獲得されている。対象物がディジタル化され、得られた画像が、後続するレビューまたは画像処理のための検索が可能なデータ構造中に記憶されている。
顕微鏡対物レンズ光学視野の限界により、仮想顕微鏡スライドタイルの撮像(capture)は、少なくとも1つの平面内の対象物の微小部分のみに常に限定されている。前述の特許文献1に示されているように、ディジタル撮像は、3色チップCCDセンサを使用して実施され、このCCDセンサは、タイル内の同一の対象物領域のサンプルピクセルポイントおよび個々のタイルを3つのカラーピクセルとして、互いにレジスタ中に撮像することができる。
また、前述の特許文献1に示されていない、走査法の他の実施形態では、例えば、寸法が3×2098ピクセルのラインセンサが使用され、一定の速度で1つの方向に移動することができ、寸法が3×2098の一連のタイルを取得するようにサンプリングを実行し、コンピュータメモリに記憶してより大きい画像セグメントを形成する。しかしながら、この画像セグメントも、光学視野によって依然として一つの方向に制限されており、その後に、仮想顕微鏡スライドを構成するために、隣接するタイル画像セグメント獲得している。この場合、ラインセンサに沿った所与の各位置における3つのピクセルが、異なるカラーセンシングを行なうため、若干のカラー損失および空間情報損失が存在している。
当分野で知られているように、センササンプリングの他の組合せが達成されているが、隣接する撮像画像部分を再現することができる真の仮想顕微鏡スライド画像撮像を構成するためには、上記方法は、顕微鏡対物レンズの高倍率における対象物平面の少なくとも1つの次元内の極めて狭い光学視野の限界を克服しなければならない。通常、これは、ステージまたは顕微鏡対物レンズのいずれかを移動して、対象物領域をカバーし、ディジタル化画像データ構造を構成することによって達成される。
また、さらなる観察を容易にするために、ディジタル化画像データ構造を様々な方法で記憶することができることを理解されたい。データ構造を記憶するための方法の1つは、各撮像事象を極めて大型の連続ディジタルメモリすなわち記憶装置に単純に記憶させることである。この場合、このメモリを単純に索引し、コンピュータスクリーンに、例えば、X×Yピクセルサイズの標準二次元画像を表示することによって連続表示が達成される。しかしながら、この方法の場合、仮想スライドインターネットサーバメモリ要求が極めて大きくなる。前述の特許文献1に記載されているように、タイルデータ構造は、サーバメモリおよびインターネット伝送速度に対して、より有効である。
また、前述の特許文献1には、標準コンピュータビデオディスプレイに、全仮想スライドの微小部分のみを元の撮像解像度、すなわち最大倍率で表示することができることについても示されている。これを克服するために、画像データ構造及び記憶に関する様々な方法が記述されており、典型的には、ビューワプログラムが、高倍率被写界深度および低倍率被写界深度を表示するために拡大および縮小し、ディジタル記憶装置またはインターネットサーバから既に伝送され、かつ、観察されている仮想スライド画像データ部分を保管している。ビューワディスプレイプログラムは、ユーザが要求する画像部分のみを提供するために、索引およびアドレス指定を処理しなければならない。また、仮想顕微鏡スライドを様々な方向にスクロールすることにより、顕微鏡対物レンズに対する対象物/スライドの移動を模擬することができる。このような仮想顕微鏡スライドは、教育、訓練、定量分析および定性分析を始めとする様々な目的に使用することができる。
このような仮想顕微鏡スライドは、特に、厚さが比較的一様である標本と、単一被写界深度内に存在する重要なフィーチャ(特徴部分)とを有するアプリケーションに対して良好に機能している。このような仮想顕微鏡スライドは、仮想顕微鏡検査法が抱えている2つの重要な技術的課題のうちの第1の問題を解決している。第1の問題は、隣接する微小画像セグメントを整列させ、それらをX、Y位置決めにおいて継ぎ目なく表示する問題である。顕微鏡は、任意の所与の倍率レベルに対して、このような標本、およびディジタル撮像され、かつ、後の検索および利用のために記憶されている、対応する単一焦点面画像の焦点を自動的に合わせることができる。
しかしながら、標本の深さの変化が大きい場合、および/または重要なフィーチャ(特徴部分)が深さに対してより幅広く間隔を隔てている場合、従来技術による仮想顕微鏡スライドには、1つまたは複数の望ましい要素に対して、焦点が完全に合わない画像が含まれることになる。これは、仮想顕微鏡検査法が抱えている第2の主要な技術的課題である。この課題は、第1の位置における画像を表示するための適切な焦点面を見出すことであり、あるいは、スライド全体に渡ってZ軸次元を持たせることであり、それにより、いずれの場合においても、顕微鏡ガラススライドが平坦に支持されないという問題、および組織切片化(sectioning)および堆積(deposition)による凹凸(irregularity)のために、ガラススライドの平らなX、Y表面に対して最適焦点面の位置が変化するという問題を克服するものである。この第2の課題に固有の問題と矛盾しないよう、多くの異なる非隣接対象物位置から、統合された仮想スライドデータ構造を用いることなく、座標情報を与えない方式でZ平面画像のスタック(stack)を取得する場合、それを適切に記憶検索することおよび、インターネットまたはイントラネット環境中首尾一貫した方式で観することの両方が困難である。
図2は、被写界深度の内部および外部の標本中の対象物の細部を示す、従来技術による顕微鏡スライド上の標本を示す図である。図2において、顕微鏡スライド21は、比較的一様な深さ部分22、すなわちZ軸位置、および/または深さが大きく変化している部分23を有する標本を保持している。ある部分22が被写界深度11内を維持しているのに対して、被写界深度11の上側または下側に拡張した他の部分26及び27は、焦点が外れた状態で、得られる画像中に出現するものと思われる。同様に、被写界深度11内に存在している重要なフィーチャ24は、焦点が合った状態で出現するが、被写界深度の範囲外に存在している重要なフィーチャ25は、焦点が外れた状態で出現することになる。
このような仮想顕微鏡スライドが学術的に使用されているかどうかに関係なく、組織微小配列(tissue microarray)を画像化する場合(例えば、特許文献2参照)、あるいは診断を目的としている場合、焦点外れの要素は、所望の活動のためのこのような画像を不適切にしていることがしばしばである。
米国特許第6,272,235号明細書 米国特許第6,466,690号明細書 米国特許第6,396,941号明細書
本発明によれば、顕微鏡標本から仮想顕微鏡スライドを構成し、記憶し、かつ観察するための、被写界深度画像内容を保存するための複数のZ平面画像撮像ステップを含んだ、新しく、かつ改良された焦点合わせ可能な仮想顕微鏡装置及びその方法が提供される。また、上述した改良型の方法及び装置には、個々のタイル画像すなわち撮像画像のデータ構造を、Z平面画像を含み、かつ、選択された最適画像タイルに関連するフォーマットで記憶するステップが含まれており、複数のZ平面内の隣接する領域の完全な再現を可能にし、かつ、ローカル位置にいる第3者による観察のための、インターネット仮想顕微鏡サーバによる、複数のZ平面を有する仮想スライド画像の効果的な転送を可能にしている。
上述した改良された方法及び装置の提供は、好ましい実施形態によって達成され、Z軸方向に並ぶ複数の画像が撮像され、所与のX、Y位置における単一タイルの、自動的に取得され、選択されるZ軸焦点位置によって参照される。このような走査については、前述の特許文献に示されている。所与の基準タイルの上側および下側の複数のZ平面画像が獲得され、データ構造の中で基準タイルと結合される。
また、好ましいデータ構造は、所有権を主張できる仮想スライドインターネット/イントラネットブラウザ、および汎用コンポーネントパネルビューイングプログラム、例えばActiveXコンポーネントおよびJava Appletを備えており、所有権を主張できるインターネット/イントラネットブラウザ中であれ、あるいはユーザ独自のアプリケーションプログラム中であれ、もしくは汎用インターネット/イントラネットブラウザ中であれ、これらのすべてが、リモートのユーザによる仮想スライド画像を観察する際のZ平面画像次元の操作を可能にしている。
データ構造は、インターネットまたはイントラネットを介して転送することができるため、ユーザは、Z軸の全深さに渡って仮想スライド標本を観察するために、所与の対象物位置で焦点を上下させることができ、したがって、記録されているZ焦点深度タイル1つだけでは見ることができない対象物の細部に焦点を合わせることができる。
本発明による好ましい実施形態では、コンピュータのマウスホイールを前後に移動させることによって、あるいはコンピュータキーボードの上矢印または下矢印を異なるZ平面画像を通して移動させることによって、このような観察が達成されている。また、ビューイングプログラムは、ユーザによるスクロール、隣接するタイルの隣接する画像領域の観察、および関連するZ平面画像の観察を可能にしている。
次に、本発明の態様をより詳細に考察すると、画像焦点面に対して追加のZ平面画像の内容を得るという問題が、本発明によるシステムによって解決されている。このシステムには、顕微鏡対物レンズ10の下側の特定の固定距離にガラススライド21を保持し、かつ、サポートする顕微鏡ステージが含まれており、したがって、ガラススライド上の標本は、所与の顕微鏡対物レンズの焦点深度11内に適切な対象物を有している。この顕微鏡ステージは、精密ステッピングモータによってコンピュータ制御され、X、Y平面内およびZ軸次元内を移動している。
本発明の好ましい方法によるX、Y平面内の走査は、画像タイルを取得するために、X、Yステッピングモータを使用して、1つの画像視野から他の画像視野へステージを正確に移動させることによって達成されている。X方向またはY方向への各移動に対するステップサイズは、タイルが互いに隣接し、かつ、整列するよう、増分ステップサイズが予め決定されている。ガラススライドは、ステージによって保持され、かつ、堅固にサポートされており、また、標本は、ガラススライド上に堅固に保持されているため、その効果は、ガラススライドを移動させることであり、したがって、新しい標本部分を顕微鏡対物レンズの視野の中にもたらすことにあるが、画像の内容は、対物レンズの所与の焦点深度11によって決まる。視野内ではあっても、焦点深度領域外の標本部分は画像内容には含まれない。
また、顕微鏡スライドをサポートしている顕微鏡ステージは、Z軸方向に対しても制御されているため、スライド上の視野内の、Z軸焦点深度領域外の標本部分を、所望のZ軸焦点深度領域に移動させることができる。顕微鏡ステージのZ軸方向の移動は、コンピュータによって、Z軸ステップサイズのディジタル増分で制御されている。ディジタルユニットの各々は、最小可能増分ステップを表している。例えば、一自動顕微鏡システムでは、モータを備えた内部Zドライブを備えたOlympus BX61(Olympus America Inc.2 Corporate Center Drive,Melville,NY 11747,USAが販売している)の1増分は、0.01μmである。セットアップ段階の間に、走査の起動に先立って、自動焦点手順および後続するZスタック画像タイル保管手順のための特定のZ軸ステップサイズパラメータが定義される。
任意の所与のタイルに対して、Zスタック保管手順は、所与の基準Z軸位置の上側に4つの画像タイルセット(set of 4 image tiles)を保管し、また、そのZ軸基準位置の下側に4つの画像タイルを保管している。上記セット中の各画像タイルは、Z軸次元内の次の画像タイルから、Z軸ステップサイズパラメータだけ分離されている。新しい視野タイルの各々に対する相対基準位置は、以下に示す反復自動焦点手順によって得られる。
次のタイルに移動すると、Z軸焦点位置が、自動焦点ステップサイズで4回増分変化して上昇し、各ステップ毎に画像が取得される。次に、自動焦点ステップサイズで下降し、各ステップ毎に画像が取得される。各画像に対する焦点コントラストパラメータ(focus contrast parameter)が計算される。次に、基準画像および8つの画像タイルセット(set of 8 image tiles)から、焦点パラメータ(focus parameter)の最大値と結合したZ軸位置を選択することによって自動焦点位置(automatic focus position)が決定される。最大値がシーケンスの一方の端部に存在する場合、最大値がタイルのシーケンス(sequence of tile)の中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより基準タイル画像が得られる。その時点で、システムは、Z軸ステップサイズを使用する手順へ進行し、Zスタック保管手順(Z stack save procedure)が実行される。これらのZスタック画像平面(Z stack image plane)がタイル画像データ構造に付加され、後の検索および表示の際のアクセスを容易にするために、基準タイルに結合される。仮想顕微鏡スライドの撮像に関連するすべての視野に対して、一連の同じ事象が反復される。
走査のための入力パラメータとして選択されるステップサイズは、主として、組織切片を切片化する厚さ、あるいは血液または細胞塗抹の塗抹厚さによって決定される、顕微鏡システムのZ軸増分分解能、選択される顕微鏡対物レンズ、および標本の要求事項に関連している。例えば、増分Z軸サイズが0.01μm、自動焦点ステップサイズが40ユニットの場合、移動範囲は、上側に1.6μm、下側に1.6μmであり、組織切片中における1シーケンスの総移動範囲は、3.6μmである。この移動範囲は、例えば、広く使用されている5μmの組織切片厚さに匹敵している。Zスタックステップサイズが20の場合も、同様に、事実上、本発明の装置および方法による9つの個別かつ異なる被写界深度焦点面内で調査することができる1.8μmの焦点レンジが得られる。
次の相対焦点位置を最初に決定する2つのステップ手順に続いて、全選択Zスタックレンジを記録することにより、ガラススライド基板の非平坦性に起因し、かつ、組織の非一様な切片化および血液中および塗抹標本中に凝集した細胞の付着に起因する不規則性を補償することができることを理解すべきである。また、帰納的アスペクト、自動焦点のための調整可能な異なるZ軸ステップサイズ、およびZスタック撮像のための調整可能な異なるZ軸ステップサイズを備えたこの好ましい方法は、標本中の基準焦点被写界深度傾斜のロバストな上下追跡を可能にしている。また、この好ましい方法は、事実上、Z軸次元の使用可能な画像内容を増加させる画像情報の有効な記憶を可能にしている。このことは、特に、ガラススライド上に取り付けられたプラント材料、あるいは微小生物および昆虫の全体標本を始めとする分厚い切片など、標本が極めて分厚い場合に云える。仮想スライドインターネットサーバおよびビューワソフトウェアと共に使用する場合、この好ましい方法は、ユーザによる有効な目視検査および追加Z軸画像内容の観察を可能にしている。
各図に示す構成要素は、簡潔に分かり易く示したものであり、必ずしもスケール通りに描写されていないことは、当分野の技術者には理解されよう。例えば、各図に示すいくつかの構成要素の寸法は、本発明の様々な実施形態をより良く理解するために、他の構成要素に対して誇張されている。また、いくつかのフィーチャは、数を制限して示され、共通の構成要素は、簡潔かつ分かり易くするために省略されている。
図3は、本発明に従って構成された実施形態のブロック図で、仮想スライド全体に渡ってZ軸画像次元を含んだ仮想顕微鏡スライドを得るためのシステムのブロック図を示したものである。このシステムには、ガラス顕微鏡スライド21をサポートするためのディジタル制御ステージプラットホーム28を備えた顕微鏡サブシステム15が含まれている。ディジタルステージプラットホーム28は、極めて多数の増分を介して動作し、ステージを水平方向のXおよびY平面内に高精度で位置付けすることができる。そのステージ28の上に、ガラス顕微鏡スライドまたは他の基板21が配置されている。また、このシステムには、キーボード37、マウスホイールコントロール39を備えたマウス38、およびディスプレイモニタ40を備えた制御コンピュータシステム32が含まれている。制御コンピュータシステムのキーボードおよびマウスは、自動焦点ステップサイズパラメータを入力するための自動焦点ステップサイズセットアップウィンドウ12を介して使用され、また、Zスタックステップサイズパラメータは、Zスタックステップサイズセットアップウィンドウ13を使用して入力される。
図3Aは、焦点セットアップステップサイズ55の入力コントロールを示した図である。また、図3Aには、焦点周波数(frequency of focus)56のための関連するセットアップコントロール、特定の視野に対する自動焦点を実行すべきかどうかを制御するための閾値、および顕微鏡ステージ28を垂直方向に増分ユニットで上または下に移動させるために、Z軸次元を手動で増加させるためのコントロール58が示されている。
前述の説明および以下の説明から理解されるように、また、当分野で良く知られているように、高倍率かつ小被写界深度での焦点の制御は複雑であり、かつ、多くの変数が必要である。また、仮想顕微鏡スライド画像データセットを構成または撮像する際に、すべての標本画像視野に対して実行する場合、多大な時間を要することになる。したがって、好ましい実施形態では、また、後述する他の実施形態では、主要な可変性を克服し、かつ、総仮想スライド走査撮像時間の短縮を可能にするために、制御パラメータおよびセットアップパラメータが追加されている。
図3Aは、これらのパラメータのいくつかを示したものである。例えば、焦点周波数(frequency of focus)56のパラメータを1にセットすると、隣接するすべての視野に対して自動焦点を実行することができ、あるいは、焦点周波数56のパラメータを2にセットすると、1つおきの視野に対する自動焦点を実行することができる、等々である。以下の詳細説明においては、焦点周波数は1にセットされているものとする。しかしながら、もっと大きい数字にセットすると、焦点の合っていない視野の基準タイルの値が、焦点の合った直前の画像タイルのデフォルト焦点コントラスト値を取ることになる。
本発明による他の実施形態では、場合によっては、上述した実施形態による方法とは異なる方法で基準タイル位置を得ている。すべての視野に焦点を合わせないことにより、走査速度に対する大きな利点が得られるが、多くの標本に対して、そのような走査によって得られる被写界深度位置が、基準画像に対して最適ではないという欠点がある。また、複数のZスタック画像のうちの1つが、より最適な画像を画像の最終的なリモートの観察者に提供することになることについても理解されよう。また、例えば、視野が実質的にブランクすなわち空白である場合、自動焦点を得るための十分な画像構造が視野中に存在していないことがしばしばであり、その場合は、コントロール57が、このような被写界深度の省略を可能にするためにチェックすることができる焦点コントラスト閾値入力パラメータを可能にしている。また、この場合、焦点合わせの要求される次の画像のためのデフォルト基準Z軸位置は、焦点が合った直前の画像タイルである。
図3Bは、Zスタックステップサイズ60の入力コントロールを示した図である。このパラメータを個々の標本に対して変更する必要のある多数の要因が存在していることが理解されよう。しかしながら、標本の種類および標本の推定厚さが相俟って、各々のレンズが異なる被写界深度仕様を有しているため、これらの要因の中で最も重要な要因は、通常、使用している特定の顕微鏡対物レンズの倍率である。また、図3Bには、特定の仮想顕微鏡データの撮像走査(capture scan)に対してZスタック画像の保管をイネーブルあるいはディスエーブルするためのチェックボックスコントロール59が示されている。
前述の特許文献によれば、精密ステージ28を新しい対物レンズ10の視野に移動させるためのステージコントローラ14を使用してコンピュータ制御顕微鏡を移動させることにより、標本対象物31全体の走査が開始され、その位置における初期画像が取得され、その画像の焦点コントラストパラメータが計算される。本発明によれば、反復自動焦点手順によって、第1の新しい視野画像タイルのための相対Z軸基準位置が取得される。制御コンピュータシステム32によって、顕微鏡サブシステム15にZ軸制御信号が送信され、それによりZ軸位置コントロールが変化して、ステージが自動焦点ステップサイズで4回増分上昇移動し、続いて、自動焦点ステップサイズで4回下降する。Z軸位置が増分変化する毎に画像収集エレクトロニクス17が制御され、画像が取得される。取得した画像の各々に対して焦点コントラストパラメータが計算される。
次に、焦点パラメータの最大値と結合したZ軸位置を選択することにより、初期基準画像および8つの画像のセットから自動焦点Z軸位置が決定される。最大値がシーケンスの一方の端部、つまり、基準画像から4回目に下降した時点の画像あるいは4回目に上昇した時点の画像に存在する場合、その画像が基準画像になり、最大焦点コントラスト値が、両末端画像ではなく、画像シーケンスの中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより、新しい視野画像に対する相対Z軸基準位置が得られる。以下でより詳細に説明するが、次に、この相対Z軸位置と結合した画像タイルが、仮想スライドデータ構造中に記憶される。
本発明による好ましい実施形態では、制御コンピュータシステムは、ウィンドウズ(登録商標)オペレーティングシステム(Microsoft Corporation,Redmond,Washington,USA)の下で動作している。図3Aを参照すると、仮想顕微鏡スライドデータ構造は、ウィンドウズ(登録商標)オペレーティングシステムファイルフォルダとして記憶されており、各タイル画像は、制御コンピュータシステムソフトウェアプログラムによって自動的に割り当てられる増分画像名称を有する .jpg画像ファイルである。 .jpg画像名称には番号が振られており、したがって、最初に取得された画像は、DA0.jpgと呼ばれ、第2の画像はDA1.jpg、第3の画像はDA3、等々と呼ばれている。
図3Cは、仮想スライドデータフォルダ42を、データ構造部分43、44、45、46および47と共に示した図である。DA98の名称が付された9つの画像タイル43、45および46のセットは、特定のX、Y標本画像平面位置と結合し、DA99の名称が付された、隣接するセット44および48は、隣接する他の特定のX、Y標本画像平面位置と結合している。2つの基準タイルが、2つのX、Y位置におけるデータ構造用として、43および44で示されている。これらのタイルは、自動焦点決定されたZ軸位置にあり、また、記憶された .jpg画像には、そのZ軸位置およびそれぞれのX、Y位置における視野と結合した構造を有する被写界深度画像が含まれている。
仮想顕微鏡スライドを生成するために、システムプログラムが動作している間、制御コンピュータシステムは、さらに、ウィンドウズオペレーティングシステムフォーマット .iniの追加テキスト情報ファイルを生成している。図3Cに示すように、このファイル47には、FinalScan.iniの名称が付されている。とりわけこのファイルには、仮想顕微鏡データ構造中の基準タイルの各々に対応する名称のリストが含まれている。リスト中の各基準タイルに対して、そのタイルのX、YおよびZディジタル位置が一覧表に作成されている。前述の特許文献に示されているように、次に、リモートの観察者による連続した仮想スライド画像領域の観察を可能にするために、様々なタイル画像を隣接させて再現するために、仮想インターネットサーバおよび仮想顕微鏡ビジュアルディスプレイプログラムによってこの情報が使用される。
図3Cの実施例に示されているデータ構造の成分は、基準画像および全Zスタック成分への迅速な順次アクセスを可能にするデータベースまたは他の任意の形態に記憶することができることは理解されよう。このデータ構造の新規な態様は、これらの画像成分の閉結合(close association)であり、リモートでのインターネット観察におけるクライアントサーバの対話を著しく容易にしている。
以下の説明から理解されるように、この種のデータ構造は、クライアントコンピュータへのZ軸画像内容の迅速な伝送を容易にしている。インターネットサーバコンピュータの中には、異なるレベルの画像ズームが、元の画像から予め構成され、かつ、同時にメモリまたは仮想メモリ中に保管されるピラミッドデータ構造を使用することによって、拡大を必要とする極めて大型の画像の提供を容易にしているものもあるが、そのためには、例えば、図9に概念的に示すような画像構造の複数の平面を維持する要求事項を考慮した場合、極めて大量のメモリが必要である。本発明によるデータ構造は、本質的に、これらの小型基準画像ユニットおよびZスタック画像ユニット中のメモリまたはディジタルディスク記憶装置から基準画像およびZスタック画像を迅速に提供するように事前に構成されているため、とりわけ専用ビューイングプログラムを備えた仮想顕微鏡スライド用に使用する場合、本発明によるデータ構造は、はるかに有効である。
所与のX、Y標本平面位置におけるZ軸位置のための関連した画像タイルが撮像されると、本発明によるシステムは、Z軸ステップサイズを使用する手順に進行し、Zスタック保管手順が実行される。そのために、制御コンピュータシステム32を指示し、最初にZ軸をZ軸ステップサイズの増分で下に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム15のZ軸位置決めコントロール16を制御する。これらの画像タイル45は、図3のデータ構造セットDA98の実施例に示すデータ構造中に記憶される。次に、制御コンピュータシステム32を指示し、Z軸をZ軸ステップサイズの増分で基準Z軸位置から上に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム15のZ軸位置決めコントロール16を制御する。これらの画像タイル46は、図3のデータ構造セットDa98の実施例に示すデータ構造中に記憶される。
タイルセットDa98のデータ構造、例えば、図3に示すデータ構造セットDa99等々を撮像するために、上で説明した事象と同じ一連の事象が、仮想顕微鏡スライドの撮像に関連するすべての視野に対して繰り返される。
上述した本発明によるシステムの好ましい実施形態により、事実上、先ず、撮像画像タイルに対して、スライドのX、Y表面上の最適焦点位置におけるZ軸の不規則性の要因が除去すなわち無効化され、次に、各平面が標本中の異なる被写界深度位置に関連する、凝集性のあるZ軸次元化された撮像画像平面が生成される。第1のZ軸位置は、平行位置決め撮像をもたらし、すなわち各標本の最適被写界深度位置をもたらし、また、Zスタック撮像により、その最適被写界深度位置の上側および下側の画像平面が得られる。この画像シーケンスサンプリングは、データ構造エレメント47に記憶されているX、Y位置情報と共に使用する場合、データ構造記憶エレメント43、44、44、45、46および48から再現することができる。図4の断面図および図9の略斜視図は、得られた完全な仮想顕微鏡スライドデータ構造を視覚化する補助として、この再現を理想化して示したものである。
以下で説明するように、一般的に使用されているコンピュータスクリーンの画像表示に限界があるため、実際にリモートの観察者が同時に見ることができるのは、完全な仮想顕微鏡スライドデータ構造の微小部分にすぎないが、スクロールし、かつ、仮想顕微鏡スライドサーバに追加画像タイルを要求することによって、すべての仮想顕微鏡スライドデータ構造を利用することができる。
本発明による実施形態についての上述の好ましい説明を他の方法で改変し、Z軸画像情報を有する仮想顕微鏡スライドを生成することができることは、この技術に習熟した人達には理解されよう。この点に関して、本発明を実践する代替方法について説明する。
この代替方法は、広い領域をカバーしていない標本対象物、あるいはステージプラットホーム28および顕微鏡スライド21が、合理的に平らな平面内に標本31を提供するように位置付けされた実例、もしくは、より深い被写界深度を有する、より集光力の小さい対物レンズが使用されている実例に、より良好に適用することができる。所与の倍率レベル(例えば10倍)に対して、関連するビデオカメラを備えた顕微鏡対物レンズ10が上下に調整され、あるいは好ましい実施形態の場合と同様に、ステージが上下に調整される。いずれの調整においても、目に見えるようにするために、初期基準画像が顕微鏡対物レンズ10の焦点面被写界深度内にもたらされ、標本平面内の所与のX、Y位置における標本31の拡大画像を生成するために使用される。
好ましい実施形態の中で説明したように、基準タイルセットとして第1のシリーズの平面隣接画像タイルが取得され、かつ、既に説明した、図3Cの実施例における基準タイル43および44の例で示すデータ構造中に記憶される。この実施形態における基準タイルのZ軸位置は、事前のセットアップ手順の結果を使用して計算され、このセットアップ手順では、標本上の3つの個別位置におけるZ軸位置が決定され、そして、既知のZ軸値を有する3つのX、Yポイントを使用することによって平面をZ軸方向に合わせることを含む計算によって、数学的Z軸平面が標本のX、Y平面全体に渡って決定される。この場合、走査プロセスの間、反復帰納自動焦点手順の代わりにこの計算位置が使用され、それにより、走査プロセスおよび画像撮像プロセスがより高速化される。
図4は、この平面内における完全なタイルセットの撮像を、被写界深度41の断面で視覚化した図である。この走査により、標本31の上部表面のほとんどの画像が撮像される。この実施形態によれば、次に、ステージZ軸位置が1つのZスタック増分に従って変更され、もう1つの画像シリーズが撮像され、図3Cに示すデータ構造中に記憶される。例えば、第1の画像シリーズが、参照番号43によって表される被写界深度に対応する焦点距離を使用した場合、ステージZ軸位置を顕微鏡対物レンズに近づけることにより、次の画像シリーズは、参照番号46aによって表されることになる。逆に、ステージZ軸位置を顕微鏡対物レンズから遠ざけることにより、次の画像シリーズは、参照番号45aによって表されることになる。同様に、対物レンズの被写界深度領域内に異なるZ軸平面を位置付けすることにより、次の画像シリーズが撮像される。
図4に示す実施形態では、撮像した原始画像シリーズ43以外に、参照番号46aおよび46bで表される2つの他のシリーズ、および参照番号45aおよび45bで表される2つの追加シリーズが撮像されている。標本の異なる領域からこれらの追加画像を撮像し、かつ、記憶することにより、以下でより詳細に説明するように、仮想焦点合せ機能が実現される。また、この走査方法を、3×2098センサとして上で説明した三重ピクセル(triple pixel)タイプのラインセンサにより適したものにすることができる。
このラインセンサは、単一ラインセンサと呼ばれることもある。この場合、微小離散個別タイルを利用することができないため、計算によって、あるいは完璧に平らで、かつ、平行なX、Y平面を単純に仮定することによって基準平面を予測することが好ましい。この種の走査により、より長い帯状タイルの画像が、顕微鏡対物レンズ10の視野内の1つの方向に、2098ピクセル幅で保管されるが、保管される画像は、他の方向の連続走査および記憶により、視野を越えて拡張する。まとめて取得された、隣接する2098ピクセル幅の帯状タイルにより、仮想顕微鏡スライドが形成される。
同じく図4に示すように、初期基準設定値に対して、上側および下側にそれぞれ2つの焦点被写界深度が存在している。所与のアプリケーションにおいては、上下にわずかに異なる焦点被写界深度(すなわち焦点面)を1つだけ使用して、単一の追加画像セットのみを提供することが適切であるが、ほとんどの目的に対しては、複数の異なる焦点面で撮像した画像が適切である。好ましい実施形態では、原始基準焦点面以外に、上下にいずれも4つの焦点面が使用され、合計9セットの焦点面画像が提供されている。焦点面画像の各セットは、基準設定値からの所与の焦点距離に対応し、すべてのセットが同じ倍率レベルを共有している。この多くのセットを基準焦点面の上下に提供することにより、有効焦点合せレンジ内において、実際の顕微鏡による焦点合せの見掛けおよび感覚を良好に模擬した、比較的滑らかで、かつ、細かい仮想焦点合せが実現される。
以上に説明したように、様々な被写界深度が実質的に互いに隣接している。他の実施形態では、図5に示すように、所与の画像シリーズに対する所与の被写界深度51が、異なる画像シリーズに対する他の被写界深度52と部分的にオーバラップしている。あるいは必要に応じて、図6に示すように、異なる画像シリーズに対応する異なる被写界深度61と62の間に微小ギャップを介在させることにより、2つの被写界深度が互いにオーバラップせず、また、隣接もしない被写界深度にすることもできる。一般的には、焦点距離は、被写界深度がほとんど、あるいは全くオーバラップしないよう、互いに実質的に隣接するように調整され、それが恐らくは最適構成であると思われるが、場合によっては、ユーザの要求に応じた他の代替構成も有用である。
図7を参照すると、顕微鏡が第1の位置10Aに設置された場合、視野内に存在する標本(図示せず)の特定の切片を画像化する際に、対応する被写界深度41Aを有する初期焦点面71(初期決定されているか、あるいは予め手動または自動的に決定されている)が適切に使用されている。つまり、顕微鏡がこのように位置付けされると、ユーザがいかなる標準を適用しようとも、この初期焦点距離71は最適焦点を表している。上述の様々な実施形態によれば、1つまたは複数の追加画像が、この同じ視野で、若干異なる焦点距離で取得される。しかし、スライドの他の部分では、顕微鏡が第2の位置10Bに位置付けされると、既に適用されている標準と同じ標準を使用する場合、異なる初期焦点面72が最適焦点になる。この異なる初期焦点距離72は、スライド21からの距離が異なる位置に位置付けされた第1の位置における初期焦点距離71に対する被写界深度41Aと実質的に同じサイズの対応する被写界深度41Bを有することになる。
これは、例えば特許文献2に記載されているように、組織微小配列(TMA;(tissue microarray))コアを画像化する場合にしばしば生じる。画像は、本質的にガラス顕微鏡スライドの表面全体に配列された極めて多数の異なる対象物、すなわちTMAコアから撮像される。したがって、得られる画像は同じく対象物の隣接合成表現からなっているが、それらの画像には、異なる基準画像焦点面が参照されている。また、この実施形態によれば、対象物毎の初期焦点基準焦点面の間に存在する差に無関係に、得られる各画像は、ユーザによる微細な焦点合せに利用することができる同じ数のZスタック焦点面を有している。
上述したように、好ましい実施形態の場合のように多数の微小タイルから生成されたものであれ、あるいは帯状線分に生成されたものであれ、また、タイルデータ構造中に記憶されるものであれ、あるいは図9に示す5つの焦点面のセット91のうちの1つの焦点面などの大型再現画像の1つとしてメモリに記憶されるものであれ、リモートの観察者のコンピュータディスプレイスクリーンのサイズおよびピクセル寸法が有限であるため、仮想顕微鏡スライドは、一般的にはそれらの全体を初期撮像解像度で観察することができない。
図8に示すように、この点に関して有用な従来技術による手法の1つは、タイルと呼ばれる複数の個別画像83を利用して、スライド81および標本82のより大きい合成画像を形成している。仮想顕微鏡スライドのインターネットディスプレイまたはイントラネットディスプレイについては既に示されている(例えば、この参照によりその内容が本明細書に組み込まれる特許文献3参照)。特許文献3に示されているように、仮想顕微鏡スライドは、通常、顕微鏡スライドおよび顕微鏡スライド上に配置された対象物(生物学的標本など)の一部またはすべてのディジタル化された拡大視野(digitized magnified view)からなっている
また、前述の特許文献3には、様々なインターネットサーバおよび若干のクライアント、およびリモートの観察者のための仮想顕微鏡画像内容の再現を可能にする他のJava AppletおよびActiveXビューワ方式についても教示されている。単一焦点面被写界深度の観察は、画像がタイル化データベース構造として、あるいは完全な単一画像平面としてコンピュータコアメモリに記憶されているかどうかにかかわらず達成されることについては理解されよう。
しかし、本発明による好ましい実施形態では、リモートの観察者が、注目する所定の領域について、基準画像タイルからの焦点合わせをサーバに要求した場合、サーバによって、その注目する領域についての、互いに結び付けられているすべてのZスタック画像が逐次送信される。互いに結び付けられているZスタック画像は、ローカルコンピュータによって保管され、それにより、実際の顕微鏡のアナログ光学焦点合せ操作をシミュレートする滑らかで、かつ、迅速なローカルでの観察が可能となる
次に、図10を参照すると、実施形態では、ユーザは、標準計算プラットホーム(standard computing platform)を使用して、仮想スライドサーバおよび所与の標本に対する、上述した仮想顕微鏡スライド情報を保持しているデータ記憶装置(data strage facility)とインタフェースすることができる。標準クライアント/サーバモデルは、このような関係を容易にするように良好に機能しているが、他のデータ転送機構を所与のアプリケーションに適切に使用することも可能である。関連するプロセスは、ユーザプラットホームが、所望の画像を特定の倍率X(例えば、40倍)で検索101することによって開始される。
前述の特許文献3に記載されているように、対象物のすべての画像を直ちに検索し、ローカルでの利用を可能にする必要はない。ネットワークトランザクションを最小にするために、実際に直ちに検索し、かつ、表示する必要があるのは、単一視野の表示に必要なデータのみである。本発明によるシステムおよび方法、および上述した様々な実施形態では、視野の各々が、対応する複数の画像を有しており、各画像はそれぞれ異なる焦点面を表している。したがって、第1の画像を検索し、表示する場合、最初にこれらの画像のうちの1つを選択しなければならない。
好ましい実施形態では、この選択により、リモートでの観察者の画像ディスプレイスクリーンのビューウィンドウを満たすタイルに対応する基準画像セットが選択される。また、各基準タイルに対する関連Zスタック画像がローカルコンピュータに転送され、保管される。自動的に決定される初期最適焦点面画像が、4つの異なる焦点面画像によって両側に配置される一実施形態では、初期検索101および表示102に対して、初期画像自体が自動的に選択される。プロセスは、次に、ユーザからの焦点修正命令をモニタ103している。ユーザからの焦点修正命令が出現しない場合、プロセスは、どのようなものであるにせよ、サポートされている他の機能に従って継続104する(例えば、特定の方向への画像のスクロール要求を示すユーザからの入力を受け取り、対応する画像の検索および表示に使用することができる)。しかし、焦点修正命令を受け取ると、プロセスは、その命令に対応する視野に対する画像をローカルメモリキャッシュから検索105し、検索した画像を表示106する。
実施形態によれば、各増分によってZ軸次元における次の隣接画像が検索され、表示されるよう、段階的プロセスにおける、ユーザによるマウスホイール93またはキーボード37の上矢印キーまたは下矢印キーを使用した焦点の移動が制限されている。好ましい実施形態では、ユーザすなわちリモートでの観察者は、ホイールマウスコントロールを使用して移動させ、仮想顕微鏡スライドに焦点を合わせることができ、基本的には、物理的な顕微鏡およびスライドを使用した場合と同様に移動させ、かつ、焦点を合わせることができる。この機能により、広範囲に渡る様々な標本を容易に観察し、良好な結果を得ることができる。得られる仮想顕微鏡スライドは、教育および訓練に使用することができるばかりでなく、様々な診断プロセスをサポートするために、定性分析および定量分析にも使用することができる。
図11を参照すると、一任意選択実施形態によれば、ユーザが、上で説明した焦点の修正103を要求した場合、プロセスは、焦点合せの限界に達したかどうかを判定111することができる。例えば、ユーザプラットホームが、基準タイルから最も遠いZ軸次元における焦点面を使用して撮像された画像を既に検索、表示済みであり、かつ、ユーザが、さらに遠くの距離への焦点合せをプラットホームに命令している場合、現行の表示を維持112することができる。任意選択で、テキストメッセージまたは他のインディケータをユーザに提供113し、焦点限界に到達したことをユーザに知らせることができる。他の実施形態では、現在の焦点位置が焦点合せ可能な範囲内であることを示す視覚インディケータをユーザに提供し、それによりユーザは、そのような状態であることをユーザ自ら確認することができる。
上述した実施形態に関して、本発明の精神および範囲を逸脱することなく、広範囲に渡る様々な改変、変更、および組合せを加えることができること、および、それらの改変、変更、および組合せが、本発明の概念の範囲内であると見なすべきであることは、当分野の技術者には認識されよう。特許請求の範囲の各請求項には、本発明の真の精神および範囲に帰属するこれらのすべての変更および改変が包含されているものとする。
従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。 被写界深度の内部及び外部の標本中の対象物の細部を示す、従来の顕微鏡スライド上の標本を示す図である。 本発明による実施形態のブロック図である。 自動焦点セットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。 Zスタックセットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。 基準データ構造画像タイル、Z軸次元焦点データ構造画像タイル、および所与の仮想スライドのための .iniデータファイル間の対応を示す、データ構造部分を有する仮想スライドフォルダの実施例を示す図である。 本発明による実施形態の顕微鏡スライド上の標本の側面図である。 本発明による実施形態における重畳被写界深度を示す図である。 本発明による実施形態における非重畳被写界深度を示す図である。 本発明による他の実施形態の側面図である。 合成仮想顕微鏡スライドの平面図である。 本発明による仮想顕微鏡スライドの記号モデルの斜視図である。 本発明の実施形態に従って構成される流れ図である。 本発明の他の実施形態に従って構成される詳細な流れ図である。

Claims (15)

  1. 顕微鏡レンズに関してX,Y,Z方向に移動可能なステージ上に置かれた顕微鏡スライドに設けられた標本の、所定の焦点面の被写界深度の範囲外に存在する画像を提供するように、仮想顕微鏡スライドを形成し使用する方法であって、
    所与の倍率レベルで前記標本の領域をディジタル化して撮像するため、前記所定の焦点面に前記標本を位置合わせするために前記Z方向に前記ステージを移動するとともに、X,Y方向の少なくとも一方に前記ステージを移動するステップであって、前記ステージの各動きにより、互いに隣接した複数の顕微鏡対物光学視野であって、各々が前記所定の焦点面において撮像される顕微鏡対物光学視野を生じさせて、互いに隣接する複数のタイルからなる第1の集合の画像を撮像できるようにする、ステップと、
    前記第1の集合の画像と異なる焦点面で撮像され互いに隣接した複数の顕微鏡対物光学視野を生じさせて、互いに隣接する複数のタイルからなる第2の集合の画像を前記所与の倍率レベルでディジタル化して撮像するために、前記標本と同じ領域上でX,Y方向の少なくとも一方に前記ステージを移動するステップと、
    記第1及び第2の集合の画像を関連付けて、あとでこれらの各画像を検索するためのデータ構造で記憶するステップと、
    焦点調整命令を受け取ると、前記第1及び第2の集合の画像のうちから、前記焦点調整命令に対応する画像を検索して表示するステップと、
    を有することを特徴とする方法。
  2. 前記第1及び第2の画像集合の表示間の切り替えによって、顕微鏡を使用した時の上下の焦点合せが模擬され、当該切り替えは、コンピュータ選択デバイスを動かすことによって達成されることを特徴とする請求項に記載の方法。
  3. スライド上に設けられ、Z方向の奥行が変化している標本から仮想顕微鏡スライドを形成し使用する方法であって、
    所与の倍率レベルで、かつ前記Z方向における所定の焦点面で前記標本の第1の領域を光学的に拡大し、ディジタル化して撮像するステップと、
    前記所定の焦点面に対して前記Z方向にずれた複数のZ平面の画像として、前記標本の前記第1の領域を前記所与の倍率レベルで光学的に拡大し、ディジタル化して撮像するステップと、
    後の検索のために、個々の画像を記憶するステップと、
    個々の画像を検索して、拡大された前記第1の領域の、複数のZ平面の画像が供給されるようにできるようにするために個々の画像に対するZ方向の座標情報を当該画像のデータ名として記憶するステップと、
    焦点調整命令を受け取ると、前記個々の画像のうちから、前記焦点調整命令に対応する画像を検索して表示するステップと、
    を有することを特徴とする方法。
  4. 各視野毎に、顕微鏡を前記所定の焦点面に対して自動的に所定量ずつ移動させるステップと、
    前記所定の焦点面の上下に所定量ずつずれて位置する複数のZ平面の画像を撮像するステップと、
    前記複数のZ平面の画像のそれぞれと、そのZ方向の座標情報と、を有するデータ構造のデータを形成するステップと
    を有することを特徴とする請求項3に記載の方法。
  5. 第1の前記所定の焦点面から前記Z方向に間隔を隔てた第2の所定の焦点面を有する前記標本上の第2の領域を設定するステップと、
    前記所与の倍率レベルで前記第2の所定の焦点面で前記第2の領域を光学的に撮像するステップと、
    前記第2の所定の焦点面に対して前記Z方向にずれた複数のZ平面の画像として、前記標本の前記第2の領域を前記所与の倍率レベルで光学的に拡大し、ディジタル化して撮像するステップと、
    を有することを特徴とする請求項3に記載の方法。
  6. 後の検索のために、個々の画像を記憶するステップと、
    個々の画像を検索して、拡大された前記第1の領域および前記第2の領域の、複数のZ平面の画像が供給されるようにできるようにするために個々の画像に対するZ方向の座標情報を記憶するステップと
    を有することを特徴とする請求項5に記載の方法。
  7. スライド上に設けられ、Z方向の奥行が変化している標本から仮想顕微鏡スライドを形成し使用する装置であって、
    所与の倍率レベルで前記Z方向における所定の焦点面で前記標本の第1の領域を光学的に拡大し、ディジタル化して撮像するように構成された走査装置であって、前記所定の焦点面に対して前記Z方向にずれた複数のZ平面の画像として、前記標本の前記第1の領域を前記所与の倍率レベルで光学的に拡大し、ディジタル化して撮像するように構成された走査装置と、
    後の検索のために、個々の画像を記憶するように構成された記憶装置であって、個々の画像を検索して、拡大された前記第1の領域の、複数のZ平面の画像が供給されるようにできるようににするために個々の画像に対するZ方向の座標情報を記憶する記憶装置と、
    焦点調整命令を受け取ると、前記個々の画像のうちから、前記焦点調整命令に対応する画像を検索して表示する検索表示装置と、
    を有することを特徴とする装置。
  8. 各視野毎に、顕微鏡を前記所定の焦点面に対して自動的に所定量ずつ移動させるように構成された制御システムを有し、
    前記走査装置は、前記所定の焦点面の上下に所定量ずつずれて位置する複数のZ平面の画像を撮像するように構成されており、
    前記記憶装置は、前記複数のZ平面の画像のそれぞれと、そのZ方向の座標情報と、を有するデータ構造のデータを記憶するように構成されている、
    ことを特徴とする請求項7に記載の装置。
  9. Z方向の深さ方向に間隔を隔てた特徴部分を有する標本の仮想顕微鏡スライドを形成し使用する方法であって、
    所定の倍率レベルを使用し、前記標本の光学的に拡大された複数の画像を撮像するステップであって、当該複数の画像は、所定の焦点面に位置する基準画像と、該基準画像に結び付けられ前記所定の焦点面に対して前記Z方向に一定間隔刻みでずらされた複数のZ平面の画像とを含む、ステップと、
    前記基準画像を表示するステップと、
    焦点調整命令を受け取るステップと、
    前記複数のZ平面の画像のうちから、前記焦点調整命令に対応する画像を検索して、前記基準画像と切り換えて表示するステップと、
    を有することを特徴とする方法。
  10. 前記標本の大部分の前記Z平面の画像が、同じ倍率レベルを使用して撮像されることを特徴とする請求項9に記載の方法。
  11. 前記基準画像は、顕微鏡の視野によって撮像された互いに隣接するタイルからなる画像であることを特徴とする請求項9に記載の方法。
  12. 顕微鏡スライド上に設けられた標本の第1及び第2の集合の画像であって、該各集合の画像は、前記標本のある領域の、互いに隣接する複数の視野の画像を有する、第1及び第2の集合の画像を有し、
    前記第1の集合の画像の各画像が、所定の焦点面で撮像された前記標本のx,y平面位置と結び付けられており、
    前記第2の集合の画像の各画像が、前記第1の集合の画像とは異なる一つ又はそれ以上の焦点面で撮像された前記標本のx,y平面位置と結び付けられており、
    前記第1及び第2の集合の画像のx,y平面位置の座標を指定して、前記所定の焦点面と該所定の焦点面とは異なる一つ又はそれ以上の焦点面での前記標本の少なくともの一部を検索して見ることができるように情報を与えるように構成されている
    仮想顕微鏡スライドデータを用い、
    焦点調整命令を受け取ると、前記第1及び第2の集合の画像のうちから、前記焦点調整命令に対応する画像を検索して表示する処理をコンピュータに実行させることを特徴とするプログラム。
  13. 前記仮想顕微鏡スライドデータをインターネット伝送チャンネル又はイントラネット伝送チャンネルを介して受け取ることを特徴とする請求項12に記載のプログラム。
  14. 前記第2の集合の画像が、前記所定の焦点面の上側または下側に間隔を隔てた異なる焦点面に焦点合わせされていることを特徴とする請求項12に記載のプログラム。
  15. 前記第1及び第2の集合の画像が、前記標本を顕微鏡のレンズに対して移動させ、互いに隣接する視野の画像を撮像することによって生成されたものであることを特徴とする請求項12に記載のプログラム。
JP2003571983A 2002-02-22 2003-02-24 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム Expired - Lifetime JP5132867B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35874702P 2002-02-22 2002-02-22
US60/358,747 2002-02-22
PCT/US2003/005597 WO2003073365A1 (en) 2002-02-22 2003-02-24 Focusable virtual microscopy apparatus and method

Related Child Applications (4)

Application Number Title Priority Date Filing Date
JP2008328805A Division JP2009104161A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成する方法及びその装置
JP2008328806A Division JP2009104162A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを使用する方法
JP2008328807A Division JP2009075618A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成し、かつ使用するための方法
JP2008328808A Division JP2009104163A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドデータ構造

Publications (2)

Publication Number Publication Date
JP2005518570A JP2005518570A (ja) 2005-06-23
JP5132867B2 true JP5132867B2 (ja) 2013-01-30

Family

ID=27765983

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2003571983A Expired - Lifetime JP5132867B2 (ja) 2002-02-22 2003-02-24 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム
JP2008328805A Pending JP2009104161A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成する方法及びその装置
JP2008328806A Pending JP2009104162A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを使用する方法
JP2008328807A Pending JP2009075618A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成し、かつ使用するための方法
JP2008328808A Pending JP2009104163A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドデータ構造

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2008328805A Pending JP2009104161A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成する方法及びその装置
JP2008328806A Pending JP2009104162A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを使用する方法
JP2008328807A Pending JP2009075618A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドを形成し、かつ使用するための方法
JP2008328808A Pending JP2009104163A (ja) 2002-02-22 2008-12-24 仮想顕微鏡スライドデータ構造

Country Status (6)

Country Link
US (3) US7596249B2 (ja)
EP (1) EP1428169B1 (ja)
JP (5) JP5132867B2 (ja)
AU (1) AU2003217694A1 (ja)
CA (1) CA2436043C (ja)
WO (1) WO2003073365A1 (ja)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US20040083085A1 (en) * 1998-06-01 2004-04-29 Zeineh Jack A. Integrated virtual slide and live microscope system
US6606413B1 (en) * 1998-06-01 2003-08-12 Trestle Acquisition Corp. Compression packaged image transmission for telemicroscopy
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US20040257360A1 (en) * 2001-10-22 2004-12-23 Frank Sieckmann Method and device for producing light-microscopy, three-dimensional images
JP5132867B2 (ja) * 2002-02-22 2013-01-30 オリンパス アメリカ インコーポレイテツド 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
US7477775B2 (en) * 2003-07-18 2009-01-13 Olympus Corporation Microscope system
WO2005010495A2 (en) * 2003-07-22 2005-02-03 Trestle Corporation System and method for generating digital images of a microscope slide
US20050136509A1 (en) 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US8068988B2 (en) 2003-09-08 2011-11-29 Ventana Medical Systems, Inc. Method for automated processing of digital images of tissue micro-arrays (TMA)
WO2005037094A1 (en) * 2003-10-17 2005-04-28 Koninklijke Philips Electronics N.V. A method of determining a property of a fluid and spectroscopic system
JP2005221709A (ja) * 2004-02-05 2005-08-18 Olympus Corp 画像入力装置、画像入力方法、及び画像入力プログラム
JP4785347B2 (ja) * 2004-03-30 2011-10-05 シスメックス株式会社 標本画像の表示方法および標本画像表示用プログラム
US7925070B2 (en) 2004-03-30 2011-04-12 Sysmex Corporation Method for displaying virtual slide and terminal device for displaying virtual slide
JP5134365B2 (ja) * 2004-05-27 2013-01-30 アペリオ・テクノロジーズ・インコーポレイテッド 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法
GB0414201D0 (en) * 2004-06-24 2004-07-28 Fujifilm Electronic Imaging Method and apparatus for forming a multiple focus stack image
JP2006039315A (ja) * 2004-07-28 2006-02-09 Hamamatsu Photonics Kk 自動焦点装置及びそれを用いた顕微鏡装置
JP4542386B2 (ja) * 2004-07-30 2010-09-15 シスメックス株式会社 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
DE102004056677A1 (de) * 2004-11-18 2006-05-24 A.I.D. Autoimmun Diagnostika Gmbh Automatisches Mikroskopiersystem, dessen Komponenten sowie korrespondierende Betriebsverfahren
EP3471020B1 (en) 2005-01-27 2021-03-03 Leica Biosystems Imaging Inc. Systems and methods for viewing three dimensional virtual slides
US7417213B2 (en) 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
JP5508214B2 (ja) * 2005-08-25 2014-05-28 クラリエント・インコーポレーテッド 顕微鏡スライドの拡大イメージを作成するシステム及び方法
JP4973162B2 (ja) * 2006-12-01 2012-07-11 株式会社ニコン 画像処理装置、画像処理プログラム及び観察システム
US8390729B2 (en) * 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090091566A1 (en) * 2007-10-05 2009-04-09 Turney Stephen G System and methods for thick specimen imaging using a microscope based tissue sectioning device
JP5249799B2 (ja) * 2009-01-26 2013-07-31 浜松ホトニクス株式会社 画像出力システム、画像出力方法及び画像出力プログラム
FR2942319B1 (fr) * 2009-02-13 2011-03-18 Novacyt Procede de preparation d'une plaque d'analyse virtuelle traitee
ES2617664T3 (es) 2009-03-11 2017-06-19 Sakura Finetek U.S.A., Inc. Procedimiento de enfoque automático y dispositivo de enfoque automático
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
US8289400B2 (en) 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US8624998B2 (en) * 2009-06-05 2014-01-07 Apple Inc. Camera image selection based on detected device movement
US8463741B2 (en) * 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
DE102009041183A1 (de) * 2009-09-11 2011-03-24 Carl Zeiss Imaging Solutions Gmbh Verfahren zum automatischen Fokussieren eines Mikroskops auf ein vorbestimmtes Objekt sowie Mikroskop zum automatischen Fokussieren
JP5568970B2 (ja) * 2009-11-30 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
US8396269B2 (en) 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5655557B2 (ja) * 2010-07-12 2015-01-21 ソニー株式会社 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
US9389408B2 (en) 2010-07-23 2016-07-12 Zeta Instruments, Inc. 3D microscope and methods of measuring patterned substrates
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
EP2616903B1 (en) 2010-09-16 2016-07-27 Omnyx LLC Control configuration for digital image system
ES2816625T3 (es) * 2010-09-24 2021-04-05 Niels Grabe Medios y métodos para la predicción de la respuesta a un tratamiento de un paciente con cáncer
US8542274B2 (en) * 2010-10-18 2013-09-24 Olympus America Inc. Wide field microscopic imaging system and method
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
JP5197785B2 (ja) * 2011-03-30 2013-05-15 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP2013025466A (ja) * 2011-07-19 2013-02-04 Sony Corp 画像処理装置、画像処理システム及び画像処理プログラム
CN103108197A (zh) * 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
JP5705096B2 (ja) 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP5832281B2 (ja) * 2011-12-27 2015-12-16 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2013152426A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2013152429A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理方法、およびプログラム
WO2013098821A1 (en) 2011-12-29 2013-07-04 Parasight Ltd. Methods and systems for detecting a pathogen in a biological sample
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
CN102628759A (zh) * 2012-03-26 2012-08-08 中纺标(北京)检验认证中心有限公司 纺织纤维数字化切片的制备和检测方法及模拟镜检的方法
US9105250B2 (en) 2012-08-03 2015-08-11 Nvidia Corporation Coverage compaction
US9076246B2 (en) * 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
US9002125B2 (en) * 2012-10-15 2015-04-07 Nvidia Corporation Z-plane compression with z-plane predictors
EP3633543A1 (en) 2013-03-15 2020-04-08 Hologic, Inc. System and method for reviewing and analyzing cytological specimens
US9195880B1 (en) 2013-03-29 2015-11-24 Google Inc. Interactive viewer for image stacks
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
EP2999988A4 (en) * 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
US10831013B2 (en) 2013-08-26 2020-11-10 S.D. Sight Diagnostics Ltd. Digital microscopy systems, methods and computer program products
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
CN103499301B (zh) * 2013-09-17 2016-05-04 中国农业科学院麻类研究所 一种麻类纤维细度自动分析仪及其应用
GB201318919D0 (en) * 2013-10-25 2013-12-11 Isis Innovation Compact microscope
US20150142884A1 (en) * 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
AU2013273832B2 (en) * 2013-12-23 2016-02-04 Canon Kabushiki Kaisha Overlapped layers in 3D capture
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
EP3094957A4 (en) * 2014-01-17 2017-09-20 Campbell, William, Eugene Methods and systems for slide processing
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9668367B2 (en) 2014-02-04 2017-05-30 Microsoft Technology Licensing, Llc Wearable computing systems
US10252466B2 (en) * 2014-07-28 2019-04-09 Massachusetts Institute Of Technology Systems and methods of machine vision assisted additive fabrication
EP3183612A4 (en) * 2014-08-18 2018-06-27 ViewsIQ Inc. System and method for embedded images in large field-of-view microscopic scans
EP3186778B1 (en) 2014-08-27 2023-01-11 S.D. Sight Diagnostics Ltd. System and method for calculating focus variation for a digital microscope
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
GB201507021D0 (en) 2015-04-24 2015-06-10 Isis Innovation Compact microscope
CN108474934B (zh) 2015-09-17 2022-01-18 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
DE102015222489B4 (de) * 2015-11-13 2017-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zur Visualisierung von Bilddaten
WO2017091957A1 (en) * 2015-11-30 2017-06-08 SZ DJI Technology Co., Ltd. Imaging system and method
WO2017098587A1 (ja) * 2015-12-08 2017-06-15 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
CA3018536A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Distinguishing between blood sample components
CN105890525A (zh) * 2016-04-21 2016-08-24 新疆畜牧科学院畜牧业质量标准研究所(新疆维吾尔自治区种羊与羊毛羊绒质量安全监督检验中心) 可同时获取毛绒细度和长度的快速检测系统及方法
CN105973157A (zh) * 2016-04-21 2016-09-28 新疆畜牧科学院畜牧业质量标准研究所(新疆维吾尔自治区种羊与羊毛羊绒质量安全监督检验中心) 一种动物纤维测试区段的划分及精细测量方法
CN105890524A (zh) * 2016-04-21 2016-08-24 北京天成中鼎科技有限公司 一种多品类一体化检测平台
CN105865357A (zh) * 2016-04-21 2016-08-17 北京天成中鼎科技有限公司 一种便携式检测平台
WO2017195205A1 (en) 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Sample carrier for optical measurements
CA3022770A1 (en) 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Performing optical measurements on a sample
US10409051B2 (en) * 2016-08-02 2019-09-10 Novartis Ag Extraction of microscope zoom level using object tracking
US20180045937A1 (en) * 2016-08-10 2018-02-15 Zeta Instruments, Inc. Automated 3-d measurement
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
US10613308B2 (en) * 2016-11-30 2020-04-07 Yuefeng YIN Method and microscope for measuring and calculating heights on curved surface of microscope slide
EP3554798B1 (en) 2016-12-16 2020-12-02 Massachusetts Institute of Technology Adaptive material deposition for additive manufacturing
US11662296B2 (en) * 2017-05-19 2023-05-30 Thrive Bioscience, Inc. Systems and methods for cell dissociation
CN107229115A (zh) * 2017-07-13 2017-10-03 麦克奥迪实业集团有限公司 一种基于物联网的智能显微镜系统及使用方法
US11921272B2 (en) 2017-11-14 2024-03-05 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
WO2019102272A1 (en) * 2017-11-24 2019-05-31 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
US11112952B2 (en) * 2018-03-26 2021-09-07 Microscopes International, Llc Interface for display of multi-layer images in digital microscopy
US10341551B1 (en) * 2018-05-21 2019-07-02 Grundium Oy Method, an apparatus and a computer program product for focusing
CN108961419B (zh) * 2018-06-15 2023-06-06 重庆大学 微装配系统的显微视觉系统的显微视场空间数字化方法及系统
CN115933154A (zh) 2018-11-02 2023-04-07 豪洛捷公司 用于检视整个样本图像的系统
TWI697846B (zh) 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
BR112021023238A2 (pt) * 2019-06-03 2022-01-04 Bayer Ag Sistema para determinar o efeito dos ingredientes ativos em acariformes, insetos e outros organismos em uma placa de ensaio contendo furos
EP3757648B1 (en) * 2019-06-28 2023-08-30 Associação Fraunhofer Portugal Optical system attachable to a mobile device for scanning biological sample slides and operating method thereof
WO2023018085A1 (ko) * 2021-08-10 2023-02-16 주식회사 루닛 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치
TWI819421B (zh) 2021-12-02 2023-10-21 倍利科技股份有限公司 高速自動掃片ai輔助判讀系統及其掃片方法
CN117672222B (zh) * 2024-01-31 2024-04-16 浙江大学滨江研究院 大语言模型驱动的显微镜控制方法、装置及电子设备

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3999047A (en) 1972-09-05 1976-12-21 Green James E Method and apparatus utilizing color algebra for analyzing scene regions
US4150360A (en) 1975-05-29 1979-04-17 Grumman Aerospace Corporation Method and apparatus for classifying biological cells
US4199748A (en) 1976-11-01 1980-04-22 Rush-Presbyterian-St. Luke's Medical Center Automated method and apparatus for classification of cells with application to the diagnosis of anemia
US4175860A (en) 1977-05-31 1979-11-27 Rush-Presbyterian-St. Luke's Medical Center Dual resolution method and apparatus for use in automated classification of pap smear and other samples
US4213036A (en) 1977-12-27 1980-07-15 Grumman Aerospace Corporation Method for classifying biological cells
DE2903855A1 (de) 1979-02-01 1980-08-14 Bloss Werner H Prof Dr Ing Verfahren zum automatischen markieren von zellen und bestimmung der merkmale von zellen aus zytologischen abstrichpraeparaten
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4742558A (en) 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
US4760385A (en) 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
FR2583545B1 (fr) 1985-06-13 1987-08-07 Primat Didier Amelioration aux procedes et dispositifs de digitalisation automatique d'une scene comportant des elements significatifs discrets
US4741043B1 (en) 1985-11-04 1994-08-09 Cell Analysis Systems Inc Method of and apparatus for image analyses of biological specimens
US4777525A (en) 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
US4731864A (en) * 1986-02-21 1988-03-15 Rca Corporation Photographic camera simulation systems working from computer memory
GB8611554D0 (en) 1986-05-12 1986-06-18 Crosfield Electronics Ltd Image display
US5216596A (en) 1987-04-30 1993-06-01 Corabi International Telemetrics, Inc. Telepathology diagnostic network
JP2686274B2 (ja) 1988-03-24 1997-12-08 東亜医用電子株式会社 細胞画像処理方法および装置
US5544650A (en) 1988-04-08 1996-08-13 Neuromedical Systems, Inc. Automated specimen classification system and method
US4965725B1 (en) 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
JP2813348B2 (ja) 1988-04-22 1998-10-22 東亜医用電子株式会社 細胞画像切出記憶処理装置および方法
US5163095A (en) 1988-04-22 1992-11-10 Toa Medical Electronics Co., Ltd. Processor for extracting and memorizing cell images, and method of practicing same
JP2671393B2 (ja) 1988-06-21 1997-10-29 ソニー株式会社 地図情報の表示装置
US5252487A (en) 1989-05-19 1993-10-12 Cell Analysis Systems, Inc. Method and apparatus for determining the amount of oncogene protein product in a cell sample
US5073857A (en) 1989-06-01 1991-12-17 Accuron Corporation Method and apparatus for cell analysis
US5268966A (en) 1989-08-10 1993-12-07 International Remote Imaging Systems, Inc. Method of differentiating particles based upon a dynamically changing threshold
US5107422A (en) 1989-10-02 1992-04-21 Kamentsky Louis A Method and apparatus for measuring multiple optical properties of biological specimens
US5072382A (en) 1989-10-02 1991-12-10 Kamentsky Louis A Methods and apparatus for measuring multiple optical properties of biological specimens
US5313532A (en) 1990-01-23 1994-05-17 Massachusetts Institute Of Technology Recognition of patterns in images
US5123056A (en) 1990-02-02 1992-06-16 Siemens Medical Systems, Inc. Whole-leg x-ray image processing and display techniques
US5016109A (en) * 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5655029A (en) 1990-11-07 1997-08-05 Neuromedical Systems, Inc. Device and method for facilitating inspection of a specimen
JPH06503415A (ja) 1990-11-07 1994-04-14 ニューロメディカル システムズ インコーポレイテッド ディスプレイに表示された像に対し検査の監査を行いながら検査する装置及び方法
US5257182B1 (en) 1991-01-29 1996-05-07 Neuromedical Systems Inc Morphological classification system and method
US5784162A (en) 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5218645A (en) 1991-03-29 1993-06-08 Cell Analysis Systems, Inc. Method and apparatus for separating cell objects for analysis
US5216500A (en) 1991-07-15 1993-06-01 Rj Lee Group, Inc. Simultaneously recording of video image and microscope stage position data
US5260871A (en) 1991-07-31 1993-11-09 Mayo Foundation For Medical Education And Research Method and apparatus for diagnosis of breast tumors
US5428690A (en) 1991-09-23 1995-06-27 Becton Dickinson And Company Method and apparatus for automated assay of biological specimens
CA2077781A1 (en) 1991-09-23 1993-03-24 James W. Bacus Method and apparatus for automated assay of biological specimens
JPH05303621A (ja) 1992-04-24 1993-11-16 Fujitsu Ltd イメージ情報の表示方法
JP3018733B2 (ja) 1992-05-13 2000-03-13 株式会社ニコン 静止画像伝送装置
JP2861634B2 (ja) * 1992-06-04 1999-02-24 株式会社日立製作所 3次元物体の認識方法および装置
JP3321197B2 (ja) 1992-06-22 2002-09-03 オリンパス光学工業株式会社 顕微鏡静止画像伝送システム
JP3448847B2 (ja) 1992-07-29 2003-09-22 オリンパス光学工業株式会社 顕微鏡静止画像観察システム
JPH06118307A (ja) 1992-10-02 1994-04-28 Nikon Corp 検鏡支援装置
US6026174A (en) * 1992-10-14 2000-02-15 Accumed International, Inc. System and method for automatically detecting malignant cells and cells having malignancy-associated changes
EP0610916A3 (en) 1993-02-09 1994-10-12 Cedars Sinai Medical Center Method and device for generating preferred segmented numerical images.
JPH0715721A (ja) 1993-06-28 1995-01-17 Nikon Corp 画像伝送装置
US5793969A (en) 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
US5625765A (en) 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
US5505946A (en) 1994-04-01 1996-04-09 Trustees Of Univ Of Pa Bowman-birk inhibitor concentrate compositions and methods for the treatment of pre-malignant tissue
JP3557246B2 (ja) 1994-06-08 2004-08-25 オリンパス株式会社 顕微鏡画像遠隔観察装置および顕微鏡画像の遠隔観察方法
US5499097A (en) 1994-09-19 1996-03-12 Neopath, Inc. Method and apparatus for checking automated optical system performance repeatability
JPH08287218A (ja) 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
US6148096A (en) 1995-09-15 2000-11-14 Accumed International, Inc. Specimen preview and inspection system
US6091842A (en) 1996-10-25 2000-07-18 Accumed International, Inc. Cytological specimen analysis system with slide mapping and generation of viewing path information
US5642441A (en) * 1995-10-24 1997-06-24 Neopath, Inc. Separation apparatus and method for measuring focal plane
US6151405A (en) 1996-11-27 2000-11-21 Chromavision Medical Systems, Inc. System and method for cellular specimen grading
JP3794744B2 (ja) * 1996-01-18 2006-07-12 オリンパス株式会社 合焦面検出方法及び画像入出力装置及び光学顕微鏡
US6078681A (en) 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US5978804A (en) 1996-04-11 1999-11-02 Dietzman; Gregg R. Natural products information system
WO1998002843A1 (en) 1996-07-12 1998-01-22 Erim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US5836877A (en) 1997-02-24 1998-11-17 Lucid Inc System for facilitating pathological examination of a lesion in tissue
US6091930A (en) 1997-03-04 2000-07-18 Case Western Reserve University Customizable interactive textbook
US5993001A (en) 1997-06-05 1999-11-30 Joslin Diabetes Center, Inc. Stereoscopic imaging system for retinal examination with remote examination unit
AU9476798A (en) * 1997-09-10 1999-03-29 Bellsouth Corporation Digital telepathology imaging system with bandwidth optimization and virtual focus control functions
AU1097299A (en) * 1997-10-17 1999-05-10 Accumed International, Inc. High-precision computer-aided microscope system
AU1313699A (en) 1997-12-11 1999-06-28 Bellsouth Intellectual Property Corporation Digital telepathology imaging system programmed for identifying image regions ofpotential interest and anticipating sequence of image acquisition
JP2000039566A (ja) * 1998-07-24 2000-02-08 Sony Corp 拡大観察装置
JP2000162504A (ja) * 1998-11-26 2000-06-16 Sony Corp 拡大観察装置
JP3961729B2 (ja) * 1999-03-03 2007-08-22 株式会社デンソー 全焦点撮像装置
JP2000357229A (ja) * 1999-06-14 2000-12-26 Sony Corp 表示装置、表示方法及び表示機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体
FR2796291B1 (fr) 1999-07-16 2001-09-21 Cross Site Technologies Seringue sans aiguille munie d'un systeme de declenchement piezo-electrique
WO2001027678A1 (en) * 1999-09-10 2001-04-19 Cellavision Ab Microscope and method for compressing and storing of digital images
JP3501359B2 (ja) * 2000-04-11 2004-03-02 株式会社デンソー 全焦点撮像方法および立体表示方法
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6864065B2 (en) * 2000-11-08 2005-03-08 Surface Logix, Inc. Assays for monitoring cell motility in real-time
US7027628B1 (en) * 2000-11-14 2006-04-11 The United States Of America As Represented By The Department Of Health And Human Services Automated microscopic image acquisition, compositing, and display
JP5132867B2 (ja) * 2002-02-22 2013-01-30 オリンパス アメリカ インコーポレイテツド 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム

Also Published As

Publication number Publication date
AU2003217694A1 (en) 2003-09-09
CA2436043A1 (en) 2003-08-22
US20040004614A1 (en) 2004-01-08
JP2009075618A (ja) 2009-04-09
US8306300B2 (en) 2012-11-06
JP2009104162A (ja) 2009-05-14
US7596249B2 (en) 2009-09-29
WO2003073365A1 (en) 2003-09-04
EP1428169A1 (en) 2004-06-16
US7925067B2 (en) 2011-04-12
JP2009104161A (ja) 2009-05-14
US20110181622A1 (en) 2011-07-28
EP1428169B1 (en) 2017-01-18
JP2005518570A (ja) 2005-06-23
US20100074489A1 (en) 2010-03-25
CA2436043C (en) 2006-01-10
EP1428169A4 (en) 2006-05-17
JP2009104163A (ja) 2009-05-14

Similar Documents

Publication Publication Date Title
JP5132867B2 (ja) 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
US7027628B1 (en) Automated microscopic image acquisition, compositing, and display
US7248282B2 (en) Microscopy imaging system and method
JP4667944B2 (ja) 画像作成装置
US5038035A (en) Automatic structure analyzing/processing apparatus
JP2002277754A (ja) 顕微鏡写真撮影装置
WO2020091965A2 (en) Digital imaging system and method
JP2011083032A (ja) データ構造を記憶したコンピュータ読み取り可能な記録媒体
JP4296207B2 (ja) 顕微測定装置
US20210233647A1 (en) Digital imaging system and method
JPWO2018158810A1 (ja) 細胞観察装置
KR100897674B1 (ko) 표본 검사 시스템 및 표본 검사 방법
JP6024293B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2005266718A (ja) 顕微鏡画像撮影システム
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
Gu et al. The coming age of virtual microscopy: current technologies and their applications
Kujawski et al. MicroScreen
Glaser et al. The MicroBrightField virtual slice system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080924

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081023

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100405

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110502

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5132867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term