JP5055120B2 - リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法 - Google Patents

リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法 Download PDF

Info

Publication number
JP5055120B2
JP5055120B2 JP2007529794A JP2007529794A JP5055120B2 JP 5055120 B2 JP5055120 B2 JP 5055120B2 JP 2007529794 A JP2007529794 A JP 2007529794A JP 2007529794 A JP2007529794 A JP 2007529794A JP 5055120 B2 JP5055120 B2 JP 5055120B2
Authority
JP
Japan
Prior art keywords
image
stripe
sub
pixels
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007529794A
Other languages
English (en)
Other versions
JP2008511899A (ja
Inventor
グレッグ・ジェイ・クランドール
オール・アイヒホーン
アレン・エイチ・オルソン
ダーク・ジー・ソーンクセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2008511899A publication Critical patent/JP2008511899A/ja
Application granted granted Critical
Publication of JP5055120B2 publication Critical patent/JP5055120B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、バーチャル・マイクロスコープ分野に関し、特に、高解像度リニア・アレイ型マイクロスコープ・スライド・スキャナを用いて撮像した大容量デジタル画像ファイルのデータ管理に関する。
従来のスキャナでは、通例、身体の標本のある領域を、所望の解像度でデジタイズする。所望の解像度が高くなるにしたがい、スキャン工程は、技術的により困難なものになる。同様、関心領域の増大、または、スキャンに用いることができる時間の減少によっても、スキャン工程は、困難なものになる。また、デジタイズしたデータを的確にモニタ上で観察可能であることも、従来のスキャンの用途にかかる総体的有用性にとっては、しばしば決定的な事柄になる。
従来型のセンサ、コンピュータ、記憶装置の容量、および、画像管理手段における近年の技術的進展により、診断解像度でマイクロスコープ・スライド全体をデジタイズすることが可能となった。このことは、非常に価値あることである。診断解像度とは、熟練した技師または臨床医が、従来型マイクロスコープの接眼レンズを覗き込んで診断する代わりに、コンピュータのモニタから直接的に診断を下すために必要な解像度(分解能)である。診断解像度は標本の種類によって変化する。たとえば、皮膚生検標本に必要な診断解像度は、その他の生検標本に対して必要となる解像度よりも、一般的に低い(つまり、低解像度で診断可能である。)。
現在では、マイクロスコープ・スライド全体を診断解像度でデジタイズすることは技術的には可能となった。だが、大変な仕事であることに依然として変わりはない。現在の実際的な方法論では、比較的短時間で、莫大な量の高画質画像データをキャプチャすることが必須となっている。図1は、実際のコンデンサ設定における光学系の限界分解能(マイクロメートル(「μm」))と、当該光学系のマイクロスコープの対物レンズの開口数(「NA」)の関係を示すグラフである。限界分解能は、光学系が分離可能な最小距離、と定義される。たとえば、適切な設計および製造がなされた光学系においては、限界分解能は、ヒトの目が観察可能な最小の空間的大きさに一致する。
グラフに示すように、NA0.3の対物レンズの限界分解能は、およそ1.5μmである。また、NA0.4の対物レンズにおいては、その限界分解能は、およそ1μmまで向上し、さらに、NA0.8の対物レンズにおいては、限界分解能は、0.5μmよりもよくなる。ここで、限界分解能は対物レンズの倍率とは無関係に、開口数のみで決定される点に注目することが重要である。
従来、光学系において、マイクロスコープ用標本をヒトの目が観察できる細部を一切損なうことなくデジタイズするには、限界分解能に対応する距離の2分の1よりも小さな寸法の検出用素子が必要である。この2−ピクセル(画素)の要請は、周知のナイキストのサンプリング定理に依る。明白な事柄だが、2次元画像化システムにおいては、この2−ピクセルの要請は、2画素×2画素のアレイに対応する。別の言い方をすれば、限界分解能が1μmであれば、標本0.5μmを1画素(もしくはそれ以上)でデジタイズしなければ、ヒトの目が対物レンズを通して観察可能な情報の全てをキャプチャすることはできない。
図2は、スキャンの分解能(解像度)(インチあたりピクセル数「ppi」)と対物レンズの開口数との関係を示すグラフである。グラフに示すように、NA0.3の対物レンズでは、少なくとも、スキャン解像度38,000ppiを必要とする。NA0.3の対物レンズを通じて得られ、ヒトの目で観察することができる、全ての細部をキャプチャするにはこのような解像度が必要である。同様、NA0.4の対物レンズでは少なくとも50,000ppiのスキャン解像度が必要であり、また、NA0.8の対物レンズでは少なくとも100,000ppiのスキャン解像度が必要である。
図3は、スキャン解像度(インチあたりピクセル数)と得られる非圧縮状態のファイル容量(1平方ミリメートル領域(「mm2」)あたりメガバイト(「MB」))との関係を示すグラフである。本グラフでは、領域は、24ビット・ピクセル(3つのカラー・チャンネル、各チャンネルは8ビット。)でキャプチャされている。図示したように、(図2に示したNA0.3の対物レンズを用いてキャプチャした場合、)38,000ppiでの1mm2領域は、およそ8MBになる。同様、さらに高い50,000ppiのスキャン解像度では、同様の1mm2領域についてファイル容量は11MBとなり、さらには、スキャン解像度100,000ppiでは、ファイル容量はおよそ47MBになる。このように、対物レンズの開口数を大きくすると、インチあたりピクセル数で示される、必要とされるスキャン解像度が増大し、画像ファイルの容量も劇的に増加する。つまり、スキャン解像度が増大すれば、画像ファイル容量は著しく増加する。
したがってマイクロスコープ・スライド全体を診断解像度でデジタイズすると、極めて大きなデータ・ファイルになる。例えば、一般的な15mm×15mmのスライドの領域を、スキャン解像度50,000ppi(つまり、NA0.4)でデジタイズすれば、得られるファイルの容量は、およそ2.5ギガバイト(「GB」)になる。スキャン解像度100,000ppiでは、ファイル容量は、4倍され、同じ225平方ミリメートルのスライド面積に対し、およそ10GBになる。
マイクロスコープ・スライド全体をスキャンする方法に関し、2つの基本となる方法論が開発されている。それらは、(i)従来からの画像タイリングと、(ii)アペリオ・テクノロジーズ・インク(Aperio Technologies, Inc.)が開発したライン・スキャン法およびそのシステムである。後者の手法は、専用の光学系と、リニア・アレイ・ディテクタを用いるものであって、「Fully Automatic Rapid Microscope Slide Scanner」と題された米国特許出願第09/563,437号に開示され、スキャン・スコープ(ScanScope)(登録商標))の名で市場に供されている。
従来からの画像タイリングは、周知の技法である。画像タイリング法には、複数の、小さな、静的に大きさが定められた、マイクロスコープ・スライドの領域を、従来の固定域型電荷結合素子(「CCD」)カメラを用いてキャプチャする工程を有し、標本を構成する各キャプチャ・タイルは、個々に分離した個別の画像ファイルとして記憶される。続いて、標本を構成する様々な画像タイルを、デジタル処理により「ステッチ(縫合)」して、(つまり、位置合わせを行って、)大きな、スライド全体を含んだ連続的デジタル画像を生成する。
スライドの、所与の面積をスキャンするのに必要な画像タイルの数は、各画像タイルを構成するピクセル(画素)の数に比例する。一般的なビデオ・フォーマットのカラー・カメラは、768×494ピクセルを有し、これは、1画像タイルあたり1.1MBの画像データに相当する。スライドの1mm2の領域が11MBの画像データに相当することを思い起こせば、スキャン解像度50,000ppiにおいてスライドの1平方ミリメートルをデジタイズするのに、およそ10個の重複しない画像タイルをキャプチャしなければならないことが導かれる。100,000ppiにおいては、必要なタイルの数は、平方ミリメートルあたり、4倍の、40個の画像タイルにまで増加する。
よって、一般的な15mm×15mmのスライド領域に対しては、スキャン解像度50,000ppiにおいて、少なくとも、2,250個の画像タイルをキャプチャしなければならないことが導かれる。スキャン解像度100,000ppiにおいては、少なくとも、9,000個の画像タイルをキャプチャしなければならない。重要なことには、各画像タイルはおよそ1.1MBのファイル・サイズがあることである。実際には、もっと多くの数のタイルをキャプチャしなければ、容易に「ステッチ」できるように、または、隣接画像タイルを位置合わせするために、隣接タイル間を十分に重複させることはできない。
従来の画像タイリング・システムは、一般に、マイクロスコープ・スライド全体をデジタイズするのに必要な幾千ものタイルをキャプチャし、それらを揃えるのに数時間を要する。画像キャプチャのための時間は、CCDカメラの位置を変えてから画像タイルを取得するまでの間に、CCDカメラを安定化させるために待機する時間が必要であるため、著しく長期化する。この待機時間は、キャプチャした画像がブレない(ブラー)ようにするため、必須である。また、データ処理のスピードにも実際上の限界が存在し、多数の画像タイルを位置合わせするスピードは極めて遅い。実際には、従来の画像タイリング・システムは、「ステッチ・ライン(縫合線)」やその他の画像アーチファクトを生成することなく多数のタイルを位置合わせすることはできない。このことは、コンピュータ画像処理における課題である。
画像タイリングの別手法として、先述のライン・スキャン法がある。固定域型のカメラを用いて幾千もの画像タイルをキャプチャするかわりに、ライン・スキャン法においては、マイクロスコープの対物レンズおよびその他の光学系と共にリニア・アレイ・ディテクタを用い、少数の連なった重複のある画像ストライプをキャプチャする。従来の画像タイリングにおける、動いたり止まったりする性質(ストップ・アンド・ゴー)とは異なり、画像ストライプの取得にあたり、マイクロスコープ・スライドは間断なく一定速度で移動する。ライン・スキャニングに備わった従来の画像タイリングに対する多くの原理上の有利性の一つとして、少数の画像ストライプをキャプチャして位置合わせする方が、幾千もの画像タイルをキャプチャして位置合わせするよりも効率的であることが挙げられる。
例えば、典型的な、スライドの15mm×15mmの領域の場合、その領域をキャプチャするには、50,000ppiで15個の画像ストライプが必要である。このとき、各画像ストライプは、それぞれ2,000ピクセルの幅を有する。この場合、各画像ストライプは、およそ170MBのファイル・サイズを有する。100,000ppiでは、同様の領域の場合、30個の画像ストライプが必要である。この場合には、各画像ストライプは、およそ680MBになる。この、15mm×15mmの領域に対し、50,000ppiまたは100,000ppiで2,550個または9,000個の画像タイルをキャプチャすることに較べれば、15個または30個の画像ストライプのキャプチャですむ点は、劇的な効率の向上である。また、ライン・スキャニングは連続にスキャンを実行する性質を有するため、数分でシームレスなバーチャル・スライドを作成することが可能である。
データ・キャプチャの迅速性に加え、常に優れた画像データを得ることを可能にする、幾つかの有利点を有する点においても有益である。先ず、あるスキャン・ラインから次のラインに移る際に対物レンズのフォーカスを調節可能である。これに対し、画像タイリング・システムにおいては、本質的に、一の画像タイル全体は、単一の焦点面に限られる。第2に、ライン・スキャニング・システムにおけるセンサは一次元的なものである。そのため、スキャン軸に沿った光学収差が生じない。画像タイリング・システムにおいては、画像タイルの中心に関して円対称性を有する光学収差が生じる。第3に、リニア・ディテクタは、百パーセント(100%)の充填比を有し、フル・ピクセル解像度(カラー・チャンネルあたり8ビット)を実現する。これに対し、カラーCCDカメラは、非隣接ピクセルのカラー値を(例えば、ベイヤー・マスクを用いて、)補間するため、空間分解能が損なわれる。
従来の画像タイリング・システムにおいては、生成した大量のデータを扱うため、そのようなシステムが通例生成する、幾千もの比較的小さな(〜1MB)画像タイルを管理するデータ管理ツールが開発されている。しかしながら、これらデータ管理ユーティリティは、ライン・スキャン画像ストライピング・システムがキャプチャする、少数の比較的大きな(〜200MB)画像ストライプを管理することに適したものとはいえない。
したがって、高品質な画像ストライピング・システム、および、マイクロスコープ・スライドのデジタイズ方法を導入するにあたり、これら新技術の課す、類のない要求を満足するようなデータ管理システムに対する要請が当該分野において生じている。
本発明は、リニア・アレイ型のマイクロスコープ・スライド・スキャナによって迅速に作成される極めて大きな画像データ・ファイル(つまり、画像ストライプ)を処理し、操作することができるデータ管理システムおよび方法を提供する。本システムは、大容量画像データを受け取り、処理し、そして、保存する。ここでは、大容量画像データは、リニア・アレイ型のマイクロスコープ・スライド・スキャナが生成するものであり、およそ毎分3GBで生成される。
本発明においては、粗調整され僅かずつ重複した一連の画像ストライプのデータを受け取って、画像の不均一性や色収差を補正し、それから、精緻に並べてシームレスかつ切れ目のない基準画像にする。そして、基準画像は、個別的にアドレスが付された複数の領域へ、論理的にマッピングされ、基準画像を容易に鑑賞および操作可能にする。当該分野においては、これら複数の領域を、「画像タイル」と称する。しかしながら、従来型の画像タイリング・システムにおいてCCDカメラでキャプチャして生成した様々な、個々の画像ファイルと混同しないでいただきたい。
本データ管理システムは、新規の画像ストライプをスキャンしてキャプチャする際に画像データの圧縮を行うことができる。そのため、非圧縮の画像ストライプを保存する際のオーバーヘッドを無くすことができ、有利である。画像圧縮によって、中間レベル画像を生成することもでき、そうすることで、基準画像から、バーチャル・スライドと称される、可変的レベルのピラミッド構造を形成することができる。
本データ管理システムは、効率よく、画像ストライプを高品質バーチャル・スライドに変換することができる。バーチャル・スライドにより、画像観察ソフトを用いた迅速なパンニングおよびズーミングが可能となる。バーチャル・スライドにより、アリゴリズム・フレームワークによる効率的な処理も可能となる。さらに、リアル・タイムでの画像の処理、圧縮、および、保存の機能は、ローカルまたはリモートのステーションにおける同時的かつ簡素化された複解像度高画質画像観察と組み合わされる。本データ管理システムは、費用効率が高く、スケーラブルであり、かつ、標準的画像ファイル・フォーマットを用い、遠隔医療、遠隔病理診断、顕微鏡法教育、および、組織アレイといった高価な標本の分析等、所望の用途におけるバーチャル・スライドの利用を支援する。
本発明の、構成および動作両面にかかる詳細の一部については、添付図面を参照して理解されたい。同様の参照数字は同様の部分を指す。
リニア・アレイ型マイクロスコープ・スライド・スキャナは、僅かに重複(オーバーラップ)した少数の画像ストライプを生成することによって、マイクロスコープ・スライド全体またはマイクロスコープ・スライドの広い領域をデジタイズする。これらストライプは、数は少ないものの、サイズがとても大きい。例えば、1ストライプあたり200MB程度になる。これら画像ストライプは、大きく、かつ、マイクロスコープ・スキャナ・システムによって非常に迅速に生成(例えば、毎分3GB)されるため、従来の手法に基づくデジタル画像ファイルの受け取り、処理、保存は、適切でない。
本願明細書は、新規なマイクロスコープ・スライド・スキャナ・システムが実現するユニークなデータ管理のシステムおよび方法を開示する。ここでは、例えば、画像ストライプをシームレスで連続的な画像に、非常に正確かつ迅速に結合する方法が開発されており、この方法は、データのキャプチャ(つまりは、スキャン)の間にストライプの位置整合処理を実施することを可能にする。スキャン中にストライプの位置整合の処理を行うことにより、非常に大きな画像ストライプをハード・ディスクに保存する必要性がなくなり、残りのストライプもキャプチャされ、スキャンが完了した後、個別的にメモリにロードされて位置整合の処理に供される。また、スキャンの間にストライプの位置整合を行うことにより、スキャンと同時的に(つまりは、リアルタイムに)画像データの圧縮を行うことにより、有利にも、非圧縮の画像ストライプを保存する必要性がなくなる。本願明細書においては、画像ストライプの位置整合を行うことで生成されるシームレスで連続的な画像を、基準画像と称する。さらに、基準画像を組織化して、バーチャル・スライドと称されるピラミッド構造を編成する。
また、完成した基準画像に対し(つまり、基準画像を構成する画像ストライプを位置整合させた後、)論理的にインデキシング(指標を作成)する手法を開発したことにより、バーチャル・スライド観察ソフトウェアを用いてバーチャル・スライドを迅速にパンしたり、ズームしたりすることが可能になっている。有利にも、これらの手法により、技術者や臨床医は、裸眼による観察に等しい低分解能から技術者や臨床医が診断を下すのに要する細部観察を可能にするのに必要な高診断分解能まで、様々な拡大レベルで、様々なバーチャル・スライドの部分を観察することが可能である。
当業者であれば、本説明を読むことで本願発明を様々な代替的実施形態や代替的用途目的で本発明を実施することも可能であろう。また、本発明の様々な実施形態を本説明において紹介するが、これら実施形態は例示を目的として挙げているに過ぎず、本発明がこれら実施形態に限定されることはない。したがって、様々な代替的実施形態にかかる説明が、添付の請求の範囲に記載の本発明の範囲または最大幅を規定するものであると解釈すべきでない。
はじめに
リニア・アレイ型のマイクロスコープ・スライド・スキャナのためのデータ管理システムにおいては、ある種の機能が最重要とされる。それら機能には、:(1)画像のキャプチャの間に画像処理を行う機能;および、(2)画像データの組織化を行う機能、が含まれる。画像のキャプチャの間に行う画像処理は、画像ストライプをデータのキャプチャと平行して処理する方法、または、データのキャプチャの後直ちに画像ストライプの処理を行う方法を含む。いくつかの画像処理にかかる態様は、(例えば、色彩、および、照度の均一性、にかかる)光学収差補正を含み、その処理においては、オーバーラップしている画像ストライプを結合(つまりは、位置整合)する。また、上記幾つかの態様においては、画像データを組織化して保存する手段を含み、それら手段が、ディスプレイ・モニタ上での的確な観察を支援する。たとえば、ピラミッドに編成された画像データが供するバーチャル・スライドの観察を支援する。画像データ・ファイルの組織化は、画像ストライプを圧縮し、最適な観察を行うために組織化することを含む。これら観察には、ネットワークを介してバーチャル・スライドにアクセスし、迅速なパンおよびズームを実行することを含む。
好ましくは、データ管理システムは、特定のデータ・キャプチャの手法に最適化される。ライン・スキャナ、特に、リニア・アレイ型のマイクロスコープ・スライド・スキャナ、で生成される画像ストライプに関し、データ管理システムは:(1)データ・キャプチャ中のデータのランタイム(実行時間)管理;(2)非常に大きな(例えばギガバイト級の)画像ファイルの効率的な観察;(3)しっかりした画像品質;(4)画像データを標準的ファイル・フォーマットへ効率的に組織化;ならびに、(5)費用効果および拡張性(スケーラビリティ)を供することが好ましい。
まず、ライン・スキャナの画像データを、可能な限りほぼリアルタイムで管理することが望まれる。このことは、ライン・スキャナの一部を構成するリニア・アレイ・ディテクタから出力される画像ストライプを、それと同等の速さで処理することを意味する。このような効率性に対する要望は、日常的に、何百ものギガバイト・クラスの画像データになる何百ものマイクロスコープ・スライドを処理する解剖病理学研究室を含む、様々な研究室におけるスループット(処理量)に対する要請に端を発する。毎分およそ3GBにもなるライン・スキャンにかかるデータ・レートをサポートしようとするアペリオ・テクノロジーズ(Aperio Technologies)の現行のスキャン・スコープ(ScanScope(登録商標))の挑戦は大変骨の折れる挑戦である。なぜなら、3GBのファイルは、一般的なハード・ドライブに書き込むにも数分を要するからである。
第2に、データ管理システムは、バーチャル・スライドの効率的観察をサポートすることが好ましい。バーチャル・スライドは、ローカルのコンピュータ、または、ネットワーク接続されたリモートのコンピュータに繋がったモニタに表示することができる。当然のことながら、ネットワークは、ローカル・エリア・ネットワーク、もしくは、ワイド・エリア・ネットワーク、あるいは、至る所で利用可能なインターネットでよい。遠隔的に病理用マイクロスコープ・バーチャル・スライドを観察する場合、本発明にかかるデータ管理システムは、一般に遠隔病理診断と称される遠隔医療用途を支援することができ、加えて複数の関係者・団体による同時的かつ協調的なバーチャル・スライド観察を支援することも可能である。
さらに、バーチャル・スライド観察用ソフトウェアは、従来の顕微鏡を用いたガラス製マイクロスコープ・スライドの観察に較べ、より効率的に同等のデジタイズされたマイクロスコープ・スライドの全視野を観察できるように支援することが好ましい。バーチャル・スライド観察用ソフトウェアは、様々なネットワークを介した遠隔的なバーチャル・スライドの観察のみならずローカルな観察においても、画面の更新に要する時間を最小限に留めることが望まれる。タグ付き画像ファイル形式(「TIFF」)といった標準的な画像ファイル・フォーマットは、あらゆる所望の解像度レベルの画像データに対してもランダム・アクセスすることが可能なため、有利である。
第3に、本データ管理システムは、データ管理工程全体にわたり、可能な限りの最高画質を維持する点で有利である。画像ストライプは、ライン・スキャナを用いて生成する点で既に高品質である(100%充填率)。また、必要な前処理もしくは後処理操作(例えば、光学的、もしくは、ディテクタの不均一性に対する補正)は、画像ストライプの画質をいたずらに劣化させないことが望まれる。また、本データ管理システムは、様々なエンド・ユーザのニーズに適うように画像ストライプに対する不可逆あるいは可逆圧縮をサポートすることができる。JPEG2000を含む不可逆圧縮の手法であっても、専門家が主観的に観察を行えば質の高い結果を得ることができ、有利である。
第4に、本データ管理システムは、バーチャル・スライド全体またはバーチャル・スライドの1つもしくは複数の選択された領域に対し、解像度のレベルを変化させつつ、画像処理アルゴリズムを効率よく適用可能であることが望ましい。また、バーチャル・スライドの画像ファイル・フォーマットが、画像処理アルゴリズムを形成するプログラムによる、バーチャル・スライドもしくはバーチャル・スライドのある領域に対する迅速かつ順次的なアクセスをサポートしていることが望ましい。
最後に、本データ管理システムは、費用効率が高く、拡張性(スケーラビリティ)が高く、かつ、市販のパーソナル・コンピュータ、従来型のファイル・サーバ、ネットワーク設備を用いて実施可能である点で有利である。また、本データ管理システムは、透過光、蛍光、暗視野、干渉コントラスト、反射光、もしくは、位相差(位相コントラスト)を描写する画像データであっても、さらには、その他の顕微鏡様式によるデータであっても、その如何を問わず、高分解能ライン・スキャナによってキャプチャされた顕微鏡画像データであればあらゆるタイプのデータに対し、適用可能である点も有利である。さらには、本データ管理システムは、例えば、半導体のような物質や、回路基板や、マイクロ・ウェル・プレートといったような、マイクロスコープ・スライドではない標本からキャプチャしたライン・スキャン画像データや、さらには、衛星やその他の宇宙探査機のキャプチャした非顕微鏡画像に対しても適用可能である点においても有利である。
図4AおよびBは、本発明にかかる実施形態による画像データ・ストライプ20を重畳したマイクロスコープ・スライド40を例示するブロック図である。両図とも、マイクロスコープ・スライド40の上に標本48が示されている。一般的にマイクロスコープ・スライド40は、およそ75mmのスライド幅42、および、およそ25mmのスライド高さ44を有する。ラベル46は、通常、スライドの一端に固着され、印刷したバーコードまたはその他の標本固有情報を示す。スキャン・エリア50は、ライン・スキャナが走査するマイクロスコープ・スライド40の領域を指す。矩形のスキャン・エリア50は、標本48の最大寸法よりも僅かに大きくなるように設定されることが好ましい。スキャン・エリア幅52は、スキャン・エリア50の幅であり、スキャン・エリア高さ54は、スキャン・エリア50の高さである。
図4Aを参照すれば、ストライプ20は、スライド幅42に垂直な方向性を有する。このような方向性の有利点は、各ストライプ20のサイズが小さくなることである。例えば、ストライプ20のスキャンには、50,000ppiにおいて最大293MBを要し、100,000ppiにおいて最大586MBを要する。不利点は、ストライプ20の数が多くなることである。データ管理の観点からすれば、図4Aに示すような、短い画像ストライプの構成は好ましい。なぜなら、その理由の一つとして、現行の市販のワークステーションにおける1ないし2GBのメモリ容量を用いて効率よくスライドのデジタイズを完遂することができる点がある。
図4Aに示すストライプ20を用いて画像ストライプ20と標本48との関係性を例示する。スキャン解像度50,000ppiにおいて、2,048個の画素からなるリニア・アレイは、約1mmの物理寸法をカバーする。スキャン・エリア幅52が20mmの場合、およそ20個のストライプ20が、標本48を網羅するスキャン・エリア50をデジタイズするのに必要である。スキャン・エリア50を矩形に定めることの有利点は、各ストライプ20が類似したストライプ幅を有する点である。もし、スキャン・エリア50を標本48の物理寸法ともっと精確に整合させたいならば、たとえば、スライド・エリアの全体にわたり組織領域の間にブランクをおいて複数の細針生検が配置されている場合や、数百もの小さな組織のコアがマイクロスコープ・スライドに配列された組織マイクロアレイの場合には、スキャン・エリア50をさらに精巧に定めることも可能である。
図4Bに示した実施形態においては、ストライプ20は、スライド幅42に平行な方向性を有する。このような方向性の有利点は、ストライプ20の数が、スキャン解像度50,000ppiにおいて、およそ25個に、また、スキャン解像度100,000ppiにおいて、およそ50個に、それぞれ限定される点である。不利点は、ストライプ20のサイズが比較的大きくなることである。特に、スキャン・エリア幅52がスライド幅42の大部分を占めているような場合には尚更である。例えば、スキャン・エリア幅52が50mmを超えるような場合、一のストライプ20のファイル・サイズは、1GBに達することがある。
図5は、本発明にかかる実施形態による画像ストライプ20を例示するブロック図である。ストライプ20は、ストライプ幅24で定める幅およびストライプ高さ26で定める高さを有するデジタル画像である。サブ・ストライプ30は、ストライプ幅24が定める幅およびサブ・ストライプ高さ32が定める高さを有するデジタル画像である。
一般にライン・スキャナは、一度に一つのデータ・ライン34ずつ、ストライプ全体(のデジタル画像)をキャプチャしてストライプ20を生成する。このデータ・ライン34は、各カラー・チャンネルについて1ピクセル幅を有し、ストライプ幅26に等しい高さを有することが望ましい。データ・ライン34は、本明細書中、ピクセルのカラムと称することもある。ライン・スキャナは、(例えば、マイクロスコープの対物レンズと協働することによるリニア・ディテクタの視野である)リニア・アレイ視野22を、移動方向28に沿ってスライドに対して移動させて、ストライプをデジタル的にキャプチャする。リニア・アレイ・ディテクタの線速度をマイクロスコープ・スライドの速度に同調させることで、歪みのない画像データを得ることができる。例えば、マイクロスコープ・スライドは、スライド・スキャナの対物レンズの下方を移動することが望まれる。
用いるリニア・アレイ・ディテクタの種類によって、ライン・スキャナは、モノクロ、または、カラーのストライプ20を生成する。カラー・ライン・スキャナの場合、一のデータ・ライン34は、実際にはモノクロ・データの3ライン(つまり、3個のピクセル・カラム)に相当し、モノクロ・データ1ラインがそれぞれ、3つのカラー・チャンネルのいずれか(赤、緑、および、青)に対応する。
顕微鏡標本といったサンプルに対しては、診断解像度は一般に、50,000ないし100,000ppiであり、また、従来のドキュメント・スキャナのスキャン解像度のおよそ100倍以上である。このような解像度においては、リニア・アレイ・ディテクタとして2,048ピクセルを有するものを用いれば、ストライプ高さ24は、0.5mmないし1.0mmの物理寸法に相当する。当然に異なる態様のリニア・アレイを用いることも可能であるが、2,048ピクセルのリニア・アレイが好ましい。
明らかなことだが、リニア・アレイのピクセルの最大数以下の任意の高さで画像ストライプをキャプチャすることが可能である。例えば、狭小なストライプ高さ26(つまり、2,048ピクセル未満)で画像ストライプをキャプチャすること、および/または、可変的なストライプ高さ26で画像ストライプをキャプチャすることが望ましいような場合もある。例えば、組織の形態によってストライプの一端または両端部分に完全なフォーカスを合わせることができないような場合である。本データ管理システムは、このような、より精巧なスキャン手法に対応することができ、有利である。
2,048ピクセルのリニア・アレイの場合、各ピクセルは、50,000ppiにおいては、サンプルの物理的距離にしてピクセルあたり0.5μmを、100,000ppiにおいては、ピクセルあたり0.25μmをカバーする。2,048ピクセルのリニア・アレイの場合、このような小さな標本の物理的領域からの光を集光し、およそ28mmあるリニア・アレイにフォーカスさせるには、さらに自明でない光学系およびフォーカス調整が必要なこともある。キャプチャした画像データは、フォーカスがよく合っていることが好ましく、また、ストライプ形態で画像を取得できるライン・スキャナで取得することが望ましい。
ある方向に沿って25mmの顕微鏡標本の場合、ピクセルあたり0.5μmのスキャン解像度において、ストライプの寸法は、1.0mm×25mmである。これにより、ストライプ20は、2,048ピクセル×50,000ピクセルを有する。24ビット画素(赤、緑、および、青のカラー・チャンネルそれぞれに8ビット)を想定すれば、一のストライプは、102百万(1億2百万)ピクセル、または、586MBのカラー画像の、データである。もっと高い、ピクセルあたり0.25μm(つまり、50,000ppi)のスキャン解像度においては、ストライプ20の寸法は、0.5mm×25mm、もしくは、2,048ピクセル×100,000ピクセルを有する。後者の場合、各ストライプは、205百万(2億5百万)ピクセル、または、586MBのカラー画像のデータである。一般的な顕微鏡標本をデジタイズするには、複数のストライプ20がキャプチャされる。例えば、組織や細胞診のための標本は、スライドにおける面積にして数百平方ミリメートルを有する。複数のストライプ20を位置整合し、顕微鏡標本全体にかかるシームレスで大きな連続的な画像を生成する。
マイクロスコープ・スライドのためのライン・スキャナは、バスラー(Basler)L301bcといったライン・スキャン・カメラを用いて毎秒9,000ラインのカラー・データを取得して出力することが好ましい。このカメラは2,048ピクセルのリニア・アレイを備え、カラー画像データとして毎秒55MBあるいは毎分3.3GBでストライプ20をスキャンすることができる。このデータ・レートでは、293MBを有するストライプ幅25mmのストライプ20ひとつを、5.3秒でスキャンすることができる。複数のストライプ20をキャプチャする場合には、実効データ・レートが毎分3.3を下回る理由がいくつかある。それらには、(i)画像データをキャプチャするときの速度が一定速度から速まったり遅くなったりすることにかかる遅延、(ii)不均一な照明を補正するための処理にかかる遅延、(iii)リニア・アレイ・ディテクタをあるストライプ20から別のストライプへ物理的に移動させるための機械的な遅延、(iv)隣接するストライプ20の位置整合を行うための処理にかかる遅延、(v)データ圧縮にかかる遅延、(vi)ストライプ20に相当する画像データを保存するための遅延、が含まれる。本発明においては、これらの遅延を最小限にとどめて高効率なスキャンのデータ・レートを実現している点を、有利点の1つとする。
図6は、本発明にかかる実施形態による、一組のストライプを、スライド標本に重畳して例示するブロック図である。先の図において、複数のストライプ20を重畳した状態で、これと同一の標本48およびスキャン・エリア50を図示している。キャプチャ工程においてストライプ20が完全にシンクロして位置整合されることが最も好ましいが、実際には、キャプチャの際、ストライプには、位置ずれや重複(オーバーラップ)が生じることがある。
図7Aは、本発明にかかる実施形態による、一組の位置がずれた画像ストライプの例を示すブロック図である。本例にかかる実施形態においては、隣接したストライプ20は、粗いストライプ・オフセット56だけ互いにずれ(オフセット)がある。例えば、毎秒9,000ラインをキャプチャするマイクロスコープ・スライド・スキャナにおいては、隣接したストライプ20の取得の開始に100ミリ秒のずれが生じることは、粗いストライプ・オフセット56にして900ピクセルに相当する。
よって、移動方向28に沿ってストライプ20を粗く位置合わせする必要がある。この、粗い位置合わせは、後の、ピクセル単位での精確なレジストレーションを行う精緻な位置合わせと同様、スキャン・エリア50を構成するストライプ20の全てを取得した後の、取得後操作として実現される。このような取得後におけるストライプの位置合わせに関する不利点としては、キャプチャしたストライプを、スキャン・エリア全体をキャプチャしつくすまでディスクに保存する点がある。そして、全てのストライプ20をハード・ディスクからメモリへ読み出し、粗い位置合わせおよび精緻な位置合わせを行えるようにしなければならない。ストライプ20のサイズにもよるが、この手法は非常に時間がかかるものになる場合もある。隣接ストライプ間の位置合わせは、スキャン工程の間に、隣接するストライプ20がメモリに存在して、ストライプ20あるいはバーチャル・スライドをコンピュータのハード・ディスクもしくはその他の不揮発性メモリに保存する前に、完了させることが好ましい。
図7Bは、本発明にかかる実施形態による、一組の、オーバーラップしかつ位置がずれた画像ストライプ20の例を示す図である。本図に例示した形態においては、画像ストライプ20は、意図的に、移動方向28を横断する方向を有する軸においてオーバーラップされている。この画像ストライプにおけるオーバーラップにより、隣接したストライプ20の位置合わせが容易になる。とりわけ、ストライプのオーバーラップ58の量は、隣接したストライプの精緻な位置合わせをサポートするのに十分であることが望ましく、それは40ピクセルであることが好ましい。
図8は、本発明にかかる実施形態による位置合わせの準備が整った画像ストライプ20の例を示す図である。従来のオペレーティング・システムにおけるレイテンシ、および、一般的スライド・スキャナのスライド・ポジショニングのためのハードウェアがストライプ20のそれぞれについて厳密に同一の位置からストライプ化を開始できないことといった実情に起因して、データ・ストライプを位置合わせする必要性が生じる。外部同期(エクスターナル・シンクロナイゼーション)の手法を用いてスキャン中、反復的な精緻な位置合わせ工程の前に、ストライプ20に対して粗い位置合わせを行うことができることが好ましい。
例えば、ライン・スキャナは、好ましくは、モータ、または、スキャン中にマイクロスコープ・スライドを移動させるメカニカル・ステージのいずれかに取り付けたポジション・エンコーダからのポジション・フィードバック情報を生成することが好ましい。このポジション・フィードバック情報は、マイクロスコープ・スライド上のスキャン・エリアにかかる大きさおよび位置にかかる予備的知識と合わせて用い、ライン・スキャナがスキャン・エリア50の開始部に達した時に、粗位置整合同期フラグ60を設定するのに用いる。ライン・スキャンのシステム全体におけるデータのレイテンシのために、粗位置整合同期フラグ60の発行にかかる粗い位置合わせにかかる不確かさ68は、およそプラス・マイナス2ミリ秒である。これは、毎秒9,000ラインのスキャン速度におけるプラス・マイナス18ラインに相当する。ライン・スキャナは、有効ライン・スキャン・データ66をキャプチャする間は一定速度で移動しなければならないため、立ち上げ区間62内において所望の速度まで加速するのに十分な時間がライン・スキャナに必要である。一般的な立ち上げ区間は、ライン・スキャナの移動距離にして1mm未満である。
好適な実施形態においては、ライン・スキャナがその動作を開始するや否や、大きなライン・スキャン・バッファ64が設けられる。ライン・スキャナがマイクロスコープ・スライド40に対して移動すると共に、画像データは、キャプチャされ、ライン・スキャン・バッファ64に一時的に記憶される。ライン・スキャン・バッファ64をキャプチャ中のいずれかの時点において、粗位置整合同期フラグ60が設定される。このフラグの設定は、有効ライン・スキャン・データ60の所望の開始点に対応するライン・スキャン・バッファ64のデータ・ラインにおいてリニア・アレイ・ディテクタを飽和させるストロボ(閃光灯)を用いて行うことが好ましい。
例えば、バスラーL301bcディテクタを用いる場合、ライン・スキャン・バッファ64においては、互いに8ピクセルだけ離れ、それぞれが赤、緑、および、青に対応する、3つの飽和したピクセルのカラム(ライン)が明確に示される。ライン・スキャン・バッファ64を全てキャプチャした後、飽和したピクセルの赤のカラムの先頭側縁部を識別することができる。これら飽和したピクセルを除去するため、この赤の飽和したピクセルの先頭カラムの後方50番目のカラムを、有効ライン・スキャン・データ66の開始部とすることができる。スキャン・エリアの寸法を認識しておけば、有効ライン・スキャン・データ66が幾つのデータ・ラインで構成されるのかを知ることが可能である。つまり、画像ストライプ20において必要とするライン・スキャン画像データの数を知ることが可能である。したがって、バッファリングしているライン・スキャン・バッファ64全体を保存せず、有効ライン・スキャン・データ66の開始部よりも前のピクセルのカラムの全て、および、有効ライン・スキャン・データ66の終了部よりも後のピクセルのカラムの全てを、画像ストライプ20を保存する前に除去する。
前述のような、粗位置整合同期フラグ60の設定にストロボを用いることは、テンポラリ・バッファへライン・スキャン・データを送るデータ・キャプチャ・ボードが行うライン・スキャン・データのキャプチャを外部からトリガしてスタートまたはストップさせることができない場合に特に有用である。データ・キャプチャ・ボードが、データ・キャプチャの開始または終了について外部からのトリガをサポートする場合においては、粗位置整合同期フラグ60を設定の後、外部トリガを用いてデータ・キャプチャを開始させるような、別の、粗い位置合わせ手法を用いてもよい。そのような形態においては、ライン・スキャン・バッファ64および有効ライン・スキャン・データ66は、同一である。なぜなら、ライン・スキャン・バッファ64のデータは同期フラグ60の設定により開始されるからである。粗位置整合同期フラグ60のキャプチャよりも前には、一切のデータをキャプチャしないことが望ましい。
同様にして、データ・キャプチャ・ボードを再びトリガすることができる。この時は、有効ライン・スキャン・データ66のキャプチャを停止させるためのものであり、有効ライン・スキャン・データ66を構成するデータ・ラインを所望の数だけキャプチャした時に行われる。明白なことだが、データ・キャプチャ・ボードを外部からトリガ可能ならば、ストロボの使用は必須ではない。外部からデータ・キャプチャ・ボードへトリガを送るためにポジション・エンコーダの出力を用いる手法が好適である。
図9Aは、本発明にかかる実施形態による、一対の画像ストライプにかかる位置整合(位置合わせ)を例示するブロック図である。オーバーラップ(重複)しているストライプを、ストライプのオーバーラップ58内におけるパターンマッチングを用いて位置合わせする。オーバーラップ58は、40ピクセル幅の領域であることが望ましい。位置合わせの結果は、各ストライプについてX−Yオフセット74として示される。X−Yオフセット74は、隣接した、位置整合されるストライプ72が配置されるべき、参照ストライプ70における厳密な(x,y)座標系における位置を示す。図9Aは、位置合わせした参照ストライプ70と位置整合されるストライプ72の合成結果も示す。ストライプのオーバーラップ58の領域においては、一方の画像ストライプからの画像データを用い、他方の隣接するストライプからの余剰な画像データを廃棄することができ、有利である。
ある形態においては、x軸(つまり、移動方向28を指向するスキャン軸(走査軸))およびy軸(つまり、移動方向に垂直な軸)の両方について、可能なオフセット値の範囲をテストして最適なX−Yオフセット74を算定する。可能性のあるX−Yオフセット74を選択し、位置整合されるストライプ72を、参照ストライプ70におけるそのオフセット74相応の座標位置までシフトさせる。そして、最も高い信号対雑音比を示すカラー・チャンネルに関し、参照ストライプ70におけるピクセルの強度値から、位置整合されるストライプ72におけるシフトしたピクセルの値を、オーバーラップの領域58に含まれる全てのピクセルについて差し引く。得た差を二乗して得た正数の合計を求める。この正数を、テスト中の個々のX−Yオフセット74に対する位置整合誤差に関する測度とする。可能性があるとされる範囲内における全ての可能性のあるX−Yオフセット74についてテストした後、合計値が最小であるX−Yオフセット74のペアを選択し、位置整合のX−Yオフセット74とする。この手法は、2つのストライプ間の相関関係が最大になる点を探索することができる点で有利である。
テストするxの値の範囲は、粗いストライプ・オフセット56に異なる値を生じさせる、粗い位置合わせにかかる不確かさから求めることができる。テストするyの値の範囲は、ストライプからストライプへの機構の動作にかかる不確かさ(例えば、ポジション・エラー)から求めることができる。テストする値の範囲に上限は設けないが、成功裡にオフセットの計算(相関関係の計算)を完了するには、参照ストライプ70と位置合わせされるストライプ72とがオーバーラップすることが必要である。
ストライプ間の相関関係を算定する上で使用する誤差合計値の算出工程に、参照ストライプ70と位置合わせされるストライプ72とのオーバーラップ部分に相当する領域に含まれる画素を選択的に含めることにより、ストライプの位置整合の能力が飛躍的に向上する。例えば、位置整合のための計算に含めるべきピクセルを、次のような仮定に基づいて選定することができる。その仮定とは、2つの隣接ストライプによって分かたれた対象物71といった物体は、その縁部が位置合わせされた場合、位置整合状態にある、というものである。なぜなら、対象物は2次元的であり、かつ、その縁部は1次元的であるため、縁部のピクセルの数は非常に少なく、ストライプの位置合わせに用いるのに好適だからである。
縁部のピクセルを、局部強度勾配の大きな値で、識別することができる。例えば、ストライプのオーバーラップ58に相当する、参照ストライプ70に含まれるピクセルを、先ず、局所強度勾配値に基づいて、分類する。そして、分類のリストを用いて、ストライプのオーバーラップ58を構成する全てのピクセルから、小さな、大きい局所強度勾配値を有するピクセルの部分集合を定める。次に、可能性のあるX−Yオフセット74のそれぞれに対する誤差合計値の計算において、このリストを利用する。実際、一般的なストライプのオーバーラップ58に含まれる500,000を上回る数のピクセルのうち、2,000個の対象物縁部ピクセルを用いれば正確なX−Yオフセット74を取得可能であることが実証されている。この、調べるべきピクセル数の大幅な低減により、100を上回る係数で計算時間が短縮され、そして、一般的なパーソナル・コンピュータにおいても数秒で、ストライプの位置合わせに成功することができる。この、ストライプの位置整合の時間の大幅な短縮により、データ・キャプチャ工程中、隣接ストライプがメモリに存在する間に、ストライプの位置合わせをすることができるようになり、有利である。
図9Bは、本発明にかかる実施形態による、合成画像76および得られる基準画像80を例示するブロック図である。全てのストライプを位置合わせし、組み合わせて合成画像76とする場合、複数の突出縁部78が生じることがある。合成画像76からこれら縁部78を切り取って基準画像80を生成することが望ましい。
ストライプ間における線形移動のみで隣接ストライプ20の正確な位置合わせが可能であることの意義は大きい。シームレスな基準画像を生成する上で、ワープ(伸縮)その他の非線形変換は不要である。このようなシームレス画像データを生成できる理由の1つには、リニア・アレイ型マイクロスコープ・スライド・スキャナが、スキャン中、一定速度を維持できる点がある。リニア・スキャナがシームレスな画像を提供できる第2の理由としては、常に、高品質な画像データを生成する点がある。この得られる高品質な画像データとは、ライン・スキャナを用いるデータ・キャプチャ直接的に得られる結果であり、かつ、ライン・スキャナによるデータ・キャプチャに本来的に備わった特性である。
図10は、本発明にかかる実施形態による、マイクロスコープ・スライド40のブランク・エリア92を例示するブロック図である。ブランク・エリア92は、照明の補正(照度の補正)に用いることが好ましい。照明の補正は、ライン・スキャナがキャプチャしたロー画像データ(RAW画像データ)における、シェーディングやピクセル単位の非線形性といったアーチファクトの補正、および、マウントする培地を含む、スライド・ガラスの不透明さや屈折にかかる特性の補償に必要である。ブランク・エリア92は、任意の数のデータ・ライン34を含んだブランク・エリア幅94を有する。ブランク・エリア幅94は、一般的には、2,000のデータ・ラインを有する。ブランク・エリア高さ96は、リニア・アレイ・ディテクタのピクセルの数に対応する。ブランク・エリア高さ96は、好ましくは、2,048ピクセルである。ブランク・エリア行データ102は、ブランク・エリア92を構成する各データ・ライン34における同一ピクセルが計測した強度を含む。好適な実施形態においては、2,048の行データが存在する。始まりは、ブランク・エリア第1行データ98であり、次にブランク・エリア第2行データ100であり、最後にブランク・エリア最終行データ(ブランク・エリア第2,048行データ)104が存在する。
理想的なブランク・エリアとは、全体にわたって均一であり、ブランク・エリア行データ102においてはピクセル単位での変動も存在しないので、ブランク・エリア92における強度値は全て同一であることが望ましい。しかしながら、実際には、ブランク・エリアには空間的アーチファクトが存在することがあり、これらアーチファクトは、照明の補正を計算する上では、無視することが好ましい。このように、所与のブランク・エリア行データ92に沿ってピクセル単位の変動が存在することがある。シェーディングやその他のずれ(収差)が、リニア・アレイの長手方向に(つまり、ブランク・エリア高さ96に沿って)強度値の変動に影響を及ぼすことも考えられる。
図11は、本発明にかかる実施形態による、ブランク・エリア92に対応する画像ストライプ20に対する、赤、緑、および、青の強度値を例示するグラフである。例示の形態においては、以下に記す3工程からなる手順を用いてブランク・エリア92における各行のピクセルの平均強度を計算することができる。(i)各カラー・チャンネルに対し、ブランク・エリア行データ102に含まれる各ピクセルの強度の平均を計算する。(ii)ステップ(i)において算出した平均から5計数値より大きく離れている強度値を示すピクセルを除外する。(iii)ステップ(ii)において破棄したピクセルからの寄与を除いて、ステップ(i)において最初に計算した平均値を再計算する。この手順により、ブランク・エリアにおける破片(デブリ)を除外することが可能となり、図11に示すような各カラー・チャンネルに対するピクセルの強度値についての平均強度を求めることができる。
図12は、本発明にかかる実施形態による、照明補正テーブル112を例示するブロック図である。例示の形態においては、照明補正テーブル112の各項目は、計算によって求めたものである。各項目は、各カラー・チャンネル、および、各ピクセルについて、白を表すものと定めた強度値と、ブランク・エリア92において計算した平均値との比である。例えば、ピクセル第603番に対する平均赤強度が、203計数値であって、かつ、白は、各チャンネルに対し245計数値であると定められるならば、その照明補正テーブル112の項目は、245/203、または、1.197となる。続いてキャプチャするデータについては、ピクセル固有であってなおかつカラーに固有の、照明補正テーブル112の項目を、スキャナが出力する実際の強度に乗算して補正する。
図13は、本発明にかかる実施形態による、複数のカラー・チャンネルを備えたデータ・ライン34を含む画像ストライプ20を例示するブロック図である。異なる波長の光はスキャナの光学系において僅かに異なる光路を通るため、色収差が発生し、ストライプの最外縁部における複数のピクセルにずれが生じる。長波長光(赤)では、青色光のストライプよりも僅かに広がったストライプが生じる。色収差の補正は、ライン・スキャン画像データの独立したカラー・チャンネルのピクセルを、所定の量だけストライプ20の縁部から「内側」へずらす工程を含む。色収差の補正に必要なピクセルのずらしの量(シフト量)については、実験的に(経験的に)定める。この、所定のピクセルシフト量は、スキャナの光学系の関数であるから、異なる光学系設計においては、より多い、または、より少ない色収差が生じることがある。
例示の実施形態においては、移動方向28を有するリニア・アレイ型スキャナを用いて2048ピクセルの高さを有するストライプ20をキャプチャする。赤色チャンネルを、カラー・チャンネル・アレイ278として示す。この赤色チャンネルを、複数のピクセルのゾーンに分割する。(i)最も外側のゾーンA(276)は、139個のピクセルを含む。(ii)中間のゾーンB(274)は、360個のピクセルを含む。(iii)中間のゾーンC(272)は、360個のピクセルを含む。(iv)中央のゾーンD(270)は、330個のピクセルを含む。各ゾーンを、別々の、固定のピクセル量だけ内側にずらすことが望ましい。例えば、ゾーンAに含まれるピクセルを、内側に3ピクセルだけずらし、ゾーンBに含まれるピクセルを内側に2ピクセルだけずらし、ゾーンCに含まれるピクセルを内側に1ピクセルだけずらし、そして、ゾーンDに含まれるピクセルについてはずらさない。
色収差を補償するためのピクセルのずらし(シフト)を行うことにより、オリジナルの画像データよりも僅かに狭くなったストライプ20を生成し、3未満のカラー・チャンネルを有する縁部の過剰ピクセルをトリミングすることが望ましい。ピクセルのゾーンを3つしか定めないような場合、ピクセルのずらし(シフト)量は、緑色カラー・チャンネルについては、少なくする。青色カラー・チャンネルのピクセルは、一切ずらさない。(例えば、1000ピクセルといった、)もっと短いストライプの場合、ピクセルのずらし量を、ストライプの高さに基づいて比例配分することが望ましい。
図14は、基準画像80を例示するブロック図である。基準画像80は、標準画像タイル114を有する。標準画像タイル114は、タイル状の標準的TIFF画像形式に従う。注記するが、画像ストライプを論理的に組織化して標準画像タイル114を編成する工程は、キャプチャしたストライプ20にかかるデータの組織化に関係する工程であり、画像の取得方法とは無関係である。個々の画像タイルをCCDカメラを用いて取得する従来型の画像タイリング・システムとは異なり、標準画像タイル114は、当業者にとっては周知の、高解像度画像を操作して組織化する周知の方法を用いている。
タイル状のTIFF画像の利点は、周知の通りである。例えば、参照により本願に含めるTIFF仕様書改訂6.0(TIFF Specification,Revision6.0)(1992年6月3日)は、高解像度画像のタイリングの利点を論じている。これら利点には、画像に対するアクセスの効率化と圧縮の向上が含まれる。よって、リニア・アレイ型スキャナを用いてストライプの画像データを取得することが、画像データをキャプチャする最も効率的な方法であると言える。画像をキャプチャした後においても、画像ストライプを標準画像タイル114を編成する上で顕著な有利点が存在する。画像ストライプをタイリングすることの有利点には、基準画像80の部分領域に対する迅速なアクセスが可能になること、画像ビューイング・ソフトウェアを用いた迅速なパンおよびズームをサポートすること、および、画像データの処理、が含まれる。
例示の形態においては、基準画像80は、50,000個のピクセル(幅)かける30,000個のピクセル(高さ)を有する。基準画像80は、ディスプレイ画像250のような領域を複数備えることもできる。たとえば、ディスプレイ画像250は、1,280ピクセルかける1,024ピクセルの領域でよい。この領域は、標準的なコンピュータ・モニタで表示できるピクセルの典型例である。
基準画像80を保存、および、アクセスする方法の1つは、それぞれが1ピクセルかける50,000ピクセルを有する30,000個の別個独立のストライプを保存することである。しかしながら、ディスプレイ画像250を表示しようとすれば、(わずかでも)ディスプレイ画像250に寄与する1ピクセルのストライプそれぞれの部分にアクセスし、読み出さなければならない。このような場合、そういった1,024個のバッファを読み出し、各バッファから1,280ピクセルを表示しなければならない。総計で51.2百万(5120万)ピクセル(50,000×1,024)を読み出し、そして、総計1.3百万(1300万)ピクセルを表示することになる。読み出さなければならない画像データの量を表示される量で割った比は、40(51.2/1.3)である。この比は、個別分離したストライプとして保存された画像データを観察する上での相対的な非効率性を示す測度である。
50,000×30,000ピクセルを有する基準画像80を保存し、アクセスする別の方法は、画像全体を単一の画像として保存し、その全体画像を、たとえば240ピクセルかける240ピクセルの標準画像タイル114に論理的に分割することである。そうすれば、標準画像タイル114に論理的に分割される単一の連続した(contiguous)基準画像80が生成される。その後、1,280×1,024ピクセルのディスプレイ画像250を表示するためには、最大で6×5個の標準画像タイル、または、1,440ピクセル×1,200ピクセル(1.7MB)に対応するデータのみを読み出すだけでよい。そのような態様においては、読み出さなければならない画像データ量を表示される量で割った比は、1.3である。個別分離した画像ストライプを用いた場合に対し、標準画像タイルを用いた場合ではかなりの改善が見られる。TIFFファイル形式、および、JPEG2000圧縮標準規格は、利便性の高い単一のファイル形式にて、大きな基準画像を組織化し、標準画像タイル114を編成することをサポートしており、有利である。
図15は、本発明にかかる実施形態による、画像ストライプを基準画像にアセンブル(assemble)して基準画像を形成する処理を例示するフロー図である。まず、ステップ200において、高解像度ライン・スキャナを用いて画像ストライプを取得する。画像ストライプは、一度にひとつのデータ・ラインとして(、つまり、ピクセル1カラム)で取得される。ある形態においては、基準画像のアセンブルに必要な全てのストライプを、逐次的に(sequentially)取得する。データは、一度にひとつのデータ・ラインとしてキャプチャされることが望ましく、また、データは、高品質でフォーカスのよい画像データであることが好ましい。
ストライプ取得ステップでは、同期フラグを用いて、ライン・スキャナのデータ・キャプチャ開始時を示すことが好ましい。ある形態においては、同期フラグは、マイクロスコープ・スライドを動かすメカニカル・ステージに接続したポジション・エンコーダから出力されるハードウェア的なトリガである。この同期フラグといった粗い位置合わせの手法を用いれば、ライン・スキャナが一のストライプの取得を完了し、そして、次のストライプの取得の準備ができたとき、適切かつ効率的かつ正確な位置でストライプの取得を確実に開始することができる。
ストライプを取得した後、ステップ202において、画像データに対し、シェーディング、ピクセル単位の不均一性、および、ガンマ補正といったその他必要な画像の充実化(エンハンスメント)を行う補正を行う。照明に関する補正は、一度に一のデータ・ラインについて行い、ストライプの全域について補正することが好ましい。照明に関する補正は、データのキャプチャの間に行ってもよい。
ある実施形態においては、すでに図12を参照し説明したような照明の補正のための参照物を用いて、ピクセルごと、カラー・チャンネルごとの調整を、照明の補正において画像ストライプに対して行うことができる。照明補正用の参照テーブル(ルック・アップ・テーブル)を用いれば、非常に迅速に処理が行えるため、有利である。なぜなら、ストライプの一部である、入力されるピクセルの値を、単純に別の値に置き換えればよいだけであって、複雑で時間のかかる計算をする必要がないからである。
次に、照明の補正の後、ステップ204において、ストライプの色収差に関する補正を行う。色収差に関する補正の処理は、一度に、画像データの一のデータ・ラインに対して行い、ストライプの全域に対して色補正を行う点において、照明の補正に類似する処理である。色収差の補正は、データ・キャプチャや照明の補正と同時的に行うことが好ましい。
ストライプに対し、色収差の補正を行った後、本システムは、ステップ206において、すでにキャプチャされた隣接するストライプがあるか、判定する。キャプチャしたストライプが基準画像の第1のストライプである場合、利用可能な隣接ストライプが存在しない。よって、処理はステップ200へ戻り、別のストライプを取得する。キャプチャしたストライプが基準画像の第2、またはそれ以降のストライプである場合、ステップ208に記載のように、隣接したストライプをメモリへロードする。
隣接ストライプの全てをメモリへロードするかわりに、隣接ストライプのうちの小さな部分領域だけを使用できれば、なお好ましい。例えば、ストライプが2,000×60,000ピクセルで構成される場合、先にキャプチャした隣接ストライプの隣接する縁部に近い部分から、40×60,000ピクセルで構成されるサブ・ストライプをメモリへロードする。加えて、キャプチャしたストライプの、上記した隣接した縁部に近い部分から、40×60,000ピクセルの第2のサブ・ストライプをメモリへロードする。これら、2つのストライプの、2つの向かい合った40ピクセル幅のサブ・ストライプ領域は、2つのストライプを正確に位置合わせするのに十分なオーバーラップ部分を有することが望ましい。その処理は、ステップ210において行う。このような位置合わせ手法では、隣接するストライプを正確に位置合わせするのに要するシステム・リソースが大幅に削減されるため、有利である。
上記の処理で生成される位置合わせにかかる情報は、位置合わせしたストライプの全てについて蓄積され、ステップ212に示すとおり、x軸ピクセル・オフセット、および、y軸ピクセル・オフセットとしてストライプ・オフセット・ファイルに保存される。ある実施形態においては、ストライプ・オフセット・ファイルの各行の形式を、<ファイル名_n.tif x−オフセット y−オフセット>とする。ここで、nは、ストライプ番号であり、x−オフセットは、隣接ストライプの水平方向のオフセットのピクセル数であり、y−オフセットは、隣接ストライプの鉛直方向のオフセットのピクセル数である。図16は、本発明にかかる実施形態による、ストライプ・オフセット・ファイルの例を示すブロック図である。当然のことだが、別の実施形態において、x−オフセット値が鉛直方向のオフセットを表し、y−オフセット値が水平方向のオフセットを表してもよい。
上記したサブ・ストライプを用いてストライプを位置合わせするのと並行し、ストライプからサムネイル画像を抽出する。基準画像に含まれるストライプのそれぞれに関するサムネイル画像を組み合わせれば、基準画像全体に関するサムネイルが生成されることが好ましい。よって、ステップ214においては、サムネイル画像ファイルを更新し、キャプチャしたストライプのサムネイル画像を保存する。典型的な、基準画像に関するサムネイル画像を500×300ピクセルとし、ビューイング・ソフトウェアが、キャプチャしたストライプのファイルから直接的に当該画像データを読み出して使用することが好ましい。
ストライプを位置合わせし、サムネイル・ファイルを更新した後、ステップ216において、ストライプを論理的に組織化し、標準画像タイルを編成する。これらの標準画像タイルが大きな基準画像へのインデックスとして機能し、ビューイング・ソフトウェアを用いて基準画像のさまざまな部分領域に迅速にアクセスして観察できることが望ましい。ストライプに関する標準画像タイルを定めた後、ステップ218においては、ストライプをディスクまたはその他のデータ記憶装置に記録することができる。
あるいは、標準画像タイルを、オープンTIFFファイル(open TIFF file)に記録してもよい。そのような形態においては、TIFFファイルに記録する前に、標準画像タイルをJPEG2000を用いて圧縮することが好ましい。加えて、標準画像ファイルを、オープンTIFFファイルへ記録するならば、元の(ネイティブの)ストライプを、ディスクへ記録せずに破棄することも可能である。
ステップ220において、基準画像全体をキャプチャするのにさらなるストライプをキャプチャする必要があると判断した場合、処理は、ステップ200へ戻り、次のストライプを取得する。基準画像を、完全にキャプチャし、さらなるストライプの取得が必要でなければ、処理は完了し、ステップ222に示すように終了する。
図15に示したフローにおいては、3つの出力物がある。第1は、基準画像を構成する複数のストライプであり、それらはディスクに保存される。それらは、TIFF形式で記録され、効率的に観察されることを目的として論理的に標準画像タイルを組織編成することが好ましい。第2は、完全な基準画像のサムネイル画像である。これは、TIFF形式であることが好ましい。第3は、ストライプ・オフセット・ファイルである。これは、基準画像を構成する隣接ストライプに関する位置合わせのオフセットを示す。
また上記とは異なって、単一のTIFFファイルのみを上記処理で生成してもよい。そのような形態においては、その単一のTIFFファイルが、複数のJPEG2000圧縮画像タイルを含んだ基準画像を構成することが好ましい。あるいは、単一のTIFFファイルが、さまざまに異なる中間的な解像度の画像、および、サムネイル画像を含んでもよい。また、これらの画像が、低解像度で基準画像の全体を表していることが好ましい。
画像データ・ファイルの組織化
バーチャル・スライドを保存するには、少なくとも2つの適切な方法がある。第1には、バーチャル・スライドを、基準画像、ならびに、1つまたは複数の異なる解像度の中位画像(中間的画像)を含む単一のTIFFファイルとして保存することができる。そして、これら画像はそれぞれ、複数の画像タイルに組織化されている。第2には、バーチャル・スライドを、画像ストライプのセットとして、ストライプ・オフセット・ファイルと併せて保存することができる。ここで、ストライプ・オフセット・ファイルは、ストライプを、連続した(隣接した)基準画像に位置合わせするための物理的な配置にかかる情報を有する。
画像ストライプを、標準画像タイルに組織化された連続した(contiguous)基準画像を有する単一のTIFFファイルとして保存することにより、ライン・スキャナを用いてキャプチャした非圧縮の基準画像を迅速かつ効率的に観察することが可能である。本例が示すように、1ピクセル幅の個別のストライプを読み出す場合と標準画像タイルを読み出す場合との大幅な観察効率の違いは、バーチャル・スライド・ファイルを適切に組織化することの重要性をよく示唆する好例である。このような画像データ・ファイルの組織化の目的は、コンピュータ・モニタ上に任意のズーム・レベル(倍率)で、ユーザが選択した基準画像の領域を効率的に表示することである。
図17は、本発明にかかる実施形態による、バーチャル・スライドを観察するプラットフォームの例を示す図である。ディスプレイ画像250が、モニタ252上に表示される。ディスプレイ画像250は、所与の表示解像度で表示可能な全てのピクセルを含んでいる。ディスプレイ画像は、一般的に、ツールバー、テキスト、および、1つもしくは複数の以下の画像を有する。以下の画像には、サムネイル画像240、中位ズーム画像226、および、高解像度画像246を含む。高解像度画像246は、好ましくは、高解像度なバーチャル・スライドにおける関心領域(ROI)に対応する。また、サムネイル画像240は、サムネイルROI242を含み、中位ズーム画像226は、中位ズーム画像ROI244を含む。
サムネイル画像240は、画像全体の非常に低解像度な画像を示すものであり、顕微鏡的ディテールを与える。サムネイル画像240は、先述の画像アセンブル処理の間に生成したサムネイル・ファイルと同一でよい。中位ズーム画像226は、従来の顕微鏡で低い光学的倍率で、大抵は、2x(2倍)倍率の対物レンズを用いた際に観察されるものとほぼ一致するものであることが望ましい。
高解像度画像246は、一般に、基準画像の本来の(ネイティブの)解像度に対応することが望ましく、従来の顕微鏡で高い光学的倍率で、20xもしくは40xの倍率またはそれ以上の倍率の対物レンズを用いた際に観察されるような画像データの解像度に匹敵するように構成される。
明らかなことだが、これら3つの画像のいずれに対しても、解像度を固定する必要はなく、また、これら3つの画像を全て同時的にディスプレイ画像250に表示する必要性もない。バーチャル・スライドをディスプレイ・モニタで可能な限り効率よく観察することができるように、これら、および、関連する画像を表示する方法、サイズを決定する方法、組織化する方法は、ほかにも多々存在する。先述の画像ファイルの組織化の試みは、このようなアプリケーションを効率的に支援することにある。(位置合わせした複数のストライプから得られる)基準画像に論理的にインデックス付けして標準画像タイル化する手法により、基準画像の全ての解像度の画像データにアクセスする効率性が大幅に向上する。
論理的に標準画像タイルに分割した画像は、本来の1:1解像度において、比較的容易にパンすることができる。なぜなら、進めた(incremental)画像タイルを表示すればよいからである。しかしながら、このような標準画像タイルの利点にもかかわらず、基準画像の1:1解像度よりも低い解像度において、パンを行うことは困難である。例えば、中位ズーム画像226をパンすることは、−たとえ標準画像タイルに組織化された比較的少数のストライプにかかる処理であったとしても−、非常に困難である。この中位ズーム画像226は、基準画像から利用可能な画像データ量の1/100を描写する。このような解像度におけるパンニングでは、(低解像度においては)比例的に大きくなる中位ズーム画像226の領域を表示するのに必要な、大量のストライプを開いて基準画像の多くの標準画像タイルにアクセスする必要がある。
本例においては、100倍もの標準画像タイルにアクセスし、副標本化(サブサンプリング)し、中位ズーム画像226を更新するのに必要な適当なピクセルを抽出する必要がある。多くの標準画像タイルを開いてそのような多数の標準画像タイルを副標本化するのに必要なディスク・アクセスおよび処理のオーバーヘッドは、いかなるビューイング・ソフトウェアであっても受け容れ難いようなパフォーマンスになる。
図18は、本発明の実施形態による、効率的な観察(ビューイング)を可能とするように構成されたバーチャル・スライド・画像ファイルの例を示す図である。バーチャル・スライドを、異なる解像度レベルでピラミッドに組織化することにより、迅速なズームおよびパンを行うことが、特化したビューイングおよび処理ソフトウェアを用いることで容易になる。
ピラミッドの基部は、基準画像80である。基準画像80は、基準標準画像タイル260へ、論理的に分割される。各基準標準画像タイル260は、基準画像80の240×240ピクセルの領域を表す。低解像度画像からなるピラミッドは、基準画像から、基準画像のピクセルを定率で平均化(直線的に平均化)して生成される。これら低解像度画像は、それ自体が、240×240ピクセルのサイズの中位ズーム画像タイル262に論理的に組織化され、インデックス化されている。ピラミッドにおいては、1つもしくはそれ以上のレベルの中位ズーム画像226を所望の副標本化間隔で備えることができる点で有利である。ピラミッドの頂部は、サムネイル画像240であることが望ましく、サムネイル画像240は、標準画像タイルを組織しない。サムネイル画像240のアスペクト比は、基準画像80のアスペクト比と同一であることが好ましい。
例示の実施形態においては、サムネイル画像240の大きさは、240×240ピクセルである。サムネイル画像240、基準画像80を数に含めない場合、例示の画像ピラミッドは、2つのレベルしかない。第1レベルは、中位ズーム画像262であり、4×4個の中位ズーム標準画像タイル262、すなわち、960×960ピクセルに論理的に分割される。第2中位レベルは、2×2個の標準画像タイル262、すなわち、480×480ピクセルに論理的に分割される。基準画像80は、8×8個の標準画像タイル260、すなわち、1,920×1,920ピクセルに論理的に分割される。2つの中位レベル画像がそれぞれ、基準画像80に対して2:1、および、4:1の副標本化比を示すことが望ましく、また、画像サイズの増分は、基準画像80のみの場合に較べて31.26%(1/4+1/16)である。
下表は、上記の簡略的な例をまとめた表である。
2:1、4:1、16:1、32:1、64:1等に対応するレベルにおいて低位レベルのピラミッドを生成する趣旨は、当業者であれば理解することができるであろう。例えば、周知のフラッシュピックス(「FPX」)形式は、JPEG形式に基づく漸進的に解像度が低くなる画像を用いたピラミッド形式を採用する。顕微鏡画像に対して、JPEGで圧縮できる限界は、およそ10:1である。フラッシュピックスによるピラミッドの手法によって、最終的な画像ファイルが33%(1/4+1/8+1/16+1/32+1/64+...=1/3)増大するとするなら、およそ8:1の圧縮で、総体的に最良の結果を得ることができる。このレベルの圧縮は、複数のギガバイト画像を取り扱う場合においては、実際的なものではない。フラッシュピックスに関する別の限界として、特定の副標本化レベルにおいてのみ、画像データを得ることができ、連続的なズームがサポートされておらず、ピラミッドを構成する全ての画像の総量が2GBまでに限定されている点が上げられる。
本発明にかかる実施形態において、適用されるピラミッド手法は、以下の点において、フラッシュピックスの手法と異なる。(1)圧縮は、JPEG2000標準規格に基づく。(2)中位レベルの数を大幅に削減する。(3)連続的ズームが可能である。最後に、(4)バーチャル・スライドのサイズを事実上限定しない。下表は、56GBのデータを有する基準画像80と、バーチャル・スライド用に生成した中位レベル画像との相対比を例示する表である。
注目されたいのは、240×240ピクセルの標準画像タイルのサイズは、任意的なものではない点である。標準画像タイルのサイズは、3:1もしくは4:1の比を有する中位レベル画像の整数副標本化を容易ならしめるために選択したものである。この他の好適な標準画像タイルのサイズには、256×256ピクセルが含まれる。
JPEG2000は、ウェーブレット・テクノロジーを用いた画像圧縮の標準規格であり、JPG圧縮画像においてよく見られるブロック状のアーチファクトがない。JPEG2000テクノロジーは、(例えば、2の冪で)連続的に次第に低くなる周波数で画像を標本化する工程を含む。周波数に関するデータを用いれば、原初の(オリジナルの)画像から、2の冪だけダウン・サンプリングした異なる解像度の画像を再構成することもできる。2の冪の間の解像度レベルは、その次に大きな利用可能なレベルからの補間(たとえば、ダウン・サンプリング)により合成する。
表2に示したような実施形態においては、サムネイルの比率は、基準画像の1%に満たない。レベル間間隔は、2:1よりも大きく、そうすることで、基準画像のサイズにたった7%だけ追加することになるという有利点が生じる。画像の四分体(象限(カドラント))は、JPEG2000圧縮標準規格を用いて圧縮され、さらに高い圧縮率を達成する。たとえば、クオリティ30で7/9ウェーブレット・フィルタ・スキームを用いれば、50:1の圧縮率で、大方の顕微鏡画像で受容可能な質を実現する。比率を7%増加させるピラミッドのレベルの追加を行えば、全体の圧縮率にしておよそ45:1を実現することができる。
さらには、各標準画像タイルそれ自体が圧縮JPEG2000画像であるため、基準標準画像タイル260のそれぞれが自身のJEPG2000ピラミッド構造を有する点も有利である。JEPG2000に内在する固有のピラミッド構造により、この、タイルのJEPG2000ピラミッド構造を、規模にかかる追加費用を支出することなく、利用することができる。内在するJPEG2000のピラミッド構造により、ピラミッドに含まれる最近のレベルから、中位解像度の画像を補間により生成することが可能である。
ピラミッド・スキームは、画像のレイヤ(例えば、基準、中位、および、サムネイル)を複数備えることができるため、好適なファイル形式においては、複数の画像を一緒に保存することが可能である。タグ付画像ファイル・フォーマット(「TIFF」)では、ちょうどそのような機能が提供されている。さらに、TIFFは、その他の魅力的な特質を有する。それら特質には、(i)TIFFは、非専売の、パブリックな標準規格であること、(ii)通常、効率の高いオープン・ソースの実装形態(たとえば、libtiff)を入手可能であること、(iii)TIFFは、標準画像タイルを含む、様々な画像の組織化をサポートすること、(iv)カラー・チャンネルの数、カラー・チャンネルにおけるサンプルのビット・サイズ、および、色空間(RGB、YCC、HSV等)といった様々な画像特性をサポートすること、(v)ファイルに対するアクセス方法で外部的に実現される方法を含む、様々な圧縮技術をサポートすること、(vi)任意の大きな画像をサポートすること、および、(vii)画像ファイルに、アプリケーション固有の指標を保存することをサポートすること、を含む。
ある実施形態においては、TIFFファイルを、バーチャル・スライドのファイル形式として用いる。例えば、TIFFファイルに含まれる第1の画像を基準画像80とし、ピラミッド状に、サムネイル画像240および中位レベル画像226を従える。中位レベル画像を、一つ以上備えることができる。基準画像80および中位レベル画像226は、基準画像タイル260と同様にして論理的に標準画像タイルに組織化され、各標準画像タイルは、好都合なことに、例えばJPEG2000で圧縮される。
図19は、本発明にかかる実施形態による、バーチャル・スライド268生成用画像圧縮部266を例示するブロック図である。画像圧縮部266への入力は、論理的に標準画像タイルが組織され、好ましくはTIFF形式で保存されたストライプ222、および、ストライプ・オフセット・ファイル228である。バーチャル・スライド268の生成においては、サムネイル・ファイルを必要としない点を注記する。むしろ、画像圧縮部266は、バーチャル・スライドの生成と同時的に基準画像をダウン・サンプリングしてサムネイル画像を生成することができる。
ある実施形態においては、画像圧縮部266は、ソフトウェア・プログラムである。このプログラムは、ActiveXコントロールであって、バーチャル・スライドを構成するピラミッド・レベルを生成し、圧縮し、そして、画像ファイルのトリミング(クロップ)、スケーリング、回転、および充実化(エンハンス)をも行うために用いられる。画像圧縮部266の顕著な特徴としては以下が挙げられる。
当該特徴には、
(i)様々な圧縮スキーム(raw、可逆LZW(LZWロスレス)、非可逆JPEG(JPEGロッシー)、および、非可逆JPEG2000(JPEG2000ロッシー))および、組織化(ラスタ化、ストリップ化、タイル化)による入力TIFFファイルをサポートすること、
(ii)合成用入力ファイルをサポートすること、
(iii)様々な圧縮スキーム(raw、可逆LZW(LZWロスレス)、および、非可逆JPEG2000(JPEG2000ロッシー))および設定可能なタイルのサイズで出力TIFFファイルを生成可能であること、
(iv)随意的に(TIFFファイルに別個の画像として保存される)特定の大きさのサムネイル画像を生成可能であること、
(v)基準画像とサムネイル画像との中間にあって、ある特定の間隔で1つまたは複数の中位解像度画像を生成し、出力TIFFファイルに第3、第4等の画像として保存可能であること、
(vi)大きな画像(例えば、幅および高さが200,000ピクセル)をサポートすること、ならびに、
(vii)所望の大きさへのダウン・サンプリングもしくはアップ・サンプリングする高忠実度スケーリング・ルーチンをサポートすること、が含まれる。
項目(ii)に関し、合成用ファイルは、画像のモザイクを記述するテキストファイル(例えば、.txt)であって、組み合わせることによってソース画像を形成する。当該テキストの各ラインは、画像のファイル名、ならびに、合成画像において当該画像が位置するところのXおよびYオフセットが含まれる。例えば、図16に示すストライプ・オフセット・テーブルは、合成用ファイルである。
別の実施形態においては、画像圧縮部266は、ブランクTIFFファイルを生成し、キャプチャしたストライプから標準画像タイルのみを受け取る。これらのタイルは、当該TIFFファイル内に配置され、基準画像に編成される。追加的な中位ズームレベル画像も、バーチャル・スライド268の頂部に位置するサムネイル画像と共に生成され、TIFFファイルに配置される。
バーチャル・スライドにかかる処理の処理時間を改善するため、画像処理が高速化された専用のハードウェアを用いてもよい。本文においては、ハードウェアは、この処理に特化した、制御用コンピュータのサブシステムを指す。特に、用語ハードウェアは、現代的なハードウェアがハードウェア、メモリ、および、ソフトウェアの組み合わせからなるという事実を含めた意味を有する。
画像処理工程の幾つかは、画像ストライプを取得する際、ライン・スキャン用のカメラのイーターフェース・ボード/フレーム取り込み器(フレーム・グラバ)において処理してもよい。実際、全ての画像処理をフレーム取り込み器において行い、自動的に、サムネイル画像、全ての中位レベル画像、および、基準画像に対する圧縮標準画像タイルを取得することも考えられる。また、幾つかの画像処理工程をフレーム取り込み器において行い、その余の画像処理工程を制御用コンピュータのソフトウェアにおいて行い、そして、(フレーム取り込み器とは異なる)他のハードウェアを用いて最終的な圧縮を行うことも可能である。最終的な圧縮は、最も計算力を要する工程である。リニア・アレイ型スキャナからの画像データを圧縮する好適な方法として、モジュール型の処理用構成要素を備えた処理ボードを用いる方法がある。処理用構成要素を追加することで、より高速なデータ圧縮が可能となる。
別の実施形態においては、比較的安価なマルチプロセッサ型コンピュータを利用できる有利点が存在する。このような実装形態においては、一方のプロセッサを用いてデータの取得、キャプチャ・デバイスとの接続、および、照明の補正や色収差の補正といった調整処理を行うことができる。第2のプロセッサは、データの取得と並列して、画像圧縮のタスクを実行することに用いることができる。この形態の有利点は、取得処理で得たキャプチャしたストライプを、中間的なディスクへの保存を行わず直接的に圧縮および組織化処理へ渡すことができることである。先に例示して議論したように、キャプチャしたストライプは、特に圧縮の前では大きく、よって、これらのストライプを記録しまた読み出すのに要するディスクのI/Oオーバーヘッドが非常に大きい。したがって、この形態では、完全に組織化された状態のバーチャル・スライドに対しより迅速にアクセス可能となり、しばしばネットワークを介して迅速にバーチャル・スライドを共有する必要がある遠隔顕微鏡法のような多くの用途に対し、多大な利益をもたらす。
バーチャル・スライド・システム構成
図20は、本発明にかかる実施形態による、バーチャル・スライドのデータ管理システムを例示するブロック図である。スライド・スキャン・システム330は全体として、複数の構成要素を有する。それら構成要素は、スライド・スキャナ270、研究室コンソール272、サポート・コンソール276、画像アナライザ278、画像ビューワ・クライアント300、および、画像サーバ320を含む。例示の実施形態においては、複数の構成要素は、ネットワーク312で通信可能に接続される。あるいは、構成要素の幾つかを、単一の独立したハードウェア・コンポーネントに一体化してもよい。このハードウェア・コンポーネントは、一体化した構成要素を格納する。例えば、画像サーバ320および画像アナライザ278を一体的に構成してもよい。このような実施形態においては、一体化されている構成要素間では、ネットワーク312ではなく、プロセス間通信(パイプ、スワップ・ファイル等)で通信すればよい。
ネットワーク312は、ローカルのネットワーク即ちLAN、WAN、ワイヤレス・ネットワーク、インターネットを含むその他の通信ネットワークでよい。ネットワーク312は、リニア・アレイ型マイクロスコープ・スライド・スキャナの画像に関連する大量のデータを効率よく高速に転送することができる十分な帯域幅を有することが好ましい。
さらには、スライド・スキャナ270は、スライド・スキャナ制御部プログラム282を備えることが好ましい。画像サーバ320は、画像ファイル328等としてデータ保存領域に、スライド・スキャナ270が生成したバーチャル・スライドを保存することが好ましい。画像ビューワ・クライアント300は、バーチャル・スライドの遠隔観察(リモート・ビューイング)が可能に、画像サーバ320と通信するように構成されることが好ましい。また、研究室コンソール272は、例えばスライド・スキャナ操作部プログラム274を用いて、1つまたは複数のスライド・スキャナ270を制御することが好ましい。同様、サポート・コンソール276は、同じくスライド・スキャナ操作部プログラム274を用いて、1つまたは複数のスライド・スキャナ270を制御することが好ましい。最後に、画像アナライザ278は、アルゴリズム・フレームワーク280および画像分析ソフトウェア328を備え、バーチャル・スライドの分析、処理、および、圧縮のための手段を供することが好ましい。アルゴリズム・フレームワーク280は、従来の画像分析ソフトウェアやアルゴリズムの、数ギガバイトのバーチャル・スライドに対する直接的適用を可能にする。
ある実施形態においては、スライド・スキャナ270は、専用のコンピュータ・ハードウェアを備え、マイクロスコープ・スライドをスキャンするため、および、バーチャル・スライドを生成する処理力を供することが好ましい。スライド・スキャン・システム330のその他の構成要素、つまり、画像サーバ320、研究室コンソール272、サポート・コンソール276、画像アナライザ・サポート・コンソール276、画像アナライザ278、および、画像ビューワ・クライアント300、は、単一のコンピュータに統合される。あるいは、必要に応じて複数のコンピュータに分散させてもよい。
図21は、本願明細書中の様々な実施形態と関連させて使用することができるコンピュータ・システム550を例示するブロック図である。例えば、コンピュータ・システム550は、リニア・アレイ型マイクロスコープ・スライド・スキャナ、画像サーバ、研究室コンソールもしくはサポート・コンソール、画像アナライザ、または、画像ビューワ・クライアントと連動させて使用してよい。コンピュータ・システム550はまた、バーチャル・スライドの圧縮といった、特定の莫大な計算力を要する手順もしくは工程を実行する、別個のシステムとして用いられてもよい。しかしながら、さらにその他のコンピュータ・システム、および/または、アーキテクチャを用いてもよいことは、当業者にとっては明白である。
コンピュータ・システム550は、プロセッサ552のように、1つまたは複数のプロセッサを有することが好ましい。入出力の管理用補助プロセッサ、浮動小数点演算用補助プロセッサ、信号処理アルゴリズムの高速な実行に適化されたアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル・シグナル・プロセッサ)、主処理システムの下位に属するスレーブ・プロセッサ(例えば、バック・エンド・プロセッサ)、デュアルもしくはマルチプル・プロセッサ・システムのための追加プロセッサもしくはコントローラ、または、コプロセッサといった、追加的なプロセッサを備えてもよい。このような補助プロセッサは、個別のプロセッサでよく、また、プロセッサ552に統合されていてもよい。
プロセッサ552は、通信バス554と接続することが好ましい。通信バス554は、コンピュータ・システム550の記憶装置とその他の周辺構成要素との間の情報の転送を容易とするデータ・チャンネルを有することができる。通信バス554は、さらに、データ・バス、アドレス・バス、および、コントロール・バス(図示せず)を含む、プロセッサ552との通信に用いる信号のセットを備えてもよい。通信バス554は、業界標準アーキテクチャ(「ISA」)、拡張業界標準アーキテクチャ(「EISA」)、マイクロ・チャネル・アーキテクチャ(「MCA」)、周辺要素相互接続(ピーシーアイ)(「PCI」)ローカル・バス、に準拠したアーキテクチャ、または、IEEE488汎用インターフェースバス(「GPIB」)、IEEE696/S−100等を含む電気電子技術者協会(「IEEE」)の推奨する標準規格といった、標準的もしくは非標準的バス・アーキテクチャを含んでよい。
コンピュータ・システム550は、主メモリ556、および、副メモリ558を備えることが好ましい。主メモリ556は、プロセッサ552上で実行するプログラムのための命令およびデータを記憶する。主メモリ556は、一般に、半導体ベースのメモリであり、例えば、ダイナミック・ランダム・アクセス・メモリ(「DRAM」)、および/または、スタティック・ランダム・アクセス・メモリ(「SRAM」)である。その他、半導体ベースのメモリの種類としては、例えば、シンクロナス・ダイナミック・ランダム・アクセス・メモリ(「SDRAM」)、ランバス・ダイナミック・ランダム・アクセス・メモリ(「RDRAM」)、フェロエレクトリック・ランダム・アクセス・メモリ(「FRAM」)、等や、リード・オンリー・メモリ(「ROM」)がある。
副メモリ558は、随意的に、ハード・ディスク・ドライブ560、および/または、例えば、フロッピー・ディスク・ドライブ、磁気テープドライブ、コンパクト・ディスク(「CD」)ドライブ、デジタル・バーサタイル・ディスク(「DVD」)ドライブ等を含むリムーバブル記憶ドライブ562を含んでよい。リムーバブル記憶ドライブ562は、リムーバブル記憶メディア564からの読み出し、および/または、への読み出しを、周知の方法で行う。リムーバブル記憶メディア564は、例えば、フロッピー・ディスク、磁気テープ、CD、DVD等がある。
リムーバブル記憶メディア564は、コンピュータが実行可能なコード(つまり、ソフトウェア)、および/または、データが記録された、コンピュータが読み出し可能な媒体であることが好ましい。リムーバブル記憶メディア564に保存されたコンピュータ・ソフトウェア、または、データは、電気的通信信号578としてコンピュータ・システム550へ読み出される。
別の実施形態においては、副メモリ(二次メモリ)558は、コンピュータ用のプログラムもしくはデータ、または、命令を、コンピュータ・システム550にロード可能とする類似の手段を含んでよい。そのような手段は、例えば、外部記憶メディア572およびインターフェース570である。外部記憶メディア572の例としては、外部ハード・ディスク・ドライブ、外部光学式ドライブ、外部磁気光学式ドライブがある。
副メモリの別例は、プログラマブル・リード・オンリー・メモリ(「PROM」)、消去可能プログラマブル・リード・オンリー・メモリ(「EPROM」)、電気的消去可能リード・オンリー・メモリ(「EEPROM」)、または、フラッシュ・メモリ(EEPROMに類似したブロック単位のメモリ)といった半導体ベースのメモリを含む。また、ソフトウェアおよびデータをリムーバブル記憶ユニット572からコンピュータ・システム550へ転送可能な、その他あらゆる種類のリムーバブル記憶ユニット572およびインターフェース570も含まれる。
また、コンピュータ・システム550は、通信インターフェース574を備えてもよい。通信インターフェース574は、コンピュータ・システム550と外部デバイス(例えばプリンタ)、ネットワーク、または、情報ソースとの間のソフトウェアおよびデータの転送を可能にする。例えば、コンピュータ・ソフトウェアまたは実行可能コードを、通信インターフェース574を介してネットワーク・サーバから転送してもよい。通信インターフェース574の例としては、2〜3の例を挙げれば、モデム、ネットワーク・インターフェース・カード(「NIC」)、通信ポート、PCMCIAスロットおよびカード、赤外線インターフェース、ならびに、IEEE1394ファイヤ・ワイヤがある。
通信インターフェース574は、業界推奨プロトコル標準規格を実装することが望ましい。それらには、イーサネットIEEE802標準、ファイバ・チャネル、デジタル加入者線(「DSL」)、非対称デジタル加入者線(「ADSL」)、フレーム・リレー、非同期転送モード(「ATM」)、総合デジタル・サービス網(「ISDN」)、パーソナル通信サービス方式(「PCS」)、トランスミッション制御プロトコル/インターネット・プロトコル(「TCP/IP」)、シリアル回線インターネット・プロトコル/ポイント・ツー・ポイント・プロトコル(「SLIP/PPP」)等があり、また、特別に作られた(カスタマイズした)、または、非標準プロトコルを用いてもよい。
通信インターフェース574を介して転送されたソフトウェアおよびデータは、一般に、電気的な通信信号578の形態を有する。これら信号578は、通信・チャネル576を通じて通信インターフェース574に届くことが望ましい。通信チャネル576は、信号578を伝送する。そして、通信チャネル576は、様々な通信手段を用いて実装すればよい。2〜3の例を挙げれば、ワイヤもしくはケーブル、光ファイバ、従来の電話線、携帯電話網、無線(「RF」)網、赤外線網がある。
コンピュータが実行可能なコード(つまり、コンピュータ・プログラムもしくはソフトウェア)は、主メモリ556、および/または、副メモリ558に記憶される。コンピュータ・プログラムは、通信インターフェース574を介して受信し、主メモリ556および/または副メモリ558に保存してもよい。このようなコンピュータ・プログラムを実行することにより、コンピュータ・システム550に先述の本願発明にかかる様々な機能を具備させることができる。
本明細書において、用語「コンピュータ読み取り可能な媒体(メディア)」は、コンピュータが実行可能なコード(例えば、ソフトウェアおよびコンピュータ・プログラム)をコンピュータ・システム550へ提供することに用いることができるあらゆる媒体(メディア)を指す。これら媒体の例としては、主メモリ556、(ハード・ディスク・ドライブ560、リムーバブル記憶メディア564、および、外部記憶メディア572を含む)副メモリ558、ならびに、通信インターフェース574と通信可能に接続された(ネットワーク・インフォメーション・サーバもしくはその他のネットワーク・デバイスを含む)あらゆる周辺デバイスがある。これらコンピュータが読み取り可能な媒体は、実行可能コード、プログラムの命令、および、ソフトウェアをコンピュータ・システム550へ供する手段である。
ソフトウェアを用いて実装される実施形態においては、ソフトウェアは、コンピュータが読み取り可能な媒体に記憶され、リムーバブル記憶ドライブ562、インターフェース570、または、通信インターフェース574を通じてコンピュータ・システム550へロードされる。このような実施形態においては、ソフトウェアは、電気的通信信号578の形態でコンピュータ・システム550へロードされる。ソフトウェアは、プロセッサ552において実行されることにより、プロセッサ552に、本明細書に既に記した創意溢れる機能的特徴を実行させる。
例えば、特定用途向け集積回路(「ASICs」)、または、フィールド・プログラマブル・ゲート・アレイ(「FPGAs」)といった構成要素を用いて、主としてハードウェアを用いて様々な実施形態を実装することもできる。当業者であれば、本願記載の機能を実行可能なハードウェア形態の機械の実装も明らかであろう。様々な実施形態を、ハードウェアおよびソフトウェアの両方を組み合わせて実装することも可能である。
本願にて図示し、説明したような、リニア・アレイ型マイクロスコープ・スライド・スキャナのデータ管理のためのシステムおよび方法は全て、上記本願発明の目的を達成することが可能である。当然のことだが、本願に示した説明および図は、本発明の好適な実施形態を示し、よって、本発明の目論む主題の典型例である。また、当然のことだが、本発明の範囲は、当業者にとって明らかな他の実施形態を包含する。本発明の範囲は、特許請求の範囲のみによって規定される。
光学系の限界分解能と光学系のマイクロスコープの対物レンズの開口数との関係を示すグラフ インチあたりピクセル数で示すスキャン解像度と、対物レンズの開口数との関係を示すグラフ インチあたりピクセル数で示すスキャン解像度と、メガバイト単位で示す1平方ミリメートルの領域に対して得られる非圧縮ファイルの大きさとの関係を示すグラフ 本発明にかかる実施形態による画像データ・ストライプを重畳した、マイクロスコープ・スライドを例示するブロック図 本発明にかかる実施形態による画像データ・ストライプを重畳した、マイクロスコープ・スライドを例示するブロック図 本発明にかかる実施形態による画像データ・ストライプを例示するブロック図 スライド標本上に重畳した、本発明にかかる実施形態による画像データ・ストライプのセットを例示するブロック図 本発明にかかる実施形態による、調整不良状態の画像データ・ストライプのセットを例示するブロック図 本発明にかかる実施形態による、調整不良状態の画像データ・ストライプのセットを例示するブロック図 本発明にかかる実施形態による、調整できるように準備された、調整不良状態の画像データ・ストライプ例示するブロック図 画像データ・ストライプのペアと、本発明にかかる実施形態による調整を例示するブロック図 本発明にかかる実施形態による、調整された画像データ・ストライプのセットと得られる基準画像を例示するブロック図 本発明にかかる実施形態による、スライドのブランク・エリアを例示するブロック図 本発明にかかる実施形態による、サブ・ストライプ列に対するレッド/グリーン/ブルーの強度値を示すグラフ 本発明にかかる実施形態による、照度補正テーブルを例示するブロック図 本発明にかかる実施形態による、様々なカラー・チャンネルを有するデータ・ラインを備えた画像データ・ストライプを例示するブロック図 本発明にかかる実施形態による、カドラント(四分体、象限)を付した基準画像を例示するブロック図 本発明にかかる実施形態による、画像データ・ストライプを集めて基準画像を作成する処理にかかるフロー図 本発明にかかる実施形態による、ストライプ・オフセット・ファイルを例示するブロック図 本発明にかかる実施形態による、デジタイズしたスライド画像の観察プラットフォームを例示するブロック図 本発明にかかる実施形態による、デジタイズしたスライド画像を効率よく観察できるように構成された画像ファイルを例示するブロック図 本発明にかかる実施形態による、デジタイズしたスライド画像を生成するための、画像圧縮部を例示するブロック図 本発明にかかる実施形態による、デジタイズしたスライド画像のデータ管理のシステムを例示するブロック図 本発明にかかる様々な実施形態と協働して用いることが可能なコンピュータ・システムを例示するブロック図
符号の説明
20 ・・・ 画像データ・ストライプ
22 ・・・ リニア・アレイ視野
24 ・・・ ストライプ幅
26 ・・・ ストライプ高さ
28 ・・・ 移動方向
30 ・・・ サブ・ストライプ
32 ・・・ サブ・ストライプ高さ
34 ・・・ データ・ライン
40 ・・・ マイクロスコープ・スライド
42 ・・・ スライド幅
44 ・・・ スライド高さ
46 ・・・ ラベル
48 ・・・ 標本
50 ・・・ スキャン・エリア
52 ・・・ スキャン・エリア幅
54 ・・・ スキャン・エリア高さ
56 ・・・ 粗いストライプ・オフセット
58 ・・・ オーバーラップ
60 ・・・ 粗位置整合同期フラグ
62 ・・・ 立ち上げ区間
64 ・・・ ライン・スキャン・バッファ
66 ・・・ 有効ライン・スキャン・データ
68 ・・・ 粗い位置合わせにかかる不確かさ
70 ・・・ 参照ストライプ
71 ・・・ 対象物
72 ・・・ 位置整合されるストライプ
74 ・・・ X−Yオフセット
76 ・・・ 合成画像
78 ・・・ 縁部
80 ・・・ 基準画像
92 ・・・ ブランク・エリア
94 ・・・ ブランク・エリア幅
96 ・・・ ブランク・エリア高さ
98 ・・・ ブランク・エリア第1行データ
100 ・・・ ブランク・エリア第2行データ
102 ・・・ ブランク・エリア行データ
104 ・・・ ブランク・エリア最終行データ
112 ・・・ 照明補正テーブル
114 ・・・ 標準画像タイル
222 ・・・ ストライプ
226 ・・・ 中位ズーム画像
228 ・・・ ストライプ・オフセット・ファイル
240 ・・・ サムネイル画像
242 ・・・ バーチャル・スライド関心領域
244 ・・・ 中位ズーム画像ROI
246 ・・・ 高解像度画像
250 ・・・ ディスプレイ画像
252 ・・・ モニタ
260 ・・・ 基準標準画像タイル
262 ・・・ 中位ズーム画像タイル
266 ・・・ 画像圧縮部
268 ・・・ バーチャル・スライド
270 ・・・ ゾーンD
270 ・・・ スライド・スキャナ
272 ・・・ ゾーンC
272 ・・・ 研究室コンソール
274 ・・・ ゾーンB
274 ・・・ スライド・スキャナ操作部プログラム
276 ・・・ ゾーンA
276 ・・・ サポート・コンソール
278 ・・・ カラー・チャンネル・アレイ
278 ・・・ 画像アナライザ
280 ・・・ アルゴリズム・フレームワーク
282 ・・・ スライド・スキャナ制御部プログラム
300 ・・・ 画像ビューワ・クライアント
312 ・・・ ネットワーク
320 ・・・ 画像サーバ
328 ・・・ 画像ファイル
328 ・・・ 画像分析ソフトウェア
330 ・・・ スライド・スキャン・システム
550 ・・・ コンピュータ・システム
552 ・・・ プロセッサ
554 ・・・ 通信バス
556 ・・・ 主メモリ
558 ・・・ 副メモリ
560 ・・・ ハード・ディスク・ドライブ
562 ・・・ リムーバブル記憶ドライブ
564 ・・・ リムーバブル記憶メディア
570 ・・・ インターフェース
572 ・・・ 外部記憶メディア
574 ・・・ 通信インターフェース
576 ・・・ 通信チャネル
578 ・・・ 電気的通信信号

Claims (53)

  1. リニア・アレイ型マイクロスコープ・スライド・スキャナが生成する画像データを管理する方法であって、
    マイクロスコープ・スライド・スキャナが標本をスキャンするたびに、画像ストライプの形態で画像データを主メモリ上に取得するステップと、
    1の画像ストライプが主メモリ上に取得されるたびに、当該画像ストライプと隣接する画像ストライプを主メモリに取得するステップであって、前記1の画像ストライプに基づき第1サブ・ストライプを特定するとともに、前記1の画像ストライプに重複する前記隣接する画像ストライプに基づき前記第1サブ・ストライプに重複する第2サブ・ストライプを特定し、前記第1サブ・ストライプの第1オフセットを特定するとともに、前記第2サブ・ストライプの第2オフセットを特定し、鉛直方向位置合わせにおいて前記第1オフセットおよび前記第2オフセットを用いて前記第1サブ・ストライプを前記第2サブ・ストライプに対して位置合わせすることを含むステップと、
    前記第1サブ・ストライプおよび前記第2サブ・ストライプのパターンをマッチングすることで、前記1の画像ストライプおよび前記隣接する画像ストライプを組み合わせて基準画像を作成するステップと、
    前記基準画像を、複数の画像タイルに組織化するステップと、
    タイル化した基準画像を副メモリのデータ記憶領域に保存するステップと、
    を有る方法。
  2. 前記取得ステップは、さらに、前記画像ストライプを位置合わせするステップを有する請求項1に記載の方法。
  3. 前記取得ステップは、さらに、前記画像ストライプの照明の調整を行うステップを有する請求項1に記載の方法。
  4. 前記取得ステップは、さらに、前記画像ストライプの色の調整を行うステップを有する請求項1に記載の方法。
  5. 前記基準画像を作成するステップにおける前記マッチングは、さらに、前記第1サブ・ストライプと前記第2サブ・ストライプとの間で、ピクセルの強度を比較するステップを有する請求項1に記載の方法。
  6. 前記ピクセルの強度を比較するステップは、さらに、
    前記第1サブ・ストライプに含まれるピクセルの部分集合を特定するステップと、
    前記第2サブ・ストライプに含まれるピクセルの部分集合を特定するステップと、
    前記第1サブ・ストライプのピクセルの部分集合と前記第2サブ・ストライプのピクセルの部分集合との間で、ピクセルの強度を比較するステップとを有する請求項5に記載の方法。
  7. 前記第1サブ・ストライプに含まれるピクセルの部分集合を特定するステップは、前記第1サブ・ストライプ内の対象物の縁部を示すピクセルの位置を決定するステップを有する請求項6に記載の方法。
  8. 前記第2サブ・ストライプに含まれるピクセルの部分集合を特定するステップは、前記第2サブ・ストライプ内の対象物の縁部を示すピクセルの位置を決定するステップを有する請求項6に記載の方法。
  9. 前記位置を決定するステップは、高強度勾配値を有するピクセルを特定するステップを有する請求項7に記載の方法。
  10. 前記位置を決定するステップは、高強度勾配値を有するピクセルを特定するステップを有する請求項8に記載の方法。
  11. 前記組織化するステップは、さらに、
    第1画像ストライプの部分的な画像タイルを特定するステップと、
    前記部分的な画像タイルを、第2画像ストライプの画像データと一致させるステップと、
    を有し、
    前記第2画像ストライプは、前記第1画像ストライプと隣接する、請求項1に記載の方法。
  12. 前記組織化するステップは、さらに、中位ズーム画像を生成するステップを有し、
    前記中位ズーム画像は、前記基準画像の低倍率レベルを示す、請求項1に記載の方法。
  13. さらに、前記中位ズーム画像を、複数の画像タイルに組織化するステップを有する請求項12に記載の方法。
  14. さらに、画像タイルのそれぞれを、JPEG2000を用いて圧縮するステップを有する請求項13に記載の方法。
  15. 前記組織化するステップは、さらに、前記基準画像のサムネイル画像を生成するステップを有する請求項14に記載の方法。
  16. さらに、前記サムネイル画像を、JPEG2000を用いて圧縮するステップを有する請求項15に記載の方法。
  17. さらに、前記圧縮した画像タイルと、前記圧縮したサムネイル画像とを、単一のファイルに納めるステップを有する請求項16に記載の方法。
  18. 前記単一のファイルは、TIFFファイルである請求項17に記載の方法。
  19. 前記データ記憶領域は、不揮発性メモリを含む請求項1に記載の方法。
  20. リニア・アレイ型マイクロスコープ・スライド・スキャナが生成する画像データを管理するシステムであって、
    リニア・アレイ型マイクロスコープ・スライド・スキャナから、画像ストライプの形態で画像データをキャプチャするデータ・キャプチャ装置と、
    マイクロスコープ・スライド・スキャナが標本をスキャンするときに、デジタイズしたマイクロスコープ・スライドからなる隣接する画像ストライプを主メモリ上に取得するスライド・スキャナ・インターフェースであって、スキャンした画像ストライプに基づき第1サブ・ストライプを特定するとともに、前記スキャンした画像ストライプに重複する前記隣接する画像ストライプに基づき前記第1サブ・ストライプに重複する第2サブ・ストライプを特定し、前記第1サブ・ストライプの第1オフセットを特定するとともに、前記第2サブ・ストライプの第2オフセットを特定し、鉛直方向位置合わせにおいて前記第1オフセットおよび前記第2オフセットを用いて前記第1サブ・ストライプを前記第2サブ・ストライプに対して位置合わせするスライド・スキャナ・インターフェースと、
    前記第1サブ・ストライプおよび前記第2サブ・ストライプのパターンをマッチングすることで、主メモリ上に取得された前記隣接する画像ストライプを単一の連続した基準画像に合成する位置整合モジュールと、
    前記基準画像を、複数の基準画像タイルに組織化し、各基準画像タイルを圧縮し、前記圧縮した基準画像タイルを備えたバーチャル・マイクロスコープ・スライド・ファイルを生成する画像圧縮部と、
    前記基準画像タイルを記憶するデータ記憶領域と、
    を有するシステム。
  21. 前記画像圧縮部は、さらに、前記基準画像のサムネイル画像を生成する請求項20に記載のシステム。
  22. 前記サムネイル画像を、JPEG2000形式を用いて圧縮する請求項21に記載のシステム。
  23. 前記バーチャル・マイクロスコープ・スライド・ファイルは、さらに、前記圧縮したサムネイル画像を含む請求項22に記載のシステム。
  24. 前記画像圧縮部は、さらに、前記基準画像の低解像度画像を生成する請求項23に記載のシステム。
  25. 前記画像圧縮部は、さらに、前記低解像度画像を、低解像度画像タイルに組織化する請求項24に記載のシステム。
  26. 前記画像圧縮部は、さらに、JPEG2000形式を用いて複数の低解像度画像タイルを圧縮する請求項25に記載のシステム。
  27. 前記バーチャル・マイクロスコープ・スライド・ファイルは、さらに、圧縮した前記複数の低解像度画像タイルを含む請求項26に記載のシステム。
  28. 前記画像圧縮部は、前記基準画像のピクセルを定率で平均化して前記低解像度画像を生成する請求項24に記載のシステム。
  29. 前記バーチャル・マイクロスコープ・スライド・ファイルは、TIFFファイルである請求項20に記載のシステム。
  30. 前記データ記憶領域は、不揮発性メモリを有する請求項20に記載のシステム。
  31. 前記位置整合モジュールは、さらに、
    外部トリガを有するデータ・キャプチャ・ボードと、
    ポジション・エンコーダとを有し、
    前記ポジション・エンコーダは、前記外部トリガを作動させて、前記データ・キャプチャ・ボードのデータ・キャプチャを開始、および、停止させる請求項20に記載のシステム。
  32. 前記データ・キャプチャ装置は、画像ストライプに含まれるピクセルの明るさを調節する照明補正モジュールを有する請求項20に記載のシステム。
  33. さらに、照明補正テーブルを有する請求項32に記載のシステム。
  34. 前記データ・キャプチャ装置は、画像ストライプに含まれるピクセルの色を調節する色補正モジュールを有する請求項20に記載のシステム。
  35. 1つまたは複数のマイクロプロセッサに、リニア・アレイ型マイクロスコープ・スライド・スキャナが生成する画像データを管理する工程を実行させる一連の命令が記憶されたコンピュータ読み取り可能媒体であって、
    前記工程は、
    マイクロスコープ・スライド・スキャナが標本をスキャンするたびに、画像ストライプの形態で画像データを主メモリ上に取得するステップと、
    1の画像ストライプが主メモリ上に取得されるたびに、当該画像ストライプと隣接する画像ストライプを主メモリに取得するステップであって、前記1の画像ストライプに基づき第1サブ・ストライプを特定するとともに、前記1の画像ストライプに重複する前記隣接する画像ストライプに基づき前記第1サブ・ストライプに重複する第2サブ・ストライプを特定し、前記第1サブ・ストライプの第1オフセットを特定するとともに、前記第2サブ・ストライプの第2オフセットを特定し、鉛直方向位置合わせにおいて前記第1オフセットおよび前記第2オフセットを用いて前記第1サブ・ストライプを前記第2サブ・ストライプに対して位置合わせすることを含むステップと、
    前記第1サブ・ストライプおよび前記第2サブ・ストライプのパターンをマッチングすることで、前記1の画像ストライプおよび前記隣接する画像ストライプを組み合わせて基準画像を作成するステップと、
    前記基準画像を、複数の画像タイルに組織化するステップと、
    タイル化した基準画像を副メモリのデータ記憶領域に保存するステップと、
    を有する媒体。
  36. 前記取得ステップは、さらに、前記画像ストライプを位置合わせするステップを有する請求項35に記載の媒体。
  37. 前記取得ステップは、さらに、前記画像ストライプの照明の調整を行うステップを有する請求項35に記載の媒体。
  38. 前記取得ステップは、さらに、前記画像ストライプの色の調整を行うステップを有する請求項35に記載の媒体。
  39. 前記基準画像を作成するステップにおける前記マッチングは、さらに、前記第1サブ・ストライプと前記第2サブ・ストライプとの間で、ピクセルの強度を比較するステップを有する請求項35に記載の媒体。
  40. 前記ピクセルの強度を比較するステップは、さらに、
    前記第1サブ・ストライプに含まれるピクセルの部分集合を特定するステップと、
    前記第2サブ・ストライプに含まれるピクセルの部分集合を特定するステップと、
    前記第1サブ・ストライプのピクセルの部分集合と前記第2サブ・ストライプのピクセルの部分集合との間で、ピクセルの強度を比較するステップとを有する請求項39に記載の媒体。
  41. 前記第1サブ・ストライプに含まれるピクセルの部分集合を特定するステップは、前記第1サブ・ストライプ内の対象物の縁部を示すピクセルの位置を決定するステップを有する請求項40に記載の媒体。
  42. 前記第2サブ・ストライプに含まれるピクセルの部分集合を特定するステップは、前記第2サブ・ストライプ内の対象物の縁部を示すピクセルの位置を決定するステップを有する請求項40に記載の媒体。
  43. 前記位置を決定するステップは、高強度勾配値を有するピクセルを特定するステップを有する請求項41に記載の媒体。
  44. 前記位置を決定するステップは、高強度勾配値を有するピクセルを特定するステップを有する請求項42に記載の媒体。
  45. 前記組織化するステップは、さらに、
    第1画像ストライプの部分的な画像タイルを特定するステップと、
    前記部分的な画像タイルを、第2画像ストライプの画像データと一致させるステップと、
    を有し、
    前記第2画像ストライプは、前記第1画像ストライプと隣接する、請求項35に記載の媒体。
  46. 前記組織化するステップは、さらに、中位ズーム画像を生成するステップを有し、
    前記中位ズーム画像は、前記基準画像の低倍率レベルを示す、請求項35に記載の媒体。
  47. さらに、前記中位ズーム画像を、複数の画像タイルに組織化するステップを有する請求項46に記載の媒体。
  48. さらに、画像タイルのそれぞれを、JPEG2000を用いて圧縮するステップを有する請求項47に記載の媒体。
  49. 前記組織化するステップは、さらに、前記基準画像のサムネイル画像を生成するステップを有する請求項48に記載の媒体。
  50. さらに、前記サムネイル画像を、JPEG2000を用いて圧縮するステップを有する請求項49に記載の媒体。
  51. さらに、前記圧縮した画像タイルと、前記圧縮したサムネイル画像とを、単一のファイルに納めるステップを有する請求項50に記載の媒体。
  52. 前記単一のファイルは、TIFFファイルである請求項51に記載の媒体。
  53. 前記データ記憶領域は、不揮発性メモリを含む請求項35に記載の媒体。
JP2007529794A 2004-09-01 2004-09-01 リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法 Expired - Fee Related JP5055120B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2004/028333 WO2006028439A1 (en) 2004-09-01 2004-09-01 System and method for data management in a linear-array-based microscope slide scanner

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010279678A Division JP5466142B2 (ja) 2010-12-15 2010-12-15 リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法

Publications (2)

Publication Number Publication Date
JP2008511899A JP2008511899A (ja) 2008-04-17
JP5055120B2 true JP5055120B2 (ja) 2012-10-24

Family

ID=36036650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007529794A Expired - Fee Related JP5055120B2 (ja) 2004-09-01 2004-09-01 リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法

Country Status (3)

Country Link
EP (2) EP3564851B1 (ja)
JP (1) JP5055120B2 (ja)
WO (1) WO2006028439A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9199394B2 (en) 2005-01-26 2015-12-01 Southern Research Institute Method for the manufacturing of a composite
DE102007033793A1 (de) * 2007-07-19 2009-01-22 Carl Zeiss Imaging Solutions Gmbh Verfahren und Vorrichtung zum mikroskopischen Untersuchen einer Probe, Computerprogramm und Computerprogrammprodukt
US8896918B2 (en) * 2010-12-24 2014-11-25 Huron Technologies International Inc. Pathology slide scanner
JP5906605B2 (ja) * 2011-08-12 2016-04-20 ソニー株式会社 情報処理装置
US8731278B2 (en) * 2011-08-15 2014-05-20 Molecular Devices, Inc. System and method for sectioning a microscopy image for parallel processing
WO2013168348A1 (ja) * 2012-05-10 2013-11-14 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム
EP2929420B1 (en) * 2012-12-06 2022-03-02 Leica Microsystems CMS GmbH Systems and methods for split screen display of a biological specimen and for capturing records thereof
JP2015154324A (ja) 2014-02-17 2015-08-24 キヤノン株式会社 撮像システム、撮像装置、画像処理装置
JP6480713B2 (ja) * 2014-11-18 2019-03-13 オリンパス株式会社 顕微鏡システム
JP5901814B1 (ja) * 2015-03-25 2016-04-13 日本分光株式会社 顕微分光装置
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
US10171699B2 (en) 2016-12-07 2019-01-01 Kyocera Document Solutions Inc. Scanner for scanning micro-details of specimens
JP7009619B2 (ja) * 2017-09-29 2022-01-25 ライカ バイオシステムズ イメージング インコーポレイテッド 2回通過式マクロ画像
EP3822686B1 (en) * 2019-11-15 2022-08-03 PreciPoint GmbH Method of providing an assembled image using a digital microscope, digital microscope system, and program for providing an assembled image using a digital microscope
KR102258958B1 (ko) * 2019-12-26 2021-06-02 나노스코프시스템즈 주식회사 고속 이미징 방법 및 이를 이용한 고속 이미징 현미경
CN110944159A (zh) * 2019-12-31 2020-03-31 联想(北京)有限公司 一种信息处理方法、电子设备以及信息处理系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2892001B2 (ja) * 1987-11-06 1999-05-17 株式会社東芝 画像検策表示装置
JPH0449777A (ja) * 1990-06-18 1992-02-19 Fujitsu Ltd 原稿読取装置の光量変動補正回路
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
JPH0746610A (ja) * 1993-07-27 1995-02-14 Tochigi Nikon:Kk 画像入力装置
US5710835A (en) * 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
JPH09281405A (ja) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JPH1169105A (ja) * 1997-08-20 1999-03-09 Fuji Xerox Co Ltd 画像読取装置
JP3824116B2 (ja) * 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
JP3706740B2 (ja) * 1998-06-24 2005-10-19 ドリームテクノロジーズ株式会社 画像表示及びデータ読み込みのための装置及び方法
EP1008956A1 (en) * 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
US6330348B1 (en) * 1999-01-21 2001-12-11 Resolution Sciences Corporation Method and apparatus for measurement of microtome performance
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
DE60238281D1 (de) * 2002-09-17 2010-12-23 Fujitsu Ltd Gerät zur aufzeichnung biologischer informationen und biologische informationen benutzendes berechtigungsgerät

Also Published As

Publication number Publication date
EP3564851A1 (en) 2019-11-06
EP1784763A1 (en) 2007-05-16
EP1784763A4 (en) 2014-08-20
EP1784763B1 (en) 2019-05-22
WO2006028439A1 (en) 2006-03-16
EP3564851B1 (en) 2022-12-07
JP2008511899A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
US7035478B2 (en) System and method for data management in a linear-array-based microscope slide scanner
JP5055120B2 (ja) リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
JP5372068B2 (ja) 撮像システム、画像処理装置
US7463761B2 (en) Systems and methods for creating and viewing three dimensional virtual slides
RU2734447C2 (ru) Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости
WO2013084414A1 (ja) デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
JP5466142B2 (ja) リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
JP7158795B1 (ja) 顕微鏡システム及びデータ処理方法
WO2014045525A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP7126737B1 (ja) 顕微鏡システム及びデータ処理方法
CN113933984B (zh) 用于生成由多个显微子图像合成的图像的方法和显微镜
WO2023233922A1 (ja) 顕微鏡システム及びデータ処理方法
Soenksen A fully integrated virtual microscopy system for analysis and discovery
CN118489080A (zh) 显微镜系统以及数据处理方法
JP2023178168A (ja) 顕微鏡システム及びデータ処理方法
Beckstead et al. High-throughput high-resolution microscopic slide digitization for pathology

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100914

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100922

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110616

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5055120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees