JP6771584B2 - デジタルパソロジーのカラーキャリブレーションおよび実証 - Google Patents

デジタルパソロジーのカラーキャリブレーションおよび実証 Download PDF

Info

Publication number
JP6771584B2
JP6771584B2 JP2018555249A JP2018555249A JP6771584B2 JP 6771584 B2 JP6771584 B2 JP 6771584B2 JP 2018555249 A JP2018555249 A JP 2018555249A JP 2018555249 A JP2018555249 A JP 2018555249A JP 6771584 B2 JP6771584 B2 JP 6771584B2
Authority
JP
Japan
Prior art keywords
digital image
image
pixels
digital
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555249A
Other languages
English (en)
Other versions
JP2019520721A (ja
Inventor
オルソン アレン
オルソン アレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2019520721A publication Critical patent/JP2019520721A/ja
Application granted granted Critical
Publication of JP6771584B2 publication Critical patent/JP6771584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/08Arrangements of light sources specially adapted for photometry standard sources, also using luminescent or radioactive material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/32Micromanipulators structurally combined with microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Image Communication Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

関連出願
本出願は、2016年4月20日に出願された米国仮特許出願第62/325、330号に対して優先権を主張しており、これはその全体が参照により本明細書に組み込まれる。
発明の分野
本発明は、一般にデジタルパソロジー関し、より具体的には、デジタルパソロジーシステムにおけるカラーマネージメントを較正し、対応する物理的カラースペクトルに関連してデジタルカラーデータを実証するためのシステムおよび方法に関する。
関連技術
色情報の正確な伝達は、多くの産業において継続中の課題である。この困難な問題に取り組む最も一般的なアプローチは、特定の色を表す特別に構成された試験体を生成することである。写真業界では、例えば、これらの特別に構成された試験体は、行と列の配列を含み、各セルは一定の色を有する。反射光用途では、特別に構成された試験体は紙の形態を採り、透過光用途の場合は、特別に構成された試験体はフィルムの形態になる。例えば、自然写真の場合、カラーパッチは青い空、緑色の葉、茶色の皮膚などにスペクトル的に適合される。
デジタルパソロジー業界では、ディスプレイ上に提示される色が、染色された標本の色と同じではないという重大な問題が存在する。この問題を悪化させるのは、一部の特別に構成された試験体に可用性が欠けていることである。これは一般に、紙および/またはフィルムが、色情報を含む染料を担持する媒体として組織の代わりをするのに不適切であるためである。組織に近い材料を使用してそのような試験体を作成しようとする試みはほとんど成功していない。例えば、特殊なバイオポリマーストリップが手作業で作られ、標準的な病理染料で染色されてきた。しかしながら、これらの試験体の手作業による製造は複雑で高価である。さらに、特別に構成されたバイオポリマーストリップは、染色される際、典型的には、組織に適用されるのと同じ染色と正確な色の一致を実現することができない。したがって、未解決の問題は、組織に近く、試験体に染色が適用されたときに正確な色の一致を実現する試験体をいかにして作成するかということである。
したがって、上記に記載されるような、従来システムに見られるこのような重大な問題を克服するシステムおよび方法が必要とされている。
上記で考察した問題を解決するために、ディスプレイ上に提示された走査された標本の色が、物理的スライド上の染色された、または染色されない標本の色と実質的に同じであるように、デジタル病理スライド走査システムを較正するためのシステムおよび方法が本明細書に記載される。
本発明者は、染色剤のスペクトル特性は組織に結合する際に変化するため、染色されても、されなくても組織の特性に忠実に近づくように構成された試験体は常に重大な欠点を有するということを認識した。これは、適切な解決策では、試験体のスペクトル特性は、撮像される対象のスペクトル特性と一致する必要があるからである。したがって、本記載では、発明者は、イメージングシステムを上手く較正するために使用される試験体として1つまたは複数の標準的なスライドを使用する解決策を提供する。
1つの態様では、標本とともに標準的なスライドが準備される。単一の染料または染料の組み合わせを標本に塗布することができる、または染料が全く標本に塗布されない場合もある。グリッドをスライド上に載せる、またはその上に重ね合わせて、標本を別々の区画に分割する。その後、ハイパースペクトルイメージングシステム(本明細書では、「ハイパースペクトル画像」または「H画像」または「HYP画像」または「XYZ画像」と称する)を使用してスライド上の標本のデジタル画像が取得される。ハイパースペクトルイメージングシステムは典型的には画像タイリングシステムであり、例えば、ハイパースペクトルイメージングシステムの単一の視野は、グリッドオーバーレイ内の各セルについて捕らえることができる。各セルについて結果として得られたハイパースペクトル画像は、400nm〜750nmの範囲(視覚スペクトル)の画像のスタックを含む。スタック内の画像の数は、例えば10nm間隔ごとに1つの画像など変化する場合がある。ハイパースペクトル画像スタックは次いで、各ピクセルがXYZカラー値を有する複数の個々の画素(「ピクセル」)を有するXYZカラー画像になるように処理される。ハイパースペクトル画像は次いで、左上隅のピクセルをグリッドの左上隅にマッピングすることによってグリッドに位置合わせされる。XYZカラー画像内の個々のピクセルを組み合わせてスーパーピクセルを作成することができ、これは有利には、その後ハイパースペクトルイメージングシステムによって作成されたXYZピクセルとデジタルパソロジーシステムによって作成されたRGBピクセルとを関連付ける際のピクセルの位置の誤差を削減する。
次に、グリッドオーバーレイを有する同じスライドを、カラーイメージング能力を有するデジタルパソロジーシステムを用いて走査する。結果として得られるデジタル画像(本明細書では「パソロジー画像」または「P画像」または「PATH画像」または「RGB画像」と呼ばれる)は、ピクセルごとに赤、緑および青(「RGB」)値を有する。次いで、パソロジー画像は、左上隅のピクセルをグリッドの左上隅にマッピングすることによってグリッドに位置合わせされる。RGBにおける個々のピクセルを組み合わせてスーパーピクセルを作成し、ハイパースペクトル画像のピクセルサイズに一致させることで、XYZ値とRGB値の直接の色の比較を可能にすることもできる。また、ハイパースペクトル画像およびパソロジー画像の両方のピクセルサイズは、ピクセルサイズマッチングを最適化するために縮小または拡大することができる。
次に、ハイパースペクトル画像内の単一のピクセルに関するXYZカラー情報と、パソロジー画像内の同一ピクセルに関するRGBカラー情報と、を関連付けるルックアップテーブル(LUT)が生成される。LUTは、パソロジー画像におけるすべてのピクセルのXYZカラー情報と、RBGカラー情報と、を関連付ける。有利には、画像ピクセルサイズマッピングを含む、ハイパースペクトル画像のパソロジー画像に対する位置合わせは、LUTにおいて1対1のピクセルの関連性をもたらす。しかしながら、ハイパースペクトル画像内の単一のピクセルからのXYZ値に関連してパソロジー画像の結合したピクセルの数からの平均RGB値をLUTに含めることも可能であり、またはその逆も可能である。
ひとたびLUTが生成されると、それをディスプレイモジュールによって使用することができるため、RGBカラーデータを有するデジタル画像ファイル内の走査された標本の色を、対応するハイパースペクトルXYZカラーを用いてディスプレイ上に提示させることで、表示される色は物理的スライド上の標本の色と実質的に同じになり得る。表示される色は、比色計または分光光度計などの色測定装置によって測定することができる。
別の代替の実施形態では、標本を有する標準的なスライドが、上記に記載したハイパースペクトルイメージングシステムを使用して走査されてXYZ画像を生成する。同じスライドをさらにデジタルパソロジーシステムを使用して走査してRGB画像を生成する。XYZ画像およびRGB画像のピクセルは、互いに位置合わせされてそれぞれのピクセルを整列させる。ハイパースペクトルイメージングシステムおよびデジタルパソロジーイメージングシステムにおけるイメージングセンサの個々のピクセルのサイズが異なる場合、この場合XYZ画像とRGB画像の適切な整列および適切な画像ピクセルサイズマッチングを容易にするために、ピクセル結合処理または縮小処理が使用される場合もある。
走査処理の後、XYZ画像またはRGB画像の一方が索引付けされて、索引付けされている画像内のすべてのピクセルを割り当てることができ、また画像ピクセルと色との各関連性に関する誤差値を最小限にする少数の色を特定する。例えば、カメラセンサは何百万もの色を検知可能であり得るが、索引付けプロセスは、XYZ画像内の色の数を10個までに削減し、XYZ画像内の各ピクセルをその10個の色のうちの1つに割り当てる点が有利であり得る。一実施形態では、索引付け作業中に、同じ色に近いすべてのピクセルがインデックスカラーパレットの単一の色になるように平均化される。このプロセスは、すべてのピクセルが平均化された単一のカラー値に割り当てられるまで反復して行われ、ここで平均化された単一の色と比較される元々のピクセルの色の誤差値は、XYZ画像における全ピクセルにわたって最小限にされる。一実施形態では、二乗平均平方根解析を使用して誤差値を最小限にすることができる。
ひとたびXYZ画像が索引付けされると、その結果は一セットのN個のピクセルグループであり、この場合Nはインデックス値(上記の例では10)であり、N個のピクセルグループ内のピクセルを結合すると完全なXYZ画像となる。ピクセルのグループ分け処理は、本明細書では「インデックス」とも呼ばれる。XYZ画像とRGB画像が位置合わせされた後、RGB画像内のピクセルも同様に、XYZ画像とRGB画像とのピクセルの位置合わせに従って、同一のN個のピクセルグループに関連付けることができる。RGB画像からのN個のピクセルグループの各々を分析して、N個のピクセルグループのそれぞれに関する平均カラー値を計算する。結果は、XYZ画像における各インデックスは特定の平均カラー値を有し、RGB画像における各インデックスは特定の平均カラー値を有するというものであり、これらの平均カラー値を使用してLUTを生成する。
ひとたびLUTが生成されると、それをディスプレイモジュールによって使用することができるため、RGBカラーデータを有するデジタル画像ファイル内の走査された標本の色を、対応するハイパースペクトルXYZカラーを用いてディスプレイ上に提示させることで、表示される色(例えば比色計または分光光度計によって測定された)は物理的スライド上の標本の色と実質的に同じになり得る。
本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を検討した後、当業者により容易に明らかになるであろう。
本発明の構造および作用は、以下の詳細な説明および添付の図面を検討することにより理解され、これらの図面において、同様の参照符号は同様の部分を指している。
本発明の一実施形態によるバーコードと、グリッドオーバーレイとを有する一例のデジタル病理スライドを示す平面図である。 本発明の一実施形態による一例の従来技術のハイパースペクトルイメージングシステムを示すブロック図である。 図3Aは、本発明の一実施形態によるハイパースペクトルイメージングシステムによって生成される際の一例のハイパースペクトルイメージングスタックを示すブロック図である。図3Bは、本発明の一実施形態によるハイパースペクトルイメージングスタックとともに使用する一例のカラーマッチングを示すグラフ図である。図3Cは、本発明の一実施形態によるXYZカラーの一例のハイパースペクトル画像を示すブロック図である。図3Dは、本発明の一実施形態によるハイパースペクトル画像スタックを単一のXYZカラー画像に変換するための一例のプロセスを示す流れ図である。 図4Aは、本発明の一実施形態による一例の画像プロセッサ装置を示すブロック図である。図4Bは、本発明の一実施形態によるXYZカラーのハイパースペクトル画像の一例のスーパーピクセルを示すブロック図である。 本発明の一実施形態による、スーパーピクセルプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を較正するための一例のプロセスを示す流れ図である。 本発明の一実施形態による、スーパーピクセルプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を実証するための一例のプロセスを示す流れ図である。 図7A、図7Bおよび図7Cは、本発明の一実施形態による、ハイパースペクトルイメージングシステムによって走査された標本のカラー値と、デジタルパソロジーイメージングシステムによって走査され、かつディスプレイ上に提示され、カラー測定装置によって測定された同一標本のスーパーピクセルカラー値との比較例を示すグラフ図である。 本発明の一実施形態による合成XYZ画像を形成するピクセルグループの一例のセットを示すブロック図である。 本発明の一実施形態による、索引付けプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を較正するための一例のプロセスを示す流れ図である。 本発明の一実施形態による、索引付けプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を実証するための一例のプロセスを示す流れ図である。 図11A、図11Bおよび図11Cは、本発明の一実施形態による、ハイパースペクトルイメージングシステムによって走査された標本のカラー値と、デジタルパソロジーイメージングシステムによって走査され、かつディスプレイ上に提示され、カラー測定装置によって測定された同一標本の索引付けカラー値との比較例を示すグラフ図である。 図12Aは、本明細書に記載される様々な実施形態に関連して使用され得る一例のプロセッサ対応デバイス550を示すブロック図である。図12Bは、単一の線形アレイを有する一例のラインスキャンカメラを示すブロック図である。図12Cは、3つの線形アレイを有する一例のラインスキャンカメラを示すブロック図である。図12Dは、複数の線形アレイを有する一例のラインスキャンカメラを示すブロック図である。
本明細書で開示される特定の実施形態は、デジタルパソロジーシステムのカラーキャリブレーションを提供する。例えば、本明細書に開示される一実施形態は、ハイパースペクトルイメージングシステムによって病理スライドを走査し、結果として得られるデジタルハイパースペクトル画像の色を、デジタルパソロジーシステムによって走査された同一スライドのデジタル画像の色と比較することを可能にする。この比較は、RGB値をXYZ値に変換するルックアップテーブルをもたらすため、デジタルパソロジーシステムによって走査されたデジタルスライド画像がディスプレイ上に提示される際、提示される色は、スライド上の物理的な標本の真の色に相当するXYZ値と一致する。この説明を読んだ後、当業者には様々な代替の実施形態および代替の応用において本発明をどのように実施するかが明らかになるであろう。しかしながら、本明細書では本発明の様々な実施形態を説明するが、これらの実施形態は単なる例示であり、限定するものではないことを理解されたい。したがって、様々な代替実施形態のこのような詳細な説明は、添付の特許請求の範囲に記載される本発明の範囲または幅を限定するものと解釈されるべきではない。
図1は、本発明の一実施形態によるバーコード20と、グリッドオーバーレイ30とを有する一例のデジタル病理スライド10を示す平面図である。図示の実施形態では、グリッドオーバーレイ30は、スライド10上にある試料の上に位置決めされる。グリッドオーバーレイ30は、ハイパースペクトルデジタル画像のデジタルパソロジーデジタル画像への位置合わせを容易にするために使用される。画像を位置合わせするための代替の方法は、2つのデジタル画像の画像パターンマッチングを使用してハイパースペクトルデジタル画像とデジタルパソロジーデジタル画像とを整列させることである。イメージパターンマッチングを成功させるには、同じ倍率のデジタル画像を有することが有用である。
図2は、本発明の一実施形態による一例の従来技術のハイパースペクトルイメージングシステム50を示すブロック図である。図示した実施形態では、ハイパースペクトルイメージングシステム50は、2Dピクセルアレイモノクロカメラ60、顕微鏡70、標本を支持するスライド80および狭帯域フィルタホイール90を含む。一実施形態では、ハイパースペクトルイメージングシステム50のモノクロカメラ60は、モノクロラインスキャンカメラである。好ましくは、ハイパースペクトルイメージングシステム50のモノクロラインスキャンカメラ60は、デジタルパソロジーイメージングシステムで使用されるカラーラインスキャンカメラと同じ特性を有する。同じ特性(例えば、ピクセルサイズ)を有するラインスキャンカメラをハイパースペクトルイメージングシステムおよびデジタルパソロジーイメージングシステムの両方において使用することは、ピクセルマッチングの必要性を低下させる、または排除することによって、すなわちピクセルを容易にリサンプリングすることを可能にすることによって、例えばXYZ画像とRGB画像の位置合わせを簡素化するためにピクセルをより大きなスーパーピクセルにダウンサンプリングすることによって画像の位置合わせを簡素化する、という利点がある。
図3Aは、本発明の一実施形態によるハイパースペクトルイメージングシステムによって生成される際の一例のハイパースペクトルイメージングスタック100を示すブロック図である。当業者に理解されるように、ハイパースペクトルイメージングシステムは、例えば狭帯域フィルタホイールを使用し、フィルタホイールの各フィルタを使用して同じ領域の画像を取り込むことによって、異なる波長の光を用いてそれぞれ取得される1セットの個々の画像を生成する。この画像のセットは、本明細書では、ハイパースペクトルスタックまたはスペクトルスタックと呼ばれる。スペクトルスタックは、試料の個々の領域に関して、または試料全体/スライド全体に関して生成することができる。例えば、一実施形態では、ラインスキャンカメラを使用するハイパースペクトルイメージングシステムが、フィルタホイール上の各フィルタを使用して全スライド画像を取得し、全スライド画像のスペクトルスタックを生成することができる。
図3Bは、本発明の一実施形態によるハイパースペクトルイメージングスタックとともに使用する一例のカラーマッチングを示すグラフ図である。図示した実施形態では、様々な波長の光(110、120および130)で、全スライド画像スペクトルスタックの中の各デジタル画像にカラーマッチング機能を適用させることで、全スライドハイパースペクトル画像140をXYZカラーで生成することができる。図3Cは、本発明の一実施形態による、XYZカラーでの一例の全スライドハイパースペクトル画像を示すブロック図である。
図3Dは、本発明の一実施形態による、全スライドハイパースペクトル画像のスタック100をXYZカラーの単一のハイパースペクトル画像140に変換するための一例のプロセスを示す流れ図である。最初に、各異なる波長の光に関する全スライド画像がハイパースペクトルイメージングシステムによって取得され、ハイパースペクトル画像スタック100が生成される。次に、様々な波長の光(110、120、130)で、スペクトルスタック100の中の各デジタル画像にカラーマッチング機能を適用することで、標本全体の全スライドハイパースペクトルデジタル画像140をXYZカラーで生成する。
図4Aは、本発明の一実施形態による一例の画像プロセッサ装置260を示すブロック図である。図示の実施形態では、画像プロセッサ装置260は、プロセッサ267と、プロセッサ267によって実行可能な情報および命令を格納するための非一時的データ記憶領域265とを有するプロセッサ対応装置である。例えば、データ記憶領域265は、複数のハイパースペクトルXYZ画像および複数のデジタルパソロジーRGB画像、ならびにそのような画像を処理するための複数の命令を格納することができる。図示の実施形態に示すように、画像プロセッサ装置260は、レジスタモジュール270、スーパーピクセルモジュール280、インデックスモジュール290およびLUTモジュール295を含む。一実施形態では、スーパーピクセルモジュール280と、インデックスモジュール290とを組み合わせてカラーモジュール285にする場合もある。画像プロセッサ装置260はまた、一体型または外部のディスプレイ装置576と通信可能に結合されてよい。一実施形態では、色測定装置577が、ディスプレイ装置576から色情報を読み取り、色情報を1つ以上のXYZ値に変換するように構成されてよい。
レジスタモジュール270は、2つのデジタル画像を互いに位置合わせするように構成される。例えば、レジスタモジュール270は、ハイパースペクトルXYZ画像をデジタルパソロジーRGB画像に対して位置合わせするように構成される。レジスタモジュール270は、例えば画像データにおける特徴のパターンマッチングによって2つの画像の画像データをX−Yに整列させて2つの画像をX−Y整列にすることによって、2つのデジタル画像を位置合わせする。レジスタモジュール270はまた、デジタル画像を調整することによって2つのデジタル画像を位置合わせすることで、それらは共通の特性を有するようになる。例えば、レジスタモデル270は、画像ピクセルサイズ、および並進、回転の空間的整列、および倍率を含む画像の特性を評価し調整してよい。加えてレジスタモジュール270は、ピクセルレベルで検出され得る2つの別々のシステム間の光学的ひずみも考慮に入れることができる。
スーパーピクセルモジュール280は、同一または類似のカラー値を有する隣接する画像ピクセルを識別し、それらのピクセルを単一のスーパーピクセルに結合するように構成される。スーパーピクセルモジュール280はまた、スーパーピクセル内の個々の画像ピクセルのすべてのカラー値を平均化することによってスーパーピクセルのカラー値を決定するように構成される。測定および位置合わせの誤差の可能性があるため、ノイズを低減するために平均化することが重要である。例えばスーパーピクセル内の画像ピクセルのカラー値を合計し、合計をそのスーパーピクセルに関するピクセル数で割ることによって、スーパーピクセルに関する平均カラー値を決定することができる。スーパーピクセルモジュール280は有利には、デジタル画像内の複数のスーパーピクセルを識別し、複数のスーパーピクセルの各々に関するカラー値を決定することができる。
インデックスモジュール290は、同一または類似のカラー値を有する個々の画像ピクセルを識別し、これらの個々の画像ピクセルを複数のカラーインデックスのうちの1つに割り当てるように構成される。インデックスモジュール290はまた、それぞれのカラーインデックス内の個々の画像ピクセルのすべてのカラー値を平均化することによって、各カラーインデックスに関するカラー値を決定するように構成される。測定および位置合わせの誤差の可能性があるため、ノイズを低減するために平均化することが重要である。例えばインデックス内の画像ピクセルのカラー値を合計し、合計をそのインデックスに関するピクセル数で割ることによって、インデックスに関する平均カラー値を決定することができる。
LUTモジュール295は、XYZカラー値をRGBカラー値に相関させる1つまたは複数のルックアップテーブルを生成するように構成される。
図4Bは、本発明の一実施形態による一例の位置合わせ後の全スライド画像170を示すブロック図である。図示の実施形態では、全スライド画像170はハイパースペクトル画像であっても、デジタルパソロジー画像であってもよい。位置合わせプロセスの間、ハイパースペクトルデジタル画像およびパソロジーデジタル画像からの画像データが分析されてX−Y整列を達成する。例えば画像データは、ハイパースペクトルデジタル画像をX−Yでパソロジーデジタル画像に位置合わせするために、一致させ、調整することができる画像データにおける特徴を特定するために分析されてよい。有利には、パターンマッチングを使用して、ハイパースペクトルデジタル画像と、パソロジーデジタル画像との間の共通の特徴を関連付けることでX−Y整列を容易にすることができる。
加えて、位置合わせプロセスの間、ハイパースペクトルデジタル画像に関する画像データと、パソロジーデジタル画像に関する画像データは、共通の特性に変換される。これは、ハイパースペクトル走査システムおよびパソロジー走査システムの撮像ハードウェアが、例えばデジタル画像データにおける倍率および画像ピクセルサイズに関して同一のデジタル画像データを生成する可能性が低いためである。したがって、位置合わせプロセスの間、ハイパースペクトルデジタル画像に関する画像データと、パソロジーデジタル画像に関する画像データは、共通の特性を有するように調整される。例えば、倍率調整が必要とされる場合もあり、共通の画像ピクセルサイズへの調整はほとんどいつも必要とされる。図示の実施形態では、画像ピクセル180は、共通の画像ピクセルサイズを有する画像ピクセルである。
図5は、本発明の一実施形態による、スーパーピクセルプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を較正するための一例のプロセスを示す流れ図である。図示されたプロセスの特定のステップは、図4Aに関して先に説明したような画像プロセッサ装置によって実行されてよい。最初に、ステップ300において、1つまたは複数の試験スライドが準備される。試験スライドは、ハイパースペクトルイメージングシステムおよびデジタルパソロジーイメージングシステムの両方によって走査され、較正/実証目的で使用される任意の種類のスライドである。したがって、試験スライドであるために特別なタイプのスライドの準備が必要とされるわけではなく、試験スライドの特別な特性はない。任意の染料を有する任意のスライドを、デジタルパソロジー走査装置を較正するための試験スライドとして使用することができる。これは、従前のすべてのカラーキャリブレーションの試みとは大きく異なり、試験スライドまたは試験カラー試料を作成しようとする試みの問題を排除する。通常の方法で準備されたスライドを標本および染料と一緒に使用することによって、生成物の走査中に遭遇する組織へのその適用によって改変されるような実際の染料を用いて走査装置を較正することを可能にする。これは大きな利点を提供する。さらに、複数の試験スライドを使用することは、複数の染料に関するカラー値を含む複合的なLUTをもたらすことができる。
加えて、一実施形態では、スライド上に、好ましくは試料を含むスライドの一部の上に、位置合わせグリッドを重ね合わせることができる。位置合わせグリッドは、存在する場合、後にハイパースペクトルデジタル画像およびデジタルパソロジーデジタル画像におけるマーカーとして使用されて、画像データをX−Yに整列させることによってハイパースペクトルデジタル画像をデジタルパソロジーデジタル画像に位置合わせすることができる。
次に、ステップ310において、ハイパースペクトル画像が走査され、格納される。ハイパースペクトル画像は、タイリングシステムハードウェアを使用して別個の画像タイルとして走査されてよい、またはハイパースペクトル画像はライン走査システムハードウェアを用いて全スライド画像として走査される場合もある。有利には、本発明のカラーキャリブレーションおよび実証システムならびに方法はハードウェアに依存しない。
走査処理後、本来のハイパースペクトル画像は、XYZカラーの単一のデジタル画像を生成するためにカラーマッチング機能を使用して各々処理される複数の個々の画像を有する1つまたは複数のスペクトルスタックを含む。次に、ステップ320において、カラーデジタルパソロジー画像が走査され、格納される。走査後のデジタルパソロジー画像はRGBカラーである。デジタルパソロジー画像はまた、タイリングシステムを使用して別個の画像タイルとして走査されてよい、またはデジタルパソロジー画像は、ライン走査システムを用いて全スライド画像として走査される場合もある。ハイパースペクトルイメージングシステムおよびデジタルパソロジーイメージングシステムにおいて、ピクセルサイズおよびピクセルの数などの同一のまたは非常に類似した特性を有するカメラを使用することに利点があるが、これらの利点は、主に画像の位置合わせプロセスを単純化し、位置合わせプロセスを確固たるものにするような働きをする。
次に、ステップ330において、ハイパースペクトル画像とデジタルパソロジー画像が互いに位置合わせされる。画像の位置合わせは、例えばパターンマッチングによるX−Y整列、ならびに例えば倍率および画像ピクセルサイズ等の共通の特性への変換を含む。いくつかの実施形態では、位置合わせプロセスは、別々の走査システムからの個々の画像ピクセルサイズを実質的に同じにするために、リサンプリングされた画像ピクセル(より大きいまたはより小さい)の生成を含む。いくつかの実施形態では、位置合わせプロセスは、光学的歪みを考慮するために、変換において局所化された変更を含む場合もある。
ひとたびハイパースペクトル画像と、デジタルパソロジー画像が互いに位置合わせされると、ステップ340において、ハイパースペクトル画像内のカラーグループが決定される。簡素な実施形態では、ハイパースペクトル画像内の各個々の画像ピクセルはその独自のカラーグループである。しかしながら、個々の画像ピクセルは非常に小さく、結果として各色に関するサンプルサイズも非常に小さいため、これは大きなノイズを招くことになる。ノイズを低減するために、ステップ340において、同一または非常に類似した色を有する隣接する個々の画像ピクセルは、図4Bに示されるスーパーピクセル190などのより大きなスーパーピクセルに結合される。スーパーピクセルが大きければ大きいほど、サンプルサイズは大きくなり、ノイズが低減されるという利点がある。しかしながら、スーパーピクセルに多くのピクセルを含めることの欠点は、すべてのスーパーピクセルにわたる色の範囲を狭めることである。ひとたびスーパーピクセルが特定されると、スーパーピクセルの色がカラーグループを決定する。一実施形態では、ステップ350に示されるように、スーパーピクセルに含まれるすべての画像ピクセルのカラー値が併せて平均化されて平均カラー値を決定し、その平均カラー値がそのカラーグループの色であるように決定される。
有利には、ハイパースペクトル画像内のカラーグループはハイパースペクトル画像内のすべての画像ピクセルを網羅し、各カラーグループはX−Y周長を有する。したがって、ハイパースペクトル画像と、デジタルパソロジー画像は互いに対して位置合わせされているため、ステップ360に示されるようにハイパースペクトル画像からのカラーグループのX−Y周長をデジタルパソロジー画像に適用することで、デジタルパソロジー画像の個々の画像ピクセルと、ハイパースペクトル画像と同一のカラーグループと、を関連付けることができる。したがって、デジタルパソロジー画像内の各カラーグループの個々の画像ピクセルのカラー値が、ステップ370において同様に平均化されることで、デジタルパソロジー画像内の各カラーグループに関して平均カラー値を決定することができる。
ひとたびハイパースペクトル画像における様々なカラーグループに関する平均カラー値と、デジタルパソロジー画像における同じカラーグループに関する平均カラー値が確立されると、これらのカラー値は、ステップ380に示されるように、それらの相関後のRGBカラー値に関連付けられたXYZカラー値を有するルックアップテーブルにおいて互いに相関させることができる。一実施形態では、ルックアップテーブルは、デジタルパソロジー画像を格納するデータ構造に埋め込むことができる。一実施形態では、XYZカラーデータと、RGBカラーデータの相関は、国際色コンソーシアム(ICC)プロファイルの一部としてデジタルパソロジー画像のデータ構造に含めることができる。例えば、先に述べたように、ルックアップテーブルは、デジタルパソロジー画像のデータ構造に埋め込むことができる、あるいはルックアップテーブル内の情報を数学的モデルまたは式または1セットの実行可能命令に変換することができ、モデルまたは式または命令セットをデジタルパソロジー画像のデータ構造に埋め込むことができる。モデルまたは式または命令セットを埋め込むことの利点は、モデルまたは式または命令セットのデータサイズがより小さくなり、それによってデジタルパソロジー画像データ構造のサイズが小さくなることである。別の利点は、モデルまたは式または命令セットが、例えばメタメリズムのために取り込まれる可能性のあるRGBカラーデータに対するXYZカラーデータの相関における小さな差異および不一致を平均化するように機能することである。メタメリズムは、実際には同じではない(すなわち、異なる波長の光を反射する)2つの色が、特定の照明条件下で同じように見える場合である。
一実施形態では、複数の異なる染色を有する複数のスライドから時間の経過とともに単一の結合ルックアップテーブルが生成される。有利には、任意のタイプの染色プロファイルを有する任意のタイプのデジタル病理スライドに対して単一の結合ルックアップテーブルを使用できるように、単一の結合ルックアップテーブルを生成し、時間とともに最適化することができる。
図6は、本発明の一実施形態による、スーパーピクセルプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を実証するための一例のプロセスを示す流れ図である。図示されたプロセスの特定のステップは、図4Aに関して先に説明したような画像プロセッサ装置によって実行されてよい。図示された実施形態では、最初にステップ400において試験スライドが準備される。先に考察したように、試験スライドは、標本、およびゼロまたはそれ以上の染料を用いて通常の方法で調製された任意のスライドであり得る。次に、ステップ410において、例えば図5に関して先に説明したプロセスを用いてルックアップテーブルが生成される。ルックアップテーブルは、下の表1のハイパースペクトルXYZ列および関連するデジタルパソロジーRGB列に示されるようなカラー値を含むことができ、ここでは各行は、ハイパースペクトルデジタル画像およびデジタルパソロジー画像内の同じカラーグループ(例えば、スーパーピクセル)を表している。
表1は、XYZカラー値におけるハイパースペクトル画像データと、RGBカラー値におけるデジタルパソロジー画像データと、XYZカラー値におけるデジタルパソロジー画像データとの相関を示す。
次に、ステップ420において、デジタルパソロジー画像のXYZ値が決定される。これは、少なくとも2つの方法で行うことができる。第1の方法は、デジタルパソロジー画像のRGB値から、例えばルックアップテーブルまたは式を使用して、デジタルパソロジー画像に関するXYZ値を計算することができることである。第2の方法は、デジタルパソロジー画像をディスプレイ上に提示することができ、XYZ値で色を測定する色測定装置(例えば、比色計または分光光度計)を使用して、ディスプレイから放出される色を測定することができることである。
最後に、ステップ430において、デジタルパソロジー画像の特定の領域(例えば、スーパーピクセル)に関して計算または測定されたXYZ値が、同じ領域に関するハイパースペクトル画像のXYZ値と比較される。このようなやり方で、デジタルパソロジー装置によって生成され、ディスプレイスクリーン上に提示された色情報を実証することができる。
図7A、図7Bおよび図7Cは、本発明の一実施形態による、ハイパースペクトルイメージングシステムによって走査された標本のカラー値と、デジタルパソロジーイメージングシステムによって走査された同一標本のスーパーピクセルカラー値との一例の比較を示すグラフ図である。デジタルパソロジーイメージングシステムからのXYZカラー値は、ディスプレイ上にデジタルスライド画像を提示し、色測定装置によってスーパーピクセル領域を測定することによって得られた。代替的として、スーパーピクセル領域は非常に小さく、故に色測定装置で測定することが困難であるため、スーパーピクセルに関するカラー値を使用してディスプレイ全体を単一の色で塗りつぶし、その後、色測定装置で測定する場合もある。グラフによって例示されるように、ディスプレイスクリーンから到来する際に測定されるカラー値は、ハイパースペクトルイメージングシステムによって測定される真のカラー値に極めて近く、平均差は2.18であり、これは特定の丁度可知差異を下回っている。
図7Aにおいて、グラフ200は、明度に関するシステムハイパースペクトル値と、明度に関するデジタルパソロジーディスプレイ値との比較を示す。同様に、図7Bにおいて、グラフ220は、緑色/赤色に関するシステムハイパースペクトル値と、緑色/赤色に関するデジタルパソロジーディスプレイ値との比較を示す。同様に、図7Cにおいて、グラフ240は、青色/黄色に関するシステムハイパースペクトル値と、青色/黄色に関するデジタルパソロジーディスプレイ値との比較を示す。加えて、グラフ200、220および240のそれぞれにおいて、非常に多数の個々の比較が存在することが明らかである。とりわけ、各個々の比較は、別々のスーパーピクセルに対応している。位置合わせプロセスの後、ハイパースペクトル画像およびデジタルパソロジー画像の画像ピクセルの数は同様に非常に大きいが、多数のスーパーピクセルを有する結果として、各スーパーピクセルに関するサンプルサイズ(すなわち画像ピクセルの数)は小さく、それ故データセットにおいてノイズが増大する。
図8は、本発明の一実施形態による合成XYZ画像650を形成するピクセルグループの一例のセットを示すブロック図である。図示の実施形態では、10個のインデックスがあり、すなわちインデックス1、600、インデックス2、605、インデックス3、610、インデックス4、615、インデックス5、620、インデックス6、625、インデックス7、630、インデックス8、635、インデックス9、640およびインデックス10、645が存在している。各インデックスは、基礎となるデジタル画像のための別個のカラーグループを表している。併せて組み合わせると、10個のインデックスは合成画像650になる。インデックスカラーパレット660は、各個々のインデックスに対応するカラー値の各々を表す。
個々のインデックス画像に見ることができるように、各インデックス画像は、特定の閾値の範囲内の同じカラー値を有する基礎となるデジタル画像内のすべての画像ピクセルの分散を表している。索引付けプロセスは、XYZデジタル画像またはRGBデジタル画像のいずれかに適用することができる。有利には、索引付けプロセスは、デジタル画像内の各ピクセルに関するカラー値を分析し、単一のカラー値に属するXーY位置にかかわらず、すべてのピクセルを識別する。図示の実施形態では、ハイパースペクトルイメージングシステムによって作成されようと、またはパソロジーイメージングシステムによって作成されようとデジタルパソロジー画像全体を約10個のカラー値に索引付けすることができる。デジタル画像内のすべての画像ピクセルを比較的少数のカラー値に索引付けすることの重要な利点は、各カラー値に関するサンプルサイズが大幅に増大し、これがノイズを大幅に低減することである。デジタル画像内のすべての画像ピクセルを比較的少数のカラー値に索引付けすることの別の利点は、最も少数のインデックスから最も広い範囲の平均カラー値を提供することである。
図9は、本発明の一実施形態による、索引付けプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を較正するための一例のプロセスを示す流れ図である。図示されたプロセスの特定のステップは、図4Aに関して先に説明したような画像プロセッサ装置によって実行されてよい。最初に、ステップ700において、スライドが取得される。先に考察したように、ゼロまたはそれ以上の染色を有する標本を有する任意の種類のスライドが好適である。次に、ステップ710において、ハイパースペクトル画像が走査され、XYZ画像として格納される。先に考察したように、ハイパースペクトル画像は、任意のタイプの走査システムハードウェアを使用して別々の画像タイルとして走査されてよい。次に、ステップ720において、カラーデジタルパソロジー画像が走査され、RGB画像として格納される。
次にステップ730において、先に説明したようにハイパースペクトル画像と、デジタルパソロジー画像が互いに位置合わせされる。画像の位置合わせには、X−Y整列、および画像ピクセルサイズなどの共通特性への変換が含まれる。ハイパースペクトル画像と、デジタルパソロジー画像が互いに位置合わせされると、ステップ740において、ハイパースペクトル画像を索引付けして、ハイパースペクトル画像内のすべての画像ピクセルを割り当てることができる1セットの色を特定する。簡素な実施形態では、索引付けプロセスは、インデックス値(すなわち、インデックスの総数)を受け取り、次いで、インデックスに割り当てられているそれぞれのピクセルのカラー値と全く同じではないカラー値によって規定される各々のピクセルを1つのインデックスに割り当てる作業に関連した誤差値を最小限にするようなやり方で、各ピクセルをその数のカラーグループにソートする。例えば、インデックスモジュール290は、任意のデジタル画像に対して10または15または20のインデックス値を使用するように構成されてよい。より複雑な実施形態では、インデックスモジュール290は、デジタル画像データを分析して、デジタル画像全体にわたって誤差値を最小限にする最少の数のインデックスに各ピクセルを割り当てる最適なインデックス値を決定するように構成される場合もある。
ひとたび個々の画像ピクセルがハイパースペクトル画像のインデックスに割り当てられると、それぞれのインデックスのカラー値は、それぞれのインデックス内のすべての個々の画像ピクセルのカラー値を平均することによって決定されて平均カラー値を決定し、その平均カラー値は、ステップ750に示されるように、ハイパースペクトル画像のそのそれぞれのインデックスに関するカラー値として決定される。
有利には、ハイパースペクトル画像内の結合されたインデックスは、ハイパースペクトル画像内のすべての画像ピクセルを含む。したがって、ハイパースペクトル画像と、デジタルパソロジー画像は互いに位置合わせされていることから、ハイパースペクトル画像に関するインデックスに含まれる同一の個々の画像ピクセルを、デジタルパソロジー画像に関する対応するインデックス内で一緒にグループ化するために、ハイパースペクトルからの各インデックスを、ステップ760においてデジタルパソロジー画像に適用させることができる。これは、ハイパースペクトル画像と、デジタルパソロジー画像が予め互いに位置合わせされ、そのそれぞれの画像ピクセルサイズが同じになるように調整されているために達成することができる。
ひとたびデジタルパソロジー画像の個々の画像ピクセルのすべてが1つのインデックスに割り当てられると、デジタルパソロジー画像の各それぞれのインデックスのカラー値は、それぞれのインデックス内のすべての個々の画像ピクセルのカラー値を平均することによって決定されて平均カラー値を決定し、その平均カラー値は、ステップ770に示されるようにそのそれぞれのインデックスに関するカラー値になるように決定される。
ひとたびハイパースペクトル画像内の様々なインデックスに関する平均カラー値、およびデジタルパソロジー画像内の同一インデックスに関する平均カラー値が確立されると、これらのカラー値は、ステップ780に示されるように、それらの相関したRGBカラー値に関連付けられたXYZカラー値を有するルックアップテーブルにおいて互いに相関させることができる。一実施形態では、ルックアップテーブルは、デジタルパソロジー画像を格納するデータ構造に埋め込むことができる。一実施形態では、XYZカラーデータは、国際色コンソーシアム(ICC)プロファイルの一部としてデジタルパソロジー画像のデータ構造に含まれる場合もある。前述したように、ルックアップテーブルまたは数学的モデルまたは式または命令セットは、デジタルパソロジー画像のデータ構造に埋め込むことができる。
前述したように、複数の異なる染色を有する複数のスライドから時間の経過とともに単一の結合されたルックアップテーブルを有利に生成することができる。有利には、任意のタイプの染色プロファイルを有する任意のタイプのデジタル病理スライドに対して単一の結合ルックアップテーブルを使用することができるように、単一の結合ルックアップテーブルが生成され、時間とともに最適化することができる。
図10は、本発明の一実施形態による、索引付けプロセスを使用してデジタルパソロジー走査装置によって生成されたカラー値を実証するための一例のプロセスを示す流れ図である。図示されたプロセスの特定のステップは、図4Aに関して先に説明したような画像プロセッサ装置によって実行されてよい。最初に、試験スライドがステップ800において準備される。先に考察したように、試験スライドは、標本、およびゼロまたはそれ以上の染色を用いて通常の方法で調製された任意のスライドであり得る。次に、ステップ810において、例えば図9に関して先に説明したプロセスを用いてルックアップテーブルが生成される。ルックアップテーブルは、下の表2のハイパースペクトルXYZ列および関連するデジタルパソロジーRGB列に示されるようなカラー値を含むことができ、ここでは各行は、ハイパースペクトルデジタル画像およびデジタルパソロジーデジタル画像における単一のカラー値(すなわちインデックス)を表している。
表2は、XYZカラー値におけるハイパースペクトル画像データと、RGBカラー値におけるデジタルパソロジー画像データと、XYZカラー値におけるデジタルパソロジー画像データとの相関を示す。
次に、ステップ820において、デジタルパソロジー画像におけるXYZ値が決定される。先に考察したように、これは、デジタルパソロジー画像のRGB値に基づいてデジタルパソロジー画像に関するXYZ値を計算することによって、またはディスプレイ全体にカラー値を提示し、XYZ値での色を測定する色測定装置を使用してディスプレイから放出される色を測定することによって行うことができる。
最後に、ステップ830において、デジタルパソロジー画像の特定のカラー値(例えばインデックス)に関して計算されたまたは測定されたXYZ値が、同一のインデックスに関するハイパースペクトル画像のXYZ値と比較される。このようなやり方で、デジタルパソロジー装置によって生成され、ディスプレイスクリーン上に提示された色情報を、ハイパースペクトルイメージングシステムによって測定された真の色に対して実証することができる。
図11A、図11Bおよび図11Cは、本発明の一実施形態による、ハイパースペクトルイメージングシステムによって走査された標本のインデックス付きのカラー値と、デジタルパソロジーイメージングシステムによって走査された同一標本のインデックス付きのカラー値との一例の比較を示すグラフ図である。デジタルパソロジーイメージングシステムからのXYZカラー値は、各インデックス付きカラー値をディスプレイ全体に提示し、ディスプレイの一部分を色測定装置で測定することによって得られた。グラフによって実証されるように、ディスプレイスクリーンから到来する際に測定されるカラー値は、ハイパースペクトルイメージングシステムによって測定される真のカラー値に極めて近く、特定の丁度可知差異を下回る平均差を有する。
図11Aにおいて、グラフ210は、明度に対するシステムハイパースペクトル値と、明度に対するデジタルパソロジーディスプレイ値との比較を示す。同様に、図7Bにおいて、グラフ230は、緑色/赤色に関するシステムハイパースペクトル値と、緑色/赤色に関するデジタルパソロジーディスプレイ値との比較を示す。同様に、図7Cにおいて、グラフ250は、青色/黄色に関するシステムハイパースペクトル値と、青色/黄色に関するデジタルパソロジーディスプレイ値との比較を示す。加えて、グラフ210、230および250のそれぞれにおいて、非常に少数の個々の比較が存在することが明らかである。とりわけ、各個々の比較は、別々のインデックスに対応している。有利には、少数のインデックスを有することは、各インデックス内に多数のピクセルをもたらすことになり、その結果、データセット内のノイズを削減する。図11A、図11B、図11Cを図7A、図7Bおよび図7Cと比較すると、測定値はより少ないが、ノイズによる分散ははるかに小さくなる。これは、平均カラーを決定するための基礎を形成する、各インデックス内に非常に多数の画像ピクセルを有するという利点を証明している。
図12Aは、本明細書に記載される様々な実施形態に関連して使用され得る一例のプロセッサ対応デバイス550を示すブロック図である。当業者によって理解されるように、デバイス550の代替形態も使用され得る。図示された実施形態では、装置550は、1つまたは複数のプロセッサ555と、1つまたは複数のメモリ565と、1つまたは複数のモーションコントローラ570と、1つまたは複数のインターフェースシステム575と、1つまたは複数の試料590を有する1つまたは複数のガラススライド585をそれぞれ支持する1つまたは複数の可動ステージ580と、試料を照射する1つまたは複数の照明系595と、光学軸に沿って進む光路605をそれぞれ画定する1つまたは複数の対物レンズ600と、1つまたは複数の対物レンズ位置決め装置630と、1つまたは複数の任意選択の落射照明系システム635と(例えば、蛍光スキャナシステムに含まれる)、1つまたは複数の集束光学系610と、そのそれぞれが試料590および/またはスライドガラス585上に別々の視野625を画定する1つまたは複数のラインスキャンカメラ615および/または1つまたは複数のエリアスキャンカメラ620と、を備えるデジタルイメージング装置(本明細書ではスキャナシステムまたは走査システムとも呼ばれる)として提示される。スキャナシステム550の様々な要素は、1つまたは複数の通信バス560を介して通信可能に結合される。以下の説明を簡単にするために、スキャナシステム550の様々な要素の各々の1つまたは複数が存在し得るが、これらの要素は、適切な情報を伝えるために複数で記載する必要がある場合を除いて単数で説明する。
1つまたは複数のプロセッサ555は、例えば中央処理装置(「CPU」)と、命令を並列に処理することが可能な別個のグラフィックス処理装置(「GPU」)とを含むことができる、あるいは1つまたは複数のプロセッサ555は、並列に命令を処理することが可能なマルチコアプロセッサを含む場合もある。特定の構成要素を制御するため、または画像処理のような特定の機能を実行するために、追加の別個のプロセッサが設けられる場合もある。例えば、追加のプロセッサは、データ入力を管理するための補助プロセッサ、浮動小数点演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用プロセッサ(例えば、デジタル信号プロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えばバックエンドプロセッサ)、ラインスキャンカメラ615、ステージ580、対物レンズ225および/またはディスプレイ(図示せず)を制御するための追加のプロセッサを含む場合がある。このような追加プロセッサは、別個の個別プロセッサであってよい、またはプロセッサ555と一体化される場合もある。
メモリ565は、プロセッサ555によって実行され得るプログラムのためのデータおよび命令の記憶装置を提供する。メモリ565は、例えばランダムアクセスメモリ、読み出し専用メモリ、ハードディスクドライブ、リムーバブルストレージドライブなどの、データおよび命令を格納する1つまたは複数の揮発性および永続性のコンピュータ可読記憶媒体を含んでよい。プロセッサ555は、メモリ565に格納された命令を実行し、通信バス560を介してスキャナシステム550の様々な要素と通信してスキャナシステム550の全体的な機能を実行するように構成される。
1つまたは複数の通信バス560は、アナログ電気信号を伝達するように構成された通信バス560を含むことができ、デジタルデータを伝達するように構成された通信バス560を含む場合もある。したがって、1つまたは複数の通信バス560を介するプロセッサ555、モーションコントローラ570および/またはインターフェースシステム575からの通信は、電気信号とデジタルデータの両方を含むことができる。プロセッサ555、モーションコントローラ570および/またはインターフェースシステム575はまた、無線通信リンクを介して走査システム550の様々な要素のうちの1つまたは複数と通信するように構成されてよい。
モーションコントロールシステム570は、ステージ580および対物レンズ600のXYZ移動を(例えば対物レンズ位置決め装置630を介して)正確に制御および調整するように構成される。モーションコントロールシステム570はまた、スキャナシステム550内の任意の他の可動部品の動きを制御するように構成されている。例えば、蛍光スキャナの実施形態では、モーションコントロールシステム570は、落射照明系システム635内の光学フィルタなどの動きを調整するように構成される。
インターフェースシステム575は、スキャナシステム550が他のシステムおよび人間のオペレータと連携して機能することを可能にする。例えば、インターフェースシステム575は、オペレータに直接に情報を提供するため、および/またはオペレータからの直接の入力を可能にするためにユーザインターフェースを含むことができる。インターフェースシステム575はまた、走査システム550と、直接接続された1つまたは複数の外部装置(例えば、プリンタ、取り外し可能な記憶媒体)との間、または画像サーバシステム、オペレータステーション、ユーザステーション、およびネットワーク(図示せず)を介してスキャナシステム550に接続される管理サーバシステムなどの外部装置との間の通信およびデータ転送を促進するように構成される。一実施形態では、色測定装置577は、ユーザインターフェース575から色情報を読み取り、色情報を1つまたは複数のXYZ値に変換するように構成されてよい。
照明系595は、試料590の一部を照射するように構成される。照明系は、例えば光源および照明光学系を含むことができる。光源は、光出力を最大にする凹面反射鏡と、熱を抑制するためのKG-1フィルタと、を備えた可変強度のハロゲン光源であり得る。光源は、任意のタイプのアークランプ、レーザまたは他の光源である場合もある。一実施形態では、照明系595は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が試料590を透過する光エネルギーを検知するように、透過モードで試料590を照射する。代替として、または組み合わせて、照明系595は、ラインスキャンカメラ615および/またはエリアスキャンカメラ620が試料590から反射された光エネルギーを検出するように、反射モードで試料590を照射するように構成される場合もある。概して、照明系595は、任意の既知の光学顕微鏡モードでの顕微鏡試料590のインテロゲーションに好適であるように構成される。
一実施形態では、スキャナシステム550は任意選択で、蛍光走査処理に対してスキャナシステム550を最適化するために落射照明系635を含む。蛍光走査処理は、特定の波長で光を吸収(励起)することができる感光性分子である蛍光分子を含む試料590の走査処理である。これらの感光性分子はまた、より高い波長でも光を放出する(発光)。このフォトルミネッセンス現象の効率は非常に低いため、放出される光の量は非常に低いことが多い。このような低量の放出される光は、典型的には、試料590を走査しデジタル化するための従来技術(例えば、透過モード顕微鏡法)を失敗させる。有利には、スキャナシステム550の任意選択の蛍光スキャナシステムの実施形態では、複数の線形センサアレイを含むラインスキャンカメラ615(例えば、時間遅延積分(TDI)ラインスキャンカメラ)の使用は、ラインスキャンカメラ615の複数の線形センサアレイの各々に試料590の同じ領域を曝すことによってラインスキャンカメラの光に対する感度を高める。これは、低い放射される光で微弱な蛍光試料を走査する場合にとりわけ有益である。
したがって、蛍光スキャナシステムの実施形態では、ラインスキャンカメラ615は、好ましくはモノクロTDIラインスキャンカメラである。有利には、モノクロ画像は、試料上に存在する様々なチャネルからの実際の信号のより正確な表現を提供するため、蛍光顕微鏡法において理想的である。当業者に理解されるように、蛍光試料590は、「チャネル」とも呼ばれる、異なる波長で光を放出する複数の蛍光色素によって標識することができる。
さらに、様々な蛍光試料のローエンドおよびハイエンド信号レベルは、ラインスキャンカメラ615が検知するために広いスペクトルの波長を提示するため、ラインスキャンカメラ615が検知することができるローエンドおよびハイエンド信号レベルも同様に広いことが望ましい。したがって、蛍光スキャナの実施形態では、蛍光走査システム550で使用されるラインスキャンカメラ615は、モノクロ10ビット64線形アレイTDIラインスキャンカメラである。走査システム550の蛍光スキャナの実施形態とともに使用するために、ラインスキャンカメラ615の様々なビット深度を使用することができることに留意されたい。
可動ステージ580は、プロセッサ555またはモーションコントローラ570の制御下で正確なXY移動を行うように構成されている。可動ステージはまた、プロセッサ555またはモーションコントローラ570の制御下でZ内を移動するように構成される場合もある。可動ステージは、ラインスキャンカメラ615および/またはエリアスキャンカメラによって画像データを取り込む間、試料を所望の位置に位置決めするように構成される。可動ステージはまた、試料590を走査方向に実質的に一定の速度まで加速させ、次にラインスキャンカメラ615による画像データ取り込みの間、ほぼ一定の速度を維持するように構成される。一実施形態では、スキャナシステム550は、可動ステージ580上の試料590の配置を助けるために、高精度かつ厳密に調整されたXYグリッドを使用する場合もある。一実施形態では、可動ステージ580は、X軸とY軸の両方で使用される高精度エンコーダを備えたリニアモータベースのXYステージである。例えば、非常に精密なナノメータエンコーダを走査方向の軸上で、ならびに走査方向に垂直な方向で、かつ走査方向と同一平面上にある軸上で使用することができる。ステージはまた、試料590がその上に配置されるガラススライド585を支持するように構成される。
試料590は、光学顕微鏡法によって調べることができるものであればいかなるものでもよい。例えば、ガラス顕微鏡スライド585は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、もしくは死んだ状態または生きている状態の、染色された、または染色されていない、標識された、または標識されていない任意の他のタイプの生物学的材料または物質を含む標本のための観察用の基板として頻繁に使用される。試料590はまた、マイクロアレイとして一般に知られている任意のおよびすべての試料を含む、任意のタイプのスライドまたは他の基板上に堆積される任意のタイプのDNAまたはDNA関連材料、例えばcDNAまたはRNAまたはタンパク質のアレイであってよい。試料590は、マイクロタイタープレート、例えば96ウェルプレートであってよい。試料590の他の例は、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料または機械加工された部品を含む。
対物レンズ600は、一実施形態では対物レンズ600によって画定された光軸に沿って対物レンズ600を移動させるために非常に精密なリニアモータを使用し得る対物位置決め装置630に取り付けられる。例えば、対物レンズ位置決め装置630のリニアモータは、50ナノメートルエンコーダを含むことができる。XYZ軸におけるステージ580と、対物レンズ600との相対的位置は、全体の走査システム550の動作のためのコンピュータ実行可能なプログラムされたステップを含め、情報および命令を格納するためにメモリ565を使用するプロセッサ555の制御下でモーションコントローラ570を使用して閉ループ様式で調整および制御される。
一実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有する平面アポクロマート(APO)無限補正対物レンズであり、この場合、対物レンズ600は、透過モード照明顕微鏡法、反射モード照明顕微鏡法および/または落射照明系モード蛍光顕微鏡法(例えば、オリンパス40X、0.75NAまたは20X、0.75NA)に適している。有利には、対物レンズ600は、色収差および球面収差を補正することが可能である。対物レンズ600は無限に補正されるため、対物レンズ600の上方の光路605に集束光学系610を配置することができ、この場合、対物レンズを通過する光ビームは平行光ビームとなる。集束光学系610は、対物レンズ600によって取り込まれた光信号を、ラインスキャンカメラ615および/またはエリアスキャンカメラ620の光応答素子上に集束させ、フィルタ、変倍レンズなどの光学部品を含むことができる。集束光学系610と組み合わされた対物レンズ600は、走査システム550の全倍率を提供する。一実施形態では、集束光学系610は、チューブレンズおよび任意選択の2X倍率変換器を含む場合もある。有利には、2X倍率変換器は、本来の20X対物レンズ600が40Xの倍率で試料590を走査することを可能にする。
ラインスキャンカメラ615は、画素(「ピクセル」)の少なくとも1つの線形アレイを含む。ラインスキャンカメラはモノクロであってもカラーであってもよい。カラーラインスキャンカメラは典型的には、少なくとも3つの線形アレイを有するが、モノクロラインスキャンカメラは、単一の線形アレイまたは複数の線形アレイを有する場合がある。カメラの一部としてパッケージ化されていようと、撮像電子モジュールにカスタム統合されていようと任意のタイプの単数または複数の線形アレイを同様に使用することができる。例えば、3つの線形アレイ(「赤−緑−青」または「RGB」)カラーラインスキャンカメラまたは96線形アレイモノクロTDIが使用されてもよい。TDIラインスキャンカメラは典型的には、標本の以前に撮像された領域からの強度データを合計することによって出力信号において実質的により優れた信号対雑音比(「SNR」)を提供し、積分段階の数字の平方根に比例するSNRの増大をもたらす。TDIラインスキャンカメラは、複数の線形アレイを備えており、例えば、TDIラインスキャンカメラは、24、32、48、64、96またはそれ以上の線形アレイとともに利用可能である。スキャナシステム550はまた、512画素を有するもの、1024画素を有するものおよび4096もの画素を有するものなどを含め、様々な様式で製造された線形アレイをサポートする。同様に、様々なピクセルサイズを有する線形アレイもまたスキャナシステム550において使用することができる。任意のタイプのラインスキャンカメラ615の選択に関する際立った要件は、ステージ580の動きをラインスキャンカメラ615のラインレートと同期させることができることで、ステージ580が、試料590のデジタル画像取得の間、ラインスキャンカメラ615に対して移動することができることである。
ラインスキャンカメラ615によって生成された画像データは、メモリ565の一部分に格納され、プロセッサ555によって処理されて、試料590の少なくとも一部の連続デジタル画像を生成する。連続デジタル画像は、プロセッサ555によってさらに処理することができ、修正された連続デジタル画像もメモリ565に格納することができる。
2つ以上のラインスキャンカメラ615を有する実施形態では、ラインスキャンカメラ615の少なくとも一方は、イメージングセンサとして機能するように構成されたラインスキャンカメラのうちの少なくとも一方と組み合わせて動作する集束センサとして機能するように構成することができる。集束センサは、イメージングセンサと同じ光路上に論理的に位置決めすることができる、または集束センサは、スキャナシステム550の走査方向に対してイメージングセンサの前または後に論理的に位置決めされる場合もある。集束センサとして機能する少なくとも1つのラインスキャンカメラ615を有するそのような実施形態では、集束センサによって生成された画像データは、メモリ565の一部分に格納され、1つまたは複数のプロセッサ555によって処理されて集束情報を生成することで、走査システム550が、試料590と、対物レンズ600との間の相対距離を調整して、走査の間、試料上に焦点を維持することを可能にする。
動作中、スキャナシステム550の様々な構成要素、およびメモリ565に格納されたプログラムモジュールは、ガラススライド585上に配置された試料590の自動走査およびデジタル化を可能にする。ガラススライド585は、試料590を走査するためにスキャナシステム550の可動ステージ580上に確実に配置される。プロセッサ555の制御下で、可動ステージ580は、ラインスキャンカメラ615による検知のために、試料590をほぼ一定の速度まで加速し、この場合ステージの速度は、ラインスキャンカメラ615のラインレートと同期する。画像データの1つの縞を走査した後、可動ステージ580は減速し、試料590がほぼ完全に停止するようにする。可動ステージ580は次いで、画像データの次の縞、例えば隣接する縞の走査に備えて試料590を位置決めするために走査方向に直交するように移動する。その後試料590のすべての部分または試料590全体が走査されるまで追加の縞が走査される。
例えば、試料590のデジタル走査処理の間、画像ストリップを形成するために一緒に結合された複数の連続する視野として、試料590の連続デジタル画像が取得される。複数の隣接する画像ストリップを同様に一緒に組み合わせて、試料590の一部または全体の連続デジタル画像を形成する。試料590の走査処理は、垂直画像ストリップまたは水平画像ストリップを取得することを含めてよい。試料590の走査処理は、上から下、下から上、または両方(双方向)のいずれであってもよく、試料上の任意の点から開始してよい。あるいは、試料590の走査処理は、左から右、右から左、または両方(双方向)のいずれであってもよく、試料上の任意の点から開始してよい。加えて、画像ストリップは、隣接する、または連続する方法で取得される必要はない。さらに、試料590の結果としての画像は、試料590全体の画像である場合もあれば、試料590の一部のみの画像である場合もある。
一実施形態では、コンピュータ実行可能命令(例えばプログラムされたモジュールおよびソフトウェア)がメモリ565に格納され、実行されると、走査システム550が本明細書に記載される様々な機能を実行することを可能にする。本記載では、「コンピュータ可読記憶媒体」という用語は、プロセッサ555による実行のためにコンピュータ実行可能命令を格納し走査システム550に提供するために使用される任意の媒体を指すために使用される。これらの媒体の例には、メモリ565と、例えばネットワーク(図示せず)を介して走査システム550と直接または間接的に通信可能に結合された任意の取り外し可能な、または外部の記憶媒体(図示せず)が含まれる。
図12Bは、電荷結合素子(「CCD」)アレイとして実装され得る単一の線形アレイ640を有するラインスキャンカメラを示す。単一の線形アレイ640は、複数の個々のピクセル645を含む。図示された実施形態では、単一の線形アレイ640は4096個のピクセルを有する。代替の実施形態では、線形アレイ640は、より多くのまたはより少ないピクセルを有する場合もある。例えば、線形アレイの一般的なフォーマットは、512、1024および4096個のピクセルを含む。ピクセル645は、直線状に配置されて、線形アレイ640の視野625を画定する。視野の大きさは、スキャナシステム550の倍率に応じて変化する。
図12Cは、3つの線形アレイを有するラインスキャンカメラを示しており、その各々はCCDアレイとして実装されてよい。3つの線形アレイが結合してカラーアレイ650を形成する。一実施形態では、カラーアレイ650内の個々の線形アレイは、異なる色の強さ、例えば赤色、緑色または青色を検出する。カラーアレイ650内の各個々の線形アレイからのカラー画像データが結合されて、カラー画像データの単一の視野625を形成する。
図12Dは、複数の線形アレイを有するラインスキャンカメラを示しており、その各々はCCDアレイとして実装されてよい。複数の線形アレイは結合してTDIアレイ655を形成する。有利には、TDIラインスキャンカメラは、標本の以前に撮像された領域からの強度データを合計することによってその出力信号において実質的により優れたSNRを提供し、線形アレイの数の平方根(積分段階とも呼ばれる)に比例するSNRの増大をもたらすことができる。TDIラインスキャンカメラは、より多様な数の線形アレイを含むことができ、例えばTDIラインスキャンカメラの一般的な様式は、24、32、48、64、96、120さらにはそれ以上の線形アレイを含む。
一例の実施形態
本出願の開示は、データおよび実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信可能に接続され、そこに格納された命令を実行するように構成された少なくとも1つのプロセッサと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたレジスタモジュールであって、標本の第1のデジタル画像をXYZカラーで取得し、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有しており、標本の第2のデジタル画像をRGBカラーで取得し、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有しており、第1のデジタル画像と、第2のデジタル画像を共通の画像ピクセルサイズに変換し、かつ第1のデジタル画像の変換後の画像ピクセルを第2のデジタル画像の対応する変換後の画像ピクセルに整列させるように構成されたレジスタモジュールと、を備えるシステムにおいて具現化されてよい。そのようなシステムは、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのプロセッサ対応装置として実装されてよい。
本出願の開示はまた、データおよび実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信可能に接続され、そこに格納された命令を実行するように構成された少なくとも1つのプロセッサと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたレジスタモジュールであって、標本の第1のデジタル画像をXYZカラーで取得し、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有しており、標本の第2のデジタル画像をRGBカラーで取得し、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有しており、第1のデジタル画像の画像データを第2のデジタル画像の対応する画像データに整列させ、かつ第1のデジタル画像と、第2のデジタル画像を共通の画像ピクセルサイズに変換し、第1のデジタル画像の変換後の画像ピクセルは、第2のデジタル画像の対応する変換後の画像ピクセルに整列されるレジスタモジュールと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたルックアップテーブルモジュールであって、第1のデジタル画像の複数の変換後の画像ピクセルのXYZカラー値と、第2のデジタル画像の複数の対応する変換後の画像ピクセルのRGBカラー値と、を関連付けるためにルックアップテーブルを生成するように構成されたルックアップテーブルモジュールと、を備えるシステムにおいて具現化される場合もある。そのようなシステムは、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのプロセッサ対応装置として実装されてよい。
本出願の開示は、データおよび実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信可能に接続され、そこに格納された命令を実行するように構成された少なくとも1つのプロセッサと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたレジスタモジュールであって、標本の第1のデジタル画像をXYZカラーで取得し、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有しており、標本の第2のデジタル画像をRGBカラーで取得し、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有しており、第1のデジタル画像の画像データを第2のデジタル画像の対応する画像データに整列させ、かつ第1のデジタル画像と、第2のデジタル画像を共通の画像ピクセルサイズに変換し、第1のデジタル画像の変換後の画像ピクセルが、第2のデジタル画像の対応する変換後の画像ピクセルに整列されるように構成されたレジスタモジュールと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたカラーモジュールであって、第1のデジタル画像における第1のセットの画像ピクセルを識別し、この場合、第1のデジタル画像における第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有しており、第1のデジタル画像における第1のセットの画像ピクセルに関する平均XYZカラー値を決定し、第2のデジタル画像における第2のセットの画像ピクセルを識別し、この場合、第2のデジタル画像における第2のセットの画像ピクセル内の各画像ピクセルは、第1のデジタル画像における第1のセットの画像ピクセル内の画像ピクセルに対応しており、第2のデジタル画像における第2のセットの画像ピクセルに関する平均RGBカラー値を決定するように構成されたカラーモジュールと、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行されるように構成されたルックアップテーブルモジュールであって、第1のデジタル画像における第1のセットの画像ピクセルの平均XYZカラー値と、第2のデジタル画像における対応する第2のセットの画像ピクセルの平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成するように構成されたルックアップテーブルモジュールと、を備えるシステムにおいて具現化されてよい。そのようなシステムは、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのプロセッサ対応装置として実装されてよい。
上述した3つのシステムの実施形態のいずれかは、第1のデジタル画像における第1のセットの画像ピクセル内の画像ピクセルの各々が、第1のデジタル画像における第1のセットの画像ピクセル内の少なくとも1つの他の画像ピクセルと隣接することもさらに具現化し得る。
あるいは、上述した3つのシステムの実施形態のいずれかは、第1のデジタル画像における第1のセットの画像ピクセル内の画像ピクセルの少なくとも一部が隣接していない、およびさらに、カラーモジュールが、第1のデジタル画像における複数の第1のセットの画像ピクセルを識別するようにさらに構成され、この場合、第1のデジタル画像における第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同じXYZカラー値を有することもさらに具現化し得る。
本出願の開示はまた、実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサであって、ハイパースペクトルイメージングシステムを使用して標本を走査して標本の第1のデジタル画像をXYZカラーで生成することと、デジタルパソロジーイメージングシステムを使用して同一標本を走査して標本の第2のデジタル画像をRGBカラーで生成することと、第1のデジタル画像を第2のデジタル画像に位置合わせして、第1のデジタル画像における画像データを、第2のデジタル画像における画像データに整列させることと、第1のデジタル画像のXYZカラーと、第2のデジタル画像のRGBカラーと、を関連付けるルックアップテーブルを生成することとを含むステップを実行するために命令を実行するように構成された少なくとも1つのプロセッサと備える技術システムにおいて具現化される場合もある。そのようなシステムは、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのプロセッサ対応装置として実装されてよい。
このシステムの実施形態は、ディスプレイ上に第2のデジタル画像を提示するためにディスプレイモジュールにXYZカラーデータを提供することをさらに含むことができる。
このシステムの実施形態は、第2のデジタル画像の一部としてXYZカラーデータを格納することをさらに含むことができる。
このシステムの実施形態は、第1のデジタル画像を第2のデジタル画像に位置合わせするためにパターンマッチングを使用することをさらに含むことができる。
このシステムの実施形態は、第1および第2のデジタル画像を作成する前に標本の上にグリッドを重ねることと、第1および第2のデジタル画像のグリッドを使用して第1のデジタル画像を第2のデジタル画像に位置合わせすることをさらに含むことができる。
このシステムの実施形態は、第1のデジタル画像および第2のデジタル画像のうちの1つまたは複数におけるピクセルを組み合わせることで、第1のデジタル画像のピクセルサイズを第2のデジタル画像のピクセルサイズと実質的に同一にすることをさらに含むことができる。
このシステムの実施形態は、単一の染色に対して単一のルックアップテーブルを生成することをさらに含むことができる。
このシステムの実施形態は、複数の染色に対して単一のルックアップテーブルを生成することをさらに含むことができる。
本出願の開示はまた、実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサであって、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、XYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、RGBカラーで生成することと、第1のデジタル画像を第2のデジタル画像に位置合わせして、第1のデジタル画像における画像データを、第2のデジタル画像における画像データに整列させることと、第2のデジタル画像をディスプレイ上に提示することと、色測定装置を利用して、第1の領域においてディスプレイ上に提示される色のXYZ値を測定することと、第1の領域の測定されたXYZ値を第1の領域に関する第1のデジタル画像のXYZ値と比較して、デジタルパソロジーシステムを実証することとを含むステップを実行する命令を実行するように構成された、少なくとも1つのプロセッサと、を備える技術システムにおいて具現化される場合もある。そのようなシステムは、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのプロセッサ対応装置として実装されてよい。
本出願の開示はまた、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、XYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、RGBカラーで生成することと、第1のデジタル画像のXYZカラーと、第2のデジタル画像のRGBカラーと、を関連付けるためのルックアップテーブルを生成することとを含む方法において具現化される場合もある。そのような方法は、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのシステムによって実施されてよい。
この方法の実施形態は、第1のデジタル画像における画像データを第2のデジタル画像における画像データに整列させることと、該整列に従って第1のデジタル画像のXYZカラーと第2のデジタル画像の対応するRGBカラーとを関連付けるためにルックアップテーブルを生成することとをさらに含んでよい。
この方法の実施形態は、第1のデジタル画像が第1の画像ピクセルサイズを有する複数の画像ピクセルを含み、第2のデジタル画像が第2の画像ピクセルサイズを有する複数の画像ピクセルを含む場合、第1のデジタル画像の画像ピクセルと、第2のデジタル画像の画像ピクセルを共通の画像ピクセルサイズに変換することと、変換後の第1のデジタル画像の画像ピクセルを、変換後の第2のデジタル画像の対応する画像ピクセルに整列させることとをさらに含む場合がある。
この方法の実施形態は、第1のデジタル画像における第1のセットの画像ピクセルを識別することであって、変換後の第1のデジタル画像における第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有する、第1のセットの画像ピクセルを識別することと、変換後の第1のデジタル画像における第1のセットの画像ピクセルに関する平均XYZカラー値を決定することと、変換後の第2のデジタル画像における第2のセットの画像ピクセルを識別することであって、変換後の第2のデジタル画像における第2のセットの画像ピクセル内の各画像ピクセルは、変換後の第1のデジタル画像における第1のセットの画像ピクセル内の画像ピクセルに対応する、第2のセットの画像ピクセルを識別することと、変換後の第2のデジタル画像における第2のセットの画像ピクセルに関する平均RGBカラー値を決定することと、変換後の第1のデジタル画像における第1のセットの画像ピクセルに関する平均XYZカラー値と、変換後の第2のデジタル画像における第2のセットの画像ピクセルに関する対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成することをさらに含んでよい。
本出願の開示はまた、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、第1のデジタル画像をXYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、第2のデジタル画像をRGBカラーで生成することと、第1のデジタル画像における画像データを第2のデジタル画像における画像データに整列させることと、該整列に従って、第1のデジタル画像のXYZカラーと、第2のデジタル画像の対応するRGBカラーと、を関連付けるためにルックアップテーブルを生成することとを含む方法において具現化される場合もある。そのような方法は、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのシステムによって実施されてよい。
この方法の実施形態は、第1のデジタル画像が第1の画像ピクセルサイズを有する複数の画像ピクセルを含み、第2のデジタル画像が第2の画像ピクセルサイズを有する複数の画像ピクセルを含む場合、第1のデジタル画像と第2のデジタル画像を、共通の画像ピクセルサイズに変換することと、第1のデジタル画像の変換後の画像ピクセルを、第2のデジタル画像の対応する変換後の画像ピクセルに整列させることとをさらに含む場合がある。
この方法の実施形態は、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセルを識別することであって、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは実質的に同一のXYZカラー値を有する、複数の第1のセットの画像ピクセルを識別することと、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセル内の各セットの画像ピクセルに関する平均XYZカラー値を決定することと、変換後の第2のデジタル画像における対応する複数の第2のセットの画像ピクセルを識別することであって、変換後の第2のデジタル画像における複数の第2のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは、変換後の第1のデジタル画像における画像ピクセルに対応する、複数の第2のセットの画像ピクセルを識別することと、変換後の第2のデジタル画像における複数の第2のセットの画像ピクセル内の各セットの画像ピクセルに関する平均RGBカラー値を決定することと、変換後の第1のデジタル画像における第1のセットの画像ピクセルの各々に関する平均XYZカラー値と、変換後の第2のデジタル画像における対応する第2のセットの画像ピクセルの対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成することとをさらに含んでよい。
本出願の開示はまた、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、第1のデジタル画像をXYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、第2のデジタル画像をRGBカラーで生成することと、第1のデジタル画像を第2のデジタル画像に位置合わせして、第1のデジタル画像における画像データを、第2のデジタル画像における画像データに整列させることと、第1のデジタル画像のXYZカラーと、第2のデジタル画像のRGBカラーと、を関連付けるルックアップテーブルを生成することとを含む方法において具現化される場合もある。そのような方法は、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのシステムによって実施されてよい。
この方法の実施形態は、ディスプレイ上に第2のデジタル画像を提示するためにディスプレイモジュールにXYZカラーデータを提供することをさらに含むことができる。
この方法の実施形態は、第2のデジタル画像ファイルの一部としてXYZカラーデータを格納することをさらに含むことができる。
この方法の実施形態は、第1のデジタル画像を第2のデジタル画像に位置合わせするためにパターンマッチングを使用することをさらに含むことができる。
この方法の実施形態は、第1および第2のデジタル画像を作成する前に標本にグリッドを重ねることと、第1および第2のデジタル画像のグリッドを使用して第1のデジタル画像を第2のデジタル画像に位置合わせすることをさらに含むことができる。
この方法の実施形態は、第1のデジタル画像における第1の画像ピクセルサイズを第2のデジタル画像における第2の画像ピクセルサイズと実質的に同一にするため、第1のデジタル画像および第2のデジタル画像の1つまたは複数におけるピクセルを組み合わせることをさらに含むことができる。
この方法の実施形態は、単一の染色に対して単一のルックアップテーブルを生成することをさらに含むことができる。
この方法の実施形態は、複数の染色に対して単一のルックアップテーブルを生成することをさらに含むことができる。
本出願の開示はまた、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、第1のデジタル画像をXYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、第2のデジタル画像をRGBカラーで生成することと、第1のデジタル画像を第2のデジタル画像に位置合わせして、第1のデジタル画像における画像データを第2のデジタル画像における画像データに整列させることと、第2のデジタル画像をディスプレイ上に提示することと、色測定装置を利用して、第1の領域においてディスプレイ上に提示される色のXYZ値を測定することと、第1の領域の測定されたXYZ値を第1の領域に関する第1のデジタル画像のXYZ値と比較してデジタルパソロジーシステムを実証することとを含む方法において具現化される場合もある。そのような方法は、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのシステムによって実施されてよい。
本出願の開示はまた、第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して標本の第1のデジタル画像をXYZカラーで生成することであって、第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有する、第1のデジタル画像をXYZカラーで生成することと、第2のイメージングシステムによって走査された標本の第2のデジタル画像を取得して標本の第2のデジタル画像をRGBカラーで生成することであって、第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有する、第2のデジタル画像をRGBカラーで生成することと、第1のデジタル画像を第2のデジタル画像に位置合わせして、第1のデジタル画像における画像データを、第2のデジタル画像における画像データに整列させることと、第1のデジタル画像と第2のデジタル画像を、共通の画像ピクセルサイズに変換することと、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセルを識別することであって、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルが、実質的に同一のXYZカラー値を有する、複数の第1のセットの画像ピクセルを識別することと、変換後の第1のデジタル画像における複数の第1のセットの画像ピクセル内の各セットの画像ピクセルに関する平均XYZカラー値を決定することと、変換後の第2のデジタル画像における対応する複数の第2のセットの画像ピクセルを識別することであって、変換後の第2のデジタル画像における複数の第2のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルが、変換後の第1のデジタル画像における画像ピクセルに対応する複数の第2のセットの画像ピクセルを識別することと、変換後の第2のデジタル画像における複数の第2のセットの画像ピクセル内の各セットの画像ピクセルに関する平均RGBカラー値を決定することと、変換後の第1のデジタル画像における第1のセットの画像ピクセルの各々に関する平均XYZカラー値と、変換後の第2のデジタル画像における対応する第2のセットの画像ピクセルの対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成することと、ルックアップテーブルからの第1の平均RGBカラー値をディスプレイの第1の領域に提示することと、色測定装置を利用して、ディスプレイの第1の領域からXYZ値を測定することと、ディスプレイの第1の領域から測定されたXYZ値をルックアップテーブルにおける第1の平均RGB値に対応する平均XYZ値と比較することとを含む方法において具現化される場合もある。そのような方法は、図4Aおよび図12A〜図12Dに関して先に説明したデジタルイメージング装置または画像処理装置などのシステムによって実施されてよい。
開示された実施形態の上記の説明は、当業者が本発明を作成または使用することを可能にするために提供される。これらの実施形態に対する様々な修正は、当業者に容易に明らかであり、本明細書に記載された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用することができる。したがって、本明細書に提示される説明および図面は、本発明の現時点で好ましい実施形態を表しており、したがって、本発明によって広く企図される主題を代表することが理解されるべきである。本発明の範囲は、当業者に明らかになる可能性のある他の実施形態を完全に包含し、したがって本発明の範囲はそれに限定されないことがさらに理解される。

Claims (28)

  1. データおよび実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、
    前記非一時的コンピュータ可読媒体と通信可能に接続され、そこに格納された命令を実行するように構成された少なくとも1つのプロセッサと、
    前記非一時的コンピュータ可読媒体に格納され、前記プロセッサによって実行されるように構成されたレジスタモジュールおよびスーパーピクセルモジュールと、
    を備えるシステムであって、
    前記レジスタモジュールは、標本の第1のデジタル画像をXYZカラーで取得し、前記第1のデジタル画像は、複数の画像ピクセルを有しており、
    前記スーパーピクセルモジュールは、前記第1のデジタル画像内の画像ピクセルを結合し、スーパーピクセルを作成し、
    前記レジスタモジュールは、前記標本の第2のデジタル画像をRGBカラーで取得し、前記第2のデジタル画像は、複数の画像ピクセルを有しており、
    前記スーパーピクセルモジュールは、前記第2のデジタル画像内の画像ピクセルを結合し、前記第1のデジタル画像のピクセルサイズに整合するスーパーピクセルを作成し、
    前記レジスタモジュールは、前記第1のデジタル画像と前記第2のデジタル画像とを共通の画像ピクセルサイズに変換し、
    前記レジスタモジュールは、前記第1のデジタル画像の前記変換後の画像ピクセルを、前記第2のデジタル画像の対応する変換後の画像ピクセルに整列させる
    ステム。
  2. 前記システムは、前記非一時的コンピュータ可読媒体に格納され、前記プロセッサによって実行されるように構成されたルックアップテーブルモジュールをさらに備え、
    記ルックアップテーブルモジュールは、前記第1のデジタル画像の複数の変換後の画像ピクセルのXYZカラー値を、前記第2のデジタル画像の複数の対応する変換後の画像ピクセルのRGBカラー値と、を関連付けるためにルックアップテーブルを生成するように構成される、
    請求項1に記載のシステム。
  3. データおよび実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、
    前記非一時的コンピュータ可読媒体と通信可能に接続され、そこに格納された命令を実行するように構成された少なくとも1つのプロセッサと、
    前記非一時的コンピュータ可読媒体に格納され、前記プロセッサによって実行されるように構成されたレジスタモジュールと、
    前記非一時的コンピュータ可読媒体に格納され、前記プロセッサによって実行されるように構成されたカラーモジュールと、
    前記非一時的コンピュータ可読媒体に格納され、前記プロセッサによって実行されるように構成されたルックアップテーブルモジュールと、
    を備えるシステムであって、
    前記レジスタモジュールは、
    標本の第1のデジタル画像をXYZカラーで取得し、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有しており、
    前記標本の第2のデジタル画像をRGBカラーで取得し、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有しており、
    前記第1のデジタル画像の画像データを、前記第2のデジタル画像の対応する画像データに整列させ、
    前記第1のデジタル画像と、前記第2のデジタル画像を共通の画像ピクセルサイズに変換し、前記第1のデジタル画像の前記変換後の画像ピクセルは、前記第2のデジタル画像の対応する変換後の画像ピクセルに整列されるように構成され、
    前記カラーモジュールは、
    前記第1のデジタル画像における第1のセットの画像ピクセルを識別し、前記第1のデジタル画像における前記第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有し、
    前記第1のデジタル画像における前記第1のセットの画像ピクセルに関する平均XYZカラー値を決定し、
    前記第2のデジタル画像における第2のセットの画像ピクセルを識別し、前記第2のデジタル画像における前記第2のセットの画像ピクセル内の各画像ピクセルは、前記第1のデジタル画像における前記第1のセットの画像ピクセル内の画像ピクセルに対応しており、
    前記第2のデジタル画像における前記第2のセットの画像ピクセルに関する平均RGBカラー値を決定するように構成され、
    前記ルックアップテーブルモジュールは、前記第1のデジタル画像における前記第1のセットの画像ピクセルの前記平均XYZカラー値を、前記第2のデジタル画像における前記対応する第2のセットの画像ピクセルの前記平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成するように構成される、
    システム。
  4. 前記第1のデジタル画像における前記第1のセットの画像ピクセル内の前記画像ピクセルの各々は、前記第1のデジタル画像における前記第1のセットの画像ピクセル内の少なくとも1つの他の画像ピクセルと隣接する、
    請求項3に記載のシステム。
  5. 前記第1のデジタル画像における前記第1のセットの画像ピクセル内の前記画像ピクセルの少なくとも一部は、隣接していない、
    請求項3に記載のシステム。
  6. 前記カラーモジュールは、前記第1のデジタル画像における複数の第1のセットの画像ピクセルを識別するようにさらに構成され、
    前記第1のデジタル画像における第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有する、
    請求項5に記載のシステム。
  7. 第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像内の画像ピクセルを結合し、スーパーピクセルを作成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第2のデジタル画像内の画像ピクセルを結合し、前記第1のデジタル画像のピクセルサイズに整合するスーパーピクセルを作成し、前記第1のデジタル画像と前記第2のデジタル画像とを共通の画像ピクセルサイズに変換するステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるためにルックアップテーブルを生成するステップと、
    を含む方法。
  8. 前記第1のデジタル画像の前記変換後の画像ピクセルを、前記第2のデジタル画像の対応する変換後の画像ピクセルに整列させるステップをさらに含み、
    ルックアップテーブルを生成するステップは、前記整列に従って、前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の対応する前記RGBカラーと、を関連付けるためにルックアップテーブルを生成するステップをさらに含む、
    請求項7に記載の方法。
  9. 第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像の前記画像ピクセルおよび前記第2のデジタル画像の前記画像ピクセルを、共通の画像ピクセルサイズに変換するステップと、
    前記第1のデジタル画像における第1のセットの画像ピクセルを識別するステップであって、前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有するステップと、
    前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセルに関する平均XYZカラー値を決定するステップと、
    前記変換後の第2のデジタル画像における第2のセットの画像ピクセルを識別するステップであって、前記変換後の第2のデジタル画像における前記第2のセットの画像ピクセル内の各画像ピクセルは、前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセル内の画像ピクセルに対応するステップと、
    前記変換後の第2のデジタル画像における前記第2のセットの画像ピクセルに関する平均RGBカラー値を決定するステップと、
    前記変換後の第1のデジタル画像の前記画像ピクセルを、前記変換後の第2のデジタル画像の対応する画像ピクセルに整列させるステップと、
    前記整列に従って、前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセルに関する前記平均XYZカラー値と、前記変換後の第2のデジタル画像における前記第2のセットの画像ピクセルの前記対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成するステップと、
    を含む、
    方法。
  10. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    前記少なくとも1つのプロセッサは、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    前記第1のデジタル画像内の画像ピクセルを結合し、スーパーピクセルを作成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第2のデジタル画像内の画像ピクセルを結合し、前記第1のデジタル画像のピクセルサイズに整合するスーパーピクセルを作成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    を含むステップを実行する命令を実行するように構成される、
    技術システム。
  11. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    前記少なくとも1つのプロセッサは、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    記第2のデジタル画像をディスプレイ上に提示するために、XYZカラーデータをディスプレイモジュールに提供するステップと、
    を含ステップを実行する命令を実行するように構成される
    技術システム。
  12. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    記第2のデジタル画像の一部としてXYZカラーデータを格納するステップと、
    を含ステップを実行する命令を実行するように構成される
    技術システム。
  13. 前記ステップは、パターンマッチングを使用して、前記第1のデジタル画像を前記第2のデジタル画像に位置合わせするステップをさらに含む、
    請求項10に記載のシステム。
  14. 前記ステップは、前記第1のデジタル画像および前記第2のデジタル画像を作成する前に前記標本の上にグリッドを重ねるステップと、前記第1のデジタル画像および前記第2のデジタル画像のグリッドを使用して前記第1のデジタル画像を前記第2のデジタル画像に位置合わせするステップと、をさらに含む、
    請求項10に記載のシステム。
  15. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップであって、前記ルックアップテーブルを生成するステップは、単一の染色に対して単一のルックアップテーブルを生成するステップを含ステップと、
    を含むステップを実行する命令を実行するように構成される
    技術システム。
  16. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップであって、前記ルックアップテーブルを生成するステップは、数の染色に対して単一のルックアップテーブルを生成するステップを含ステップと、
    を含むステップを実行する命令を実行するように構成される
    技術システム。
  17. 実行可能なプログラムモジュールを格納するように構成された非一時的コンピュータ可読媒体と、前記非一時的コンピュータ可読媒体と通信可能に結合された少なくとも1つのプロセッサと、を備える技術システムであって、
    前記プロセッサは、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第2のデジタル画像をディスプレイ上に提示するステップと、
    色測定装置を使用して、第1の領域において前記ディスプレイ上に提示される色のXYZ値を測定するステップと、
    前記第1の領域の前記測定されたXYZ値を前記第1の領域に関する前記第1のデジタル画像の前記XYZ値と比較して、デジタルパソロジーシステムを実証するステップと、
    を含むステップを実行する命令を実行するように構成される、
    技術システム。
  18. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像内の画像ピクセルを結合し、スーパーピクセルを作成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第2のデジタル画像内の画像ピクセルを結合し、前記第1のデジタル画像のピクセルサイズに整合するスーパーピクセルを作成するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    を含むステップを実行するように構成される、
    方法。
  19. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    記第2のデジタル画像をディスプレイ上に提示するために、XYZカラーデータをディスプレイモジュールに提供するステップと、
    を含ステップを実行するように構成される
    法。
  20. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップと、
    記第2のデジタル画像のファイルの一部としてXYZカラーデータを格納するステップと、
    を含ステップを実行するように構成される
    法。
  21. 前記ステップは、パターンマッチングを使用して、前記第1のデジタル画像を前記第2のデジタル画像に位置合わせするステップをさらに含む、
    請求項18に記載の方法。
  22. 前記ステップは、前記第1のデジタル画像および前記第2のデジタル画像を作成する前に前記標本の上にグリッドを重ね、前記第1のデジタル画像および前記第2のデジタル画像のグリッドを使用して前記第1のデジタル画像を前記第2のデジタル画像に位置合わせするステップをさらに含む、
    請求項18に記載の方法。
  23. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップであって、前記ルックアップテーブルを生成するステップは、単一の染色に対して単一のルックアップテーブルを生成するステップを含むステップと、
    を含ステップを実行するように構成される
    法。
  24. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の前記RGBカラーと、を関連付けるルックアップテーブルを生成するステップであって、前記ルックアップテーブルを生成するステップは、複数の染色に対して単一ルックアップテーブルを生成するステップを含むステップと、
    を含ステップを実行するように構成される
    法。
  25. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第2のデジタル画像をディスプレイ上に提示するステップと、
    色測定装置を使用して、第1の領域において前記ディスプレイ上に提示される色のXYZ値を測定するステップと、
    前記第1の領域の前記測定されたXYZ値を前記第1の領域に関する前記第1のデジタル画像の前記XYZ値と比較して、デジタルパソロジーシステムを実証するステップと、を含むステップを実行するように構成される、
    方法。
  26. 第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像内の画像ピクセルを結合し、スーパーピクセルを作成するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、複数の画像ピクセルを有するステップと、
    前記第2のデジタル画像内の画像ピクセルを結合し、前記第1のデジタル画像のピクセルサイズに整合するスーパーピクセルを作成するステップと、
    前記第1のデジタル画像における画像データを前記第2のデジタル画像における画像データに整列させるステップと、
    前記整列に従って、前記第1のデジタル画像の前記XYZカラーと、前記第2のデジタル画像の対応する前記RGBカラーと、を関連付けるためにルックアップテーブルを生成するステップと、
    を含む方法。
  27. 第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像および前記第2のデジタル画像を、共通の画像ピクセルサイズに変換するステップと、
    前記変換後の第1のデジタル画像における複数の第1のセットの画像ピクセルを識別するステップであって、前記変換後の第1のデジタル画像における前記複数の第1のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有するステップと、
    前記変換後の第1のデジタル画像における前記複数の第1のセットの画像ピクセル内の各セットの画像ピクセルに関する平均XYZカラー値を決定するステップと、
    前記変換後の第2のデジタル画像における対応する複数の第2のセットの画像ピクセルを識別するステップであって、前記変換後の第2のデジタル画像における前記複数の第2のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは、前記変換後の第1のデジタル画像における画像ピクセルに対応するステップと、
    前記変換後の第2のデジタル画像における前記複数の第2のセットの画像ピクセル内の各セットの画像ピクセルに関して平均RGBカラー値を決定するステップと、
    前記第1のデジタル画像の前記変換後の画像ピクセルを、前記第2のデジタル画像の対応する変換後の画像ピクセルに整列させるステップと、
    前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセルの各々に関する前記平均XYZカラー値と、前記変換後の第2のデジタル画像における前記対応する第2のセットの画像ピクセルの前記対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成するステップと、
    を含む方法。
  28. コンピュータで実現される方法であって、1つまたは複数のプロセッサが、
    第1のイメージングシステムによって走査された標本の第1のデジタル画像を取得して前記標本の前記第1のデジタル画像をXYZカラーで生成するステップであって、前記第1のデジタル画像は、第1の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    第2のイメージングシステムによって走査された前記標本の第2のデジタル画像を取得して前記標本の前記第2のデジタル画像をRGBカラーで生成するステップであって、前記第2のデジタル画像は、第2の画像ピクセルサイズを有する複数の画像ピクセルを有するステップと、
    前記第1のデジタル画像を前記第2のデジタル画像に位置合わせして、前記第1のデジタル画像における画像データを、前記第2のデジタル画像における画像データに整列させるステップと、
    前記第1のデジタル画像および前記第2のデジタル画像を、共通の画像ピクセルサイズに変換するステップと、
    前記変換後の第1のデジタル画像における複数の第1のセットの画像ピクセルを識別するステップであって、前記変換後の第1のデジタル画像における前記複数の第1のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは、実質的に同一のXYZカラー値を有するステップと、
    前記変換後の第1のデジタル画像における前記複数の第1のセットの画像ピクセル内の各セットの画像ピクセルに関する平均XYZカラー値を決定するステップと、
    前記変換後の第2のデジタル画像における対応する複数の第2のセットの画像ピクセルを識別するステップであって、前記変換後の第2のデジタル画像における前記複数の第2のセットの画像ピクセル内の各セットの画像ピクセル内の各画像ピクセルは、前記変換後の第1のデジタル画像における画像ピクセルに対応するステップと、
    前記変換後の第2のデジタル画像における前記複数の第2のセットの画像ピクセル内の各セットの画像ピクセルに関して平均RGBカラー値を決定するステップと、
    前記変換後の第1のデジタル画像における前記第1のセットの画像ピクセルの各々に関する前記平均XYZカラー値と、前記変換後の第2のデジタル画像における前記対応する第2のセットの画像ピクセルの前記対応する平均RGBカラー値と、を関連付けるためにルックアップテーブルを生成するステップと、
    前記ルックアップテーブルからの第1の平均RGBカラー値をディスプレイの第1の領域に提示するステップと、
    色測定装置を使用して、前記ディスプレイの前記第1の領域からXYZ値を測定するステップと、
    前記ディスプレイの前記第1の領域からの前記測定されたXYZ値を、前記ルックアップテーブルにおける前記第1の平均RGBカラー値に対応する平均XYZ値と比較するステップと、
    を含むステップを実行するように構成される、
    方法。
JP2018555249A 2016-04-20 2017-04-20 デジタルパソロジーのカラーキャリブレーションおよび実証 Active JP6771584B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662325330P 2016-04-20 2016-04-20
US62/325,330 2016-04-20
PCT/US2017/028532 WO2017184821A1 (en) 2016-04-20 2017-04-20 Digital pathology color calibration and validation

Publications (2)

Publication Number Publication Date
JP2019520721A JP2019520721A (ja) 2019-07-18
JP6771584B2 true JP6771584B2 (ja) 2020-10-21

Family

ID=60117014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555249A Active JP6771584B2 (ja) 2016-04-20 2017-04-20 デジタルパソロジーのカラーキャリブレーションおよび実証

Country Status (5)

Country Link
US (2) US10845245B2 (ja)
EP (2) EP3446083B1 (ja)
JP (1) JP6771584B2 (ja)
CN (2) CN109073454B (ja)
WO (1) WO2017184821A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11614363B2 (en) 2016-04-20 2023-03-28 Leica Biosystems Imaging, Inc. Digital pathology color calibration and validation

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945561B (zh) * 2017-06-13 2024-06-14 爱色丽公司 高光谱成像分光光度计和系统
CN111417986B (zh) * 2017-11-30 2024-05-28 徕卡生物系统成像股份有限公司 彩色监视器设置刷新
GB201817092D0 (en) * 2018-10-19 2018-12-05 Cancer Research Tech Ltd Apparatus and method for wide-field hyperspectral imaging
US10937193B2 (en) * 2018-12-05 2021-03-02 Goodrich Corporation Multi-sensor alignment and real time distortion correction and image registration
EP4010791A1 (en) 2019-08-06 2022-06-15 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
CN110706190B (zh) * 2019-09-30 2022-05-20 杭州智团信息技术有限公司 病理数字图像的色彩增强方法及装置
US11789667B2 (en) * 2019-11-05 2023-10-17 Hewlett-Packard Development Company, L.P. Printer colour deviation detection

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119186A (en) * 1989-09-28 1992-06-02 International Business Machines Corporation Color mapping system and method
DE69627183T2 (de) * 1995-11-30 2004-01-29 Chromavision Med Sys Inc Verfahren zur automatischen bildanalyse biologischer proben
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6330349B1 (en) * 1995-11-30 2001-12-11 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
US6118946A (en) * 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
EP1208367A4 (en) * 1999-08-06 2007-03-07 Cambridge Res & Instrmnt Inc DEVICE FOR SPECTRAL FIGURE
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US20020180764A1 (en) 2001-06-01 2002-12-05 John Gilbert Method and system for digital image management
JP2003209705A (ja) * 2002-01-15 2003-07-25 Seiko Epson Corp 画像データの出力調整
JP2003230154A (ja) * 2002-01-31 2003-08-15 Olympus Optical Co Ltd 顕微鏡用デジタルカメラ
US7613335B2 (en) 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7477931B2 (en) * 2004-12-06 2009-01-13 Cambridge Research & Instruments, Inc. Systems and methods for in-vivo and optical imaging and measurement
US8270709B2 (en) 2006-08-31 2012-09-18 Corel Corporation Color selection and/or matching in a color image
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
JP2009239419A (ja) * 2008-03-26 2009-10-15 Seiko Epson Corp プロファイル作成方法、プロファイル作成装置、プロファイル作成プログラムおよび印刷装置
JP2009290660A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
CN101750147A (zh) * 2008-12-11 2010-06-23 张辉 一种测量待测物件色彩光谱数据的方法及装置
US8077352B2 (en) * 2009-01-26 2011-12-13 Xerox Corporation GAMUT aim and GAMUT mapping method for spatially varying color lookup tables
JP5249799B2 (ja) * 2009-01-26 2013-07-31 浜松ホトニクス株式会社 画像出力システム、画像出力方法及び画像出力プログラム
FR2943038B1 (fr) * 2009-03-13 2012-07-27 Aircelle Sa Dispositif de degivrage,notamment pour nacelle d'aeronef
US20140001005A1 (en) * 2009-06-17 2014-01-02 Borgwarner Inc. Mechanical Slip Failsafe System For A Heavy-Duty Multi-Speed Fan Clutch
JP5498129B2 (ja) * 2009-11-09 2014-05-21 オリンパス株式会社 バーチャル顕微鏡システム
US8611654B2 (en) * 2010-01-05 2013-12-17 Adobe Systems Incorporated Color saturation-modulated blending of exposure-bracketed images
GB201000835D0 (en) * 2010-01-19 2010-03-03 Akzo Nobel Coatings Int Bv Method and system for determining colour from an image
US8467629B2 (en) * 2010-08-12 2013-06-18 High Technology Video, Inc. Methods and systems for automatic coloring of digital images
US8705833B2 (en) 2011-04-25 2014-04-22 The General Hospital Corporation Computer-aided staining of multispectral images
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP5958099B2 (ja) 2011-07-29 2016-07-27 株式会社リコー 測色装置、画像形成装置およびプログラム
KR20140106629A (ko) * 2011-11-30 2014-09-03 퀄컴 엠이엠에스 테크놀로지스, 인크. 색들을 보간하기 위한 방법들 및 장치
EP2788973B1 (en) * 2011-12-08 2022-01-26 Dolby Laboratories Licensing Corporation Mapping for display emulation based on image characteristics
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
US8976239B2 (en) 2012-08-24 2015-03-10 Datacolor Holding Ag System and apparatus for color correction in transmission-microscope slides
US10964001B2 (en) * 2013-01-10 2021-03-30 Akoya Biosciences, Inc. Multispectral imaging systems and methods
US20140300753A1 (en) * 2013-04-04 2014-10-09 Apple Inc. Imaging pipeline for spectro-colorimeters
JP2015035650A (ja) * 2013-08-07 2015-02-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6150779B2 (ja) * 2013-11-15 2017-06-21 富士フイルム株式会社 色変換テーブル作成装置及び方法、並びにプログラム
WO2015107889A1 (ja) * 2014-01-14 2015-07-23 有限会社パパラボ 着色検査装置および着色検査方法
US20160094826A1 (en) 2014-09-26 2016-03-31 Spero Devices, Inc. Analog image alignment
AU2015345199A1 (en) * 2014-11-10 2017-04-27 Ventana Medical Systems, Inc. Classifying nuclei in histology images
HUE032787T2 (en) 2014-11-11 2017-10-30 Instrument Systems Optische Messtechnik Gmbh Calibration colorimeter
US10019970B2 (en) * 2015-02-24 2018-07-10 Barco N.V. Steady color presentation manager
AU2016314704A1 (en) * 2015-09-02 2018-02-22 Providence Health & Services - Oregon Image processing systems and methods for displaying multiple images of a biological specimen
US10845245B2 (en) * 2016-04-20 2020-11-24 Leica Biosystems Imaging, Inc. Digital pathology color calibration and validation
JP2018136654A (ja) * 2017-02-21 2018-08-30 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11614363B2 (en) 2016-04-20 2023-03-28 Leica Biosystems Imaging, Inc. Digital pathology color calibration and validation

Also Published As

Publication number Publication date
US10845245B2 (en) 2020-11-24
EP4273806A3 (en) 2024-01-24
EP4273806A2 (en) 2023-11-08
CN109073454B (zh) 2021-12-21
EP3446083B1 (en) 2023-09-13
US11614363B2 (en) 2023-03-28
WO2017184821A1 (en) 2017-10-26
CN109073454A (zh) 2018-12-21
US20190137339A1 (en) 2019-05-09
CN114419114A (zh) 2022-04-29
JP2019520721A (ja) 2019-07-18
US20210048344A1 (en) 2021-02-18
EP3446083A1 (en) 2019-02-27
EP3446083A4 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP6771584B2 (ja) デジタルパソロジーのカラーキャリブレーションおよび実証
US10964001B2 (en) Multispectral imaging systems and methods
US10580128B2 (en) Whole slide multispectral imaging systems and methods
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
JP6869434B2 (ja) スライドラッククランプ装置
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP2020536271A (ja) 二次元および三次元の固定式z走査
JP6997312B2 (ja) カラーモニタ設定の更新
US11422349B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200929

R150 Certificate of patent or registration of utility model

Ref document number: 6771584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250