JP6366556B2 - 生物学的試片をスペクトル画像により分析する方法 - Google Patents

生物学的試片をスペクトル画像により分析する方法 Download PDF

Info

Publication number
JP6366556B2
JP6366556B2 JP2015191282A JP2015191282A JP6366556B2 JP 6366556 B2 JP6366556 B2 JP 6366556B2 JP 2015191282 A JP2015191282 A JP 2015191282A JP 2015191282 A JP2015191282 A JP 2015191282A JP 6366556 B2 JP6366556 B2 JP 6366556B2
Authority
JP
Japan
Prior art keywords
spectral
image
data
spectral data
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015191282A
Other languages
English (en)
Other versions
JP2016028250A (ja
Inventor
ディーム,マックス
バード,ベンジャミン
ミリュコビッチ,ミロス
リミゼウスキー,スタンレー,エイチ.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cireca Theranostics LLC
Original Assignee
Cireca Theranostics LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cireca Theranostics LLC filed Critical Cireca Theranostics LLC
Publication of JP2016028250A publication Critical patent/JP2016028250A/ja
Application granted granted Critical
Publication of JP6366556B2 publication Critical patent/JP6366556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/415Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N21/552Attenuated total reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • G01N2021/653Coherent methods [CARS]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1293Using chemometrical methods resolving multicomponent spectra
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Endocrinology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Description

本出願は、2010年6月25日に出願された米国特許出願第61/358,606、発明の名称「組織病理学的試片のスペクトル組織病理学によるデジタル染色(DIGITAL STAINING OF HISTOPHATHOLOGICAL SPECIMENS VIA SPECTRAL HISTOPHATHOLOGY)」の優先権を主張するものであり、その内容は、本願中に参照としてすべて取り込まれている。
本願発明は、医学的診断を提供する生物学的試片をスペクトル画像によって分析する方法に関する。生物学的試片は、外科的方法、生検、および培養サンプルにより得られた医学的試片を含んでもよい。
種々の病理学的方法は、異常なもしくはがん細胞を検知するために生物学的試片を分析するのに使用される。例えば、スタンダードな組織病理学では、染色された組織切片を顕微鏡を使い、病理学者の目視による観察を含む。典型的には、組織切片は、生検により患者から採られたものであり、サンプルは、凍結されてクリオミクロトームを使って切られる、もしくは、サンプルはホルマリン固定され、パラフィン包埋され、その後ミクロトームで切られる。組織切片は、適切な基材の上に乗せられる。パラフィン包埋組織切片は、続いて脱パラフィン化される。組織切片は、ヘマトキシリン−イオシン(H&E)染色により染色され、カバーガラスをかけられる。
組織サンプルは、10倍〜40倍の倍率で目視により観察される。拡大された細胞は、病理学者のメモリにあるデータベースと比較される。病理学者による染色された組織切片の目視による分析は、核および細胞の形態、組織構造、染色パターン、さらに免疫反応の浸潤などの細かい特徴を含んでおり、これによって異常な細胞もしくはがん細胞を検知する。
初期の転移もしくはミクロ転移と呼ばれる0.2〜2mmほどのサイズのがん細胞の小さな塊が疑われる場合、隣接する組織もサイトケラチン免疫染色などの免疫組織化学(IHC)液/対比染色により染色されてもよい。このような方法は、通常の臓器、例えばリンパ節などは、これらの染色に反応しないことから、組織病理学の感度を上げる。したがって、健康な細胞と病気な細胞との比較をより鮮明にすることができる。
ミクロ転移を検知する初めの方法は、標準的な組織病理学である。例えば、標準的な細胞病理学によるリンパ節へのミクロ転移の検知は、サイズの小ささやリンパ節組織内における異常な状態の特徴のなさから非常に大変なものである。しかしながら、このようなミクロ転移の検知は、病気の進行を知るためにも最も大事なことである。なぜなら、リンパ節に転移性の細胞がない場合、がんの進行はとどまっているかもしれないからである。一方で、リンパ節におけるミクロ転移を見過ごしたことに起因する誤陰性は、より積極的な治療を提言するべきであったにも関わらず楽観的な診断をだしてしまうことになる。
進行した病気を診断するためのスタンダードな組織病理学は、すでに構築されているが、多くの不都合を有している。特に、別々の病理学者による同じ組織切片の一診断における別々の診断はよく知られた不都合である。これは、この方法による病気の診断と病気の進行具合は、病理学者のメモリ内のデータベースと対象となる試片を比較することにより行われるからであり、これは本質的には主観的だからである。異なる診断は、特に、珍しいガンを診断する際や、病気の初期を診断する際に起こる。さらには、スタンダードな組織病理学には、非常に時間とお金がかかり、さらにヒトの目に頼っているため、結果を再度出すことが難しい。さらに、病理学者の疲労や、専門分野などが診断に影響する。
さらに、腫瘍をほとんど区別できない場合、ガンのタイプを区別するためには多くの免疫組織化学染色が必要になる。このような染色は、多数の平行に配置された細胞ブロックに対して行われることがある。この染色工程は、法外に高額になることもあり、また細胞サンプルが一つの細胞ブロックから診断できる細胞を少ししか提供しないこともある。
細胞の形態および組織の構造の特徴などに主に依存するスタンダードな細胞病理学による診断のばらつきを克服するために、細胞および組織の生化学的組成のスナップショットを撮る分光法が使われている。これにより、状態や病気のバリエーションに起因する生物学的試片の生化学的組成のバリエーションを検知することを可能にする。分光法により組織もしくは細胞サンプル検知することで、サンプルの一部分における化学組成のバリエーションを検出でき、これによって異常な細胞もしくはがん細胞の存在を検知する。遠赤外線細胞病理学(細胞の病気の研究)に分光法を利用することを、「スペクトル細胞病理(spectral cytopathology)(SCP)」と言い、遠赤外線分光法を組織病理学(組織の病気の研究)に利用することを「スペクトル組織病理学(spectral histopathology)(SHP)」と呼んでいる。
個々の尿管および培養細胞においてのSCPは、B.Bird et al Vibr.Spectrosc., 48 10 (2008)および M.Romeo et al., Biochim Biophys Acta, 1758,915 (2006)に記載されている。画像データに基づくSCPと、口内粘膜および子宮頚部細胞に利用するSCPは、WO2009/146425に記載に記載されている。口内粘膜細胞においてのSCPを介しての病気の進行のデモンストレーションは、K.Papamarkakis et al., Laboratory Investigations, 90, 589 (2010)に記載されている。ガン領域の影響の検知するためのSCPの感度および子宮頸部細胞のウィルス感染の感度に関するSCPのデモンストレーションは,K.Papamarkakis et al., Laboratory Investigations, 90, 589 (2010)に記載されている。
階層的クラスター解析(HCA)を介した肝臓組織のSHPを使用した組織の初めの無監督画像のデモンストレーションは、M.Diem et al., Biopolymers, 57,282(2000)に記載されている。リンパ節内の転移ガンの検知は、M.J.Romeo et al., Vibrational Spectrosc., 38,115 (2005)およびM.Romeo et al., Vibrational Microspectroscopy of Cells and Tissues, Wiely−Interscience, Hoboken, NJ (2008)に記載されている。大腸組織内のガン診断にHCA由来データでトレーニングニューラルネットワークの使用は、P.Lasch et al., J.Chemometrics, 20, 209 (2007)に記載されている。リンパ節内のミクロ転移および個々の転移ガン細胞の検知は、B.Bird., The Analyst,134, 1067(2009), B.Bird et al., BMC J.Clin. Pathology, 8, 1(2008), B.Bird et al., Tech. Cancer Res. Treatment, 10, 135 (2011)に記載されている。
分光法は、病気の初期のステージを示唆していることもある生物学的サンプル内における化学組成の微妙な変化についても警告するため有利である。これに対して、スタンダードな組織病理学では明らかな組織内の形態的変化は、顕著になるまでに時間がかかり、これは、病気の早期の検知を難しくしている。さらには、分光法は、病理学者に、目視により観察するよりも、より短時間に同じサンプルの細胞材料もしくは組織の広域サンプルを観察することを可能にする。さらに、分光法は、機械による測定に頼っていることから、客観的であり、デジタルで記録保存され再生でき、さらに数学的/統計的分析用に処理することができる。したがって、分光法から得られた結果は、スタンダードな組織病理学的方法で得られた結果よりも正確で、精密である。
スペクトルデータを得るには、様々技術が使われる。例えば、散乱効果を利用してシステム内の分子の振動を判断するラマン分光法を細胞もしくは組織サンプルを解析するのに使用してもよい。この方法は、N.Stone et al., Vibrational Spectroscopy for Medical Diagnosis, J.Wiley & Sons(2008),およびC.Krafft, et al., Vibrational Spectrosc.(2011)に記載されている。
ラマン分光法の散乱効果は、1010のうち1インシデントのフォトンがラマン散乱を起こすことから弱いと考えられている。したがって、ラマン分光法は、励起のために可視可能な狭く限定されたレーザービームもしくは近赤外線レーザービームを使用したとき最もよく作用する。これは、すなわち、スペクトル情報が採取されたスポットを左右する。このスポットの大きさは、顕微鏡の絞りおよびレーザーの波長によって変わるが、0.3μm〜2μmの範囲である。この小さいサイズのスポットは、大きな組織領域のデータの回収をできなくしており、これは、データが多くのスペクトルを含むこともあり、データを回収するのに長い時間を要するからである。したがって、ラマン分光法を使用したSHPは、小さい領域を選ぶ必要がある。この方法は、組織の広域な公平な解析というスペクトル画像の有利な点を否定している。
赤外線分光法を使ったSHPも、脳、肺、口内粘膜、子宮粘膜、甲状腺、結腸、皮膚、胸、気道、前立腺、およびリンパ節を含むが、これに限定されない組織の異常を検知するのに使用されている。赤外線分光法は、ラマン分光法と同様に、分子の振動に依存しているが、吸収効果であり、特定の条件を満たすと、1%〜50%のインシデント赤外線フォトンを吸収する。この結果、赤外線分光法によれば、ラマン分光法と比較して、より優れたスペクトル品質でより早くデータを回収することができる。さらには、赤外線分光法は、組織内の小さな組成の変化を検知する感度が非常にすぐれている。したがって、赤外線分光法を使用したSHPは、ミクロ転移を簡単に検知できることから転移が形成されるまで検知されないことが多い乳がんなどのガンの治療および予後の診断に特に有利である。数個の細胞レベルでの転移ガン細胞の小さいクラスターも検知できる。さらには、赤外線分光法を使用した空間的解像度は、ヒトの細胞のサイズでも可能であり、赤外線アレイ検知器を備えた市販の機器により数十から数千ピクセルスペクトルを数分で回収できる。
赤外線分光法を使用したSHPの方法は、Bird et al.,“Spectral detection of micro−metastates in lymph node histo−pathology”,J.Biophoton.2, No.1−2,37−46(2009)(以降 “Bird”)に記載されている。この方法は、リンパ節内のミクロ転移と個々の転移細胞を検知するために赤外線ミクロ分光法(IRMSP)と多変量解析を使用している。
Birdは、700〜4000cm−1の間にそれぞれ1650スペクトル強度ポイントを含む25600スペクトルを含むハイパースペクトル生画像を研究している。それぞれ400メガバイトを占めているこれらのデータは、インポートされてから前処理される。データの前処理は、900〜1800cm−1の範囲に波数を限定し、他の処理も含でいる。赤外線スペクトルの「指紋領域」は、タンパク質のペプチド結合のアミドIとアミドII振動バンドで占められている1700〜1450cm−1の範囲の「タンパク質領域」にさらに分けられる。この領域は、二次構造および三次構造の異なるタンパク質に対して非常に感度がよく、異なるタンパク質の量に依存する細胞内の特定の事象のステージを調べることができる。「リン酸領域」である900〜1350cm−1の低波数領域は、DNA、RNAおよびリン脂質にあるリン酸ジエステル結合の複数の振動を含んでいる。
Birdは、一体化したアミドIバンドを区別する最小強度を、組織を含まない範囲のピクセルを除くために課している。そして、ベクタの標準化とスペクトルベクタの二次微分への変換が行われた。続いて、データは、それぞれ、スペクトル類似性を決定するためにユークリッド距離を使った階層的クラスター解析(HCA)がおこなわれ、さらにクラスター形成のためにワード演算(Ward‘s algorithm)が行われた。
Birdの方法によれば、染色された組織切片のスライドの上にマーカーがついており、これによって、スペクトル分析される未染色の隣接組織にある領域に対応する領域をハイライトしている。スペクトル画像およびビジュアル画像の結果は、スペクトル画像と視覚的画像を物理的に重ねるために、スペクトル画像と視覚的画像をある特定の特徴を使用者によって位置合わせする。
Birdの方法では、スペクトル画像と視覚的画像の対応する領域は、視覚的観察とスペクトルデータとの間に関連がないか確認するために検査される。特に、染色された視覚的画像内において病理学者が観察した異常な細胞もしくはガン細胞は、染色された前記視覚的画像に重ね合わせたスペクトル画像で対応する領域を観察してもよい。したがって、疑似カラースペクトル画像内のパターンの外形が、染色された視覚的画像内における公知の異常な細胞もしくはガン細胞と対応することもある。染色された視覚的画像内で、病理学者によって、異常な細胞もしくはがん細胞である可能性があると観察された細胞は、疑似カラースペクトル画像の正確性を確認するのに使用してもよい。
Birdの方法は、しかしながら、スペクトル画像と視覚的画像の上でマーカーを視覚的に合わせる使用者の技術に頼っているため正確ではなかった。この方法は、しばしば、不正確であった。さらには、Birdの方法は、視覚的画像とスペクトル画像とを物理的に重ねていたが、二つの画像からそれぞれ得られたデータを統合することはなかった。画像を単に物理的に重ね合わせるだけだったので、重ね合わせた画像を将来の分析のために一緒に保存していなかった。
さらに、組織の異なる隣接した領域が、スペクトル画像および視覚的画像の対象となっていたことから、Birdの重ね合わせた画像は、同じ組織領域を映していなかった。これは、スペクトル画像と視覚的画像を合わせるのを難しくしており、したがって、視覚的画像の形態とスペクトル画像のカラーパターンとの間に差異があることもあった。
Birdの重ね合わせる方法における別の問題点として、視覚的画像が赤外線スペクトル画像と空間領域が同じでないことがあげられる。したがって、Birdのスペクトル画像と視覚的画像との空間解像度は異なっている。典型的には、赤外線画像内の空間解像度は、視覚的画像の解像度よりも低い。この解像度の違いに関して、赤外線領域に使用されたデータは、見たいポイントの周辺領域を選択してから拡大し、該領域を診断してもよく、さらにこれは一つのポイントではない。視覚的画像のすべてのポイントにおいて、診断を出すために必要な入力ポイントよりも広い領域が赤外線画像内にある。この解像度の違いに対しての処理は、Birdでは行われていない。その代わり、Birdは、Birdでは、視覚的画像内のポイントを選択する際は、重ね合わせることによりスペクトル画像内の情報も同じポイントであるとみなしており、それに従って、診断的合致もだされている。しかし、画像は、視覚的に同じであっても、診断としては同じではない。
合致した診断を出すためには、使用されるスペクトル画像は、目的の診断的特性を認識できるようトレーニングされ監督されている診断アルゴリズムから出されたものでなくてはならない。したがって、スペクトル画像クラスターは、合致した診断を作るための生化学的分類により動かされるアルゴリズム分類方式により限定され、使用者の選択による一致では行われない。これに対して、Birdは、診断を出すために、「無監督」のHCA画像と「監督された」染色視覚的画像とを比較しているだけである。HCA画像は、がん領域をかたどる境界(形状)の一致が病理学者によって視覚的に承認されるまで、手動でデンドグラムを切ることを含むクラスターを形成するためのルールと限定とを基に、診断を下すに至っていない共通するスペクトル特性の領域を特定する。この方法は、視覚的な比較を提供するだけである。
蛍光発色データの解析に基づく他の方法も存在しており、これは一般的には、外部タグの分散に基づいており、例えば、染色もしくはラベリング、もしくは自己蛍光として知られている内在する蛍光発色の変化を利用するもの等がある。これらの方法は、生化学的組成の認識および組成の変化の認識という意味においては、あまり診断的とは言えない。さらに、これらの方法は、ラマンもしくは赤外線などの視覚的分光法の技術である指紋感度がない。
スペクトル獲得技術の一般的な問題としては、膨大な量のスペクトルデータが生物学的サンプルを検査するときに得られてしまうことにある。この結果、データを解析する工程が、コンピューター的にも複雑になり時間がかかってしまう。スペクトルデータは、混乱したスペクトル特性を含んでいることがよくあり、これは、細胞もしくは組織の顕微鏡により得られた赤外線スペクトルによくみられており、たとえば、散乱もしくはベースラインなどである。したがって、スペクトルデータを前処理することにより、目的の細胞物質を分離するため、また混在したスペクトル特性を排除することは有用である。
混在したスペクトル特性の一つとして、ミー(Mie)散乱があげられ、これは、サンプルの形態依存的な影響である。この影響は、サンプルが、不均一で、さらにサンプルの調べる波長の大きさである粒子を含んでいる場合、赤外線吸収もしくは反射測定を妨害する。ミー散乱は、広域で波状の散乱特徴により起きており、赤外線吸収特性がこの上に重なってしまっている。
ミー散乱は、吸収および反射線の形状の混在も引き起こしているときがある。原則としては、純粋な吸収線は、吸収率の周波数依存性に対応しており、通常は、ガウス曲線、ローレンツ曲線、もしくはそれらの混合である。吸収曲線は、複雑な屈折率の虚部に対応している。反射は、複雑な屈曲率の実部に対応していて、さらに線の形状として分散している。この分散性は、数的KK変換による吸収線の形状から得られてもよく、もしくはフーリエ変換(FT)の実部からでもよい。
共鳴ミー(RMie)特性は、吸収および反射バンドの形の混合により起こり、これは、吸収率が最大を超えたとき(すなわち、吸収バンドの形の上に行ったとき)に屈折率が変則的な分散を起こすことにより引き起こされる。ミー散乱、もしくは屈折率に依存する他の光学的影響は、反射および吸収線の形状を混ぜてしまい、バンドの形状をゆがませ、周波数をずらしてしまう。
図1は、SCPおよびSHPの双方において観察された、分散したバンドの形状による吸収パターンの汚染を示している。図1における下にある線は、生物学的組織の通常の吸収スペクトルを示している。一方で、上にある線は、RMieの影響の分散成分による非常にひどく汚染されたスペクトルを示している。スペクトルのねじれは、化学的組成物とは別にみえるが、むしろサンプルの形状に依存している。バンド強度および周波数のずれは、バンドのずれが存在するために、未汚染と汚染されたスペクトル別のグループに分類してしまうほどスペクトル解析に悪影響を与える。図2では、広く波状のバックグラウンドの特徴を示している。赤外線ミクロ分光(IR−MSP)により重ねあわされた場合、これらの特徴は、球状粒子たとえば細胞核もしくは球状の細胞などによるミー散乱よるものだとされる。
IR−MSPスペクトルで重ね合わせた図1の分散線の形状の外見は、M.Romeo, et al., Vibrational Spectroscopy, 38, 129 (2005)(これ以降は、Romeo2005と言うこともある)において理論解析と共に報告されていた。Romeo2005は、ねじれたバンドの形状は、赤外線スペクトルの吸収特徴の上に分散(反射)成分が重ね合わさったことからおきるとしている。このような影響は、機械の制御ソフトの不正確な位相補正を引き起こしていた。特に、FTIR分光器内の獲得したままのインターフェログラムは、「チャープ(Chirped)」を起こしており、もしくはアシンメトリーであることがよくあり、これはFTの前に対称にする必要がある。これは、より短いインターフェロメーターのストロークによりダブルサイド型インターフェログラムを回収し、シンメトリーなインターフェログラムを出す位相補正を計算することで達成できる。
Romeo2005では、この処理が問題なく行われていると仮定しているが、これはねじれたスペクトル特性を出していた。ねじれたスペクトルの実部と虚部の位相を計算することでねじれたスペクトル特性を補正し、補正された位相の実部と虚部とからパワースペクトラムを再構築することを試みた。Romeo2005は、観察された赤外線スぺクトルの各吸収バンドにおいて、屈折率が変則的に分散することを報告している。ある特定の条件下では、種々の量の分散線の形状が、吸収スペクトルと重ねあわされ、もしくは混ぜあわされることが可能である。
吸収および反射バンド形状の間の数学的関連性は、クラマース・クローニッヒ(KK)変換によって提供され、これは二つ物理的現象と関係している。観察されたスペクトルにおいて分散(反射)および吸収による影響の混合が確認されており、該影響を「位相補正(PC)」とよばれる処理により補正する方法がRomeo2005において記載されている。分散および吸収の混在の原因については、間違って機械のソフトウェアの故障にあるとされているが、混在影響の原理はほとんど特定されていない。根底にある物理を完璧に理解していないため、提言された補正方法は適切に動いていなかった。
P.Bessan et al Analyst, 134, 1586(2009)およびP.Bessan et al., Analyst, 134 1171(2009)は、「共鳴ミー散乱」(RMieS)影響により、分散および吸収影響が混ざることがあると示している。スペクトルのねじれを補正するアルゴリズムおよび方法については、P.Bessan et al., “Resonant Mie Scattering (RMieS) correction of infrared spectra from highly scattering biological samples”, Analyst, 135, 268−277(2010)に記載されている。この方法は、A.Kohler et al., Appl. Spectrosc., 59, 707 (2005)およびA.Kohler et al., Appl. Spectrosc., 62, 259 (2008)に報告されている“Extension Multiple Signal Correction”(EMSC)法の延長である。
この方法では、多重線回帰モデルに純粋な吸収スペクトルのKK変換により得られた反射成分を含ませることで、赤外線スペクトルデータから非共鳴ミー散乱を取り除いている。この方法は、生データを利用しており、さらに「参照」スペクトラムをインプットとして使用している。参照スペクトラムは、反射の影響を計算するための、EMSCスケールにおける標準化特性においても使われる。参照スペクトラムは、アプリオリにあるわけではないので、Bessan et alあ、全データの平均スペクトラムを使用しており、もしくは「人工」のスペクトラムを利用しており、例えば、純粋なたんぱく質のマトリクスのスペクトラムなどを「シード」参照スぺクラムとして利用している。アルゴリズムを介して第一パスの後、得られた各スペクトラムは、次のパスでのすべてのスペクトルを得るための反復法用に使われてもよい。したがって、1000スペクトルのデータから1000RMieS−EMSC回収スペクトルから作られ、それぞれが次のパスのための独立した新しい参照スペクトラムとして使用され、これには1000000回収処理が必要である。「RMieS−EMSC」アルゴリズムと呼ばれるアルゴリズムを動かすためと、回収したアウトプットスペクトル安定したレベルのためには、複数回のパス(〜10)が必要であり、数日に及ぶコンピューターによる処理時間が必要であった。
RMieS−EMSCアルゴリズムは、何時間もしくは何日間もの時間がコンピューター処理に必要なため、スペクトルから散乱および分散線の形状を取り除く迅速なツーステップ法が確立された。これはB.Bird, M.Miljkoviv and M.Diem, “Two step resonant Mie scattering correction of infrared micro−spectral data:human”lymph node tissue“, J.Biophotonics, 3(8−9) 597−608 (2010)に記載されている。この方法は、純粋な吸収スペクトルのKK変換から得られた多数の分散成分と、van Hulst式(H.C.Van De Hulst, Light Scattering by Small Particles, Dover, Mineola, NY (1981)参照)を利用しコンピューターに得られるミー散乱曲線とを、Extended Multiplicative Signal Correction(EMSC)法と呼ばれる処理を経て、データ中のすべてのスペクトルに多数の分散成分を適合する工程を含み、そしてこれらの混在成分を除いたすべてのスペクトルを再構築する
このアルゴリズムは、データの中から汚染されていない参照スペクトルを利用することにより、RMieS−EMSCアルゴリズムで使用される反復法を使用することを避けることができる。これらの汚染されていない参照スペクトルは、データのプレリミナリーなクラスター解析を行い、さらに「汚染されていない」スペクトルとしての各クラスター内の最も高いアミドI周波数のスペクトルを選択することで見つけることができる。該スペクトルは、数的KK変換により純粋な反射スペクトルに変換され、上述のようにRMieS補正のためのMie曲線と共に圧縮された干渉スペクトルとして使われる。この方法は、早いが、しかしながら、いくつかのスペクトルクラスデータのときのみ上手く働く。
多くの組織タイプを有しているスペクトルデータの場合、しかしながら、汚染されていないスペクトルを抽出することは非常に煩雑になる。さらに、このような条件下では、最も適切な干渉スペクトルへのデータ内のすべてのスペクトルの適合が担保されているか不明である。さらには、このアルゴリズムは、補正のために参照スペクトルを必要としており、たくさんのデータを有するときにおいて最もよく働く。
上述のように、医学的診断を提供するためのスペクトル画像による生物学的解析の改善された方法が必要とされている。
さらには、修正された位相補正方法を基にした、データのインプットを必要とせず、コンピューター処理が早く、細胞および組織のミクロ分光獲得赤外線スペクトルにおいてよく観察される混在スペクトルの影響を考慮できる改善された前処理の方法も必要とされている。
本願発明の一課題は、医学的診断を提供するためのスペクトル画像により生物学的試片を解析する方法に関する。該方法は、生物学的試片のスペクトル画像と視覚的画像を得る工程と、細胞異常、前がん細胞、がん細胞等を検知するために画像を登録する工程とを含む。この方法は、前述の問題点を解決するたけでなく、スタンダードな組織病理およびスペクトル法に内在する診断のバイアスや不確実性を排除する。
本願発明の他の課題は、スペクトルデータの位相補正を行うことにより、マイクロ分光法により得られた赤外線スペクトルにおいてよく観察される混在スペクトルの影響を補正する方法に関する。この位相補正方法は、反射成分に汚染されている種々の吸収スペクトルを補正するのに使用してもよい。
本願発明においては、スペクトル画像により生物学的試片を解析する方法は、生物学的試片のスペクトル画像を得る工程と、該生物学的試片の視覚的画像を得る工程と、視覚的画像とスペクトル画像とを登録する工程とを含む。
本願発明の課題に係るデータ保存を行う方法は、病気もしく状態を示す視覚的画像の領域を特定する工程と、視覚的画像の該領域をスペクトルデータの領域と関連付ける工程と、スペクトルデータと該病気もしくは症状においての関係を保存する工程とを含む。
本願発明の課題に係る医学的診断を提供する方法は、生物学的試片の分光法データを得る工程と、該生物学的試片の分光法データを、保存されたデータ内の関連する病気もしくは状態と比較する工程と、生物学的試片のスペクトル画像と保存データとの間の関連を特定する工程と、特定に関係した診断を出す工程とを含む。
本願発明の課題に係る医学的診断を提供するシステムは、プロセッサー、プロセッサーを介するユーザーインターフェース、プロセッサーがアクセス可能な保存場所を含み、生物学的試片のスペクトルデータを得て、生物学的試片のスペクトルデータは、病気もしくは状態に関連した保存データと比較し、生物学的試片のスペクトルデータと保存データとの間に関連があれば特定し、特定に関連した診断を出す。
本願発明の課題に係るコンピュータープログラムプロダクトは、コンピューターから医学的診断を出すようにする制御ロジックを有するコンピューター使用可能な媒体を有する。該制御ロジックは、生物学的試片のスペクトルデータを得るためのコンピューター可読な第一プログラムコード手段と、生物学的試片のスペクトルデータと病気もしくは状態と関連した保存データとを比較するためのコンピューター可読な第二プログラムコード手段と、保存データと生物学的試片のスペクトルデータとの関連性を特定するためのコンピューター可読な第三プログラムコード手段と、特定に関連した診断を出すためのコンピューター可読な第四プログラムコード手段とを含む。
図1は、SCPおよびSHPの双方で典型的に観察される分散バンド形状による吸収パターンの汚染を示している。 図2は、球状粒子によるミー散乱により、細胞のIR−MSPスペクトルにおいて典型的に観察される広域で波状のバックグランド特性を示す。 図3は、本願発明に係るスペクトル画像により生物学的サンプルを解析する方法のフローチャートである。 図4は、本願発明に係るスペクトル画像を得る方法のフローチャートである。 図5は、本願発明に係るスペクトル画像の前処理方法のフローチャートである。 図6Aは、本願発明に係る典型的なスペクトラムを線状バックグラウンドに重ね合わせたものである。図6Bは、本願発明に係る二次微分スペクトラムの例を示す。 図7は、本願発明に係る実部のインターフェログラムを示す。 図8は、本願発明に係る干渉されていないスペクトラムと想定した位相補正後の最大強度を作る位相角度を示す。 図9Aは、本願発明に係る、ベースラインの傾きに似た散乱影響の汚染を受けている吸収スペクトラムを示す。図9Bは、順方向FTの虚部は、スペクトルの境界において著しく曲げる影響を与えることを示しており、これが本願発明に係る補正されたスペクトルを汚染することを示す。 図10Aは、本願発明において、乳がんからのミクロ転移が確認されているリンパ節のH&Eによる組織病理を示す。 図10Bは、本願発明に係る図10Aのリンパ節に対して行われた階層的クラスター解析(HCA)によるデータの細分化を示す。 図10Cは、本願発明に係る各スペクトラムにおけるアミドI振動バンドのピーク周波数を示すプロットである。 図10Dは、本願発明に係るRMieS補正を使った位相補正後の図10Aの同じリンパ節の切片の画像である。 図11Aは、本願発明に係る図10DのRMieS補正を使った位相補正後のHCAの結果を示す。 図11Bは、本願発明に係る図11Aのリンパ節切片のH&Eによる組織病理である。 図12Aは、染色された子宮頚部の切片の視覚的な顕微鏡画像である。 図12Bは、本願発明に係る組織の染色前に集めた赤外線データの階層的クラスター解析から作られた赤外線スペクトル画像を示す。 図13Aは、本願発明に係る、H&E染色されたわきの下のリンパ節の切片の視覚的な顕微鏡画像である。 図13Bは、本願発明に係る、染色前の組織から集められた赤外線データの人工ニューラルネットワーク(ANN)解析から作られた赤外線スペクトル画像である。 図14Aは、本願発明に係る、小細胞肺がん組織の視覚的画像である。 図14Bは、本願発明に係る、図14Aに示す組織のHCAに基づくスペクトル画像である。 図14Cは、本願発明に係る、図14Aの視覚的画像と図14Bのスペクトル画像の登録された画像である。 図14Dは、本願発明に係る、登録された図14Cの画像のグラフィカルユーザーインターフェース(GUI)の例示である。 図15Aは、本願発明に係る、H&E染色されたリンパ節の組織切片の視覚的な顕微鏡画像である。図15Bは、図15Aに示す切片のグローバルデジタル染色画像であり、本願発明に係る、リンパ節の被膜と内部を区別するものである。図15Cは、図15Aに示す切片の診断用デジタル染色画像であり、本願発明に係る、皮膜、転移乳がん、組織球、活性化Bリンパ球、およびTリンパ球を区別するものである。 図16は、本願発明に係る、グローバルおよび診断的デジタル染色の間の関係を模式的に示す。 図17Aは、本願発明に係る、わきの下のリンパ節から得られたH&E染色した切片の視覚的画像である。図17Bは、本願発明に係る、乳がんのミクロ転移のSHPに基づくデジタル染色領域である。図17Cは、本願発明に係る、Bリンパ球に占められた領域のSHPに基づくデジタル染色である。図17Dは、本願発明に係る、組織球に占められた領域のSHPに基づくデジタル染色である。 図18は、本願発明に係る、個々のがん細胞の検知を示しており、さらにSHPを介した小さなクラスターの検知も示している。 図19Aは、本願発明に係る、肺腺ガン、小細胞がん、扁平上皮がん細胞から記録された細胞スペクトルを有する生スペクトルデータを示す。 図19Bは、本願発明に係る、肺腺ガン、小細胞がん、扁平上皮がん細胞から記録された細胞スペクトルの補正されたスペクトルデータを示す。 図19Cは、本発明にかかる、肺腺がん、小細胞がんおよび扁平上皮がんの標準的なスペクトルを示す。 図19Dは、図19Cのスペクトルから算出されたKK変換スペクトルを示す。 図19Eは、本願発明に係る、EMSC補正前の多重クラスデータのPCAスコアプロットを示す。 図19Fは、本願発明に係る、EMSC補正後の多重クラスデータのPCAスコアプロットを示す。 図20Aは、本願発明に係る、肺腺がん、小細胞がん、および扁平上皮がんの平均吸収スペクトルを示す。 図20Bは、本願発明に係る、図20Aに図示した吸収スペクトルの二次微分スペクトルを示す。 図21Aは、本願発明に係る、腺がん、小細胞がん、および扁平上皮がんをそれぞれ有する1mmx1mmの組織領域のR&E染色した4スティッチ画像を示す。図21Bは、本願発明に係る、図21Aに図示した組織領域から記録した4スティッチ画像の赤外線の生画像を1350cm−1〜900cm−1スペクトル領域での急減RCA解析により構築したバイナリマスク画像である。図21Cは、本願発明に係る、診断的細胞形質成分の領域から記録された散乱補正スペクトルデータの6クラスターRCA画像である。 図22は、本願発明に係るコンピューターシステムの使用に関連した種々の特徴を示す。 図23は、本願発明に係るコンピューターシステムの使用に関する。
特に記載がない限りは、ここで使用する技術的および科学的用語は、本願発明が属する分野の当業者が通常理解するものと同じことを意味する。しかしながら、上述の方法および材料と同じものを実施もしくは検査に使用してもよいが、好適な方法および材料を以下に記載する。すべての刊行物、特許出願、特許および他の引用文献はその内容すべてを参照としてここに組み込んでいる。もしも矛盾がある場合には、定義も含めて、本明細書において調整する。さらに、材料、方法および実施例等は、例示として記載しているものであり、本願はこれに限定されるものではない。
本願発明の一態様は、医学的診断を提供するためのスペクトル画像により生物学的試片を解析する方法に関する。生物学的試片は、外科的方法、生検、および培養物から得られる医学的試片でもよい。該方法は、生物学的試片のスペクトル画像および視覚的画像を得る工程と、細胞異常、前ガン細胞およびがん細胞を検知するために該画像を登録する工程とを含む。該生物学的試片は、組織もしくは細胞サンプルを含んでもよいが、組織サンプルは好ましくは何らかに利用される。この方法は、乳がん、子宮がん、精巣腫瘍、卵巣腫瘍、前立腺がん、小細胞肺がん、非小細胞肺がん、メラノーマなどの異常もしくはガン化およびその他の障害を特定するが、決してこれには限定されず、さらにに、炎症、壊死、アポトーシスを含む非がん化影響についても検知する。
本願発明に係る一つの方法では、スタンダードな組織病理および他のスペクトル方法に内在する診断のバイアスもしくは非信頼性を排除、もしくは減して前述の課題を解決する。さらに、定量および再現可能な手段で、そして従来の組織病理に対して較正されたアルゴリズムにより解析されて作られた、組織タイプのスペクトルデータにアクセスできるようにする。この方法により、例えば、異常な細胞およびがん細胞を標準的な組織病理や他のスペクトル技術を含む従来技術よりも早期に検知することができるようになる。
本願発明に係る方法を図3のフローチャートに図示している。図3に示すように、該方法は、一般的には、生物学的切片を得る工程301と、該生物学的切片のスペクトル画像を得る工程302と、該生物学的切片の視覚的画像を得る工程303と、画像登録を行う工程304と、を含む。登録された画像は、任意でトレーニング工程305を行ってもよく、そして医学的診断を得る工程306となる。
生物学的切片
図3に示す本願発明の方法の例によれば、生物学的切片を得る工程301は、ヒトもしくは動物などの個体から組織もしくは細胞物質を採取することを意味する。組織切片は、コア生検、パンチ生検、切除などの方法により得ることができるが、これに限定されるわけではない。細胞物質は、スワビング(剥離)、洗浄、穿刺吸引(FNA)などにより得られるが、これに限定されるわけではない。
スペクトル画像および視覚的画像を撮る組織切片は、標準的な組織病理の方法では、凍結組織ブロック、もしくはパラフィン包埋ブロックから作られる。組織切片は、スライドの上に載せられ、スペクトル画像もしくは視覚的画像の双方に利用されてもよい。例えば、該組織は、これに限定されるわけではないが、フッ化カルシウム(CaF)を有する赤外線透過性顕微鏡スライドの上に載せられてもよく、もしくは市販の「low−e」スライドなどの低反射スライドの上にのせられてもよい。スライドに乗せたあとは、パラフィン包埋サンプルは脱パラフィン化されてもよい。
スペクトル画像
本願発明によれば、図3に示す生物学的切片のスペクトル画像を得る工程302は、図4に示すように、生物学的切片のスペクトルデータを得る工程401と、データの前処理を行う工程402と、多変量解析を行う工程403と、該生物学的切片のグレースケールもしくは疑似カラー画像を作成する工程404とを含んでもよい。
スペクトルデータ
図4に示すように、生物学的切片のスペクトルデータは、工程401により得ることができる。例えば、組織サンプルなどの未染色生物学的サンプルのスペクトルデータは、該サンプルの化学組成のスナップショットを撮るために得てもよい。該スペクトルデータは、各ピクセルが細胞核ほどのサイズである詳細なピクセルでの組織切片から得てもよい。各ピクセルは、それぞれにスペクトルパターンを有しており、サンプルからのスペクトルパターンを比較すると、組織の生化学的組成において小さくても繰り返しのある違いを示すこともある。
スペクトルデータは、赤外線、ラマン、可視、テラヘルツ、および蛍光分光法を含む方法に得ることができるが、これに限定されるわけではない。赤外線分光法は、全反射法(ATR)および全反射型フーリエ変換赤外線分光法(ATR−FTIR)を含むが、これに限定されるわけではない。一般的には、赤外線分光法は、その指紋感度により利用されるが、これはラマン分光法でも同じである。赤外線分光法は、より広域な組織切片に使用されてもよく、さらに、ラマン分光法よりも扱いやすいサイズのデータを提供するのにも利用される。さらに、赤外線分光法データは、完全に自動的なデータ入手するのがより簡単で、さらに解析しやすい。さらに、赤外線分光法は、種々の組織構造および病気の診断に必要な感度と特異性を有している。
スペクトルデータの強度軸は、一般的に、吸収度、反射度、照射度、散乱強度などの光源の好適な測定を表す。波長は、実際の波長、波数、周波数、もしくは電磁波放射のエネルギーなどと関連する。
赤外線データを得る工程は、現在使用可能なフーリエ変換(FT)赤外線画像マイクロ分光光度計、量子カスケードもしくは非線形光学機器などの波長可変レーザー、もしくは異なる技術基づく機能的に同等な他の機器を利用して行ってもよい。波長可変レーザーを使ったスペクトルデータを得る工程は、米国特許出願第13/084,287、タイトル“Turnble Laser−Based Infrared Imaging System and Method of Use Thereof”に記載されており、その内容はすべて参照としてここに組み込まれている。
本願発明の方法によれば、病理学者もしくは技術者は、染色された組織のどの部分を選択してもよく、染色前の組織ために集められたハイパースペクトル画像をもとに、組織領域の分光法に基づく評価をリアルタイムに入手できる。スペクトルデータは、選択された未染色の組織サンプル内の各ピクセル用に集めてもよい。集められた各スペクトルは、各組織ピクセルの化学組成の指紋を有している。スペクトルデータの入手は、WO2009/146425に記載されており、ここに参照としてすべて組み込まれている。
一般的には、スペクトルデータは、ハイパースペクトルデータを含んでおり、これは各スペクトルもしくはスペクトルベクタ(吸収、放射、反射等)のN=n・mを含む構成物であり、ここでは、nおよびmは、画像のそれぞれxおよびy面のピクセルの数である。各スペクトルは、サンプルの特徴的なピクセルと関連しており、x軸およびy軸により位置を示すことができ、xは、1nで、yは、1mである。各ベクタは、k強度データポイントを有し、周波数もしくは波数ドメインに等間隔に配置されている。
スペクトル画像のピクセルのサイズは、一般的には、典型的な細胞よりも小さく選択され、それによって細胞内の解像もできるようにしている。該サイズは、光の回析限界によって決定されてもよく、これは典型的には、赤外線では約5μmから約7μmである。したがって、1mmの組織切片では、約140から約200ピクセルの赤外線スペクトルを集めることが出来る。スペクトル「ハイパーキューブ」のNピクセルのそれぞれにつき、x面およびy面と、強度ベクタ(強度vs波長)が保存されている。
前処理
スペクトルデータを前処理することは、目的の細胞物質を得るため、さらに混在スペクトルを除去するためにも有用である。図4に関し、スペクトルデータが得られたら、工程402に記載のように前処理を行ってもよい。
前処理には、サンプルの非診断領域と診断領域とを分けるためにバイナリマスクを作成してもよく、これによって目的の細胞データを分離してもよい。バイナリマスクを作成する方法は、WO2009/146425に記載されており、ここに参照としてすべて組み込んでいる。
本願発明に係る前処理する方法は、実部と虚部の間の位相角を調整することによりスペクトルの実部と虚部の分離を「位相補正」アルゴリズムにより最適化して、観察された吸収スペクトル内の分散線を補正する。コンピューターでは早いこの方法は、修正位相補正法(revised phase correction approach)に基づくものであり、これは、インプットするデータを必要としない。しかしながら、位相補正は、FTIRおよびNMR分光法における生インターフェログラム(後者の場合は、自由誘導減衰FIDと通常呼ばれている)の前処理において使用されていて、ここでは適切な位相角は、実験的に決定することができる。この発明の該方法は、屈折率の異常分散に基づくミー、RMieおよびその他の影響などの制限要因を考慮する前述の位相補正方法とは異なっており、これはスペクトルデータに後から適用してもよい。
本願発明の前処理方法は、崩壊スペクトルを逆FT変換によりフーリエ空間に変換する。逆FTは、インターフェログラムの実部および虚部をもたらす。各インターフェログラムの後半は、ゼロフィル(zero filled)であり、それぞれ順FT変換されている。この処理は、数的KK変換を介して得られた同じ分散バンドの形状を示す実部スペクトルを作り、そして吸収線の形状を含む虚部を作る。正しい位相角を有する実部と虚部とを組み合わせることにより、位相補正された、加工物を含まない、スペクトルを得ることができる。
汚染スペクトルを補正するのに必要な位相は、実験的に決定することができないため、さらにスペクトルとスペクトルの間で変化するため、位相角は、ユーザーが選択できる工程で、−90°と90°において一つ一つ行う方法を使って決定される。「最高」なスペクトルは、ピーク位置と強度の分析から決定され、どちらも位相補正のときは変化している。広域で波状のMie分散影響はこの方法では明確には補正されないが、コンピューターによる位相補正を二次微分スペクトルに行っている間に消えるため、分散フリーなバックグランドを得られる。
本願発明によれば、図4の前処理工程402は、図5に示すように、スペクトル領域を選択する工程501と、該スペクトルの二次微分をコンピューター算出する工程502と、データの逆フーリエ変換工程503と、インターフェログラムのゼロフィルおよび順フーリエ変換工程504と、スペクトルの実部と虚部の位相補正工程505と、を含んでもよい。
スペクトル領域
工程501では、ハイパースペクトルデータの各スペクトラムは、最適なスペクトル領域(指紋領域)を選択するために前処理されている。この領域は、800〜1800cm−1の領域でもよく、例えば、X−H(X:原子番号12の重原子)変形モードのように伸びる重原子を含んでいる。図6Aには、線状バックグラウンドに重ね合わせた典型的なスペクトルの例を示している。
スペクトルの二次微分
各スぺクトルの二次微分は、図5のフローチャートの工程502においてコンピューター処理される。二次微分スペクトルは、強度vs波数の二次微分によるオリジナルのスペクトルベクタに由来する。二次微分スペクトルは、Savitzky−Golay sliding windowアルゴリズムを使ってコンピューター処理され、インターフェログラムを適切に切り捨てられた二次関数と掛けることによりフーリエ空間にコンピューター処理できる。
二次微分スペクトルは、ゆっくりと変化するミー散乱バックグランドを含むベースラインの傾きがないという利点を有している。二次微分スペクトルは、散乱および非共鳴ミー散乱によりベースライン影響をほとんど受けていないが、RMieSの影響は受けている。二次微分スペクトルは、必要であれば、様々な厚さのサンプルを補うためにベクタの標準化を行ってもよい。二次微分スペクトルの例を図6Bに示す。
逆フーリエ変換
図5のフローチャートの工程503において、データの各スペクトルに対して逆フーリエ変換(FT)を行っている。逆FTは、スペクトルを、強度vs波数から強度vs位相差に変換することをいう。FT操作は、2の累乗数の長さのスペクトルベクタにのみ行っているため、スペクトルは、FT前では、内挿もしくは切り捨てて512、1024もしく2048(NFT)データポイントの長さである。逆FTは、NFT/2ポイントの実部(RE)および虚部(IM)インターフェログラムを作る。このようなインターフェログラムの実部の一部分を図7に示す。
ゼロフィル(zero fill)および順フーリエ変換
各スペクトルにつきインターフェログラムの実部と虚部の両方の後半は、その後、工程504でゼロフィルを行う。ゼロフィルを行ったインターフェログラムは、その後、順フーリエ変換されて、分散および吸収バンド形状を有するスペクトル成分の実部および虚部スペクトル成分をそれぞれ作成する。
位相補正
フーリエ解析から得られた実部(RE)および虚部(IM)は、その後、図5のフローチャートの工程505に示すように位相補正を行う。これにより下記式に示すように位相がシフトした実部(RE’)と虚部(IM’)を作成する。
Figure 0006366556
ここで、φは、位相角である。
位相補正のための位相角φは、不明で、位相角は、−Π/2φΠ/2の間の使用者が決める単位で変化し、そして、残余分散線形状の最も低いスペクトルを選択してもよい。位相補正後に最大の強度を作る位相角は、図8に示すように崩壊していないスペクトルと考えられる。「オリジナルのスペクトル」と記載され、矢印で記された太いトレースは、RMieSの影響により汚染されたスペクトルである。細いトレースは、種々の位相角によってスペクトルが位相補正時にどのように変化するかを示している。二番目に太いトレースは、回復したスペクトルであり、これは汚染されていないスペクトルとよく一致している。図8に示すように、最もよく補正されたスペクトルは、約1655cm−1において最大のアミドI強度を示す。このピークの位置は、汚染される前のスペクトルの位置と一致している。
本願発明に係る位相補正方法は、工程501〜505に記載されており、吸収スペクトルおよび微分スペクトルの双方とよく働く。この方法は、図9Aに示すように、吸収スペクトルがベースラインの傾きに似ている分散影響により汚染されている場合、図9Bに示すように順FTの虚部は、スペクトル境界で強く曲がってしまい、これにより補正されたスペクトルも汚染されてしまうような、吸収スペクトルを使用したときに起こる問題をも解決している。二次微分スペクトルを使用することにより、スロープ状のバックグラウンドを排除できることからこの影響を排除することができる。したがって、加工物フリーなスペクトルを得ることができる。いずれにしても、二次微分スペクトルには、階層的クラスター解析または、他の分離もしくは診断的アルゴリズムによるスペクトルデータの解析が行われるため、二次微分に対しても分散補正を行うことが有利である。二次微分スペクトルは、スペクトルピークの信号の逆を示す。したがって、位相角は、最大のネガティブの強度を引き起こすと考えられる。反射成分による汚染は、常にその強度を減少させ、汚染されていないもしくは「補正された」スペクトルは、1650〜1660cm−1の間のアミドIバンドにおいて最大(ネガティブ)なスペクトルであるため、この方法の価値は、人工的に汚染されたスペクトルから示すことができることにある。
実施例1−位相補正アルゴリズムの操作
位相補正アルゴリズムの操作例を、図10および11に示す。この例示は、ヒトのリンパ節の組織切片から集められたデータに基づいている。該リンパ節は、皮膜下に乳がんのミクロ転移が確認されており、図10Aの黒い矢印で示している。このミクロ画像は、がん化領域にはっきりとした細胞核を示しており、灰色の矢印で示すように活性化リンパ球の領域で高い細胞性も示している。これらのサンプルの不均一性は、広域なRMieSの影響によるものである。
この例のリンパ節切片に対して、階層的クラスター解析(HCA)を行い、データの細分化を行って、図10Bに示す図を得た。がん化組織(濃い緑と黄色)を皮膜(赤)とリンパ球(残りの色)と区別するために、10クラスターが必要であったが、これらの組織タイプは区別されにくかった。図10Bで、赤で示される皮膜は、一以上のクラスを含み、これらは一つのクラスターにまとめられた。
このデータを細分化する上での問題は、図10Cをみるとわかる。このプロットは、各スペクトルにおけるアミドI振動バンドのピーク周波数を示している。図の右側にあるカラースケールは、リンパ節全体の約1630〜1665cm−1の間で、そして皮膜の1635〜1665cm−1の間でピークが発生することを示している。アミドIの周波数の拡散は、RMieS影響に強く汚染されているデータに典型的なことであり、これは、タンパク質の二次構造によって、タンパク質およびペプチドのアミドI周波数が1650〜1660cm−1の範囲で起きることが知られているからである。図10Dは、RMieS補正に基づき位相補正を行った後の同じ組織切片の画像である。リンパ節の全体において、アミドIのピークの周波数の変化は、1650〜1654cm−1の範囲に抑えられており、皮膜に関しては、1657〜1665cm−1の範囲である(皮膜の繊維結合タンパクは、高いアミドIバンド位置を示すことで知られるタンパク質であるコラーゲンからほぼなることが知られている。)。
その後のHCAから得られた結果を、図11に示す。図11Aでは、がん組織は赤で示されており、そのがん領域の外形は、図11Bに示すH&Eに基づく組織病理によく一致している(この図は、図10Aと同じものである。)。皮膜は、さらに薄い緑色で示す活性化Bリンパ球と共に、二つの異なる組織クラスで現されている(薄い水色と紫)。組織球とTリンパ球は、濃い緑、灰色、および青色領域で示されている。図11Aで示す領域は、視覚的な組織病理と合致しており、ここに記載した位相補正方法が、スペクトル組織病理法の質を著しく向上したことを示している。
本願発明に係る前処理方法を公知のスペクトル補正の方法と比較した時の有利な点は、本願の方法は、約5000スペクトル/秒という速い実行を提供するということも含み、さらに、アプリオリな情報はデータに必要ではないことも含む。そして、位相補正アルゴリズムは、スペクトル画像、SCPおよびSHPにおける自動的ながんの検知および診断のための「デジタル染色」診断操作に組み込むことができる。さらには、位相補正は、画像の質を著しく向上し、これは、画像登録の正確性に非常に有効であり、そして診断のための位置合わせ(alingment)および境界を示すのにも役立っている。
さに、本願発明に係る前処理方法は、反射成分に汚染されている広域な吸収スペクトルの補正に使用されてもよい。このような汚染は、他の分光法でも起き、分散線形状によりねじれたバンド形状などの汚染であり、例えば、拡散反射法(DRIFTS)、内反射法(ATR)、および他の分光法においては、複雑な屈折率もしくは誘電感受率の実部と虚部の混合がかなり起き、コーヒレント反ストークスラマン分光法(CARS)などでも起きる。
多変量解析
多変量解析は、スペクトル差を検知するために前処理したスペクトルデータに対して行われてもよく、これは、図4の工程403に記載されている。ある特定の多変量解析においては、スペクトルは、類似性に基づきグループ化されている。グループ化の数は、生物学的サンプルに必要な差別化のレベルにより決定される。一般的には、グループ化の数が多いほど、スペクトル画像においてより詳細になる。詳細に知る必要がないときは、より少ない数にグループ化される。本願発明によれば、所望のスペクトルデータの区別化のレベルに応じて使用者が適宜グループ化の数を調整してもよい。
例えば、例えばHCAや主成分解析(PCA)などの無監督の方法が使用されてもよく、また例えば人工ニューラルネットワーク(ANN)、階層的人工ニューラルネットワーク(hANN)、サポートベクタマシン(SVM)およびまたは「ランダムフォレスト(Random forest)」アルゴリズムなどを含む監督方法などの機械学習アルゴリズムを使用されてもよいが、これらに限定されるわけではない。無監督の方法は、データの類似性および変化に基づいており、そして、それぞれ、これらの分類によるデータを細分化もしくはクラスター化するが、細分化もしくはクラスター化用以外には情報を必要としない。したがって、これらの無監督の方法は、データ内のそのままの類似性もしくは相違性(変化)に基づいて画像を作成する。反対に監督されたアルゴリズムは、がん、筋肉、もしくは骨などの代表的スペクトルなどの参照スペクトルを必要とし、そしてこれらの参照スペクトルに対しての特定の類似性に基づきデータを分類する。
HCAテクニックは、Bird(Bird et al., “Spectral detection of micrometastates in lymph node histo−pathology”,J.Biophoton. 2, No.1−2, 37−46(2009))に記載されており、この内容はすべて本願に参照として取り込まれている。PCAについては、WO2009/146425に記載されており、この内容はすべて本願に参照として取り込まれている。
本願発明に係る監督された方法の例示は、P.Lasch et al. “Artificial neural network as supervised techniques for FT−IR microspectroscopic imaging”, J.Chemometrics 2006(以後、「Lasch」という);“20:209−220,M.Milijkovic et al., “Label−free imaging of human cells: algorithms for image reconstruction of Raman hyperspectral datasets”(以降、「Milijkovic」という),Analyst, 2010, xx,1−13,およびA.Dupuy et al., “Critical Review of Published Microarray Studies for Cancer Outcome and Guidelines on Statistical Analysis and Reporting”,JNCI, Vol.99, Issue 2/January 17,2007(以降、「Dupuy」という)に記載されており、これらの内容はすべて本願に参照として組み込まれている。
グレースケールおよび疑似カラースペクトル画像
多変量解析から得られた類似したグループのデータは、同じ色を適用してもよい。グループ化されたデータは、図4のフローチャートの工程404に示すように、「デジタル染色」されたグレースケールもしくは疑似カラーマップを構築するのに使用されてもよい。したがって、この方法は、スペクトルデータに含まれた化学的情報に主に基づき生物学的サンプルの画像を提供する。
HCAにより多変量解析された後に作成されたスペクトル画像の例示を図12Aおよび12Bに示す。図12Aは、約0.5mmx1mmの大きさの染色された子宮頚部切片の視覚的な顕微鏡画像である。扁平上皮細胞の典型的な層が示されている。図12Bは、染色前の組織のHCAによる多変量解析後に構築された疑似カラー赤外線スペクトル画像である。この画像は、データ内のスペクトルを互いに数学的に関連させて作られており、これは主にスペクトル類似性に基づいていて、コンピューターアルゴリズムには、なんら参照スペクトルは提供されていない。図12Bに示すように、HCAスペクトル画像は、図12Aに示す標準的な顕微鏡を使った適切な染色(例えば、H&E染色など)後に可視化される組織構造を再現する。さらに、図12Bは、(a)におけるケラチンの堆積や(b)における免疫細胞の浸潤などを含む、図12Aでは簡単に検知されなかった特徴を示す。
HCA解析による疑似カラースペクトル画像の構築は、Birdに記載されている。
ANNによる解析後に作成されたスペクトル画像の例示を図13Aおよび13Bに示す。図13Aは、わきの下のリンパ節のH&E染色の視覚的な顕微鏡画像である。図13Bは、図13Aの組織を染色する前に集められた赤外線データのANN解析から作られた赤外線スペクトル画像である。
視覚的画像
図3の工程303に示すように、工程303により得られた同じ生物学的切片の視覚的画像が得られる。前述の工程301において得られたスライドに使われた生物学的サンプルは、染色しなくてもよく、もしくは例えば一以上のH&Eおよび/またはIHC染色などの標準的な組織病理に使われる公知の方法により適切に染色してもよく、そしてカバーガラスで覆ってもよい。視覚的画像の例示を図12Aおよび13Aに示す。
組織病理サンプルの視覚的画像は、病理学の研究室によくあるような標準的な視覚的な顕微鏡から得ることができる。顕微鏡は、顕微鏡の視野をデジタル的に撮ることができる高解像度デジタルカメラを備えていてもよい。このデジタルリアルタイム画像は、染色された組織切片の標準的な顕微鏡の視野に基づいており、組織構造、細胞形態、および染色パターンを示す。デジタル画像は、例えば写真を作るために、イメージスティッチング(image stiching)を介して組み合わされる多数のピクセルタイル(pixel tiles)を有していてもよい。本願発明によれば、解析に使用されるデジタル画像は、独立したタイル、もしくは写真にするためのスティッチにより組み合わされる多数のタイルを有していてもよい。このデジタル画像は、保存して、コンピュータースクリーン上で見ることが可能である。
スペクトル画像と視覚的画像の登録
本願発明に係る方法によれば、スペクトル画像および視覚的画像が得られると、染色された組織の視覚的画像は、図3のフローチャートの工程304に示すようにデジタル染色されたグレースケールもしくは疑似カラースペクトル画像と共に登録される。一般的には、画像登録とは、異なるデータを一つの座標系に変換もしくは合致させる処理をいう。画像登録は、最初の画像を次の画像と合わせるために空間的に合致させるもしくは変換することを含む。該画像は、異なるタイプのデータを有していてもよく、そして画像登録は、該異なるタイプのデータの合致もしくは変換を可能にする。
本願発明によれば、画像登録は、種々のやりかたで行うことができる。例えば、視覚的画像とスペクトル画像のために一般的な座標系を構築してもよい。一般的な座標系を構築することが難しい場合や、それが望ましくない場合、該画像を、ポイント写像(point mapping)により登録し、他の画像と合わせる。ポイント写像では、該画像の双方に共通する特徴もしくは目印になるコントロールポイントを選ぶ。コントロールポイントの位置に応じて、該画像の双方の空間マッピングを行ってもよい。例えば、少なくとも二つのコントロールポイントを使用してもよい。画像を登録するためには、視覚的画像にあるコントロールポイントは、スペクトル画像の対応するコントロールポイントと関連しており、そして互いに合わせる。
本願発明に係る他の形態としては、コントロールポイントは、生物学的試片を有するスライド上に参照マークを設けて選んでもよい。参照マークは、インク、ペンキなどを含むがこれに限定されるわけではなく、さらにポリエチレンなどの材料の一部でもよいがこれに限定されるわけではない。参照マークは、どんな形状や大きさでもよく、さらに視野に入っている限りスライドの中心部分、端部、角のどこであってもよい。参照マークは、生物学的試片が用意されている間に加えられていてもよい。参照マークが、公知のスペクトルパターンを有している場合、例えばポリエチレンなどの化学物質や生物学的物質などを含むがこれに限定されるわけではないが、この参照マークは、較正マークとして使用してもよく、それにより生物学的試片のスペクトルデータの正確性を確認してもよい。
本願発明の他の形態では、例えば病理学者などの使用者によりスペクトル画像および視覚的画像のコントロールポントを選択してもよい。該使用者は、視覚的画像およびスペクトル画像の特徴的な部分をその人の経験に基づいてコントロールポイントを選択してよく、これには端部および境界を含むがこれに限定されるわけではない。細胞や組織などの生物学的画像は、画像内のどの生物学的特徴からコントロールポイント選んでもよい。例えば、そのような生物学的特徴としては、細胞の塊、有糸分裂特徴、細胞巣や細胞索、肺胞および気管などのサンプル気泡、および異質なサンプル端部などを含むがこれに限定されるわけではない。スペクトル画像と視覚的画像内の使用者が選択したコントロールポイントは、別の人および/または市販向けのトレーニング用として提供するために保存されてもよい。この方法は、コントロールポイント選択工程において、主観的な最良のトレーニングを可能にする。
本願発明の他の形態では、スペクトル画像と視覚的画像内の特徴的な部分を認識するソフトウェアを使用してコントロールポイントを選択してもよい。該ソフトウェアは、視覚的画像およびスペクトル画像内の特徴的部分に対応する少なくとも一つのコントロールポイントを検知する。例えば、特定のクラスター領域内にあるコントロールポイントをスペクトル画像内から選択する。クラスターパターンは、視覚的画像内での類似の特徴を特定するのに利用される。両方の画像内にある該特徴は、移動(translation)、回転およびスケーリングにより合わせる。移動(translation)、回転、スケーリングは、例えば、特徴を選択した後に、マッピング関係性もしくはモデルを作って、自動化もしくは半自動化されていてもよい。このように自動化された処理は、マッピング関係性のおおよそのもの提供でき、これはその後、例えば、リサンプリングし、そして変換して登録の最適化を行う。リサンプリングの技術は、ニアレストネイバー、リニアー及びキュービックインターポレーションを含むがこれに限定されない。
コントロールポイントを合わせた後、座標P(x,y)を有するスペクトル画像内のピクセルを、座標P(x,y)を有する視覚的画像内にある対応するピクセルと合わせる。この合わせる工程は、スペクトル画像と視覚的画像内の選択したすべてのもしくは一つのピクセルポイントに行ってもよい。いったん合わせられると、スペクトル画像と視覚的画像のそれぞれにあるピクセルは、一緒に登録される。この方法によれば、各スペクトル画像と視覚的画像内のピクセルを、対応する画像内のピクセルとデジタル的に統合する。本願発明の方法は、同じ生物学的サンプルを分光的および視覚的に検査できるため、視覚的画像とスペクトル画像を正確に登録することができる。
スライドには、正しい試片を評価していることを確認するために、数字コード、バーコード等の特定用マークを加えてもよい。参照マークと特定用マークは、生物学的試片を表示もしくは保存するコンピューターにより認識される。該コンピューターは、画像登録に使用されるソフトウェアを有していてもよい。
本願発明の画像登録の例示は、図14A〜図14Cに図示されている。図14Aは、小細胞肺がんの組織サンプルの視覚的画像であり、図14Bは、HCAを行った同じ組織サンプルのスペクトル画像である。図14Bは、図14Aの視覚的画像の右上領域のほとんどからスペクトルデータを有する。図14Aの視覚的画像に図14Bのスペクトル画像が登録された時の結果を図14Cに示す。図14Cに示すように、図14Bのスペクトル画像で簡単に見れるスポットと1〜4の輪郭を有する丸で囲った部分は、図14Aの顕微鏡画像において見れるスポットと輪郭に非常に近い対応関係にある。
スペクトル画像と視覚的画像内のピクセルの座標が登録されると、これらはデジタルデータとして一緒に保存されてもよい。画像全体もしくは画像の一部を保存してもよい。例えば、サンプル全体の画像を保存するよりも、むしろ診断領域だけデジタルデータとして保存してもよい。これによって、データ保存に必要なものを著しく減らすことができる。
スペクトル画像もしくは視覚的画像のいずれかの特定のピクセル領域を見る使用者は、他方の画像において対応するピクセル領域に即座にアクセスできる。例えば、病理学者は、スペクトル画像のどの領域を選択してもよく、例えば、マウスをクリックして、もしくはジョイスティックコントロールを使って選択してもよく、そして、スペクトル画像と登録されている視覚的画像において対応する領域をみることができる。図14Dは、本願発明にかかる、図14Cの登録画像のグラフィカルユーザーインターフェース(GUI)の例示である。図14Dに示すGUIは、病理学者が、視覚的画像とスペクトル画像、登録画像の間を切り替えることを可能にし、目的の特定の領域を検査することを可能にする。
さらに、病理学者が一方の画像を動かしたり操作したりすると、彼/彼女は、登録されている他方の画像において対応する部分にアクセスすることもできる。例えば、病理学者がスペクトル画像の特定の領域を拡大すると、彼/彼女は同じ倍率で視覚的画像内の同じ領域にアクセスすることができる。
視覚的顕微鏡システムの操作用パラメーター、および顕微鏡倍率、倍率の変化なども機器特異的ログファイルに保存されてもよい。ログファイルは、アルゴリズムのトレーニングのためにアノテーション記録および対応するスペクトルピクセルを選択するために後でアクセスしてもよい。したがって、病理学者は、スペクトル画像を操作してもよく、そして後で、スペクトル画像とそれに登録されたデジタル画像を適切な倍率で両方を表示してもよい。この特徴は、操作した登録画像を保存できるため、例えば、後で見るためや、電子送信、もしくは遠隔地から見るときなどにおいて有効である。
本願発明の方法によれば、画像登録は、公知の診断が出ている組織切片を一緒に使用してもよく、それによりトレーニング工程においてトレーニングスペクトルを抽出する。トレーニング工程では、染色された視覚的画像に、HCAなどからの無監督スペクトル画像を登録してもよい。画像登録は、組織切片に診断を下すときにも使用されてもよい。例えば、組織切片の監督されたスペクトル画像は、それと対応する視覚的画像に登録されてもよい。したがって、使用者は、選択した登録された画像内のどのポイントに基づいても診断を得ることができる。
本願発明に係る画像登録は、生物学的サンプルを解析する先行技術による方法よりも優れている点が多くある。例えば、病理学者は、生物学的物質を解析する際に、生物学的サンプルの生化学的成分に対して高い感度を持つスペクトル画像に基づいて行うことができる。それにより、先行技術よりも、著しく正確に、ミクロ転移を含む小さな異常、前がんもしくはがん細胞を検知することができる。したがって、病理学者は、彼/彼女による診断を、生物学的サンプルの視覚的画像の彼/彼女の主観的な観察に基づいて行う必要がなくなる。したがって、例えば、病理学者は、単純にスペクトル画像を検査するだけでもよく、そして、必要に応じて、彼/彼女が見つけた領域に関連する登録された視覚的画像を参照ればよい。
さらに、本願発明に係る画像登録方法は、デジタルデータとの関連性に基づいていて、すなわちスペクトル画像とイメージ画像におけるピクセルの関連性に基づくことから、先行技術の方法であるBird(Bird et al., “Spectral detection of micro−metastates in lymph node histo−pathology”, J.Biophoton. 2, No.1−2, 37−46(2009))よりも正確である。Birdは、画像からのデジタルデータに関連づけることはなく、さらにその代わりに画像を物理的に重ねることで隣接する組織のスペクトル画像と視覚的画像を視覚的に合致させることによる使用者のスキルに主に依存している。したがって、本願発明にかかる画像登録の方法は、異常な細胞もしくはがん細胞に関してより正確で再現性のある診断を提供する。これは、例えば、異常やがんの兆候を検知するのが難しいとき、病気の早期の段階において正確な診断を提供することに役立つ。
トレーニグ
図3のフローチャートの方法の工程303に記載のように、トレーニングセットを任意で開発してもよい。本願発明によれば、トレーニングセットは、その他のものと一緒に、特定の病気もしくは状態に関連したスペクトルデータを含む。トレーニングセットの病気もしくは状態と関連したスペクトルデータは、病理学的試片で通常見られる形態的特徴に基づくスペクトルパターンに関連した典型的な病理学との関連性に基づくものでもよい。該病気もしくは状態は、細胞異常、炎症、感染、前がん病変、がんなどを含むが、これに限定されるわけではない。
本願発明に係るトレーニング工程では、病気もしくは状態を含む視覚的画像の領域を特定する工程と、視覚的画像の該領域をスペクトル画像の対応する領域に関連させる工程と、該スペクトルデータと対応する病気もしくは状態の関連を保存する工程とにより開発される。トレーニングセットは、例えば、データベース等の保存場所に保存され、そしてトレーニングセットから得られた診断アルゴリズムを提供するための機械学習アルゴリズムで使用できるようにする。診断アルゴリズムも、将来的な利用のために保存場所に保存されてもよい。
例えば、組織切片の視覚的画像は、例えば、HCAにより作成された、対応する無監督のスペクトル画像と登録されていてもよい。そして、使用者により、視覚的画像の特徴的な領域を選択してもよい。この領域は、病気や状態を特定するために使用者により分類および/またはアノテーションされてもよい。登録された無監督のスペクトル画像内に対応する特徴的領域のもとになるスペクトルデータは、病気もしくは状態とともに分類および/またはアノテーションされてもよい。
病気もしくは状態と一緒に分類および/またはアノテーションされたスペクトル画像は、ANNなどの監督された解析方法をトレーニングにするのに使われるトレーニングセットを提供する。このような方法は、例えば、Lasch, Milijkovic Dupuyにも記載されている。監督されたトレーニング解析方法は、診断用アルゴリズムを提供する。
病気および状態の情報は、機器を備えたアルゴリズムもしくは、使用者によりトレーニングされたアルゴリズムまたはこれらの組み合わせを備えたアルゴリズムに基づくものである。例えば、機器を備えたアルゴリズムは、使用者によって向上れてもよい。
本願発明に係るトレーニングセットの利点は、登録された画像を、再生および再現可能な基準でスペクトルデータを評価するコンサスベースの最良の“黄金律標準”に対してトレーニングされることにある。したがって、適切な機械による検証とアルゴリズムトレーニングを行った後、本願発明に係る方法は、ふつう、非典型的、軽度の腫瘍形成、重度の腫瘍形成、がんなどの視覚による分類に依存するものよりも、世界的に同じような結果を出す。各細胞の結果は、適切にスケールされた数的インデックスもしくは分類に合致する相対的な確立により現す。したがって、本願発明に係る方法は、種々の生物学的構造および病気の診断に必要な感度および特異性を有している。
トレーニングセットの診断的限界は、スペクトルデータが、どれくらい病気もしくは状態と一緒に分類および/またはアノテーションされたかによって限定される。上述のように、このトレーニングセットは、使用者の目的および専門分野によって補われていてもよい。例えば、使用者は、H&E染色よりも、一つのもしくはたくさんのIHC染色のほうが好ましいと判断することがあるように、ある染色よりも別の染色を好むこともある。さらに、例えば、わきの下の乳がん転移などの、特定の状態を認識させるためにアルゴリズムをトレーニングすることもある。腺がんvs非腺がんのみを検出し、皮膜、BおよびTリンパ球などのふつうの組織タイプを分類しないというような、ふつうvs異常な組織を示す、またはバイナリ検出を行うためのアルゴリズムをトレーニングすることもある。SHPにより得られた特定の組織の領域もしくは病気の段階は、組織切片のリアルタイム顕微鏡画像の上に重ね合わせた「デジタル染色」としてもよい。
診断
スペクトル画像および視覚的画像を登録すると、図3のフローチャートの工程303に示すように、医学的診断を下すのに利用されてもよい。該診断には、細胞異常、炎症、感染、前ガン病変、がん、おおまかな解剖学的特徴などの病気や状態を含んでもよいが、これに限定されるわけではない。本願発明に係る方法では、視覚的画像に登録された不明な病気もしくは症状の生物学的試片のスペクトルデータからのスペクトル画像は、上述のようにトレーニングされた診断用アルゴリズムにインプットされる。診断用アルゴリズムを作成するのに使用したトレーニングセットの類似性にもとづいて、生物学的試片のスペクトルデータは病気もしくは状態と関連付けられる。この病気もしくは症状は、診断として出力されてもよい。
例えば、スペクトルデータと視覚的画像は、不明の病気もしくは状態の生物学的試片から得られてもよい。スペクトルデータは、HCAなどの無監督の方法により解析されてもよく、これはその後、無監督のスペクトルデータを作成するために空間参照データと一緒に利用される。この無監督スペクトル画像は、上述のように視覚的画像と登録されてもよい。無監督の方法により解析された該スペクトルデータは、トレーニングされ監督されたアルゴリズムにインプットされる。例えば、上述のトレーニング工程で記載したように、該トレーニングされ監督されたアルゴリズムは、ANNでもよい。トレーニングされ監督されたアルゴリズムからの結果は、トレーニングセットに基づき、病気もしくは状態の分類および/またはアノテーションに対応する一以上のラベリングを含んでいてもよい。
ラベリングに基づく診断を抽出するにあたり、ラベリングされたスペクトルデータは、生物学的試片の視覚的画像および/または無監督スペクトル画像に登録されてもよい監督されたスペクトル画像に使用されてもよい。例えば、監督されたスペクトル画像が視覚的画像および/または無監督スペクトル画像にGUIを介して登録されたとき、使用者は、視覚的画像もしくは無監督スペクトル画像内の目的のポイントを選択し、そして監督されたスペクトル画像内のラベリングされたポイントに対応する病気もしくは状態を提供する。もしくは、使用者は、特定の病気もしくは状態の登録画像を検索するようにソフトウェアプログラムに要求し、そしてソフトウェアは、特定の病気もしくは状態のラベリングがされた視覚的、無監督スペクトル、監督されたスペクトル画像のいずれかにある領域をハイライトする。これは、有利には、使用者にリアルタイムの診断を提供することを可能にし、そして、非常に感度の高い分光法的に得られたデータにアクセスする際に、使用者が慣れている視覚的画像で見ることも可能にしている。
診断には、病気もしくは状態の有無を示す、「ある/ない」などのバイナリ出力を含んでもよい。さらに、診断には、病気もしくは状態に合致する確率、指数(Index)もしくは、相対的組成率などの付属的なレポートを含んでもよいが、これに限定されるわけではない。
本願発明にかかる方法によれば、病気と必ずしも関係があるわけではない大まかな解剖学的特徴を区別するために組織切片の大まかな構造的特徴をスペクトルパターンから解析してもよい。グローバルデジタル染色(global digital staining)(GDS)とよばれるこのような処理は、監督されたおよび無監督の多変量方法の組み合わせを利用する。GDSは、腺、扁平上皮、内皮、結合組織、骨、脂肪組織などの解剖学的特徴を解析するが、これに限定されるわけではない。
GDSでは、異なる患者から得られた特定の病気の多数のサンプルを含むトレーニングデータセットから監督された診断用アルゴリズムが構築されてもよい。患者からの個々の組織切片は、上述のようにスペクトル画像データ入手、得られたデータの前処理、およびHCAなどの無監督アルゴリズムによる解析などを使って解析されてもよい。該HCA画像は、対応する染色組織と登録され、病理学者によりアノテーションされる。図15A〜15Cに示すこのアノテーション工程は、組織のタイプもしくは病気の段階および状態の典型的な兆候、もしくは他の所望の特徴に対応するスペクトルを抽出することを可能にする。この結果としての典型的なスペクトル、およびそれに伴うアノテーションされた医学的診断は、その後に、例えばANNなどの、監督されたアルゴリズムをトレーニングするために使用されてもよく、すなわち、認識するためにトレーニングされた特徴を特異的に検知するのに適している。
GDS法によれば、サンプルは、典型的な染色もしくは免疫組織化学染色により染色される。病理学者は染色されたサンプルを受け取り、コンピューター画像処理顕微鏡を使って検査して、視覚的画像を調整できるコンピューターからスペクトル画像を得る。病理学者は、サンプル状のどの組織領域を選択してもよく、そして分光法に基づいた診断を受け取る。この診断は、グレースケールの画像もしくは疑似カラー画像を、同じスペクトル診断分類されるすべての領域の輪郭を示す視覚的画像の上に重ね合わせる。
図15Aは、H&E染色されたリンパ節組織の視覚的な顕微鏡画像である。図15Bは、リンパ節の皮膜と内部などの全体的な解剖学的特徴の区別の典型的な例を示している。図15Bは、図15Aに示す切片のグローバルデジタル染色であり、リンパ節の皮膜と内部の違いを見せいている。
対応する視覚的画像と登録されているこれらの全体的な解剖学的な特徴領域は、より繊細な条件での解析をスペクトルパターンデータで行うために選択されてもよい。この次の段階の診断は、診断マーカーデジタル染色(DMDS)データベースに基づいていてもよく、これは、例えばSHPの結果に主にもとづいていてもよいし、もしくは免疫組織化学(IHC)を使って得たスペクトル情報を含んでいてもよい。例えば、上皮細胞の一部を選択し、選択した領域をスキャンするために、より診断的なデータベースを使って、異常および/またはがんの典型的なスペクトルパターンの有無を解析してもよい。この方法の例示は、図15Cに模式的に示されており、SHPの区別能力をフルに使い、典型的な免疫組織化学染色の後でしか得られない、リンパ節の内部の組織的な特徴を詳細にする(例えば、がん、リンパ球など)。図15Cは、図15Aに示す切片のDMDS画像であり、皮膜、乳がん転移、組織球、活性化Bリンパ球およびTリンパ球などを区別している。
GDSよDMDSの間の関係性は、図16に示す模式図内において、濃い青および紫で示される平行な進行により示される。GDSおよびDMDSは、双方ともに、スペクトルデータに基づいているが、IHCデータ等の他の情報を含んでいてもよい。実際の診断は、同一もしくは類似するトレーニングされた診断アルゴリズム、例えばhANN等により行われる。このようなhANNは、まず、組織用に集められたパターンのデータにおいて大きな変量を検知するための大まかな解剖学的特徴用の組織切片(濃い青の流れで示されているもの)を解析する。それに続く、「診断要素」解析は、紫色の流れで示す、スペクトル情報のサブセットを使ってhANNにより行う。例えば、バイナリフォームの多層アルゴリズムを組込んでもよい。GDSおよびDMDSの両方は、図16に示す全組織データベースおよび診断的組織データベースのように、異なるデータベースのサブセクションを使用してもよく、これによりそれぞれの診断にたどり着き、そしてそれらの結果を染色された画像に適切に画像登録した後、重ね合わせる。
本願発明に係る方法の例では、病理学者は、正確な診断を得るために、特定のインプットを提供してもよい。例えば、病理学者は、染色された画像を視覚的にチェックしてもよい。さらに、病理学者は、倍率を変化させるため、もしくはサンプルの視野を変えるなどして選択的な検査をしてもよい。
本願発明に係る方法は、生物学的試片を観察し、画像登録を行っている病理学者により行われてもよい。もしくは、登録された画像は、デジタルデータを含んでいるため、電子的にデータを転送してもよく、または該方法は、遠隔操作で行われてもよい。
方法は、以下に示す非限定的実施例により示される。
実施例2−リンパ節切片
図17は、左上四分の一に乳がん転移を有する、1mmx1mmの大きさのわきのしたのリンパ節のH&E染色の視覚的画像を示している。図17Bは、乳がん転移のSHPデジタル染色された領域である。例えば、一般的にはミクロ転移の領域を、カーソルをマウスを使って動かして選択することにより、図17Bで赤く示すように、SHPでがんと認識された箇所はハイライトされる。図17Cは、Bリンパ球で占められたSHPによりデジタル染色された領域である。図17Cに示すように、右下部をポイントすることにより、Bリンパ球に占められた領域は淡い青で示される。図17Dは、組織球に占められた領域のSHPによるデジタル染色を矢印で示す。
SHPによるデジタル染色は、スペクトルおよび診断を含むトレーニングされ認証された保存データもしくはデータベースに基づいているため、デジタル染色は、図17Bの場合のような「転移乳がん」などの診断カテゴリーと直接的に関係する。該システムは、病理学者により補完的もしくは補助的なツールとして、まず利用されてもよいが、診断的解析はSHPにより行われてもよい。付属的なツールとして、例えば、結果をバイナリレポートではなく合致確率で出してもよい。図18は、SHPによる一つの独立したがん細胞およびがん細胞のクラスターを示す。
実施例3−肺切片の穿刺吸引によるサンプル
肺の疑わしい病変の穿針吸引により作られたホルマリン固定したパラフィン包埋細胞ブロックからサンプル切片を切りだした。細胞ブロックは、病理学的解析により肺の腺がん、小細胞がん(SCC)、扁平上皮がんと特定された条件に基づき選択した。試片は、ミクロトームを使って切断し、5μm程度の厚さにし、その後、低反射(low−e)ガラスの顕微鏡スライドの上に載せられた(Kevley Technologies, オハイオ、米国合衆国)。切片は、標準的なプロトコールによって脱パラフィン化された。分光法のデータ回収に続き、組織切片は、ヘマトキシリン・エオシン(H&E)染色を行い、組織病理学者により形態学的な解析を行えるようにした。
この検査には、パーキンエルマースペクトラム1/スポットライト400 分光光度計(A Perkin Elmer Spectrum 1/Spotlight 400 Imaging Spectrmeter)(株式会社パーキンエルマー、シェルトン、コネチカット州、米国合衆国)を使用した。Norton−beer apodization(Naylor et al., J.Opt.Soc.Am., A24:3644−3648(2007)参照)とフーリエ変換の前に、赤外線ミクロスペクトル画像は、1mmx1mmの組織領域から撮られ、半透過性(透過/反射)モードで、ピクセル解像度6.25μmx6.25μm、スペクトル解像度4cm−1、8インターフェログラムの追加(co−addition)で行われた。シングルビームスペクトルの比率に対して、好適なバックグラウンドスペクトルがサンプル領域の外で集められた。比率化されたスペクトルは、吸収率にその後変換された。各1mmx1mmの赤外線画像は、160x160、もしくは25600スペクトルを含む。
はじめは、生の赤外線ミクロペクトルデータをインポートし、Matlabで書かれたソフトウェアを使って処理した(R2009aバージョン、Mathworks,Natck,マサチューセッツ州、米国合衆国)。組織が存在しない領域、もしくは弱いシグナルからノイズを示した領域から記録されたすべてのスペクトルを除去するためにスペクトルの品質試験を行った。品質試験を通過したすべてのスペクトルをベースラインオフセットし(全スペクトルベクターに渡る最少吸収強度を除く)、二次微分に変換し(Savitzy−Golayアルゴリズム(Savitzky et al., Anal. Chem., 36:1627(1964)参照)、13smooth points)、1350cm−1〜900cm−1のスペクトル領域において記録された強度数値のみを含むように切り、そして最終的にベクタを標準化する。
処理されたデータは、ソフトウェアへインポートされ、スペクトル類似性を調べるために、ユークリッド距離を使いHCA行い、Wardアルゴリズムを使ってクラスタリングを行った(Ward, J Am.Stat. Assoc., 58:236(1963)参照)。その後、ピクセルクラスター画像を示す疑似カラークラスター画像は、サンプルから撮られたH&E画像と直接に組み立てられ、比較された。異なるクラスター構造を示す2〜15クラスターのHCA画像は、計算されたHCAデンドログラムを異なるレベルで切って組立てた。これらのクラスター画像は、自身が作成したH&E染色組織の形態的解析を最もよく再現しているクラスター構造を特定する、病理学者に提供される。
下にあるベースラインのシフトに汚染されている赤外線スペクトル、信頼できないシグナル強度の変化、ピーク位置のシフト、もしくはランベルトベールの法則に従わないもしくはそれに起因しない一般的な特徴は、記録されたスペクトルに対するミー散乱および反射影響をEMSCの部分空間モデルバージョンを使用して補正した(B.Bird, M.Milijkovic and M.diem, “Two step resonant Mie scattering correction of infrared micro−spectral data:human lymph node tissue”, J.Biophotonics, 3(8−9)597−608(2010)参照)。はじめに、各がんタイプにつき記録された1000スペクトルを、図19A〜19Fに記載する赤外線画像からの個別のデータにプールされた。
そして、これらのデータに関しては、図19Aおよび図19Bに示すように、散乱影響が最少であるスペクトルを検索し、ノイズに対するシグナルを増加させるために各がんタイプの平均値を計算し、そして各細胞タイプのKK変換を計算した。図19Aは、肺腺がん、小細胞がん、扁平上皮がんから得られた細胞の記録されたスペクトルを有する生のスペクトルデータを示す。図19Bは、それぞれ、肺腺ガン、小細胞がん、扁平上皮がんからの細胞の記録されたスペクトルを有する補正スペクトルデータを示す。図19Cは、肺腺がん、小細胞がん、扁平上皮ガンの標準的なスペクトルを示す。
ミー散乱影響の部分空間モデルは、ファン・デ・ハルスト予測式(Brussard et al., Rev.Mod. Phys., 34:507(1962)参照)を使って核球径範囲6μm〜40μm、屈折率範囲1.1〜1.5を示す340のミー散乱曲線を計算して構築した。これらの散乱曲線に含まれるばらつき(variance)のうち95%以上を示すはじめの10主成分を、その後、各がんタイプのKK変換に加えて、データの一工程EMSC補正の干渉として使用した。EMSC計算は、1000スペクトルにつきおおよそ1秒かかった。図19Dは、図19Cのスペクトルから計算されたKK変換スペクトルを示す。図19Eは、EMSC補正の前のマルチクラスデータのPCAスコアプロットを示す。図19Fは、EMSC補正後のマルチクラスデータのPCAスコアプロットを示す。該解析は、1800cm−1〜900cm−1のスペクトル領域内の標準化されたベクタに対して行った。
図20Aは、それぞれ、肺腺がん、小細胞がん、扁平上皮がんの吸収スペクトルの平均値を示す。これらは、各細胞タイプにつき、1000の散乱補正細胞スペクトルから計算された。図20Bは、図20Aに示す吸収スペクトルの二次微分スペクトルを示す。一般的には、腺がんと扁平上皮がんは、スペクトルの低波数領域において、似たようなスペクトルプロファイルを有する。しかしながら、扁平上皮がんは、アミドIバンドを実質的に低波数領域で示し、これは口内の扁平上皮がんから記録されたスペクトルデータの観察から得られる(Papamarkakis et al., (2010), Lab.Invest., 90:589−598)。小細胞がんは、わずかに高波数にシフトする、非常に強い対称および反対称リン酸バンドを示しており、これは、観察されたスペクトルにリン脂質が影響していることを示唆している。
サンプル領域のほとんどが、血液と非診断物質からなっているため、データは、診断物質のみを含むように、さらに散乱影響を補正するために前処理された。さらには、HCAを使い、バイナリマスクを作成し、最終的にデータを分類した。この結果は、図21A〜21Cに示す。図21Aは、腺がん、小細胞がん、扁平上皮がんをそれぞれ含む1mmx1mmの大きさの組織のR&E顕微鏡画像を4スティッチ(4stich)したものである。図21Bは、図21Aの組織領域から記録された生の4スティッチ赤外線画像の1350cm−1〜900cm−1スペクトル領域を急減RCA解析(rapid reduce RCA analysis)を行うことにより構築したバイナリマスク画像である。診断的細胞物質および血液細胞の領域を示す。図21Cは、診断的細胞物質から記録された散乱補正スペクトルデータのRCA画像の6クラスターである。1800cm−1〜900cm−1スペクトル領域に対して解析が行われた。扁平上皮がん、腺がん、小細胞がん、および繊維形成性組織の反応の領域を示す。もしくは、これらの処理は、ANNなどの監督されたアルゴリズムで代用してもよい。
上述の実施例で示された結果は、生のスペクトルデータの解析は、SCCと非小細胞がん(NSCC)の区別ができることを示している。しかしながら、NSCCの二つのサブタイプは、生の計測されたスペクトルを、散乱影響に対して補正すると、本願発明にかかる方法によれば腺がんおよび扁平上皮がんをはっきりとわけることができる。したがって、これらの実施例から、このスペクトル画像法は、肺がんの主な3つのタイプを特定し、正しく分類するのに使用できる強い証拠を提供する。
図22は、本願発明に係る方法と一緒に使用される例示的なコンピューターシステム100の様々な特徴を示しているが、これに限定されるわけではない。図22に示すように、コンピューターシステム100は、例えばパーソナルコンピューター(PC)、マイクロコンピューター、メインフレームコンピューター、電話器、パーソナルデジタルアシスタント(PDA)、もしくはプロセッサーおよび入力可能な機器などの端末102を介して、要求者101が使用してもよい。サーバーモジュールは、例えば、PC、ミニコンピューター、メインフレームコンピューター、マイクロコンピューター、もしくは保存データにアクセスできるもしくはデータの処理機能と保存機能とを有する他の機器を、含む。サバ―モジュール106は、例えば、診断に使われる病気のデータを保存する保存場所にアクセスできる。
例えばインターネット110などのネットワークを経由して、診断に関連する情報を解析者101およびサーバーモジュール106の間で送信してもよい。
本願発明は、ハードウェア、ソフトウェア、もしくはそれらの組み合わせと一緒に実施でき、一以上のコンピューターもしくは他の処理システムで実施してもよい。一態様としては、本願発明は、ここに記載の機能を実行できる一以上のコンピューターシステムに使用できる。図23には、このようなコンピューターシステム200を記載している。
コンピューターシステム200は、例えば、プロセッサー204などの一以上のプロセッサーを有する。プロセッサー204は、コミュニケーションインフラストラクチャ206と繋がっている(例えば、通信バス、クロスオーバーバー、もしくはネットワークなど)。種々のソフトウェアについては、この例示的コンピューターシステムとして記載する。この記載を読めば、当業者であれば、他のコンピューターシステムおよび/または構造を使って本願発明をどのように実施するかは明白である。
コンピューターシステム200は、グラフィック、テキスト、および他のデータをディスプレイユニット230に表示するためにコミュニケーションインフラストラクチャ206(もしくはここに図示しないフレームバッファから)から送るディスプレイインターフェース202を含むことができる。コンピューターシステム200は、メインメモリ208、好ましくはランダムアクセスメモリ(RAM)、を含んでいてもよく、さらに二次メモリ210を含んでいてもよい。二次メモリ210は、例えば、フレキシブルディスク、磁性テープドライブ、および光学ディスクドライブ等のハードディスクドライブ212および/またはリムーバブルドライブ214を含んでもよい。リムーバブルディスク214は、公知のように、リムーバブルストレージユニット218から読み込むおよび/または書き込むことができる。リムーバブルストレージユニット218は、フレキシブルディスク、磁性テープ、光学ディスクなどに代表され、これはリムーバブルドライブ214から読み取られ、また書き込まれる。リムーバブルストレージユニット218は、コンピューターソフトウェアおよび/またはデータが保存されるコンピューター使用可能な保管媒体を含む。
別の例としては、二次メモリ210は、コンピュータープログラムもしくは他の指示をコンピューターシステム200に与える、類似した他の機器を含んでいてもよい。このような機器として、例えば、リムーバブルストレージユニット222およびインターフェース220を含んでもよい。このような例として、プログラムカートリッジおよびカートリッジインターフェース(たとえば、ビデオゲーム機器などにある)を含んでもよく、リムーバブルメモリーチップ(例えば、消去可でプログラム可能な読み取り専用メモリ(EPROM)、もしくはプログラム可能で読み取り専用メモリ(PROM)など)および関連するソケット、そしてリムーバブルストレージユニット220からコンピューターシステム200にソフトウェアとデータを転送できる他のリムーバブルストレージユニット222およびインターフェース220を含んでもよい。
コンピューターシステム200は、コミュニケーションインターフェース224も含んでよい。コミュニケーションインターフェース224は、ソフトウェアとデータをコンピューターシステムと外部機器の間で送信できるようにする。コミュニケーションインターフェースの例示として、モデム、ネットワークインターフェース(例えば、アースネットカード)、コミュニケーションポート、パーソナルコンピューターメモリカード国際協会(PCMCIA)スロットおよびカードなどを含んでもよい。コミュニケーションインターフェース224を介して送信されたソフトウェアおよびデータは、信号228の形態であり、これは、コミュニケーションインターフェース224で受信することができる電子的、電磁性的、光学的、もしくは他の信号である。これらの信号228は、コミュニケーションパス(例えば、チャンネル)226を介してコミュニケーションインターフェース224に提供される。このパス226は、信号228を運び、ワイヤーもしくはケーブル、光ファイバー、電話線、携帯リンク、ラジオ周波数(RF)、および/または他のチャンネルにより実行される。ここでは、「コンピュータープログラム媒体」および「コンピューター使用可能媒体」は、通常は、リムーバブルストレージドライブ214、ハードディスクドライブ212にインストールされているハードディスク、およびシグナル228を指す媒体として使われている。これらのコンピュータープログラムプロダクトは、コンピューターシステム200にソフトウェアを提供する。本願発明は、このようなコンピュータープログラムのプロダクトにも使われる。
コンピュータープログラム(コンピューター制御ロジックともいう)は、メインメモリ218および/または二次メモリ210に保存される。コンピュータープログラムは、コミュニケーションインターフェース224を介して受け取ってもよい。このようなコンピュータープログラムを実行すると、ここに記載したように、本願発明に係る特徴をコンピューターシステム200で行うことを可能にする。特に、該コンピュータープログラムを実行すると、プロセッサー204でこのような特徴を行うことを可能にする。したがって、コンピュータープログラムは、コンピューターシステム200の制御を表す。
ソフトウェアを使って本願発明を実施する変更例として、ソフトウェアをコンピュータープログラムプロダクトに保存し、そしてリムーバブルストレージドライブ214、ハードドライブ212もしくはコミュニケーションインターフェース224を使って、コンピューターシステム200に入れてもよい。該制御ロジック(ソフトウェア)をプロセッサー204で実行すると、プロセッサー204は、ここに記載した機能を行う。他の変更例としては、例えば、特定用途向け集積回路(ASIC)などのハードウェア部品を使うハードウェアに主に本願発明を使ってもよい。ハードウェア機器に本願発明の機能を行うようにするのは、当業者であればわかる。
さらなる他の変更例として、本願発明は、ハードウェアおよびソフトウェアの両方を組み合わせて使われる。

Claims (11)

  1. 病気もしくは状態の分類もしくは検出を提供するシステムであって、
    プロセッサーと、
    前記プロセッサーを介したユーザーインターフェースと、
    前記プロセッサーがアクセス可能な保存場所と、を有し、
    前記保存場所は、スペクトルデータと前記スペクトルデータに対応する病気もしくは状態との関係性を有する保存データが保存されており、
    前記プロセッサーは、前記スペクトルデータと生物学的試片のスペクトル画像からのスペクトルデータとの関係性があるかどうかを特定するために、個体から採取され視覚的画像とともに登録された生物学的試片のスペクトル画像からの入力されたスペクトルデータを、前記スペクトルデータと比較することができ、
    さらに前記プロセッサーは、前記スペクトルデータと前記生物学的試片のスペクトル画像からのスペクトルデータとの関係性がある場合に、前記スペクトルデータに関係付けられた病気もしくは状態の分類もしくは検出を出力できるシステム。
  2. 病気もしくは状態の分類もしくは検出をコンピューターから提供するための制御ロジックが保存されたコンピューター使用可能媒体を有するコンピュータープログラムプロダクトであって、前記制御ロジックは、
    個体から採取され視覚的画像とともに登録された生物学的試片のスペクトル画像からのスペクトルデータを得るためのコンピューター読み取り可能な第一プログラムコード手段と、
    前記生物学的試験片のスペクトル画像からのスペクトルデータを病気もしくは状態と関係付けられた保存されたスペクトルデータと比較するためのコンピューター読み取り可能な第二プログラムコード手段と、
    前記スペクトルデータと、前記生物学的試験片のスペクトル画像からのスペクトルデータとの関連性があるかどうかを特定するためのコンピューター読み取り可能な第三プログラムコード手段と、
    前記スペクトルデータと前記生物学的試片のスペクトル画像からのスペクトルデータとの関係性がある場合に、前記スペクトルデータに関係付けられた病気もしくは状態の分類もしくは検出を出力するためのコンピューター読み取り可能な第四プログラムコード手段と、を有するコンピュータープログラムプロダクト。
  3. 病気もしくは状態の分類もしくは検出を提供する方法であって、該方法はプロセッサーおよびメモリを含むコンピュータデバイスにより実行され、
    視覚的画像とともに登録された生物学的試片のスペクトル画像からスペクトルデータを得る工程と、
    前記生物学的試片のスペクトル画像からのスペクトルデータと、病気もしくは状態に関係付けられている保存されたスペクトルデータとを比較する工程と、
    前記スペクトルデータと前記生物学的試験片のスペクトル画像からのスペクトルデータとの関連性があるかどうかを特定する工程と、
    前記スペクトルデータと前記生物学的試験片のスペクトル画像からのスペクトルデータとの関係性がある場合に、前記スペクトルデータに関係付けられた病気もしくは状態の分類もしくは検出を出力する工程と、を含む方法。
  4. 保存データは複数の画像から得られていて、
    保存場所内の前記複数の画像の各々が病気もしくは状態と関係付けられている請求項3に記載の方法。
  5. 前記分類もしくは検出を出力する前記工程は、前記病気もしくは状態をコンピュータースクリーンに表示する工程を含む請求項3に記載の方法。
  6. 前記分類もしくは検出を出力する前記工程は、前記分類もしくは検出を電子的に保存する工程を含む請求項3に記載の方法。
  7. 前記生物学的試片は、細胞もしくは組織を含む請求項3に記載の方法。
  8. 保存データは複数の画像から得られていて、
    保存場所内の前記複数の画像の各々が病気もしくは状態と関係付けられている請求項1に記載のシステム。
  9. 前記分類もしくは検出はコンピュータースクリーンに表示される請求項1に記載のシステム。
  10. 前記分類もしくは検出は電子的に保存される請求項1に記載のシステム。
  11. 前記生物学的試片は、細胞もしくは組織を含む請求項1に記載のシステム。
JP2015191282A 2010-06-25 2015-09-29 生物学的試片をスペクトル画像により分析する方法 Active JP6366556B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35860610P 2010-06-25 2010-06-25
US61/358,606 2010-06-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013516834A Division JP6019017B2 (ja) 2010-06-25 2011-06-24 生物学的試片をスペクトル画像により分析する方法

Publications (2)

Publication Number Publication Date
JP2016028250A JP2016028250A (ja) 2016-02-25
JP6366556B2 true JP6366556B2 (ja) 2018-08-01

Family

ID=45371844

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013516834A Expired - Fee Related JP6019017B2 (ja) 2010-06-25 2011-06-24 生物学的試片をスペクトル画像により分析する方法
JP2015191282A Active JP6366556B2 (ja) 2010-06-25 2015-09-29 生物学的試片をスペクトル画像により分析する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013516834A Expired - Fee Related JP6019017B2 (ja) 2010-06-25 2011-06-24 生物学的試片をスペクトル画像により分析する方法

Country Status (9)

Country Link
EP (1) EP2585811A4 (ja)
JP (2) JP6019017B2 (ja)
KR (1) KR20130056886A (ja)
AU (1) AU2011270731A1 (ja)
BR (1) BR112012033200A2 (ja)
CA (1) CA2803933C (ja)
IL (1) IL223853A (ja)
MX (1) MX337696B (ja)
WO (1) WO2011163624A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
US9025850B2 (en) 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
EP2724277A4 (en) 2011-06-24 2014-12-10 Univ Northeastern PHASE CORRECTION FOR COMPENSATION OF REFLECTIONS IN OPTICAL SPECTRA
WO2013142366A1 (en) 2012-03-19 2013-09-26 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
JP5861225B2 (ja) * 2012-06-07 2016-02-16 国立大学法人鳥取大学 被検サンプル組織体中の検体細胞の有無判別方法および装置
JP6006036B2 (ja) * 2012-08-17 2016-10-12 オリンパス株式会社 分光スペクトル解析方法
US9798918B2 (en) 2012-10-05 2017-10-24 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
JP2016514869A (ja) * 2013-03-19 2016-05-23 シレカ セラノスティクス エルエルシー スペクトル画像による生物試料の分析方法およびシステム
KR102242460B1 (ko) * 2013-09-19 2021-04-21 로레알 표면의 색상 및 스펙트럼의 측정 및 범주화를 위한 시스템 및 방법
US9269014B2 (en) 2013-09-24 2016-02-23 Corning Incorporated Hyperspectral detector systems and methods using context-image fusion
CN103489194A (zh) * 2013-09-30 2014-01-01 河海大学 基于安全半监督支持向量机的遥感影像变化检测方法
JP6499643B2 (ja) * 2013-10-01 2019-04-10 ベンタナ メディカル システムズ, インコーポレイテッド ラインベースの画像位置合わせ及び交差画像注釈デバイス、システム、及び方法
WO2015128946A1 (ja) 2014-02-25 2015-09-03 オリンパス株式会社 分光スペクトル解析方法
JP2015178986A (ja) * 2014-03-19 2015-10-08 株式会社島津製作所 赤外顕微鏡
JP6451741B2 (ja) 2014-07-11 2019-01-16 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム
EP3198262A4 (en) * 2014-07-21 2018-07-25 7386819 Manitoba Ltd. Method and device for bone scan in meat
JP2016035394A (ja) * 2014-08-01 2016-03-17 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
WO2016080442A1 (ja) * 2014-11-21 2016-05-26 住友電気工業株式会社 品質評価方法及び品質評価装置
KR101735464B1 (ko) 2014-12-17 2017-05-15 한밭대학교 산학협력단 유기물의 존재 또는 생물의 생사 측정 장치 및 방법
US10460439B1 (en) 2015-08-12 2019-10-29 Cireca Theranostics, Llc Methods and systems for identifying cellular subtypes in an image of a biological specimen
GB2545877B (en) * 2015-09-10 2021-09-15 Sierra Medical Ltd ATR-FTIR computational analysis of Barrett's esophagus and esophageal cancers
KR101793609B1 (ko) * 2015-09-11 2017-11-06 연세대학교 산학협력단 다중 광학 융합영상 기반 실시간으로 뇌종양을 진단하는 방법 및 장치
JP6676160B2 (ja) * 2015-10-28 2020-04-08 ベンタナ メディカル システムズ, インコーポレイテッド 中赤外分光法を用いて組織品質を分析するための方法およびシステム
JP6776672B2 (ja) 2016-07-08 2020-10-28 住友電気工業株式会社 品質評価方法及び品質評価装置
US11002678B2 (en) * 2016-12-22 2021-05-11 University Of Tsukuba Data creation method and data use method
JP6975418B2 (ja) * 2017-03-24 2021-12-01 株式会社Screenホールディングス 領域判定方法
CA3064358A1 (en) 2017-05-22 2018-11-29 La Trobe University Image contrast enhancement for optical microscopy
CA3213179A1 (en) 2017-08-09 2019-02-14 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
CA3076478C (en) * 2017-09-21 2021-11-16 Vital Biosciences, Inc. Imaging biological tissue or other subjects
JPWO2019073666A1 (ja) * 2017-10-11 2020-12-03 株式会社ニコン 判定装置、判定方法、および判定プログラム
CN111406274B (zh) * 2017-12-01 2024-04-19 索尼公司 图像着色设备、图像着色方法、图像学习设备、图像学习方法、程序及图像着色系统
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
JP6669189B2 (ja) * 2018-04-09 2020-03-18 株式会社島津製作所 赤外顕微鏡
JP7235272B2 (ja) * 2018-05-16 2023-03-08 株式会社アドダイス 画像処理装置及び検査システム
CN109087341B (zh) * 2018-06-07 2022-07-05 华南农业大学 一种近距离高光谱相机与测距传感器的融合方法
GB2577349B (en) * 2018-09-18 2023-06-14 Univ Oxford Innovation Ltd Radiomic signature of adipose
GB201817092D0 (en) * 2018-10-19 2018-12-05 Cancer Research Tech Ltd Apparatus and method for wide-field hyperspectral imaging
AU2019390733A1 (en) * 2018-11-29 2021-06-10 La Trobe University Automated method of identifying a structure
US20220270245A1 (en) * 2019-07-24 2022-08-25 Saitama Medical University Estimator learning device, estimator learning method, and estimator learning program
KR102091832B1 (ko) * 2019-08-05 2020-03-20 주식회사 에프앤디파트너스 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
CN114270174A (zh) * 2019-08-28 2022-04-01 文塔纳医疗系统公司 使用振动光谱对生物标志物表达进行无标记评估
KR102347442B1 (ko) * 2019-11-08 2022-01-05 한국광기술원 중적외선을 이용한 암종 컬러검출장치 및 방법
KR102648081B1 (ko) * 2019-12-13 2024-03-18 (주)미래컴퍼니 테라헤르츠파를 이용한 검사 시스템
KR102648092B1 (ko) * 2019-12-16 2024-03-18 (주)미래컴퍼니 테라헤르츠파를 이용한 검사 시스템
KR102648099B1 (ko) * 2019-12-16 2024-03-18 (주)미래컴퍼니 테라헤르츠파를 이용한 검사 시스템
GB202006494D0 (en) * 2020-05-01 2020-06-17 Imperial College Innovations Ltd Processing 1h-nmr spectral data
JP2020204624A (ja) 2020-09-18 2020-12-24 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
KR102441907B1 (ko) * 2021-07-08 2022-09-08 가톨릭대학교 산학협력단 암 진단을 위한 이미지 분류 장치 및 이미지 분류 방법
WO2023096971A1 (en) * 2021-11-24 2023-06-01 Applied Materials, Inc. Artificial intelligence-based hyperspectrally resolved detection of anomalous cells

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2519892A (en) * 1991-08-20 1993-03-16 Douglas C.B. Redd Optical histochemical analysis, in vivo detection and real-time guidance for ablation of abnormal tissues using a raman spectroscopic detection system
US5713364A (en) * 1995-08-01 1998-02-03 Medispectra, Inc. Spectral volume microprobe analysis of materials
US6826422B1 (en) * 1997-01-13 2004-11-30 Medispectra, Inc. Spectral volume microprobe arrays
US6037772A (en) * 1998-01-06 2000-03-14 Arch Development Corp. Fast spectroscopic imaging system
JPH11283019A (ja) * 1998-03-31 1999-10-15 Fuji Photo Film Co Ltd 画像解析装置
US6002476A (en) * 1998-04-22 1999-12-14 Chemicon Inc. Chemical imaging system
US20030026762A1 (en) * 1999-05-05 2003-02-06 Malmros Mark K. Bio-spectral imaging system and methods for diagnosing cell disease state
US6215554B1 (en) * 1999-08-26 2001-04-10 Yi Zhang Laser diagnostic unit for detecting carcinosis
IL132687A0 (en) * 1999-11-01 2001-03-19 Keren Mechkarim Ichilov Pnimit System and method for evaluating body fluid samples
US7755757B2 (en) * 2007-02-14 2010-07-13 Chemimage Corporation Distinguishing between renal oncocytoma and chromophobe renal cell carcinoma using raman molecular imaging
JP2004053498A (ja) * 2002-07-23 2004-02-19 Matsushita Electric Ind Co Ltd 顕微鏡画像解析装置とその画像解析方法
JP2005058378A (ja) * 2003-08-08 2005-03-10 Olympus Corp 手術用観察システム
US20060281068A1 (en) 2005-06-09 2006-12-14 Chemimage Corp. Cytological methods for detecting a disease condition such as malignancy by Raman spectroscopic imaging
JP4673000B2 (ja) * 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2006026015A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 光断層画像取得システム
WO2006083969A2 (en) * 2005-02-01 2006-08-10 Amnis Corporation Blood analysis using a flow imaging cytometer
JP4669330B2 (ja) * 2005-06-17 2011-04-13 日本放送協会 2次元再生等化器および2次元再生等化方法
US8081304B2 (en) * 2006-07-31 2011-12-20 Visualant, Inc. Method, apparatus, and article to facilitate evaluation of objects using electromagnetic energy
JP5135882B2 (ja) * 2007-05-22 2013-02-06 株式会社豊田中央研究所 物体識別装置及びプログラム
AU2009251310B2 (en) * 2008-05-29 2014-11-20 Northeastern University Method of reconstituting cellular spectra useful for detecting cellular disorders
JP5146667B2 (ja) * 2008-06-13 2013-02-20 花王株式会社 肌のなめらかさの評価方法
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
WO2010046968A1 (ja) * 2008-10-21 2010-04-29 西日本高速道路エンジニアリング四国株式会社 コンクリート構造物の診断装置および診断方法

Also Published As

Publication number Publication date
MX337696B (es) 2016-03-15
KR20130056886A (ko) 2013-05-30
AU2011270731A8 (en) 2013-03-07
IL223853A (en) 2017-12-31
JP6019017B2 (ja) 2016-11-02
EP2585811A4 (en) 2017-12-20
BR112012033200A2 (pt) 2016-12-06
MX2012015240A (es) 2013-12-02
WO2011163624A1 (en) 2011-12-29
AU2011270731A1 (en) 2013-02-07
JP2016028250A (ja) 2016-02-25
EP2585811A1 (en) 2013-05-01
JP2013535014A (ja) 2013-09-09
CA2803933A1 (en) 2011-12-29
CA2803933C (en) 2017-10-03

Similar Documents

Publication Publication Date Title
JP6366556B2 (ja) 生物学的試片をスペクトル画像により分析する方法
US10067051B2 (en) Method for analyzing biological specimens by spectral imaging
US9495745B2 (en) Method for analyzing biological specimens by spectral imaging
KR20140104946A (ko) 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법 및 시스템
US10043054B2 (en) Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
JP2016514869A (ja) スペクトル画像による生物試料の分析方法およびシステム
AU2017204736A1 (en) Method for analyzing biological specimens by spectral imaging
Dai et al. Accurate categorization and rapid pathological diagnosis correction with Micro-Raman technique in human lung adenocarcinoma infiltration level

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180703

R150 Certificate of patent or registration of utility model

Ref document number: 6366556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250