JP6763407B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP6763407B2
JP6763407B2 JP2017562541A JP2017562541A JP6763407B2 JP 6763407 B2 JP6763407 B2 JP 6763407B2 JP 2017562541 A JP2017562541 A JP 2017562541A JP 2017562541 A JP2017562541 A JP 2017562541A JP 6763407 B2 JP6763407 B2 JP 6763407B2
Authority
JP
Japan
Prior art keywords
fluorescent
image
bright spot
image processing
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562541A
Other languages
English (en)
Other versions
JPWO2017126420A1 (ja
Inventor
由佳 吉原
由佳 吉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2017126420A1 publication Critical patent/JPWO2017126420A1/ja
Application granted granted Critical
Publication of JP6763407B2 publication Critical patent/JP6763407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/531Production of immunochemical test materials
    • G01N33/532Production of labelled immunochemicals
    • G01N33/533Production of labelled immunochemicals with fluorescent label
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、画像処理装置及びプログラムに関する。
病理診断において、組織標本中の特定の生体物質の発現に基づいて、病変の悪性度等を判断することが広く行われている。
具体的には、例えば、酵素(DABなど)や蛍光物質を用いた免疫組織化学法によって染色された組織標本を撮影した顕微鏡画像から、細胞ごとの特定の生体物質の発現の有無が判定されて、診断に用いられる。
近年、病変の程度や種類を詳しく把握して効果的な治療を行うために、組織標本中の複数種類の生体物質の発現状況を把握できる技術が求められている。
例えば、乳癌は、ホルモン受容体(エストロゲン受容体(ER)及びプロゲステロン受容体(PgR))、HER2、及びKi67の発現の有無の組み合わせに基づいて、5つのサブタイプに分類される。サブタイプによって癌細胞の性質が異なることから、それぞれに適した薬物療法(例えば、化学療法、ホルモン療法、抗HER2療法)を選ぶ必要がある。
従来、このような病理診断は、病理医が顕微鏡画像を見て行っていたが、診断結果に個人差が生じ、また、定量的な判定が難しいという問題点があった。
特許文献1に記載の顕微鏡システムによれば、細胞及び標的分子を染色した組織標本の画像に基づいて、標的分子が発現している細胞が抽出されて表示される。複数の生体物質を標的物質として、互いに異なる色の色素で染色した組織標本を用いた場合には、細胞上の複数種類の生体物質の発現の有無のパターンを把握して、その組み合わせから癌の種類を分類することができる。
特開2011−179924号公報
しかし、特許文献1に記載のシステムでは、標本における標的分子の発現の有無のパターンを把握できるのみであり、発現を定量的に評価することはできない。
蛍光色素によって標的分子が染色された場合には、発光の輝度値に基づいて発現量をある程度評価することができる。しかし、蛍光物質の種類や撮像条件等に応じて、輝度値と生体物質の発現量の関係が異なるため、複数種類の蛍光物質の輝度値の単純な比較結果に基づいて、複数種類の生体物質の発現量を評価することはできない。
そのため、特許文献1に記載のシステムでは、複数種類の生体物質の発現に基づいて病変の種類を把握することはできるが、病変の程度を把握することはできなかった。
本発明の主な目的は、組織標本における複数種類の生体物質の発現量を定量し、さらに、定量結果を解析した統計値を算出可能な画像処理装置及びプログラムを提供することにある。
本発明に係る上記課題は、以下の手段により解決される。
1.複数種類の生体物質が染色された組織標本における前記生体物質の発現を蛍光輝点で表す蛍光画像、及び前記組織標本における細胞の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から観察対象領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記蛍光輝点が発現を表す前記複数種類の生体物質の数から統計値を算出する算出手段と、
前記統計値により生体物質の発現量をスコア化し、その値に応じて前記観察対象領域を分類し、前記観察対象領域を分類ごとに表示態様を変化させて表示する表示手段と、
を備える事を特徴とする画像処理装置。
2.前記統計値は、前記観察対象領域当たりの前記複数種類の生体物質の数から算出されることを特徴とする第1項に記載の画像処理装置。
3.前記表示手段は、前記統計値を表示することを特徴とする第1項又は第2項に記載の画像処理装置。
4.前記表示手段は、前記統計値を示すグラフを表示することを特徴とする第3項に記載の画像処理装置。
5.前記統計値に基づいて、前記観察対象領域を分類する分類手段を備え
前記分類手段は、前記スコアを、分類及び悪性度のレベルと前記生体物質の発現量に関するテーブルと照合して、細胞のサブタイプ及びレベルを分類することを特徴とする第1項〜第4項の何れか一項に記載の画像処理装置。
6.前記分類手段は、前記複数種類の生体物質の種類及び発現量を組み合わせたテーブル及び前記統計値に基づいて、前記観察対象領域を分類することを特徴とする第5項に記載の画像処理装置。
7.前記表示手段は、前記観察対象領域を分類ごとに色分けし、前記悪性度のレベルに応じて輪郭線の太さを変えて表示することを特徴とする第5項又は第6項に記載の画像処理装置。
8.前記組織標本の複数種類の生体物質は、発光波長が互いに異なる複数種類の蛍光ナノ粒子を用いて染色されていることを特徴とする第1項〜第7項の何れか一項に記載の画像処理装置。
9.前記蛍光輝点の発光波長に基づいて、前記蛍光輝点が表す生体物質の種類を特定する特定手段を備えることを特徴とする、第8項に記載の画像処理装置。
10.前記観察対象領域と前記蛍光輝点の位置関係に基づいて、前記蛍光輝点が表す生体物質の種類を特定する特定手段を備えることを特徴とする第1項〜第9項の何れか一項に記載の画像処理装置。
11.コンピュータを、
複数種類の生体物質を染色した組織標本における前記生体物質の発現を蛍光輝点で表す蛍光画像、及び前記組織標本における細胞の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段、
前記形態画像から観察対象領域を抽出する領域抽出手段、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段、
前記蛍光輝点が発現を表す前記複数種類の生体物質の数から統計値を算出する算出手段、
前記統計値により生体物質の発現量をスコア化し、その値に応じて前記観察対象領域を分類し、前記観察対象領域を分類ごとに表示態様を変化させて表示する表示手段、
として機能させるためのプログラム。
本発明の画像処理装置及びプログラムによれば、組織標本における複数種類の生体物質の発現量を定量し、さらに、定量結果を解析した統計値を算出することができる。
診断支援情報生成システムのシステム構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 本発明の画像解析処理を示すフローチャートである。 領域抽出工程の流れを示すフローチャートである。 統計値を表示する図の一例である。 細胞の分類結果の表示を模式的に示す図である。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
<診断支援情報生成システム100の構成>
<病理診断支援システム100の構成>
図1に、病理診断支援システム100の全体構成例を示す。
病理診断支援システム100は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図1に示すように、病理診断支援システム100は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡(例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等)にカメラを設置したものを顕微鏡画像取得装置1Aとして用いることができる。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(例えば、特表2002−514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
例えば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、領域抽出手段、輝点抽出手段、算出手段、分類手段及び特定手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、例えばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示し、第1表示手段及び第2表示手段としての機能を実現する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、蛍光画像及び形態画像の入力手段としての機能を実現する。
記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
<画像について>
本実施形態では、画像処理装置2Aは、例えば、顕微鏡画像取得装置1Aから送信された、細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像、及び細胞の所定の構造の形態を表す形態画像(例えば、細胞核、細胞膜等の形態を表す明視野画像)を用いて解析を行うことが好ましい。
「明視野画像」とは、例えば、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。
細胞の形態画像としては、明視野画像の他に、細胞の診断対象とする構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なDAPI染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
細胞における特定の生体物質の発現を蛍光輝点で表す「蛍光画像」は、蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質を発光させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。
蛍光染色試薬は、例えば、特定の生体物質と特異的に結合及び/又は反応する蛍光ナノ粒子を含む試薬であるが、これに限定されるものではなく、特定の生体物質と特異的に結合及び/又は反応する任意の蛍光物質を含む試薬を用いることができる。なお、「蛍光ナノ粒子」とは、詳しくは後述するが、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光ナノ粒子として、好ましくは量子ドット(半導体ナノ粒子)、蛍光物質内包ナノ粒子が使用される。好ましくは発光波長が蛍光顕微鏡10の撮像素子20の感度域内に存在するナノ粒子であって、詳しくは発光波長が400〜700nmのナノ粒子が使用される。
<蛍光染色試薬や染色方法など>
以下、細胞に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
(1)蛍光物質
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子などを挙げることができる。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット(それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。)のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがCdSe、シェルがZnSの場合、CdSe/ZnSと表記する。
例えば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO2、Si/ZnS、Ge/GeO2、Ge/ZnSなどを用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)などが挙げられる。
(2)蛍光物質内包ナノ粒子
「蛍光物質内包ナノ粒子」とは、上記のような蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、30〜800nm程度のものを用いることができる。また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100(%))は特に限定されないが、20%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、1000個の粒子の粒径の算術平均を平均粒径とする。変動係数も、1000個の粒子の粒径分布から算出した値とする。
(3)生体物質認識部位と蛍光ナノ粒子との結合
本実施形態では、特定の生体物質と特異的に結合及び/又は反応する蛍光染色試薬として、蛍光ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合及び/又は反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)及び核酸(オリゴヌクレオチド、ポリヌクレオチド)などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、及び前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗HER2抗体及び抗ER抗体を蛍光ナノ粒子に結合させたもの(蛍光染色試薬)は、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
生体物質認識部位と蛍光ナノ粒子との間にはこれらを連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM(PEG)12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(例えば、Gelest社製PEG-silane no.SIM6492.7)などが挙げられる。
シランカップリング剤を用いる場合、2種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo−SMCC(Sulfosuccinimidyl 4[N-maleimidomethyl]-cyclohexane-1-carboxylate:Pierce社製)を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDC又はsulfo−SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
生体物質認識部位の一例として、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99, MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン(高分子量)、パンケラチン、パンケラチン、サイトケラチン 5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン 8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc抗原、HBs抗原、ヘパトサイト特異抗原、HER2、HSV-I、HSV-II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパL鎖、Ki67、ラムダL鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27(Kip1)、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン(D2-40)、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70などの特定抗原を認識する抗体が挙げられる。
なお、蛍光ナノ粒子は、上記のように生体物質認識部位と予め直接結合して用いる他、免疫染色における公知の間接法のように、染色工程において間接的に生体物質認識部位に結合されても良い。具体的には、例えば、組織標本に対して特定の生体物質を抗原とするビオチン化一次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光ナノ粒子を結合させた染色試薬をさらに反応させて、ストレプトアビジンとビオチンが特異的に結合して複合体を形成することを利用して染色しても良い。また、例えば、組織標本に対して、特定タンパクを抗原とする一次抗体を反応させ、さらに当該一次抗体を抗原とするビオチン化二次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光ナノ粒子を反応させて染色しても良い。
(4)染色方法
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
(4.1)脱パラフィン工程
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
(4.2)賦活化処理
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130℃、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。
(4.3)蛍光染色試薬を用いた染色
蛍光染色試薬のPBS分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光ナノ粒子を用いる場合には、それぞれの蛍光ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、BSA含有PBSなど、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、形態画像を得るためにHE染色等を実施する場合は、カバーガラスによる封入前の任意の段階に行う。
(5)蛍光画像の取得
染色した組織切片に対し顕微鏡画像取得装置1Aを用いて、顕微鏡画像(蛍光画像)を取得する。励起光源と蛍光検出用光学フィルタは、蛍光染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応したものを適宜選択する。
<診断支援情報生成システム100の動作(画像処理方法を含む。)>
以下、診断支援情報生成システム100において、細胞の形態を表す形態画像及び細胞における複数種類の生体物質の発現を表す蛍光画像を取得して、統計値を算出する動作について、具体的な実施形態を挙げて説明するが、本発明は、以下の実施形態に限定されるものではない。
以下、組織切片を撮影した画像から、複数の生体物質の発現量に基づいて、乳癌のサブタイプを分類するための統計値を算出する場合を例にとって説明する。
乳癌の細胞には、様々なサブタイプが知られており、サブタイプに応じて適切な治療を実施することが好ましい。乳癌のサブタイプは、表1に示すように、ホルモン受容体(ER及びPgR)、HER2及びKi67の発現が陽性(+)か陰性(−)かに応じて、5つに分類されることが一般的である。
Figure 0006763407
まず、操作者は、乳癌組織から採取された組織切片のHE染色を行い、次いで、蛍光ナノ粒子を用いて複数種類の生体物質(ER、PgR、HER2及びKi67)の蛍光染色を行う。
複数種類の生体物質は、それぞれ、異なる発光特性の蛍光ナノ粒子を用いて染色されることが好ましい。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
その後、顕微鏡画像取得装置1Aを用いて、以下の(a1)〜(a5)の手順により、明視野画像及び蛍光画像を取得する。
(a1)操作者は、組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像(形態画像)の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って、蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
染色に用いた蛍光ナノ粒子の種類に応じて、上記(a5)の工程を繰り返す。本実施形態では、具体的には、(a5)の工程を4回行って、それぞれ、ER、PgR、HER2、及びKi67の染色に用いた蛍光ナノ粒子の発光を表す4枚の蛍光画像を取得する。各蛍光画像の取得に用いる励起光及びフィルタは、発光特性に適した組み合わせを適宜選択する。
その後、画像処理装置2Aにおいて、形態画像及び蛍光画像から、ER、PgR、HER2及びKi67の発現を解析して統計値を算出する画像解析処理が実行される。図3に、画像解析処理のフローチャートを示す。
本発明の画像解析処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって、以下の実施形態に記載の処理を実行する。
まず、通信I/F24により顕微鏡画像取得装置1Aからの形態画像が入力されると(ステップS1:入力工程)、制御部21は、形態画像から観察対象領域としてHE染色により青紫色に染色された細胞核の領域を抽出する(ステップS2:領域抽出工程)。
ステップS2では、例えば図4に示されるとおり、形態画像をモノクロ画像に変換し(ステップS21)、予め定められた閾値でモノクロ画像に閾値処理を施して各画素の値を二値化し(ステップS22)、二値画像にノイズ処理を実行する(ステップS23)。
ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からn×n画素(nは2以上の整数)の範囲内にある画素に1つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
ステップS21〜S23により、形態画像から細胞核領域が抽出された細胞核画像を生成することができる。
次いで、通信I/F24により顕微鏡画像取得装置1Aで取得した複数の蛍光画像が入力されると(ステップS3:入力工程)、制御部21は、各蛍光画像から蛍光輝点を抽出して(ステップS4:輝点抽出工程)、蛍光輝点の「座標情報」、「色情報」等が抽出される。
蛍光輝点の「座標情報」とは、例えば、蛍光画像における蛍光輝点の位置を二次元座標上で示したものである。蛍光輝点の「色情報」とは、例えば、蛍光輝点の発光波長のピーク値であり、蛍光輝点が何れの蛍光画像から抽出されたか、等に基づいて抽出される。
ステップS4の工程は、例えば、公開解析ソフトImageJ、株式会社ジーオングストローム社製の全輝点自動計測ソフトG−Count、等を用いて、公知の任意の方法により行うことができる。
次いで、「蛍光輝点と細胞核領域との位置関係に関する情報」を抽出する(ステップS5)。蛍光輝点と細胞核領域との位置関係に関する情報とは、例えば、蛍光輝点が細胞核領域内にあるか否か、蛍光輝点から最も近い細胞核領域までの距離、等の情報である。さらに、位置関係に関する情報に基づいて蛍光輝点と同じ細胞に帰属する細胞核領域を判別し、その結果を、「蛍光輝点と細胞核領域との位置関係に関する情報」に含んでもよい。
次いで、上述した「各蛍光輝点の座標情報及び色情報」、「細胞核領域と蛍光輝点の位置関係に関する情報」等に基づいて、「蛍光輝点が表す生体物質の種類」を特定する(ステップS6:特定工程)。
ステップS6では、さらに、バックグラウンドノイズに由来する蛍光輝点を除く処理を行っても良い。具体的には、例えば、蛍光輝点から最も近い細胞核領域までの距離が所定の値よりも大きい場合には、その蛍光輝点は細胞外のノイズであると判断して、除外する。
次いで、蛍光輝点が発現を表す複数種類の生体物質の数から統計値を算出する(ステップS7:算出工程)。
統計値は、例えば、生体物質ごとの発現数の和、細胞当たりの各生体物質の発現数などに関する値であり、組織標本、病変、染色した生体物質、等の種類に応じて、診断に有用な値が適宜算出される。
例えば、乳癌においては、一般的に、ER、PgR、HER2及びKi67の発現数に基づくサブタイプ分類が行われるので、本実施形態では、まず、「蛍光輝点が表す生体物質の種類」及び蛍光輝点と同じ細胞に帰属する細胞核領域の情報を用いて、複数種類の生体物質の発現数が、生体物質の種類ごとに算出される。細胞当たりの複数種類の生体物質の発現量に関する統計値が算出される。
また、ある種の癌では、細胞内で特定の生体物質(以下、第一の生体物質と第二の生体物質とする)が近接しているほど、癌の悪性度が高いことが知られている。このような癌の悪性度の診断においては、例えば、まず、1つの第一の生体物質に対して、同じ細胞に帰属する第二の生体物質の中で最も近いものを選択し、これらの間の距離を算出して、細胞ごとに平均する。次いで、この距離の平均値を用いて細胞当たりの複数種類の生体物質の発現数に重みづけした値を統計値として用いる。
次いで、統計値に応じて細胞を分類する(ステップS8:分類工程)。分類の指標として、癌のサブタイプ及び悪性度等の分類項目と、複数種類の生体物質の発現量の関係を示すデータ(例えば、テーブル)が予め準備されて、記憶部25に記憶されていることが好ましい。組織標本、病変、染色した生体物質、等の種類に応じて、異なる指標が準備される。
表2は、乳癌のサブタイプ分類及び悪性度のレベルと、生体物質の発現量の関係を示すテーブルの一例である。表2では、細胞当たりの発現量が閾値よりも少ない生体物質の発現量が「−」のスコアで示されている。また、細胞当たりの発現量が閾値以上であり、陽性と評価された生体物質の発現は「+」、「++」、「+++」、「++++」及び「+++++」の5段階のスコアで示されている(「+」が多いほど、発現量が多いことを示す)。Luminal B(HER2(+))、HER2-enriched及びBasal-like(TN:Triple Negative)に関しては、これらのサブタイプに該当するか否かと、Ki67の発現量との間には相関がなく、分類に影響しないため、表2において斜線で示されている。
Figure 0006763407
表2に基づいて細胞を分類する場合、まず、ステップS7で細胞当たりの各生体物質の発現量から算出された統計値に応じて、細胞ごとの各生体物質の発現量を「―」〜「+++++」の6段階にスコア化する。そして、各生体物質のスコアをテーブルと照合して、どのサブタイプ及びレベルに該当するかを探して、細胞のサブタイプ及びレベルを分類する。
例えば、統計値によれば、画像内の細胞において、細胞当たりのHER2の生体物質の発現数が0〜180の範囲内であった場合、0〜180を6段階に分けてスコア化する。そして、ある細胞のERのスコアが「+++++」、PgRのスコアが「++」、HER2のスコアが「+++++」であった場合、表2より、その細胞はレベル3のLuminal B(HER2(+))であると分類される。
次いで、算出された統計値を表示する(ステップS9:第1表示工程)。図5は、統計値として、形態画像の全領域における、細胞当たりのHER2及びERの発現数を表示した二次元ヒストグラムの一例である。表2より、HER2とERの発現が多い細胞のサブタイプはLuminal B(HER2(+))であるが、図5によれば、HER2及びERの細胞当たりの発現数の最大値に近い細胞が最も多く、レベル3のLuminal B(HER2(+))の細胞が最も多いことが容易に把握できる。なお、統計値の表示において表示される項目は、図5のER及びHER2の発現数に限定されず、操作者が任意に選択して切り替えられることが好ましい。
また、ステップS9では、さらに、ステップS8の分類結果を表示してもよい(第2表示工程)。図6は、形態画像から抽出された細胞核領域を、分類結果である細胞のサブタイプに応じて色分けして、さらに、悪性度のレベルに応じて輪郭線の太さを変えて表示した画像の一例である。図6の画像と形態画像と重ね合わせて表示してもよい。これにより、どのようなサブタイプ及びレベルのがん細胞が、どのように分布しているかを容易に把握することができる。
以上説明した実施形態によれば、組織標本における複数の生体物質の発現量を定量し、さらに、複数の生体物質の発現量を解析した統計値を算出することができるので、複数種類の生体物質の発現量に基づいて、病変の種類や程度を詳細に分類できる。
これにより、病理診断の精度を高めることができ、より詳細な治療計画を立てることができる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態では、複数種類の生体物質は、それぞれ、異なる発光特性の蛍光ナノ粒子を用いて染色され、発光特性に応じた励起光及びフィルタを用いて蛍光画像を取得することで、蛍光ナノ粒子の発光波長に基づいて生体物質の種類を判別することとしたが、染色対象となる生体物質の組み合わせによっては、発光特性が同じである蛍光ナノ粒子を用いることができる。
例えば、細胞膜に発現するHER2及び細胞核に発現するKi67のように、発現位置が異なる複数種類の生体物質の発現を解析する場合には、形態画像から抽出された細胞核領域と、蛍光画像から抽出された蛍光輝点の位置関係に基づいて、蛍光輝点が表す生体物質の種類を判別することができる。具体的には、ステップS6において、蛍光輝点が細胞核内に存在しているときには、Ki67,細胞核領域の外であって、かつ、所定の範囲内に存在している場合にはHER2、細胞核領域から所定の距離以上離れている場合にはノイズであると判断される。
また、形態画像から抽出される観察対象領域としては、細胞核領域の他に、細胞膜、その他細胞内の任意の構造の領域を抽出して用いることができる。例えば、細胞核及び細胞膜等、複数種類の構造の領域を、観察対象領域として抽出してもよい。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
以上のように、本発明は、組織標本における複数種類の生体物質の発現量を定量し、さらに、定量結果を解析した統計値を算出可能な画像処理装置及びプログラムを提供することに適している。
1A 顕微鏡画像取得装置
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
100 診断支援情報生成システム

Claims (11)

  1. 複数種類の生体物質が染色された組織標本における前記生体物質の発現を蛍光輝点で表す蛍光画像、及び前記組織標本における細胞の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から観察対象領域を抽出する領域抽出手段と、
    前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
    前記蛍光輝点が発現を表す前記複数種類の生体物質の数から統計値を算出する算出手段と、
    前記統計値により生体物質の発現量をスコア化し、その値に応じて前記観察対象領域を分類し、前記観察対象領域を分類ごとに表示態様を変化させて表示する表示手段と、
    を備える事を特徴とする画像処理装置。
  2. 前記統計値は、前記観察対象領域当たりの前記複数種類の生体物質の数から算出されることを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示手段は、前記統計値を表示することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記表示手段は、前記統計値を示すグラフを表示することを特徴とする請求項3に記載の画像処理装置。
  5. 前記統計値に基づいて、前記観察対象領域を分類する分類手段を備え
    前記分類手段は、前記スコアを、分類及び悪性度のレベルと前記生体物質の発現量に関するテーブルと照合して、細胞のサブタイプ及びレベルを分類することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
  6. 前記分類手段は、前記複数種類の生体物質の種類及び発現量を組み合わせたテーブル及び前記統計値に基づいて、前記観察対象領域を分類することを特徴とする請求項5に記載の画像処理装置。
  7. 前記表示手段は、前記観察対象領域を分類ごとに色分けし、前記悪性度のレベルに応じて輪郭線の太さを変えて表示することを特徴とする請求項5又は6に記載の画像処理装置。
  8. 前記組織標本の複数種類の生体物質は、発光波長が互いに異なる複数種類の蛍光ナノ粒子を用いて染色されていることを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
  9. 前記蛍光輝点の発光波長に基づいて、前記蛍光輝点が表す生体物質の種類を特定する特定手段を備えることを特徴とする、請求項8に記載の画像処理装置。
  10. 前記観察対象領域と前記蛍光輝点の位置関係に基づいて、前記蛍光輝点が表す生体物質の種類を特定する特定手段を備えることを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。
  11. コンピュータを、
    複数種類の生体物質を染色した組織標本における前記生体物質の発現を蛍光輝点で表す蛍光画像、及び前記組織標本における細胞の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段、
    前記形態画像から観察対象領域を抽出する領域抽出手段、
    前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段、
    前記蛍光輝点が発現を表す前記複数種類の生体物質の数から統計値を算出する算出手段、
    前記統計値により生体物質の発現量をスコア化し、その値に応じて前記観察対象領域を分類し、前記観察対象領域を分類ごとに表示態様を変化させて表示する表示手段、
    として機能させるためのプログラム。
JP2017562541A 2016-01-19 2017-01-13 画像処理装置及びプログラム Active JP6763407B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016007778 2016-01-19
JP2016007778 2016-01-19
PCT/JP2017/000965 WO2017126420A1 (ja) 2016-01-19 2017-01-13 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017126420A1 JPWO2017126420A1 (ja) 2018-11-08
JP6763407B2 true JP6763407B2 (ja) 2020-09-30

Family

ID=59361676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562541A Active JP6763407B2 (ja) 2016-01-19 2017-01-13 画像処理装置及びプログラム

Country Status (4)

Country Link
US (1) US10761027B2 (ja)
EP (1) EP3407063A4 (ja)
JP (1) JP6763407B2 (ja)
WO (1) WO2017126420A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221062A1 (ja) * 2018-05-17 2019-11-21 コニカミノルタ株式会社 薬剤評価方法
JP2021535484A (ja) * 2018-08-30 2021-12-16 アプライド マテリアルズ インコーポレイテッドApplied Materials, Incorporated 自動的な腫瘍検出及び分類のためのシステム
JP7158220B2 (ja) * 2018-09-11 2022-10-21 浜松ホトニクス株式会社 測定装置および測定方法
WO2020166469A1 (ja) * 2019-02-15 2020-08-20 コニカミノルタ株式会社 情報提供方法、情報提供装置及びプログラム
CN111476754B (zh) * 2020-02-28 2022-12-09 中国人民解放军陆军军医大学第二附属医院 一种骨髓细胞影像人工智能辅助分级诊断系统及方法
JPWO2022059300A1 (ja) * 2020-09-15 2022-03-24

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
JPS5835536B2 (ja) 1978-05-22 1983-08-03 大日本インキ化学工業株式会社 樹脂組成物
US5326692B1 (en) 1992-05-13 1996-04-30 Molecular Probes Inc Fluorescent microparticles with controllable enhanced stokes shift
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US20060178833A1 (en) * 2005-02-04 2006-08-10 Bauer Kenneth D System for and method of providing diagnostic information through microscopic imaging
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
JP5407015B2 (ja) * 2008-07-10 2014-02-05 国立大学法人徳島大学 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
CN102165489B (zh) * 2008-09-16 2015-11-25 赫斯托克斯公司 生物标志物表达的可再现量化
AU2010307140B2 (en) * 2009-10-12 2014-05-15 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
JP5490568B2 (ja) 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP5451552B2 (ja) * 2010-08-09 2014-03-26 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
CN104080400B (zh) * 2011-12-21 2018-08-14 凯瑟琳·M·莎查夫 使排列于组织表面的病变成像的系统
EP2833123A4 (en) * 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
JP5835536B1 (ja) * 2014-03-26 2015-12-24 コニカミノルタ株式会社 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
US9964489B2 (en) * 2014-09-16 2018-05-08 Lawrence Livermore National Security, Llc System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents
JPWO2016194338A1 (ja) * 2015-06-04 2018-03-22 パナソニック株式会社 画像処理方法および画像処理装置
JP6231709B1 (ja) * 2016-05-31 2017-11-15 シスメックス株式会社 蛍光画像分析装置および分析方法

Also Published As

Publication number Publication date
US10761027B2 (en) 2020-09-01
EP3407063A1 (en) 2018-11-28
EP3407063A4 (en) 2018-11-28
WO2017126420A1 (ja) 2017-07-27
JPWO2017126420A1 (ja) 2018-11-08
US20180372642A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP6763305B2 (ja) 画像処理装置及び画像処理プログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
WO2015093518A1 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
JPWO2019172097A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP2016114447A (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6801653B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6763407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150