JPWO2017110974A1 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JPWO2017110974A1
JPWO2017110974A1 JP2017558245A JP2017558245A JPWO2017110974A1 JP WO2017110974 A1 JPWO2017110974 A1 JP WO2017110974A1 JP 2017558245 A JP2017558245 A JP 2017558245A JP 2017558245 A JP2017558245 A JP 2017558245A JP WO2017110974 A1 JPWO2017110974 A1 JP WO2017110974A1
Authority
JP
Japan
Prior art keywords
biological material
image
fluorescent
candidate
diagnosis target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017558245A
Other languages
English (en)
Other versions
JP6702339B2 (ja
Inventor
勇介 三村
勇介 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2017110974A1 publication Critical patent/JPWO2017110974A1/ja
Application granted granted Critical
Publication of JP6702339B2 publication Critical patent/JP6702339B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biotechnology (AREA)
  • Chemical & Material Sciences (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioethics (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)

Abstract

本発明の課題は、診断対象とする細胞領域をより正確に抽出できる画像処理装置及びプログラムを提供することである。本発明の画像処理装置は、組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段(制御部21)と、前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段(制御部21)と、前記候補領域の特徴を示す特徴情報、及び/又は前記生体物質情報に基づいて、前記候補領域の中から診断対象領域を抽出する第2抽出手段(制御部21)と、を備えることを特徴とする。

Description

本発明は、画像処理装置及びプログラムに関する。
近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質の定量が求められている。生体物質の存在を確認する方法として、生体物質認識部位が結合された蛍光物質と、生体物質認識部位に対応した生体物質の結合に基づく、組織分析方法が知られている。
例えば、特許文献1では、組織切片の特定抗原を複数の蛍光物質を内包したナノ粒子を用いて染色し、ナノ粒子の蛍光シグナルに基づいて切片中の特定抗原の情報を生成する方法が記載されている。
特許文献1に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状に観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、細胞当たりの生体物質の数を容易に計測可能である。
特開2012−208106号公報
しかし、実際のところ、例えばがんの診断に用いる組織標本を撮影した画像においては、しばしば、診断対象であるがん細胞に加えて、間質組織である線維芽細胞、血管内皮細胞、筋上皮細胞、リンパ球、などが観察される。
特許文献1に記載の方法では、このような間質組織も、診断対象の細胞と共に、細胞領域として抽出される。抽出された細胞領域の中に、がんに特徴的な生体物質の発現が観察される場合には、その細胞領域が診断対象のがん細胞であるということがわかる。しかし、がんに特徴的な生体物質の発現が観察されない場合には、その細胞領域が、がんに特徴的な生体物質が発現していないがん細胞か、又は、診断対象外の細胞(間質組織)なのかが判別できない。
従って、特許文献1に記載の方法では、診断対象であるがん細胞の領域のみを抽出することができないため、診断対象細胞当たりの生体物質の数などの診断支援情報に誤差が生じてしまい、誤診につながる可能性があった。
本発明の主な目的は、診断対象とする細胞領域を、より正確に抽出できる画像処理装置及びプログラムを提供することにある。
本発明に係る上記課題は、以下の手段により解決される。
1.組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段と、
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段と、
前記候補領域の特徴を示す特徴情報、及び/又は前記生体物質情報に基づいて、前記候補領域の中から診断対象領域を抽出する第2抽出手段と、
を備えることを特徴とする画像処理装置。
2.前記第2抽出手段は、少なくとも前記特徴情報に基づいて診断対象領域を抽出し、
前記特徴情報は、前記候補領域の形状、面積、及び位置の少なくとも一つを含むことを特徴とする、第1項に記載の画像処理装置。
3.前記第2抽出手段は、少なくとも前記生体物質情報に基づいて診断対象領域を抽出し、
前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含むことを特徴とする、第1項又は第2項に記載の画像処理装置。
4.前記取得手段は、前記組織標本における複数種類の生体物質の発現を表す画像から、複数種類の前記生体物質に関する生体物質情報を取得し、
前記第2抽出手段は、少なくとも第1の生体物質に関する前記生体物質情報に基づいて前記診断対象領域を抽出することを特徴とする、第1項から第3項の何れか一項に記載の画像処理装置。
5.前記第2抽出手段により抽出された診断対象領域における診断支援情報を、前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする、第1項から第4項の何れか一項に記載の画像処理装置。
6.前記第2抽出手段により抽出された診断対象領域における診断支援情報を、第2の生体物質に関する前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする、第4項に記載の画像処理装置。
7.コンピュータを、
組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段、
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段、
前記候補領域の特徴を示す特徴情報、及び/又は前記生体物質情報に基づいて、前記候補領域の中から診断対象領域を抽出する第2抽出手段、
として機能させるためのプログラム。
本発明によれば、診断対象とする細胞領域を、より正確に抽出することができる。
診断支援情報生成システムのシステム構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 第1実施形態における画像解析処理を示すフローチャートである。 候補領域の抽出工程の流れを示すフローチャートである。 蛍光輝点の抽出工程の流れを示すフローチャートである。 第1実施形態のステップS15で重ね合わせられた画像の模式図である。 第2実施形態における画像解析処理を示すフローチャートである。 第2実施形態のステップS25で重ね合わせられた画像の模式図である。 第3実施形態における画像解析処理を示すフローチャートである。 第3実施形態のステップS37で重ね合わせられた画像の模式図である。 第3実施形態の変形例のステップS37で重ね合わせられた画像の模式図である。 第4実施形態における画像解析処理を示すフローチャートである。 第4実施形態のステップS47で重ね合わせられた画像の模式図である。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
<病理診断支援システム100の構成>
図1に、病理診断支援システム100の全体構成例を示す。
病理診断支援システム100は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図1に示すように、病理診断支援システム100は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡(例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等)にカメラを設置したものを顕微鏡画像取得装置1Aとして用いることができる。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(たとえば、特表2002−514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、第1抽出手段、取得手段、第2抽出手段、及び作成手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。
記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
<画像について>
本実施形態では、画像処理装置2Aは、例えば、顕微鏡画像取得装置1Aから送信された、細胞における特定の生体物質の発現を表す画像(例えば、細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像)、及び細胞核、細胞膜等、細胞の所定の構造の形態を表す形態画像(例えば、明視野画像)を用いて解析を行うことが好ましい。
「明視野画像」とは、例えば、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。
細胞の形態画像としては、明視野画像の他に、細胞の診断対象とする構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なDAPI染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像は、特定の生体物質と特異的に結合および/または反応する蛍光物質又は蛍光物質内包ナノ粒子を含む蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質を蛍光発光させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。なお、「蛍光物質内包ナノ粒子」とは蛍光物質を内包したナノ粒子であり、詳しくは後述する。
<蛍光染色試薬や染色方法など>
以下、細胞に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
(1)蛍光物質
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素および量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子などを挙げることができる。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、およびAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、またはIV族元素を成分として含有する量子ドット(それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。)のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがCdSe、シェルがZnSの場合、CdSe/ZnSと表記する。
たとえば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO、Si/ZnS、Ge/GeO、Ge/ZnSなどを用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。たとえば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)などが挙げられる。
(2)蛍光物質内包ナノ粒子
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、30〜800nm程度のものを用いることができる。また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100%)は特に限定されないが、20%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、1000個の粒子の粒径の算術平均を平均粒径とする。変動係数も、1000個の粒子の粒径分布から算出した値とする。
(3)生体物質認識部位と蛍光物質内包ナノ粒子との結合
本実施形態では、特定の生体物質と特異的に結合および/または反応する蛍光染色試薬として、蛍光物質内包ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合および/または反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、および前記核酸にハイブリタイズする塩基
配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗HER2抗体および抗ER抗体を蛍光物質内包ナノ粒子に結合させたもの(蛍光染色試薬)は、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着および化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子との間にはこれらを連結する有機分子があってもよい。たとえば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM(PEG)12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(たとえば、Gelest社製PEG−silane no.SIM6492.7)などが挙げられる。
シランカップリング剤を用いる場合、2種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1−Ethyl−3−[3−Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo−SMCC(Sulfosuccinimidyl 4[N-maleimidomethyl]-cyclohexane-1-carboxylate:Pierce社製)を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDCまたはsulfo−SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
生体物質認識部位の一例として、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99, MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン(高分子量)、パンケラチン、パンケラチン、サイトケラチン 5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン 8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン−3、ガストリン、GFAP、グルカゴン、グリコフォリンA、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc抗原、HBs抗原、ヘパトサイト特異抗原、HER2、HSV-I、HSV-II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパL鎖、Ki67、ラムダL鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27(Kip1)、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン(D2-40)、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70などの特定抗原を認識する抗体が挙げられる。
なお、蛍光物質又は蛍光物質内包ナノ粒子は、上記のように生体物質認識部位と予め直接結合して用いる他、免疫染色における公知の間接法のように、染色工程において間接的に生体物質認識部位に結合されても良い。具体的には、例えば、組織標本に対して特定の生体物質を抗原とするビオチン化一次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を結合させた染色試薬をさらに反応させて、ストレプトアビジンとビオチンが特異的に結合して複合体を形成することを利用して染色しても良い。また、例えば、組織標本に対して、特定タンパクを抗原とする一次抗体を反応させ、さらに当該一次抗体を抗原とするビオチン化二次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を反応させて染色しても良い。
(4)染色方法
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
(4.1)脱パラフィン工程
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限
定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
(4.2)賦活化処理
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mMEDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130度、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。
(4.3)蛍光染色試薬を用いた染色
蛍光染色試薬のPBS分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、BSA含有PBSなど、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、形態画像を得るためにHE染色試薬を用いるHE染色等を実施する場合は、カバーガラスによる封入前に行う。
(5)蛍光画像の取得
染色した組織切片に対し顕微鏡画像取得装置1Aを用いて、顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した励起光源と蛍光検出用光学フィルターとを選択する。
<診断支援情報生成システム100の動作(画像処理方法を含む。)>
以下、診断支援情報生成システム100において、細胞の形態を表す形態画像及び細胞における特定の生体物質の発現を表す画像を取得して、解析を行う動作について、具体的な実施形態を挙げて説明するが、本発明は、以下の実施形態に限定されるものではない。
本発明の画像解析処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって、以下の実施形態に記載の処理を実行する。
(第1実施形態)
第1実施形態では、HE染色及び蛍光物質内包ナノ粒子を用いたKi67タンパクの染色を施された乳癌組織の切片を組織標本として用いて、HE染色により青紫色に染色された領域を候補領域として抽出し、候補領域の中から、乳がん組織中のがん細胞の細胞核の領域を、診断対象領域として抽出する。
Ki67タンパク(以下、特定タンパク)は、例えばがん細胞の細胞核において高濃度に発現することが知られている。
細胞の所定の構造の形態を表す形態画像としては、明視野画像を取得し、細胞における特定の生体物質(ここでは、特定タンパク)の発現を表す画像としては、蛍光画像を取得する。
まず、操作者は、HE染色試薬と、蛍光染色試薬(抗Ki67抗体が結合した蛍光物質内包ナノ粒子)を用いて組織切片を染色する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a5)の手順により明視野画像および蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野および撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
上記の画像の取得方法によれば、組織切片のほぼ同一範囲を撮影した蛍光画像及び形態画像が得られるが、蛍光画像及び形態画像は、同一範囲を撮影した画像に限定されず、撮影範囲の少なくとも一部が重なっていればよい。具体的には、例えば、組織切片内の狭い領域を撮影した蛍光画像と、その蛍光画像を撮影した領域を包含する広い範囲を撮影した形態画像を取得して、公知の方法により形態画像と蛍光画像の位置合わせを行った後、後述する画像解析処理を行っても良い。
その後、画像処理装置2Aを用いて、明視野画像および蛍光画像に基づき画像解析処理を実行する。
図3に、第1実施形態の画像処理装置2Aにおける画像解析処理のフローチャートを示す。
まず、通信I/F24により顕微鏡画像取得装置1Aからの明視野画像(形態画像)が入力されると(ステップS11)、明視野画像から青紫色に染色された細胞核の領域を抽出する(ステップS12:第1抽出工程)。
ステップS12では、図4に示されるとおり、例えば、明視野画像をモノクロ画像に変換し(ステップS121)、予め定められた閾値でモノクロ画像に閾値処理を施して各画素の値を二値化し(ステップS122)、二値画像にノイズ処理を実行する(ステップS123)。
ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からn×n画素(nは2以上の整数)の範囲内にある画素に1つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
ステップS121〜S123により、明視野画像から候補領域(本実施形態では、細胞核の領域)が抽出された画像(候補領域画像)が生成される。
次いで、抽出された候補領域の特徴を示す特徴情報を抽出する(ステップS124)。
特徴情報とは、候補領域に関する情報であれば任意であるが、例えば、候補領域の大きさ(面積、周囲長、短径または長径の長さ、等)及び形状(円形度、短径と長径の比、等)、位置、分布の何れか1つを含む。
円形度の定義は任意であるが、例えば、細胞核の面積をS、周囲長をLとした場合に、4πS/Lの式で算出される値が1に近いほど、円形に近く、円形度が高いと定義することができる。また、候補領域の面積と候補領域の凸包領域の面積の比である凸包面積比を算出して、これが1に近い場合に円形度が高いと定義してもよい。
位置は、例えば、候補領域の重心の座標として定義できる。
また、分布は、例えば、隣接する候補領域との距離、又は明視野画像中の候補領域の密度として定義できる。
一方、通信I/F24により顕微鏡画像取得装置1Aからの蛍光画像が入力されると(ステップS13)、蛍光画像から蛍光輝点が抽出され、特定タンパクに関する生体物質情報が取得される(ステップS14:取得工程)。
ステップS14では、図5に示されるとおり、蛍光画像から蛍光輝点の波長に応じた色成分を抽出し(ステップS141)、色成分抽出後の蛍光画像に閾値処理を施して蛍光輝点が抽出された二値画像(蛍光輝点画像)を生成する(ステップS142)。
ステップS141では、染色に用いた蛍光粒子の発光波長成分の輝度が所定の閾値以上である蛍光輝点のみが抽出される。ステップS142の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップS141〜S142により、蛍光輝点が抽出された画像(蛍光輝点画像)が生成される。
次いで、ステップS143では、蛍光輝点に基づく生体物質情報が取得される。生体物質情報は、例えば、画像における蛍光輝点の位置(座標)の情報である。
ステップS14の工程の後、候補領域画像と蛍光輝点画像との加算処理を実行して、候補領域と蛍光輝点を重ね合わせる(ステップS15)。
次いで、候補領域の特徴情報に基づいて、候補領域の中から診断対象領域が抽出される(ステップS16:第2抽出工程)。
具体的には、ステップS16において、制御部21は、予め記憶部25に記憶されている診断対象の細胞の面積や形状などの特徴のデータを読み出して、候補領域の特徴情報と比較し、候補領域が診断対象領域であるか否かを判別する。
図6は、ステップS15で重ね合わせられた画像の模式図の一例であり、ステップS12で抽出された候補領域11〜13、及び、ステップS14で抽出された蛍光輝点14が示されている
候補領域11及び12は、ステップS16において、候補領域の面積、形等に基づいて診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、面積が小さい候補領域13は、ステップS16において、がん細胞ではなく、例えば間質組織である線維芽細胞と考えられるため、診断対象領域として抽出されない。
ステップS17(作成工程)では、ステップS16で抽出された診断対象領域における生体物質情報に基づいて、細胞当たりの特定タンパクの数、密度、分布等の診断支援情報が作成される。
(第2実施形態)
以下、第2実施形態の診断支援情報生成システム100の動作について説明する。組織標本は、上述した第1実施形態と同様のものを用いることとする。
図7に、第2実施形態における画像解析処理のフローチャートを示す。ステップS21〜S25の工程は、上述した第1実施形態のステップS11〜S15の工程と同様に行われる。
第2実施形態のステップS26〜S27(第2抽出工程)では、ステップS24(取得工程)で取得された生体物質情報に基づいて、候補領域の中から診断対象領域が抽出される。
第2実施形態の第2抽出工程で用いられる生体物質情報の例としては、画像内における蛍光輝点の位置、候補領域当たりの蛍光輝点数、密度などが挙げられる。
図8は、ステップS25で得られた画像の模式図の例を示す。図8において、白い丸は候補領域、黒い丸は蛍光輝点を示す。第2実施形態のステップS26では、蛍光輝点が比較的密集して存在している特定タンパク密集領域20(図8中、点線で囲まれた領域)が判定される。蛍光輝点の密集の程度の判定方法は任意である。例えば、所定の数以上の蛍光輝点を含む候補領域が互いに近接して密集している場合に、これらの近接した候補領域を包含する領域が、特定タンパク密集領域20と判定される。
次いで、ステップS27では、特定タンパク密集領域20の中にある候補領域が診断対象であると判別され、診断対象領域として抽出される。特定タンパク密集領域20から所定の距離以上離れた位置にある候補領域は、たとえ蛍光輝点を含んでいた場合でも、診断対象ではないと判別され、診断対象領域として抽出されない。
ステップS28(作成工程)では、ステップS27で抽出された診断対象領域における生体物質情報に基づいて、細胞当たりの特定タンパクの数、密度、分布等の診断支援情報が作成される。
第2実施形態の診断対象領域の抽出を行うためには、ある程度の量の特定タンパクの発現を示す蛍光輝点が、画像内にて観察される必要がある。しかし、例えば次のような場合には、第2実施形態の診断対象領域の抽出方法は特に適している。
大腸がんや胃がんの診断では、検体を採取した際、がん細胞が検体の表面からどの深さまで浸潤しているのかが重要であり、かつ、がん細胞が密集している領域から離れた細胞は診断対象としないことが一般的である。従って、このような場合、特定タンパク密集領域の細胞を診断対象とし、特定タンパク密集領域から離れた細胞は診断対象外とすることが好ましい。
(第3実施形態)
以下の第3実施形態では、HE染色、及び蛍光物質内包ナノ粒子を用いた第1の生体物質及び第2の生体物質(特定タンパク)の染色を施された乳癌組織の切片を組織標本として用いて、HE染色により青紫色に染色された領域を候補領域として抽出し、候補領域の中から、がん細胞の細胞核の領域を診断対象領域として抽出する。
第3実施形態において、例えば、第1の生体物質は、間質組織である線維芽細胞に発現することが知られている112kDaのタンパク質であり、第2の生体物質(特定タンパク)は、細胞核に発現しているKi67タンパクである。
第1の生体物質及び第2の生体物質の染色に用いる蛍光物質内包ナノ粒子は、一方が発する蛍光が他方の励起光とならないように選択する。
細胞の所定の構造の形態を表す形態画像としては、明視野画像を取得し、細胞における特定の生体物質(ここでは、第1の生体物質及び第2の生体物質)の発現を表す画像としては、蛍光画像を取得する。
まず、操作者は、HE染色試薬と、蛍光染色試薬(第1の生体物質及び第2の生体物質の抗体が結合した蛍光物質内包ナノ粒子)を用いて、組織切片を染色する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a6)の手順により明視野画像および蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野および撮影倍率を変えずに撮像手段で撮影を行って、第1の生体物質の発現を表す第1の蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a6)視野および撮影倍率を変えずに、励起光及びフィルターを変更して、撮像手段で撮影を行って、第2の生体物質の発現を表す第2の蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
その後、画像処理装置2Aにおいて、明視野画像、第1の蛍光画像、および第2の蛍光画像に基づき画像解析処理が実行される。
図9に、第3実施形態における画像解析処理のフローチャートを示す。
ステップS31〜S32(第1抽出工程)の工程は、上述した第1実施形態のステップS11〜S12の工程と同様に行われる。
ステップS33〜S34(取得工程)、及びステップS35〜S36(取得工程)の工程は、それぞれ、通信I/F24により顕微鏡画像取得装置1Aから入力される(a5)で取得した第1の蛍光画像及び(a6)で取得した第2の蛍光画像に対して、上述した第1実施形態のステップS13〜S14と同様に行われる。
ステップS36の工程の後、候補領域(細胞核)画像と第1の生体物質及び第2の生体物質の発現をそれぞれ示す蛍光輝点画像との加算処理が実行され、候補領域と蛍光輝点とが重ね合わせられる(ステップS37)。
次いで、ステップS34で取得された第1の生体物質に関する生体物質情報に基づいて、候補領域の中から診断対象領域が抽出される(ステップS38:第2抽出工程)。
具体的には、ステップS38において、各候補領域に第1の生体物質が含まれるか否かに基づいて、候補領域が診断対象領域であるか否かが判別される。
図10は、ステップS32で抽出された候補領域31〜33、及び、ステップS34で抽出された第1の生体物質の発現を示す蛍光輝点34、及びステップS36で抽出された第2の生体物質の発現を示す蛍光輝点35が見られる、ステップS37で重ね合わせられた画像の模式図の一例である。
候補領域31及び32は、ステップS38において、線維芽細胞に発現する112kDaのタンパク質の発現が見られないことから、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点34が見られる候補領域33は、ステップS38において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
ステップS39(作成工程)では、ステップS38で抽出された診断対象領域における第2の生体物質に関する生体物質情報に基づいて、細胞当たりの第2の生体物質の数、
密度、分布等の診断支援情報が作成される。
(第3実施形態の変形例)
第3実施形態の変形例における画像解析処理は、第3実施形態における画像解析処理(図9のフローチャート参照)と同様に行われる。 上述した第3実施形態の第1の生体物質としてCEAを用いた場合を例にとって、第3実施形態の変形例を説明する。CEAは上皮系のがん細胞のマーカーとして知られる。
第3実施形態の変形例におけるステップS31〜S37の詳細は、第1の生体物質としてCEAを用いる他は、上述した第3実施形態のステップS31〜S37と同様である。
第3実施形態の変形例のステップS38(第2抽出工程)では、ステップS34で取得された第1の生体物質(CEA)に関する生体物質情報に基づいて、候補領域の中から診断対象領域が抽出される。
具体的には、第3実施形態の変形例におけるステップS38では、各候補領域にCEAが含まれるか否かに基づいて、候補領域が診断対象領域であるか否かが判別される。
図11は、ステップS32(第1抽出工程)で抽出された候補領域31A〜33A、及び、ステップS34(取得工程)で抽出されたCEAの発現を示す蛍光輝点34A、及びステップS36(取得工程)で抽出された第2の生体物質の発現を示す蛍光輝点35Aが見られる、ステップS37で重ね合わせられた画像の模式図の一例である。
候補領域31A及び32Aは、CEAの発現(蛍光輝点34A)が見られることから、ステップS38において、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、CEAの発現が見られない候補領域33Aは、ステップS38において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
第3実施形態の変形例のステップS39(作成工程)は、上述した第3実施形態のステップS39と同様に行われる。
(第4実施形態)
以下、第4実施形態の診断支援情報生成システム100の動作について説明する。組織標本は、上述した第3実施形態と同様のものを用いることとして説明する。
図12に、第4実施形態における画像解析処理のフローチャートを示す。
ステップS41〜S47の工程は、上述した第3実施形態のステップS31〜S37の工程と同様に行う。
第4実施形態のステップS48(第2抽出工程)では、ステップS42(第1抽出工程)で取得された候補領域の特徴情報及びステップS44(取得工程)で取得された第1の生体物質に関する生体物質情報に基づいて、候補領域の中から診断対象領域が抽出される。
具体的には、例えば、ステップS48において、まず、上述した第1実施形態のステップS16と同様に、候補領域の特徴情報に基づいて診断対象領域であると判別された候補領域が抽出される。次いで、抽出された候補領域に第1の生体物質が含まれるか否かに基づいて、さらに第3実施形態のステップS38と同様にして、候補領域が診断対象領域であるか否かが判別される。
図13は、ステップS42で抽出された候補領域41〜45、及び、ステップS44で抽出された第1の生体物質の発現を示す蛍光輝点46、及びステップS46(取得工程)で抽出された第2の生体物質の発現を示す蛍光輝点47が見られる、ステップS47で重ね合わせられた画像の模式図の一例である。
ステップS48において、まず、候補領域の面積及び形状に基づいて、候補領域41〜43が、診断対象のがん細胞であると判別されて抽出される。一方、円形度が低い候補領域44及び面積が小さい候補領域45は、がん細胞ではないと判別されるため、抽出されない。
次いで、抽出された候補領域41〜43のうち、候補領域41及び42は、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点45が見られないことから、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点が見られる候補領域43は、ステップS48において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
ステップS49(作成工程)では、ステップS48で抽出された診断対象領域における第2の生体物質に関する生体物質情報に基づいて、細胞当たりの第2の生体物質の数、密度、分布等の診断支援情報が作成される。
以上説明した第1〜第4実施形態によれば、細胞の特徴情報及び/又は生体物質情報に基づいて、候補領域の中から、診断対象でない細胞を除いた診断対象領域が抽出される。
これにより、診断対象領域における生体物質の発現に基づいて診断支援情報を作成することができるので、観察対象細胞における特定タンパクの発現を正確に定量可能であり、診断の精度が向上する。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
上記実施形態では、診断支援情報を1種の特定タンパクのみに基づいて作成したが、複数の特定タンパクに対し、発光波長が互いに異なる2種以上の蛍光粒子を用いてもよい。
また、上記実施形態では、特定タンパクの例として乳癌におけるKi67タンパクを挙げたが、これに限定されない。診断対象となる病変(がん)種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は、診断対象とする細胞領域を精度良く抽出可能であることを特徴とし、高精度な病理診断情報の生成に特に好適に利用することができる。
1A 顕微鏡画像取得装置
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
11〜13 候補領域
14 蛍光輝点
20 特定タンパク密集領域
31〜33 候補領域
34、35 蛍光輝点
31A〜33A 候補領域
34A、35A 蛍光輝点
41〜45 候補領域
46、47 蛍光輝点
100 診断支援情報生成システム

Claims (7)

  1. 組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段と、
    前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段と、
    前記候補領域の特徴を示す特徴情報、及び/又は前記生体物質情報に基づいて、前記候補領域の中から診断対象領域を抽出する第2抽出手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記第2抽出手段は、少なくとも前記特徴情報に基づいて診断対象領域を抽出し、
    前記特徴情報は、前記候補領域の形状、面積、及び位置の少なくとも一つを含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2抽出手段は、少なくとも前記生体物質情報に基づいて診断対象領域を抽出し、
    前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含むことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記取得手段は、前記組織標本における複数種類の生体物質の発現を表す画像から、複数種類の前記生体物質に関する生体物質情報を取得し、
    前記第2抽出手段は、少なくとも第1の生体物質に関する前記生体物質情報に基づいて前記診断対象領域を抽出することを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記第2抽出手段により抽出された診断対象領域における診断支援情報を、前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
  6. 前記第2抽出手段により抽出された診断対象領域における診断支援情報を、第2の生体物質に関する前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする請求項4に記載の画像処理装置。
  7. コンピュータを、
    組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段、
    前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段、
    前記候補領域の特徴を示す特徴情報、及び/又は前記生体物質情報に基づいて、前記候補領域の中から診断対象領域を抽出する第2抽出手段、
    として機能させるためのプログラム。
JP2017558245A 2015-12-24 2016-12-22 画像処理装置及びプログラム Active JP6702339B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015251169 2015-12-24
JP2015251169 2015-12-24
PCT/JP2016/088292 WO2017110974A1 (ja) 2015-12-24 2016-12-22 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017110974A1 true JPWO2017110974A1 (ja) 2018-10-18
JP6702339B2 JP6702339B2 (ja) 2020-06-03

Family

ID=59089521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017558245A Active JP6702339B2 (ja) 2015-12-24 2016-12-22 画像処理装置及びプログラム

Country Status (4)

Country Link
US (1) US10748283B2 (ja)
EP (1) EP3396375B1 (ja)
JP (1) JP6702339B2 (ja)
WO (1) WO2017110974A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764096A4 (en) * 2018-03-07 2021-04-28 Konica Minolta, Inc. IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, AND PROGRAM
JP6908806B1 (ja) * 2020-09-16 2021-07-28 BonBon株式会社 プログラム、情報処理装置、方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208106A (ja) * 2011-03-17 2012-10-25 Konica Minolta Medical & Graphic Inc 病理診断情報生成方法及び病理診断情報生成システム
JP2013150616A (ja) * 2002-10-28 2013-08-08 Roche Mtm Laboratories Ag 形成異常の改善された診断方法
JP2013238459A (ja) * 2012-05-14 2013-11-28 Tokyo Univ Of Science 癌細胞領域抽出装置、方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131475B2 (en) * 2003-09-03 2012-03-06 The United States Of America As Represented By The Secretary, Department Of Health And Human Services Methods for identifying, diagnosing, and predicting survival of lymphomas
WO2006069379A2 (en) * 2004-12-22 2006-06-29 Bio-Tree Systems, Inc. Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor
US8761466B2 (en) * 2008-01-02 2014-06-24 Bio-Tree Systems, Inc. Methods of obtaining geometry from images
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
GB201007055D0 (en) * 2010-04-28 2010-06-09 Vib Vzw Method and apparatus for the imaging of a labelled sample
JP5752985B2 (ja) * 2011-04-28 2015-07-22 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
AU2012261799B2 (en) * 2011-06-03 2017-03-23 Bayer Healthcare, Llc System and method for rapid quantitative dynamic molecular imaging scans
IN2014CN01734A (ja) * 2011-09-13 2015-05-29 Koninkl Philips Nv
EP3466335A1 (en) * 2011-12-21 2019-04-10 Catherine M. Shachaf Fluorescence imaging autofocus method
JP5712396B2 (ja) * 2012-03-30 2015-05-07 公益財団法人神奈川科学技術アカデミー イメージングセルソーター
EP2831591B1 (en) 2012-03-30 2019-05-08 GE Healthcare Bio-Sciences Corp. Immunoflu0rescence and fluorescent-based nucleic acid analysis on a single sample
US9792693B2 (en) * 2013-03-15 2017-10-17 Ventana Medical Systems, Inc. Spectral unmixing
AU2014333927A1 (en) * 2013-10-07 2016-03-03 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
WO2015069827A2 (en) * 2013-11-06 2015-05-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Pathology case review, analysis and prediction
JP5768945B1 (ja) * 2014-07-11 2015-08-26 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150616A (ja) * 2002-10-28 2013-08-08 Roche Mtm Laboratories Ag 形成異常の改善された診断方法
JP2012208106A (ja) * 2011-03-17 2012-10-25 Konica Minolta Medical & Graphic Inc 病理診断情報生成方法及び病理診断情報生成システム
JP2013238459A (ja) * 2012-05-14 2013-11-28 Tokyo Univ Of Science 癌細胞領域抽出装置、方法、及びプログラム

Also Published As

Publication number Publication date
US10748283B2 (en) 2020-08-18
WO2017110974A1 (ja) 2017-06-29
EP3396375A1 (en) 2018-10-31
EP3396375B1 (en) 2021-08-04
JP6702339B2 (ja) 2020-06-03
US20190012786A1 (en) 2019-01-10
EP3396375A4 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP5822054B1 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP6597316B2 (ja) 画像処理装置及びプログラム
WO2016042963A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5768948B1 (ja) 画像処理装置および画像処理プログラム
JPWO2016093090A1 (ja) 画像処理装置及び画像処理プログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
WO2016136441A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP7235036B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6702339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150