JP6702339B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP6702339B2 JP6702339B2 JP2017558245A JP2017558245A JP6702339B2 JP 6702339 B2 JP6702339 B2 JP 6702339B2 JP 2017558245 A JP2017558245 A JP 2017558245A JP 2017558245 A JP2017558245 A JP 2017558245A JP 6702339 B2 JP6702339 B2 JP 6702339B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fluorescent
- biological material
- information
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Immunology (AREA)
- Biotechnology (AREA)
- Chemical & Material Sciences (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioethics (AREA)
- Microbiology (AREA)
- Cell Biology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
Description
特許文献1に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状に観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、細胞当たりの生体物質の数を容易に計測可能である。
特許文献1に記載の方法では、このような間質組織も、診断対象の細胞と共に、細胞領域として抽出される。抽出された細胞領域の中に、がんに特徴的な生体物質の発現が観察される場合には、その細胞領域が診断対象のがん細胞であるということがわかる。しかし、がんに特徴的な生体物質の発現が観察されない場合には、その細胞領域が、がんに特徴的な生体物質が発現していないがん細胞か、又は、診断対象外の細胞(間質組織)なのかが判別できない。
従って、特許文献1に記載の方法では、診断対象であるがん細胞の領域のみを抽出することができないため、診断対象細胞当たりの生体物質の数などの診断支援情報に誤差が生じてしまい、誤診につながる可能性があった。
本発明に係る上記課題は、以下の手段により解決される。
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段と、
前記候補領域の特徴を示す特徴情報、及び前記生体物質情報に基づいて、診断対象領域を抽出する第2抽出手段と、
を備え、
前記特徴情報は、前記候補領域の分布を含み、
前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含み、
前記第2抽出手段は、所定の数以上の前記生体物質を含む前記候補領域が互いに近接して密集した密集領域を、診断対象領域として抽出することを特徴とする画像処理装置。
前記第2抽出手段は、前記特徴情報、及び少なくとも第1の生体物質に関する前記生体物質情報に基づいて、診断対象領域を抽出することを特徴とする請求項1又は2に記載の画像処理装置。
組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段、
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段、
前記候補領域の特徴を示す特徴情報、及び前記生体物質情報に基づいて、診断対象領域を抽出する第2抽出手段、
として機能させるためのプログラムであって、
前記特徴情報は、前記候補領域の分布を含み、
前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含み、
前記第2抽出手段は、所定の数以上の前記生体物質を含む前記候補領域が互いに近接して密集した密集領域を、診断対象領域として抽出することを特徴とするプログラム。
図1に、病理診断支援システム100の全体構成例を示す。
病理診断支援システム100は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡(例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等)にカメラを設置したものを顕微鏡画像取得装置1Aとして用いることができる。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、第1抽出手段、取得手段、第2抽出手段、及び作成手段としての機能を実現する。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施形態では、画像処理装置2Aは、例えば、顕微鏡画像取得装置1Aから送信された、細胞における特定の生体物質の発現を表す画像(例えば、細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像)、及び細胞核、細胞膜等、細胞の所定の構造の形態を表す形態画像(例えば、明視野画像)を用いて解析を行うことが好ましい。
細胞の形態画像としては、明視野画像の他に、細胞の診断対象とする構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なDAPI染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
以下、細胞に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素および量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、およびAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
たとえば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO2、Si/ZnS、Ge/GeO2、Ge/ZnSなどを用いることができるが、これらに限定されない。
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、1000個の粒子の粒径の算術平均を平均粒径とする。変動係数も、1000個の粒子の粒径分布から算出した値とする。
本実施形態では、特定の生体物質と特異的に結合および/または反応する蛍光染色試薬として、蛍光物質内包ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合および/または反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、および前記核酸にハイブリタイズする塩基
配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗HER2抗体および抗ER抗体を蛍光物質内包ナノ粒子に結合させたもの(蛍光染色試薬)は、乳癌の投薬選定に用いることができ、好ましい。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(たとえば、Gelest社製PEG−silane no.SIM6492.7)などが挙げられる。
シランカップリング剤を用いる場合、2種以上を併用してもよい。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1−Ethyl−3−[3−Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限
定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mMEDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130度、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。
蛍光染色試薬のPBS分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、BSA含有PBSなど、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
染色した組織切片に対し顕微鏡画像取得装置1Aを用いて、顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した励起光源と蛍光検出用光学フィルターとを選択する。
以下、診断支援情報生成システム100において、細胞の形態を表す形態画像及び細胞における特定の生体物質の発現を表す画像を取得して、解析を行う動作について、具体的な実施形態を挙げて説明するが、本発明は、以下の実施形態に限定されるものではない。
本発明の画像解析処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって、以下の実施形態に記載の処理を実行する。
第1実施形態では、HE染色及び蛍光物質内包ナノ粒子を用いたKi67タンパクの染色を施された乳癌組織の切片を組織標本として用いて、HE染色により青紫色に染色された領域を候補領域として抽出し、候補領域の中から、乳がん組織中のがん細胞の細胞核の領域を、診断対象領域として抽出する。
Ki67タンパク(以下、特定タンパク)は、例えばがん細胞の細胞核において高濃度に発現することが知られている。
細胞の所定の構造の形態を表す形態画像としては、明視野画像を取得し、細胞における特定の生体物質(ここでは、特定タンパク)の発現を表す画像としては、蛍光画像を取得する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a5)の手順により明視野画像および蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野および撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
図3に、第1実施形態の画像処理装置2Aにおける画像解析処理のフローチャートを示す。
ステップS12では、図4に示されるとおり、例えば、明視野画像をモノクロ画像に変換し(ステップS121)、予め定められた閾値でモノクロ画像に閾値処理を施して各画素の値を二値化し(ステップS122)、二値画像にノイズ処理を実行する(ステップS123)。
ステップS121〜S123により、明視野画像から候補領域(本実施形態では、細胞核の領域)が抽出された画像(候補領域画像)が生成される。
特徴情報とは、候補領域に関する情報であれば任意であるが、例えば、候補領域の大きさ(面積、周囲長、短径または長径の長さ、等)及び形状(円形度、短径と長径の比、等)、位置、分布の何れか1つを含む。
円形度の定義は任意であるが、例えば、細胞核の面積をS、周囲長をLとした場合に、4πS/L2の式で算出される値が1に近いほど、円形に近く、円形度が高いと定義することができる。また、候補領域の面積と候補領域の凸包領域の面積の比である凸包面積比を算出して、これが1に近い場合に円形度が高いと定義してもよい。
位置は、例えば、候補領域の重心の座標として定義できる。
また、分布は、例えば、隣接する候補領域との距離、又は明視野画像中の候補領域の密度として定義できる。
ステップS14では、図5に示されるとおり、蛍光画像から蛍光輝点の波長に応じた色成分を抽出し(ステップS141)、色成分抽出後の蛍光画像に閾値処理を施して蛍光輝点が抽出された二値画像(蛍光輝点画像)を生成する(ステップS142)。
ステップS141では、染色に用いた蛍光粒子の発光波長成分の輝度が所定の閾値以上である蛍光輝点のみが抽出される。ステップS142の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップS141〜S142により、蛍光輝点が抽出された画像(蛍光輝点画像)が生成される。
次いで、ステップS143では、蛍光輝点に基づく生体物質情報が取得される。生体物質情報は、例えば、画像における蛍光輝点の位置(座標)の情報である。
次いで、候補領域の特徴情報に基づいて、候補領域の中から診断対象領域が抽出される(ステップS16:第2抽出工程)。
具体的には、ステップS16において、制御部21は、予め記憶部25に記憶されている診断対象の細胞の面積や形状などの特徴のデータを読み出して、候補領域の特徴情報と比較し、候補領域が診断対象領域であるか否かを判別する。
候補領域11及び12は、ステップS16において、候補領域の面積、形等に基づいて診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、面積が小さい候補領域13は、ステップS16において、がん細胞ではなく、例えば間質組織である線維芽細胞と考えられるため、診断対象領域として抽出されない。
以下、第2実施形態の診断支援情報生成システム100の動作について説明する。組織標本は、上述した第1実施形態と同様のものを用いることとする。
図7に、第2実施形態における画像解析処理のフローチャートを示す。ステップS21〜S25の工程は、上述した第1実施形態のステップS11〜S15の工程と同様に行われる。
第2実施形態の第2抽出工程で用いられる生体物質情報の例としては、画像内における蛍光輝点の位置、候補領域当たりの蛍光輝点数、密度などが挙げられる。
次いで、ステップS27では、特定タンパク密集領域20の中にある候補領域が診断対象であると判別され、診断対象領域として抽出される。特定タンパク密集領域20から所定の距離以上離れた位置にある候補領域は、たとえ蛍光輝点を含んでいた場合でも、診断対象ではないと判別され、診断対象領域として抽出されない。
大腸がんや胃がんの診断では、検体を採取した際、がん細胞が検体の表面からどの深さまで浸潤しているのかが重要であり、かつ、がん細胞が密集している領域から離れた細胞は診断対象としないことが一般的である。従って、このような場合、特定タンパク密集領域の細胞を診断対象とし、特定タンパク密集領域から離れた細胞は診断対象外とすることが好ましい。
以下の第3実施形態では、HE染色、及び蛍光物質内包ナノ粒子を用いた第1の生体物質及び第2の生体物質(特定タンパク)の染色を施された乳癌組織の切片を組織標本として用いて、HE染色により青紫色に染色された領域を候補領域として抽出し、候補領域の中から、がん細胞の細胞核の領域を診断対象領域として抽出する。
第3実施形態において、例えば、第1の生体物質は、間質組織である線維芽細胞に発現することが知られている112kDaのタンパク質であり、第2の生体物質(特定タンパク)は、細胞核に発現しているKi67タンパクである。
第1の生体物質及び第2の生体物質の染色に用いる蛍光物質内包ナノ粒子は、一方が発する蛍光が他方の励起光とならないように選択する。
細胞の所定の構造の形態を表す形態画像としては、明視野画像を取得し、細胞における特定の生体物質(ここでは、第1の生体物質及び第2の生体物質)の発現を表す画像としては、蛍光画像を取得する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a6)の手順により明視野画像および蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野および撮影倍率を変えずに撮像手段で撮影を行って、第1の生体物質の発現を表す第1の蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a6)視野および撮影倍率を変えずに、励起光及びフィルターを変更して、撮像手段で撮影を行って、第2の生体物質の発現を表す第2の蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
図9に、第3実施形態における画像解析処理のフローチャートを示す。
ステップS31〜S32(第1抽出工程)の工程は、上述した第1実施形態のステップS11〜S12の工程と同様に行われる。
ステップS33〜S34(取得工程)、及びステップS35〜S36(取得工程)の工程は、それぞれ、通信I/F24により顕微鏡画像取得装置1Aから入力される(a5)で取得した第1の蛍光画像及び(a6)で取得した第2の蛍光画像に対して、上述した第1実施形態のステップS13〜S14と同様に行われる。
具体的には、ステップS38において、各候補領域に第1の生体物質が含まれるか否かに基づいて、候補領域が診断対象領域であるか否かが判別される。
候補領域31及び32は、ステップS38において、線維芽細胞に発現する112kDaのタンパク質の発現が見られないことから、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点34が見られる候補領域33は、ステップS38において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
密度、分布等の診断支援情報が作成される。
第3実施形態の変形例における画像解析処理は、第3実施形態における画像解析処理(図9のフローチャート参照)と同様に行われる。 上述した第3実施形態の第1の生体物質としてCEAを用いた場合を例にとって、第3実施形態の変形例を説明する。CEAは上皮系のがん細胞のマーカーとして知られる。
第3実施形態の変形例におけるステップS31〜S37の詳細は、第1の生体物質としてCEAを用いる他は、上述した第3実施形態のステップS31〜S37と同様である。
具体的には、第3実施形態の変形例におけるステップS38では、各候補領域にCEAが含まれるか否かに基づいて、候補領域が診断対象領域であるか否かが判別される。
候補領域31A及び32Aは、CEAの発現(蛍光輝点34A)が見られることから、ステップS38において、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、CEAの発現が見られない候補領域33Aは、ステップS38において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
以下、第4実施形態の診断支援情報生成システム100の動作について説明する。組織標本は、上述した第3実施形態と同様のものを用いることとして説明する。
図12に、第4実施形態における画像解析処理のフローチャートを示す。
ステップS41〜S47の工程は、上述した第3実施形態のステップS31〜S37の工程と同様に行う。
具体的には、例えば、ステップS48において、まず、上述した第1実施形態のステップS16と同様に、候補領域の特徴情報に基づいて診断対象領域であると判別された候補領域が抽出される。次いで、抽出された候補領域に第1の生体物質が含まれるか否かに基づいて、さらに第3実施形態のステップS38と同様にして、候補領域が診断対象領域であるか否かが判別される。
ステップS48において、まず、候補領域の面積及び形状に基づいて、候補領域41〜43が、診断対象のがん細胞であると判別されて抽出される。一方、円形度が低い候補領域44及び面積が小さい候補領域45は、がん細胞ではないと判別されるため、抽出されない。
次いで、抽出された候補領域41〜43のうち、候補領域41及び42は、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点45が見られないことから、診断対象のがん細胞であると判別されて、診断対象領域として抽出される。一方、線維芽細胞に発現する112kDaのタンパク質の発現を示す蛍光輝点が見られる候補領域43は、ステップS48において、がん細胞ではなく線維芽細胞であると判別されるため、診断対象領域として抽出されない。
これにより、診断対象領域における生体物質の発現に基づいて診断支援情報を作成することができるので、観察対象細胞における特定タンパクの発現を正確に定量可能であり、診断の精度が向上する。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
11〜13 候補領域
14 蛍光輝点
20 特定タンパク密集領域
31〜33 候補領域
34、35 蛍光輝点
31A〜33A 候補領域
34A、35A 蛍光輝点
41〜45 候補領域
46、47 蛍光輝点
100 診断支援情報生成システム
Claims (6)
- 組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段と、
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段と、
前記候補領域の特徴を示す特徴情報、及び前記生体物質情報に基づいて、診断対象領域を抽出する第2抽出手段と、
を備え、
前記特徴情報は、前記候補領域の分布を含み、
前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含み、
前記第2抽出手段は、所定の数以上の前記生体物質を含む前記候補領域が互いに近接して密集した密集領域を、診断対象領域として抽出することを特徴とする画像処理装置。 - 前記特徴情報は、前記候補領域の形状、面積、及び位置の少なくとも一つを含むことを特徴とする請求項1に記載の画像処理装置。
- 前記取得手段は、前記組織標本における複数種類の生体物質の発現を表す画像から、複数種類の前記生体物質に関する生体物質情報を取得し、
前記第2抽出手段は、前記特徴情報、及び少なくとも第1の生体物質に関する前記生体物質情報に基づいて、診断対象領域を抽出することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記第2抽出手段により抽出された診断対象領域における診断支援情報を、前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記第2抽出手段により抽出された診断対象領域における診断支援情報を、第2の生体物質に関する前記生体物質情報に基づいて作成する作成手段を備えることを特徴とする請求項3に記載の画像処理装置。
- コンピュータを、
組織標本中の細胞の形態を表す形態画像から、候補領域を抽出する第1抽出手段、
前記組織標本における1又は複数種類の生体物質の発現を表す画像から、前記生体物質の少なくとも1種類に関する生体物質情報を取得する取得手段、
前記候補領域の特徴を示す特徴情報、及び前記生体物質情報に基づいて、診断対象領域を抽出する第2抽出手段、
として機能させるためのプログラムであって、
前記特徴情報は、前記候補領域の分布を含み、
前記生体物質情報は、前記生体物質の位置、個数、及び密度の少なくとも一つを含み、
前記第2抽出手段は、所定の数以上の前記生体物質を含む前記候補領域が互いに近接して密集した密集領域を、診断対象領域として抽出することを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015251169 | 2015-12-24 | ||
JP2015251169 | 2015-12-24 | ||
PCT/JP2016/088292 WO2017110974A1 (ja) | 2015-12-24 | 2016-12-22 | 画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017110974A1 JPWO2017110974A1 (ja) | 2018-10-18 |
JP6702339B2 true JP6702339B2 (ja) | 2020-06-03 |
Family
ID=59089521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558245A Active JP6702339B2 (ja) | 2015-12-24 | 2016-12-22 | 画像処理装置及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10748283B2 (ja) |
EP (1) | EP3396375B1 (ja) |
JP (1) | JP6702339B2 (ja) |
WO (1) | WO2017110974A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019172097A1 (ja) * | 2018-03-07 | 2019-09-12 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
JP6908806B1 (ja) * | 2020-09-16 | 2021-07-28 | BonBon株式会社 | プログラム、情報処理装置、方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1422526A1 (en) * | 2002-10-28 | 2004-05-26 | MTM Laboratories AG | Method for improved diagnosis of dysplasias |
US8131475B2 (en) * | 2003-09-03 | 2012-03-06 | The United States Of America As Represented By The Secretary, Department Of Health And Human Services | Methods for identifying, diagnosing, and predicting survival of lymphomas |
EP1877980A2 (en) * | 2004-12-22 | 2008-01-16 | Bio-Tree Systems, Inc. | Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor |
US8761466B2 (en) * | 2008-01-02 | 2014-06-24 | Bio-Tree Systems, Inc. | Methods of obtaining geometry from images |
US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
US8269827B2 (en) * | 2009-09-29 | 2012-09-18 | General Electric Company | System and methods for mapping fluorescent images into a bright field color space |
GB201007055D0 (en) * | 2010-04-28 | 2010-06-09 | Vib Vzw | Method and apparatus for the imaging of a labelled sample |
JP5858461B2 (ja) * | 2011-03-17 | 2016-02-10 | コニカミノルタ株式会社 | 病理診断情報生成方法及び病理診断情報生成システム |
JP5752985B2 (ja) * | 2011-04-28 | 2015-07-22 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム |
EP3095382A1 (en) * | 2011-06-03 | 2016-11-23 | Bayer Healthcare LLC | System and method for rapid quantitative dynamic molecular imaging scans |
IN2014CN01734A (ja) * | 2011-09-13 | 2015-05-29 | Koninkl Philips Nv | |
CA2858610C (en) * | 2011-12-21 | 2021-03-09 | Catherine M. Shachaf | System for imaging lesions aligning tissue surfaces |
EP2832845A1 (en) * | 2012-03-30 | 2015-02-04 | Kanagawa Academy Of Science And Technology | Imaging cell sorter |
NZ630091A (en) * | 2012-03-30 | 2016-03-31 | Ge Healthcare Bio Sciences | Immunofluorescence and fluorescent-based nucleic acid analysis on a single sample |
JP5995215B2 (ja) | 2012-05-14 | 2016-09-21 | 学校法人東京理科大学 | 癌細胞領域抽出装置、方法、及びプログラム |
WO2014140219A1 (en) * | 2013-03-15 | 2014-09-18 | Ventana Medical Systems, Inc. | Spectral unmixing |
EP3055835B1 (en) * | 2013-10-07 | 2019-12-18 | Ventana Medical Systems, Inc. | Systems and methods for comprehensive multi-assay tissue analysis |
WO2015069827A2 (en) * | 2013-11-06 | 2015-05-14 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Pathology case review, analysis and prediction |
JP5768945B1 (ja) * | 2014-07-11 | 2015-08-26 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
-
2016
- 2016-12-22 US US16/064,667 patent/US10748283B2/en active Active
- 2016-12-22 JP JP2017558245A patent/JP6702339B2/ja active Active
- 2016-12-22 EP EP16878861.0A patent/EP3396375B1/en active Active
- 2016-12-22 WO PCT/JP2016/088292 patent/WO2017110974A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2017110974A1 (ja) | 2018-10-18 |
US20190012786A1 (en) | 2019-01-10 |
US10748283B2 (en) | 2020-08-18 |
EP3396375A1 (en) | 2018-10-31 |
EP3396375B1 (en) | 2021-08-04 |
WO2017110974A1 (ja) | 2017-06-29 |
EP3396375A4 (en) | 2018-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11035844B2 (en) | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method | |
JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
JP6763407B2 (ja) | 画像処理装置及びプログラム | |
JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
WO2016136441A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
JP6702339B2 (ja) | 画像処理装置及びプログラム | |
JP7235036B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6702339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |