JP5768948B1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP5768948B1
JP5768948B1 JP2015506957A JP2015506957A JP5768948B1 JP 5768948 B1 JP5768948 B1 JP 5768948B1 JP 2015506957 A JP2015506957 A JP 2015506957A JP 2015506957 A JP2015506957 A JP 2015506957A JP 5768948 B1 JP5768948 B1 JP 5768948B1
Authority
JP
Japan
Prior art keywords
fluorescent
cell nucleus
cell
image
spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015506957A
Other languages
English (en)
Other versions
JPWO2015145644A1 (ja
Inventor
一谷 修司
修司 一谷
遠山 修
修 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Application granted granted Critical
Publication of JP5768948B1 publication Critical patent/JP5768948B1/ja
Publication of JPWO2015145644A1 publication Critical patent/JPWO2015145644A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B82NANOTECHNOLOGY
    • B82YSPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y30/00Nanotechnology for materials or surface science, e.g. nanocomposites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置では、細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力し(S10)、前記細胞核画像から細胞核を抽出し(S20)、前記蛍光画像から蛍光輝点を抽出し(S30)、細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる(S50、S60)。

Description

本発明は画像処理装置および画像処理プログラムに関し、特に病理診断に用いられる画像処理に関する。
近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質(たとえば抗原)の定量が求められている。生体物質の存在を確認する方法として、生体物質と、当該生体物質に結合する生体物質認識部位(たとえば抗体)が結合された蛍光物質との、結合に基づく組織分析方法が知られている。
たとえば、特許文献1の技術では、一定の蛍光体を用いて細胞膜を染色するとともに、それとは異なる他の蛍光体で細胞膜に存在する生体物質を染色し、細胞膜上の蛍光体の輝点数を計測することにより、細胞膜における生体物質の発現レベルを評価している(段落0012〜0013、0060〜0066、0107など参照)。しかし、一般的な組織分析方法では、組織切片を、ヘマトキシリン染色(H染色)またはヘマトキシリン−エオジン染色(HE染色)するのが通常であり、特許文献1のように細胞膜を染色する技術は特殊で手間がかかる。
これに対し、特許文献2の技術では、組織切片をHE染色して生体物質の発現レベルを判定している(段落0019、0029、0085など参照)。
具体的に特許文献2の技術では、組織切片をHE染色して明視野画像を取得し、明視野画像から細胞核の領域を抽出し、抽出した細胞核の領域の重心から所定範囲を細胞領域と推定し、その細胞領域に含まれる細胞核および蛍光輝点数に基づき、細胞領域における生体物質の発現レベルを判定している(段落0092〜0104、図20A、0128などご参照)。
特開2013−057631号公報 国際公開第2013/146843号
しかしながら、特許文献2の技術では、図18Aに示すとおり、細胞200の細胞核202の重心から所定半径の円領域を細胞領域210と推定し、細胞領域210に含まれる蛍光輝点(204a、204c、224a、224b)を特定するようになっているため、蛍光輝点224a、224bが細胞220の細胞核222に帰属すべきところ、蛍光輝点224a、224bが帰属すべき真の細胞220とは異なる隣の細胞(偽の細胞)200に帰属することがある。
また逆に、HE染色後の組織切片をスライドに載置して顕微鏡観察する場合、図19Aに示すとおり、細胞230、240ごとに断面が異なりその断面によって細胞核232、242の大きさが異なるため、図19Bに示すとおり、蛍光輝点244が細胞240の細胞核242に帰属すべきところ、蛍光輝点244が帰属すべき真の細胞240とは異なる隣の細胞(偽の細胞)230に帰属することもある。
したがって、本発明の主な目的は、蛍光輝点を真の細胞に正確に帰属させることができる画像処理装置および画像処理プログラムを提供することにある。
上記課題を解決するため、本発明の一態様によれば、
細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
前記明視野画像から細胞核を抽出する第1の抽出手段と、
前記蛍光画像から蛍光輝点を抽出する第2の抽出手段と、
細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核の面積もしくは細胞のN/C比に基づき、または細胞核を包含する一定の枠を仮定してその枠の頂点と蛍光輝点との距離に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段と、
を備えることを特徴とする画像処理装置が提供される。
本発明の他の態様によれば、
コンピュータに、
細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段、
前記明視野画像から細胞核を抽出する第1の抽出手段、
前記蛍光画像から蛍光輝点を抽出する第2の抽出手段、
細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核の面積もしくは細胞のN/C比に基づき、または細胞核を包含する一定の枠を仮定してその枠の頂点と蛍光輝点との距離に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段、
として機能させることを特徴とする画像処理プログラムが提供される。
本発明によれば、細胞核と蛍光輝点との現実の距離に基づき、蛍光輝点が帰属すべき細胞核を特定するから、蛍光輝点を真の細胞に正確に帰属させることができる。
病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 第1の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の抽出工程の流れを概略的に示すフローチャートである。 蛍光輝点の抽出工程の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の計算を概略的に説明する図である。 蛍光輝点から最短距離の細胞核を概略的に示す図である。 蛍光輝点を細胞核に帰属させた状態を概略的に示す図である。 第2の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の補正を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離の補正を概略的に説明する図である。 第3の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の計算の問題点を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離に対する閾値の設定を概略的に説明する図である。 細胞核の表面と蛍光輝点との距離に対する閾値の設定を概略的に説明する図である。 細胞のN/C比を概略的に示す図である。 第4の実施形態にかかる画像解析処理の流れを概略的に示すフローチャートである。 被帰属対象の蛍光輝点の除外を概略的に説明する図である。 被帰属対象の蛍光輝点の除外を概略的に説明する図である。 第1〜第4の実施形態にかかる画像解析処理の変形例を示すフローチャートである。 従来技術の問題点を概略的に説明する図である。 従来技術と本発明の実施形態とを概略的に比較説明する図である。 従来技術を概略的に説明する図である。 従来技術の問題点を概略的に説明する図である。 従来技術と本発明の実施形態とを概略的に比較説明する図である。
以下、図面を参照しながら本発明の好ましい実施形態について説明する。
[第1の実施形態]
<病理診断支援システム10の構成>
図1に、病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図1に示すように、病理診断支援システム10は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(たとえば、特表2002−514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理(図3参照)を実行し、第1の抽出手段、第2の抽出手段、帰属手段、除外手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、明視野画像と蛍光画像との入力手段として機能する。
記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施形態では、画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された明視野画像および蛍光画像を用いて解析を行うようになっている。
「明視野画像」とは、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。
「蛍光画像」とは、蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光発光させ、この蛍光を拡大結像および撮影することにより得られる顕微鏡画像である。
「蛍光染色試薬」とは、特定の生体物質と特異的に結合および/または反応する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬であり、「蛍光物質内包ナノ粒子」とは蛍光物質を内包したナノ粒子である。
蛍光画像に現れる蛍光は、蛍光染色試薬の蛍光物質内包ナノ粒子(蛍光物質)が励起して発光したものであり、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。
<蛍光染色試薬や染色方法など>
蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
(1)蛍光物質
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素および量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子などを挙げることができる。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、およびAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、またはIV族元素を成分として含有する量子ドット(それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。)のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがCdSe、シェルがZnSの場合、CdSe/ZnSと表記する。
たとえば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO2、Si/ZnS、Ge/GeO2、Ge/ZnSなどを用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。たとえば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)などが挙げられる。
(2)蛍光物質内包ナノ粒子
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、30〜800nm程度のものを用いることができる。また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100%)は特に限定されないが、20%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、1000個の粒子の粒径の算術平均を平均粒径とする。変動係数も、1000個の粒子の粒径分布から算出した値とする。
(3)生体物質認識部位と蛍光物質内包ナノ粒子との結合
「生体物質認識部位」とは、特定の生体物質と特異的に結合および/または反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、および前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗HER2抗体および抗ER抗体を蛍光物質内包ナノ粒子に結合させたもの(蛍光染色試薬)は、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着および化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子との間にはこれらを連結する有機分子があってもよい。たとえば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM(PEG)12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(たとえば、Gelest社製PEG−silane no.SIM6492.7)などが挙げられる。
シランカップリング剤を用いる場合、2種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1−Ethyl−3−[3−Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo−SMCC(Sulfosuccinimidyl 4[N−maleimidomethyl]−cyclohexane−1−carboxylate:Pierce社製)を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDCまたはsulfo−SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
生体物質認識部位の一例として、特定抗原を認識する抗体には、M.アクチン,M.S.アクチン,S.M.アクチン,ACTH,Alk-1,α1-アンチキモトリプシン,α1-アンチトリプシン,AFP,bcl-2,bcl-6,β-カテニン,BCA 225,CA19-9,CA125,カルシトニン,カルレチニン,CD1a,CD3,CD4,CD5,CD8,CD10,CD15,CD20,CD21,CD23,CD30,CD31,CD34,CD43,CD45,CD45R,CD56,CD57,CD61,CD68,CD79a,"CD99, MIC2",CD138,クロモグラニン,c-KIT,c-MET,コラーゲン タイプIV,Cox-2,サイクリンD1,ケラチン,サイトケラチン(高分子量),パンケラチン,パンケラチン,サイトケラチン 5/6,サイトケラチン 7,サイトケラチン 8,サイトケラチン8/18,サイトケラチン 14,サイトケラチン 19,サイトケラチン 20,CMV,E-カドヘリン,EGFR,ER,EMA,EBV,第VIII因子関連抗原,ファッシン,FSH,ガレクチン-3,ガストリン,GFAP,グルカゴン,グリコフォリン A,グランザイムB,hCG,hGH,ヘリコバクターピロリ,HBc 抗原,HBs 抗原,ヘパトサイト特異抗原,HER2,HSV -I,HSV -II,HHV-8,IgA,IgG,IgM,IGF-1R,インヒビン,インスリン,カッパ L鎖,Ki67,ラムダ L鎖,LH,リゾチーム,マクロファージ,メランA,MLH-1,MSH-2,ミエロパーオキシダーゼ,ミオゲニン,ミオグロビン,ミオシン,ニューロフィラメント,NSE,p27 (Kip1),p53,p53,P63,PAX 5,PLAP,ニューモシスティス カリニ,ポドプラニン(D2-40),PGR,プロラクチン,PSA,前立腺酸性フォスファターゼ,Renal Cell Carcinoma,S100,ソマトスタチン,スペクトリン,シナプトフィジン,TAG-72,TdT,サイログロブリン,TSH,TTF-1,TRAcP,トリプターゼ,ビリン,ビメンチン,WT1,Zap-70が挙げられる。
(4)染色方法
下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。
(4.1)脱パラフィン工程
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
(4.2)賦活化処理
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mMEDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50−130℃、時間は5−30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。
(4.3)蛍光染色試薬を用いた染色
蛍光染色試薬のPBS分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、BSA含有PBSなど、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いるHE染色はカバーガラスによる封入前に行う。
(5)蛍光画像の取得
染色した組織切片に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した励起光源と蛍光検出用光学フィルターとを選択する。
蛍光画像の視野は、3mm2以上であることが好ましく、30mm2以上であることがさらに好ましく、300mm2以上であることがさらに好ましい。
<病理診断支援システム10の動作(画像処理方法を含む。)>
以下、病理診断支援システム10において、上記説明した明視野画像および蛍光画像を取得して解析を行う動作について説明する。
ここでは、特定の生体物質として乳癌組織におけるHER2タンパクを含む組織切片を観察対象とする場合を例にとり説明する。
まず、操作者は、HE染色試薬と、蛍光染色試薬(抗HER2抗体が結合した蛍光物質内包ナノ粒子)との、2種の染色試薬を用いて同一の組織切片を染色する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a5)の手順により明視野画像および蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野および撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
その後、画像処理装置2Aを用いて、明視野画像および蛍光画像に基づき画像解析処理を実行する。
図3に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。
図3に示す画像解析処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって下記の処理を実行する。
まず、通信I/F24により顕微鏡画像取得装置1Aからの明視野画像および蛍光画像が入力されると(ステップS10)、明視野画像から細胞核を抽出する(ステップS20)。
ステップS20では、図4に示すとおり、明視野画像をモノクロ画像に変換し(ステップS201)、モノクロ画像に対し予め定められた閾値で閾値処理を施して各画素の値を二値化し(ステップS202)、二値画像にノイズ処理を実行する(ステップS203)。
ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からn×n画素(nは2以上の整数)の範囲内にある画素に1つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
ステップS201〜S203により、細胞核が抽出された画像(細胞核画像)を生成することができる。
その後、図3の処理に戻って蛍光画像から蛍光輝点を抽出する(ステップS30)。
ステップS30では、図5に示すとおり、蛍光画像から蛍光輝点の波長に応じた色成分を抽出し(ステップS301)、色成分抽出後の蛍光画像に閾値処理を施して二値画像を生成する(ステップS302)。
ステップS301では、たとえば、蛍光粒子の発光波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
ステップS301〜S302により、蛍光輝点が抽出された画像(蛍光輝点画像)を生成することができる。
なお、ステップS302の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップS20とステップS30との順序も、入れ替えてもよい。
その後、図3の処理に戻り、細胞核画像と蛍光輝点画像との加算処理を実行し、細胞核画像と蛍光輝点画像とを重ね合わせる(ステップS40)。
その後、加算処理後の重ね合わせ画像上で、細胞核と蛍光輝点との距離を計算し(ステップS50)、その距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる(ステップS60)。
詳しくは、ステップS50では、図6Aに示すとおり、蛍光輝点30から細胞核40、42、44の表面までの距離を計算する。かかる距離の計算は、細胞核40、42、44のすべての画素に対し行う。
ステップS60では、図6Bに示すとおり、計算した距離のうち、蛍光輝点30から細胞核40、42、44の表面までの最短距離を算出し、蛍光輝点30から最短距離の細胞核42を特定して蛍光輝点30を細胞核42に帰属させる。
図7は、蛍光輝点を細胞核に帰属させた状態の一例を示す図である。
以上の第1の実施形態によれば、現実に蛍光輝点から細胞核の表面までの最短距離を算出し、蛍光輝点が帰属すべき細胞核を特定するから、蛍光輝点を真の細胞に正確に帰属させることができ、ひいては正確な病理診断につなげることができる。
特許文献2の技術と比較しても、特許文献2の技術では、図18Aに示すとおり、細胞領域210を推定する必要があるし、細胞領域210の範囲を過大に広げると蛍光輝点が偽の細胞に帰属しうるのに対し、第1の実施形態によれば、図18Bに示すとおり、細胞領域の推定処理そのものが不要であるし、蛍光輝点204a〜204dも蛍光輝点224a、224bもそれぞれ真の細胞200、220に帰属し、蛍光輝点224a、224bが偽の細胞200に帰属するのを防止することができる。
さらに特許文献2の技術では、図19Bに示すとおり、細胞230、240の断面によって蛍光輝点244が偽の細胞230に帰属しうるのに対し、第1の実施形態によれば、図19Cに示すとおり、細胞230、240の断面によらずに蛍光輝点244を真の細胞240に帰属させることができる。
[第2の実施形態]
第2の実施形態は主に下記の点で第1の実施形態と異なり、それ以外は第1の実施形態と同様である。
図8に示すとおり、ステップS50の後に、細胞核の形態に基づき、ステップS50で計算した距離を補正する(ステップS52)。
たとえば、図9に示すとおり、蛍光輝点30が細胞50に帰属すべきところ、蛍光輝点30から細胞50の細胞核52の表面までの距離54と、蛍光輝点30から細胞60の細胞核62の表面までの距離64とで、距離64が距離54より短くなることがありうる。
かかる場合、ステップS52では、細胞核52の面積と細胞核62の面積とを算出してそれら面積に基づき、距離54と距離64とを補正する。
詳しくは距離54と距離64とを補正式(1)、(2)にしたがって補正する。
距離54a=距離54/√(細胞核52の面積) … (1)
距離64a=距離64/√(細胞核62の面積) … (2)
補正式(1)、(2)によれば、距離54と距離64との大小関係が、細胞核52の面積と細胞核62の面積とに反比例して逆転する。
その結果、ステップS60では、蛍光輝点30を、距離54aと距離64aとのうち、当該距離の小さい側の細胞核52に帰属させることができる。
他方、図10に示すとおり、組織切片の作製時や染色時などにおいて、細胞70(細胞核72)が潰れて一部伸長または収縮し、蛍光輝点30aから細胞核72の表面までの距離74と、蛍光輝点30bから細胞核72の表面までの距離76とで、顕著に異なることもありうる。
かかる場合、ステップS52では、細胞核72の幅Wと高さHから細胞核72の扁平率を算出してその扁平率に基づき、距離74と距離76とを補正する。
詳しくは距離74と距離76とを補正式(3)、(4)にしたがって補正する。
距離74a=距離74×(高さH/幅W) … (3)
距離76a=距離76×(幅W/高さH) … (4)
補正式(3)、(4)によれば、距離74aと距離76aとで距離差が緩和され、距離74aと距離76aとをほぼ同等に扱うことができる。
その結果、ステップS60では、距離74aと距離76aとを基準として、蛍光輝点30aも蛍光輝点30bも、同一の細胞核70に帰属させることができる。
[第3の実施形態]
第3の実施形態は主に下記の点で第1の実施形態と異なり、それ以外は第1の実施形態と同様である。
図11に示すとおり、ステップS50の前に、細胞核と蛍光輝点との距離に閾値を設定し(ステップS42)、蛍光輝点が帰属すべき細胞核を制限する(ステップS44)。
たとえば、ステップS50において、図12Aに示すとおり、細胞核40、42、44の表面と蛍光輝点30との距離の計算を、細胞核40、42、44を含む他の細胞核のすべての画素に対し行うと、蛍光輝点30から細胞核の表面までの距離の計算量が膨大となり、処理が遅延しうる。
かかる場合、ステップS42では、図12Bに示すとおり、蛍光輝点30から一定の円形範囲に閾値(半径距離46)を設定し、ステップS44では、ステップS50の距離計算対象の細胞核を、半径距離46のなかに一部または全部存在する細胞核40、42、44に制限し、これら細胞核40、42、44をステップS50の距離計算対象とする。
これに代えて、ステップS42では、細胞核を包含する四角枠を仮定してその枠の4つの頂点と蛍光輝点との合計距離に閾値(合計距離48)を設定し、ステップS44では、図12Cに示すとおり、細胞核40、42、44ごとに、細胞核40、42、44の枠の頂点と蛍光輝点30との合計距離を計算し、ステップS50の距離計算対象の細胞核を、その合計距離が制限距離48以内の細胞核44に制限し、細胞核44をステップS50の距離計算対象としてもよい。
特にステップS44では、細胞核40、42、44に対し、これらを包含する四角枠を仮定してその枠の4つの頂点と蛍光輝点30との合計距離を計算するが、その計算途中で、合計距離が制限距離48を超えたときはその計算を中止し、当該計算がなされた細胞核40、42をステップS50の距離計算対象から除外する。
その結果、ステップS50では、蛍光輝点から一定の距離関係にある細胞核のみが距離計算対象となり、細胞核の表面と蛍光輝点との距離の計算を、高速化することができる。
なお、ステップS42で設定する閾値としての半径距離46および合計距離48は、細胞核の面積や細胞膜の面積、N/C比(Nuclear-cytoplasm ratio)などに基づき適宜設定することができる。
「N/C比」とは、図13に示すとおり、細胞質80における細胞核82の占める面積の割合であり、細胞の種類や状態によってその値の範囲が定まっているものである。
ステップS42、S44で仮定する四角枠は、細胞核を包含しうるものであれば、いかなる形状を呈していてもよい。
[第4の実施形態]
第4の実施形態は主に下記の点で第1の実施形態と異なり、それ以外は第1の実施形態と同様である。
図14に示すとおり、ステップS60の後に、帰属後の蛍光輝点を、被帰属対象の蛍光輝点から除外する(ステップS62)。
たとえば、図15に示すとおり、蛍光輝点30xが細胞90以外の他の細胞に帰属すべきところ、蛍光輝点30a〜30kは正しく細胞90の細胞核92に帰属する一方で、蛍光輝点30xが誤って細胞90の細胞核92に帰属することがありうる。
かかる場合、ステップS62では、図15に示すとおり、細胞核92の表面と帰属後の蛍光輝点30a〜30k、30xとの平均距離104を算出し、細胞核92の表面との距離が平均距離104から顕著に離れた蛍光輝点30xを、被帰属対象の蛍光輝点から除外する。
これに代えて、蛍光輝点30a→30b、30b→30c、30c→…→30k、30k→30x、30x→30aというように、蛍光輝点30a〜30k、30xの2点間で直線を仮定し、隣り合う直線同士の傾きまたは角度を算出し、直線同士の傾きまたは角度を、蛍光輝点30a→30b→…→30k→30x→30aの配置順に比較した場合において、急激な数値変化があったときに、その直線を構成する蛍光輝点30xを、被帰属対象の蛍光輝点から除外してもよい。
その結果、ステップS62では、蛍光輝点の細胞核への帰属精度を向上させることができ、より正確に蛍光輝点を真の細胞に帰属させることができる。
他方、図16に示すとおり、細胞100の断面によって細胞核102が抜け落ち、細胞100の蛍光輝点30yを細胞核102に帰属させることができず、蛍光輝点30yが細胞100以外の他の細胞110〜120に帰属することがありうる。
かかる場合、ステップS60でいったん蛍光輝点を帰属させた細胞100、110〜120ごとにN/C比(図13参照)を算出し、そのN/C比が一定のN/C比(たとえば70%)未満である場合、その細胞100に帰属させた蛍光輝点30yを、被帰属対象の蛍光輝点から除外する。
かかる場合でも、ステップS62では、蛍光輝点の細胞核への帰属精度を向上させることができ、より正確に蛍光輝点を真の細胞に帰属させることができる。
なお、第1〜第4の実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
たとえば、図17に示すとおり、第1〜第4の実施形態をすべて組み合わせ、画像解析処理では、ステップS50の後にステップS52を(第2の実施形態)、ステップS50の前にステップS42、S44を(第3の実施形態)、ステップS60の後にステップS62を(第4の実施形態)、それぞれ実行してもよい。
もちろん、第1〜第4の実施形態のうち、いずれか3つの形態を組み合わせてもよいし、いずれか2つの形態を組み合わせてもよい。
第1〜第4の実施形態では、特定の生体物質の例として乳癌におけるHER2タンパクを挙げたが、これに限定されない。診断対象となる病変(がん)種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた生体物質の発現を医師に提供することが可能となる。
第1〜第4の実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROMなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム10を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は病理診断の画像処理に好適に利用することができる。
1A 顕微鏡画像取得装置
2A 画像処理装置
3A ケーブル
10 病理診断支援システム
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
30、30a〜30k、30x、30y 蛍光輝点
40、42、44 細胞核
46 半径距離
50 細胞
52 細胞核
54 距離
60 細胞
62 細胞核
64 距離
70 細胞
72 細胞核
74、76 距離
80 細胞質
82 細胞核
90 細胞
92 細胞核
100 細胞
102 細胞核
110、112、114、116、118、120 細胞

Claims (5)

  1. 細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
    前記明視野画像から細胞核を抽出する第1の抽出手段と、
    前記蛍光画像から蛍光輝点を抽出する第2の抽出手段と、
    細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核の面積または細胞のN/C比に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段と、
    を備えることを特徴とする画像処理装置。
  2. 細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段と、
    前記明視野画像から細胞核を抽出する第1の抽出手段と、
    前記蛍光画像から蛍光輝点を抽出する第2の抽出手段と、
    細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核を包含する一定の枠を仮定してその枠の頂点と蛍光輝点との距離に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段と、
    を備えることを特徴とする画像処理装置。
  3. 請求項1または2に記載の画像処理装置において、
    細胞核の表面と帰属後の蛍光輝点との平均距離、帰属後の蛍光輝点間の直線同士の傾きもしくは角度、または蛍光輝点を帰属させた細胞のN/C比に基づき、帰属後の蛍光輝点を、被帰属対象の蛍光輝点から除外する除外手段を備えることを特徴とする画像処理装置。
  4. コンピュータに、
    細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段、
    前記明視野画像から細胞核を抽出する第1の抽出手段、
    前記蛍光画像から蛍光輝点を抽出する第2の抽出手段、
    細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核の面積または細胞のN/C比に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段、
    として機能させることを特徴とする画像処理プログラム。
  5. コンピュータに、
    細胞核が染色された組織切片の明視野画像と、特定の生体物質が蛍光染色試薬で染色された前記組織切片の蛍光画像とを入力する入力手段、
    前記明視野画像から細胞核を抽出する第1の抽出手段、
    前記蛍光画像から蛍光輝点を抽出する第2の抽出手段、
    細胞核と蛍光輝点との距離に基づき、蛍光輝点が帰属すべき細胞核を特定して蛍光輝点を当該細胞核に帰属させる帰属手段であって、細胞核を包含する一定の枠を仮定してその枠の頂点と蛍光輝点との距離に基づき、細胞核と蛍光輝点との距離に閾値を設定し、蛍光輝点が帰属すべき細胞核を制限する前記帰属手段、
    として機能させることを特徴とする画像処理プログラム。
JP2015506957A 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム Active JP5768948B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058725 WO2015145644A1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP5768948B1 true JP5768948B1 (ja) 2015-08-26
JPWO2015145644A1 JPWO2015145644A1 (ja) 2017-04-13

Family

ID=54187126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015506957A Active JP5768948B1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理プログラム

Country Status (4)

Country Link
US (1) US9558393B2 (ja)
EP (1) EP3124956B1 (ja)
JP (1) JP5768948B1 (ja)
WO (1) WO2015145644A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6597316B2 (ja) * 2016-01-06 2019-10-30 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2017221592A1 (ja) 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10430943B2 (en) * 2016-10-07 2019-10-01 Sony Corporation Automated nuclei area/number estimation for IHC image analysis
JP7026694B2 (ja) * 2017-09-27 2022-02-28 富士フイルム株式会社 画像解析装置、方法およびプログラム
EP3702779A4 (en) * 2017-10-26 2021-01-06 Konica Minolta, Inc. IMAGE PROCESSING DEVICE, METHOD FOR DETERMINING THE FOCUSING POSITION AND PROGRAM FOR DETERMINING THE FOCUSING POSITION
EP3764096A4 (en) * 2018-03-07 2021-04-28 Konica Minolta, Inc. IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, AND PROGRAM
JP2021124861A (ja) * 2020-02-04 2021-08-30 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
US11906433B2 (en) * 2021-12-14 2024-02-20 Instituto Potosino de Investigación Científica y Tecnológica A.C. System and method for three-dimensional imaging of unstained samples using bright field microscopy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法,装置、及び記録媒体
JP2005524090A (ja) * 2002-04-29 2005-08-11 アマシャム・バイオサイエンス・コーポレイション 生物学的試料のための光線画像分析
JP2007147563A (ja) * 2005-11-30 2007-06-14 Ge Healthcare Uk Ltd 生体画像処理方法
JP2009115599A (ja) * 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
JP2012198139A (ja) * 2011-03-22 2012-10-18 Olympus Corp 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
JP2013057631A (ja) * 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326008A (en) 1976-08-27 1982-04-20 California Institute Of Technology Protein specific fluorescent microspheres for labelling a protein
US5326692B1 (en) 1992-05-13 1996-04-30 Molecular Probes Inc Fluorescent microparticles with controllable enhanced stokes shift
JP2000501184A (ja) * 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ,インコーポレイテッド 生体標本の自動画像分析の方法および装置
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US7050613B2 (en) * 2002-11-07 2006-05-23 Fujitsu Limited Method for supporting cell image analysis
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
US7697755B2 (en) * 2004-09-29 2010-04-13 Drvision Technologies Llc Method for robust analysis of biological activity in microscopy images
US7113625B2 (en) * 2004-10-01 2006-09-26 U.S. Pathology Labs, Inc. System and method for image analysis of slides
US7933435B2 (en) * 2005-11-21 2011-04-26 Vala Sciences, Inc. System, method, and kit for processing a magnified image of biological material to identify components of a biological object
US8428331B2 (en) * 2006-08-07 2013-04-23 Northeastern University Phase subtraction cell counting method
JP5663873B2 (ja) * 2007-03-01 2015-02-04 日本電気株式会社 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
US8199999B2 (en) * 2008-06-17 2012-06-12 Cambridge Research & Instrumentation, Inc. Image classifier training
WO2010041423A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
JP5058962B2 (ja) * 2008-12-22 2012-10-24 オリンパス株式会社 細胞画像解析装置、細胞画像解析方法、及びプログラム
US8335374B2 (en) * 2009-08-12 2012-12-18 Genetix Corporation Image segmentation
US8744164B2 (en) * 2010-04-06 2014-06-03 Institute For Systems Biology Automated analysis of images using bright field microscopy
US8300938B2 (en) * 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
WO2012011579A1 (ja) * 2010-07-23 2012-01-26 独立行政法人産業技術総合研究所 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム
EP2613151B1 (en) * 2010-09-02 2016-06-29 Tohoku University Method for determining cancer onset or cancer onset risk
WO2012178069A1 (en) * 2011-06-22 2012-12-27 The Johns Hopkins University System and device for characterizing cells
EP2833123A4 (en) * 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法,装置、及び記録媒体
JP2005524090A (ja) * 2002-04-29 2005-08-11 アマシャム・バイオサイエンス・コーポレイション 生物学的試料のための光線画像分析
JP2007147563A (ja) * 2005-11-30 2007-06-14 Ge Healthcare Uk Ltd 生体画像処理方法
JP2009115599A (ja) * 2007-11-06 2009-05-28 Nec Corp 評価システム、評価方法および評価プログラム
JP2012198139A (ja) * 2011-03-22 2012-10-18 Olympus Corp 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
JP2013057631A (ja) * 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Also Published As

Publication number Publication date
EP3124956A1 (en) 2017-02-01
JPWO2015145644A1 (ja) 2017-04-13
US9558393B2 (en) 2017-01-31
US20160275673A1 (en) 2016-09-22
EP3124956A4 (en) 2017-09-13
WO2015145644A1 (ja) 2015-10-01
EP3124956B1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
US11035844B2 (en) Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
JP5768948B1 (ja) 画像処理装置および画像処理プログラム
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
WO2017126420A1 (ja) 画像処理装置及びプログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
WO2019172097A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R150 Certificate of patent or registration of utility model

Ref document number: 5768948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150