JP5804220B1 - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP5804220B1 JP5804220B1 JP2015506956A JP2015506956A JP5804220B1 JP 5804220 B1 JP5804220 B1 JP 5804220B1 JP 2015506956 A JP2015506956 A JP 2015506956A JP 2015506956 A JP2015506956 A JP 2015506956A JP 5804220 B1 JP5804220 B1 JP 5804220B1
- Authority
- JP
- Japan
- Prior art keywords
- cell
- cell nucleus
- edge
- region
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Food Science & Technology (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Hematology (AREA)
- Molecular Biology (AREA)
- Urology & Nephrology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
画像処理装置では、細胞画像から細胞核の候補領域と領域情報とを抽出し(S20)、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定し、その判定結果に基づき、細胞核の候補領域を補正する(S40)。
Description
本発明は画像処理装置および画像処理プログラムに関し、特に病理診断の画像処理に関する。
人体から採取された組織切片を、顕微鏡で観察し、病変の有無や病変の種類について診断する、いわゆる病理診断が盛んにおこなわれている。病理診断の対象となる組織標本は、顕微鏡観察に適するように、一般的には、固定→包理→薄切→染色の過程を経て作製される。近年では、染色後の組織切片を高倍率で顕微鏡観察して画像データ(細胞画像)を生成し、かかる細胞画像を、画像処理して細胞核などの対象物を正確に抽出する技術が数多く提案されている。
たとえば、特許文献1の技術では、細胞画像上で、複数の細胞が重畳している場合であっても、細胞形状を個別に抽出しようとしている(段落0018参照)。具体的には、細胞の染色濃度(濃度勾配)に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている(段落0027〜0028、図10、段落0084〜0088、図13〜図16など参照)。
特許文献2の技術では、細胞画像から対象物(細胞核)の形状を抽出する際に、ノイズや他の組織のエッジとひっかかることがあっても、その影響を回避しようとしている(段落0014〜0015参照)。具体的には、公知のSNAKES処理を用いて、ぼかした画像を用いたSNAKES処理と、ぼかしていない画像を用いたSNAKES処理とを実行したり(段落0037〜0039、図1など参照)、細胞画像の細胞核に核内空がある場合には、あらかじめ核内空を周囲の色で塗りつぶす処理を実行したり(段落0044〜0046、図3など参照)してかかる技術を実現しようとしている。
特許文献2の技術では、細胞画像から対象物(細胞核)の形状を抽出する際に、ノイズや他の組織のエッジとひっかかることがあっても、その影響を回避しようとしている(段落0014〜0015参照)。具体的には、公知のSNAKES処理を用いて、ぼかした画像を用いたSNAKES処理と、ぼかしていない画像を用いたSNAKES処理とを実行したり(段落0037〜0039、図1など参照)、細胞画像の細胞核に核内空がある場合には、あらかじめ核内空を周囲の色で塗りつぶす処理を実行したり(段落0044〜0046、図3など参照)してかかる技術を実現しようとしている。
ところで、組織切片の染色は細胞核などの対象物の形状を検出し易くするために行われるが、当該細胞核はすべてきれいに染色されるとは限らず、特に癌が進行しているような細胞においては細胞核の染色にムラができることが多い。
すなわち、図20Aに示すとおり、細胞核がきれいに染色された細胞画像からは1つの細胞核が検出されるが、癌が進行しているような細胞の細胞画像に対し画像処理を行っても、1つの細胞核がまばらに検出され、1つの細胞核が複数の細胞核として誤検出されることがあるし(図20B参照)、逆に、複数の細胞核同士が隣接している場合には、複数の細胞核が1つの細胞核として誤検出されることもありうる(図20C参照)。
したがって、本発明の主な目的は、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる画像処理装置および画像処理プログラムを提供することにある。
すなわち、図20Aに示すとおり、細胞核がきれいに染色された細胞画像からは1つの細胞核が検出されるが、癌が進行しているような細胞の細胞画像に対し画像処理を行っても、1つの細胞核がまばらに検出され、1つの細胞核が複数の細胞核として誤検出されることがあるし(図20B参照)、逆に、複数の細胞核同士が隣接している場合には、複数の細胞核が1つの細胞核として誤検出されることもありうる(図20C参照)。
したがって、本発明の主な目的は、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる画像処理装置および画像処理プログラムを提供することにある。
上記課題を解決するため、本発明の一態様によれば、
細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段と、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
を備えることを特徴とする画像処理装置が提供される。
細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段と、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
を備えることを特徴とする画像処理装置が提供される。
本発明の他の態様によれば、
細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段、
として機能させることを特徴とする画像処理プログラムが提供される。
細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段、
として機能させることを特徴とする画像処理プログラムが提供される。
本発明によれば、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、細胞核の誤検出を抑制して細胞核を個々に検出することができる。
以下、図面を参照しながら本発明の好ましい実施形態について説明する。
<病理診断支援システム10の構成>
図1に、病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出するシステムである。
図1に、病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出するシステムである。
図1に示すように、病理診断支援システム10は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3Aなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(たとえば、特表2002−514319号公報参照)などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核を検出する。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像処理(図3参照)を実行し、領域抽出手段、判定手段、補正手段、エッジ抽出手段としての機能を実現する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像処理(図3参照)を実行し、領域抽出手段、判定手段、補正手段、エッジ抽出手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、細胞画像の入力手段として機能する。
記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施形態では、画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像(細胞画像)を用いて解析を行うようになっている。
「細胞画像」とは、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)など、細胞核を染色しうる染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。
「細胞画像」とは、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン−エオジン染色試薬(HE染色試薬)など、細胞核を染色しうる染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。
<病理診断支援システム10の動作(画像処理方法を含む。)>
以下、病理診断支援システム10において、上記説明した細胞画像を取得して解析を行う動作について説明する。
以下、病理診断支援システム10において、上記説明した細胞画像を取得して解析を行う動作について説明する。
まず、操作者はH染色試薬またはHE染色試薬を用いて組織切片を染色する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a3)の手順により細胞画像を取得する。
(a1)操作者は、H染色試薬またはHE染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)〜(a3)の手順により細胞画像を取得する。
(a1)操作者は、H染色試薬またはHE染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
その後、画像処理装置2Aを用いて、細胞画像に基づき画像処理を実行する。
図3に、画像処理装置2Aにおける画像処理のフローチャートを示す。
図3に示す画像処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって下記の処理を実行する。
図3に、画像処理装置2Aにおける画像処理のフローチャートを示す。
図3に示す画像処理は、制御部21と記憶部25に記憶されている画像処理プログラムとの協働により実行され、制御部21はその画像処理プログラムにしたがって下記の処理を実行する。
まず、通信I/F24により顕微鏡画像取得装置1Aから細胞画像が入力されると(ステップS10)、細胞画像から色情報を取得し、特定の色成分を抽出してその細胞画像に閾値処理を施し二値画像を生成し、細胞核の候補領域と領域情報とを抽出する(ステップS20)。
細胞核の「候補領域」とは、染色領域のうち、細胞核の個々の検出にあたり細胞核の候補となる領域であって、細胞核由来の領域と考えられる領域である。
細胞核の「領域情報」とは、細胞核の候補領域に関する情報であって、細胞核の候補領域のサイズや形状などに関する情報であり、細胞核以外の他の部位(核小体など)の存在の有無も含まれる。
細胞核の「候補領域」とは、染色領域のうち、細胞核の個々の検出にあたり細胞核の候補となる領域であって、細胞核由来の領域と考えられる領域である。
細胞核の「領域情報」とは、細胞核の候補領域に関する情報であって、細胞核の候補領域のサイズや形状などに関する情報であり、細胞核以外の他の部位(核小体など)の存在の有無も含まれる。
他方、ステップS20とは別に、通信I/F24により顕微鏡画像取得装置1Aから細胞画像が入力されると(ステップS10)、細胞画像から色情報を取得し、細胞核のエッジ情報も抽出する(ステップS30)。
たとえば、図4Aに示すとおり、細胞核がきれいに染色された細胞画像30では(上側)、色情報から輝度値を算出すると、細胞画像30の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とでは差が大きい(下側)。
これに対し、図4Bに示すとおり、1つの細胞核がまばらに染色された細胞画像40では(上側)、細胞画像40の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とで差が小さく、ステップS20の二値画像では細胞核の候補領域として核内領域の領域42のみが検出されるにすぎない(下側)。
ただ、図4Cに示すとおり、細胞画像40でも(上側)、細胞画像40の直線部に沿う座標位置の範囲を広げると、核外領域の領域44と核内領域の領域46とで差があり、エッジ情報を利用すれば細胞核の境界線を検出しうる(下側)。
これに対し、図4Bに示すとおり、1つの細胞核がまばらに染色された細胞画像40では(上側)、細胞画像40の直線部に沿う座標位置の輝度値は、細胞核の核外領域と核内領域とで差が小さく、ステップS20の二値画像では細胞核の候補領域として核内領域の領域42のみが検出されるにすぎない(下側)。
ただ、図4Cに示すとおり、細胞画像40でも(上側)、細胞画像40の直線部に沿う座標位置の範囲を広げると、核外領域の領域44と核内領域の領域46とで差があり、エッジ情報を利用すれば細胞核の境界線を検出しうる(下側)。
本実施形態では、図5に示すとおり、細胞画像30、細胞画像40、および複数の細胞核が隣接して染色された細胞画像50において、ステップS20で二値画像を生成し細胞核の候補領域と領域情報とを抽出するのに加え、ステップS3では細胞核のエッジ情報を抽出する。
細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率が含まれる。
細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率が含まれる。
「エッジ強度」とは、細胞画像の細胞核のエッジ部における輝度値の変化量であって、一定のフィルタを用いて算出される値である。
一定のフィルタとしては、図6A〜6Bに示すとおり、sobelフィルタ60、1次方向微分フィルタ62などを用いることができ、当該フィルタはエッジ角度、エッジ法線方向を抽出する際にも用いられる。
たとえば、sobelフィルタ60を用いてエッジ強度を抽出する場合には、図6Cに示すとおり、エッジ部のある画素領域64(注目画素66を中心とした3×3の画素領域)を選択し、画素領域64の輝度値a1〜a9とsobelフィルタ60の各値とを、1×a1→0×a2→−1×a3→…→0×a8→−1×a9というように掛け合わせ、その総計を注目画素66の輝度値として算出し、かかる操作をエッジ部の各画素に対し順次実行すればよい。
図5のエッジ強度の画像は、ステップS30で細胞画像からエッジ強度を抽出して生成した画像であり、エッジ強度が大きいほど白く表現されている。
一定のフィルタとしては、図6A〜6Bに示すとおり、sobelフィルタ60、1次方向微分フィルタ62などを用いることができ、当該フィルタはエッジ角度、エッジ法線方向を抽出する際にも用いられる。
たとえば、sobelフィルタ60を用いてエッジ強度を抽出する場合には、図6Cに示すとおり、エッジ部のある画素領域64(注目画素66を中心とした3×3の画素領域)を選択し、画素領域64の輝度値a1〜a9とsobelフィルタ60の各値とを、1×a1→0×a2→−1×a3→…→0×a8→−1×a9というように掛け合わせ、その総計を注目画素66の輝度値として算出し、かかる操作をエッジ部の各画素に対し順次実行すればよい。
図5のエッジ強度の画像は、ステップS30で細胞画像からエッジ強度を抽出して生成した画像であり、エッジ強度が大きいほど白く表現されている。
「エッジ角度」とは、細胞画像の細胞核のエッジ部に対する接線の角度であって、図6Dに示すとおり、フィルタを0〜90°の範囲で5°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度である。
本実施形態では、図7Aに示すとおり、細胞画像の細胞核のエッジ部に対し、横方向の接線の角度を0°と、縦方向の接線の角度を90°(青)と設定している。
図5のエッジ角度の画像は、ステップS30で細胞画像からエッジ角度を抽出して生成した画像であり、エッジ角度に応じて、細胞核が青の濃淡で表現されている。
本実施形態では、図7Aに示すとおり、細胞画像の細胞核のエッジ部に対し、横方向の接線の角度を0°と、縦方向の接線の角度を90°(青)と設定している。
図5のエッジ角度の画像は、ステップS30で細胞画像からエッジ角度を抽出して生成した画像であり、エッジ角度に応じて、細胞核が青の濃淡で表現されている。
「エッジ法線方向」とは、細胞画像の細胞核のエッジ部に対する接線の法線方向で、かつ、細胞核の核外領域から核内領域に向かう方向を示すものである。
詳しくは、エッジ法線方向とは、フィルタを0〜360°の範囲で5°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度に対し直交する方向で、かつ、その直交する方向上でエッジ強度が正から負に変化する方向を示すものである。
エッジ強度の正負は下記のとおり観念される。
たとえば、図6Eの矢印に示すとおり、細胞画像30において、細胞核の核外領域から核内領域に向けてフィルタ60を用いてエッジ強度を求める場合、核外領域では輝度値が高く、核内領域では輝度値が低い。細胞核の核外領域と核内領域の境界領域では、核外領域の高い輝度値とフィルタ60の正の値(1、2、1)とが掛け合わされ、核内領域の低い輝度値とフィルタ60の負の値(−1、−2、−1)とが掛け合わされる。そのため、境界領域のうち、核外領域側では、核外領域の高い輝度値の寄与度が大きく注目画素の輝度値は正になり、核外領域側から核内領域側に移行するにつれて、核内領域の低い輝度値の寄与度が大きくなり、注目画素の輝度値は負に変化する。
本実施形態では、図7Bに示すとおり、細胞画像の細胞核のエッジ部に対し、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が右向きの方向を0°(赤)と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が上向きの方向を90°(黄)と、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が左向きの方向を180°(緑)と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が下向きの方向を270°(青)と設定している。
図5のエッジ法線方向の画像は、ステップS30で細胞画像からエッジ法線方向を抽出して生成した画像であり、エッジ法線方向に応じて、細胞核が赤、黄、緑、青で表現されている。
詳しくは、エッジ法線方向とは、フィルタを0〜360°の範囲で5°ずつ回転させながら、エッジ部のエッジ強度を求め、エッジ強度が最大値となるフィルタの角度に対し直交する方向で、かつ、その直交する方向上でエッジ強度が正から負に変化する方向を示すものである。
エッジ強度の正負は下記のとおり観念される。
たとえば、図6Eの矢印に示すとおり、細胞画像30において、細胞核の核外領域から核内領域に向けてフィルタ60を用いてエッジ強度を求める場合、核外領域では輝度値が高く、核内領域では輝度値が低い。細胞核の核外領域と核内領域の境界領域では、核外領域の高い輝度値とフィルタ60の正の値(1、2、1)とが掛け合わされ、核内領域の低い輝度値とフィルタ60の負の値(−1、−2、−1)とが掛け合わされる。そのため、境界領域のうち、核外領域側では、核外領域の高い輝度値の寄与度が大きく注目画素の輝度値は正になり、核外領域側から核内領域側に移行するにつれて、核内領域の低い輝度値の寄与度が大きくなり、注目画素の輝度値は負に変化する。
本実施形態では、図7Bに示すとおり、細胞画像の細胞核のエッジ部に対し、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が右向きの方向を0°(赤)と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が上向きの方向を90°(黄)と、接線の法線方向が横方向でかつ細胞核の核外領域から核内領域に向かう方向が左向きの方向を180°(緑)と、接線の法線方向が縦方向でかつ細胞核の核外領域から核内領域に向かう方向が下向きの方向を270°(青)と設定している。
図5のエッジ法線方向の画像は、ステップS30で細胞画像からエッジ法線方向を抽出して生成した画像であり、エッジ法線方向に応じて、細胞核が赤、黄、緑、青で表現されている。
図8A〜8Dは、細胞画像(図8A)、ステップS20で細胞画像から生成した二値画像(図8B)、ステップS30で細胞画像からエッジ強度を抽出して生成した画像(図8C)、およびステップS30で細胞画像からエッジ法線方向を抽出して生成した画像(図8D)の一例である。
なお、各画像の点線四角枠は同じ領域を示している。
なお、各画像の点線四角枠は同じ領域を示している。
「エッジ曲率」とは、文字どおり、細胞画像の細胞核のエッジ部における曲率である。
エッジ曲率は、細胞画像からエッジ強度を抽出して生成した画像に対し、図9A〜9Cに示すとおり、一定の曲率を有するフィルタ70、72、74を照合させ一致するかどうかにより算出することができる。
細胞画像からエッジ部を細線化し、図9Dに示すとおり、当該細線上の1点(Pi)とその周辺の2点(Pi−1)との計3点から数式を用いて算出してもよい。
細胞画像からエッジ部を細線化し、図9Eに示すとおり、当該細線上の複数の点から最小二乗法を用いて算出してもよい。
エッジ曲率は、細胞画像からエッジ強度を抽出して生成した画像に対し、図9A〜9Cに示すとおり、一定の曲率を有するフィルタ70、72、74を照合させ一致するかどうかにより算出することができる。
細胞画像からエッジ部を細線化し、図9Dに示すとおり、当該細線上の1点(Pi)とその周辺の2点(Pi−1)との計3点から数式を用いて算出してもよい。
細胞画像からエッジ部を細線化し、図9Eに示すとおり、当該細線上の複数の点から最小二乗法を用いて算出してもよい。
その後、図3に示すとおり、ステップS20で抽出した細胞核の領域情報と、ステップS30で抽出した細胞核のエッジ情報とに基づき、ステップS20で抽出した細胞核の候補領域を補正するかどうかを判定する(ステップS40)。
ステップS40では、まず、図10に示すとおり、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定する(ステップS41)。
ステップS41では、たとえば、図11に示すとおり、細胞核の候補領域から一定範囲の領域80を抜き出し、細胞核の領域情報に基づき、領域80において複数の小さな細胞核の候補領域82a〜82fが存在するかどうかを判断し、それが存在すると判断した場合に、領域80における細胞核の候補領域82a〜82fの面積、密集度を算出する。
その後、
・候補領域82a〜82fの面積(総面積)が一定の閾値未満であるか(条件1−1)
・候補領域82a〜82fの密集度が一定の閾値を超えるか(条件1−2)
を判断し、条件1−1、1−2を満たすときは、候補領域82の統合が必要であると判断してステップS42に移行する。
ステップS42への移行は、条件1−1、1−2の両方を満たすときになされてもよいし、いずれか一方を満たすときになされてもよい。
なお、図11中、グレーの実線部が実際の細胞核を表している。
ステップS41では、たとえば、図11に示すとおり、細胞核の候補領域から一定範囲の領域80を抜き出し、細胞核の領域情報に基づき、領域80において複数の小さな細胞核の候補領域82a〜82fが存在するかどうかを判断し、それが存在すると判断した場合に、領域80における細胞核の候補領域82a〜82fの面積、密集度を算出する。
その後、
・候補領域82a〜82fの面積(総面積)が一定の閾値未満であるか(条件1−1)
・候補領域82a〜82fの密集度が一定の閾値を超えるか(条件1−2)
を判断し、条件1−1、1−2を満たすときは、候補領域82の統合が必要であると判断してステップS42に移行する。
ステップS42への移行は、条件1−1、1−2の両方を満たすときになされてもよいし、いずれか一方を満たすときになされてもよい。
なお、図11中、グレーの実線部が実際の細胞核を表している。
他方、たとえば、図12に示すとおり、細胞核の候補領域から一定範囲の領域90を抜き出し、細胞核の領域情報に基づき、領域90において1つの大きな細胞核の候補領域92が存在するかどうかを判断し、それが存在すると判断した場合に、領域90における細胞核の候補領域92の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出する。
その後、
・候補領域92の面積が一定の閾値を超えるか(条件2−1)
・候補領域92の円形度が一定の閾値未満であるか(条件2−2)
・候補領域92に凹点が存在するか(条件2−3、図12点線部参照)
・候補領域92に複数の核小体が存在するか(条件2−4)
を判断し、条件2−1〜2−4を満たすときは、候補領域92の分割が必要であると判断してステップS46に移行する。
ステップS46への移行は、条件2−1〜2−4のすべてを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
なお、図12中、グレーの実線部が実際の細胞核を表している。
その後、
・候補領域92の面積が一定の閾値を超えるか(条件2−1)
・候補領域92の円形度が一定の閾値未満であるか(条件2−2)
・候補領域92に凹点が存在するか(条件2−3、図12点線部参照)
・候補領域92に複数の核小体が存在するか(条件2−4)
を判断し、条件2−1〜2−4を満たすときは、候補領域92の分割が必要であると判断してステップS46に移行する。
ステップS46への移行は、条件2−1〜2−4のすべてを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
なお、図12中、グレーの実線部が実際の細胞核を表している。
図10に示すとおり、ステップS42では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、複数の小さな細胞核の候補領域を統合するかどうかを判定する(ステップS42)。
ステップS42では、図13Aに示すとおり、細胞核の領域情報に基づき、領域80の候補領域82a〜82cの面積、円形度を算出し、細胞核のエッジ情報に基づき、領域80の候補領域82a〜82cのエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域82a〜82cの面積(総面積)が一定の閾値未満であるか(条件3−1Q)
・候補領域82a〜82cの円形度が一定の閾値未満であるか(条件3−2Q)
・エッジ法線方向に連続性があるか(条件3−3Q)
・エッジ法線方向の角度合計値が0°から離れているか(条件3−4Q)
・候補領域82a〜82cのエッジ曲率にバラツキがあるか(条件3−5Q)
を判断し、条件3−1Q〜3−5Qを満たすときは、真に、候補領域82の統合が必要であると判断してステップS43に移行する。
ステップS43への移行は、条件3−1Q〜3−5Qのすべてを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
ステップS42では、図13Aに示すとおり、細胞核の領域情報に基づき、領域80の候補領域82a〜82cの面積、円形度を算出し、細胞核のエッジ情報に基づき、領域80の候補領域82a〜82cのエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域82a〜82cの面積(総面積)が一定の閾値未満であるか(条件3−1Q)
・候補領域82a〜82cの円形度が一定の閾値未満であるか(条件3−2Q)
・エッジ法線方向に連続性があるか(条件3−3Q)
・エッジ法線方向の角度合計値が0°から離れているか(条件3−4Q)
・候補領域82a〜82cのエッジ曲率にバラツキがあるか(条件3−5Q)
を判断し、条件3−1Q〜3−5Qを満たすときは、真に、候補領域82の統合が必要であると判断してステップS43に移行する。
ステップS43への移行は、条件3−1Q〜3−5Qのすべてを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
条件3−1Qに関しては、候補領域82a〜82cの面積(総面積)が小さく一定の閾値未満である場合、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−2Qに関しては、細胞核は基本的に円形度が高いが、候補領域82a〜82cの円形度が低く一定の閾値未満である場合、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−3Qに関しては、図14A〜14Cに示すとおり、候補領域82a〜82cの外側輪郭線を結び、その外側輪郭線のエッジ法線方向に0°→90°→180°→270°→0°といった連続性があるかどうかを判断し、連続性があると判断したときは、その外側輪郭線で囲まれた候補領域82a〜82cを統合すべきと考えられる。
条件3−4Qに関しては、候補領域82a〜82cの外側輪郭線を結び、かつ、フィルタの回転角度を0〜360°から−180°〜0°〜+180°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が0°から離れるかどうかを判断し、0°から離れていると判断したときは、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−5Qに関しては、候補領域82a〜82cのエッジ曲率にバラツキがある場合、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−2Qに関しては、細胞核は基本的に円形度が高いが、候補領域82a〜82cの円形度が低く一定の閾値未満である場合、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−3Qに関しては、図14A〜14Cに示すとおり、候補領域82a〜82cの外側輪郭線を結び、その外側輪郭線のエッジ法線方向に0°→90°→180°→270°→0°といった連続性があるかどうかを判断し、連続性があると判断したときは、その外側輪郭線で囲まれた候補領域82a〜82cを統合すべきと考えられる。
条件3−4Qに関しては、候補領域82a〜82cの外側輪郭線を結び、かつ、フィルタの回転角度を0〜360°から−180°〜0°〜+180°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が0°から離れるかどうかを判断し、0°から離れていると判断したときは、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
条件3−5Qに関しては、候補領域82a〜82cのエッジ曲率にバラツキがある場合、1つの細胞核のうち一部しか検出されておらず、候補領域82a〜82cを統合すべきと考えられる。
ステップS43では、図13Bに示すとおり、候補領域82a、82b、82cから近傍(一定の距離)に存在する候補領域82b/82c、82a/82c、82a/82bを探索してこれらをグループ化する。
その後、図13Cに示すとおり、グループ化した候補領域82a〜82cに対し、条件3−1Q〜3−5Qと同様の基準を適用し、
・候補領域82a〜82cの面積(総面積)が一定の閾値以上である(条件3−1A)
・候補領域82a〜82cの円形度が一定の閾値以上である(条件3−2A)
・エッジ法線方向に連続性がある(条件3−3A)
・エッジ法線方向の角度合計値が0°から一定の範囲に収まっている(条件3−4A)
・候補領域82a〜82cのエッジ曲率のバラツキが緩和され一定の範囲に収まっている(条件3−5A)
かどうかを判別し(ステップS44)、条件3−1A〜3−5Aを満たすときは、候補領域82a〜82cの統合処理を実行する(ステップS45)。
ステップS44からステップS45への移行は、条件3−1A〜3−5Aのすべてを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
・候補領域82a〜82cの面積(総面積)が一定の閾値以上である(条件3−1A)
・候補領域82a〜82cの円形度が一定の閾値以上である(条件3−2A)
・エッジ法線方向に連続性がある(条件3−3A)
・エッジ法線方向の角度合計値が0°から一定の範囲に収まっている(条件3−4A)
・候補領域82a〜82cのエッジ曲率のバラツキが緩和され一定の範囲に収まっている(条件3−5A)
かどうかを判別し(ステップS44)、条件3−1A〜3−5Aを満たすときは、候補領域82a〜82cの統合処理を実行する(ステップS45)。
ステップS44からステップS45への移行は、条件3−1A〜3−5Aのすべてを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
ステップS45では、図13D〜13Eに示すとおり、グループ化した候補領域82a〜82cを1つの領域84に統合する。
詳しくは図15Aに示すとおり、候補領域82a〜82cの重心を算出し、その重心から候補領域82a〜82cを包含する円を描き、その円の範囲内で候補領域82a〜82cを統合する。
図15Bに示すとおり、候補領域82a〜82cの外側輪郭線同士を直線で結び、候補領域82a〜82cの外側輪郭線と直線とで囲まれる範囲内で候補領域82a〜82cを統合してもよい。
図15Cに示すとおり、候補領域82a〜82cの外側輪郭線上の点から最小二乗法を用いて円の中心点と半径とを算出し、その円の範囲内で候補領域82a〜82cを統合してもよい。
図16Aに示すとおり、候補領域82a〜82bの外側輪郭線のエッジ曲率から円の中心と半径とを算出し、その円の範囲内で候補領域82a〜82bを統合してもよい。
図16Bに示すとおり、候補領域82a〜82bの外側輪郭線のエッジ法線方向から交点を算出し、その交点から候補領域82a〜82bを包含する円を描き、その円の範囲内で候補領域82a〜82bを統合してもよい。
図16Cに示すとおり、候補領域82a〜82cの外側輪郭線のエッジ法線方向が45°→145°→290°と連続するような交点を算出し、その交点から候補領域82a〜82cを包含する円を描き、その円の範囲内で候補領域82a〜82cを統合してもよい。
図16Dに示すとおり、細胞画像からエッジ法線方向を抽出して生成した画像において、候補領域の外側輪郭線がほぼ閉じた状態で一部が欠落しているような場合に、欠落部86を候補領域の外側輪郭線に沿って直線または曲線で結び、候補領域の外側輪郭線と直線または曲線とで囲まれる範囲内で候補領域を統合してもよい。
詳しくは図15Aに示すとおり、候補領域82a〜82cの重心を算出し、その重心から候補領域82a〜82cを包含する円を描き、その円の範囲内で候補領域82a〜82cを統合する。
図15Bに示すとおり、候補領域82a〜82cの外側輪郭線同士を直線で結び、候補領域82a〜82cの外側輪郭線と直線とで囲まれる範囲内で候補領域82a〜82cを統合してもよい。
図15Cに示すとおり、候補領域82a〜82cの外側輪郭線上の点から最小二乗法を用いて円の中心点と半径とを算出し、その円の範囲内で候補領域82a〜82cを統合してもよい。
図16Aに示すとおり、候補領域82a〜82bの外側輪郭線のエッジ曲率から円の中心と半径とを算出し、その円の範囲内で候補領域82a〜82bを統合してもよい。
図16Bに示すとおり、候補領域82a〜82bの外側輪郭線のエッジ法線方向から交点を算出し、その交点から候補領域82a〜82bを包含する円を描き、その円の範囲内で候補領域82a〜82bを統合してもよい。
図16Cに示すとおり、候補領域82a〜82cの外側輪郭線のエッジ法線方向が45°→145°→290°と連続するような交点を算出し、その交点から候補領域82a〜82cを包含する円を描き、その円の範囲内で候補領域82a〜82cを統合してもよい。
図16Dに示すとおり、細胞画像からエッジ法線方向を抽出して生成した画像において、候補領域の外側輪郭線がほぼ閉じた状態で一部が欠落しているような場合に、欠落部86を候補領域の外側輪郭線に沿って直線または曲線で結び、候補領域の外側輪郭線と直線または曲線とで囲まれる範囲内で候補領域を統合してもよい。
他方、図10に示すとおり、ステップS46では、細胞核の領域情報と細胞核のエッジ情報とに基づき、真に、1つの大きな細胞核の候補領域を分割するかどうかを判定する(ステップS46)。
ステップS46では、図17Aに示すとおり、細胞核の領域情報に基づき、領域90の候補領域92の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出し、細胞核のエッジ情報に基づき、領域90の候補領域92のエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域92の面積が一定の閾値を超えているか(条件4−1Q)
・候補領域92の円形度が一定の閾値未満であるか(条件4−2Q)
・候補領域92に凹点が存在するか(条件4−3Q)
・候補領域92に複数の核小体が存在するか(条件4−4Q)
・エッジ法線方向に連続性がないか(条件4−5Q)
・エッジ法線方向の角度合計値が0°から離れているか(条件4−6Q)
・候補領域92のエッジ曲率にバラツキがあるか(条件4−7Q)
を判断し、条件4−1Q〜4−7Qを満たすときは、真に、候補領域92の分割が必要であると判断してステップS47に移行する。
ステップS47への移行は、条件4−1Q〜4−7Qのすべてを満たすときになされてもよいし、いずれか6つを満たすときになされてもよいし、いずれか5つを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
ステップS46では、図17Aに示すとおり、細胞核の領域情報に基づき、領域90の候補領域92の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出し、細胞核のエッジ情報に基づき、領域90の候補領域92のエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域92の面積が一定の閾値を超えているか(条件4−1Q)
・候補領域92の円形度が一定の閾値未満であるか(条件4−2Q)
・候補領域92に凹点が存在するか(条件4−3Q)
・候補領域92に複数の核小体が存在するか(条件4−4Q)
・エッジ法線方向に連続性がないか(条件4−5Q)
・エッジ法線方向の角度合計値が0°から離れているか(条件4−6Q)
・候補領域92のエッジ曲率にバラツキがあるか(条件4−7Q)
を判断し、条件4−1Q〜4−7Qを満たすときは、真に、候補領域92の分割が必要であると判断してステップS47に移行する。
ステップS47への移行は、条件4−1Q〜4−7Qのすべてを満たすときになされてもよいし、いずれか6つを満たすときになされてもよいし、いずれか5つを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
条件4−1Qに関しては、候補領域92の面積が大きく一定の閾値を超えている場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−2Qに関しては、細胞核は基本的に円形度が高いが、候補領域92の円形度が低く一定の閾値未満である場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−3Qに関しては、候補領域92に凹点が存在する場合、特に互いに対向する位置に凹点が存在する場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−4Qに関しては、核小体は基本的に細胞ごとに1つずつ存在するが、候補領域92に複数の核小体が存在する場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−5Qに関しては、候補領域92の外側輪郭線を結び、その外側輪郭線のエッジ法線方向に0°→90°→180°→270°→0°といった連続性がないかどうかを判断し、連続性がないと判断したときは、その外側輪郭線で囲まれた候補領域92を分割すべきと考えられる。
たとえば、図18A〜18Bに示すとおり、候補領域92の外側輪郭線上でエッジ法線方向の連続性がないかどうかを判断する際に、細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分が存在するときは、候補領域92を分割すべきと考えられる。
条件4−6Qに関しては、候補領域92の外側輪郭線を結び、かつ、フィルタの回転角度を0〜360°から−180°〜0°〜+180°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が0°から離れるかどうかを判断し、0°から離れていると判断したときは、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−7Qに関しては、候補領域92のエッジ曲率にバラツキがある場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−2Qに関しては、細胞核は基本的に円形度が高いが、候補領域92の円形度が低く一定の閾値未満である場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−3Qに関しては、候補領域92に凹点が存在する場合、特に互いに対向する位置に凹点が存在する場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−4Qに関しては、核小体は基本的に細胞ごとに1つずつ存在するが、候補領域92に複数の核小体が存在する場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−5Qに関しては、候補領域92の外側輪郭線を結び、その外側輪郭線のエッジ法線方向に0°→90°→180°→270°→0°といった連続性がないかどうかを判断し、連続性がないと判断したときは、その外側輪郭線で囲まれた候補領域92を分割すべきと考えられる。
たとえば、図18A〜18Bに示すとおり、候補領域92の外側輪郭線上でエッジ法線方向の連続性がないかどうかを判断する際に、細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分が存在するときは、候補領域92を分割すべきと考えられる。
条件4−6Qに関しては、候補領域92の外側輪郭線を結び、かつ、フィルタの回転角度を0〜360°から−180°〜0°〜+180°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が0°から離れるかどうかを判断し、0°から離れていると判断したときは、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
条件4−7Qに関しては、候補領域92のエッジ曲率にバラツキがある場合、複数の細胞核が検出されており、候補領域92を分割すべきと考えられる。
ステップS47では、図17Bに示すとおり、候補領域92を分割しうる境界線94(分割パターン)を探索し、候補領域92を境界線94で領域96と領域98に区画する。
その後、領域96、98に対し、条件4−1Q〜4−7Qと同様の基準を適用し、
・候補領域96、98の面積が一定の閾値以内である(条件4−1A)
・候補領域96、98の円形度が一定の閾値以上である(条件4−2A)
・候補領域96、98に凹点が存在しない(条件4−3A)
・候補領域96、98に複数の核小体が存在しない(条件4−4A)
・エッジ法線方向に連続性がある(条件4−5A)
・エッジ法線方向の角度合計値が0°から一定の範囲に収まっている(条件4−6A)
・候補領域96、98のエッジ曲率のバラツキが緩和され一定の範囲に収まっている(条件4−7A)
かどうかを判別し(ステップS48)、条件4−1A〜4−7Aを満たすときは、候補領域92の分割処理を実行する(ステップS49)。
ステップS48からステップS49への移行は、条件4−1A〜4−7Aのすべてを満たすときになされてもよいし、いずれか6つを満たすときになされてもよいし、いずれか5つを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
・候補領域96、98の面積が一定の閾値以内である(条件4−1A)
・候補領域96、98の円形度が一定の閾値以上である(条件4−2A)
・候補領域96、98に凹点が存在しない(条件4−3A)
・候補領域96、98に複数の核小体が存在しない(条件4−4A)
・エッジ法線方向に連続性がある(条件4−5A)
・エッジ法線方向の角度合計値が0°から一定の範囲に収まっている(条件4−6A)
・候補領域96、98のエッジ曲率のバラツキが緩和され一定の範囲に収まっている(条件4−7A)
かどうかを判別し(ステップS48)、条件4−1A〜4−7Aを満たすときは、候補領域92の分割処理を実行する(ステップS49)。
ステップS48からステップS49への移行は、条件4−1A〜4−7Aのすべてを満たすときになされてもよいし、いずれか6つを満たすときになされてもよいし、いずれか5つを満たすときになされてもよいし、いずれか4つを満たすときになされてもよいし、いずれか3つを満たすときになされてもよいし、いずれか2つを満たすときになされてもよいし、いずれか1つを満たすときになされてもよい。
ステップS49では、図17C〜17Dに示すとおり、候補領域92を、境界線94で領域96と領域98とに分割する。
詳しくは、ステップS47、S49では、図19に示すとおり、細胞画像からエッジ強度を抽出して生成した画像において、エッジ強度の大きい部分間に境界線94を設定し、候補領域92を領域96、98に分割する。
細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分間に境界線94を設定し、候補領域92を領域96、98に分割してもよい。
公知の手法にしたがって、候補領域92の凹点間に境界線94を設定し、候補領域92を領域96、98に分割してもよい(Bottle-Neck: Pattern Reecognition Volume 45, Issue7, July 2012, Pages 2780-2787参照)。
公知のwatershed法にしたがって、候補領域92に境界線94を設定し、候補領域92を領域96、98に分割してもよい。
詳しくは、ステップS47、S49では、図19に示すとおり、細胞画像からエッジ強度を抽出して生成した画像において、エッジ強度の大きい部分間に境界線94を設定し、候補領域92を領域96、98に分割する。
細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分間に境界線94を設定し、候補領域92を領域96、98に分割してもよい。
公知の手法にしたがって、候補領域92の凹点間に境界線94を設定し、候補領域92を領域96、98に分割してもよい(Bottle-Neck: Pattern Reecognition Volume 45, Issue7, July 2012, Pages 2780-2787参照)。
公知のwatershed法にしたがって、候補領域92に境界線94を設定し、候補領域92を領域96、98に分割してもよい。
そして最終的に、図3に示すとおり、統合後または分割後の領域(84、96、98)を、1つの細胞核として検出する処理を実行する(ステップS50)。
以上の本実施形態によれば、ステップS41において、細胞核の領域情報に基づき、細胞核の候補領域を補正するかどうかを判定するのに加え、さらにステップS42〜S45において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を統合するかどうかを判定し統合するか、またはステップS46〜S49において、細胞核の領域情報と細胞核のエッジ情報とに基づき、細胞核の候補領域を分割するかどうかを判定し分割するから、細胞核の染色にムラがあったり、細胞核が隣接していたりしても、1つの細胞核が複数の細胞核として誤検出されることも、複数の細胞核が1つの細胞核として誤検出されることも抑制され、細胞核を個々に検出することができる。
なお、本実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
たとえば、本実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROMなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム10を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
その他、病理診断支援システム10を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は病理診断の画像処理に好適に利用することができる。
1A 顕微鏡画像取得装置
2A 画像処理装置
3A ケーブル
10 病理診断支援システム
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
30、40、50 細胞画像
82a〜82f 細胞核の候補領域(統合前)
84 統合後の領域
92 細胞核の候補領域(分割前)
96、98 分割後の領域
2A 画像処理装置
3A ケーブル
10 病理診断支援システム
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
30、40、50 細胞画像
82a〜82f 細胞核の候補領域(統合前)
84 統合後の領域
92 細胞核の候補領域(分割前)
96、98 分割後の領域
Claims (6)
- 細胞核が染色された細胞画像から細胞核を検出する画像処理装置において、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段と、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段と、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段と、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
細胞核のエッジ情報には、エッジ強度、エッジ角度、エッジ法線方向、エッジ曲率の少なくとも1つが含まれることを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記判定手段が、
細胞核の領域情報に基づき、細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の少なくとも1つを算出または検出し、
細胞核のエッジ情報に基づき、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の少なくとも1つを算出または検出し、
それら算出または検出結果に基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定することを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記補正手段が、
細胞核の候補領域の面積、円形度の算出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率の算出または検出結果との少なくとも1つに基づき、複数の細胞核の候補領域を統合することを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記補正手段が、
細胞核の候補領域の面積、円形度、凹点の有無、核小体の有無の算出または検出結果と、エッジ法線方向の連続性の有無、エッジ法線方向の角度合計値、エッジ曲率を算出または検出結果との少なくとも1つに基づき、1つの細胞核の候補領域を分割することを特徴とする画像処理装置。 - 細胞核が染色された細胞画像から細胞核を検出するコンピュータに、
前記細胞画像から細胞核の候補領域と領域情報とを抽出する領域抽出手段、
前記細胞画像から細胞核のエッジ情報を抽出するエッジ抽出手段、
細胞核の領域情報と細胞核のエッジ情報とに基づき、複数の細胞核の候補領域を統合するか、または1つの細胞核の候補領域を分割するかを判定する判定手段、
前記判定手段の判定結果に基づき、細胞核の候補領域を補正し、細胞核を検出する補正手段、
として機能させることを特徴とする画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/058721 WO2015145643A1 (ja) | 2014-03-27 | 2014-03-27 | 画像処理装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5804220B1 true JP5804220B1 (ja) | 2015-11-04 |
JPWO2015145643A1 JPWO2015145643A1 (ja) | 2017-04-13 |
Family
ID=54194240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015506956A Active JP5804220B1 (ja) | 2014-03-27 | 2014-03-27 | 画像処理装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9384550B2 (ja) |
EP (1) | EP3124967B1 (ja) |
JP (1) | JP5804220B1 (ja) |
WO (1) | WO2015145643A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9558393B2 (en) * | 2014-03-27 | 2017-01-31 | Konica Minolta, Inc. | Image processing device and storage medium for image processing |
JP6324338B2 (ja) * | 2015-03-25 | 2018-05-16 | 株式会社日立ハイテクノロジーズ | 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム |
WO2017150194A1 (ja) * | 2016-03-04 | 2017-09-08 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10890576B2 (en) | 2016-06-23 | 2021-01-12 | Konica Minolta, Inc. | Image processing device, image processing method, and recording medium |
JPWO2018128091A1 (ja) * | 2017-01-05 | 2019-11-07 | コニカミノルタ株式会社 | 画像解析プログラム及び画像解析方法 |
JP6448065B2 (ja) * | 2017-01-17 | 2019-01-09 | みずほ情報総研株式会社 | 画像処理システム、画像処理方法及び画像処理プログラム |
JP7063680B2 (ja) * | 2018-03-29 | 2022-05-09 | 住友化学株式会社 | 画像処理装置、異物検査装置、画像処理方法、および異物検査方法 |
WO2019188647A1 (ja) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
CN109801308B (zh) * | 2018-12-28 | 2022-10-18 | 西安电子科技大学 | 粘连类圆形目标图像的分割方法 |
US11748858B2 (en) * | 2019-09-24 | 2023-09-05 | Nuvasive, Inc. | Systems and methods for adjusting appearance of objects in medical images |
US11790533B2 (en) * | 2020-07-02 | 2023-10-17 | Sony Group Corporation | Machine learning based image segmentation training with contour accuracy evaluation |
US20230034727A1 (en) * | 2021-07-29 | 2023-02-02 | Rakuten Group, Inc. | Blur-robust image segmentation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186750A (ja) * | 2010-03-08 | 2011-09-22 | Univ Of Tokyo | 測定対象分子の定量的解析方法及び装置 |
JP2012037432A (ja) * | 2010-08-09 | 2012-02-23 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
JP2013020212A (ja) * | 2011-07-14 | 2013-01-31 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020186874A1 (en) * | 1994-09-07 | 2002-12-12 | Jeffrey H. Price | Method and means for image segmentation in fluorescence scanning cytometry |
JP3314759B2 (ja) | 1999-05-11 | 2002-08-12 | 日本電気株式会社 | 細胞形状抽出装置及び細胞形状抽出方法 |
JP2000331143A (ja) | 1999-05-14 | 2000-11-30 | Mitsubishi Electric Corp | 画像処理方法 |
GB2396406A (en) * | 2002-12-17 | 2004-06-23 | Qinetiq Ltd | Image analysis |
US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
US20060127881A1 (en) * | 2004-10-25 | 2006-06-15 | Brigham And Women's Hospital | Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy |
US8064679B2 (en) * | 2007-12-27 | 2011-11-22 | Cytyc Corporation | Targeted edge detection method and apparatus for cytological image processing applications |
GB2478593B (en) * | 2010-03-12 | 2017-05-31 | Inst For Medical Informatics | Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections |
WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
-
2014
- 2014-03-27 EP EP14887352.4A patent/EP3124967B1/en not_active Not-in-force
- 2014-03-27 JP JP2015506956A patent/JP5804220B1/ja active Active
- 2014-03-27 US US14/902,214 patent/US9384550B2/en active Active
- 2014-03-27 WO PCT/JP2014/058721 patent/WO2015145643A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186750A (ja) * | 2010-03-08 | 2011-09-22 | Univ Of Tokyo | 測定対象分子の定量的解析方法及び装置 |
JP2012037432A (ja) * | 2010-08-09 | 2012-02-23 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
JP2013020212A (ja) * | 2011-07-14 | 2013-01-31 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2015145643A1 (ja) | 2015-10-01 |
US9384550B2 (en) | 2016-07-05 |
EP3124967B1 (en) | 2018-11-28 |
EP3124967A4 (en) | 2017-12-06 |
US20160163043A1 (en) | 2016-06-09 |
JPWO2015145643A1 (ja) | 2017-04-13 |
EP3124967A1 (en) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5804220B1 (ja) | 画像処理装置および画像処理プログラム | |
US10890576B2 (en) | Image processing device, image processing method, and recording medium | |
US9881373B2 (en) | Image generating apparatus and image generating method | |
US8073233B2 (en) | Image processor, microscope system, and area specifying program | |
JP5597049B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
WO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP2859833A1 (en) | Image processing device, image processing method, and image processing program | |
JP2010113616A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP5830295B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US20120207379A1 (en) | Image Inspection Apparatus, Image Inspection Method, And Computer Program | |
JP2009211138A (ja) | 対象領域抽出方法および装置ならびにプログラム | |
Srivastava et al. | Automatic nuclear cataract grading using image gradients | |
JP6819445B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US11449991B2 (en) | Image processing method, image processing apparatus, and storage medium | |
JP2005352571A (ja) | 画像処理装置 | |
JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管/腺及び内腔、管/腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
JP5269637B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6664486B2 (ja) | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム | |
JP2010271921A (ja) | 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム | |
JP2010185858A (ja) | 画像処理装置および画像処理プログラム | |
WO2016076104A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2012213518A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR101276792B1 (ko) | 눈 검출 장치 및 방법 | |
JP2005160916A (ja) | 石灰化陰影判定方法、石灰化陰影判定装置及びプログラム | |
JP2013246674A (ja) | 図形検出処理装置、図形検出処理方法及び図形検出処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5804220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |