WO2016076104A1 - 画像処理方法、画像処理装置、及びプログラム - Google Patents
画像処理方法、画像処理装置、及びプログラム Download PDFInfo
- Publication number
- WO2016076104A1 WO2016076104A1 PCT/JP2015/080189 JP2015080189W WO2016076104A1 WO 2016076104 A1 WO2016076104 A1 WO 2016076104A1 JP 2015080189 W JP2015080189 W JP 2015080189W WO 2016076104 A1 WO2016076104 A1 WO 2016076104A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cell
- specific structure
- image
- region
- image processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Urology & Nephrology (AREA)
- Immunology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Hematology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
細胞核などの観察対象物の染色にムラがあったり、染色された複数の観察対象物が隣接している場合であっても、誤検出を抑制して個々の観察対象物の領域を正確に抽出できる画像処理方法、画像処理装置、及びプログラムを提供する。 本発明の画像処理方法は、染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理方法において、ユーザ操作により前記細胞画像にサーチ開始点を入力する入力工程と、前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成工程と、前記候補領域の特徴量を算出する算出工程と、前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域と前記特定構造の類似度を判断する判断工程と、前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出工程と、を有することを特徴とする。
Description
本発明は画像処理方法、画像処理装置、及びプログラムに関する。
人や動物などの生物から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類について診断する、いわゆる病理診断が盛んに行われている。病理診断の対象となる組織標本は、顕微鏡観察に適するように、一般的には、固定→包理→薄切→染色の過程を経て作製され、染色後の組織切片を高倍率で顕微鏡観察して画像データ（細胞画像）を生成し、画像を解析する。かかる細胞画像から細胞核などの観察対象物の領域を抽出する画像処理を手作業で行うと、膨大な手間がかかり、また、作業者ごとの誤差も大きいことから、近年では、画像処理を自動的に行うための技術が数多く提案されている。
たとえば、特許文献１の技術では、細胞画像上で複数の細胞が重畳している場合であっても、細胞形状を個別に抽出しようとしている（段落００１８参照）。具体的には、細胞の染色濃度（濃度勾配）に着目して、細胞輪郭形成画素の濃度勾配ベクトルとその画素から細胞中心位置までの変位ベクトルとの内積値の符号の正負を求めてかかる技術を実現しようとしている（段落００２７～００２８、図１０、段落００８４～００８８、図１３～図１６など参照）。
また、特許文献２の技術では、細胞内の観察対象物の特徴量に基づいて、画像のピクセルごとの属性値を評価することにより、画像内の観察対象領域を自動的に識別しようとしている。
ところで、組織切片の染色は細胞核などの観察対象物の形状を検出し易くするために行われるが、当該細胞核はすべて一様に染色されるとは限らず、特に癌が進行しているような細胞においては染色にムラができることが多い。
引用文献１～２に記載の技術では、図１２Ａのように細胞核の染色ムラが少ない細胞画像からは、図１２Ｂのように１つ１つの細胞核の領域を自動的に正しく抽出することが容易であるが、図１３Ａのように癌が進行して細胞核がまばらに染色された細胞画像からは、図１３Ｂのように１つの細胞核を複数の細胞核として誤検出することがある。また、図１４Ａのように複数の細胞核が隣接している場合には、図１４Ｂのように複数の細胞核を１つの細胞核として誤検出することもあり得る。
引用文献１～２に記載の技術では、図１２Ａのように細胞核の染色ムラが少ない細胞画像からは、図１２Ｂのように１つ１つの細胞核の領域を自動的に正しく抽出することが容易であるが、図１３Ａのように癌が進行して細胞核がまばらに染色された細胞画像からは、図１３Ｂのように１つの細胞核を複数の細胞核として誤検出することがある。また、図１４Ａのように複数の細胞核が隣接している場合には、図１４Ｂのように複数の細胞核を１つの細胞核として誤検出することもあり得る。
したがって、本発明の主な目的は、細胞核などの観察対象物の染色にムラがあったり、染色された複数の観察対象物が隣接している場合であっても、誤検出を抑制して個々の観察対象物の領域を正確に抽出できる画像処理方法、画像処理装置、及びプログラムを提供することにある。
上記課題を解決するため、本発明の第１の態様によれば、
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理方法において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力工程と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成工程と、
前記候補領域の特徴量を算出する算出工程と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断工程と、
前記判断工程において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出工程と、
を有することを特徴とする画像処理方法が提供される。
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理方法において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力工程と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成工程と、
前記候補領域の特徴量を算出する算出工程と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断工程と、
前記判断工程において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出工程と、
を有することを特徴とする画像処理方法が提供される。
本発明の第２の態様によれば、第１項に記載の画像処理方法において、
前記判断工程において前記候補領域が前記特定構造と類似していないと判断された場合には、前記所定の条件の変更、前記作成工程、前記算出工程、及び前記判断工程を、前記判断工程において候補領域が前記特定構造と類似していると判断されるまで繰り返すことを特徴とする画像処理方法が提供される。
前記判断工程において前記候補領域が前記特定構造と類似していないと判断された場合には、前記所定の条件の変更、前記作成工程、前記算出工程、及び前記判断工程を、前記判断工程において候補領域が前記特定構造と類似していると判断されるまで繰り返すことを特徴とする画像処理方法が提供される。
本発明の第３の態様によれば、第１項又は第２項に記載の画像処理方法において、
前記作成工程において、前記細胞画像における前記サーチ開始点を中心とした所定の範囲内から前記候補領域を作成し、
前記所定の範囲は、前記特定構造の大きさに基づいて定められることを特徴とする画像処理方法が提供される。
前記作成工程において、前記細胞画像における前記サーチ開始点を中心とした所定の範囲内から前記候補領域を作成し、
前記所定の範囲は、前記特定構造の大きさに基づいて定められることを特徴とする画像処理方法が提供される。
本発明の第４の態様によれば、第１項～第３項の何れか一項に記載の画像処理方法において、
前記特徴量は、前記候補領域の面積、大きさ、主軸と幅の比、周囲長、丸み度、または楕円度の少なくとも１つを含むことを特徴とする画像処理方法が提供される。
前記特徴量は、前記候補領域の面積、大きさ、主軸と幅の比、周囲長、丸み度、または楕円度の少なくとも１つを含むことを特徴とする画像処理方法が提供される。
本発明の第５の態様によれば、第１項～第４項の何れか一項に記載の画像処理方法において、
前記サーチ開始点は、前記特定構造の内部に入力されることを特徴とする画像処理方法が提供される。
前記サーチ開始点は、前記特定構造の内部に入力されることを特徴とする画像処理方法が提供される。
本発明の第６の態様によれば、第５項に記載の画像処理方法において、
１つの前記候補領域に含まれる前記サーチ開始点の数を数える計数工程と、
１つの前記候補領域に複数の前記サーチ開始点が含まれる場合には、１つの前記候補領域に前記サーチ開始点が１つのみ含まれるように分割する分割工程と、
を有することを特徴とする画像処理方法が提供される。
１つの前記候補領域に含まれる前記サーチ開始点の数を数える計数工程と、
１つの前記候補領域に複数の前記サーチ開始点が含まれる場合には、１つの前記候補領域に前記サーチ開始点が１つのみ含まれるように分割する分割工程と、
を有することを特徴とする画像処理方法が提供される。
本発明の第７の態様によれば、第１項～第６項の何れか一項に記載の画像処理方法において、
前記特定構造は、細胞核、細胞膜、又は細胞質のいずれかであることを特徴とする。
前記特定構造は、細胞核、細胞膜、又は細胞質のいずれかであることを特徴とする。
本発明の第８の態様によれば、
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理装置において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力手段と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段と、
前記候補領域の特徴量を算出する算出手段と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段と、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段と、
を備えることを特徴とする画像処理装置が提供される。
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理装置において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力手段と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段と、
前記候補領域の特徴量を算出する算出手段と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段と、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段と、
を備えることを特徴とする画像処理装置が提供される。
本発明の第９の態様によれば、
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出するコンピュータを、
前記細胞画像にサーチ開始点をユーザ操作により入力する入力手段、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段、
前記候補領域の特徴量を算出する算出手段、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段、
として機能させるためのプログラムが提供される。
染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出するコンピュータを、
前記細胞画像にサーチ開始点をユーザ操作により入力する入力手段、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段、
前記候補領域の特徴量を算出する算出手段、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段、
として機能させるためのプログラムが提供される。
本発明によれば、細胞核などの観察対象物の染色にムラがあったり、染色された複数の観察対象物が隣接している場合であっても、誤検出を抑制して個々の観察対象物の領域を正確に抽出することができる。
以下、図面を参照しながら本発明の好ましい実施形態について説明するが、本発明はこれらに限定されない。
＜病理診断支援システム１０の構成＞
図１に、病理診断支援システム１０の全体構成例を示す。
病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得及び解析することにより、組織切片における細胞核の領域を抽出するシステムである。
＜病理診断支援システム１０の構成＞
図１に、病理診断支援システム１０の全体構成例を示す。
病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得及び解析することにより、組織切片における細胞核の領域を抽出するシステムである。
図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２－５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における細胞核の領域を抽出する。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像処理（図３参照）を実行し、作成手段、算出手段、判断手段、抽出手段、計数手段、及び分割手段としての機能を実現する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像処理（図３参照）を実行し、作成手段、算出手段、判断手段、抽出手段、計数手段、及び分割手段としての機能を実現する。
操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
操作者（ユーザ）は、操作部２２を介して、顕微鏡画像内にサーチ開始点を入力する。かかる操作部２２は、入力手段として機能する。
操作者（ユーザ）は、操作部２２を介して、顕微鏡画像内にサーチ開始点を入力する。かかる操作部２２は、入力手段として機能する。
表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。
記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像（細胞画像）を用いて解析を行うようになっている。
「細胞画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）など、細胞の特定構造（例えば、細胞核、細胞膜、など）を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
「細胞画像」とは、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）など、細胞の特定構造（例えば、細胞核、細胞膜、など）を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１０において、上記説明した細胞画像を取得して観察対象物の領域を抽出する画像処理を行う動作について説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像から、観察対象物（特定構造）として細胞核の領域を抽出する場合を例として説明する。
以下、病理診断支援システム１０において、上記説明した細胞画像を取得して観察対象物の領域を抽出する画像処理を行う動作について説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像から、観察対象物（特定構造）として細胞核の領域を抽出する場合を例として説明する。
まず、操作者はＨＥ染色試薬を用いて、公知の方法により、組織切片を染色する。
その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）～（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、ＨＥ染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）～（ａ３）の手順により細胞画像を取得する。
（ａ１）操作者は、ＨＥ染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、画像処理装置２Ａを用いて、細胞画像に基づき画像処理を実行する。図３に、画像処理装置２Ａにおける画像処理のフローチャートを示す。図３に示す画像処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって以下の処理を実行する。
まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから細胞画像が入力されると（ステップＳ１）、制御部２１は、表示部２３に細胞画像を表示する。操作者は、表示部２３に表示された細胞画像において細胞核３１の位置を視認して、操作部２２を介して細胞核３１の近傍にサーチ開始点３２を入力する（ステップＳ２：入力工程）。
なお、本実施形態においては、１つの細胞核に対して１つのサーチ開始点３２を入力するものとし、サーチ開始点３２の入力位置は細胞核の領域の内部とする。
細胞画像内に複数の細胞核が存在する場合には、細胞画像内に複数のサーチ開始点３２を入力することができる。本実施の形態において、ステップＳ３以降の処理は、操作者が複数のサーチ開始点３２を全て入力し終わった後で開始することとして説明する。
細胞画像内に複数の細胞核が存在する場合には、細胞画像内に複数のサーチ開始点３２を入力することができる。本実施の形態において、ステップＳ３以降の処理は、操作者が複数のサーチ開始点３２を全て入力し終わった後で開始することとして説明する。
制御部２１は、細胞画像のサーチ開始点３２の近傍の所定の領域（近傍領域３３）を設定する（ステップＳ３）。近傍領域３３の形状、大きさ、数は任意に設定可能である。例えば、図４Ａに示されるように、サーチ開始点３２を中心とした所定の大きさの矩形領域を選択して１つの近傍領域３３としても良いし、また、図４Ｂ及び図４Ｃに示されるように、図４Ａの近傍領域３３を４分割又は９分割して、４つ又は９つの近傍領域３３を設定しても良い。
次いで、制御部２１は、近傍領域３３のそれぞれに対して、第一可変閾値処理を行って（ステップＳ４）、特定構造（本実施形態では、細胞核）らしい領域（候補領域）を作成する。第一可変閾値処理の詳細を図５のフローチャートに示す。
まず、制御部２１は、近傍領域３３における細胞画像の画像情報（第一画像情報）を取得する（ステップＳ４１）。第一画像情報としては、例えば、輝度、階調度、ＨＳＶ、色（例えば、ＲＧＢ値）、等の中から、１又は複数種類が取得される。
次いで、各近傍領域内で第一画像情報が所定の条件を満たす画素を抽出し、候補領域である第一核候補領域３５を作成する（ステップＳ４２：作成工程）。
次いで、各近傍領域内で第一画像情報が所定の条件を満たす画素を抽出し、候補領域である第一核候補領域３５を作成する（ステップＳ４２：作成工程）。
ステップＳ４２における作成工程を、第一画像情報としてＲＧＢ値を用いる場合を例にとって詳細に説明する。まず、近傍領域３３内で最も輝度が暗い点を第一基準点３４として選択する（図６Ｂ）。図６Ａは、細胞画像内の７つの画素のＲＧＢ値をＲＧＢ座標上にプロットした図の一例であり、「●」で示されている、最も原点に近い点が第一基準点３４のＲＧＢ値を示す。次いで、ＲＧＢ座標上における各画素から第一基準点３４までの距離が所定の閾値Ｘ以下である画素（図６Ａにおいて「○」で示される画素）を細胞画像から抽出して、第一核候補領域３５とする。
図６Ｂに示されるように、サーチ開始点３２を内部に含まずに、サーチ開始点３２の周囲に分離した複数の第一核候補領域３５Ａが作成された場合には、例えば公知のＳＮＡＫＥＳ法を用いて、サーチ開始点３２の近傍の第一核候補領域３５Ａの外郭を繋いで、図６Ｂの点線で示されるようなサーチ開始点３２を内部に含む第一核候補領域３５を作成する。
なお、閾値Ｘは、ＲＧＢ座標上における第一基準点３４から各画素までの方向の情報を含むベクトル値でも良い。また、例えば、ＲＧＢ座標上の第一基準点３４からの距離が閾値Ｘである画素のみを抽出して第一核候補領域３５としても良い。
また、複数種類の第一画像情報に基づいて第一核候補領域３５を作成する場合には、例えば、画素ごとに第一画像情報にファジィ演算を用いて重みづけをした値を算出し、この値が所定の値以下である画素を細胞画像から抽出して、第一核候補領域３５を作成する。
また、複数種類の第一画像情報に基づいて第一核候補領域３５を作成する場合には、例えば、画素ごとに第一画像情報にファジィ演算を用いて重みづけをした値を算出し、この値が所定の値以下である画素を細胞画像から抽出して、第一核候補領域３５を作成する。
サーチ開始点３２から遠く離れた領域の画像処理を省いて処理の効率を高める観点から、第一画像情報の取得範囲及び第一核候補領域３５を作成する領域の範囲を、観察対象の組織標本の一般的な細胞核の大きさに基づいて限定することが好ましい。細胞核の大きさは、例えば、細胞核の長径と短径の平均値、細胞核と同一面積の円の直径、などの任意の計測値を用いることができる。例えば、観察対象の組織標本の一般的な細胞核の長径と短径の平均値を算出し、その２倍の長さを直径とするサーチ開始点３２を中心とした円の内部を、第一画像情報の取得範囲及び第一核候補領域３５を作成する領域の範囲とすることができる。
なお、「一般的な細胞核」とは、観察対象の組織標本において観察される細胞核の標準的なものを指し、その大きさ等の特徴量は予め知られた公知なものを用いることができる。
なお、「一般的な細胞核」とは、観察対象の組織標本において観察される細胞核の標準的なものを指し、その大きさ等の特徴量は予め知られた公知なものを用いることができる。
次いで、第一核候補領域３５の特徴量を算出し（ステップＳ４３：算出工程）、一般的な細胞核の特徴量（特定構造の特徴量）と比較して、第一核候補領域３５が一般的な細胞核と類似しているか否かを判断する（ステップＳ４４：判断工程）。
特徴量は、第一核候補領域３５の形状や色に関する所定の測定値であり、例えば、面積、大きさ、主軸の長さと幅の比、周囲長、丸み度（＝（周囲長）２／（４π×面積））、楕円度（＝π×主軸長×主軸幅／（４×面積））、等の中から、１又は複数種類が算出される。
特徴量は、第一核候補領域３５の形状や色に関する所定の測定値であり、例えば、面積、大きさ、主軸の長さと幅の比、周囲長、丸み度（＝（周囲長）２／（４π×面積））、楕円度（＝π×主軸長×主軸幅／（４×面積））、等の中から、１又は複数種類が算出される。
ステップＳ４４では、例えば、ステップＳ４３で算出した第一核候補領域３５の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲内である場合には、第一核候補領域３５が細胞核と類似していると判断して（ステップＳ４４：Ｙｅｓ）、第一核候補領域３５を第一核領域３６とし、第一可変閾値処理を終了する。
ステップＳ４３で算出した第一核候補領域３５の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲外である場合には、第一核候補領域３５が細胞核と類似していないと判断し（ステップＳ４４：Ｎｏ）、閾値Ｘを別の値（例えば、現閾値Ｘに、予め設定された値（α）を加算した値）に変更して（ステップＳ４５）、ステップＳ４２の処理に戻り、別の第一核候補領域３５を抽出する。
ステップＳ４３で算出した第一核候補領域３５の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲外である場合には、第一核候補領域３５が細胞核と類似していないと判断し（ステップＳ４４：Ｎｏ）、閾値Ｘを別の値（例えば、現閾値Ｘに、予め設定された値（α）を加算した値）に変更して（ステップＳ４５）、ステップＳ４２の処理に戻り、別の第一核候補領域３５を抽出する。
なお、複数種類の特徴量に基づいて第一核候補領域３５が細胞核と類似しているか否かを判断する場合には、例えばファジィ演算を用いて重みづけをした各特徴量に基づいて第一核候補領域３５と一般的な細胞核の類似度を算出し、所定の閾値と比較することにより、第一核候補領域３５が細胞核と類似しているか否かを判断する。
また、ステップＳ４２では、閾値Ｘを所定の範囲内で変化させて、閾値Ｘのそれぞれについて第一核候補領域３５の作成及び特徴量の算出を行い、一般的な細胞核の特徴量に最も近い特徴量が算出された第一核候補領域３５を、第一核領域３６としても良い。
また、ステップＳ４２では、閾値Ｘを所定の範囲内で変化させて、閾値Ｘのそれぞれについて第一核候補領域３５の作成及び特徴量の算出を行い、一般的な細胞核の特徴量に最も近い特徴量が算出された第一核候補領域３５を、第一核領域３６としても良い。
ステップＳ３で設定した各々の近傍領域３３に対して、ステップＳ４の第一可変閾値処理を行って第一核領域３６を作成した後、ステップＳ５の処理に移行して、それぞれの近傍領域３３に対応する第一核領域３６を加算した加算領域３７Ａを作成する。
例えば、ステップＳ３で図４Ｂに示されるような４つの近傍領域３３を設定した場合には、ステップＳ４の処理により、図７Ａに示されるように４つの第一核領域３６が作成され、ステップＳ５の処理により、図７Ｂに示されるような加算領域３７Ａが作成される。
例えば、ステップＳ３で図４Ｂに示されるような４つの近傍領域３３を設定した場合には、ステップＳ４の処理により、図７Ａに示されるように４つの第一核領域３６が作成され、ステップＳ５の処理により、図７Ｂに示されるような加算領域３７Ａが作成される。
他方、ステップＳ１で入力された細胞画像から、細胞核のエッジ３８が抽出される（ステップＳ６）。エッジの抽出方法は任意であり、例えば、細胞画像の明度を所定の閾値を用いて二値化することにより抽出される。
ステップＳ５とＳ６の処理の終了後、ステップＳ７では、ステップＳ５で作成された加算領域３７Ａが、ステップＳ６で抽出されたエッジ３８の輪郭によりマスク処理されて、加算領域３７Ａから、エッジ３８の外側の領域が排除された加算領域３７Ｂが作成される。図７Ｃは、実線で示される加算領域３７Ａに、点線で示されるエッジ３８を重ねた画像の例を示す。図７Ｄは、加算領域３７Ａをエッジ３８でマスク処理した加算領域３７Ｂの例を示す。
次いで、ステップＳ８（計数工程）において、１つの加算領域３７Ｂの内部に含まれるサーチ開始点３２の数を判定する。
１つの加算領域３７Ｂの内部にサーチ開始点３２が複数個含まれている場合（ステップＳ８：複数）には、ステップＳ９（分割工程）の処理に移行して、複数のサーチ開始点３２を含む加算領域３７Ｂに分割処理を施す。分割処理の詳細を、図８のフローチャートに示す。
１つの加算領域３７Ｂの内部にサーチ開始点３２が複数個含まれている場合（ステップＳ８：複数）には、ステップＳ９（分割工程）の処理に移行して、複数のサーチ開始点３２を含む加算領域３７Ｂに分割処理を施す。分割処理の詳細を、図８のフローチャートに示す。
先ず、ステップＳ６のマスク処理で用いたエッジ３８とは別のエッジを作成して加算領域３７Ｂと重ね、エッジによる加算領域３７Ｂの分割処理を行う（ステップＳ９１）。その後、加算領域３７Ｂが正しく分割されたか否かを判断する（ステップＳ９２）。正しく分割されたか否かの判断方法は任意であるが、例えば、ステップＳ９１の処理を施した後の、１つの加算領域３７Ｂに含まれるサーチ開始点３２の数が１つであれば、正しく分割されたと判断する。
ステップＳ９２の工程で、加算領域３７Ｂが正しく分割されたと判断した場合（ステップＳ９２：Ｙｅｓ）、分割処理を終了し、ステップＳ１０の工程に移行する。
ステップＳ９２の工程で、加算領域３７Ｂが正しく分割されたと判断した場合（ステップＳ９２：Ｙｅｓ）、分割処理を終了し、ステップＳ１０の工程に移行する。
ステップＳ９２で、加算領域３７Ｂが正しく分割されていないと判断した場合（ステップＳ９２：Ｎｏ）、ステップＳ９３の工程に進み、極座標変換を用いた分割処理を行う。
極座標変換を用いた分割処理は、例えば、加算領域３７Ｂを極座標変換した画像における変曲点の位置に基づいて行うことができる。
例えば、加算領域３７Ｂの極座標変換によれば、サーチ開始点３２を通る直線を始線とし、その始線からの偏角θを横軸、サーチ開始点３２からの距離ｒを縦軸とする座標において、図７Ｄに示される加算領域３７Ｂの輪郭線が図９Ａのように実線で示される極座標変換画像が作成される。例えば、加算領域３７Ｂに、サーチ開始点３２が２つ含まれていた場合は、一方のサーチ開始点３２に基づいて上述の極座標変換を施す。次いで、図９Ａの実線で示される極座標変換画像において、加算領域３７Ｂの輪郭線を示す実線の変曲点の間隔を算出し、その間隔が所定の値よりも小さくなる２つの変曲点を抽出し、これら２つの変曲点を結ぶ境界線３９（図９Ａの点線）を作成して分割処理を行う。境界線３９の作成方法は任意であるが、例えば、２つの変曲点それぞれの近傍の輪郭線の形状に基づく近似曲線を用いて境界線３９を作製し、加算領域３７Ｂを分割することができる。分割処理後の極座標表示されている画像は、直交座標に再変換される。
極座標変換を用いた分割処理は、例えば、加算領域３７Ｂを極座標変換した画像における変曲点の位置に基づいて行うことができる。
例えば、加算領域３７Ｂの極座標変換によれば、サーチ開始点３２を通る直線を始線とし、その始線からの偏角θを横軸、サーチ開始点３２からの距離ｒを縦軸とする座標において、図７Ｄに示される加算領域３７Ｂの輪郭線が図９Ａのように実線で示される極座標変換画像が作成される。例えば、加算領域３７Ｂに、サーチ開始点３２が２つ含まれていた場合は、一方のサーチ開始点３２に基づいて上述の極座標変換を施す。次いで、図９Ａの実線で示される極座標変換画像において、加算領域３７Ｂの輪郭線を示す実線の変曲点の間隔を算出し、その間隔が所定の値よりも小さくなる２つの変曲点を抽出し、これら２つの変曲点を結ぶ境界線３９（図９Ａの点線）を作成して分割処理を行う。境界線３９の作成方法は任意であるが、例えば、２つの変曲点それぞれの近傍の輪郭線の形状に基づく近似曲線を用いて境界線３９を作製し、加算領域３７Ｂを分割することができる。分割処理後の極座標表示されている画像は、直交座標に再変換される。
次いで、ステップＳ９３の工程によって加算領域３７Ｂが正しく分割されたか否かを、ステップＳ９２と同様の方法により判断する（ステップＳ９４）。
ステップＳ９４の工程で、加算領域３７Ｂが正しく分割されたと判断した場合（ステップＳ９４：Ｙｅｓ）、分割処理を終了し、ステップ１０の工程に移行する。
ステップＳ９４の工程で、加算領域３７Ｂが正しく分割されたと判断した場合（ステップＳ９４：Ｙｅｓ）、分割処理を終了し、ステップ１０の工程に移行する。
ステップＳ９４で、加算領域３７Ｂが正しく分割されていないと判断した場合（ステップＳ９４：Ｎｏ）、ステップＳ９５の工程に進み、公知のＷａｔｅｒｓｈｅｄ法にしたがって、加算領域３７Ｂに境界線を引いて分割する分割処理を行う。
なお、ステップＳ９１、Ｓ９３、Ｓ９５に記載した分割の方法は、これらに限定されるものではなく、ステップＳ９においては、任意の分割方法を、任意の順序で用いることができる。
また、ステップＳ９５の処理によっても正しく分割ができなかった場合には、表示部２３に表示されている細胞画像上に、正しく分割ができなかった加算領域３７Ｂを、正しく分割ができなかったことを示すメッセージと共に表示し、正しく分割できなかった加算領域３７Ｂに対しては、図３のステップＳ１０以降に示す処理を行わずに画像処理を終了することとしても良い。
また、ステップＳ９５の処理によっても正しく分割ができなかった場合には、表示部２３に表示されている細胞画像上に、正しく分割ができなかった加算領域３７Ｂを、正しく分割ができなかったことを示すメッセージと共に表示し、正しく分割できなかった加算領域３７Ｂに対しては、図３のステップＳ１０以降に示す処理を行わずに画像処理を終了することとしても良い。
加算領域３７Ｂに含まれるサーチ開始点３２が１つである場合（ステップＳ８：１個）又はステップＳ９の分割処理の終了後、ステップＳ１０の工程に進み、ノイズ処理を施す。
例えば、図７Ｄに示される加算領域３７Ｂに含まれるサーチ開始点３２が１つである場合には、図の上部に示されるような縊れて突出した小さい領域は、実際には細胞核の領域には含まれないノイズである可能性が高いため、これを排除するノイズ処理を施すことが好ましい。このノイズ処理の方法は任意であるが、例えば、ステップＳ９３の極座標変換を用いた分割処理と同様の方法で行うことができる。
具体的には、ステップＳ９３と同様に、図７Ｄの加算領域３７Ｂを図９Ｂに示されるように２つの領域に分割し、点線で示される境界線３９の下方の領域にサーチ開始点３２が含まれている場合には、境界線３９よりも上方の領域を削除し、ノイズ処理後の加算領域３７Ｃを作成する。
例えば、図７Ｄに示される加算領域３７Ｂに含まれるサーチ開始点３２が１つである場合には、図の上部に示されるような縊れて突出した小さい領域は、実際には細胞核の領域には含まれないノイズである可能性が高いため、これを排除するノイズ処理を施すことが好ましい。このノイズ処理の方法は任意であるが、例えば、ステップＳ９３の極座標変換を用いた分割処理と同様の方法で行うことができる。
具体的には、ステップＳ９３と同様に、図７Ｄの加算領域３７Ｂを図９Ｂに示されるように２つの領域に分割し、点線で示される境界線３９の下方の領域にサーチ開始点３２が含まれている場合には、境界線３９よりも上方の領域を削除し、ノイズ処理後の加算領域３７Ｃを作成する。
また、ノイズ処理後の加算領域３７Ｃの輪郭を滑らかにするためのノイズ処理をさらに施しても良い。
具体的には、例えば、加算領域３７Ｃの輪郭の極座標変換画像に対して、移動平均、フィルタリングなどの処理を施すことにより、輪郭を滑らかにすることができる。図９Ｃは、図９Ｂに示される加算領域３７Ｃの極座標変換画像の輪郭（点線）に、平滑化処理を施した画像（実線）の例を示す。図９Ｃの平滑化処理を施した極座標変換画像を直交座標に再変換することにより、図９Ｄに示されるような、滑らかな輪郭の加算領域３７Ｄが抽出される。
具体的には、例えば、加算領域３７Ｃの輪郭の極座標変換画像に対して、移動平均、フィルタリングなどの処理を施すことにより、輪郭を滑らかにすることができる。図９Ｃは、図９Ｂに示される加算領域３７Ｃの極座標変換画像の輪郭（点線）に、平滑化処理を施した画像（実線）の例を示す。図９Ｃの平滑化処理を施した極座標変換画像を直交座標に再変換することにより、図９Ｄに示されるような、滑らかな輪郭の加算領域３７Ｄが抽出される。
輪郭の極座標変換画像ではなく、直交画像において、例えば、クロージング処理を施すことにより平滑化処理を行っても良い。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
次いで、加算領域３７Ｃにノイズ処理を施した加算領域３７Ｄに対して、第二可変閾値処理を行って、細胞核らしい領域を抽出する（ステップＳ１１）。第二可変閾値処理の詳細を図１０のフローチャートに示す。
まず、制御部２１は、加算領域３７Ｄの画像情報（第二画像情報）を取得する（ステップＳ１１１）。第二画像情報としては、例えば、輝度、階調度、ＨＳＶ、色（例えば、ＲＧＢ値）、等の中から、１又は複数種類が取得される。第二画像情報の種類は、ステップＳ４で用いた第一画像情報の種類と同一でも異なるものでも良い。
次いで、取得した加算領域３７Ｄの第二画像情報に基づいて閾値を定め、特定構造（本実施形態では、細胞核）の候補領域である第二核候補領域を抽出する（ステップＳ１１２）。
次いで、取得した加算領域３７Ｄの第二画像情報に基づいて閾値を定め、特定構造（本実施形態では、細胞核）の候補領域である第二核候補領域を抽出する（ステップＳ１１２）。
ステップＳ１１２における作成工程を、第二画像情報としてＲＧＢ値を用いる場合を例にとって詳細に説明する。例えば、まず、加算領域３７Ｄ内のＲＧＢ値の平均値を算出し、ＲＧＢ座標上にプロットして第二基準点とする。次いで、細胞画像内の各画素のＲＧＢ値をＲＧＢ座標上にプロットして、第二基準点からの距離が所定の閾値Ｙ以下である画素を細胞画像から抽出して、第二核候補領域とする。
ステップＳ４２の工程と同様に、サーチ開始点３２を内部に含まずに、周囲に分離した第二核候補領域が存在する場合には、例えば公知のＳＮＡＫＥＳ法を用いて、サーチ開始点３２の近傍の第二核候補領域との外郭を繋いで、サーチ開始点３２を内部に含む第二核候補領域を作成する。
なお、閾値Ｙは、第二基準点から各画素までの方向の情報を含むベクトル値でも良い。また、例えば、ＲＧＢ座標上の第二基準点からの距離が閾値Ｙである画素のみを抽出して第二核候補領域としても良い。
また、複数種類の第二画像情報に基づいて第二各候補領域を作成する場合には、例えば、画素ごとに第二画像情報にファジィ演算を用いて重みづけをした値を算出し、この値が所定の値以下である画素を細胞画像から抽出して、第二核候補領域を作成する。
また、複数種類の第二画像情報に基づいて第二各候補領域を作成する場合には、例えば、画素ごとに第二画像情報にファジィ演算を用いて重みづけをした値を算出し、この値が所定の値以下である画素を細胞画像から抽出して、第二核候補領域を作成する。
サーチ開始点３２から遠く離れた領域の画像処理を省いて処理の効率を高める観点から、第二画像情報の取得範囲及び第二核候補領域を作成する領域の範囲は、観察対象の組織標本の一般的な細胞核の大きさに基づいて限定することが好ましい。細胞核の大きさとは、例えば、細胞核の長径と短径の平均値、細胞核と同一面積の円の直径、などの任意の計測値を用いることができる。例えば、観察対象の組織標本の一般的な細胞核の長径と短径の平均値の２倍の長さを直径とする、サーチ開始点３２を中心とした円の内部を、第二画像情報の取得範囲及び第二核候補領域を作成する領域の範囲とすることができる。
次いで、第二核候補領域の特徴量を算出し（ステップＳ１１３）、一般的な細胞核の特徴量（特定構造の特徴量）と比較して、第二核候補領域が一般的な細胞核と類似しているか否かを判断する（ステップＳ１１４）。
特徴量は、第二核候補領域の形状や色に関する所定の測定値であり、例えば、面積、大きさ、主軸の長さと幅の比、周囲長、丸み度（＝（周囲長）２／（４π×面積））、楕円度（＝π×主軸長×主軸幅／（４×面積））、等の中から、１又は複数種類が算出される。
特徴量は、第二核候補領域の形状や色に関する所定の測定値であり、例えば、面積、大きさ、主軸の長さと幅の比、周囲長、丸み度（＝（周囲長）２／（４π×面積））、楕円度（＝π×主軸長×主軸幅／（４×面積））、等の中から、１又は複数種類が算出される。
ステップＳ１１４では、例えば、ステップＳ１１３で算出した第二核候補領域の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲内である場合には、第二核候補領域が細胞核と類似していると判断し（ステップＳ１１４：Ｙｅｓ）、第二核候補領域を第二核領域とする。
ステップＳ１１３で算出した第二核候補領域の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲外である場合には、第二核候補領域が細胞核と類似していないと判断して（ステップＳ１１４：Ｎｏ）、閾値Ｙを別の値に変更して（ステップＳ１１５）、ステップＳ１１２の処理に戻り、別の第二核候補領域を抽出する。
ステップＳ１１３で算出した第二核候補領域の特徴量と、一般的な細胞核の特徴量との比が、所定の範囲外である場合には、第二核候補領域が細胞核と類似していないと判断して（ステップＳ１１４：Ｎｏ）、閾値Ｙを別の値に変更して（ステップＳ１１５）、ステップＳ１１２の処理に戻り、別の第二核候補領域を抽出する。
なお、複数種類の特徴量を用いて第二核候補領域が細胞核と類似しているか否かを判断する場合には、例えばファジィ演算を用いて重みづけをした各特徴量に基づいて第二各候補領域と一般的な細胞核の類似度を算出し、所定の閾値と比較することにより、第二核候補領域が細胞核と類似しているか否かを判断する。
また、ステップＳ１１２では、閾値Ｙを所定の範囲内で変化させて、閾値Ｙのそれぞれについて第二核領域の作成及び特徴量の算出を行い、一般的な細胞核の特徴量に最も近い特徴量が算出された第二核候補領域を、第二核領域としても良い。
また、ステップＳ１１２では、閾値Ｙを所定の範囲内で変化させて、閾値Ｙのそれぞれについて第二核領域の作成及び特徴量の算出を行い、一般的な細胞核の特徴量に最も近い特徴量が算出された第二核候補領域を、第二核領域としても良い。
他方、制御部２１は、ステップＳ１２の工程において、加算領域３７Ｄに膨張処理を施した加算領域３７Ｅ（図１１Ａ）を作成する。
ステップＳ１１とＳ１２の処理の終了後、ステップＳ１３では、ステップＳ１１で作成された第二核領域がステップＳ１２で作成された加算領域３７Ｅによりマスク処理されて、第二核領域から、加算領域３７Ｅの外側の領域が排除された最終核領域４０が作成される。
図１１Ｂの実線は、図１１Ａに示される加算領域３７Ｄに第二可変閾値処理を施した加算領域３７Ｆの一例であり、図１１Ｂの点線は、加算領域３７Ｄに膨張処理を施した加算領域３７Ｅの一例である。加算領域３７Ｆを加算領域３７Ｅでマスクして、図１１Ｃに示される最終核領域４０が作成される。
図１１Ｂの実線は、図１１Ａに示される加算領域３７Ｄに第二可変閾値処理を施した加算領域３７Ｆの一例であり、図１１Ｂの点線は、加算領域３７Ｄに膨張処理を施した加算領域３７Ｅの一例である。加算領域３７Ｆを加算領域３７Ｅでマスクして、図１１Ｃに示される最終核領域４０が作成される。
以上の本実施形態によれば、ステップＳ２で操作者が入力したサーチ開始点３２の位置及び数に基づいて細胞を抽出するので、精度が高い。
また、操作者は、細胞の輪郭を手作業で詳細に抽出する必要はなく、細胞の付近にサーチ開始点３２を入力する作業のみが必要であるため、手間が少ない。
また、操作者は、細胞の輪郭を手作業で詳細に抽出する必要はなく、細胞の付近にサーチ開始点３２を入力する作業のみが必要であるため、手間が少ない。
また、第一可変閾値処理により、特徴量に基づいて最も細胞核らしい第一核候補領域３５を探して第一核領域３６とするため、正しい核領域を抽出できる可能性が高まるという効果がある。
また、サーチ開始点３２を細胞核の内部に入力して、第一画像情報の取得範囲及び第一核候補領域３５を抽出する範囲を、サーチ開始点３２を中心とする観察対象の組織標本の細胞核の一般的に知られた大きさに基づいて定めた一定距離の範囲内に限定することとすれば、サーチ開始点３２から一定距離以上離れた領域については画像処理を行う必要がないため、画像処理速度を速めることができる。
また、第一核候補領域３５及び第二核候補領域の特徴量として、面積、大きさ、主軸と幅の比、丸み度、楕円度、または周囲長を用いることとすれば、特徴量の定量及び比較が容易である。
また、サーチ開始点３２の数に応じて分割できるので、細胞が高密度に存在して細胞核が隣接したり重なって表示されているような細胞画像においても、個々の細胞核を分離して抽出することができる。
なお、本実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、ステップＳ３以降の処理は、操作者が細胞画像内のサーチ開始点３２を全て入力し終わった後で開始するものとしたが、サーチ開始点３２を１つ入力する毎にステップＳ３以降の処理を行っても良い。
例えば、ステップＳ３以降の処理は、操作者が細胞画像内のサーチ開始点３２を全て入力し終わった後で開始するものとしたが、サーチ開始点３２を１つ入力する毎にステップＳ３以降の処理を行っても良い。
また、サーチ開始点３２は、一つの細胞核の外側を囲む線又は複数の点であっても良い。この場合、ステップＳ３においては、例えば、一つの細胞核を示すサーチ開始点３２によって囲まれた領域の内部に近傍領域３３を設定する。
また、より簡便な画像処理として、ステップＳ７以降の処理を省略しても良い。例えば、近傍領域３３を図４Ａのように１つのみ設定し、ステップＳ４で抽出した第一核領域３６を最終核領域４０としても良い。または、ステップＳ１０以降の処理を省略して、ステップＳ５で作成された加算領域３７Ａ、またはステップＳ９の分割処理を施した加算領域３７Ｂ、などを最終核領域４０としても良い。
また、より簡便な画像処理として、ステップＳ７以降の処理を省略しても良い。例えば、近傍領域３３を図４Ａのように１つのみ設定し、ステップＳ４で抽出した第一核領域３６を最終核領域４０としても良い。または、ステップＳ１０以降の処理を省略して、ステップＳ５で作成された加算領域３７Ａ、またはステップＳ９の分割処理を施した加算領域３７Ｂ、などを最終核領域４０としても良い。
また、本実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
また、細胞の特定構造としては、細胞核の他に、細胞膜、細胞質などの任意の構造を用いることができ、これらを染色して観察対象領域とすることができる。
また、細胞の特定構造としては、細胞核の他に、細胞膜、細胞質などの任意の構造を用いることができ、これらを染色して観察対象領域とすることができる。
上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬
型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は、病理診断の画像処理に好適に利用することができる。
１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
３Ａ ケーブル
１０ 病理診断支援システム
２１ 制御部（作成手段、算出手段、判断手段、抽出手段、計数手段、分割手段）
２２ 操作部（入力手段）
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３１ （表示部２３上に視認される）細胞核
３２ サーチ開始点
３３ 近傍領域
３４ 第一基準点
３５、３５Ａ 第一核候補領域
３６ 第一核領域
３７Ａ、３７Ｂ、３７Ｃ、３７Ｄ、３７Ｅ、３７Ｆ 加算領域
３８ エッジ
３９ 境界線
４０ 最終核領域
２Ａ 画像処理装置
３Ａ ケーブル
１０ 病理診断支援システム
２１ 制御部（作成手段、算出手段、判断手段、抽出手段、計数手段、分割手段）
２２ 操作部（入力手段）
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３１ （表示部２３上に視認される）細胞核
３２ サーチ開始点
３３ 近傍領域
３４ 第一基準点
３５、３５Ａ 第一核候補領域
３６ 第一核領域
３７Ａ、３７Ｂ、３７Ｃ、３７Ｄ、３７Ｅ、３７Ｆ 加算領域
３８ エッジ
３９ 境界線
４０ 最終核領域
Claims (9)
- 染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理方法において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力工程と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成工程と、
前記候補領域の特徴量を算出する算出工程と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断工程と、
前記判断工程において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出工程と、
を有することを特徴とする画像処理方法。 - 前記判断工程において前記候補領域が前記特定構造と類似していないと判断された場合には、前記所定の条件の変更、前記作成工程、前記算出工程、及び前記判断工程を、前記判断工程において候補領域が前記特定構造と類似していると判断されるまで繰り返すことを特徴とする請求項１に記載の画像処理方法。
- 前記作成工程において、前記細胞画像における前記サーチ開始点を中心とした所定の範囲内から前記候補領域を作成し、
前記所定の範囲は、前記特定構造の大きさに基づいて定められることを特徴とする請求項１又は２に記載の画像処理方法。 - 前記特徴量は、前記候補領域の面積、大きさ、主軸と幅の比、周囲長、丸み度、または楕円度の少なくとも１つを含むことを特徴とする請求項１～３の何れか一項に記載の画像処理方法。
- 前記サーチ開始点は、前記特定構造の内部に入力されることを特徴とする請求項１～４の何れか一項に記載の画像処理方法。
- １つの前記候補領域に含まれる前記サーチ開始点の数を数える計数工程と、
１つの前記候補領域に複数の前記サーチ開始点が含まれる場合には、１つの前記候補領域に前記サーチ開始点が１つのみ含まれるように分割する分割工程と、
を有することを特徴とする請求項５に記載の画像処理方法。 - 前記特定構造は、細胞核、細胞膜、又は細胞質のいずれかであることを特徴とする、請求項１～６の何れか一項に記載の画像処理方法。
- 染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出する画像処理装置において、
ユーザ操作により前記細胞画像にサーチ開始点を入力する入力手段と、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段と、
前記候補領域の特徴量を算出する算出手段と、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段と、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段と、
を備えることを特徴とする画像処理装置。 - 染色された細胞を撮像し取得された細胞画像から前記細胞の特定構造の領域を抽出するコンピュータを、
前記細胞画像にサーチ開始点をユーザ操作により入力する入力手段、
前記サーチ開始点の周辺の所定の条件を満たす画素を抽出した候補領域を作成する作成手段、
前記候補領域の特徴量を算出する算出手段、
前記候補領域の特徴量と前記特定構造の特徴量を比較して、前記候補領域が前記特定構造と類似しているか否かを判断する判断手段、
前記判断手段において前記特定構造と類似していると判断された前記候補領域を、前記細胞画像における前記特定構造の領域として抽出する抽出手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016558959A JPWO2016076104A1 (ja) | 2014-11-13 | 2015-10-27 | 画像処理方法、画像処理装置、及びプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-230348 | 2014-11-13 | ||
| JP2014230348 | 2014-11-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016076104A1 true WO2016076104A1 (ja) | 2016-05-19 |
Family
ID=55954196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/080189 WO2016076104A1 (ja) | 2014-11-13 | 2015-10-27 | 画像処理方法、画像処理装置、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2016076104A1 (ja) |
| WO (1) | WO2016076104A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109564683A (zh) * | 2016-09-13 | 2019-04-02 | 株式会社日立高新技术 | 图像诊断辅助装置、图像诊断辅助方法及试料分析系统 |
| EP3477586A4 (en) * | 2016-06-23 | 2019-05-01 | Konica Minolta, Inc. | PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008036303A (ja) * | 2006-08-10 | 2008-02-21 | Topcon Corp | 角膜内皮細胞画像処理装置及び角膜内皮細胞画像処理プログラム |
| JP2008146278A (ja) * | 2006-12-08 | 2008-06-26 | National Institute Of Advanced Industrial & Technology | 細胞輪郭抽出装置、細胞輪郭抽出方法およびプログラム |
| WO2011036846A1 (ja) * | 2009-09-28 | 2011-03-31 | 株式会社日立ハイテクノロジーズ | 欠陥検査装置および欠陥検査方法 |
| JP2014525040A (ja) * | 2011-07-22 | 2014-09-25 | ロッシュ ダイアグノスティクス ヘマトロジー インコーポレイテッド | 網赤血球の同定および測定 |
-
2015
- 2015-10-27 WO PCT/JP2015/080189 patent/WO2016076104A1/ja active Application Filing
- 2015-10-27 JP JP2016558959A patent/JPWO2016076104A1/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008036303A (ja) * | 2006-08-10 | 2008-02-21 | Topcon Corp | 角膜内皮細胞画像処理装置及び角膜内皮細胞画像処理プログラム |
| JP2008146278A (ja) * | 2006-12-08 | 2008-06-26 | National Institute Of Advanced Industrial & Technology | 細胞輪郭抽出装置、細胞輪郭抽出方法およびプログラム |
| WO2011036846A1 (ja) * | 2009-09-28 | 2011-03-31 | 株式会社日立ハイテクノロジーズ | 欠陥検査装置および欠陥検査方法 |
| JP2014525040A (ja) * | 2011-07-22 | 2014-09-25 | ロッシュ ダイアグノスティクス ヘマトロジー インコーポレイテッド | 網赤血球の同定および測定 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3477586A4 (en) * | 2016-06-23 | 2019-05-01 | Konica Minolta, Inc. | PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM |
| US10890576B2 (en) | 2016-06-23 | 2021-01-12 | Konica Minolta, Inc. | Image processing device, image processing method, and recording medium |
| CN109564683A (zh) * | 2016-09-13 | 2019-04-02 | 株式会社日立高新技术 | 图像诊断辅助装置、图像诊断辅助方法及试料分析系统 |
| CN109564683B (zh) * | 2016-09-13 | 2023-07-04 | 株式会社日立高新技术 | 图像诊断辅助装置、图像诊断辅助方法及试料分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2016076104A1 (ja) | 2017-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6799146B2 (ja) | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー | |
| CA2966555C (en) | Systems and methods for co-expression analysis in immunoscore computation | |
| CA2746743C (en) | Multi-nucleated cell classification and micronuclei scoring | |
| JP5804220B1 (ja) | 画像処理装置および画像処理プログラム | |
| JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US11783604B2 (en) | Method for creating histopathological ground truth masks using slide restaining | |
| JP2020205063A (ja) | コンテキストフィーチャを用いた画像解析システム | |
| US20200193139A1 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| JPWO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Chen et al. | Microscope 2.0: an augmented reality microscope with real-time artificial intelligence integration | |
| CN110490159B (zh) | 识别显微图像中的细胞的方法、装置、设备及存储介质 | |
| CN111656393A (zh) | 组织学图像分析 | |
| JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| JP2005352571A (ja) | 画像処理装置 | |
| WO2016076104A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| JP5269637B2 (ja) | 画像処理装置および画像処理プログラム | |
| Serin et al. | A novel overlapped nuclei splitting algorithm for histopathological images | |
| JP2010185858A (ja) | 画像処理装置および画像処理プログラム | |
| Zhang et al. | Automated Scoring System of HER2 in Pathological Images under the Microscope | |
| US20230410316A1 (en) | Sequential convolutional neural networks for nuclei segmentation | |
| Pollatou et al. | Out-of-focus brain image detection in serial tissue sections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15858358 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016558959 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15858358 Country of ref document: EP Kind code of ref document: A1 |