JP6763305B2 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP6763305B2
JP6763305B2 JP2016563620A JP2016563620A JP6763305B2 JP 6763305 B2 JP6763305 B2 JP 6763305B2 JP 2016563620 A JP2016563620 A JP 2016563620A JP 2016563620 A JP2016563620 A JP 2016563620A JP 6763305 B2 JP6763305 B2 JP 6763305B2
Authority
JP
Japan
Prior art keywords
region
fluorescent
interest
image
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016563620A
Other languages
English (en)
Other versions
JPWO2016093090A1 (ja
Inventor
一谷　修司
修司 一谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2016093090A1 publication Critical patent/JPWO2016093090A1/ja
Application granted granted Critical
Publication of JP6763305B2 publication Critical patent/JP6763305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5091—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing the pathological state of an organism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置及び画像処理プログラムに関し、特に病理診断に用いられる画像処理に関する。
人や動物等の生物から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類について診断する、いわゆる病理診断が盛んに行われている。病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、２〜８μｍの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察して画像データ（形態画像）を生成し、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報を解析して診断を行う。かかる形態画像から細胞核などの観察対象物の領域を抽出する画像処理を手作業で行うと、膨大な手間がかかり、また、作業者ごとの誤差も大きい。近年では、組織切片の画像全体の中から効率よく特定タンパクが過剰発現している癌領域を把握できるようにするため、画像処理を自動的に行う技術が数多く提案されている。
例えば、特許文献１によれば、画像から細胞核の領域を抽出し、抽出した各細胞核の領域の重心から細胞膜周囲の特定タンパクの発現領域を包含する所定の半径の円領域を、細胞の領域を示す細胞領域として推定する。
実際の組織切片においては、細胞を切断する位置の違いに応じて、形態画像で観察される１つの細胞領域の面積及び形に大きな違いが生じ得る。例えば、図２２Ａの模式図に示されるように並んだ同一サイズ及び同一形状の細胞が断面Ｚで切断された場合、断面Ｚに直交する方向から細胞を撮影した形態画像の模式図である図２２Ｂにおいて、細胞領域の面積は細胞ごとに大きく異なる。また、細胞膜に発現する生体物質は、図２２Ｂに●で示されるように、各細胞領域の輪郭付近に観察されることとなる。
形態画像上で観察される細胞領域の面積や周囲長を用いて、生体物質量を正規化することが望まれているが、特許文献１に記載の方法では、一定サイズの円形を細胞領域とするので、細胞の面積による正規化には適さず、形態画像上で観察される実際の細胞領域のとの誤差が大きい。
特許文献２には、蛍光物質を用いて細胞膜を染色し、その蛍光物質の発光に基づいて細胞膜の位置を特定する方法が記載されている。この方法により、細胞の面積や周囲長を算出することができる。
国際公開第２０１３／１４６８４３号 特開２０１３−５７６３１号公報
しかし、特許文献２に記載の方法は、関心領域として染色した細胞膜の同定ができるのみであり、例えば、同一標本において別の構造（例えば、細胞核等）を関心領域として同定して評価を行う場合には、画像の取得を別途行う必要があるため、手間がかかるという問題点があった。
本発明の主な目的は、従来の病理診断の工程を増やすことなく、細胞の様々な構造を関心領域として自動的に抽出可能な画像処理装置及び画像処理プログラムを提供することにある。
本発明に係る上記課題は、以下の手段により解決される。
１．蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
を備え、
前記関心領域決定手段は、少なくとも前記第二の構造の特徴量に基づいて候補領域を作成し、前記蛍光輝点の分布に基づいて前記候補領域を統合又は分割することにより、関心領域を決定することを特徴とする画像処理装置。
２．前記特徴量抽出手段は、前記形態画像の色相、彩度、又は輝度の少なくとも一つを前記第二の構造の特徴量として抽出することを特徴とする、第１項に記載の画像処理装置。
３．前記関心領域決定手段により決定される前記関心領域は、前記蛍光輝点を内部に含むことを特徴とする、第１項又は第２項に記載の画像処理装置。
４．前記関心領域決定手段により決定される前記関心領域は、前記蛍光輝点を内部に含まないことを特徴とする、第１項又は第２項に記載の画像処理装置。
５．前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域と前記候補領域を統合した領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
６．前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を繋ぐ線分により分割された前記候補領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
７．前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域の内側の前記候補領域を統合した領域であって、前記蛍光輝点を内側に含まない領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
８．前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域と前記候補領域が重畳する領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
９．前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
１０．蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
前記関心領域決定手段は、１つの細胞に対応する前記蛍光輝点の近傍を通る又は外側を囲む閉曲線又は多角形を生成して、前記閉曲線又は多角形を前記関心領域として決定することを特徴とする画像処理装置。
１１．前記関心領域決定手段は、前記閉曲線又は多角形を、最小二乗法を用いた楕円フィッティング、スネークス、B-spline関数、または多角形近似、の何れかの手法を用いて生成することを特徴とする請求項１０に記載の画像処理装置。
１２．蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
前記関心領域決定手段は、前記第二の構造に膨張処理を施した膨張領域であって、前記第二の構造に対応する前記蛍光輝点のうち所定の割合が内側に含まれる前記膨張領域を、前記関心領域として決定することを特徴とする画像処理装置。
１３．前記関心領域決定手段は、前記蛍光輝点と、前記蛍光輝点が対応する前記第二の構造との最短距離に基づいて、前記第二の構造に前記膨張処理を施すことを特徴とする請求項１２に記載の画像処理装置。
１４．蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
１つの第二の構造に対応する前記蛍光輝点の数を算出する算出手段を備え、
前記蛍光輝点の数が所定の値よりも多い場合には、
前記関心領域決定手段は、１つの第二の構造に対応する前記蛍光輝点の近傍を通る閉曲線又は多角形を生成して、前記閉曲線又は多角形を前記関心領域として決定し、
前記蛍光輝点の数が前記所定の値以下である場合には、
前記関心領域決定手段は、前記第二の構造に膨張処理を施した膨張領域であって、前記第二の構造に対応する前記蛍光輝点のうち所定の割合が内側に含まれる前記膨張領域を、前記関心領域として決定することを特徴とする画像処理装置。
１５．蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
を備え、
前記関心領域決定手段により決定された複数の前記関心領域が重なっている重畳領域が存在する場合には、
前記重畳領域の近傍の前記蛍光輝点と、前記重畳領域において重なっている複数の前記関心領域の輪郭との位置関係に基づいて、前記重畳領域の近傍の前記蛍光輝点のうち、より多くの蛍光輝点が輪郭の近傍に存在する前記関心領域に前記重畳領域が帰属していると決定する重畳領域帰属決定手段を備えることを特徴とする画像処理装置。
１６．コンピュータを、
蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段、
前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段、
前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段、
前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段、
として機能させ、
前記関心領域決定手段は、少なくとも前記第二の構造の特徴量に基づいて候補領域を作成し、前記蛍光輝点の分布に基づいて前記候補領域を統合又は分割することにより、関心領域を決定することを特徴とする画像処理プログラム。
本発明によれば、従来の病理診断の工程を増やすことなく、細胞の関心領域を自動的に抽出可能な画像処理装置及び画像処理プログラムを提供することができる。
病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 画像解析処理の流れを概略的に示すフローチャートである。 細胞核の抽出工程の流れを概略的に示すフローチャートである。 細胞核がきれいに染色された細胞画像、一つの細胞核がまばらに染色された細胞画像、及び複数の細胞核が隣接して染色された細胞画像における、二値画像、エッジ強度で表した画像、エッジ角度で表した画像、エッジ法線方向で表した画像の一例である。 蛍光輝点の抽出工程の流れを概略的に示すフローチャートである。 第一の画像解析処理における関心領域決定処理の流れを概略的に示すフローチャートである。 細胞核の表面と蛍光輝点との距離の計算を概略的に説明する図である。 蛍光輝点から最短距離の細胞核を概略的に示す図である。 蛍光輝点を細胞核に帰属させた状態を示す図である。 蛍光輝点の分布から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布及び細胞核の形状から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布及び細胞核の形状から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布及び細胞核の形状から細胞領域を決定する方法を概略的に示す図である。 蛍光輝点の分布及び細胞核の形状から細胞領域を決定する方法を概略的に示す図である。 重畳領域の帰属する細胞を決定する方法を概略的に示す図である。 重畳領域の帰属する細胞を決定する方法を概略的に示す図である。 第二の画像解析処理における関心領域決定処理の流れを概略的に示すフローチャートである。 第二の画像解析処理における関心領域決定処理の流れを概略的に示すフローチャートである。 候補領域と凸包領域の例を示す図である。 候補領域と凸包領域の例を示す図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の統合処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 候補領域の分割処理方法を概略的に説明する図である。 細胞の切断位置と形態画像の関係を示す模式図である。 細胞の切断位置と形態画像の関係を示す模式図である。
以下、図面を参照しながら本発明の好ましい形態について説明する。
＜病理診断支援システム１００の構成＞
図１に、病理診断支援システム１００の全体構成例を示す。
病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡（例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等）にカメラを設置したものを顕微鏡画像取得装置１Ａとして用いることができる。
なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２−５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理（図３参照）を実行し、細胞核抽出手段、輝点抽出手段、判別手段、細胞領域決定手段、算出手段、重畳領域帰属決定手段としての機能を実現する。
操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、形態画像と蛍光画像との入力手段として機能する。
記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
＜画像について＞
本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された、細胞の第一の構造に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像、及び細胞の第二の構造の形態を表す形態画像（例えば、明視野画像）を用いて解析を行うようになっている。
第一の構造及び第二の構造は、それぞれ細胞内の任意の特定の構造であり、例えば、細胞膜、細胞質、細胞核、その他任意の細胞小器官である。第一の構造及び第二の構造は、同一でも異なっていても良い。
第一の構造に特異的に発現する特定の生体物質を蛍光輝点で表す蛍光画像は、特定の生体物質と特異的に結合および／または反応する蛍光物質又は蛍光物質内包ナノ粒子を含む蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質を蛍光発光させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。なお、「蛍光物質内包ナノ粒子」とは蛍光物質を内包したナノ粒子であり、詳しくは後述する。
「明視野画像」とは、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
細胞の第二の構造の形態を表す形態画像としては、明視野画像の他に、細胞の第二の構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なＤＡＰＩ染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
通常、病理診断においては、ＨＥ染色試薬を用いた組織切片の染色が一般的に行われることから、ＨＥ染色を施された組織切片を撮影した明視野画像であって、第二の構造として細胞核の形態を表す画像を「形態画像」として用いることが好ましい。
＜蛍光染色試薬や染色方法など＞
以下、細胞の第一の構造に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
（１）蛍光物質
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素および量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Ａｌｅｘａ Ｆｌｕｏｒ（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Ｔｅｘａｓ Ｒｅｄ系色素分子、シアニン系色素分子などを挙げることができる。
具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン ６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、およびＡｌｅｘａ Ｆｌｕｏｒ ３５０、Ａｌｅｘａ Ｆｌｕｏｒ ４０５、Ａｌｅｘａ Ｆｌｕｏｒ ４３０、Ａｌｅｘａ Ｆｌｕｏｒ ４８８、Ａｌｅｘａ Ｆｌｕｏｒ ５００、Ａｌｅｘａ Ｆｌｕｏｒ ５１４、Ａｌｅｘａ Ｆｌｕｏｒ ５３２、Ａｌｅｘａ Ｆｌｕｏｒ ５４６、Ａｌｅｘａ Ｆｌｕｏｒ ５５５、Ａｌｅｘａ Ｆｌｕｏｒ ５６８、Ａｌｅｘａ Ｆｌｕｏｒ ５９４、Ａｌｅｘａ Ｆｌｕｏｒ ６１０、Ａｌｅｘａ Ｆｌｕｏｒ ６３３、Ａｌｅｘａ Ｆｌｕｏｒ ６３５、Ａｌｅｘａ Ｆｌｕｏｒ ６４７、Ａｌｅｘａ Ｆｌｕｏｒ ６６０、Ａｌｅｘａ Ｆｌｕｏｒ ６８０、Ａｌｅｘａ Ｆｌｕｏｒ ７００、Ａｌｅｘａ Ｆｌｕｏｒ ７５０、ＢＯＤＩＰＹ ＦＬ、ＢＯＤＩＰＹ ＴＭＲ、ＢＯＤＩＰＹ ４９３／５０３、ＢＯＤＩＰＹ ５３０／５５０、ＢＯＤＩＰＹ ５５８／５６８、ＢＯＤＩＰＹ ５６４／５７０、ＢＯＤＩＰＹ ５７６／５８９、ＢＯＤＩＰＹ ５８１／５９１、ＢＯＤＩＰＹ ６３０／６５０、ＢＯＤＩＰＹ ６５０／６６５（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Ｃｙ５、Ｃｙ５．５、Ｃｙ７などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、またはIV族元素を成分として含有する量子ドット（それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。
たとえば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳなどを用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。たとえば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）などが挙げられる。
（２）蛍光物質内包ナノ粒子
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア ８巻 ２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー ３３巻 ５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、３０〜８００ｎｍ程度のものを用いることができる。また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、１０００個の粒子の粒径の算術平均を平均粒径とする。変動係数も、１０００個の粒子の粒径分布から算出した値とする。
（３）生体物質認識部位と蛍光物質内包ナノ粒子との結合
本実施形態では、特定の生体物質と特異的に結合および／または反応する蛍光染色試薬として、蛍光物質内包ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合および／または反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、および前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗ＨＥＲ２抗体および抗ＥＲ抗体を蛍光物質内包ナノ粒子に結合させたもの（蛍光染色試薬）は、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着および化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子との間にはこれらを連結する有機分子があってもよい。たとえば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Ｔｈｅｒｍｏ Ｓｃｉｅｎｔｉｆｉｃ社製ＳＭ（ＰＥＧ）１２を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（たとえば、Ｇｅｌｅｓｔ社製ＰＥＧ−ｓｉｌａｎｅ ｎｏ．ＳＩＭ６４９２．７）などが挙げられる。
シランカップリング剤を用いる場合、２種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離またはろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（１−Ｅｔｈｙｌ−３−［３−Ｄｉｍｅｔｈｙｌａｍｉｎｏｐｒｏｐｙｌ］ｃａｒｂｏｄｉｉｍｉｄｅ Ｈｙｄｒｏｃｈｌｏｒｉｄｅ：Ｐｉｅｒｃｅ（登録商標）社製）のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつｓｕｌｆｏ−ＳＭＣＣ（Ｓｕｌｆｏｓｕｃｃｉｎｉｍｉｄｙｌ ４［Ｎ−ｍａｌｅｉｍｉｄｏｍｅｔｈｙｌ］−ｃｙｃｌｏｈｅｘａｎｅ−１−ｃａｒｂｏｘｙｌａｔｅ：Ｐｉｅｒｃｅ社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降ＥＤＣまたはｓｕｌｆｏ−ＳＭＣＣを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
生体物質認識部位の一例として、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99, MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン（高分子量）、パンケラチン、パンケラチン、サイトケラチン 5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン 8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc抗原、HBs抗原、ヘパトサイト特異抗原、HER2、HSV-I、HSV-II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパL鎖、Ki67、ラムダL鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27(Kip1)、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン（D2-40）、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70などの特定抗原を認識する抗体が挙げられる。
なお、蛍光物質又は蛍光物質内包ナノ粒子は、上記のように生体物質認識部位と予め直接結合して用いる他、免疫染色における公知の間接法のように、染色工程において間接的に生体物質認識部位に結合されても良い。具体的には、例えば、組織標本に対して特定の生体物質を抗原とするビオチン化一次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を結合させた染色試薬をさらに反応させて、ストレプトアビジンとビオチンが特異的に結合して複合体を形成することを利用して染色しても良い。また、例えば、組織標本に対して、特定タンパクを抗原とする一次抗体を反応させ、さらに当該一次抗体を抗原とするビオチン化二次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を反応させて染色しても良い。
（４）染色方法
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
（４．１）脱パラフィン工程
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
（４．２）賦活化処理
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍクエン酸緩衝液（ｐＨ６．０）、１ｍＭＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。
（４．３）蛍光染色試薬を用いた染色
蛍光染色試薬のＰＢＳ分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、ＢＳＡ含有ＰＢＳなど、公知のブロッキング剤を滴下することが好ましい。
次いで、ＰＢＳを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、形態画像を得るためにＨＥ染色試薬を用いるＨＥ染色等を実施する場合は、カバーガラスによる封入前に行う。
（５）蛍光画像の取得
染色した組織切片に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長および蛍光波長に対応した励起光源と蛍光検出用光学フィルターとを選択する。
蛍光画像の視野は、３ｍｍ2以上であることが好ましく、３０ｍｍ2以上であることがさらに好ましく、３００ｍｍ2以上であることがさらに好ましい。
＜病理診断支援システム１００の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１００において、上記説明した第一の構造における特定の生体物質の発現を蛍光輝点で表す蛍光画像、および第二の構造の形態を表す形態画像を取得して解析を行う動作について説明する。
≪画像の取得方法≫
本実施形態では、乳癌組織の組織切片を観察対象標本とする場合の画像取得方法を例にとって説明する。本実施形態の第一の構造に発現する特定の生体物質は細胞膜に発現するＨＥＲ２タンパクであり、抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子を用いた蛍光染色試薬により組織切片を染色する。第二の構造の形態を示す形態画像としては、ＨＥ染色により青紫色に染色された細胞核を撮影した明視野画像を取得する。関心領域としては、細胞膜に囲まれた細胞領域を抽出する。
まず、操作者は、ＨＥ染色試薬と、蛍光染色試薬（抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子）との、２種の染色試薬を用いて同一の組織切片を染色する。
その後、顕微鏡画像取得装置１Ａを用いて、（ａ１）〜（ａ５）の手順により明視野画像および蛍光画像を取得する。
（ａ１）操作者は、ＨＥ染色試薬と蛍光染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像（形態画像）の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野および撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
なお、画像の取得方法は上記に限定されるものではなく、形態画像の種類に応じて適宜変更される。例えば、細胞膜を蛍光物質で染色した形態画像として蛍光画像を用いる場合には、上記（ａ２）の手順の後、ユニットを蛍光ユニットに変更し、（ａ３）にて蛍光ユニットを用いて形態画像となる蛍光画像を取得する。次いで、（ａ４）にて励起光及びフィルターを変更した後、（ａ５）にて特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得する。
また、上記の画像の取得方法によれば、組織切片のほぼ同一範囲を撮影した蛍光画像及び形態画像が得られるが、蛍光画像及び形態画像は、同一範囲を撮影した画像に限定されず、撮影範囲の少なくとも一部が重なっていればよい。具体的には、例えば、組織切片内の狭い領域を撮影した蛍光画像と、その蛍光画像を撮影した領域を包含する広い範囲を撮影した形態画像を取得して、公知の方法により形態画像と蛍光画像の位置合わせを行った後、後述する画像解析処理を行っても良い。
その後、画像処理装置２Ａを用いて、明視野画像および蛍光画像に基づき画像解析処理を実行する。
図３に、画像処理装置２Ａにおける画像解析処理のフローチャートを示す。
図３に示す画像解析処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって下記の処理を実行する。
≪第一の画像解析処理≫
まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの明視野画像（形態画像）が入力されると（ステップＳ１０）、明視野画像から第二の構造の特徴量を抽出する（ステップＳ２０）。
ステップＳ２０では、図４に示されるとおり、明視野画像をモノクロ画像に変換し（ステップＳ２０１）、モノクロ画像に対し予め定められた閾値で閾値処理を施して各画素の値を二値化し（ステップＳ２０２）、二値画像にノイズ処理を実行する（ステップＳ２０３）。
ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
ステップＳ２０１〜Ｓ２０３により、明視野画像から第二の構造（本実施形態では、細胞核）の領域である参照領域が抽出された画像（参照領域画像）を生成することができる。
次いで、抽出された参照領域に基づいて、明視野画像から第二の構造の特徴量を抽出する（ステップＳ２０４：特徴量抽出工程）。第二の構造の特徴量とは、例えば、明視野画像から抽出された参照領域のサイズ、形状、及びエッジ情報、明視野画像における参照領域内外の各画素の色（例えば、色相、彩度、輝度）、などに関する情報であり、細胞核内部の構造（核小体など）の存在の有無も含まれる。
図５は、参照領域（細胞核）がきれいに染色された明視野画像３０、１つの細胞核がまばらに染色された明視野画像４０、および隣接した複数の細胞核が染色された明視野画像５０から、ステップＳ２０３で生成された二値画像（参照領域画像）及び、参照領域のエッジ情報の例を示す。
エッジ情報には、例えば、国際公開２０１４／０５８７２１に記載の方法によって算出されるエッジ強度、エッジ角度、エッジ法線方向、エッジ曲率が含まれる。
一方、図３に示されるとおり、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ３０）、制御部２１は、蛍光画像から蛍光輝点を抽出する（ステップＳ４０：輝点抽出工程）。
ステップＳ３０では、図６に示されるとおり、蛍光画像から蛍光輝点の波長に応じた色成分を抽出し（ステップＳ４０１）、色成分抽出後の蛍光画像に閾値処理を施して蛍光輝点が抽出された二値画像（蛍光輝点画像）を生成する（ステップＳ４０２）。
ステップＳ４０１では、たとえば、蛍光粒子の発光波長が５５０ｎｍである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
ステップＳ４０１〜Ｓ４０２により、蛍光輝点が抽出された画像（蛍光輝点画像）を生成することができる。
なお、ステップＳ４０２の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップＳ２０及びステップＳ４０の処理の後、参照領域（細胞核）画像と蛍光輝点画像との加算処理を実行して、参照領域画像と蛍光輝点画像とを重ね合わせる（ステップＳ５０）。
その後、制御部２１は、第二の構造の特徴量及び蛍光輝点に基づいて、関心領域を決定する（ステップＳ６０：関心領域決定工程）。図７は、第一の画像解析処理におけるステップＳ６０の処理の詳細を示すフローチャートである。加算処理後の重ね合わせ画像上で、参照領域（本実施形態では、細胞核）と蛍光輝点との距離を計算し（ステップＳ６０１）、その距離に基づいて、同じ細胞に帰属する蛍光輝点と参照領域を対応付ける（ステップＳ６０２）。
詳しくは、ステップＳ６０１では、例えば図８Ａに示されるとおり、蛍光輝点３０から細胞核４０、４２、４４の表面までの距離を計算する。かかる距離の計算は、細胞核４０、４２、４４の輪郭上のすべての画素に対し行う。
ステップＳ６０では、図８Ｂに示されるとおり、ステップＳ５０で計算した距離のうち、蛍光輝点３０から細胞核４０、４２、４４の表面までの最短距離を算出し、蛍光輝点３０から最短距離の細胞核４２を特定して、蛍光輝点３０が細胞核４２と同じ細胞に帰属すると対応付ける。なお、細胞核までの最短距離が所定の値よりも大きい蛍光輝点３０はノイズと判断して、ステップＳ６０以降の処理には用いないこととしても良い。
図９は、同じ細胞に帰属する蛍光輝点と参照領域を対応付けた状態の一例を示す図であり、参照領域の輪郭と、各参照領域に対応付けられた蛍光輝点を繋ぐ線分が表示されている。
次いで、ステップＳ６０３では、関心領域を決定する。
以下、１つの参照領域（本実施形態では、細胞核）に対応する蛍光輝点の位置情報に基づいて、関心領域（本実施形態では、細胞領域）を決定する方法の具体例（１）〜（６）を、図を用いて説明する。以下の具体例では、１つの細胞核に対応する蛍光輝点の数が多いほど、実際の細胞に近い形状の細胞領域を取得可能である。
（１）ＴＯＰＨＡＴ処理を用いた細胞領域の決定
例えば、まず、図１０Ａに示されるような１つの細胞核に対応付けられる蛍光輝点を、図１０Ｂのように直線で繋いで、蛍光輝点を頂点とする多角形３１を作成する。直線で繋ぐ蛍光輝点の組み合わせは任意であるが、全ての蛍光輝点を内側に含む多角形３１が作成されることが好ましい。次いで、多角形３１にスムージング処理を施して、細胞領域５０を決定する。
なお、１つの細胞核に対応する蛍光輝点の数が多いほど、実際の細胞領域と作成した多角形３１の誤差が小さくなるため、１つの細胞核に対応する蛍光輝点の数が所定の値以上である場合には、スムージング処理を行わずに、多角形３１を細胞領域５０としても良い。
スムージング処理の方法は任意であるが、例えば、図１０Ｂの多角形３１にオープニング処理を施した図１０Ｃの領域３２を、多角形３１から差し引くＴＯＰＨＡＴ処理を行って、多角形３１の角の部分のみを抽出し、抽出された多角形３１の角の部分の画素数Ｘを計算する。次いで、オープニング処理後の領域３２に対して膨張処理を施して、膨張処理後の面積が、膨張処理前の面積よりも画素数Ｘに相当する分だけ大きくなるように作成した図１０Ｄを細胞領域５０として決定する。
（２）多角形近似を用いた細胞領域の決定
また、例えば、図１０Ｂのように１つの細胞核に対応する蛍光輝点を頂点とする多角形を作成した後、この多角形に内接又は外接する所定の図形（例えば、円、楕円、等辺多角形など）を細胞領域５０として決定しても良い。
（３）最小二乗法を用いた細胞領域の決定
また、例えば図１１に示されるように、１つの細胞核に対応する蛍光輝点３０の座標を、最小二乗法を用いて楕円の公式で近似して、蛍光輝点３０に近似する楕円５１を細胞領域としても良い。
（４）ＳＮＡＫＥＳを用いた細胞領域の決定
また、１つの細胞核に対応する蛍光輝点に対して、公知の動的輪郭抽出モデルであるＳＮＡＫＥＳを適用して抽出した輪郭を、細胞領域としても良い。
（５）ｂ−ｓｐｌｉｎｅを用いた細胞領域の決定
また、１つの細胞核に対応する蛍光輝点の分布から、公知の手法によりｂ−ｓｐｌｉｎｅ曲線を作成し、細胞領域としても良い。
（６）細胞核の形状を利用した細胞領域の決定
また、１つの細胞核に対応する蛍光輝点の位置情報に加えて、蛍光輝点が対応する細胞核の形状を利用して、例えば細胞核の領域に膨張処理を施して、細胞領域としても良い。
具体的には、例えば、図１２に示される細胞核４０を拡大し、細胞核４０に対応する蛍光輝点３０を全て内側に含む、細胞核４０と相似形状な図形５２を細胞領域としても良い。
また、蛍光輝点から細胞核までの距離に基づいて、細胞核の膨張量を補正しても良い。例えば、図１３Ａに示されるような、細胞核４０及び細胞核４０に対応する４つの蛍光輝点３０ａ〜３０ｄの画像において、蛍光輝点３０ａ〜３０ｄに対して、細胞核４０上の最も近い点（近接点）を抽出し、蛍光輝点３０ａ〜３０ｄから近接点までの距離（膨張量）を算出する。例えば、図１３Ａに示される蛍光輝点３０ａに対して抽出される近接点は、近接点４０ａであり、蛍光輝点３０ａと近接点４０ａの距離（図１３Ａの点線の長さ）が、膨張量ｐである。
そして、例えば、細胞核４０の輪郭上の任意の点を原点ｘと定め、原点ｘから各蛍光輝点３０ａ〜３０ｄの近接点まで、輪郭線を時計回りに辿った場合の長さを横軸とし、膨張量を縦軸とする座標上においては、蛍光輝点３０ａ〜３０ｄをは図１３Ｂのように表示される。次いで、図１３Ｂの点線のように、隣接する蛍光輝点３０ａ〜３０ｄの間を補完し、通常の直交座標に再変換することにより、実際に観察された蛍光輝点の位置に基づいて、細胞核４０の輪郭上の各点からの膨張量を決めることができる。こうして作成した膨張領域を細胞領域としても良い。
また、図１３Ａに示される細胞核４０及び細胞核４０に対応する４つの蛍光輝点３０ａ〜３０ｄの画像を、例えば図１３Ｃに示されるように、細胞核４０の重心を原点とする極座標上に表示して、図１３Ｃの点線のように、隣接する蛍光輝点３０ａ〜３０ｄの間を補完し、通常の直交座標系に再変換することにより、蛍光輝点３０ａ〜３０ｄの位置と細胞核４０の重心位置に基づく領域を細胞領域としても良い。
また、図１３Ｂ又は図１３Ｃの点線に対して任意の方法でスムージング処理を施した曲線を作成し、通常の直交座標系に再変換して細胞領域としても良い。
以上説明したステップＳ６０３における細胞領域の決定方法（１）〜（６）は、任意の方法を選択して用いることができる。１つの細胞核に対応する蛍光輝点数が多い場合には、細胞核の形状を用いない（１）〜（５）の方法は、（６）の方法に比して、画像処理が比較的単純であり、かつ、実際の細胞領域との誤差が少ないため好ましい。また、１つの細胞核に対応する蛍光輝点数が少ない場合には、（１）〜（５）の方法では、細胞領域を決定するための手がかりが少ないため、細胞核の形状の情報を用いる（５）と比較して、実際の細胞領域との誤差が大きくなりやすい。
そこで、ステップＳ６０３においては、まず、細胞核に対応する蛍光輝点の数を算出して、所定の値よりも大きい場合には（１）〜（５）、所定の値よりも小さい場合には（６）の方法を用いて細胞領域を作成することが好ましい。
また、ステップＳ６０３においては、（１）〜（６）のうち、２つ以上の方法を用いて細胞領域の候補領域を作成し、それぞれの方法によって作成された候補領域の特徴量（例えば、面積、色、長径と短径の比、など）を算出し、観察対象の細胞と同一種類の標準的な細胞の特徴量と比較することにより、最も細胞領域らしい候補領域を細胞領域に決定してもよい。
ステップＳ６０２で対応づけた全ての蛍光輝点と細胞核に対してステップＳ６０３の処理を終了した後、図３の処理に戻り、複数の細胞領域が重なっている重畳領域が存在する場合には、重なっている細胞のいずれか１つに重畳領域を帰属させるための後処理を行う（ステップＳ７０）。
後処理の方法は任意であるが、例えば、細胞膜上の生体物質の発現を表す蛍光輝点は、組織切片においては細胞の輪郭付近に多く観察されることに基づいて重畳領域を何れかの細胞に帰属させる。
具体的には、例えば、図１４Ａ及び図１４Ｂの模式図に示されるように、細胞領域５０ａ、５０ｂが重なった重畳領域６０の近傍に存在する蛍光輝点３０ａ〜３０ｄのうち、細胞領域５０ａの輪郭線に近い蛍光輝点は蛍光輝点３０ａのみであり、細胞領域５０ｂの輪郭に近い蛍光輝点は蛍光輝点３０ｂ〜３０ｄの３つ存在することから、図１４Ｂのように、重畳領域６０を囲む細胞領域５０ａ、５０ｂの輪郭線のうち、多くの蛍光輝点が輪郭近傍に存在する細胞領域５０ｂの輪郭線を残す。
また、例えば、蛍光輝点３０ａ〜３０ｄから細胞領域５０ａ、５０ｂの輪郭までの距離を細胞領域毎に平均して、その平均値が小さい細胞領域の輪郭線を残すこととしてもよい。
第一の画像解析処理方法によれば、参照領域に対応づけられた蛍光輝点の分布に基づいて関心領域を抽出するので、関心領域が形態画像において直接観察できない場合（すなわち、参照領域と関心領域が異なる場合）であっても自動的に関心領域を抽出することができる。
以上の第一の画像解析処理の実施形態では、第一の構造が細胞膜、第二の構造が細胞核、関心領域が細胞領域である場合を例にとって説明したが、これに限定されない。第一の構造、第二の構造、及び関心領域は、それぞれ細胞の任意の構造を選択することができる。
例えば、第一の構造が細胞質である場合のように、第一の構造の領域の内側に蛍光輝点が分散している場合には、ステップＳ６０２にて各参照領域に対応づけられた蛍光輝点の凸包である多角形を作成し、その頂点に位置する蛍光輝点に対してステップＳ６０３の細胞領域の作成方法（１）〜（６）を実施して第一の構造の領域を抽出することができる。
また、第一の画像解析処理方法は、上記実施形態で説明したように、関心領域が第一の構造の領域と同じである場合に容易であり好ましいが、関心領域が第一の構造の領域と異なっていても良い。例えば、ステップＳ２０で抽出した参照領域及びステップＳ６０３で抽出した第一の構造の領域の形状に基づいて、関心領域を推定して作成してもよい。推定の方法は任意であるが、例えば、画像処理装置２Ａが以下に詳述する第二の画像解析処理のように学習手段を備えて、第一の構造、第二の構造、及び関心領域の特徴を予め学習しておくことにより推定することができる。
≪第二の画像解析処理≫
画像処理装置２Ａは、関心領域における蛍光輝点及び形態画像の特徴を学習する学習手段を備えても良い。学習は、公知の機械学習（例えば、サポートベクトルマシン：ＳＶＭ）など、任意の方法を用いることができる。
以下、第二の画像解析処理の実施形態を、第一の画像解析処理と同様に、第一の構造が細胞膜、第二の構造がＨＥ染色を施された細胞核、関心領域が細胞領域であり、形態画像が明視野画像である場合を例にとって説明する。
第二の画像解析処理は、教師画像を用いて学習パラメータを算出する学習工程と、学習パラメータを用いた画像解析処理の工程を備える。
教師画像とは、診断対象とする組織標本と同様の染色処理を施された組織標本を撮影した形態画像及び蛍光画像であって、関心領域が既知の画像である。これらの教師画像は、撮影する組織標本の種類（例えば、細胞、組織、動物種、など）及び作製方法、画像の取得条件などが、診断に用いる形態画像及び蛍光画像と同一であることが好ましい。
（学習パラメータを算出する学習工程）
学習の工程において、制御部２１は、図３のフローチャートに示される第一の画像解析処理のステップＳ１０〜Ｓ２０と同様に、入力された教師画像となる形態画像から第二の構造の特徴量を抽出する。
そして、図３に示される第一の画像解析処理のステップＳ３０〜Ｓ４０と同様に、入力された教師画像となる蛍光画像から蛍光輝点画像を生成して、蛍光輝点の分布に関する特徴量（例えば、蛍光輝点の位置、数など）を抽出する。
学習工程では、教師画像の既知の関心領域を入力する。さらに、画像内のランダムな位置に、入力された関心領域の平均面積と同一面積の円形領域を作成して「比較領域」とする。
次いで、制御部２１は、図３に示される第一の画像解析処理のステップＳ５０と同様に、形態画像及び蛍光輝点画像を重ね合わせ関心領域及び比較領域における形態画像及び蛍光画像の各特徴量を抽出する。例えば、制御部２１は、関心領域及び比較領域の輝度値、彩度値、エッジ強度を抽出する。本実施形態の形態画像の関心領域（細胞領域）の内側には青紫色に染色された細胞核が含まれるため、比較領域よりも輝度が低く、彩度が高く、エッジ強度が高い。また、制御部２１は、蛍光輝点と関心領域及び比較領域の輪郭の最短距離を抽出する。蛍光輝点画像の関心領域の輪郭付近には、蛍光輝点が多く分布している。
制御部２１は、抽出した各特徴量から、「学習パラメータ」を作成して、記憶部２５に記憶させる。
学習パラメータは、特徴量の重要度に応じて重みづけを行うためのパラメータである。関心領域及び比較領域で特に大きく分布が異なる特徴量は、関心領域であるか否かの判断材料として特に重要な手がかりとなることから、重みを大きくするように設定することが好ましい。例えば、関心領域及び比較領域の各特徴量の分布を統計学的に検定して有意確率（ｐ値）を算出し、ｐ値が小さい特徴量に対しては、特に強く重みづけをするようなパラメータを作成する。
（学習パラメータを用いた画像解析処理工程）
学習手段を備えた画像処理装置２Ａを用いた第二の画像解析処理では、まず、図３のフローチャートに示されるステップＳ１０〜Ｓ５０の工程を、上記第一の画像解析処理と同様に行う。ステップＳ２０及びＳ４０では、学習工程でパラメータを作成した特徴量（本実施形態では、形態画像の輝度、彩度、及びエッジ強度と、蛍光輝点の分布）を抽出する。
図１５のフローチャートは、第二の画像解析処理におけるステップＳ６０の詳細を示す。第二の画像解析処理のステップＳ６１１〜Ｓ６１３では、第一の画像解析処理のステップＳ６０１〜Ｓ６０３と同様の方法により、関心領域を作成する。
次いで、ステップＳ６１３で作成された関心領域における特徴量（輝度、彩度、エッジ強度、及び輝点の分布）をスコア化する（ステップＳ６１４）。スコア化の方法は任意であるが、例えば、ステップＳ６１３で作成された関心領域の輝度値と、教師画像の全関心領域の輝度値の平均値の差を算出し、差が小さい（例えば、差が教師画像内の全関心領域の輝度値の分散以下である）場合には、ステップＳ６１３で作成された関心領域の輝度のスコアを＋１０とし、差が大きくなるにつれて、輝度のスコアを小さな値とする。
全ての特徴量をスコア化した後、記憶部２５から学習パラメータを読み出し、学習パラメータを用いて各特徴のスコアを重みづけして、総和を算出する。制御部２１は、学習パラメータを用いて重みづけしたスコアの総和から、ステップＳ６１３で作成された関心領域が正しいか否かを判断する（ステップＳ６１５）。
学習パラメータを用いて重みづけしたスコアの総和が所定値以上である場合には、関心領域が正しいと判断して（ステップＳ６１５：Ｙｅｓ）、ステップＳ７０の工程に移行する。
学習パラメータを用いて重みづけしたスコアの総和が所定値未満であった場合には、関心領域が正しくないと判断して（ステップＳ６１５：Ｎｏ）、ステップＳ６１３に戻り、別の関心領域を作成する。
ステップＳ７０では、第一の画像解析処理のステップＳ７０と同様の後処理を行って、画像解析処理を終了する。
第二の画像解析処理で用いる特徴量及びパラメータは、第一の構造、第二の構造、及び関心領域の組み合わせによって適宜変更する。
例えば、第一の構造が細胞質、関心領域が細胞又は細胞核である場合のように、蛍光輝点の少なくとも一部が関心領域の内側に含まれる場合には、蛍光輝点を内部に含むことを、関心領域であることの必要条件とする。
また、例えば、第一の構造が細胞質または細胞膜、関心領域が細胞核であって、関心領域の内側に蛍光輝点が存在しない場合には、所定の距離の範囲内で互いに近接する蛍光輝点又は一つの細胞に帰属する蛍光輝点に囲まれた領域の内側であって、かつ、蛍光輝点を内部に含まないことを、関心領域であることの必要条件とする。
上記第二の画像解析処理の実施形態では、第一の画像解析処理のステップＳ６０１〜６０３と同様の方法により関心領域を作成することとしたが、関心領域の作成方法はこれに限定されない。例えば、ステップＳ６１１〜Ｓ６１３で形態画像の特徴量のみに基づいて候補領域を作成した後、ステップＳ６１４以降の画像処理で蛍光輝点に基づいて補正の要否を判別してもよい。
≪第三の画像解析処理≫
画像処理装置２Ａは、関心領域を蛍光輝点に基づいて分割又は統合して補正する手段を備えても良い。
以下、分割又は統合手段を備えた画像処理装置２Ａを用いた第三の画像解析処理を、第一の構造に発現する特定の生体物質が細胞核に発現するＫｉ６７タンパク、第二の構造がＨＥ染色を施された細胞核、関心領域が細胞核の領域である場合について説明する。
第三の画像解析処理では、まず、図３のフローチャートに示されるステップＳ１０〜Ｓ５０の工程を、上記第一の画像解析処理と同様に行う。
図１６のフローチャートは、第三の画像解析処理におけるステップＳ６０の詳細を示す。第三の画像解析処理のステップＳ６２１〜Ｓ６２３では、第一の画像解析処理のステップＳ６０１〜Ｓ６０３と同様の方法により、関心領域（第三の画像解析処理では、関心領域の「候補領域」とする）を作成する。
次いで、候補領域の形状に基づき、候補領域を補正するかどうかを判定する（ステップＳ６２４）。
ステップＳ６２４では、たとえば、候補領域の面積と候補領域の凸包領域の面積の比（凸包面積比）に基づいて判定を行う。細胞核や細胞などは基本的に円形度が高いことから、凸包面積比は１に近いと考えられる。従って、図１７Ａのように候補領域（白色の領域）とその凸包領域（点線）がほぼ一致しており、凸包面積比が１に近い場合には、候補領域が関心領域らしいため補正は不要と判定して（ステップＳ６２４：Ｎｏ）、候補領域を関心領域に決定する。一方、図１７Ｂのように候補領域と凸包領域の差が大きく、凸包面積比が１付近でない場合には、候補領域が関心領域らしくないことから、補正が必要であると判定して（ステップＳ６２４：Ｙｅｓ）、ステップＳ６２５の処理に移行する。
ステップＳ６２４では、凸包面積比の他に、例えば、候補領域の面積に基づいて補正の要否を判定しても良い。
ステップＳ６２５では、ステップＳ６２４で補正が必要と判定された候補領域に対して、どのような補正を行うかを判別する。
ステップＳ６２５において、制御部２１は、図１８Ａに示される候補領域８２ａの周辺の一定範囲の領域８０を抜き出し、領域８０において複数の小さな候補領域８２ａ〜８２ｂが存在するかどうかを判断し、それが存在すると判断した場合には、領域８０における候補領域８２ａ〜８２ｂの面積、密集度を算出する。
その後、
・候補領域８２ａ〜８２ｂの面積（総面積）が一定の閾値未満であるか（条件１−１）
・候補領域８２ａ〜８２ｂの密集度が一定の閾値を超えるか（条件１−２）
を判断し、条件１−１、１−２を満たすときは、候補領域８２ａ〜８２ｂの統合が必要であると判断して（ステップＳ６２５：統合）ステップＳ６２６に移行する。
ステップＳ６２６への移行は、条件１−１、１−２の両方を満たすときになされてもよいし、いずれか一方を満たすときになされてもよい。
他方、たとえば、図１９Ａに示すとおり、候補領域９２の周囲の一定範囲の領域９０を抜き出し、領域９０において１つの大きな細胞核の候補領域９２が存在するかどうかを判断し、それが存在すると判断した場合には、領域９０における細胞核の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出する。
その後、
・候補領域９２の面積が一定の閾値を超えるか（条件２−１）
・候補領域９２の円形度が一定の閾値未満であるか（条件２−２）
・候補領域９２に凹点が存在するか（条件２−３）
・候補領域９２に複数の核小体が存在するか（条件２−４）
を判断し、条件２−１〜２−４を満たすときは、候補領域９２の分割が必要であると判断して（ステップＳ６２５：分割）ステップＳ６２８に移行する。
ステップＳ６２８への移行は、条件２−１〜２−４のすべてを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
ステップＳ６２６では、候補領域の領域情報とエッジ情報とに基づき、真に、複数の小さな細胞核の候補領域を統合するかどうかを判定する（ステップＳ６２６）。
ステップＳ６２６では、図１８Ａに示すような領域８０の候補領域８２ａ〜８２ｂの面積、円形度を算出し、候補領域エッジ情報に基づき、領域８０内の候補領域８２ａ〜８２ｃのエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域８２ａ〜８２ｂの面積（総面積）が一定の閾値未満であるか（条件３−１Ｑ）
・候補領域８２ａ〜８２ｂの円形度が一定の閾値未満であるか（条件３−２Ｑ）
・エッジ法線方向に連続性があるか（条件３−３Ｑ）
・エッジ法線方向の角度合計値が０°から離れているか（条件３−４Ｑ）
・候補領域８２ａ〜８２ｂのエッジ曲率にバラツキがあるか（条件３−５Ｑ）
を判断し、条件３−１Ｑ〜３−５Ｑを満たすときは、真に、候補領域８２の統合が必要であると判断して（ステップＳ６２６：Ｙｅｓ）ステップＳ６２７に移行する。
ステップＳ６２７への移行は、条件３−１Ｑ〜３−５Ｑのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
条件３−１Ｑに関しては、候補領域８２ａ〜８２ｂの面積（総面積）が小さく一定の閾値未満である場合、１つの関心領域のうち一部しか検出されておらず、候補領域８２ａ〜８２ｂを統合すべきと考えられる。
条件３−２Ｑに関しては、細胞核や細胞などの関心領域は基本的に円形度が高いが、候補領域８２ａ〜８２ｂの円形度が低く一定の閾値未満である場合、１つの関心領域のうち一部しか検出されておらず、候補領域８２ａ〜８２ｂを統合すべきと考えられる。
条件３−３Ｑに関しては、候補領域８２ａ〜８２ｂの外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性があるかどうかを判断し、連続性があると判断したときは、その外側輪郭線で囲まれた候補領域８２ａ〜８２ｂを統合すべきと考えられる。
条件３−４Ｑに関しては、候補領域８２ａ〜８２ｂの外側輪郭線を結び、かつ、フィルターの回転角度を０〜３６０°から−１８０°〜０°〜＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、１つの関心領域のうち一部しか検出されておらず、候補領域８２ａ〜８２ｂを統合すべきと考えられる。
条件３−５Ｑに関しては、候補領域８２ａ〜８２ｂのエッジ曲率にバラツキがある場合、１つの関心領域のうち一部しか検出されておらず、候補領域８２ａ〜８２ｂを統合すべきと考えられる。
ステップＳ６２７では、図１８Ｂに示すような蛍光画像から候補領域８２ａ、８２ｂの近傍に存在する、互いに近接する蛍光輝点（好ましくは、１つの細胞核に対応づけられた蛍光輝点）を抽出して、これらの蛍光輝点を囲む領域８３を作成する（図１８Ｃ）。そして、蛍光輝点を囲む領域８３と、候補領域８２ａ、８２ｂを統合して（図１８Ｄ）、統合後の候補領域８４を作成する（図１８Ｅ）。
その後、統合後の候補領域８４に対し、条件３−１Ｑ〜３−５Ｑと同様の基準を適用し、
・統合後の候補領域８４の面積（総面積）が一定の閾値以上である（条件３−１Ａ）
・統合後の候補領域８４の円形度が一定の閾値以上である（条件３−２Ａ）
・エッジ法線方向に連続性がある（条件３−３Ａ）
・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件３−４Ａ）
・統合後の候補領域８４のエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件３−５Ａ）
かどうかを判別し、条件３−１Ａ〜３−５Ａを満たすときは、統合後の候補領域８４を関心領域に決定する。
関心領域の決定は、条件３−１Ａ〜３−５Ａのすべてを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
他方、ステップＳ６２８では、候補領域の領域情報とエッジ情報とに基づき、真に、１つの大きな細胞核の候補領域を分割するかどうかを判定する（ステップＳ６２８）。
ステップＳ６２８では、図１９Ａに示すような領域９０の候補領域９２の面積、円形度、凹点の有無、複数の核小体の有無を算出または検出し、候補領域のエッジ情報に基づき、領域９０の候補領域９２のエッジ法線方向の連続性、エッジ法線方向の角度合計値、エッジ曲率を算出または検出する。
その後、
・候補領域９２の面積が一定の閾値を超えているか（条件４−１Ｑ）
・候補領域９２の円形度が一定の閾値未満であるか（条件４−２Ｑ）
・候補領域９２に凹点が存在するか（条件４−３Ｑ）
・候補領域９２に複数の核小体が存在するか（条件４−４Ｑ）
・エッジ法線方向に連続性がないか（条件４−５Ｑ）
・エッジ法線方向の角度合計値が０°から離れているか（条件４−６Ｑ）
・候補領域９２のエッジ曲率にバラツキがあるか（条件４−７Ｑ）
を判断し、条件４−１Ｑ〜４−７Ｑを満たすときは、真に、候補領域９２の分割が必要であると判断して（ステップＳ６２８：Ｙｅｓ）ステップＳ６２９に移行する。
ステップＳ６２９への移行は、条件４−１Ｑ〜４−７Ｑのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
条件４−１Ｑに関しては、候補領域９２の面積が大きく一定の閾値を超えている場合、複数の関心領域が検出されており、候補領域９２を分割すべきと考えられる。
条件４−２Ｑに関しては、細胞核や細胞などの関心領域は基本的に円形度が高いが、候補領域９２の円形度が低く一定の閾値未満である場合、複数の関心領域が検出されており、候補領域９２を分割すべきと考えられる。
条件４−３Ｑに関しては、候補領域９２に凹点が存在する場合、特に互いに対向する位置に凹点が存在する場合、複数の関心領域が検出されており、候補領域９２を分割すべきと考えられる。
条件４−４Ｑに関しては、核小体は基本的に細胞ごとに１つずつ存在するが、候補領域９２に複数の核小体が存在する場合、複数の関心領域が検出されており、候補領域９２を分割すべきと考えられる。
条件４−５Ｑに関しては、候補領域９２の外側輪郭線を結び、その外側輪郭線のエッジ法線方向に０°→９０°→１８０°→２７０°→０°といった連続性がないかどうかを判断し、連続性がないと判断したときは、その外側輪郭線で囲まれた候補領域９２を分割すべきと考えられる。
たとえば、候補領域９２の外側輪郭線上でエッジ法線方向の連続性がないかどうかを判断する際に、細胞画像からエッジ法線方向を抽出して生成した画像において、エッジ法線方向が逆の部分が存在するときは、候補領域９２を分割すべきと考えられる。
条件４−６Ｑに関しては、候補領域９２の外側輪郭線を結び、かつ、フィルターの回転角度を０〜３６０°から−１８０°〜０°〜＋１８０°に変更させ、その外側輪郭線のエッジ法線方向の角度合計値が０°から離れるかどうかを判断し、０°から離れていると判断したときは、複数の細胞核が検出されており、候補領域９２を分割すべきと考えられる。
条件４−７Ｑに関しては、候補領域９２のエッジ曲率にバラツキがある場合、複数の関心領域が検出されており、候補領域９２を分割すべきと考えられる。
ステップＳ６２９では、図１９Ｂに示すように候補領域９２の近傍の蛍光輝点のうち、互いの距離が所定の範囲内である蛍光輝点を繋ぐ線分９３を作成し、蛍光輝点を繋ぐ線分９３により候補領域９２を分割して、分割後の候補領域９４ａ〜９４ｊに区画する（図１９Ｃ、図１９Ｄ）。
その後、分割後の候補領域９４ａ〜９４ｊに対し、条件４−１Ｑ〜４−７Ｑと同様の基準を適用し、
・分割後の候補領域９４ａ〜９４ｊの面積が一定の閾値以内である（条件４−１Ａ）
・分割後の候補領域９４ａ〜９４ｊの円形度が一定の閾値以上である（条件４−２Ａ）
・分割後の候補領域９４ａ〜９４ｊに凹点が存在しない（条件４−３Ａ）
・分割後の候補領域９４ａ〜９４ｊに複数の核小体が存在しない（条件４−４Ａ）
・エッジ法線方向に連続性がある（条件４−５Ａ）
・エッジ法線方向の角度合計値が０°から一定の範囲に収まっている（条件４−６Ａ）
・分割後の候補領域９４ａ〜９４ｊのエッジ曲率のバラツキが緩和され一定の範囲に収まっている（条件４−７Ａ）
かどうかを判別し、条件４−１Ａ〜４−７Ａを満たすときは、分割後の候補領域９４ａ〜９４ｊを関心領域に決定する。
関心領域の決定は、条件４−１Ａ〜４−７Ａのすべてを満たすときになされてもよいし、いずれか６つを満たすときになされてもよいし、いずれか５つを満たすときになされてもよいし、いずれか４つを満たすときになされてもよいし、いずれか３つを満たすときになされてもよいし、いずれか２つを満たすときになされてもよいし、いずれか１つを満たすときになされてもよい。
上記実施形態の統合処理（ステップＳ６２７）では、候補領域８２ａ、８２ｂの近傍（一定の距離）に存在する、互いに近接する蛍光輝点（好ましくは、１つの細胞核に対応づけられた蛍光輝点）を囲む領域８３を候補領域８２ａ、８２ｂと統合して、統合後の候補領域８４としたが、統合の方法は、第一の構造及び第二の構造、及び関心領域の組み合わせによって適宜変更する。
例えば、第一の構造が細胞質、関心領域が細胞核に囲まれた領域であり、図２０Ｂのように蛍光輝点が関心領域の外側のみに分散して観察される場合には、制御部２１は、図２０Ａに示される候補領域８２ａの周辺の一定範囲の領域８０を抜き出し、互いに近接する蛍光輝点（好ましくは、１つの細胞核に対応づけられた蛍光輝点）に囲まれた領域の内部であり、かつ、蛍光輝点を含まない領域８５を作成する（図２０Ｃ）。そして、蛍光輝点を含まない領域８５と、蛍光輝点を含まない領域８５と重なる関心領域８２ａ、８２ｂを統合して、統合後の候補領域８６とする（図２０Ｄ、図２０Ｅ）。
また、上記実施形態の分割処理（ステップＳ６２９）では、候補領域９２の近傍の蛍光輝点のうち、互いの距離が所定の範囲内であるものを蛍光輝点を繋ぐ線分９３を作成し、この線分により候補領域９２を分割後の候補領域９４ａ〜９４ｊとしたが、分割の方法は、第一の構造及び第二の構造、及び関心領域の組み合わせによって適宜変更する。
例えば、第一の構造が細胞質であり、関心領域が細胞膜に囲まれた領域である場合のように、関心領域の内側に蛍光輝点が分散している場合には、図２１Ａに示すとおり、候補領域９２の周囲の一定範囲の領域９０を抜き出し、図２１Ｂのように領域９０内で所定以下の間隔で互いに近接する蛍光輝点をグループ化して、各グループの蛍光輝点を囲む領域９５ａ〜９５ｊを作成し（図２１Ｃ）、蛍光輝点を囲む領域９５ａ〜９５ｊと候補領域９２の重畳している領域を、分割後の候補領域９６ａ〜９６ｊとする（図２１Ｄ）。
上記第三の画像解析処理の実施形態では、第一の画像解析処理のステップＳ６０１〜６０３と同様の方法により候補領域を作成することとしたが、関心領域の作成方法はこれに限定されない。例えば、ステップＳ６２１〜Ｓ６２３では形態画像の特徴量のみに基づいて候補領域を作成した後、ステップＳ６２４以降の画像処理では、輝点を用いて分割又は統合処理を施してもよい。
以上の実施形態によれば、細胞の第一の構造に特異的に発現する特定の生体物質の発現を表す蛍光輝点と形態画像の特徴量を対応付けて、蛍光輝点の分布に基づいて関心領域を特定するから、一つの標本において異なる構造を関心領域として同定して評価を行う場合であっても、関心領域ごとに形態画像の取得を別途行う必要がない。
本実施形態によれば、蛍光画像を用いることにより関心領域を精度良く自動的に抽出して、細胞の面積や周囲長等を計測することができ、ひいては効率の良い病理診断に繋げることができる。
また、蛍光輝点だけでなく、形態画像における第二の構造の特徴量も利用して関心領域を決定することにより、特に１つの細胞に対応する蛍光輝点が少ない場合であっても、関心領域の抽出精度を高めることができる。
また、１つの細胞に対応する蛍光輝点の数に基づいて、好適な関心領域決定方法を変更するので、標本ごとに最適な方法で関心領域を決定することができる。
また、抽出した関心領域が重畳している場合には、蛍光輝点と重畳領域の位置関係に基づいて重畳領域を重畳している細胞の何れかに自動的に帰属させることにより、高精度な病理診断を実施することができる。
また、第二の画像解析処理によれば、形態画像及び蛍光輝点の情報を含む画像の特徴量を用いて、確からしい関心領域を選択できるので、ノイズが減少して、関心領域の抽出精度が高くなる。ステップＳ６１５でスコアの総和を算出する際に学習パラメータを用いて重みづけすることにより、関心領域であるか否かの判断材料として特に重要な手がかりとなる特徴量を特に強く反映して、関心領域が正しいか否かを判断できる。
また、従来、形態画像にて観察される第二の構造に染色ムラがある場合には形態画像から一つの関心領域が複数に分割されて抽出されたり、細胞の密度が高い場合には染色された領域が複数個重なって一つの領域として抽出されることがあり、染色画像に基づく関心領域の同定においては、さらに精度を高めることが求められていた。形態画像に染色ムラがある場合や細胞が重なっている場合であっても、第三の画像解析処理によれば、蛍光輝点に基づいて候補領域を分割又は統合して補正できるので、ノイズが減少して、関心領域の抽出精度が高くなる。
なお、本実施形態の記述内容は、本発明の好適な一例であり、これに限定されるものではない。
本実施形態では、特定の生体物質の例として乳癌におけるＨＥＲ２タンパク又はＫｉ６７タンパクを挙げたが、これに限定されない。診断対象となる病変（がん）種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた生体物質の発現を医師に提供することが可能となる。
また、本実施形態では、病理診断の対象を人体から採取した組織切片としたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞を使用することも可能である。
上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、病理診断支援システム１００を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は、病理診断の画像処理に好適に利用することができる。
１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
３Ａ ケーブル
１００ 病理診断支援システム
２１ 制御部（特徴量抽出手段、輝点抽出手段、判別手段、関心領域決定手段、算出手段、重畳領域帰属決定手段）
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ（入力手段）
２５ 記憶部
２６ バス
３０、３０ａ〜３０ｄ 蛍光輝点
３１ 多角形
４０ 細胞核
４０ａ 近接点
５０、５０ａ、５０ｂ 細胞領域
６０ 重畳領域
８２ａ、８２ｂ、９２ 候補領域
８３、９５ａ〜９５ｊ 蛍光輝点を囲む領域
８５ 蛍光輝点を含まない領域
８４、８６ 統合後の候補領域
９３ 蛍光輝点を繋ぐ線分
９４ａ〜９４ｊ、９６ａ〜９６ｊ 分割後の候補領域

Claims (16)

  1. 蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
    を備え、
    前記関心領域決定手段は、少なくとも前記第二の構造の特徴量に基づいて候補領域を作成し、前記蛍光輝点の分布に基づいて前記候補領域を統合又は分割することにより、関心領域を決定することを特徴とする画像処理装置。
  2. 前記特徴量抽出手段は、前記形態画像の色相、彩度、又は輝度の少なくとも一つを前記第二の構造の特徴量として抽出することを特徴とする、請求項１に記載の画像処理装置。
  3. 前記関心領域決定手段により決定される前記関心領域は、前記蛍光輝点を内部に含むことを特徴とする、請求項１又は２に記載の画像処理装置。
  4. 前記関心領域決定手段により決定される前記関心領域は、前記蛍光輝点を内部に含まないことを特徴とする、請求項１又は２に記載の画像処理装置。
  5. 前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域と前記候補領域を統合した領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を繋ぐ線分により分割された前記候補領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
  7. 前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域の内側の前記候補領域を統合した領域であって、前記蛍光輝点を内側に含まない領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
  8. 前記関心領域決定手段は、所定の間隔以下で互いに近接する前記蛍光輝点を囲む領域と前記候補領域が重畳する領域を関心領域として決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理装置。
  9. 前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
    前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
    前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
  10. 蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
    前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
    前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
    前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
    前記関心領域決定手段は、１つの細胞に対応する前記蛍光輝点の近傍を通る又は外側を囲む閉曲線又は多角形を生成して、前記閉曲線又は多角形を前記関心領域として決定することを特徴とする画像処理装置。
  11. 前記関心領域決定手段は、前記閉曲線又は多角形を、最小二乗法を用いた楕円フィッティング、スネークス、B-spline関数、または多角形近似、の何れかの手法を用いて生成することを特徴とする請求項１０に記載の画像処理装置。
  12. 蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
    前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
    前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
    前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
    前記関心領域決定手段は、前記第二の構造に膨張処理を施した膨張領域であって、前記第二の構造に対応する前記蛍光輝点のうち所定の割合が内側に含まれる前記膨張領域を、前記関心領域として決定することを特徴とする画像処理装置。
  13. 前記関心領域決定手段は、前記蛍光輝点と、前記蛍光輝点が対応する前記第二の構造との最短距離に基づいて、前記第二の構造に前記膨張処理を施すことを特徴とする請求項１２に記載の画像処理装置。
  14. 蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
    前記形態画像から細胞の前記第二の構造を抽出する細胞形態抽出手段と、
    前記第二の構造の特徴量と前記蛍光輝点の位置関係に基づいて、前記第二の構造に対応する前記蛍光輝点を判別する判別手段を備え、
    前記関心領域決定手段は、前記第二の構造に対応する前記蛍光輝点の分布に基づいて、前記第二の構造が帰属する細胞の関心領域を決定し、
    １つの第二の構造に対応する前記蛍光輝点の数を算出する算出手段を備え、
    前記蛍光輝点の数が所定の値よりも多い場合には、
    前記関心領域決定手段は、１つの第二の構造に対応する前記蛍光輝点の近傍を通る閉曲線又は多角形を生成して、前記閉曲線又は多角形を前記関心領域として決定し、
    前記蛍光輝点の数が前記所定の値以下である場合には、
    前記関心領域決定手段は、前記第二の構造に膨張処理を施した膨張領域であって、前記第二の構造に対応する前記蛍光輝点のうち所定の割合が内側に含まれる前記膨張領域を、前記関心領域として決定することを特徴とする画像処理装置。
  15. 蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段と、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段と、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段と、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段と、
    を備え、
    前記関心領域決定手段により決定された複数の前記関心領域が重なっている重畳領域が存在する場合には、
    前記重畳領域の近傍の前記蛍光輝点と、前記重畳領域において重なっている複数の前記関心領域の輪郭との位置関係に基づいて、前記重畳領域の近傍の前記蛍光輝点のうち、より多くの蛍光輝点が輪郭の近傍に存在する前記関心領域に前記重畳領域が帰属していると決定する重畳領域帰属決定手段を備えることを特徴とする画像処理装置。
  16. コンピュータを、
    蛍光物質により染色された標本における細胞の第一の構造に存在する特定の物質を蛍光輝点で表す蛍光画像、及び前記標本における細胞の第二の構造の形態を表し、前記蛍光画像と同一範囲を含む形態画像を入力する入力手段、
    前記形態画像から前記第二の構造の特徴量を抽出する特徴量抽出手段、
    前記蛍光画像から複数の前記蛍光輝点を抽出する輝点抽出手段、
    前記第二の構造の特徴量及び複数の前記蛍光輝点の分布に基づいて、複数の前記蛍光輝点のうち同じ細胞に属する２以上の前記蛍光輝点に対応する関心領域を決定する関心領域決定手段、
    として機能させ、
    前記関心領域決定手段は、少なくとも前記第二の構造の特徴量に基づいて候補領域を作成し、前記蛍光輝点の分布に基づいて前記候補領域を統合又は分割することにより、関心領域を決定することを特徴とする画像処理プログラム。
JP2016563620A 2014-12-09 2015-11-30 画像処理装置及び画像処理プログラム Active JP6763305B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014248932 2014-12-09
JP2014248932 2014-12-09
JP2015129678 2015-06-29
JP2015129678 2015-06-29
PCT/JP2015/083541 WO2016093090A1 (ja) 2014-12-09 2015-11-30 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016093090A1 JPWO2016093090A1 (ja) 2017-09-14
JP6763305B2 true JP6763305B2 (ja) 2020-09-30

Family

ID=56107280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563620A Active JP6763305B2 (ja) 2014-12-09 2015-11-30 画像処理装置及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10509023B2 (ja)
EP (1) EP3232402B1 (ja)
JP (1) JP6763305B2 (ja)
WO (1) WO2016093090A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209111B (zh) * 2015-01-31 2020-08-28 文塔纳医疗系统公司 自动化整体载片分析的质量控制
EP3299811B1 (en) * 2015-05-22 2020-04-15 Konica Minolta, Inc. Image processing device, image processing method, and program for image processing
US10810407B2 (en) * 2015-11-25 2020-10-20 Riken Region detecting method and region detecting device related to cell aggregation
CN110073404B (zh) * 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖
JP6979278B2 (ja) * 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP6977425B2 (ja) * 2017-09-14 2021-12-08 セイコーエプソン株式会社 画像処理装置、二値画像生産方法および画像処理プログラム
US11676269B2 (en) * 2017-10-20 2023-06-13 Genfit Automated pattern recognition and scoring method of histological images
WO2019082788A1 (ja) * 2017-10-26 2019-05-02 コニカミノルタ株式会社 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
KR20200121318A (ko) * 2018-02-15 2020-10-23 고쿠리츠다이가쿠호진 니이가타 다이가쿠 고빈도 변이형 암의 판별 시스템, 프로그램 및 방법
JPWO2020166469A1 (ja) * 2019-02-15 2021-12-16 コニカミノルタ株式会社 情報提供方法、情報提供装置及びプログラム
JPWO2020262117A1 (ja) * 2019-06-28 2020-12-30
JP7452544B2 (ja) * 2019-07-09 2024-03-19 ソニーグループ株式会社 情報処理装置およびプログラム
WO2021062064A1 (en) * 2019-09-24 2021-04-01 Nuvasive, Inc. Systems and methods for adjusting appearance of objects in medical images
JP7248139B2 (ja) * 2019-10-11 2023-03-29 株式会社島津製作所 細胞画像解析方法及び細胞解析装置
JP7502055B2 (ja) 2020-03-18 2024-06-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022037567A (ja) * 2020-08-25 2022-03-09 株式会社Ｓｃｒｅｅｎホールディングス 標本解析方法および画像処理方法
JPWO2022059508A1 (ja) * 2020-09-18 2022-03-24
TWI774120B (zh) * 2020-11-10 2022-08-11 中國醫藥大學 生物組織影像分析方法及生物組織影像分析系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0212060A (ja) 1988-06-30 1990-01-17 Sumitomo Electric Ind Ltd 細胞の状態のモニター方法及びその装置
US5162990A (en) * 1990-06-15 1992-11-10 The United States Of America As Represented By The United States Navy System and method for quantifying macrophage phagocytosis by computer image analysis
JP3946590B2 (ja) * 2002-07-16 2007-07-18 富士通株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP4496860B2 (ja) * 2004-06-30 2010-07-07 株式会社ニコン 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
JP4630106B2 (ja) 2005-03-31 2011-02-09 株式会社トプコン 角膜内皮細胞画像処理装置
US20110017076A1 (en) * 2009-07-27 2011-01-27 Arzum Elektrikli Ev Aletleri Sanayi Ve Ticaret Anonim Sirketi Sliding toaster
US8351668B2 (en) 2010-01-11 2013-01-08 Utah State University System and method for automated particle imaging analysis
JP5906623B2 (ja) 2011-09-09 2016-04-20 コニカミノルタ株式会社 生体物質発現レベル評価システム
JP5804194B2 (ja) * 2012-03-30 2015-11-04 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Also Published As

Publication number Publication date
WO2016093090A1 (ja) 2016-06-16
US10509023B2 (en) 2019-12-17
US20170370901A1 (en) 2017-12-28
EP3232402A1 (en) 2017-10-18
EP3232402A4 (en) 2018-07-18
EP3232402B1 (en) 2020-05-06
JPWO2016093090A1 (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6763305B2 (ja) 画像処理装置及び画像処理プログラム
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
WO2013146843A1 (ja) 医用画像処理装置及びプログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
WO2015146938A1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
JP7235036B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6702339B2 (ja) 画像処理装置及びプログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6801653B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6763305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150