JPWO2019008935A1 - 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム - Google Patents
画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム Download PDFInfo
- Publication number
- JPWO2019008935A1 JPWO2019008935A1 JP2019528398A JP2019528398A JPWO2019008935A1 JP WO2019008935 A1 JPWO2019008935 A1 JP WO2019008935A1 JP 2019528398 A JP2019528398 A JP 2019528398A JP 2019528398 A JP2019528398 A JP 2019528398A JP WO2019008935 A1 JPWO2019008935 A1 JP WO2019008935A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- dye
- density
- image processing
- staining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000010827 pathological analysis Methods 0.000 title claims abstract description 15
- 230000001575 pathological effect Effects 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 32
- 239000000975 dye Substances 0.000 claims description 181
- 238000010186 staining Methods 0.000 claims description 63
- 238000004043 dyeing Methods 0.000 claims description 32
- 238000003702 image correction Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 18
- 230000008929 regeneration Effects 0.000 claims description 7
- 238000011069 regeneration method Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 239000000049 pigment Substances 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims 1
- 210000003855 cell nucleus Anatomy 0.000 abstract description 14
- 230000002596 correlated effect Effects 0.000 abstract 1
- SXEHKFHPFVVDIR-UHFFFAOYSA-N [4-(4-hydrazinylphenyl)phenyl]hydrazine Chemical compound C1=CC(NN)=CC=C1C1=CC=C(NN)C=C1 SXEHKFHPFVVDIR-UHFFFAOYSA-N 0.000 description 38
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 210000000170 cell membrane Anatomy 0.000 description 4
- 210000000805 cytoplasm Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012137 double-staining Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- DWCZIOOZPIDHAB-UHFFFAOYSA-L methyl green Chemical compound [Cl-].[Cl-].C1=CC(N(C)C)=CC=C1C(C=1C=CC(=CC=1)[N+](C)(C)C)=C1C=CC(=[N+](C)C)C=C1 DWCZIOOZPIDHAB-UHFFFAOYSA-L 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
[課題]染色の重なりを考慮した補正を行うことにより、特定領域、特に、細胞核の染色領域を明確にして、判別しやすくすることができる画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システムを提供する。[解決手段]病理染色画像を、染色色素毎の色素濃度画像へ分解し、染色色素毎の色素の情報に相関を持たせて、各色素濃度画像を補正することで特定領域を強調する。
Description
本発明は、病理染色画像において観察したい特定領域を強調することができる画像処理装置及び画像処理方法並びにこれを用いて病理染色画像における特定領域を抽出することができる病理診断支援システムに関する。
従来、病理診断においては、患者から採取した検体を病理医や臨床検査技師等の専門職員が顕微鏡などによって観察することにより、治療薬の選択や治療方針の指針を得ている。このような観察の際には、一般的に、複数の色素を用いて検体を染色する。
例えば、乳癌の診断においては、細胞核を選択的に染色するヘマトキシリン（hematoxylin）と、乳癌の予後予測に関連の深い特定のタンパク質を選択的に染色するように設計されたジアミノベンジジン（ＤＡＢ）とを組み合わせた染色が行われる。
また、このような病理診断においては、近年、機械学習の一種でありニューラルネットワークを発展させた深層学習を病理診断画像解析に適用する例が増えている。
このような病理診断においては、上述するように複数の色素による染色を行っているため、しばしば、撮像素子により取得した検体の画像を観察者に提示する際や、機械学習の手法において識別器を学習する際には、色素基底を用いた色素毎の濃度画像への分解や、分解された画像を補正したものが用いられている。
例えば、特許文献１では、デジタルスライド画像の表示方法について開示されており、撮影画像を各染色色素に応じた色素濃度画像へと分解して単一染色画像として提示する方法や、染色色素毎にデジタル強調処理した上で再結合して提示する方法が示されている。
なお、色素濃度画像への分解（カラーデコンボリューション（color deconvolution））とは、撮影画像の画素毎に、以下の演算を行うことである。
撮像素子のＲＧＢ各チャンネルに対する色素固有の吸収寄与を表す色素基底からなる行列をＭとしたとき、光学濃度（ＯＤ）に直したＲＧＢ値を並べたベクトルｙから、注目画素に含まれる色素の量を表すベクトルＣを下記式（Ａ）に基づいて推定することができる。
撮像素子のＲＧＢ各チャンネルに対する色素固有の吸収寄与を表す色素基底からなる行列をＭとしたとき、光学濃度（ＯＤ）に直したＲＧＢ値を並べたベクトルｙから、注目画素に含まれる色素の量を表すベクトルＣを下記式（Ａ）に基づいて推定することができる。
Ｍ-1は、Ｍの逆行列を表す。この式は、下記式（Ｂ）のように、物質による光の吸収を定式化したランバート・ベールの法則から導かれる。
ここで、Ｉ0及びＩはそれぞれ入射光の強度、物質通過後の光強度を表す。また、Ａ，ｃはそれぞれ色素の量と単位当りの吸収係数である。
しかしながら、従来の手法では、各染色色素に応じた濃度画像への変換や、それぞれの色素濃度画像に対する補正は考慮されているものの、染色の重なりを考慮した補正はなされていなかった。
例えば、細胞核をヘマトキシリン（Ｈ）で、細胞質もしくは細胞膜の少なくとも１つをジアミノベンジジン（ＤＡＢ）で染色し、ＤＡＢ陽性の細胞核を計測する場合、Ｈ染色領域（ヘマトキシリンによって染色された領域）に対するＤＡＢ染色領域（ＤＡＢによって染色された領域）の重なり方は多岐に亘る。
これは、実際の検体組織は３次元に広い空間構造を持つのに対して、観察試料はそれらをスライスした剥片であることが一因である。すなわち、細胞をどこで切るかによって、細胞核の染色領域に対する、細胞質もしくは細胞膜の少なくとも１つの染色領域の重なり方にばらつきが生じる。その結果、病理医等の観察者が画像診断によりＤＡＢ陽性の細胞核を判断する場合や、機械学習の手法により識別器を学習する際に、ＤＡＢ染色の強い領域において細胞核、すなわち、Ｈ染色領域が判別しづらいという問題が生じている。
本発明では、撮影画像に対して、染色の重なりを考慮した補正を行うことにより、特定領域、特に、細胞核の染色領域を明確にして、判別しやすくすることができる画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システムを提供することを目的とする。
本発明は、前述したような従来技術における課題を解決するために発明されたものであって、上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像処理装置は、病理染色画像における特定領域を強調する画像処理装置であって、
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成モジュールと、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正モジュールと、を備え、
前記色素濃度画像補正モジュールは、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成モジュールと、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正モジュールと、を備え、
前記色素濃度画像補正モジュールは、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
また、本発明の一側面を反映した病理診断支援システムは、
診断を行う検体に染色を行う検体染色手段と、
染色された検体の病理染色画像を撮像する撮像手段と、
上述する画像処理装置とを備える。
診断を行う検体に染色を行う検体染色手段と、
染色された検体の病理染色画像を撮像する撮像手段と、
上述する画像処理装置とを備える。
また、本発明の一側面を反映した画像処理方法は、病理染色画像における特定領域を強調する画像処理方法であって、
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成工程と、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正工程と、を有し、
前記色素濃度画像補正工程では、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成工程と、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正工程と、を有し、
前記色素濃度画像補正工程では、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
本発明によれば、病理染色画像において観察したい特定領域について、染色の重なりを考慮した補正を行うことにより、特定領域を染色する色素の情報を増幅したり、特定領域以外を染色する色素の情報を除外したりすることで、特定領域の染色を明確にして、観察者の判読性を向上させることができる。
以下、本発明の実施の形態（実施例）を図面に基づいて、より詳細に説明する。
図１は、本発明の一実施例における病理診断支援システムの構成を説明するブロック図、図２は、図１に示す画像処理装置の構成を説明するブロック図、図３は、図２に示す画像処理装置における画像処理の流れを示すフロー図である。
図１は、本発明の一実施例における病理診断支援システムの構成を説明するブロック図、図２は、図１に示す画像処理装置の構成を説明するブロック図、図３は、図２に示す画像処理装置における画像処理の流れを示すフロー図である。
図１に示すように、本実施例の病理診断支援システム１０は、診断を行う検体に染色を行う検体染色手段２０と、染色された検体の病理染色画像を撮像する撮像手段３０と、撮像された病理染色画像の解析を行う画像処理装置４０と、を備えている。
検体染色手段２０は、検体について、複数の染色領域をそれぞれ染色するための手段である。検体染色手段２０は、既存の自動染色装置であってもよいし、細胞を染色するための試薬を含むキットとすることもできる。
なお、本実施例においては、細胞核を第１染色領域とし、これを染色する第１染色色素としては、ヘマトキシリン（Ｈ）を用いている。また、細胞質及び細胞膜を第２染色領域とし、これを染色する第２染色色素としては、ジアミノベンジジン（ＤＡＢ）を用いている。
複数の染色領域は、適宜設定することができ、染色色素についても、設定した染色領域を選択的に染色することができるものであれば、特に限定されるものではない。
なお、細胞核を染色するための試薬としては、ヘマトキシリン（Ｈ）のほかにも、例えば、ケルンエヒトロート、メチルグリーンなどを用いることができる。
また、細胞質もしくは細胞膜の少なくとも１つを染色するための試薬としては、ジアミノベンジジン（ＤＡＢ）のほかにも、例えば、ヒストグリーンなどを用いることができる。
撮像手段３０は、染色された検体の病理染色画像を撮像するための手段である。撮像手段３０は、後述する画像処理装置４０に病理染色画像を受け渡すことから、デジタルカメラやデジタルスライドスキャナなどを用いることが好ましい。なお、必要に応じて、顕微鏡や、ノイズを低減するためのローパスフィルタなどを含むことができる。
なお、撮像手段３０により病理染色画像を撮像する際には、検体の存在しない領域、例えば、検体を挟持するスライドガラスのガラス領域などにおいて、予めホワイトバランス補正を行うことが好ましい。
画像処理装置４０は、入力された病理染色画像に対して後述するような画像解析を行うための手段である。画像処理装置４０は、例えば、演算装置、制御装置、記憶装置、入力装置及び出力装置を含む公知のコンピュータやマイコンなどによって構成される。なお、コンピュータは、パーソナルコンピュータであってもよいし、サーバーであってもよい。
また、画像処理装置４０は、色素濃度画像生成モジュール４２と、色素濃度画像補正モジュール４４と、病理染色画像再生成モジュール４６と、特定領域抽出モジュール４８と、を含む。
なお、これらのモジュールは、画像処理装置４０によって実行可能なプログラムとして実現することができる。
なお、これらのモジュールは、画像処理装置４０によって実行可能なプログラムとして実現することができる。
このように構成される病理診断支援システム１０では、検体染色手段２０により染色された検体について、撮像手段３０により病理染色画像を撮像し、撮像された病理染色画像を画像処理装置４０に入力することにより、画像処理装置４０では、図３に示す流れで、検体の病理染色画像から細胞核領域の抽出を行う。
まず、画像処理装置４０は、色素濃度画像生成モジュール４２において、入力された病理染色画像を、染色色素毎の色素濃度画像へ分離する。本実施例においては、Ｈ濃度画像、ＤＡＢ濃度画像、その他の成分の濃度画像の３種類の色素濃度画像へ分離する。
ここで、色素濃度画像への分離には、従来既知の手法である、色素基底を用いたカラーデコンボリューション（color deconvolution）の手法を用いることができる。これにより、検体毎に異なる撮影条件のもと撮像された病理染色画像に対しても、それぞれ別の色素基底を用いることにより、同等の撮影条件のもと撮像された場合と同等の色素濃度画像を生成することができる。
次いで、画像処理装置４０は、色素濃度画像補正モジュール４４において、色素濃度画像を用いて、特定領域を強調するため画像処理により濃度補正を行う。本実施例においては、第１染色領域（細胞核領域）の強調処理を行う。
具体的には、特定領域である第１染色領域を染色する第１染色色素に基づく第１染色色素濃度画像と、非特定領域である第２染色領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を用いて、以下のような演算を行うことにより、第１染色領域の強調処理を行うことができる。
画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（１）のような演算（減算処理）を行うことにより、ＨとＤＡＢにより重染色された領域から、ＤＡＢの重なりを除去することにより、ＤＡＢ領域に包含されたＨ領域を鮮明化させることができる。
ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、αは所定の補正係数を意味する。
このように、第２染色領域に対し、同一位置の第１染色色素濃度に比例した減算処理を施すことにより、重染色領域における第１染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＤＡＢ濃度画像と、Ｈ濃度画像及びその他の成分の濃度画像とを、畳み込む（convolution）ことにより、補正後の病理染色画像を生成することができる。
図４は、病理染色画像を上述する減算処理により色素濃度補正を行った際の一例を示す画像である。
図４（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図４（ｂ）は、Ｈ濃度画像、図４（ｃ）は、ＤＡＢ濃度画像である。
図４（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図４（ｂ）は、Ｈ濃度画像、図４（ｃ）は、ＤＡＢ濃度画像である。
色素濃度画像補正モジュール４４では、このＨ濃度画像とＤＡＢ濃度画像を用いて、上記式（１）の演算を行う。本実施例では、α＝０．５として演算した。図４（ｄ）は、補正後のＤＡＢ濃度画像である。
そして、図４（ｂ）に示すＨ濃度画像と、図４（ｄ）に示す補正後のＤＡＢ濃度画像と、図示しないその他の成分の濃度画像と、を畳み込むことによって、重染色領域における第１染色領域が鮮明化された病理染色画像が生成される。図４（ｅ）は、補正後の病理染色画像である。
また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（２）のような演算（加算処理）を行うことにより、Ｈ濃度画像においてＨにより染色された領域を強調することにより、ＤＡＢ領域に包含されたＨ領域を鮮明化させることもできる。
ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、βは所定の補正係数を意味する。
このように、第１染色領域に対し、自身の染色色素濃度と、同一位置にある第２染色色素濃度との積に比例した加算処理を施すことにより、重染色領域における第１染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、図４（ｅ）に示すような補正後の病理染色画像を生成することができる。なお、補正後の病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。
図５は、病理染色画像を上述する加算処理により色素濃度補正を行った際の一例を示す画像である。
図５（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図５（ｂ）は、Ｈ濃度画像、図５（ｃ）は、ＤＡＢ濃度画像である。
図５（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図５（ｂ）は、Ｈ濃度画像、図５（ｃ）は、ＤＡＢ濃度画像である。
色素濃度画像補正モジュール４４では、このＨ濃度画像とＤＡＢ濃度画像を用いて、上記式（２）の演算を行う。本実施例では、β＝０．７５として演算した。図５（ｄ）は、補正後のＨ濃度画像である。
そして、図５（ｄ）に示す補正後のＨ濃度画像と、図５（ｃ）に示すＤＡＢ濃度画像と、図示しないその他の成分の濃度画像と、を畳み込むことによって、重染色領域における第１染色領域が鮮明化された病理染色画像が生成される。図５（ｅ）は、補正後の病理染色画像である。
また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（３）のような演算（加算処理）を行うことにより、ＤＡＢ濃度画像においてＨにより染色された領域を強調することにより、重染色領域における第２染色領域を鮮明化させることもできる。
ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、γは所定の補正係数を意味する。
このように、第２染色領域に対し、同一位置の第１染色色素濃度に比例した加算処理を施すことにより、重染色領域における第２染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、図５（ｅ）に示すような補正後の病理染色画像を生成することができる。なお、補正後の病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。
また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（４）のような演算（減算処理）を行うことにより、Ｈ濃度画像においてＤＡＢにより染色された領域を強調することにより、重染色領域における第２染色領域を鮮明化させることもできる。
ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、δは所定の補正係数を意味する。
このように、第１染色領域に対し、自身の染色色素濃度と、同一位置にある第２染色色素濃度との積に比例した減算処理を施すことにより、重染色領域における第２染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、補正後の病理染色画像を生成することができる。
なお、色素濃度画像補正モジュール４４において行われる画像処理は、上記の処理に限定されるものではなく、特定領域を強調するための処理を追加することもできる。また、上記の処理における所定の補正係数α、β、γ、δは、特に限定されるものではなく、例えば、観察者の判読性に応じて適宜変更することができる。また、所定の補正係数α、β、γ、δは、機械学習による学習過程を通じて最適値を得るようにすることもできる。
このようにして得られた補正後の病理染色画像を用いて、画像処理装置４０は、特定領域抽出モジュール４８において、特定領域を染色した染色色素特有の色情報に基づき、特定領域を抽出する。本実施例においては、補正後の病理染色画像において、細胞核を染色したヘマトキシリン特有の色を示す領域を細胞核として抽出させる。
なお、画像処理装置４０の特定領域抽出モジュール４８により、補正後の病理染色画像から特定領域を抽出せずに、例えば、ディスプレイやプリンタなどの出力手段に、補正後の病理染色画像を出力するようにしてもよい。
以上、本発明の好ましい実施の態様を説明してきたが、本発明はこれに限定されることはなく、本発明の目的を逸脱しない範囲で種々の変更が可能である。
１０ 病理診断支援システム
２０ 検体染色手段
３０ 撮像手段
４０ 画像処理装置
４２ 色素濃度画像生成モジュール
４４ 色素濃度画像補正モジュール
４６ 病理染色画像再生成モジュール
４８ 特定領域抽出モジュール
２０ 検体染色手段
３０ 撮像手段
４０ 画像処理装置
４２ 色素濃度画像生成モジュール
４４ 色素濃度画像補正モジュール
４６ 病理染色画像再生成モジュール
４８ 特定領域抽出モジュール
Claims (19)
- 病理染色画像における特定領域を強調する画像処理装置であって、
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成モジュールと、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正モジュールと、を備え、
前記色素濃度画像補正モジュールは、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する画像処理装置。 - 前記色素濃度画像生成モジュールは、色素基底に基づいたカラーデコンボリューション（color deconvolution）の手法により各色素濃度画像を生成する請求項１に記載の画像処理装置。
- 前記色素濃度画像生成モジュールは、
前記病理染色画像において特定領域を染色する第１染色色素に基づく第１染色色素濃度画像と、
前記病理染色画像において非特定領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を少なくとも含む複数の前記色素濃度画像に分解する請求項１または２に記載の画像処理装置。 - 前記色素濃度画像補正モジュールは、
前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第２染色色素濃度画像を補正する請求項３に記載の画像処理装置。 - 前記色素濃度画像補正モジュールは、
前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第１染色色素濃度画像を補正する請求項３に記載の画像処理装置。 - 前記色素濃度画像補正モジュールは、
前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第２染色色素濃度画像を補正する請求項３に記載の画像処理装置。 - 前記色素濃度画像補正モジュールは、
前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第１染色色素濃度画像を補正する請求項３に記載の画像処理装置。 - 前記所定の補正係数は、機械学習による学習過程を通じて得られた最適値である請求項４から７のいずれかに記載の画像処理装置。
- 前記色素濃度画像補正モジュールにおいて補正された前記各色素濃度画像に基づき、補正後の病理染色画像を生成する病理染色画像再生成モジュールをさらに備える請求項１から８のいずれかに記載の画像処理装置。
- 前記病理染色画像再生成モジュールにおいて生成された補正後の病理染色画像から、前記特定領域を染色した染色色素特有の色情報に基づき、前記特定領域を抽出する特定領域抽出モジュールをさらに備える請求項９に記載の画像処理装置。
- 診断を行う検体に染色を行う検体染色手段と、
染色された検体の病理染色画像を撮像する撮像手段と、
請求項１から１０のいずれかに記載の画像処理装置と、を備える病理診断支援システム。 - 病理染色画像における特定領域を強調する画像処理方法であって、
前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成工程と、
前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正工程と、を有し、
前記色素濃度画像補正工程では、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する画像処理方法。 - 前記色素濃度画像生成工程では、色素基底に基づいたカラーデコンボリューション（color deconvolution）の手法により各色素濃度画像を生成する請求項１２に記載の画像処理方法。
- 前記色素濃度画像生成工程では、
前記病理染色画像において特定領域を染色する第１染色色素に基づく第１染色色素濃度画像と、
前記病理染色画像において非特定領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を少なくとも含む複数の前記色素濃度画像に分解する請求項１２または１３に記載の画像処理方法。 - 前記色素濃度画像補正工程では、
前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第２染色色素濃度画像を補正する請求項１４に記載の画像処理方法。 - 前記色素濃度画像補正工程では、
前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第１染色色素濃度画像を補正する請求項１４に記載の画像処理方法。 - 前記色素濃度画像補正工程では、
前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第２染色色素濃度画像を補正する請求項１４に記載の画像処理方法。 - 前記色素濃度画像補正工程では、
前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第１染色色素濃度画像を補正する請求項１４に記載の画像処理方法。 - 前記所定の補正係数は、機械学習による学習過程を通じて得られた最適値である請求項１５から１８のいずれかに記載の画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017131770 | 2017-07-05 | ||
| JP2017131770 | 2017-07-05 | ||
| PCT/JP2018/020042 WO2019008935A1 (ja) | 2017-07-05 | 2018-05-24 | 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019008935A1 true JPWO2019008935A1 (ja) | 2020-05-21 |
| JP7215418B2 JP7215418B2 (ja) | 2023-01-31 |
Family
ID=64950791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019528398A Active JP7215418B2 (ja) | 2017-07-05 | 2018-05-24 | 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11238268B2 (ja) |
| EP (1) | EP3650837A4 (ja) |
| JP (1) | JP7215418B2 (ja) |
| WO (1) | WO2019008935A1 (ja) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009151350A (ja) * | 2007-12-18 | 2009-07-09 | Nec Corp | 画像補正方法および画像補正装置 |
| US20100254589A1 (en) * | 2007-12-04 | 2010-10-07 | University College Dublin National University Of Ireland | Method and system for image analysis |
| JP2010540906A (ja) * | 2007-09-21 | 2010-12-24 | アペリオ・テクノロジーズ・インコーポレイテッド | 診断分解能デジタルスライド画像のための改善した画質 |
| US20110026803A1 (en) * | 2009-07-31 | 2011-02-03 | General Electric Company | Methods and systems for digitally enhancing an image of a stained material |
| JP2012122852A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2016042963A1 (ja) * | 2014-09-19 | 2016-03-24 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2017509871A (ja) * | 2014-02-21 | 2017-04-06 | ベンタナ メディカル システムズ， インコーポレイテッド | バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析 |
| WO2018131091A1 (ja) * | 2017-01-11 | 2018-07-19 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2018
- 2018-05-24 WO PCT/JP2018/020042 patent/WO2019008935A1/ja unknown
- 2018-05-24 US US16/615,311 patent/US11238268B2/en active Active
- 2018-05-24 JP JP2019528398A patent/JP7215418B2/ja active Active
- 2018-05-24 EP EP18828829.4A patent/EP3650837A4/en not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010540906A (ja) * | 2007-09-21 | 2010-12-24 | アペリオ・テクノロジーズ・インコーポレイテッド | 診断分解能デジタルスライド画像のための改善した画質 |
| JP2014002166A (ja) * | 2007-09-21 | 2014-01-09 | Aperio Technologies Inc | デジタルスライド画像を表示する方法 |
| US20100254589A1 (en) * | 2007-12-04 | 2010-10-07 | University College Dublin National University Of Ireland | Method and system for image analysis |
| JP2009151350A (ja) * | 2007-12-18 | 2009-07-09 | Nec Corp | 画像補正方法および画像補正装置 |
| US20110026803A1 (en) * | 2009-07-31 | 2011-02-03 | General Electric Company | Methods and systems for digitally enhancing an image of a stained material |
| JP2012122852A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2017509871A (ja) * | 2014-02-21 | 2017-04-06 | ベンタナ メディカル システムズ， インコーポレイテッド | バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析 |
| WO2016042963A1 (ja) * | 2014-09-19 | 2016-03-24 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| WO2018131091A1 (ja) * | 2017-01-11 | 2018-07-19 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3650837A4 (en) | 2020-05-27 |
| US20200134286A1 (en) | 2020-04-30 |
| WO2019008935A1 (ja) | 2019-01-10 |
| JP7215418B2 (ja) | 2023-01-31 |
| US11238268B2 (en) | 2022-02-01 |
| EP3650837A1 (en) | 2020-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
| US11199690B2 (en) | Determining a degree of red blood cell deformity within a blood sample | |
| US20230419696A1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| Dash et al. | A thresholding based technique to extract retinal blood vessels from fundus images | |
| CN114945954A (zh) | 使用深度学习进行显微图像的数字染色的方法和系统 | |
| JP4740068B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US20150186755A1 (en) | Systems and Methods for Object Identification | |
| KR101700887B1 (ko) | 영상 처리를 이용한 세포 계수 장치 및 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 | |
| JP7026694B2 (ja) | 画像解析装置、方法およびプログラム | |
| EP3719739B1 (en) | Image coloring device, image coloring method, image learning device, image learning method, program, and image coloring system | |
| Punitha et al. | Detection of malarial parasite in blood using image processing | |
| US20170169557A1 (en) | Process and device for direct measurements of plant stomata | |
| WO2018128091A1 (ja) | 画像解析プログラム及び画像解析方法 | |
| EP3629286A1 (en) | Image analysis evaluation method, computer program, and image analysis evaluation device | |
| EP2347296B1 (fr) | Procédure de préparation d'une image d'analyse virtuelle traitée | |
| JPWO2019008935A1 (ja) | 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム | |
| US9122904B2 (en) | Method for optimization of quantitative video-microscopy and associated system | |
| JPWO2018131091A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| FR2942319A1 (fr) | Procede de preparation d'une plaque d'analyse virtuelle traitee | |
| JP2009041953A (ja) | 定量分析装置、定量分析方法および定量分析プログラム | |
| US20220276170A1 (en) | Information processing device and program | |
| US20230316595A1 (en) | Microscopy Virtual Staining Systems and Methods | |
| US20210087602A1 (en) | Apparatus for screening and diagnosis of meningitis | |
| La et al. | UMapβ: A Semi-automatic Image Analysis Assistant Bridging the Gap between Experimentalists and Image Analysis Specialists | |
| Janssens et al. | Automated detection and classification of nuclei in immunohistochemical stainings for Fuchs' endothelial corneal dystrophy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230102 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7215418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |