WO2019008935A1 - 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム - Google Patents

画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム Download PDF

Info

Publication number
WO2019008935A1
WO2019008935A1 PCT/JP2018/020042 JP2018020042W WO2019008935A1 WO 2019008935 A1 WO2019008935 A1 WO 2019008935A1 JP 2018020042 W JP2018020042 W JP 2018020042W WO 2019008935 A1 WO2019008935 A1 WO 2019008935A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dye
dye density
staining
density image
Prior art date
Application number
PCT/JP2018/020042
Other languages
English (en)
French (fr)
Inventor
祐輝 風山
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US16/615,311 priority Critical patent/US11238268B2/en
Priority to JP2019528398A priority patent/JP7215418B2/ja
Priority to EP18828829.4A priority patent/EP3650837A4/en
Publication of WO2019008935A1 publication Critical patent/WO2019008935A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Definitions

  • the present invention relates to an image processing apparatus and an image processing method capable of emphasizing a specific region to be observed in a pathological staining image, and a pathological diagnosis support system capable of extracting a specific region in a pathological staining image using the same.
  • a specialist of a pathologist or a clinical laboratory technician observes a sample collected from a patient with a microscope or the like to obtain a guideline for selection of a therapeutic agent and a treatment policy.
  • a plurality of dyes are used to stain the sample.
  • hematoxylin which selectively stains the cell nucleus
  • DAB diaminobenzidine
  • Patent Document 1 discloses a method of displaying a digital slide image, and a method of decomposing a photographed image into a dye density image corresponding to each staining dye and presenting it as a single staining image, or for each staining dye The method of recombining and presenting after digital emphasis processing is shown.
  • the separation into a dye density image is to perform the following calculation for each pixel of a captured image.
  • M is a matrix consisting of dye bases representing dye-specific absorption contributions to the RGB channels of the imaging device
  • the amount of dye contained in the pixel of interest from the vector y obtained by arranging RGB values corrected to optical density (OD) can be estimated based on the following equation (A).
  • M ⁇ 1 represents the inverse matrix of M. This equation is derived from Lambert-Beer's law, which formulates the absorption of light by a substance, as in the following equation (B).
  • I 0 and I respectively represent the intensity of incident light and the light intensity after passing through a substance.
  • a and c are the amount of dye and the absorption coefficient per unit, respectively.
  • DAB staining for H-stained area area stained with hematoxylin
  • DAB staining for H-stained area area stained with hematoxylin
  • the overlap of the areas (areas stained by DAB) is diverse.
  • the actual sample tissue has a wide spatial structure in three dimensions, whereas the observation sample is a strip obtained by slicing them. That is, depending on where the cells are cut, variation occurs in the overlapping manner of at least one stained area of cytoplasm or cell membrane with the stained area of cell nucleus.
  • an observer such as a pathologist judges a cell nucleus of DAB positive by image diagnosis or learns a classifier by a machine learning method
  • the cell nucleus, that is, the H staining region is in the strong area of DAB staining. There is a problem that it is difficult to distinguish.
  • an image processing apparatus and an image processing method capable of clarifying a specific region, in particular, a staining region of cell nuclei, and making it easy to distinguish by performing correction in consideration of overlapping of staining on a photographed image. And it aims at providing a pathological diagnosis support system using the same.
  • the present invention was invented to solve the problems in the prior art as described above, and an image processing apparatus reflecting one aspect of the present invention in order to realize at least one of the above-mentioned objects.
  • Is an image processing apparatus for emphasizing a specific area in a pathological staining image A dye density image generation module for decomposing the pathological staining image into a dye density image for each staining dye; And a dye density image correction module for performing image processing for emphasizing the specific region using each of the dye density images.
  • the dye density image correction module corrects each dye density image by correlating the dye information of each staining dye.
  • a pathological diagnosis support system reflecting one aspect of the present invention is Sample staining means for staining a sample to be diagnosed; Imaging means for imaging a pathologically stained image of the stained sample; And an image processing apparatus described above.
  • an image processing method reflecting one aspect of the present invention is an image processing method for emphasizing a specific region in a pathologically stained image, A dye density image generation step of decomposing the pathological staining image into a dye density image for each staining dye; And a dye density image correction step of performing image processing for emphasizing the specific area using each of the dye density images.
  • the dye density image correcting step the information on the dye of each staining dye is correlated to correct each dye density image.
  • the information of the dye that stains the specific region is amplified, or the information of the dye that stains other than the specific region
  • the staining of a specific area can be clarified to improve the readability of the observer.
  • FIG. 1 is a block diagram for explaining the configuration of a pathological diagnosis support system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining the arrangement of the image processing apparatus shown in FIG.
  • FIG. 3 is a flow chart showing the flow of image processing in the image processing apparatus shown in FIG.
  • FIG. 4 is an image showing an example when dye density correction is performed on a pathologically stained image.
  • FIG. 5 is an image showing another example when the dye concentration correction is performed on the pathologically stained image.
  • FIG. 1 is a block diagram for explaining the configuration of a pathological diagnosis support system in an embodiment of the present invention
  • FIG. 2 is a block diagram for explaining the configuration of the image processing apparatus shown in FIG. It is a flowchart which shows the flow of the image processing in an image processing apparatus.
  • the pathological diagnosis support system 10 of the present embodiment includes a sample staining means 20 for staining a sample to be diagnosed, an imaging means 30 for imaging a pathologically stained image of the stained sample, and And an image processing apparatus 40 for analyzing the pathological staining image.
  • the sample staining means 20 is a means for staining a plurality of staining areas of a sample.
  • the specimen staining means 20 may be an existing automatic staining apparatus or may be a kit including a reagent for staining cells.
  • cell nuclei are used as a first staining area, and hematoxylin (H) is used as a first staining dye for staining this.
  • hematoxylin H
  • DAB diaminobenzidine
  • the plurality of staining areas can be appropriately set, and the staining dye is not particularly limited as long as it can selectively stain the set staining area.
  • hematoxylin for example, cologne et alto, methyl green, etc. can be used as a reagent for staining cell nuclei.
  • DAB diaminobenzidine
  • histogreen or the like can be used as a reagent for staining at least one of cytoplasm or cell membrane.
  • the imaging means 30 is a means for imaging a pathologically stained image of the stained sample.
  • the imaging unit 30 preferably uses a digital camera, a digital slide scanner, or the like because it delivers a pathologically stained image to an image processing apparatus 40 described later.
  • a microscope, a low pass filter for reducing noise, etc. can be included as needed.
  • the imaging means 30 When imaging a pathologically stained image by the imaging means 30, it is preferable to perform white balance correction in advance in an area where no sample exists, for example, a glass area of a slide glass sandwiching the sample.
  • the image processing device 40 is a means for performing an image analysis as described later on the input pathological stained image.
  • the image processing device 40 is configured by, for example, a known computer or microcomputer including an arithmetic device, a control device, a storage device, an input device, and an output device.
  • the computer may be a personal computer or a server.
  • the image processing apparatus 40 further includes a dye density image generation module 42, a dye density image correction module 44, a pathological stain image regeneration module 46, and a specific area extraction module 48. These modules can be realized as a program that can be executed by the image processing apparatus 40.
  • a pathological staining image is imaged by the imaging unit 30 with respect to the specimen stained by the specimen staining unit 20, and the imaged pathological staining image is input to the image processing apparatus 40.
  • the image processing apparatus 40 the cell nucleus area is extracted from the pathologically stained image of the sample in the flow shown in FIG.
  • the image processing apparatus 40 separates the input pathological staining image into a dye density image for each staining dye in the dye density image generation module 42.
  • the image is separated into three types of dye density images of an H density image, a DAB density image, and density images of other components.
  • the image processing apparatus 40 performs density correction by image processing in the dye density image correction module 44 using the dye density image to emphasize a specific region.
  • the first staining area (cell nucleus area) is emphasized.
  • a first staining dye density image based on a first staining dye that stains a first staining area that is a specific area, and a second staining dye that is used to stain a second staining area that is a nonspecific area
  • the first staining area can be enhanced by performing the following calculation using the staining dye density image.
  • the image processing apparatus 40 removes the overlap of DAB from the region double-stained with H and DAB by performing calculation (subtraction processing) as shown in the following equation (1) in the dye density image correction module 44.
  • the H region included in the DAB region can be sharpened.
  • x, y position on the dye density image C H is H density value
  • C DAB DAB density value
  • alpha denotes a predetermined correction coefficient
  • the first staining dye concentration in the heavy staining area is relatively emphasized, and as a result, the double staining is performed. Area can be easily identified.
  • the image processing apparatus 40 causes the pathological staining image regenerating module 46 to convolute the corrected DAB density image, and the H density image and the density image of the other components to obtain the pathological staining after the correction. Images can be generated.
  • FIG. 4 is an image showing an example when the dye density correction is performed by the subtraction processing described above for the pathological staining image.
  • FIG. 4A is a pathological stained image input to the image processing apparatus 40.
  • the pathological staining image is usually a color image, but is shown as a gray scale image for convenience. This is separated into each dye density image in the dye density image generation module 42.
  • FIG. 4 (b) is an H density image
  • FIG. 4 (c) is a DAB density image.
  • FIG. 4D is a DAB density image after correction.
  • FIG. 4 (e) is a pathological stained image after correction.
  • the image processing apparatus 40 performs the calculation (addition processing) in the dye density image correction module 44 as shown in the following equation (2) to emphasize the area stained with H in the H density image,
  • the H region included in the DAB region can also be sharpened.
  • C H is H density value
  • C DAB is DAB density value
  • beta denotes a predetermined correction coefficient
  • the first dye concentration in the heavy dye region is It is relatively emphasized, and as a result, it becomes easy to distinguish the heavily stained area.
  • the image processing apparatus 40 performs color convolution of the corrected H density image, the DAB density image, and the density image of the other components in the pathological stain image regenerating module 46 as shown in FIG.
  • a pathologically stained image after correction as shown in 2.) can be generated.
  • amendment is a color image normally, it shows as a gray scale image for convenience.
  • FIG. 5 is an image showing an example when the dye density correction is performed by the addition processing for the pathological staining image described above.
  • FIG. 5A is a pathological stained image input to the image processing apparatus 40.
  • the pathological staining image is usually a color image, but is shown as a gray scale image for convenience. This is separated into each dye density image in the dye density image generation module 42.
  • FIG. 5B is an H density image
  • FIG. 5C is a DAB density image.
  • FIG. 5D shows the H density image after correction.
  • FIG. 5 (d) is a pathological stained image after correction.
  • the image processing apparatus 40 performs the calculation (addition processing) in the dye density image correction module 44 as shown in the following equation (3), thereby emphasizing the area stained with H in the DAB density image,
  • the second staining area in the double staining area can also be sharpened.
  • x, y position on the dye density image C H is H density value
  • C DAB DAB concentration values
  • gamma means a predetermined correction coefficient
  • the second staining dye concentration in the double staining area is relatively emphasized, and as a result, the double staining is performed. Area can be easily identified.
  • the image processing apparatus 40 performs color convolution of the corrected H density image, the DAB density image, and the density image of the other components in the pathological staining image regenerating module 46 as shown in FIG.
  • a pathologically stained image after correction as shown in 2.) can be generated.
  • amendment is a color image normally, it shows as a gray scale image for convenience.
  • the image processing apparatus 40 performs the calculation (subtraction processing) in the dye density image correction module 44 as shown in the following equation (4), thereby emphasizing the area stained by the DAB in the H density image,
  • the second staining area in the double staining area can also be sharpened.
  • x, y position on the dye density image C H is H density value
  • C DAB DAB concentration value
  • [delta] denotes a predetermined correction coefficient
  • the second dye concentration in the heavy dye region is It is relatively emphasized, and as a result, it becomes easy to distinguish the heavily stained area.
  • the image processing apparatus 40 causes the pathological staining image regenerating module 46 to convolute the corrected H density image, the DAB density image and the density image of the other components (color convolution) to obtain the corrected pathology. Stained images can be generated.
  • the image processing performed in the dye density image correction module 44 is not limited to the above processing, and processing for emphasizing a specific region may be added.
  • the predetermined correction coefficients ⁇ , ⁇ , ⁇ and ⁇ in the above process are not particularly limited, and can be appropriately changed according to, for example, the readability of the observer. Further, the predetermined correction coefficients ⁇ , ⁇ , ⁇ and ⁇ may be set to obtain optimum values through a learning process by machine learning.
  • the image processing apparatus 40 extracts the specific area based on the color information specific to the staining dye that has stained the specific area in the specific area extraction module 48, using the pathological staining image after correction thus obtained.
  • the pathological staining image after correction a region showing a color peculiar to hematoxylin which has stained the cell nucleus is extracted as the cell nucleus.
  • the pathological stain image after correction is output to an output unit such as a display or a printer. You may
  • Pathological Diagnosis Support System 20 Specimen Staining Means 30 Imaging Means 40 Image Processing Device 42 Dye Density Image Generation Module 44 Dye Density Image Correction Module 46 Pathological Stain Image Regeneration Module 48 Specific Region Extraction Module

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

[課題]染色の重なりを考慮した補正を行うことにより、特定領域、特に、細胞核の染色領域を明確にして、判別しやすくすることができる画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システムを提供する。 [解決手段]病理染色画像を、染色色素毎の色素濃度画像へ分解し、染色色素毎の色素の情報に相関を持たせて、各色素濃度画像を補正することで特定領域を強調する。

Description

画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
　本発明は、病理染色画像において観察したい特定領域を強調することができる画像処理装置及び画像処理方法並びにこれを用いて病理染色画像における特定領域を抽出することができる病理診断支援システムに関する。
　従来、病理診断においては、患者から採取した検体を病理医や臨床検査技師等の専門職員が顕微鏡などによって観察することにより、治療薬の選択や治療方針の指針を得ている。このような観察の際には、一般的に、複数の色素を用いて検体を染色する。
　例えば、乳癌の診断においては、細胞核を選択的に染色するヘマトキシリン（hematoxylin）と、乳癌の予後予測に関連の深い特定のタンパク質を選択的に染色するように設計されたジアミノベンジジン（ＤＡＢ）とを組み合わせた染色が行われる。
　また、このような病理診断においては、近年、機械学習の一種でありニューラルネットワークを発展させた深層学習を病理診断画像解析に適用する例が増えている。
　このような病理診断においては、上述するように複数の色素による染色を行っているため、しばしば、撮像素子により取得した検体の画像を観察者に提示する際や、機械学習の手法において識別器を学習する際には、色素基底を用いた色素毎の濃度画像への分解や、分解された画像を補正したものが用いられている。
　例えば、特許文献１では、デジタルスライド画像の表示方法について開示されており、撮影画像を各染色色素に応じた色素濃度画像へと分解して単一染色画像として提示する方法や、染色色素毎にデジタル強調処理した上で再結合して提示する方法が示されている。
　なお、色素濃度画像への分解（カラーデコンボリューション（color deconvolution））とは、撮影画像の画素毎に、以下の演算を行うことである。
　撮像素子のＲＧＢ各チャンネルに対する色素固有の吸収寄与を表す色素基底からなる行列をＭとしたとき、光学濃度（ＯＤ）に直したＲＧＢ値を並べたベクトルｙから、注目画素に含まれる色素の量を表すベクトルＣを下記式（Ａ）に基づいて推定することができる。
Figure JPOXMLDOC01-appb-M000001
　Ｍ-1は、Ｍの逆行列を表す。この式は、下記式（Ｂ）のように、物質による光の吸収を定式化したランバート・ベールの法則から導かれる。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｉ0及びＩはそれぞれ入射光の強度、物質通過後の光強度を表す。また、Ａ，ｃはそれぞれ色素の量と単位当りの吸収係数である。
特開２０１４－００２１６６号公報
　しかしながら、従来の手法では、各染色色素に応じた濃度画像への変換や、それぞれの色素濃度画像に対する補正は考慮されているものの、染色の重なりを考慮した補正はなされていなかった。
　例えば、細胞核をヘマトキシリン（Ｈ）で、細胞質もしくは細胞膜の少なくとも１つをジアミノベンジジン（ＤＡＢ）で染色し、ＤＡＢ陽性の細胞核を計測する場合、Ｈ染色領域（ヘマトキシリンによって染色された領域）に対するＤＡＢ染色領域（ＤＡＢによって染色された領域）の重なり方は多岐に亘る。
　これは、実際の検体組織は３次元に広い空間構造を持つのに対して、観察試料はそれらをスライスした剥片であることが一因である。すなわち、細胞をどこで切るかによって、細胞核の染色領域に対する、細胞質もしくは細胞膜の少なくとも１つの染色領域の重なり方にばらつきが生じる。その結果、病理医等の観察者が画像診断によりＤＡＢ陽性の細胞核を判断する場合や、機械学習の手法により識別器を学習する際に、ＤＡＢ染色の強い領域において細胞核、すなわち、Ｈ染色領域が判別しづらいという問題が生じている。
　本発明では、撮影画像に対して、染色の重なりを考慮した補正を行うことにより、特定領域、特に、細胞核の染色領域を明確にして、判別しやすくすることができる画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システムを提供することを目的とする。
　本発明は、前述したような従来技術における課題を解決するために発明されたものであって、上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像処理装置は、病理染色画像における特定領域を強調する画像処理装置であって、
　前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成モジュールと、
　前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正モジュールと、を備え、
　前記色素濃度画像補正モジュールは、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
　また、本発明の一側面を反映した病理診断支援システムは、
　診断を行う検体に染色を行う検体染色手段と、
　染色された検体の病理染色画像を撮像する撮像手段と、
　上述する画像処理装置とを備える。
　また、本発明の一側面を反映した画像処理方法は、病理染色画像における特定領域を強調する画像処理方法であって、
　前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成工程と、
　前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正工程と、を有し、
　前記色素濃度画像補正工程では、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する。
　本発明によれば、病理染色画像において観察したい特定領域について、染色の重なりを考慮した補正を行うことにより、特定領域を染色する色素の情報を増幅したり、特定領域以外を染色する色素の情報を除外したりすることで、特定領域の染色を明確にして、観察者の判読性を向上させることができる。
図１は、本発明の一実施例における病理診断支援システムの構成を説明するブロック図である。 図２は、図１に示す画像処理装置の構成を説明するブロック図である。 図３は、図２に示す画像処理装置における画像処理の流れを示すフロー図である。 図４は、病理染色画像に対して色素濃度補正を行った際の一例を示す画像である。 図５は、病理染色画像に対して色素濃度補正を行った際の別の一例を示す画像である。
　以下、本発明の実施の形態（実施例）を図面に基づいて、より詳細に説明する。
　図１は、本発明の一実施例における病理診断支援システムの構成を説明するブロック図、図２は、図１に示す画像処理装置の構成を説明するブロック図、図３は、図２に示す画像処理装置における画像処理の流れを示すフロー図である。
　図１に示すように、本実施例の病理診断支援システム１０は、診断を行う検体に染色を行う検体染色手段２０と、染色された検体の病理染色画像を撮像する撮像手段３０と、撮像された病理染色画像の解析を行う画像処理装置４０と、を備えている。
　検体染色手段２０は、検体について、複数の染色領域をそれぞれ染色するための手段である。検体染色手段２０は、既存の自動染色装置であってもよいし、細胞を染色するための試薬を含むキットとすることもできる。
　なお、本実施例においては、細胞核を第１染色領域とし、これを染色する第１染色色素としては、ヘマトキシリン（Ｈ）を用いている。また、細胞質及び細胞膜を第２染色領域とし、これを染色する第２染色色素としては、ジアミノベンジジン（ＤＡＢ）を用いている。
　複数の染色領域は、適宜設定することができ、染色色素についても、設定した染色領域を選択的に染色することができるものであれば、特に限定されるものではない。
　なお、細胞核を染色するための試薬としては、ヘマトキシリン（Ｈ）のほかにも、例えば、ケルンエヒトロート、メチルグリーンなどを用いることができる。
　また、細胞質もしくは細胞膜の少なくとも１つを染色するための試薬としては、ジアミノベンジジン（ＤＡＢ）のほかにも、例えば、ヒストグリーンなどを用いることができる。
　撮像手段３０は、染色された検体の病理染色画像を撮像するための手段である。撮像手段３０は、後述する画像処理装置４０に病理染色画像を受け渡すことから、デジタルカメラやデジタルスライドスキャナなどを用いることが好ましい。なお、必要に応じて、顕微鏡や、ノイズを低減するためのローパスフィルタなどを含むことができる。
　なお、撮像手段３０により病理染色画像を撮像する際には、検体の存在しない領域、例えば、検体を挟持するスライドガラスのガラス領域などにおいて、予めホワイトバランス補正を行うことが好ましい。
　画像処理装置４０は、入力された病理染色画像に対して後述するような画像解析を行うための手段である。画像処理装置４０は、例えば、演算装置、制御装置、記憶装置、入力装置及び出力装置を含む公知のコンピュータやマイコンなどによって構成される。なお、コンピュータは、パーソナルコンピュータであってもよいし、サーバーであってもよい。
　また、画像処理装置４０は、色素濃度画像生成モジュール４２と、色素濃度画像補正モジュール４４と、病理染色画像再生成モジュール４６と、特定領域抽出モジュール４８と、を含む。
　なお、これらのモジュールは、画像処理装置４０によって実行可能なプログラムとして実現することができる。
　このように構成される病理診断支援システム１０では、検体染色手段２０により染色された検体について、撮像手段３０により病理染色画像を撮像し、撮像された病理染色画像を画像処理装置４０に入力することにより、画像処理装置４０では、図３に示す流れで、検体の病理染色画像から細胞核領域の抽出を行う。
　まず、画像処理装置４０は、色素濃度画像生成モジュール４２において、入力された病理染色画像を、染色色素毎の色素濃度画像へ分離する。本実施例においては、Ｈ濃度画像、ＤＡＢ濃度画像、その他の成分の濃度画像の３種類の色素濃度画像へ分離する。
　ここで、色素濃度画像への分離には、従来既知の手法である、色素基底を用いたカラーデコンボリューション（color deconvolution）の手法を用いることができる。これにより、検体毎に異なる撮影条件のもと撮像された病理染色画像に対しても、それぞれ別の色素基底を用いることにより、同等の撮影条件のもと撮像された場合と同等の色素濃度画像を生成することができる。
　次いで、画像処理装置４０は、色素濃度画像補正モジュール４４において、色素濃度画像を用いて、特定領域を強調するため画像処理により濃度補正を行う。本実施例においては、第１染色領域（細胞核領域）の強調処理を行う。
　具体的には、特定領域である第１染色領域を染色する第１染色色素に基づく第１染色色素濃度画像と、非特定領域である第２染色領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を用いて、以下のような演算を行うことにより、第１染色領域の強調処理を行うことができる。
　画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（１）のような演算（減算処理）を行うことにより、ＨとＤＡＢにより重染色された領域から、ＤＡＢの重なりを除去することにより、ＤＡＢ領域に包含されたＨ領域を鮮明化させることができる。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、αは所定の補正係数を意味する。
　このように、第２染色領域に対し、同一位置の第１染色色素濃度に比例した減算処理を施すことにより、重染色領域における第１染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
　そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＤＡＢ濃度画像と、Ｈ濃度画像及びその他の成分の濃度画像とを、畳み込む（convolution）ことにより、補正後の病理染色画像を生成することができる。
　図４は、病理染色画像を上述する減算処理により色素濃度補正を行った際の一例を示す画像である。
　図４（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図４（ｂ）は、Ｈ濃度画像、図４（ｃ）は、ＤＡＢ濃度画像である。
　色素濃度画像補正モジュール４４では、このＨ濃度画像とＤＡＢ濃度画像を用いて、上記式（１）の演算を行う。本実施例では、α＝０．５として演算した。図４（ｄ）は、補正後のＤＡＢ濃度画像である。
　そして、図４（ｂ）に示すＨ濃度画像と、図４（ｄ）に示す補正後のＤＡＢ濃度画像と、図示しないその他の成分の濃度画像と、を畳み込むことによって、重染色領域における第１染色領域が鮮明化された病理染色画像が生成される。図４（ｅ）は、補正後の病理染色画像である。
　また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（２）のような演算（加算処理）を行うことにより、Ｈ濃度画像においてＨにより染色された領域を強調することにより、ＤＡＢ領域に包含されたＨ領域を鮮明化させることもできる。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、βは所定の補正係数を意味する。
　このように、第１染色領域に対し、自身の染色色素濃度と、同一位置にある第２染色色素濃度との積に比例した加算処理を施すことにより、重染色領域における第１染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
　そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、図４（ｅ）に示すような補正後の病理染色画像を生成することができる。なお、補正後の病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。
　図５は、病理染色画像を上述する加算処理により色素濃度補正を行った際の一例を示す画像である。
　図５（ａ）は、画像処理装置４０に入力された病理染色画像である。なお、病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。これを、色素濃度画像生成モジュール４２において各色素濃度画像へと分離する。図５（ｂ）は、Ｈ濃度画像、図５（ｃ）は、ＤＡＢ濃度画像である。
　色素濃度画像補正モジュール４４では、このＨ濃度画像とＤＡＢ濃度画像を用いて、上記式（２）の演算を行う。本実施例では、β＝０．７５として演算した。図５（ｄ）は、補正後のＨ濃度画像である。
　そして、図５（ｄ）に示す補正後のＨ濃度画像と、図５（ｃ）に示すＤＡＢ濃度画像と、図示しないその他の成分の濃度画像と、を畳み込むことによって、重染色領域における第１染色領域が鮮明化された病理染色画像が生成される。図５（ｅ）は、補正後の病理染色画像である。
　また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（３）のような演算（加算処理）を行うことにより、ＤＡＢ濃度画像においてＨにより染色された領域を強調することにより、重染色領域における第２染色領域を鮮明化させることもできる。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、γは所定の補正係数を意味する。
　このように、第２染色領域に対し、同一位置の第１染色色素濃度に比例した加算処理を施すことにより、重染色領域における第２染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
　そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、図５（ｅ）に示すような補正後の病理染色画像を生成することができる。なお、補正後の病理染色画像は通常カラー画像であるが、便宜上グレースケール画像として示す。
　また、画像処理装置４０は、色素濃度画像補正モジュール４４において、下記式（４）のような演算（減算処理）を行うことにより、Ｈ濃度画像においてＤＡＢにより染色された領域を強調することにより、重染色領域における第２染色領域を鮮明化させることもできる。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｘ，ｙは色素濃度画像上の位置、ＣHはＨ濃度値、ＣDABはＤＡＢ濃度値、δは所定の補正係数を意味する。
　このように、第１染色領域に対し、自身の染色色素濃度と、同一位置にある第２染色色素濃度との積に比例した減算処理を施すことにより、重染色領域における第２染色色素濃度が相対的に強調され、結果として重染色された領域が判別しやすくなる。
　そして、画像処理装置４０は、病理染色画像再生成モジュール４６において、補正されたＨ濃度画像と、ＤＡＢ濃度画像及びその他の成分の濃度画像とを、畳み込む（color convolution）ことにより、補正後の病理染色画像を生成することができる。
　なお、色素濃度画像補正モジュール４４において行われる画像処理は、上記の処理に限定されるものではなく、特定領域を強調するための処理を追加することもできる。また、上記の処理における所定の補正係数α、β、γ、δは、特に限定されるものではなく、例えば、観察者の判読性に応じて適宜変更することができる。また、所定の補正係数α、β、γ、δは、機械学習による学習過程を通じて最適値を得るようにすることもできる。
　このようにして得られた補正後の病理染色画像を用いて、画像処理装置４０は、特定領域抽出モジュール４８において、特定領域を染色した染色色素特有の色情報に基づき、特定領域を抽出する。本実施例においては、補正後の病理染色画像において、細胞核を染色したヘマトキシリン特有の色を示す領域を細胞核として抽出させる。
　なお、画像処理装置４０の特定領域抽出モジュール４８により、補正後の病理染色画像から特定領域を抽出せずに、例えば、ディスプレイやプリンタなどの出力手段に、補正後の病理染色画像を出力するようにしてもよい。
　以上、本発明の好ましい実施の態様を説明してきたが、本発明はこれに限定されることはなく、本発明の目的を逸脱しない範囲で種々の変更が可能である。
１０　　　病理診断支援システム
２０　　　検体染色手段
３０　　　撮像手段
４０　　　画像処理装置
４２　　　色素濃度画像生成モジュール
４４　　　色素濃度画像補正モジュール
４６　　　病理染色画像再生成モジュール
４８　　　特定領域抽出モジュール

Claims (19)

  1. 　病理染色画像における特定領域を強調する画像処理装置であって、
    　前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成モジュールと、
    　前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正モジュールと、を備え、
    　前記色素濃度画像補正モジュールは、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する画像処理装置。
  2. 　前記色素濃度画像生成モジュールは、色素基底に基づいたカラーデコンボリューション（color deconvolution）の手法により各色素濃度画像を生成する請求項１に記載の画像処理装置。
  3. 　前記色素濃度画像生成モジュールは、
    　前記病理染色画像において特定領域を染色する第１染色色素に基づく第１染色色素濃度画像と、
    　前記病理染色画像において非特定領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を少なくとも含む複数の前記色素濃度画像に分解する請求項１または２に記載の画像処理装置。
  4. 　前記色素濃度画像補正モジュールは、
    　前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第２染色色素濃度画像を補正する請求項３に記載の画像処理装置。
  5. 　前記色素濃度画像補正モジュールは、
    　前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第１染色色素濃度画像を補正する請求項３に記載の画像処理装置。
  6. 　前記色素濃度画像補正モジュールは、
    　前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第２染色色素濃度画像を補正する請求項３に記載の画像処理装置。
  7. 　前記色素濃度画像補正モジュールは、
    　前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第１染色色素濃度画像を補正する請求項３に記載の画像処理装置。
  8. 　前記所定の補正係数は、機械学習による学習過程を通じて得られた最適値である請求項４から７のいずれかに記載の画像処理装置。
  9. 　前記色素濃度画像補正モジュールにおいて補正された前記各色素濃度画像に基づき、補正後の病理染色画像を生成する病理染色画像再生成モジュールをさらに備える請求項１から８のいずれかに記載の画像処理装置。
  10. 　前記病理染色画像再生成モジュールにおいて生成された補正後の病理染色画像から、前記特定領域を染色した染色色素特有の色情報に基づき、前記特定領域を抽出する特定領域抽出モジュールをさらに備える請求項９に記載の画像処理装置。
  11. 　診断を行う検体に染色を行う検体染色手段と、
    　染色された検体の病理染色画像を撮像する撮像手段と、
    　請求項１から１０のいずれかに記載の画像処理装置と、を備える病理診断支援システム。
  12. 　病理染色画像における特定領域を強調する画像処理方法であって、
    　前記病理染色画像を、染色色素毎の色素濃度画像へ分解する色素濃度画像生成工程と、
    　前記各色素濃度画像を用いて、前記特定領域を強調するための画像処理を行う色素濃度画像補正工程と、を有し、
    　前記色素濃度画像補正工程では、前記染色色素毎の色素の情報に相関を持たせて、前記各色素濃度画像を補正する画像処理方法。
  13. 　前記色素濃度画像生成工程では、色素基底に基づいたカラーデコンボリューション（color deconvolution）の手法により各色素濃度画像を生成する請求項１２に記載の画像処理方法。
  14. 　前記色素濃度画像生成工程では、
    　前記病理染色画像において特定領域を染色する第１染色色素に基づく第１染色色素濃度画像と、
    　前記病理染色画像において非特定領域を染色する第２染色色素に基づく第２染色色素濃度画像と、を少なくとも含む複数の前記色素濃度画像に分解する請求項１２または１３に記載の画像処理方法。
  15. 　前記色素濃度画像補正工程では、
    　前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第２染色色素濃度画像を補正する請求項１４に記載の画像処理方法。
  16. 　前記色素濃度画像補正工程では、
    　前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第１染色色素濃度画像を補正する請求項１４に記載の画像処理方法。
  17. 　前記色素濃度画像補正工程では、
    　前記第２染色色素濃度画像に対して、同一位置の前記第１染色色素濃度画像の色素濃度と、所定の補正係数との積を加算処理し、前記第２染色色素濃度画像を補正する請求項１４に記載の画像処理方法。
  18. 　前記色素濃度画像補正工程では、
    　前記第１染色色素濃度画像に対して、該第１染色色素濃度画像の色素濃度と、同一位置の前記第２染色色素濃度画像の色素濃度と、所定の補正係数との積を減算処理し、前記第１染色色素濃度画像を補正する請求項１４に記載の画像処理方法。
  19. 　前記所定の補正係数は、機械学習による学習過程を通じて得られた最適値である請求項１５から１８のいずれかに記載の画像処理方法。
PCT/JP2018/020042 2017-07-05 2018-05-24 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム WO2019008935A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/615,311 US11238268B2 (en) 2017-07-05 2018-05-24 Image processing device, image processing method, and pathological diagnosis assistance system using same
JP2019528398A JP7215418B2 (ja) 2017-07-05 2018-05-24 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
EP18828829.4A EP3650837A4 (en) 2017-07-05 2018-05-24 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PATHOLOGICAL DIAGNOSIS ASSISTANCE SYSTEM USING THE SAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-131770 2017-07-05
JP2017131770 2017-07-05

Publications (1)

Publication Number Publication Date
WO2019008935A1 true WO2019008935A1 (ja) 2019-01-10

Family

ID=64950791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020042 WO2019008935A1 (ja) 2017-07-05 2018-05-24 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム

Country Status (4)

Country Link
US (1) US11238268B2 (ja)
EP (1) EP3650837A4 (ja)
JP (1) JP7215418B2 (ja)
WO (1) WO2019008935A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100254589A1 (en) * 2007-12-04 2010-10-07 University College Dublin National University Of Ireland Method and system for image analysis
US20110026803A1 (en) * 2009-07-31 2011-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
JP2012122852A (ja) * 2010-12-08 2012-06-28 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2014002166A (ja) 2007-09-21 2014-01-09 Aperio Technologies Inc デジタルスライド画像を表示する方法
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ， インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5104282B2 (ja) * 2007-12-18 2012-12-19 日本電気株式会社 画像補正方法および画像補正装置
JP6443450B2 (ja) * 2014-09-19 2018-12-26 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2018131091A1 (ja) * 2017-01-11 2019-12-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002166A (ja) 2007-09-21 2014-01-09 Aperio Technologies Inc デジタルスライド画像を表示する方法
US20100254589A1 (en) * 2007-12-04 2010-10-07 University College Dublin National University Of Ireland Method and system for image analysis
US20110026803A1 (en) * 2009-07-31 2011-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
JP2012122852A (ja) * 2010-12-08 2012-06-28 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ， インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析

Also Published As

Publication number Publication date
JP7215418B2 (ja) 2023-01-31
JPWO2019008935A1 (ja) 2020-05-21
EP3650837A1 (en) 2020-05-13
EP3650837A4 (en) 2020-05-27
US11238268B2 (en) 2022-02-01
US20200134286A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
EP1978486B1 (en) Method of image analysis based on chromogen separation
CN114945954A (zh) 使用深度学习进行显微图像的数字染色的方法和系统
JP4740068B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
EP3662448A1 (en) System and method for color deconvolution of a slide image to assist in the analysis of tissue specimen
US9406118B2 (en) Stain image color correcting apparatus, method, and system
US20220318969A1 (en) Method for providing an image representation by means of a surgical microscope, and surgical microscope
JP7470339B2 (ja) 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム
WO2019008935A1 (ja) 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
EP2697737B1 (en) Method for optimization of quantitative video-microscopy and associated system
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN114898862A (zh) 基于卷积神经网络和病理切片图像的宫颈癌计算机辅助诊断方法
US8295562B2 (en) Medical image modification to simulate characteristics
Knapp et al. Combined flat-field and frequency filter approach to correcting artifacts of multichannel two-photon microscopy
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
La et al. UMapβ: A Semi-automatic Image Analysis Assistant Bridging the Gap between Experimentalists and Image Analysis Specialists
WO2023197081A1 (en) Systems and methods for performing stain deconvolution
Eminizer Correcting for Systematics in Multiplex Cancer Imaging in the AstroPath Project
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
Rabinovich et al. Quantitative spectral decomposition for stained tissue analysis
Leea et al. QuPath. A new digital imaging tool for geropathology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828829

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528398

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018828829

Country of ref document: EP

Effective date: 20200205