JP5995215B2 - Cancer cell region extraction apparatus, method, and program - Google Patents

Cancer cell region extraction apparatus, method, and program Download PDF

Info

Publication number
JP5995215B2
JP5995215B2 JP2012110839A JP2012110839A JP5995215B2 JP 5995215 B2 JP5995215 B2 JP 5995215B2 JP 2012110839 A JP2012110839 A JP 2012110839A JP 2012110839 A JP2012110839 A JP 2012110839A JP 5995215 B2 JP5995215 B2 JP 5995215B2
Authority
JP
Japan
Prior art keywords
region
image
cell nucleus
normal
normal cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012110839A
Other languages
Japanese (ja)
Other versions
JP2013238459A (en
Inventor
裕 竹村
裕 竹村
高橋 潤子
潤子 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Science
Original Assignee
Tokyo University of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Science filed Critical Tokyo University of Science
Priority to JP2012110839A priority Critical patent/JP5995215B2/en
Publication of JP2013238459A publication Critical patent/JP2013238459A/en
Application granted granted Critical
Publication of JP5995215B2 publication Critical patent/JP5995215B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、癌細胞領域抽出装置、方法、及びプログラムに係り、特に、癌細胞領域の特定に好適な癌細胞領域抽出装置、方法、及びプログラムに関する。   The present invention relates to a cancer cell region extraction device, method, and program, and more particularly, to a cancer cell region extraction device, method, and program suitable for identifying a cancer cell region.

従来、撮像された病理組織標本画像(以下、生検画像ともいう)に対してコンピュータによる画像処理を行なうことで病理診断を支援する技術が種々提案されている。例えば、特許文献1の技術では、正常部位と癌部位をそれぞれ選択的に染色するような2種類の染料で病理標本を染色し、更にスペクトル画像からランベルト・ベールの法則を用いて染色濃度を評価し、癌細胞の有無を判定している。   Conventionally, various techniques for supporting pathological diagnosis by performing image processing by a computer on a captured pathological tissue specimen image (hereinafter also referred to as a biopsy image) have been proposed. For example, in the technique of Patent Document 1, a pathological specimen is stained with two types of dyes that selectively stain a normal site and a cancer site, and the staining density is evaluated from a spectral image using the Lambert-Beer law. The presence or absence of cancer cells is determined.

また、特許文献2では、病理標本画像から細胞核(以下単に核ともいう)と腔を抽出し、核同士の重なりや腔同士の距離を評価し、患部が良性であるか悪性であるかを判断している。   In Patent Document 2, cell nuclei (hereinafter also simply referred to as nuclei) and cavities are extracted from pathological specimen images, and the overlap between nuclei and the distance between cavities are evaluated to determine whether the affected area is benign or malignant. doing.

また、特許文献3では、病理組織標本画像を画像処理することで、核と細胞質の分布を定量的に求め、求めた核と細胞質の正確な分布に基づいて病理診断を行う技術が記載されている。   Patent Document 3 describes a technique for quantitatively determining the distribution of nuclei and cytoplasm by performing image processing on a pathological tissue specimen image and performing pathological diagnosis based on the obtained accurate distribution of nuclei and cytoplasm. Yes.

また、特許文献4においては、生検画像から間質領域、腺管領域、及び細胞核領域を分割する際に、各領域の形状に依存することなく、各領域の色情報および相対的な位置関係に基づいて、領域分割を自動的に行えるようにした技術が開示されている。   In Patent Document 4, when dividing a stroma region, a gland duct region, and a cell nucleus region from a biopsy image, the color information and relative positional relationship of each region are independent of the shape of each region. Based on the above, there is disclosed a technique that can automatically perform region division.

また、非特許文献1の技術では、HE染色(ヘマトキシリン・エオジン染色)された病理標本のスペクトル画像を用い、各染料の染色濃度をランベルト・ベールの法則に従って、赤血球等の異物も考慮した上で定量的に評価している。   In the technique of Non-Patent Document 1, spectral images of HE-stained (hematoxylin and eosin-stained) pathological specimens are used, and the staining concentration of each dye is taken into consideration of foreign substances such as red blood cells according to the Lambert-Beer law. Quantitative evaluation.

特表2001−525580号公報Special table 2001-525580 gazette 特開2001−59842号公報JP 2001-59842 A 特開2004−286666号公報JP 2004-286666 A 特開2009−210409号公報JP 2009-210409 A

「分光透過率を用いた組織標本の分析−染色状態の定量化手法の検討」(藤井他、第3回デジタル生体医用画像の「色」シンポジウム)"Analysis of tissue specimens using spectral transmittance-Examination of quantification method of staining state" (Fujii et al., 3rd "Color" Symposium on Digital Biomedical Images)

病理医は、上述のような病理診断支援技術の出力結果をもとに、病理標本の画像から対象となる領域を特定し、特定した領域において目視による癌細胞の診断を行なう。かかる診断は、画像上の微細の変異を見逃さないように病理医に対して長時間の集中を強いるため、病理標本における目的とする癌細胞の領域の特性精度を高める病理診断支援技術が求められている。   Based on the output result of the pathological diagnosis support technique as described above, the pathologist specifies a target region from the image of the pathological specimen and visually diagnoses cancer cells in the specified region. Since such a diagnosis forces a pathologist to concentrate for a long time so as not to miss a minute variation on the image, there is a need for a pathological diagnosis support technology that increases the characteristic accuracy of the target cancer cell region in the pathological specimen. ing.

しかしながら、生体組織は個体差が大きく、さらに、染色条件や観察条件の変動も考慮に入れる必要があり、病理組織標本画像から目的の領域を精度良く特定することは単純な画像処理では困難である。特に、癌細胞の部位では核のコントラストが低下することに加え、膨張した核同士が3次元的に重なり合って観察される為、癌細胞核を精度良く認識して癌細胞領域を特定することはさらに困難である。   However, there are large individual differences in living tissue, and it is necessary to take into account variations in staining conditions and observation conditions, and it is difficult to accurately identify a target region from a pathological tissue specimen image with simple image processing. . In particular, in addition to the decrease in the contrast of the nuclei at the cancer cell site, the expanded nuclei are observed in a three-dimensional overlapping manner. Have difficulty.

例えば、特許文献1では、癌部位と正常部位とを選択的に染色する染料の使用を前提とした癌部位判定方法を提供するが、病理学の領域で広く用いられているHE染色は単に核と細胞質を選択的に染色するのみであり、癌部位と正常部位とを選択できない。従って、癌部位に対する選択性を持つ染色を別途施す必要がある。   For example, Patent Document 1 provides a cancer site determination method based on the use of a dye that selectively stains a cancer site and a normal site, but HE staining widely used in the field of pathology is simply a nucleus. Only the cytoplasm is selectively stained, and the cancer site and the normal site cannot be selected. Therefore, it is necessary to separately perform staining having selectivity for the cancer site.

また、非特許文献1では、単に、染色状態の良否判定や補正を目的として、HE染色標本のスペクトル画像にランベルト・ベールの法則を適用し、ヘマトキシリンとエオジンそれぞれの染色濃度を定量的に評価する技術が記載されているだけで、病理学的診断に関しての技術は開示されていない。   In Non-Patent Document 1, Lambert-Beer's law is applied to a spectral image of a HE-stained specimen simply for the purpose of determining the quality of the staining state and correcting it, and quantitatively evaluates the staining concentrations of hematoxylin and eosin. Only the technology is described, and no technology related to pathological diagnosis is disclosed.

また、特許文献2では、核および腔の形状や分布を用いて診断を行うことが記載されているが、核や腔を具体的にどのように特定するかは開示されていない。   Moreover, although patent document 2 describes performing a diagnosis using the shape and distribution of a nucleus and a cavity, it does not disclose how to specifically identify a nucleus or a cavity.

また、特許文献4では、生検画像から間質領域、腺管領域、細胞核領域などを分割することはできるが、生検画像における癌細胞領域を特定することはできない。   In Patent Document 4, a stroma region, a gland duct region, a cell nucleus region, and the like can be divided from a biopsy image, but a cancer cell region in the biopsy image cannot be specified.

本発明は、上記問題点を解決するためになされたものであり、染色された生検標本のカラー生検画像から癌細胞核領域を精度良く特定することが可能な癌細胞領域抽出装置、方法、及びプログラムを提供することを目的とする。   The present invention has been made to solve the above problems, and a cancer cell region extraction apparatus, method, and the like that can accurately identify a cancer cell nucleus region from a color biopsy image of a stained biopsy specimen, And to provide a program.

上記目的を達成するために、本発明の癌細胞領域抽出装置は、HSV色空間において背景領域と背景以外の背景外領域とが区別できるように生検画像を二値化した第1の二値化画像を生成する第1の画像生成手段と、RGB色空間において細胞質領域及び赤血球領域と細胞質領域及び赤血球領域以外の細胞質等外領域とが区別できるように前記生検画像を二値化した第2の二値化画像を生成する第2の画像生成手段と、前記第1の二値化画像と前記第2の二値化画像とを用いて、前記背景外領域と前記細胞質等外領域とを含む領域を細胞核領域として、該細胞核領域が前記背景領域と前記細胞質領域及び赤血球領域とから区別できるようにした第3の二値化画像を生成する第3の画像生成手段と、前記第3の二値化画像における細胞核領域において癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第4の画像生成手段と、YCbCr色空間において癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第5の画像生成手段と、前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する第6の画像生成手段と、を備えている。   In order to achieve the above object, the cancer cell region extraction apparatus of the present invention is a first binary that binarizes a biopsy image so that a background region and a non-background region other than the background can be distinguished in the HSV color space. First biometric image binarized so that a first image generating means for generating a digitized image and a cytoplasmic region and a red blood cell region and a cytoplasmic region other than the cytoplasmic region and a cytoplasmic region other than the red blood cell region can be distinguished in the RGB color space Using the second image generation means for generating two binarized images, the first binarized image and the second binarized image, the out-of-background region and the out-of-cytoplasmic region, etc. A third image generating means for generating a third binarized image in which the cell nucleus region can be distinguished from the background region, the cytoplasmic region, and the red blood cell region. Cell nucleus region in binary image And a fourth image generation means for generating a first normal cell nucleus region image indicating a normal cell nucleus region that does not correspond to a cancer cell, a normal cell nucleus region that does not correspond to a cancer cell in the YCbCr color space, and a region other than the normal cell nucleus A fifth image generation means for generating a second normal cell nucleus region image obtained by binarizing the biopsy image so as to distinguish between the first normal cell nucleus region image and the second normal cell nucleus region image. And a sixth image generation means for generating a cancer cell region image in which any region that is not a normal cell nucleus region is a region composed of cancer cell nuclei.

このように、前記第4の画像生成手段と前記第5の画像生成手段の、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域として抽出されていない領域を癌細胞核からなる領域として抽出しているので、各々の画像処理で誤って抽出した正常な細胞領域を除去した上で、癌細胞領域を抽出することができる。   Thus, using the first normal cell nucleus region image and the second normal cell nucleus region image generated by the different image processing of the fourth image generation unit and the fifth image generation unit, respectively, In any case, the region that is not extracted as a normal cell nucleus region is extracted as a region consisting of cancer cell nuclei, so the normal cell region that was mistakenly extracted in each image processing is removed, and then the cancer cell region is Can be extracted.

なお、前記第1の画像生成手段は、HSV色空間における彩度を用いて予め定められた背景領域用の閾値に基づいて前記生検画像を二値化し、前記第2の画像生成手段は、前記カラー生検画像のピクセル毎にRGB色空間における青色を赤色で除算した後、予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を、RGB色空間において予め定められた細胞質領域及び赤血球領域用の閾値に基づいて前記生検画像を二値化し、前記第5の画像生成手段は、予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を、YCbCr色空間における色差Crを色差Cbで除算して前記生検画像を二値化する。   The first image generation means binarizes the biopsy image based on a predetermined threshold for the background region using the saturation in the HSV color space, and the second image generation means After dividing blue in the RGB color space by red for each pixel of the color biopsy image, the grayscale image is generated by scaling based on a predetermined scaling correction value, and the generated grayscale image is converted to RGB color. The biopsy image is binarized based on a predetermined cytoplasmic region and a threshold value for a red blood cell region in space, and the fifth image generation unit performs scaling based on a predetermined scaling correction value and performs grayscale scaling. An image is generated, and the generated grayscale image is binarized by dividing the color difference Cr in the YCbCr color space by the color difference Cb.

また、前記第5の画像生成手段で用いる前記スケーリング補正値は、前記第1の画像生成手段で生成された前記第2の二値化画像における前記背景領域以外の前記生検画像における領域を対象としてHSV色空間における彩度で濃度平均を算出した値xを用いた式「300−x/3」で算出する。   Further, the scaling correction value used in the fifth image generation means targets an area in the biopsy image other than the background area in the second binarized image generated by the first image generation means. As an expression “300−x / 3” using the value x obtained by calculating the density average with the saturation in the HSV color space.

また、前記第4の画像生成手段は、予め定められた細胞核サイズ閾値以下の大きさの細胞核を含む領域を前記正常な細胞核の領域とする。   In addition, the fourth image generation unit sets a region including a cell nucleus having a size equal to or smaller than a predetermined cell nucleus size threshold as the normal cell nucleus region.

また、前記第4の画像生成手段は、サポートベクターマシンを用いて前記正常な細胞核を特定する。   In addition, the fourth image generation means specifies the normal cell nucleus using a support vector machine.

また、前記第4の画像生成手段は、前記サポートベクターマシンにおいて、高次局所自己相関特徴量を用いたパターン識別を行い、前記サポートベクターマシンは、前記第3の画像生成手段により生成された第3の二値化画像の細胞核領域から算出された高次局所自己相関特徴量を用いてパターン識別を行い前記正常な細胞核を特定する。   Further, the fourth image generation means performs pattern identification using higher-order local autocorrelation features in the support vector machine, and the support vector machine generates the first image generated by the third image generation means. Pattern identification is performed using the higher-order local autocorrelation feature amount calculated from the cell nucleus region of the binarized image of No. 3, and the normal cell nucleus is specified.

さらに、上記目的を達成するために、本発明の癌細胞領域抽出装置は、生検画像から癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第1の正常細胞核領域画像生成手段と、YCbCr色空間において前記癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第2の正常細胞核領域画像生成手段と、前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する癌細胞領域画像生成手段と、を備えている。   Furthermore, in order to achieve the above object, the cancer cell region extraction apparatus of the present invention generates a first normal cell nucleus region image that generates a first normal cell nucleus region image indicating a region of normal cell nuclei that does not correspond to a cancer cell from a biopsy image. A second normal cell nucleus image obtained by binarizing the biopsy image so that a region image generation means and a normal cell nucleus region not corresponding to the cancer cell and a region other than the normal cell nucleus can be distinguished in the YCbCr color space; A second normal cell nucleus region image generating means, and a region not defined as a normal cell nucleus region in any of the first normal cell nucleus region image and the second normal cell nucleus region image is defined as a region composed of cancer cell nuclei. Cancer cell region image generation means for generating a cancer cell region image.

なお、前記第2の正常細胞核領域画像生成手段は、予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を、YCbCr色空間における色差Crを色差Cbで除算して前記生検画像を二値化する。   The second normal cell nucleus region image generation means generates a grayscale image by scaling based on a predetermined scaling correction value, and converts the generated grayscale image into a color difference Cr in the YCbCr color space. The biopsy image is binarized by dividing by.

また、前記第1の正常細胞核領域画像生成手段は、サポートベクターマシンを用いて、高次局所自己相関特徴量を用いたパターン識別を行い前記正常な細胞核を特定する。   In addition, the first normal cell nucleus region image generation means identifies the normal cell nucleus by performing pattern identification using a higher-order local autocorrelation feature using a support vector machine.

一方、上記目的を達成するために、本発明の癌細胞領域抽出方法は、HSV色空間において背景領域と背景以外の背景外領域とが区別できるように生検画像を二値化した第1の二値化画像を生成する第1の画像生成手順と、RGB色空間において細胞質領域及び赤血球領域と細胞質領域及び赤血球領域以外の細胞質等外領域とが区別できるように前記生検画像を二値化した第2の二値化画像を生成する第2の画像生成手順と、前記第1の二値化画像と前記第2の二値化画像とを用いて、前記背景外領域と前記細胞質等外領域とを含む領域を細胞核領域として、該細胞核領域が前記背景領域と前記細胞質領域及び赤血球領域とから区別できるようにした第3の二値化画像を生成する第3の画像生成手順と、前記第3の二値化画像における細胞核領域において癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第4の画像生成手順と、YCbCr色空間において癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第5の画像生成手順と、前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する第6の画像生成手順と、を含む。   On the other hand, in order to achieve the above object, the cancer cell region extraction method of the present invention is a first method in which a biopsy image is binarized so that a background region and a non-background region other than the background can be distinguished in the HSV color space. The biopsy image is binarized so that a first image generation procedure for generating a binarized image and a cytoplasmic region and a red blood cell region and a cytoplasmic region other than the cytoplasmic region and the extracytoplasmic region other than the red blood cell region can be distinguished in the RGB color space. And using the second image generation procedure for generating the second binarized image, the first binarized image and the second binarized image, the out-of-background region and the outside of the cytoplasm, etc. A region including a region as a cell nucleus region, a third image generation procedure for generating a third binarized image in which the cell nucleus region can be distinguished from the background region, the cytoplasm region, and the red blood cell region, Cell nucleus in the third binarized image A fourth image generation procedure for generating a first normal cell nucleus region image indicating a normal cell nucleus region that does not correspond to a cancer cell in the region, and a normal cell nucleus region that does not correspond to a cancer cell and a region other than the normal cell nucleus in the YCbCr color space A fifth image generation procedure for generating a second normal cell nucleus region image obtained by binarizing the biopsy image so that the biopsy image can be distinguished from each other, the first normal cell nucleus region image, and the second normal cell nucleus region image And a sixth image generation procedure for generating a cancer cell region image in which a region not defined as a normal cell nucleus region is defined as a region composed of cancer cell nuclei.

このように、前記第4の画像生成手順と前記第5の画像生成手順の、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域として抽出されていない領域を癌細胞核からなる領域として抽出しているので、各々の画像処理で誤って抽出した正常な細胞領域を除去した上で、癌細胞領域を抽出することができる。   In this way, using the first normal cell nucleus region image and the second normal cell nucleus region image generated by different image processing of the fourth image generation procedure and the fifth image generation procedure, respectively, In any case, the region that is not extracted as a normal cell nucleus region is extracted as a region consisting of cancer cell nuclei, so the normal cell region that was mistakenly extracted in each image processing is removed, and then the cancer cell region is Can be extracted.

さらに、上記目的を達成するために、本発明の癌細胞領域抽出方法は、生検画像から癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第1の正常細胞核領域画像生成手順と、YCbCr色空間において前記癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第2の正常細胞核領域画像生成手順と、前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する癌細胞領域画像生成手順と、を含む。   Furthermore, in order to achieve the above object, the cancer cell region extraction method of the present invention provides a first normal cell nucleus that generates a first normal cell nucleus region image indicating a region of normal cell nuclei that does not correspond to cancer cells from a biopsy image. A region image generation procedure and a second normal cell nucleus region image obtained by binarizing the biopsy image so that a normal cell nucleus region that does not correspond to the cancer cell and a region other than the normal cell nucleus can be distinguished in the YCbCr color space A second normal cell nucleus region image generation procedure, and a region not defined as a normal cell nucleus region in any of the first normal cell nucleus region image and the second normal cell nucleus region image is defined as a region composed of cancer cell nuclei. A cancer cell region image generation procedure for generating a cancer cell region image.

一方、上記目的を達成するために、本発明のプログラムは、コンピュータを、前記癌細胞領域抽出装置として機能させるためのプログラムであり、このプログラムをコンピュータに実行させることにより、各々異なる画像処理で誤って抽出した正常な細胞領域を除去した上で、癌細胞領域を抽出することができる。   On the other hand, in order to achieve the above object, the program of the present invention is a program for causing a computer to function as the cancer cell region extracting device, and by causing the computer to execute the program, each of the programs is erroneously performed with different image processing. After removing the normal cell region extracted in this manner, the cancer cell region can be extracted.

本発明によれば、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域とされていない領域を癌細胞核からなる領域としているので、各々の画像処理で誤って特定した正常な細胞領域を除去した上で、癌細胞領域を特定することができる。このように、本発明は、診断支援の段階で特定する癌細胞領域を小さく見積もることを防止してグレーゾーンを残せるため、病理医の診断前に断定的な癌細胞領域の特定を行わず、常に安全側の処理をすることできる。そして、これにより、染色された生検標本のカラー生検画像から癌細胞核領域を精度良く特定して病理医に提供することができるので、病理医の目視による癌細胞の診断の迅速化及び負荷を軽減させることが可能となる。   According to the present invention, by using the first normal cell nucleus region image and the second normal cell nucleus region image respectively generated by different image processing, a region that is not regarded as a normal cell nucleus region in any of them is cancerated. Since the region is composed of cell nuclei, the cancer cell region can be specified after removing the normal cell region erroneously specified in each image processing. In this way, the present invention prevents the estimation of a cancer cell region that is specified at the stage of diagnosis support and can leave a gray zone, and therefore does not specify a definitive cancer cell region before diagnosis by a pathologist, The safe side can always be processed. This makes it possible to accurately identify the cancer cell nucleus region from the color biopsy image of the stained biopsy specimen and provide it to the pathologist. Can be reduced.

実施の形態に係る癌細胞領域抽出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置のコンピュータ構成例を示すブロック図である。It is a block diagram which shows the computer structural example of the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置の処理対象となる全体の生検画像例を示す説明図である。It is explanatory drawing which shows the example of the whole biopsy image used as the process target of the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置の処理対象となる癌細胞核を含む生検画像例を示す説明図である。It is explanatory drawing which shows the example of the biopsy image containing the cancer cell nucleus used as the process target of the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置の処理対象となる小領域の生検画像例を示す説明図である。It is explanatory drawing which shows the biopsy image example of the small area | region used as the process target of the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における背景領域画像生成部で生成された2値化画像例を示す説明図である。It is explanatory drawing which shows the example of the binarized image produced | generated by the background area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における細胞質・赤血球領域画像生成部で生成された2値化画像例を示す説明図である。It is explanatory drawing which shows the example of the binarized image produced | generated by the cytoplasm and erythrocyte area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における細胞核領域画像生成部で生成された2値化画像例を示す説明図である。It is explanatory drawing which shows the example of the binarized image produced | generated by the cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における第1の正常細胞核領域画像生成部の処理対象となる生検画像例を示す説明図である。It is explanatory drawing which shows the biopsy image example used as the process target of the 1st normal cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における第1の正常細胞核領域画像生成部の処理結果で得られた生検画像例を示す説明図である。It is explanatory drawing which shows the example of the biopsy image obtained by the process result of the 1st normal cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置における第2の正常細胞核領域画像生成部で生成された2値化画像例を示す説明図である。It is explanatory drawing which shows the example of the binarized image produced | generated by the 2nd normal cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置による癌細胞領域特定手順例を示す説明図である。It is explanatory drawing which shows the example of a cancer cell area | region identification procedure by the cancer cell area | region extraction apparatus which concerns on embodiment. 実施の形態に係る癌細胞領域抽出装置の他の構成を示すブロック図である。It is a block diagram which shows the other structure of the cancer cell area | region extraction apparatus which concerns on embodiment. 図13に示す癌細胞領域抽出装置における第1の正常細胞核領域画像生成部で学習用に用いるサンプルデータとしての生検画像例を示す説明図である。It is explanatory drawing which shows the biopsy image example as sample data used for learning in the 1st normal cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus shown in FIG. 図13に示す癌細胞領域抽出装置における第1の正常細胞核領域画像生成部のSVMによる処理結果で得られた生検画像例を示す説明図である。It is explanatory drawing which shows the example of the biopsy image obtained by the process result by SVM of the 1st normal cell nucleus area | region image generation part in the cancer cell area | region extraction apparatus shown in FIG. 図13に示す癌細胞領域抽出装置による癌領域マスクの生成手順例を示す説明図である。It is explanatory drawing which shows the example of a production | generation procedure of the cancer area mask by the cancer cell area extraction apparatus shown in FIG. 図13に示す癌細胞領域抽出装置による癌細胞領域特定結果例を示す説明図である。It is explanatory drawing which shows the example of a cancer cell area | region identification result by the cancer cell area | region extraction apparatus shown in FIG.

以下、図面を参照して、本発明の実施の形態を詳細に説明する。本実施の形態に係る癌細胞領域抽出装置10は、図1に示される機能ブロックで表すことができる。また、これらの機能ブロックは、図2に示されるコンピュータのハードウェア構成により実現することができる。図2を参照してコンピュータの構成を説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The cancer cell region extraction apparatus 10 according to the present embodiment can be represented by the functional blocks shown in FIG. Further, these functional blocks can be realized by the hardware configuration of the computer shown in FIG. The configuration of the computer will be described with reference to FIG.

図2に示す本実施の形態に係る癌細胞領域抽出装置10は、プログラムに基づき癌細胞領域抽出装置10の本実施の形態に係る処理を行うCPU(Central Processing Unit;中央処理装置)21と、CPU21による各種プログラムの実行時のワークエリア等として用いられるRAM(Random Access Memory)22と、各種制御プログラムや各種パラメータ等が予め記憶された記録媒体であるROM(Read Only Memory)23と、各種情報を記憶するために用いられるハードディスク24(図中「HDD」と記載)と、キーボードやマウス等からなる入力装置25と、ディスプレイ等からなる表示装置26と、LAN(Local Area Network)等を用いて通信を行う通信装置27と、外部に接続された画像情報提供装置20との間の各種情報の授受を司る外部インターフェイス部(図中、「外部IF」と記載)28と、を備えており、これらがシステムバスBUS29により相互に接続されて構成されている。   The cancer cell region extraction device 10 according to the present embodiment shown in FIG. 2 includes a CPU (Central Processing Unit) 21 that performs processing according to the present embodiment of the cancer cell region extraction device 10 based on a program, A RAM (Random Access Memory) 22 used as a work area when the CPU 21 executes various programs, a ROM (Read Only Memory) 23 that is a recording medium in which various control programs, various parameters, and the like are stored in advance, and various information Using a hard disk 24 (described as “HDD” in the figure), an input device 25 composed of a keyboard, a mouse, etc., a display device 26 composed of a display, a LAN (Local Area Network), etc. An external interface that controls transmission and reception of various information between the communication device 27 that performs communication and the image information providing device 20 connected to the outside. (In the figure, "external IF" and described) chair unit 28, provided with a, they are configured are connected to each other by a system bus BUS29.

CPU21は、RAM22、ROM23、及びハードディスク24に対するアクセス、入力装置25を介した各種情報の取得、表示装置26に対する各種情報の表示、通信装置27を用いた各種情報の通信処理、及び外部インターフェイス部28に接続された画像情報提供装置20を含む外部装置からの情報の入力等を、各々行うことができる。   The CPU 21 accesses the RAM 22, ROM 23, and hard disk 24, acquires various information via the input device 25, displays various information on the display device 26, communication processing of various information using the communication device 27, and the external interface unit 28. Input of information from an external device including the image information providing device 20 connected to can be performed.

CPU21が、ハードディスク24に記憶された本実施形態に係る処理を制御するプログラムを、RAM22に読み込み実行することにより、図1に示す本実施の形態に係る癌細胞領域抽出装置10における、図1に示す各処理部の機能が実行される。   In the cancer cell region extracting apparatus 10 according to the present embodiment shown in FIG. 1, the CPU 21 reads the program for controlling the processing according to the present embodiment stored in the hard disk 24 into the RAM 22 and executes the program in FIG. 1. The function of each processing unit shown is executed.

このようなコンピュータ構成により、図1に示す本実施の形態に係る癌細胞領域抽出装置10が構成されている。なお、図1は機能ブロックとなる構成を表し、一方、図2はデバイス等の接続状態を表すものである。前記したように、機能ブロックとデバイス等とは有機的、かつ相互に関連して癌細胞領域抽出装置10を構成するものであり、以下、図1について詳細に説明する。   With such a computer configuration, the cancer cell region extraction apparatus 10 according to the present embodiment shown in FIG. 1 is configured. Note that FIG. 1 shows a configuration as a functional block, while FIG. 2 shows a connection state of devices and the like. As described above, the functional blocks, devices, and the like constitute the cancer cell region extraction apparatus 10 in an organic and interrelated manner, and FIG. 1 will be described in detail below.

癌細胞領域抽出装置10は、図2に示したコンピュータのハードウェアおよび制御プログラムを含むソフトウェアを利用して構成される機能として、色空間変換部11、背景領域画像生成部1、細胞質・赤血球領域画像生成部2、細胞核領域画像生成部3、第1の正常細胞核領域画像生成部4、第2の正常細胞核領域画像生成部5、及び癌細胞領域画像生成部6を備えている。なお、各部の処理状態は適宜に表示装置26に表示される。   The cancer cell region extraction apparatus 10 has a color space conversion unit 11, a background region image generation unit 1, a cytoplasm / red blood cell region as functions configured using software including computer hardware and a control program shown in FIG. 2. An image generation unit 2, a cell nucleus region image generation unit 3, a first normal cell nucleus region image generation unit 4, a second normal cell nucleus region image generation unit 5, and a cancer cell region image generation unit 6 are provided. The processing state of each unit is displayed on the display device 26 as appropriate.

画像情報提供装置20には、染色された生検標本のカラーの生検画像が記憶されており、癌細胞領域抽出装置10は、外部インターフェイス部28を介して、画像情報提供装置20から、染色された生検標本のカラー生検画像を読み込み、当該生検画像から癌細胞核領域を特定する処理を行なう。   A color biopsy image of a stained biopsy specimen is stored in the image information providing apparatus 20, and the cancer cell region extracting apparatus 10 receives the staining from the image information providing apparatus 20 via the external interface unit 28. A color biopsy image of the biopsy specimen thus obtained is read, and a process for specifying a cancer cell nucleus region from the biopsy image is performed.

癌細胞領域抽出装置10では、図3に例示する、病理標本を撮影して得られた生検画像30に対して、色空間変換部11において複数の色空間に変換し、これらの複数の色空間を用いた領域分割処理を行なうことで、癌細胞核領域を特定する。なお、複数の色空間は、HSV色空間変換部11a、RGB色空間変換部11b、及び、YCbCr色空間変換部11cを備えている。   In the cancer cell region extraction apparatus 10, the color space conversion unit 11 converts a biopsy image 30 obtained by photographing a pathological specimen, illustrated in FIG. 3, into a plurality of color spaces, and the plurality of colors. A cancer cell nucleus region is specified by performing region division processing using a space. The plurality of color spaces include an HSV color space conversion unit 11a, an RGB color space conversion unit 11b, and a YCbCr color space conversion unit 11c.

背景領域画像生成部1は、色相(H)、彩度(S)、及び明度(V)からなるHSV色空間において、彩度(S)を用いて生検画像30を二値化して、生検画像30における背景領域とその他の領域とが区別できるようにした二値化画像(以下背景領域画像ともいう)を生成する。   The background region image generation unit 1 binarizes the biopsy image 30 using the saturation (S) in the HSV color space including the hue (H), the saturation (S), and the lightness (V), thereby generating a raw image. A binarized image (hereinafter also referred to as a background region image) is generated so that the background region and other regions in the inspection image 30 can be distinguished.

細胞質・赤血球領域画像生成部2は、赤色(R)、緑色(G)、及び青色(B)からなるRGB色空間において、青色(B)を赤色(R)で除算して、生検画像30を二値化して、生検画像30における細胞質・赤血球領域とその他の領域とが区別できるようにした二値化画像(以下、細胞質・赤血球領域画像ともいう)を生成する。   The cytoplasm / red blood cell region image generation unit 2 divides blue (B) by red (R) in an RGB color space composed of red (R), green (G), and blue (B) to obtain a biopsy image 30. Is binarized to generate a binarized image (hereinafter also referred to as cytoplasm / red blood cell region image) in which the cytoplasm / red blood cell region and other regions in the biopsy image 30 can be distinguished.

細胞核領域画像生成部3は、背景領域画像生成部1で生成された背景領域とその他の領域とを区別可能な二値化画像(背景領域画像)と、細胞質・赤血球領域画像生成部2で生成された細胞質・赤血球領域とその他の領域とを区別可能な二値化画像(細胞質・赤血球領域画像)とを、例えば重ね合わせることにより、生検画像30における細胞核領域からなる細胞核領域画像を生成する。なお、この際、背景領域と細胞質・赤血球領域とは同じ二値化の値、例えば、双方共に白とする。   The cell nucleus region image generation unit 3 generates a binarized image (background region image) that can distinguish the background region generated by the background region image generation unit 1 from other regions and the cytoplasm / red blood cell region image generation unit 2 For example, by superimposing the binarized image (cytoplasm / red blood cell region image) that can distinguish the cytoplasm / red blood cell region from other regions, a cell nucleus region image composed of the cell nucleus region in the biopsy image 30 is generated. . At this time, the background region and the cytoplasm / red blood cell region have the same binarization value, for example, both are white.

第1の正常細胞核領域画像生成部4は、生検画像30における、細胞核領域画像生成部3により生成された細胞核領域画像におけるその他の領域に対応する細胞核領域に対して、所定領域毎に、ラベリングやパターン識別等により正常な細胞核を識別する。例えば、64×64ピクセル領域毎に、ラベリングやパターン識別等により正常な細胞核を識別して、生検画像30における正常な細胞核を含む第1の正常細胞核領域を示す第1の正常細胞核領域画像を生成する。   The first normal cell nucleus region image generation unit 4 performs labeling for each predetermined region with respect to cell nucleus regions corresponding to other regions in the cell nucleus region image generated by the cell nucleus region image generation unit 3 in the biopsy image 30. Normal cell nuclei are identified by pattern identification. For example, for each 64 × 64 pixel region, normal cell nuclei are identified by labeling, pattern identification, or the like, and a first normal cell nucleus region image showing a first normal cell nucleus region including normal cell nuclei in the biopsy image 30 is obtained. Generate.

なお、第1の正常細胞核領域画像生成部4は、例えば、ラベリングにより、細胞核領域の生検画像30における各細胞核の大きさを求め、予め定められた細胞核サイズ閾値に基づいて、細胞核サイズ閾値以下の大きさの細胞核を正常な細胞核として識別する。   The first normal cell nucleus region image generation unit 4 obtains the size of each cell nucleus in the biopsy image 30 of the cell nucleus region by labeling, for example, and is equal to or less than the cell nucleus size threshold based on a predetermined cell nucleus size threshold. Are identified as normal nuclei.

あるいは、第1の正常細胞核領域画像生成部4は、高次局所自己相関特徴(HLAC)を用いたサポートベクターマシンによるパターン認識によって、生検画像30における正常な細胞核を識別する。   Alternatively, the first normal cell nucleus region image generation unit 4 identifies normal cell nuclei in the biopsy image 30 by pattern recognition using a support vector machine using higher-order local autocorrelation features (HLAC).

第2の正常細胞核領域画像生成部5は、輝度信号と2つの色差信号からなるYCbCr色空間において、色差Crを他の色差Cbで除算して、生検画像30を二値化して、生検画像30における正常な細胞核領域としての第2の正常細胞核領域とその他の細胞核領域とを区別できるようにした二値化画像(以下、第2の正常細胞核領域画像ともいう)を生成する。   The second normal cell nucleus region image generation unit 5 divides the color difference Cr by another color difference Cb in the YCbCr color space including the luminance signal and the two color difference signals, and binarizes the biopsy image 30 to obtain a biopsy. A binarized image (hereinafter also referred to as a second normal cell nucleus region image) is generated so that the second normal cell nucleus region as a normal cell nucleus region in the image 30 can be distinguished from other cell nucleus regions.

そして、癌細胞領域画像生成部6は、第2の正常細胞核領域画像生成部5により生成された第2の正常細胞核領域画像と、第1の正常細胞核領域画像生成部4により生成された第1の正常細胞核領域画像とのいずれにおいても正常な細胞核の領域とされていない領域を癌細胞からなる癌細胞領域として特定し、生検画像30における癌細胞核領域画像を生成する。   The cancer cell region image generation unit 6 then generates the second normal cell nucleus region image generated by the second normal cell nucleus region image generation unit 5 and the first normal cell nucleus region image generation unit 4. A region that is not a normal cell nucleus region in any of the normal cell nucleus region images is specified as a cancer cell region composed of cancer cells, and a cancer cell nucleus region image in the biopsy image 30 is generated.

癌細胞領域抽出装置10は、このようにして癌細胞領域画像生成部6により生成された第3の癌細胞核領域画像を、生検画像30における最終的な癌細胞核領域を示す画像とし、当該画像を生検画像30に重ねて表示装置26で表示する。   The cancer cell region extraction apparatus 10 uses the third cancer cell nucleus region image generated by the cancer cell region image generation unit 6 in this way as an image indicating the final cancer cell nucleus region in the biopsy image 30, and the image Is superimposed on the biopsy image 30 and displayed on the display device 26.

以下、各図を用いて、癌細胞領域抽出装置10の動作を詳細に説明する。   Hereinafter, the operation of the cancer cell region extracting apparatus 10 will be described in detail with reference to the drawings.

図3に示す生検画像30は、胃リンパ節の病理画像であり、以下、癌細胞領域抽出装置10により、この生検画像30における癌細胞領域を特定する例を説明する。   A biopsy image 30 shown in FIG. 3 is a pathological image of a gastric lymph node. Hereinafter, an example in which a cancer cell region in the biopsy image 30 is specified by the cancer cell region extraction apparatus 10 will be described.

癌は、遺伝子が傷つくことで発生し、細胞の増殖、周囲にしみ出るように広がる浸潤、血管・リンパ管を通って身体中に広がる転移を伴う。図3の生検画像30は胃リンパ節で採集されたものであり、この生検画像30における癌細胞の有無により、どのリンパ節まで転移しているかを判別することができる。   Cancer occurs when a gene is damaged, and involves cell proliferation, infiltration that spreads around the body, and metastasis that spreads throughout the body through blood vessels and lymphatic vessels. The biopsy image 30 in FIG. 3 is collected in the gastric lymph node, and it is possible to determine which lymph node has metastasized based on the presence or absence of cancer cells in the biopsy image 30.

癌細胞は、細胞核が大きく、形が歪んでおり、かつ配列が不規則である等の特徴を有している。本例では、図4の高倍率で拡大した生検画像40に示すように、癌細胞の細胞核が正常細胞の細胞核より大きいことを利用して、癌細胞領域の特定を行なう。   Cancer cells have features such as large cell nuclei, distorted shape, and irregular arrangement. In this example, as shown in the biopsy image 40 enlarged at a high magnification in FIG. 4, the cancer cell region is specified using the fact that the cell nucleus of the cancer cell is larger than the cell nucleus of the normal cell.

図4に示すように、癌細胞の核40aのサイズは、正常な細胞の核40bに比べて大きいという特徴を有することを利用して、本例の癌細胞領域抽出装置10では、癌細胞の核を含む領域と、正常な細胞の核を含む領域とに分割して、癌細胞の核を含む領域(癌細胞核領域)を特定する。   As shown in FIG. 4, the cancer cell region extraction apparatus 10 of the present example uses the characteristic that the size of the cancer cell nucleus 40a is larger than that of the normal cell nucleus 40b. A region containing cancer nuclei (cancer cell nucleus region) is identified by dividing into a region containing nuclei and a region containing normal cell nuclei.

以下、背景領域画像生成部1による背景領域とその他の領域との分割処理、細胞質・赤血球領域画像生成部2による細胞質・赤血球領域とその他の領域との分割処理について説明する。   Hereinafter, the division process of the background area and other areas by the background area image generation unit 1 and the division process of the cytoplasm / red blood cell area and other areas by the cytoplasm / red blood cell area image generation unit 2 will be described.

生検画像30,40は、胃リンパ節の顕微鏡写真であり、ヘマトキシリン・エオジン染色(以下HE染色ともいう)したリンパ節の細胞を撮影した画像である。このように細胞をHE染色した場合、例えば前述の特許文献4においても記載されているように、HSV色空間において、画像の彩度(S)に着目することにより背景領域と背景領域以外のその他の領域に区別した二値化画像を得ることができる。   Biopsy images 30 and 40 are photomicrographs of gastric lymph nodes, which are images of lymph node cells that have been stained with hematoxylin and eosin (hereinafter also referred to as HE staining). When cells are HE-stained in this way, as described in, for example, Patent Document 4 described above, in the HSV color space, by paying attention to the saturation (S) of the image, other than the background region and the background region. A binarized image can be obtained by distinguishing the areas.

そこで、癌細胞領域抽出装置10では、例えば、図3における生検画像30の小領域を拡大した図5に示す生検画像50が外部インターフェイス部28を介して入力されると、図示していない記憶装置に一時記憶した後、読出し、色空間変換部11のHSV色空間変換部11aにおいて、生検画像50の色空間をHSV色空間に変換して、色変換した画像を背景領域画像生成部1に入力する。   Therefore, in the cancer cell region extraction apparatus 10, for example, when the biopsy image 50 shown in FIG. 5 in which the small region of the biopsy image 30 in FIG. 3 is enlarged is input via the external interface unit 28, it is not shown. After the temporary storage in the storage device, the HSV color space conversion unit 11a of the color space conversion unit 11 converts the color space of the biopsy image 50 into the HSV color space and converts the color-converted image into a background region image generation unit. Enter 1

背景領域画像生成部1では、HSV色空間に変換された生検画像の彩度(S)成分に着目して予め定められた背景閾値に基づいて、閾値以上の領域の画素値を白(255)、閾値未満の画素値を0とすることにより、当該画像を二値化して、背景領域とその他の領域とを区別できるようした二値化画像(背景領域画像)を生成する。   In the background area image generation unit 1, the pixel value of the area equal to or larger than the threshold value is set to white (255) based on a predetermined background threshold value by paying attention to the saturation (S) component of the biopsy image converted into the HSV color space. ), By setting the pixel value less than the threshold to 0, the image is binarized to generate a binarized image (background region image) in which the background region and other regions can be distinguished.

なお、本例では、例えば前述の特許文献4においても記載されている「大津の判別分析法(大津展之,“判別および最小2条基準に基づく自動しきい値設定方,”電子通信学会論文誌,Vol.63-D,no.4,pp.349-356,1980.)を利用して、閾値を固定値(30)として二値化する。   In this example, for example, “Otsu's discriminant analysis method (Nobuyuki Otsu,“ Automatic threshold setting method based on discriminant and minimum 2 criteria, ”described in the above-mentioned Patent Document 4) Journal, Vol. 63-D, no. 4, pp. 349-356, 1980.) and binarizing the threshold value as a fixed value (30).

このようにして、背景領域画像生成部1で二値化された画像の一例を図6に示す。図6の画像60の例では、背景領域60aの画素値が白色に変換されている。このようにして、背景領域60aが取得される。   An example of the image binarized by the background area image generation unit 1 in this way is shown in FIG. In the example of the image 60 of FIG. 6, the pixel value of the background area 60a is converted to white. In this way, the background area 60a is acquired.

次に、癌細胞領域抽出装置10は、色空間変換部11のRGB色空間変換部11bにより生検画像50の色空間を赤色、緑色、及び青色からなるRGB色空間に変換して、細胞質・赤血球領域画像生成部2に入力する。細胞質・赤血球領域画像生成部2は、RGB色空間の青色(B)と赤色(R)をベースに細胞質・赤血球の領域と細胞核の領域の分割を行なう。   Next, the cancer cell region extraction device 10 converts the color space of the biopsy image 50 into an RGB color space composed of red, green, and blue by the RGB color space conversion unit 11b of the color space conversion unit 11 to obtain a cytoplasm / Input to the red blood cell region image generation unit 2. The cytoplasm / red blood cell region image generation unit 2 divides the cytoplasm / red blood cell region and the cell nucleus region based on blue (B) and red (R) in the RGB color space.

すなわち、HE染色された生検画像50においては、細胞核は青紫、細胞質・赤血球は赤紫に染色されており、この色差に基づいて、細胞質・赤血球の領域と細胞核の領域の分割を行なう。   That is, in the HE-stained biopsy image 50, cell nuclei are stained blue-purple and cytoplasm / red blood cells are stained purple-red, and based on this color difference, the cytoplasm / red blood cell region and the cell nucleus region are divided.

本例では、まず、細胞質・赤血球領域画像生成部2は、RGB色空間において、スケーリング補正値として最大値、例えば255を固定値として用いて、スケーリングしてグレースケール画像を生成する。   In this example, first, the cytoplasm / red blood cell region image generation unit 2 generates a grayscale image by scaling using a maximum value, for example, 255 as a fixed value as a scaling correction value in the RGB color space.

なお、このスケーリングに用いるパラメータは経験的に求められたものを用いる。また、RGB画像からのグレースケール化は、中間値法(middle value;R、G、Bの3つのうちの、最大値と最小値の2つを足して2で割ったものを利用してグレースケール化する)や、中央値法(median value method;R,G,Bのうち、最大でも最小でもない真中の大きさの値を選ぶ方法)などの公知技術があり、ここでの詳細な説明は行なわない。   The parameters used for this scaling are those determined empirically. In addition, gray scale conversion from an RGB image is performed by using a middle value method (R, G, B), which is obtained by adding the maximum value and the minimum value and dividing by two. There are known techniques such as scaling) and a median value method (a method of selecting a median value method that is not a maximum or minimum value among R, G, and B). Does not.

その後、生検画像50のピクセル毎に青色(B)を赤色(R)で除算して二値化(局所二値化)することで、細胞質・赤血球領域とその他の領域とを区別できるようにした二値化画像(細胞質・赤血球領域画像)を生成する。なお、ここでは、上述の「大津の判別分析法」を用いて、生成したグレースケール画像を、予め定められた細胞質・赤血球閾値に基づき二値化(局所二値化)することで、細胞質・赤血球領域とその他の領域とが区別できるようにした二値化画像(細胞質・赤血球領域画像)を生成する。   Thereafter, by dividing blue (B) by red (R) and binarizing (local binarization) for each pixel of the biopsy image 50, the cytoplasm / red blood cell region and other regions can be distinguished. The binarized image (cytoplasm / red blood cell region image) is generated. Here, by using the above-mentioned “Otsu's discriminant analysis method”, the generated grayscale image is binarized (local binarization) based on a predetermined cytoplasm / red blood cell threshold value, so that the cytoplasm / A binarized image (cytoplasm / red blood cell region image) is generated so that the red blood cell region and other regions can be distinguished.

このようにして、細胞質・赤血球領域画像生成部2で二値化された画像の一例を図7に示す。図7の画像70の例では、細胞質・赤血球領域70aの画素値が白色に変換され、その他の領域70bの画素値が黒色に変換されている。このようにして、細胞質・赤血球領域70aとその他の領域70bに分割される。   An example of the image binarized by the cytoplasm / red blood cell region image generation unit 2 in this way is shown in FIG. In the example of the image 70 of FIG. 7, the pixel values of the cytoplasm / red blood cell region 70a are converted to white, and the pixel values of the other region 70b are converted to black. In this way, it is divided into a cytoplasm / erythrocyte region 70a and another region 70b.

そして、癌細胞領域抽出装置10は、細胞核領域画像生成部3により、背景領域画像生成部1で生成された画像60、及び細胞質・赤血球領域画像生成部2で生成された画像70を用いて、全ての細胞核が存在する領域を表す画像を生成する。   Then, the cancer cell region extraction device 10 uses the image 60 generated by the background region image generation unit 1 and the image 70 generated by the cytoplasm / red blood cell region image generation unit 2 by the cell nucleus region image generation unit 3. An image representing a region where all cell nuclei exist is generated.

例えば、背景領域画像生成部1で分割された画像60における背景領域60aを除いた画像と、細胞質・赤血球領域画像生成部2で分割された画像70における細胞質・赤血球領域70aを除いた細胞核領域70bからなる画像とを重ね合わせることで、全ての細胞核が存在する領域を表す二値化画像を生成する。   For example, an image excluding the background region 60a in the image 60 divided by the background region image generating unit 1 and a cell nucleus region 70b excluding the cytoplasm / red blood cell region 70a in the image 70 divided by the cytoplasm / red blood cell region image generating unit 2 A binary image representing a region where all the cell nuclei exist is generated by superimposing the image composed of

図8においては、画像60と画像70とを重ね合わせることで得られた、全ての細胞核が存在する領域を表す画像80を示している。画像80においては、細胞核の領域80aが白色で示され、図6,7では白色であった背景領域と細胞質・赤血球の領域80bが黒色で示されている。   FIG. 8 shows an image 80 representing an area where all the cell nuclei are obtained by superimposing the image 60 and the image 70. In the image 80, the cell nucleus region 80a is shown in white, and in FIGS. 6 and 7, the white background region and the cytoplasm / erythrocyte region 80b are shown in black.

この画像80においては、正常な細胞核と癌細胞核が含まれており、以下、画像80を用いて、正常な細胞核の領域と癌細胞核の領域とを分割する処理について説明する。   The image 80 includes normal cell nuclei and cancer cell nuclei. Hereinafter, processing for dividing a normal cell nucleus region and a cancer cell nucleus region using the image 80 will be described.

このように、画像80を用いて、正常細胞核領域と癌細胞核領域とを分割する処理は、図1における第1の正常細胞核領域画像生成部4による処理であり、以下、第1の正常細胞核領域画像生成部4により、画像80を用いて、正常細胞核領域と癌細胞核領域とを区別できるように分割する処理を説明する。   As described above, the process of dividing the normal cell nucleus region and the cancer cell nucleus region using the image 80 is a process by the first normal cell nucleus region image generation unit 4 in FIG. Processing for dividing the normal cell nucleus region and the cancer cell nucleus region by using the image 80 by the image generation unit 4 will be described.

第1の正常細胞核領域画像生成部4では、図8の画像80において白色で示される細胞核の領域80aに対応する図5の生検画像50における領域内にある各細胞核を対象に、例えばラベリング処理により各細胞核の大きさを求め、予め定められた細胞核サイズ閾値以下の大きさの細胞核を正常な細胞核として特定し、特定した正常な細胞核を含む領域とその他の領域(癌細胞核領域)とが区別できるようにした第1の正常細胞核領域画像を生成し、生成した第1の正常細胞核領域画像を癌細胞領域画像生成部6に入力する。   In the first normal cell nucleus region image generation unit 4, for example, a labeling process is performed on each cell nucleus in the region in the biopsy image 50 in FIG. 5 corresponding to the cell nucleus region 80a shown in white in the image 80 in FIG. To determine the size of each cell nucleus, specify a cell nucleus with a size equal to or smaller than a predetermined cell nucleus size threshold as a normal cell nucleus, and distinguish the region containing the specified normal cell nucleus from other regions (cancer cell nucleus regions) A first normal cell nucleus region image that can be generated is generated, and the generated first normal cell nucleus region image is input to the cancer cell region image generation unit 6.

図9(a)及び図9(b)においては、第1の正常細胞核領域画像生成部4による正常な細胞核とその他の領域(癌細胞核領域)との識別処理動作を示しており、図9(a)においては、細胞核サイズ閾値以上の大きさの細胞核9aをその他の細胞核(癌細胞核)として識別し、図9(b)における細胞核サイズ閾値以下の大きさの細胞核9bを正常な細胞核として識別する。   9 (a) and 9 (b) show the discrimination processing operation between the normal cell nucleus and other regions (cancer cell nucleus regions) by the first normal cell nucleus region image generation unit 4, and FIG. In a), the cell nucleus 9a having a size equal to or larger than the cell nucleus size threshold is identified as another cell nucleus (cancer cell nucleus), and the cell nucleus 9b having a size equal to or smaller than the cell nucleus size threshold in FIG. 9B is identified as a normal cell nucleus. .

図10においては、図9(a)及び図9(b)で示した第1の正常細胞核領域画像生成部4により識別したその他の細胞核(癌細胞核)を含む領域を、生検画像に重ねて表示した画像例を示しており、図10においては、四角で囲まれた領域が、その他の細胞核(癌細胞核)を含む領域である。   In FIG. 10, the region including other cell nuclei (cancer cell nuclei) identified by the first normal cell nucleus region image generation unit 4 shown in FIGS. 9A and 9B is superimposed on the biopsy image. An example of the displayed image is shown. In FIG. 10, a region surrounded by a square is a region including other cell nuclei (cancer cell nuclei).

また、第1の正常細胞核領域画像生成部4では、図8における画像80を用いて、SVM(Support Vector Machine、サポートベクターマシン)のパターン識別により、正常細胞核領域と癌細胞核領域とを分割した画像を生成することでも良い。   Further, the first normal cell nucleus region image generation unit 4 uses the image 80 in FIG. 8 to divide the normal cell nucleus region and the cancer cell nucleus region by pattern identification of SVM (Support Vector Machine). May be generated.

SVMは,V. Vapnik などによって提案されたパターン識別手法であり、「Corinna Cortes and Vladimir Vapnik. Support-Vector Networks. Machine Learning, Vol. 20,No. 3, pp. 273−297, 1995.」、「N. Cristianini and J. Shawe-Taylor. An introduction to Support Vector Machines. Cambridge University Press, 2000.」等において記載された公知の技術であり、ここでの詳細な説明はしない。   SVM is a pattern identification method proposed by V. Vapnik and others, “Corinna Cortes and Vladimir Vapnik. Support-Vector Networks. Machine Learning, Vol. 20, No. 3, pp. 273-297, 1995.” This is a well-known technique described in “N. Cristianini and J. Shawe-Taylor. An introduction to Support Vector Machines. Cambridge University Press, 2000.” and the like, and will not be described in detail here.

なお、第1の正常細胞核領域画像生成部4では、SVMの処理において、HLAC(Higher-order Local Auto-Correlation、高次局所自己相関特徴)で算出される特徴量(高次局所自己相関特徴量)を用いたパターン識別を行い、その際、細胞核領域画像生成部3により生成された細胞核領域画像から高次局所自己相関特徴量を算出し、算出した高次局所自己相関特徴量を用いてSVMによるパターン識別を行い、正常な細胞核を特定する。   In the first normal cell nucleus region image generation unit 4, in the SVM processing, a feature amount (higher order local autocorrelation feature) calculated by HLAC (Higher-order Local Auto-Correlation) ) Is used to calculate a high-order local autocorrelation feature amount from the cell nucleus region image generated by the cell nucleus region image generation unit 3, and the SVM is calculated using the calculated higher-order local autocorrelation feature amount. To identify normal cell nuclei.

なお、HLACは,コンピュータに画像をパターン(類型)として認識させ、当該パターンから外れている画像データを正常でないものとして検出する画像処理技術において用いられる公知の技術であり、HLACを用いた癌細胞の検出が行なわれている。   Note that HLAC is a well-known technique used in an image processing technique for causing a computer to recognize an image as a pattern (type) and detecting image data that deviates from the pattern as abnormal, and cancer cells using HLAC. Is being detected.

このHLACでは、予め用意された多数の正常な細胞組織の並びパターンに対してHLACの特徴ベクトルを算出し、この特徴ベクトルを、細胞組織の正常であることの性質を表す特徴量として抽出する。そして、検査用の生件画像から抽出したHLAC特徴量と、予め抽出した正常であることを示す特徴量との逸脱量に基づき、正常な細胞を検出する。   In this HLAC, a feature vector of HLAC is calculated for a large number of normal cell tissue arrangement patterns prepared in advance, and this feature vector is extracted as a feature value representing the normal nature of the cell tissue. Then, normal cells are detected based on a deviation amount between the HLAC feature amount extracted from the examination raw image and the feature amount indicating normality extracted in advance.

次に、第2の正常細胞核領域画像生成部5により、他の画像処理によって正常な細胞を含む領域を検出する処理について説明する。   Next, processing for detecting a region including normal cells by other image processing by the second normal cell nucleus region image generation unit 5 will be described.

癌細胞領域抽出装置10は、図5における生検画像50が外部インターフェイス部28を介して入力されると、図示していない記憶装置に一時記憶した後に読出し、色空間変換部11のYCbCr色空間変換部11cにおいて、生検画像50の色空間を、輝度信号と2つの色差信号からなるYCbCr色空間に変換して、第2の正常細胞核領域画像生成部5に入力する。   When the biopsy image 50 in FIG. 5 is input via the external interface unit 28, the cancer cell region extraction device 10 reads out the data after temporarily storing it in a storage device (not shown), and the YCbCr color space of the color space conversion unit 11. In the conversion unit 11 c, the color space of the biopsy image 50 is converted into a YCbCr color space composed of a luminance signal and two color difference signals and input to the second normal cell nucleus region image generation unit 5.

第2の正常細胞核領域画像生成部5は、生検画像50のYCbCr色空間において、色差Crを他の色差Cbで除算して、生検画像50における正常な細胞核領域とその他の細胞核領域とが区別できるように二値化して、正常な細胞核を含む領域を第2の正常細胞核領域とした第2の正常細胞核領域画像を生成して、生成した第2の正常細胞核領域画像を癌細胞領域画像生成部6に入力する。   The second normal cell nucleus region image generation unit 5 divides the color difference Cr by another color difference Cb in the YCbCr color space of the biopsy image 50 to obtain a normal cell nucleus region and other cell nucleus regions in the biopsy image 50. A second normal cell nucleus region image is generated that is binarized so as to be distinguishable, and a region including normal cell nuclei is a second normal cell nucleus region, and the generated second normal cell nucleus region image is a cancer cell region image. Input to the generation unit 6.

その際、第2の正常細胞核領域画像生成部5は、第2の正常細胞核領域画像に対して、例えば64×64ピクセルの小領域に分割して、各領域で平均をとり、平均が大きい領域を正常な細胞領域とする。   At that time, the second normal cell nucleus region image generation unit 5 divides the second normal cell nucleus region image into small regions of, for example, 64 × 64 pixels, takes an average in each region, and a region having a large average Is a normal cell region.

なお、生検画像50を二値化する際、第2の正常細胞核領域画像生成部5は、生検画像50を予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を閾値に基づいて二値化する。   In addition, when binarizing the biopsy image 50, the second normal cell nucleus region image generation unit 5 generates a grayscale image by scaling the biopsy image 50 based on a predetermined scaling correction value, The generated gray scale image is binarized based on a threshold value.

この第2の正常細胞核領域画像生成部5で用いるスケーリング補正値(Y)は、背景領域画像生成部1で生成された画像における背景領域以外の生検画像50における領域を対象としてHSV色空間における彩度(S)で濃度平均を算出した値xを用いた式「Y=300−x/3」により算出する。   The scaling correction value (Y) used in the second normal cell nucleus region image generation unit 5 is a region in the biopsy image 50 other than the background region in the image generated by the background region image generation unit 1 in the HSV color space. It is calculated by an expression “Y = 300−x / 3” using a value x obtained by calculating the density average with saturation (S).

このようにして、スケーリング補正値を求める式「Y=300−x/3」において用いる値「x」を求めるのは、生検画像50のYCbCr色空間において、色差Crを他の色差Cbで除算した場合、生検画像50の染色濃度によって閾値が異なるためである。   Thus, the value “x” used in the equation “Y = 300−x / 3” for obtaining the scaling correction value is obtained by dividing the color difference Cr by the other color difference Cb in the YCbCr color space of the biopsy image 50. This is because the threshold value varies depending on the staining density of the biopsy image 50.

そこで、本例では、濃度の差が同様にしてでるHSV色空間の彩度(S)で濃度平均を求める。そして、この際、生検画像50に背景が多く含まれているか否かによって平均が大きく異なってくるので、生検画像50における背景以外の領域の濃度平均を「x」として求める。   Therefore, in this example, the density average is obtained from the saturation (S) of the HSV color space where the difference in density is the same. At this time, the average varies greatly depending on whether or not the biopsy image 50 includes a lot of background. Therefore, the average density of regions other than the background in the biopsy image 50 is obtained as “x”.

第2の正常細胞核領域画像生成部5における生検画像50の二値化処理は、細胞質・赤血球領域画像生成部2での二値化処理と同様に、上述の「大津の判別分析法」を用いて行なう。   The binarization processing of the biopsy image 50 in the second normal cell nucleus region image generation unit 5 is performed in the same manner as the binarization processing in the cytoplasm / red blood cell region image generation unit 2 by the above “Otsu's discriminant analysis method”. To do.

図11においては、第2の正常細胞核領域画像生成部5で生成された第2の正常細胞核領域画像を示しており、第2の正常細胞核領域画像生成部5で生成された第2の正常細胞核領域画像では、正常な細胞核のみが白い画像となる。なお、図11に示す第2の正常細胞核領域画像は、ガウシアンフィルタを施した画像である。   FIG. 11 shows the second normal cell nucleus region image generated by the second normal cell nucleus region image generation unit 5, and the second normal cell nucleus region generated by the second normal cell nucleus region image generation unit 5. In the region image, only normal cell nuclei are white images. Note that the second normal cell nucleus region image shown in FIG. 11 is an image subjected to a Gaussian filter.

このようにして第2の正常細胞核領域画像生成部5で生成された第2の正常細胞核領域画像は、癌細胞領域画像生成部6に入力される。   The second normal cell nucleus region image generated by the second normal cell nucleus region image generation unit 5 in this way is input to the cancer cell region image generation unit 6.

癌細胞領域画像生成部6は、第1の正常細胞核領域画像生成部4で生成され入力された第1の正常細胞核領域画像と、第2の正常細胞核領域画像生成部5で生成され入力された第2の正常細胞核領域画像とを用いて、癌細胞領域画像を生成する。   The cancer cell region image generation unit 6 is generated and input by the first normal cell nucleus region image generated and input by the first normal cell nucleus region image generation unit 4 and the second normal cell nucleus region image generation unit 5. A cancer cell region image is generated using the second normal cell nucleus region image.

その際、癌細胞領域画像生成部6は、第1の正常細胞核領域画像と第2の正常細胞核領域画像の各々から、第1の正常領域マスクと第2の正常領域マスクを生成し、生成した第1の正常領域マスクと第2の正常領域マスクを重ね合わせることにより、最終的な正常領域マスクを生成し、そして、生成した最終的な正常領域マスクの領域以外の領域を癌細胞領域マスクとして生成する。   At that time, the cancer cell region image generation unit 6 generates and generates a first normal region mask and a second normal region mask from each of the first normal cell nucleus region image and the second normal cell nucleus region image. A final normal area mask is generated by superimposing the first normal area mask and the second normal area mask, and an area other than the generated area of the final normal area mask is used as a cancer cell area mask. Generate.

このようにして生成された癌細胞領域マスクを生検画像50に重ねることにより、癌細胞領域マスクで覆われた領域が生検画像50における癌細胞領域として表示される。   The region covered with the cancer cell region mask is displayed as the cancer cell region in the biopsy image 50 by superimposing the cancer cell region mask generated in this manner on the biopsy image 50.

次に、図12を用いて、このような癌細胞領域抽出装置10の処理手順例を説明する。   Next, a processing procedure example of such a cancer cell region extracting apparatus 10 will be described with reference to FIG.

図12で示す癌細胞領域抽出装置10の処理は、図2におけるCPU21によりHDD24等に記憶されたプログラムに基づき行なわれるものである。   The processing of the cancer cell region extraction apparatus 10 shown in FIG. 12 is performed based on a program stored in the HDD 24 or the like by the CPU 21 in FIG.

ステップ1201では、開始する処理が、図1における背景領域画像生成部1、細胞質・赤血球領域画像生成部2、及び第2の正常細胞核領域画像生成部5のいずれの処理であるかを判別する。   In step 1201, it is determined whether the process to be started is one of the background region image generation unit 1, the cytoplasm / red blood cell region image generation unit 2, and the second normal cell nucleus region image generation unit 5 in FIG.

背景領域画像生成部1の処理であれば、ステップ1202,1203で、背景領域画像生成部1による生検画像からの背景領域画像の生成処理を行なう。   If it is the process of the background area image generation unit 1, in steps 1202 and 1203, the background area image generation unit 1 generates a background area image from the biopsy image.

細胞質・赤血球領域画像生成部2の処理であれば、ステップ1202,1204,1205で、細胞質・赤血球領域画像生成部2による生検画像からの細胞質・赤血球領域画像の生成処理を行なう。   If the processing is performed by the cytoplasm / red blood cell region image generation unit 2, the cytoplasm / red blood cell region image generation unit 2 generates a cytoplasm / red blood cell region image from the biopsy image in steps 1202, 1204, and 1205.

第2の正常細胞核領域画像生成部5の処理であれば、ステップ1202,1204,1206,1207で、第2の正常細胞核領域画像生成部5による生検画像からの第2の正常細胞核領域画像の生成処理を行なう。   If the processing is performed by the second normal cell nucleus region image generation unit 5, the second normal cell nucleus region image from the biopsy image by the second normal cell nucleus region image generation unit 5 is processed in steps 1202, 1204, 1206, 1207. Generate the data.

ステップ1208,1209では、背景領域画像生成部1の処理と細胞質・赤血球領域画像生成部2の処理が完了するのを待ち、ステップ1210では、図1における細胞核領域画像生成部3による細胞核領域画像の生成処理を行なう。   In steps 1208 and 1209, the processing of the background region image generation unit 1 and the processing of the cytoplasm / red blood cell region image generation unit 2 are waited for. In step 1210, the cell nucleus region image of the cell nucleus region image generation unit 3 in FIG. Generate the data.

ステップ1211,1212では、細胞核領域画像生成部3による処理が完了するのを待って、ステップ1213では、図1における第1の正常細胞核領域画像生成部4による第1の正常細胞核領域画像の生成処理を行なう。   In steps 1211, 1212, the processing by the cell nucleus region image generation unit 3 is completed. In step 1213, the first normal cell nucleus region image generation process by the first normal cell nucleus region image generation unit 4 in FIG. To do.

ステップ1214,1215では、第1の正常細胞核領域画像生成部4と第2の正常細胞核領域画像生成部5の処理が完了するのを待って、ステップ1216では、図1における癌細胞領域画像生成部6による癌細胞領域画像の生成処理を行ない、処理を終了する。   In steps 1214 and 1215, the processing of the first normal cell nucleus region image generation unit 4 and the second normal cell nucleus region image generation unit 5 is waited for. In step 1216, the cancer cell region image generation unit in FIG. The cancer cell region image generation process according to 6 is performed, and the process ends.

このように、癌細胞領域抽出装置10では、第1の正常細胞核領域画像生成部4と第2の正常細胞核領域画像生成部5の、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域として抽出されていない領域を癌細胞核からなる領域として抽出している。このことにより、各々の画像処理で誤って抽出した正常な細胞領域を除去した上で、癌細胞領域を抽出することができる。   As described above, in the cancer cell region extraction device 10, the first normal cell nucleus region image generated by the different image processing of the first normal cell nucleus region image generation unit 4 and the second normal cell nucleus region image generation unit 5. And the second normal cell nucleus region image, a region not extracted as a normal cell nucleus region in any of them is extracted as a region composed of cancer cell nuclei. As a result, it is possible to extract the cancer cell region after removing the normal cell region erroneously extracted in each image processing.

次に、図13から図16を用いて、実施の形態に係る他の癌細胞領域抽出装置について説明する。   Next, another cancer cell region extraction apparatus according to the embodiment will be described with reference to FIGS.

図13に示す癌細胞領域抽出装置10aは、図1に示す癌細胞領域抽出装置10と同様に、図2に示すコンピュータ構成により構成されており、癌細胞領域抽出装置10aは、図2に示したコンピュータのハードウェアおよび制御プログラムを含むソフトウェアを利用して構成される機能として、色空間変換部11d、第1の正常細胞核領域画像生成部4a、第2の正常細胞核領域画像生成部5a、及び癌細胞領域画像生成部6aを備えている。なお、各部の処理状態は適宜に図2における表示装置26に表示される。   Similar to the cancer cell region extraction device 10 shown in FIG. 1, the cancer cell region extraction device 10a is configured by the computer configuration shown in FIG. 2, and the cancer cell region extraction device 10a is shown in FIG. As functions configured using computer hardware and software including a control program, a color space conversion unit 11d, a first normal cell nucleus region image generation unit 4a, a second normal cell nucleus region image generation unit 5a, and A cancer cell region image generation unit 6a is provided. Note that the processing state of each unit is appropriately displayed on the display device 26 in FIG.

画像情報提供装置20aには、図5に示す染色された生検標本のカラーの生検画像50が記憶されており、癌細胞領域抽出装置10aは、図2の外部インターフェイス部28を介して、画像情報提供装置20aから、染色された生検標本のカラー生検画像を読み込み、当該生検画像から癌細胞核領域を特定する処理を行なう。   The image information providing apparatus 20a stores a color biopsy image 50 of the stained biopsy specimen shown in FIG. 5, and the cancer cell region extracting apparatus 10a is connected via the external interface unit 28 of FIG. A color biopsy image of a stained biopsy specimen is read from the image information providing apparatus 20a, and a process for specifying a cancer cell nucleus region from the biopsy image is performed.

癌細胞領域抽出装置10aは、画像情報提供装置20aから、図5における生検画像50が外部インターフェイス部28を介して入力されると、図示していない記憶装置に一時記憶した後に読出し、第1の正常細胞核領域画像生成部4a及び色空間変換部11dに入力する。   When the biopsy image 50 in FIG. 5 is input from the image information providing device 20a through the external interface unit 28, the cancer cell region extracting device 10a reads the first image after temporarily storing it in a storage device (not shown). To the normal cell nucleus region image generation unit 4a and the color space conversion unit 11d.

第1の正常細胞核領域画像生成部4aは、入力された生検画像50から癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成し、生成した第1の正常細胞核領域画像を癌細胞領域画像生成部6aに入力する。   The first normal cell nucleus region image generation unit 4a generates a first normal cell nucleus region image indicating a region of normal cell nuclei that does not correspond to cancer cells from the input biopsy image 50, and the generated first normal cell nucleus region The image is input to the cancer cell region image generation unit 6a.

なお、第1の正常細胞核領域画像を生成する際、第1の正常細胞核領域画像生成部4aは、上述したSVM(サポートベクターマシン)を用いて、高次局所自己相関特徴量(HLAC)を用いたパターン識別を行い正常な細胞核を特定する。   Note that when generating the first normal cell nucleus region image, the first normal cell nucleus region image generation unit 4a uses the above-described SVM (support vector machine) and uses the higher-order local autocorrelation feature (HLAC). Identify normal cell nuclei.

色空間変換部11dは、YCbCr色空間変換部11eを備えており、YCbCr色空間変換部11eにおいて、生検画像50の色空間を、輝度信号と2つの色差信号からなるYCbCr色空間に変換して、第2の正常細胞核領域画像生成部5aに入力する。   The color space conversion unit 11d includes a YCbCr color space conversion unit 11e. The YCbCr color space conversion unit 11e converts the color space of the biopsy image 50 into a YCbCr color space composed of a luminance signal and two color difference signals. To the second normal cell nucleus region image generation unit 5a.

第2の正常細胞核領域画像生成部5aは、生検画像50のYCbCr色空間において、色差Crを他の色差Cbで除算して、生検画像50における正常な細胞核領域とその他の細胞核領域とが区別できるように二値化して、正常な細胞核を含む領域を第2の正常細胞核領域とした第2の正常細胞核領域画像を生成して、生成した第2の正常細胞核領域画像を癌細胞領域画像生成部6aに入力する。   The second normal cell nucleus region image generation unit 5a divides the color difference Cr by another color difference Cb in the YCbCr color space of the biopsy image 50 to obtain a normal cell nucleus region and other cell nucleus regions in the biopsy image 50. A second normal cell nucleus region image is generated that is binarized so as to be distinguishable, and a region including normal cell nuclei is a second normal cell nucleus region, and the generated second normal cell nucleus region image is a cancer cell region image. It inputs into the production | generation part 6a.

その際、第2の正常細胞核領域画像生成部5aは、第2の正常細胞核領域画像に対して、例えば64×64ピクセルの小領域に分割して、各領域で平均をとり、平均が大きい領域を正常な細胞領域とする。   At that time, the second normal cell nucleus region image generation unit 5a divides the second normal cell nucleus region image into small regions of, for example, 64 × 64 pixels, takes an average in each region, and a region having a large average Is a normal cell region.

なお、生検画像50を二値化する際、第2の正常細胞核領域画像生成部5aは、生検画像50を予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を閾値に基づいて二値化する。   In addition, when binarizing the biopsy image 50, the second normal cell nucleus region image generation unit 5a generates a grayscale image by scaling the biopsy image 50 based on a predetermined scaling correction value, The generated gray scale image is binarized based on a threshold value.

この第2の正常細胞核領域画像生成部5aで用いるスケーリング補正値(Y)は、図1における第2の正常細胞核領域画像生成部5と同様、図1の背景領域画像生成部1で生成された画像における背景領域以外の生検画像50における領域を対象としてHSV色空間における彩度(S)で濃度平均を算出した値xを用いた式「Y=300−x/3」により算出する。   The scaling correction value (Y) used in the second normal cell nucleus region image generation unit 5a is generated by the background region image generation unit 1 in FIG. 1 as in the second normal cell nucleus region image generation unit 5 in FIG. The calculation is performed by an expression “Y = 300−x / 3” using a value x obtained by calculating a density average with saturation (S) in the HSV color space for an area in the biopsy image 50 other than the background area in the image.

上述したように、このようにして、スケーリング補正値を求める式「Y=300−x/3」において用いる値「x」を求めるのは、生検画像50のYCbCr色空間において、色差Crを他の色差Cbで除算した場合、生検画像50の染色濃度によって閾値が異なるためである。   As described above, the value “x” used in the expression “Y = 300−x / 3” for obtaining the scaling correction value is obtained in the YCbCr color space of the biopsy image 50 in addition to the color difference Cr. This is because the threshold value differs depending on the staining density of the biopsy image 50 when divided by the color difference Cb.

そのため、本例においても、濃度の差が同様にしてでるHSV色空間の彩度(S)で濃度平均を求める。そして、この際、生検画像50に背景が多く含まれているか否かによって平均が大きく異なってくるので、生検画像50における背景以外の領域の濃度平均を「x」として求める。   Therefore, also in this example, the density average is obtained from the saturation (S) of the HSV color space in which the density difference is the same. At this time, the average varies greatly depending on whether or not the biopsy image 50 includes a lot of background. Therefore, the average density of regions other than the background in the biopsy image 50 is obtained as “x”.

このような第2の正常細胞核領域画像生成部5aにおける生検画像50の二値化処理は、図1における第2の正常細胞核領域画像生成部5と同様に、上述の「大津の判別分析法」を用いて行なう。   The binarization processing of the biopsy image 50 in the second normal cell nucleus region image generation unit 5a is performed in the same manner as the second normal cell nucleus region image generation unit 5 in FIG. Is used.

このようにして第2の正常細胞核領域画像生成部5aで生成された第2の正常細胞核領域画像は、癌細胞領域画像生成部6aに入力される。   The second normal cell nucleus region image generated by the second normal cell nucleus region image generation unit 5a in this way is input to the cancer cell region image generation unit 6a.

癌細胞領域画像生成部6aは、第1の正常細胞核領域画像生成部4aで生成され入力された第1の正常細胞核領域画像と、第2の正常細胞核領域画像生成部5aで生成され入力された第2の正常細胞核領域画像とを用いて、癌細胞領域画像を生成する。   The cancer cell region image generation unit 6a is generated and input by the first normal cell nucleus region image generated and inputted by the first normal cell nucleus region image generation unit 4a and the second normal cell nucleus region image generation unit 5a. A cancer cell region image is generated using the second normal cell nucleus region image.

その際、癌細胞領域画像生成部6aは、第1の正常細胞核領域画像と第2の正常細胞核領域画像の各々から、第1の正常領域マスクと第2の正常領域マスクを生成し、生成した第1の正常領域マスクと第2の正常領域マスクを重ね合わせることにより、最終的な正常領域マスクを生成し、そして、生成した最終的な正常領域マスクの領域以外の領域を癌細胞領域マスクとして生成する。   At that time, the cancer cell region image generation unit 6a generates and generates a first normal region mask and a second normal region mask from each of the first normal cell nucleus region image and the second normal cell nucleus region image. A final normal area mask is generated by superimposing the first normal area mask and the second normal area mask, and an area other than the generated area of the final normal area mask is used as a cancer cell area mask. Generate.

このようにして生成された癌細胞領域マスクを生検画像50に重ねることにより、癌細胞領域マスクで覆われた領域が生検画像50における癌細胞領域として表示される。   The region covered with the cancer cell region mask is displayed as the cancer cell region in the biopsy image 50 by superimposing the cancer cell region mask generated in this manner on the biopsy image 50.

図14において、第1の正常細胞核領域画像生成部4aにおいてSVMの学習に用いたサンプルデータ(学習用画像データ)例を示す。学習用画像データは,生検画像より識別対象を含んだ領域を摘出した画像と,その画像から識別器が識別すべき領域をマーキングしたものを一つの学習セットとして用いる。   FIG. 14 shows an example of sample data (learning image data) used for SVM learning in the first normal cell nucleus region image generation unit 4a. As the learning image data, an image obtained by extracting an area including an identification target from a biopsy image and an image obtained by marking an area to be identified by the classifier are used as one learning set.

図15(a)及び図15(b)においては、これらのサンプルデータで学習したSVMによる、生検画像の判別結果を示している。図15(a)では、生検画像150aにおいて、正常細胞核領域150bと癌細胞核領域150cとが区別できるようにされている様子が示され、図15(b)では、生検画像150dにおいて、正常細胞核領域150eと癌細胞核領域150fとが区別されている様子が示されている。   FIG. 15A and FIG. 15B show the results of biopsy image discrimination by SVM learned from these sample data. FIG. 15 (a) shows a state in which the normal cell nucleus region 150b and the cancer cell nucleus region 150c can be distinguished in the biopsy image 150a, and FIG. 15 (b) shows a normal state in the biopsy image 150d. A state in which the cell nucleus region 150e and the cancer cell nucleus region 150f are distinguished is shown.

図16では、第1の正常細胞核領域画像生成部4a、第2の正常細胞核領域画像生成部5a、及び癌細胞領域画像生成部6aによるマスクの生成手順例を示しており、生検画像160aを用いて第2の正常細胞核領域画像生成部5aにより生成された画像に対して生成した正常領域マスク160b、及び生検画像160aを用いて第1の正常細胞核領域画像生成部4aにより生成された画像に対して生成した正常領域マスク160cから、癌領域マスク160dを生成して、生検画像160aと重ねて表示している。   FIG. 16 shows an example of a mask generation procedure performed by the first normal cell nucleus region image generation unit 4a, the second normal cell nucleus region image generation unit 5a, and the cancer cell region image generation unit 6a. An image generated by the first normal cell nucleus region image generation unit 4a using the normal region mask 160b generated for the image generated by the second normal cell nucleus region image generation unit 5a and the biopsy image 160a. On the other hand, a cancer area mask 160d is generated from the normal area mask 160c generated on the basis of the biopsy image 160a.

このようにして表示された画像により、病理医は、生検画像160aにおける癌細胞領域を容易に特定することができる。   The image displayed in this manner allows the pathologist to easily identify the cancer cell region in the biopsy image 160a.

図17は、従来の技術による癌細部領域及び正常細胞領域の各々の検出結果と、癌細胞領域抽出装置10aによる検出結果とを示したものである。ここでは、293枚の生検画像を用いての、HLACのみによる癌細胞領域の特定結果及び組織別抽出法による癌細胞領域の特定結果と、癌細胞領域抽出装置10aによる癌細胞領域の特定結果とを比較した例を示している。   FIG. 17 shows the detection results of the cancer detail region and the normal cell region according to the conventional technique, and the detection result by the cancer cell region extraction apparatus 10a. Here, using 293 biopsy images, the results of specifying a cancer cell region using only HLAC, the results of specifying a cancer cell region using a tissue-specific extraction method, and the results of specifying a cancer cell region using the cancer cell region extraction apparatus 10a The example which compared with is shown.

図17に示すように、HLACによる癌細胞領域の特定結果(図中、「gray−HLAC」と記載)では、癌領域を正しく検出できた検出率(癌細胞領域検出率)は94.4%、正常な細胞領域を正しく検出できた検出率(正常領域検出率)は70.6%であった。また、組織別抽出法による癌細胞領域の特定結果による癌細胞領域の特定結果(図中、「組織別中抽出」と記載)では、癌細胞領域検出率は99.9%で高い検出率であるが、正常領域検出率は52.1%でかなり低い検出率であった。   As shown in FIG. 17, in the result of specifying the cancer cell region by HLAC (described as “gray-HLAC” in the figure), the detection rate (cancer cell region detection rate) at which the cancer region was correctly detected was 94.4%. The detection rate (normal region detection rate) at which a normal cell region was correctly detected was 70.6%. In addition, in the cancer cell region identification result (described as “extracted by tissue” in the figure) based on the cancer cell region identification result by the tissue-specific extraction method, the cancer cell region detection rate is 99.9%, which is a high detection rate. However, the normal area detection rate was 52.1%, which was a considerably low detection rate.

これに対して、癌細胞領域抽出装置10aでは、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域として抽出されていない領域を癌細胞核からなる領域として抽出しており、その結果、癌細胞領域の特定結果では、図中の丸付きの3で示すように、癌細胞領域検出率は94.4%で、HLACによる癌細胞領域の特定結果と同じであるが、正常領域検出率は82.0%と高い検出率を得ることができた。   In contrast, the cancer cell region extraction apparatus 10a uses the first normal cell nucleus region image and the second normal cell nucleus region image generated by different image processing, and normal cell nucleus regions in any of them. As a result, the cancer cell region detection rate is 94.4 as indicated by the circled 3 in the figure. %, Which is the same as the identification result of the cancer cell region by HLAC, but the normal region detection rate was as high as 82.0%.

以上、例えば図1を用いて説明したように、癌細胞領域抽出装置10では、プログラムされたコンピュータ処理を実行することで実現される機能として、背景領域画像生成部1(第1の画像生成手段)、細胞質・赤血球領域画像生成部2(第2の画像生成手段)、細胞核領域画像生成部3(第3の画像生成手段)、第1の正常細胞核領域画像生成部4(第4の画像生成手段)、第2の正常細胞核領域画像生成部5(第5の画像生成手段)、及び、癌細胞領域画像生成部6(第6の画像生成手段)を備えている。   As described above, for example, as described with reference to FIG. 1, in the cancer cell region extraction apparatus 10, the background region image generation unit 1 (first image generation unit) is realized as a function realized by executing programmed computer processing. ), Cytoplasm / red blood cell region image generation unit 2 (second image generation unit), cell nucleus region image generation unit 3 (third image generation unit), first normal cell nucleus region image generation unit 4 (fourth image generation) Means), a second normal cell nucleus region image generation unit 5 (fifth image generation unit), and a cancer cell region image generation unit 6 (sixth image generation unit).

そして、背景領域画像生成部1(第1の画像生成手段)により、染色された生検標本のカラー生検画像をHSV色空間において背景領域と背景領域以外の領域とが区別できるように生検画像を二値化した背景領域画像(第1の二値化画像)を生成し、細胞質・赤血球領域画像生成部2(第2の画像生成手段)により、RGB色空間において細胞質領域及び赤血球領域と細胞質領域及び赤血球領域以外の領域とが区別できるように生検画像を二値化した細胞質領域及び赤血球領域画像(第2の二値化画像)を生成する。   Then, the background region image generation unit 1 (first image generation unit) performs biopsy so that the color biopsy image of the stained biopsy specimen can be distinguished from the background region and the region other than the background region in the HSV color space. A background region image (first binarized image) obtained by binarizing the image is generated, and the cytoplasm / red blood cell region and the red blood cell region in the RGB color space are generated by the cytoplasm / red blood cell region image generation unit 2 (second image generation unit). A cytoplasmic region and red blood cell region image (second binarized image) is generated by binarizing the biopsy image so that the region other than the cytoplasmic region and the red blood cell region can be distinguished.

また、細胞核領域画像生成部3(第3の画像生成手段)により、背景領域画像生成部1により生成された背景領域画像と細胞質・赤血球領域画像生成部2により生成された細胞質領域及び赤血球領域画像とを用いて、背景領域と細胞質領域及び赤血球領域を除去した、すなわち、背景領域以外の領域と細胞質領域及び赤血球領域以外の領域とからなる領域を細胞核領域として、細胞核領域が背景領域と細胞質領域及び赤血球領域から区別できるようにした細胞核領域画像(第3の二値化画像)を生成する。   In addition, the cell region and red blood cell region images generated by the background region image generating unit 1 and the cytoplasm / red blood cell region image generating unit 2 by the cell nucleus region image generating unit 3 (third image generating unit). The background region, the cytoplasmic region, and the red blood cell region are removed using the And a cell nucleus region image (third binarized image) that can be distinguished from the red blood cell region.

また、第1の正常細胞核領域画像生成部4(第4の画像生成手段)により、細胞核領域画像生成部3により生成された細胞核領域画像における細胞核領域に対応する生検画像の領域において正常な細胞核の領域を示す第1の正常細胞核領域画像を生成する。   In addition, normal cell nuclei in the region of the biopsy image corresponding to the cell nucleus region in the cell nucleus region image generated by the cell nucleus region image generation unit 3 by the first normal cell nucleus region image generation unit 4 (fourth image generation unit). A first normal cell nucleus region image showing the region is generated.

また、第2の正常細胞核領域画像生成部5(第5の画像生成手段)により、カラー生検画像をYCbCr色空間において正常な細胞核の領域と正常な細胞核以外の領域とが区別できるように生検画像を二値化した第2の正常細胞核領域画像を生成する。   In addition, the second normal cell nucleus region image generation unit 5 (fifth image generation means) generates a color biopsy image so that normal cell nucleus regions and regions other than normal cell nuclei can be distinguished in the YCbCr color space. A second normal cell nucleus region image obtained by binarizing the inspection image is generated.

そして、癌細胞領域画像生成部6(第6の画像生成手段)により、第1の正常細胞核領域画像生成部4により生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像生成部5により生成された第2の正常細胞核領域画像のいずれにおいても正常な細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する。   The first normal cell nucleus region image and the second normal cell nucleus region image generation unit generated by the first normal cell nucleus region image generation unit 4 by the cancer cell region image generation unit 6 (sixth image generation unit). A cancer cell region image is generated in which a region that is not a normal cell nucleus region in any of the second normal cell nucleus region images generated in step 5 is defined as a region composed of cancer cell nuclei.

また、例えば図13を用いて説明したように、癌細胞領域抽出装置10aでは、プログラムされたコンピュータ処理を実行することで実現される機能として、第1の正常細胞核領域画像生成部4a、第2の正常細胞核領域画像生成部5a、及び、癌細胞領域画像生成部6aを備えている。   For example, as described with reference to FIG. 13, in the cancer cell region extraction device 10 a, as functions realized by executing programmed computer processing, the first normal cell nucleus region image generation unit 4 a and the second Normal cell nucleus region image generation unit 5a and cancer cell region image generation unit 6a.

そして、第1の正常細胞核領域画像生成部4aにより、生検画像の領域において癌細胞に該当しない正常な細胞核の領域を示す第1の正常細胞核領域画像を生成する。   Then, the first normal cell nucleus region image generation unit 4a generates a first normal cell nucleus region image indicating a normal cell nucleus region that does not correspond to a cancer cell in the biopsy image region.

また、第2の正常細胞核領域画像生成部5aにより、カラー生検画像をYCbCr色空間において癌細胞に該当しない正常な細胞核の領域と正常な細胞核以外の領域とが区別できるように生検画像を二値化した第2の正常細胞核領域画像を生成する。   In addition, the second normal cell nucleus region image generation unit 5a converts the biopsy image into a color biopsy image so that a normal cell nucleus region that does not correspond to a cancer cell in the YCbCr color space can be distinguished from a region other than the normal cell nucleus. A binarized second normal cell nucleus region image is generated.

そして、癌細胞領域画像生成部6aにより、第1の正常細胞核領域画像生成部4aにより生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像生成部5aにより生成された第2の正常細胞核領域画像のいずれにおいても正常な細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する。   Then, the cancer cell region image generation unit 6a performs the first normal cell nucleus region image generated by the first normal cell nucleus region image generation unit 4a and the second normal cell nucleus region image generation unit 5a. A cancer cell region image is generated in which a region that is not a normal cell nucleus region in any of the normal cell nucleus region images is defined as a region composed of cancer cell nuclei.

このように、癌細胞領域抽出装置10,10aでは、各々異なる画像処理によって生成された第1の正常細胞核領域画像と第2の正常細胞核領域画像を用いて、それらのいずれにおいても正常な細胞核の領域として抽出されていない領域を癌細胞核からなる領域として抽出しるので、各々の画像処理で誤って抽出した正常な細胞領域を除去した上で、癌細胞領域の抽出を行なうことができる。   As described above, the cancer cell region extraction apparatuses 10 and 10a use the first normal cell nucleus region image and the second normal cell nucleus region image generated by different image processing, and normal cell nuclei in any of them. Since a region not extracted as a region is extracted as a region composed of cancer cell nuclei, it is possible to extract a cancer cell region after removing a normal cell region erroneously extracted in each image processing.

これにより、癌細胞領域抽出装置10,10aによれば、染色された生検標本を撮影して得られたレアカラー生検画像から癌細胞核領域を精度良く抽出して病理医に提供することができ、病理医の目視による癌細胞の診断の迅速化及び負荷を軽減させることが可能となる。   Thereby, according to the cancer cell area | region extraction apparatus 10 and 10a, a cancer cell nucleus area | region can be extracted accurately from the rare color biopsy image obtained by image | photographing the dye | stained biopsy specimen, and it can provide for a pathologist. It is possible to speed up the diagnosis of cancer cells visually by the pathologist and reduce the load.

なお、本発明は、上述した例に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。   In addition, this invention is not limited to the example mentioned above, A various deformation | transformation and application are possible within the range which does not deviate from the summary of this invention.

例えば、本実施形態においては、癌細胞領域抽出装置10,10aを個別の装置として構成した例を示しているが、生体標本を撮影して生検画像を生成する画像処理装置に癌細胞領域抽出装置10,10aを搭載する構成することでも良い。この場合、画像情報提供装置20も同じ装置内に搭載される。   For example, in the present embodiment, an example is shown in which the cancer cell region extraction devices 10 and 10a are configured as individual devices, but the cancer cell region extraction is performed in an image processing device that captures a biological specimen and generates a biopsy image. It may be configured to mount the devices 10 and 10a. In this case, the image information providing device 20 is also mounted in the same device.

また、図2に示したコンピュータ構成において、本発明に係る各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各構成による処理が実行されても良いし、図示されていない通信機能を用いて、当該プログラムを読み込ませることでも良い。   In the computer configuration shown in FIG. 2, a program for realizing the function of each processing unit according to the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system. By reading and executing, the processing by each configuration may be executed, or the program may be read using a communication function not shown.

なお、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   The computer-readable recording medium refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能を、コンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、本実施の形態に係る癌細胞領域抽出装置10,10aの図1に示した各処理部を、プログラムにより各機能の実行が可能なコンピュータで構成するものとしているが、論理素子回路からなるハードウェア構成とすることでも良い。   In addition, each processing unit shown in FIG. 1 of the cancer cell region extraction apparatus 10 or 10a according to the present embodiment is configured by a computer capable of executing each function by a program, and is composed of a logic element circuit. A hardware configuration may be used.

また、癌細胞領域抽出装置10,10aのコンピュータ構成に関しても適宜にその構成内容を変更しても良い。   Further, the configuration of the cancer cell region extraction apparatuses 10 and 10a may be changed as appropriate.

このように、本発明を実施する形態例を、図面を参照して詳述してきたが、具体的な構成はこの実施の形態例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   As described above, the embodiment for carrying out the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and the scope of the present invention is not deviated. Design etc. are also included.

1 背景領域画像生成部
2 細胞質・赤血球領域画像生成部
3 細胞核領域画像生成部
4,4a 第1の正常細胞核領域画像生成部
5,5a 第2の正常細胞核領域画像生成部
6,6a 癌細胞領域画像生成部
10,10a 癌細胞領域抽出装置
11,11d 色空間変換部
11a HSV色空間変換部
11b RGB色空間変換部
11c,11e YCbCr色空間変換部
20,20a 画像情報提供装置
21 CPU
22 RAM
23 ROM
24 ハードディスク24(HDD)
25 入力装置
26 表示装置
27 通信装置
28 入出力インターフェイス部
29 システムバスBUS
30 生検画像
40 生検画像
40a 癌細胞の核
40b 正常な細胞の核
50 生検画像
60 画像(二値化画像)
60a 背景領域
70 画像(二値化画像)
70a 細胞質・赤血球領域
70b その他の領域
80 画像(二値化画像)
80a 細胞核の領域
80b 背景領域と細胞質・赤血球の領域
9a 細胞核サイズ閾値以上の大きさの細胞核
9b 細胞核サイズ閾値以下の大きさの細胞核
150a 生検画像
150b 正常細胞核領域
150c 癌細胞核領域
150d 生検画像
150e 正常細胞核領域
150f 癌細胞核領域
160a 生検画像
160b 第2の正常領域マスク
160c 第1の正常領域マスク
160d 癌領域マスク
DESCRIPTION OF SYMBOLS 1 Background area image generation part 2 Cytoplasm / red blood cell area image generation part 3 Cell nucleus area image generation part 4, 4a 1st normal cell nucleus area image generation part 5, 5a 2nd normal cell nucleus area image generation part 6, 6a Cancer cell area Image generation unit 10, 10a Cancer cell region extraction device 11, 11d Color space conversion unit 11a HSV color space conversion unit 11b RGB color space conversion unit 11c, 11e YCbCr color space conversion unit 20, 20a Image information providing device 21 CPU
22 RAM
23 ROM
24 Hard disk 24 (HDD)
25 Input Device 26 Display Device 27 Communication Device 28 Input / Output Interface Unit 29 System Bus BUS
30 Biopsy image 40 Biopsy image 40a Cancer cell nucleus 40b Normal cell nucleus 50 Biopsy image 60 Image (binarized image)
60a Background area 70 image (binarized image)
70a Cytoplasm / erythrocyte region 70b Other region 80 Image (binarized image)
80a Cell nucleus region 80b Background region and cytoplasm / red blood cell region 9a Cell nucleus 9b larger than cell nucleus size threshold cell nucleus 150a Cell nucleus size less than cell nucleus size threshold Biopsy image 150b Normal cell nucleus region 150c Cancer cell nucleus region 150d Biopsy image 150e Normal cell nucleus region 150f Cancer cell nucleus region 160a Biopsy image 160b Second normal region mask 160c First normal region mask 160d Cancer region mask

Claims (8)

HSV色空間において生体標本の背景領域と背景以外の背景外領域とが区別できるように、生体標本を撮像した生検画像を二値化した第1の二値化画像を生成する第1の画像生成手段と、
RGB色空間において細胞質領域及び赤血球領域と細胞質領域及び赤血球領域以外の細胞質等外領域とが区別できるように前記生検画像を二値化した第2の二値化画像を生成する第2の画像生成手段と、
前記第1の二値化画像と前記第2の二値化画像とを用いて、前記背景外領域と前記細胞質等外領域とを含む領域を細胞核領域として、該細胞核領域が前記背景領域と前記細胞質領域及び赤血球領域とから区別できるようにした第3の二値化画像を生成する第3の画像生成手段と、
前記第3の二値化画像における細胞核領域において癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第4の画像生成手段と、
YCbCr色空間において癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第5の画像生成手段と、
前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する第6の画像生成手段と、
を備えた癌細胞領域抽出装置。
A first image that generates a first binarized image obtained by binarizing a biopsy image obtained by imaging a biological specimen so that the background area of the biological specimen and an outside background area other than the background can be distinguished in the HSV color space. Generating means;
A second image that generates a second binarized image obtained by binarizing the biopsy image so that the cytoplasmic region and the red blood cell region can be distinguished from the cytoplasmic region other than the cytoplasmic region and the red blood cell region in the RGB color space. Generating means;
Using the first binarized image and the second binarized image, a region including the outer background region and the outer region such as the cytoplasm is defined as a cell nucleus region, and the cell nucleus region is the background region and the Third image generating means for generating a third binarized image that can be distinguished from the cytoplasmic region and the red blood cell region;
A fourth image generating means for generating a first normal cell nucleus region image showing a region of normal cell nuclei not corresponding to cancer cells in the cell nucleus region in the third binarized image;
Fifth image generating means for generating a second normal cell nucleus region image obtained by binarizing the biopsy image so that a normal cell nucleus region that does not correspond to a cancer cell and a region other than the normal cell nucleus can be distinguished in the YCbCr color space When,
A sixth image that generates a cancer cell region image in which a region that is not a normal cell nucleus region in either the first normal cell nucleus region image or the second normal cell nucleus region image is a region composed of cancer cell nuclei. Generating means;
A cancer cell region extraction apparatus comprising:
前記第1の画像生成手段は、HSV色空間における彩度を用いて予め定められた背景領域用の閾値に基づいて前記生検画像を二値化し、
前記第2の画像生成手段は、前記生検画像のピクセル毎にRGB色空間における青色を赤色で除算した後、予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を、RGB色空間において予め定められた細胞質領域及び赤血球領域用の閾値に基づいて前記生検画像を二値化し、
前記第5の画像生成手段は、予め定められたスケーリング補正値に基づいてスケーリングしてグレースケール画像を生成し、生成したグレースケール画像を、YCbCr色空間における色差Crを色差Cbで除算して前記生検画像を二値化する
請求項1記載の癌細胞領域抽出装置。
The first image generation means binarizes the biopsy image based on a threshold for a background region that is predetermined using the saturation in the HSV color space,
Said second image generating means, before after dividing the blue red in the RGB color space for each pixel of Kisei inspection image, to generate a gray-scale image by scaling based on the scaling correction value set in advance, The generated grayscale image is binarized from the biopsy image based on threshold values for the cytoplasmic region and the red blood cell region that are predetermined in the RGB color space,
The fifth image generation means generates a grayscale image by scaling based on a predetermined scaling correction value, and divides the generated grayscale image by dividing the color difference Cr in the YCbCr color space by the color difference Cb. The cancer cell region extraction apparatus according to claim 1, wherein the biopsy image is binarized.
前記第5の画像生成手段で用いる前記スケーリング補正値は、
前記第1の画像生成手段で生成された前記第2の二値化画像における前記背景領域以外の前記生検画像における領域を対象としてHSV色空間における彩度で濃度平均を算出した値xを用いた式「300−x/3」で算出する
請求項2記載の癌細胞領域抽出装置。
The scaling correction value used in the fifth image generation means is
The value x obtained by calculating the density average with the saturation in the HSV color space for the region in the biopsy image other than the background region in the second binarized image generated by the first image generation unit is used. The cancer cell region extraction device according to claim 2, which is calculated by the formula “300−x / 3”.
前記第4の画像生成手段は、予め定められた細胞核サイズ閾値以下の大きさの細胞核を含む領域を前記正常細胞核の領域とする
請求項1から請求項3のいずれか1項に記載の癌細胞領域抽出装置。
It said fourth image generating means, according to any one of claims 3 areas including a predetermined cell nucleus size threshold or less the size of the cell nucleus claims 1 to the normal fine胞核region Cancer cell region extraction device.
前記第4の画像生成手段は、サポートベクターマシンを用いて前記正常細胞核を特定する
請求項1から請求項3のいずれか1項に記載の癌細胞領域抽出装置。
It said fourth image generating means, a cancer cell region extraction device according to any one of claims 1 to 3 for identifying the normal fine胞核using support vector machines.
前記第4の画像生成手段は、前記サポートベクターマシンにおいて、高次局所自己相関特徴量を用いたパターン識別を行い、前記サポートベクターマシンは、前記第3の画像生成手段により生成された第3の二値化画像の細胞核領域から算出された高次局所自己相関特徴量を用いてパターン識別を行い前記正常細胞核を特定する
請求項5記載の癌細胞領域抽出装置。
The fourth image generation means performs pattern identification using higher-order local autocorrelation features in the support vector machine, and the support vector machine outputs the third image generated by the third image generation means. cancer cells area extraction apparatus according to claim 5, wherein identifying the normal fine胞核performs pattern identified using the higher-order local auto-correlation feature amount calculated from the cell nucleus region of the binarized image.
HSV色空間において生体標本の背景領域と背景以外の背景外領域とが区別できるように、生体標本を撮像した生検画像を二値化した第1の二値化画像を生成する第1の画像生成手順と、
RGB色空間において細胞質領域及び赤血球領域と細胞質領域及び赤血球領域以外の細胞質等外領域とが区別できるように前記生検画像を二値化した第2の二値化画像を生成する第2の画像生成手順と、
前記第1の二値化画像と前記第2の二値化画像とを用いて、前記背景外領域と前記細胞質等外領域とを含む領域を細胞核領域として、該細胞核領域が前記背景領域と前記細胞質領域及び赤血球領域とから区別できるようにした第3の二値化画像を生成する第3の画像生成手順と、
前記第3の二値化画像における細胞核領域において癌細胞に該当しない正常細胞核の領域を示す第1の正常細胞核領域画像を生成する第4の画像生成手順と、
YCbCr色空間において癌細胞に該当しない正常細胞核の領域と正常細胞核以外の領域とが区別できるように前記生検画像を二値化した第2の正常細胞核領域画像を生成する第5の画像生成手順と、
前記第1の正常細胞核領域画像と前記第2の正常細胞核領域画像のいずれにおいても正常細胞核の領域とされていない領域を、癌細胞核からなる領域とした癌細胞領域画像を生成する第6の画像生成手順と、
を含む癌細胞領域抽出方法。
A first image that generates a first binarized image obtained by binarizing a biopsy image obtained by imaging a biological specimen so that the background area of the biological specimen and an outside background area other than the background can be distinguished in the HSV color space. Generation procedure,
A second image that generates a second binarized image obtained by binarizing the biopsy image so that the cytoplasmic region and the red blood cell region can be distinguished from the cytoplasmic region other than the cytoplasmic region and the red blood cell region in the RGB color space. Generation procedure,
Using the first binarized image and the second binarized image, a region including the outer background region and the outer region such as the cytoplasm is defined as a cell nucleus region, and the cell nucleus region is the background region and the A third image generation procedure for generating a third binarized image that can be distinguished from the cytoplasmic region and the red blood cell region;
A fourth image generation procedure for generating a first normal cell nucleus region image indicating a region of normal cell nuclei not corresponding to cancer cells in the cell nucleus region in the third binarized image;
A fifth image generation procedure for generating a second normal cell nucleus region image obtained by binarizing the biopsy image so that a normal cell nucleus region that does not correspond to a cancer cell and a region other than the normal cell nucleus can be distinguished in the YCbCr color space When,
A sixth image that generates a cancer cell region image in which a region that is not a normal cell nucleus region in either the first normal cell nucleus region image or the second normal cell nucleus region image is a region composed of cancer cell nuclei. Generation procedure,
A method for extracting a cancer cell region, comprising:
コンピュータを、請求項1乃至請求項の何れか1項に記載の癌細胞領域抽出装置として機能させるためのプログラム。 A program for causing a computer to function as the cancer cell region extracting apparatus according to any one of claims 1 to 6 .
JP2012110839A 2012-05-14 2012-05-14 Cancer cell region extraction apparatus, method, and program Expired - Fee Related JP5995215B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012110839A JP5995215B2 (en) 2012-05-14 2012-05-14 Cancer cell region extraction apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012110839A JP5995215B2 (en) 2012-05-14 2012-05-14 Cancer cell region extraction apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2013238459A JP2013238459A (en) 2013-11-28
JP5995215B2 true JP5995215B2 (en) 2016-09-21

Family

ID=49763624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012110839A Expired - Fee Related JP5995215B2 (en) 2012-05-14 2012-05-14 Cancer cell region extraction apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP5995215B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6924761B2 (en) * 2015-12-18 2021-08-25 ベンタナ メディカル システムズ, インコーポレイテッド Systems and methods for separating images with different acquisition properties
JP6702339B2 (en) * 2015-12-24 2020-06-03 コニカミノルタ株式会社 Image processing device and program
US10789451B2 (en) * 2017-11-16 2020-09-29 Global Life Sciences Solutions Usa Llc System and method for single channel whole cell segmentation
EP3764095A1 (en) 2018-03-08 2021-01-13 Konica Minolta, Inc. Image processing method, image processing device, and program
KR102215269B1 (en) * 2018-08-07 2021-02-15 주식회사 딥바이오 System and method for generating result of medical diagnosis
KR102151723B1 (en) * 2018-08-07 2020-09-03 주식회사 딥바이오 System and method for medical diagnosis using multiple color model and neural network
JP6815431B2 (en) * 2019-03-26 2021-01-20 株式会社ダイヘン Painted surface inspection equipment and programs
CN111275696B (en) * 2020-02-10 2023-09-15 腾讯医疗健康(深圳)有限公司 Medical image processing method, image processing method and device
JP2023151273A (en) * 2022-03-31 2023-10-16 キヤノン株式会社 Image processing apparatus, image processing method, microscope system, program, and storage medium
WO2023199617A1 (en) * 2022-04-10 2023-10-19 株式会社ニコン Detecting device, detecting method, and detecting program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0229734D0 (en) * 2002-12-23 2003-01-29 Qinetiq Ltd Grading oestrogen and progesterone receptors expression
JP2004286666A (en) * 2003-03-24 2004-10-14 Olympus Corp Pathological diagnosis support apparatus and pathological diagnosis support program
JP4496943B2 (en) * 2004-11-30 2010-07-07 日本電気株式会社 Pathological diagnosis support apparatus, pathological diagnosis support program, operation method of pathological diagnosis support apparatus, and pathological diagnosis support system
JP4925111B2 (en) * 2007-03-05 2012-04-25 Kddi株式会社 Similar image search device
DE102007013971B4 (en) * 2007-03-23 2011-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., 80686 Method and device for determining a cell contour of a cell
JP2009210409A (en) * 2008-03-04 2009-09-17 Kddi Corp Method and device for image area division
US8644582B2 (en) * 2008-10-09 2014-02-04 Nec Corporation Support system for histopathological diagnosis, support program for histopathological diagnosis and support method for histopathological diagnosis
JP5321145B2 (en) * 2009-03-04 2013-10-23 日本電気株式会社 Image diagnosis support apparatus, image diagnosis support method, image diagnosis support program, and storage medium thereof
JP5387146B2 (en) * 2009-06-03 2014-01-15 日本電気株式会社 Pathological tissue image analysis apparatus, pathological tissue image analysis method, pathological tissue image analysis program
JP5651412B2 (en) * 2010-09-08 2015-01-14 株式会社東芝 Image processing apparatus, program, and image processing method

Also Published As

Publication number Publication date
JP2013238459A (en) 2013-11-28

Similar Documents

Publication Publication Date Title
JP5995215B2 (en) Cancer cell region extraction apparatus, method, and program
JP7076698B2 (en) Image analysis method, image analysis device, program, learned deep learning algorithm manufacturing method and learned deep learning algorithm
EP3486836A1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP6371544B2 (en) Image processing apparatus, image processing method, and image processing program
EP2859833A1 (en) Image processing device, image processing method, and image processing program
JP4877374B2 (en) Image processing apparatus and program
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5804220B1 (en) Image processing apparatus and image processing program
JP6552601B2 (en) Image processing apparatus, method of operating image processing apparatus, and image processing program
CN103327883A (en) Medical image processing device and medical image processing method
US9224199B2 (en) Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program
JP6819445B2 (en) Information processing equipment, control methods, and programs
WO2016117018A1 (en) Image processing device, image processing method, and image processing program
CN109658394B (en) Fundus image preprocessing method and system and microangioma detection method and system
JP5182689B2 (en) Fundus image analysis method, apparatus and program thereof
JP2008217494A (en) Image processing method, image processing program, and image processor
JP5292886B2 (en) Image analysis apparatus, method, program, and recording medium
JP6002564B2 (en) Apparatus for measuring spheroidization rate of carbide in steel material, method for measuring spheroidization rate, and program
WO2023181129A1 (en) Image processing method and image processing device
DK2901415T3 (en) PROCEDURE FOR IDENTIFICATION OF CELLS IN A BIOLOGICAL Tissue
JP5762571B2 (en) Image processing method, image processing apparatus, image processing program, and recording medium
CN117581100A (en) Image processing method and image processing apparatus
CN118764571A (en) Eye pattern observation method and system
JP2008250527A (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160816

R150 Certificate of patent or registration of utility model

Ref document number: 5995215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees