JPWO2013161155A1 - 画像計測装置、画像計測方法、および、画像計測用プログラム - Google Patents
画像計測装置、画像計測方法、および、画像計測用プログラム Download PDFInfo
- Publication number
- JPWO2013161155A1 JPWO2013161155A1 JP2014512308A JP2014512308A JPWO2013161155A1 JP WO2013161155 A1 JPWO2013161155 A1 JP WO2013161155A1 JP 2014512308 A JP2014512308 A JP 2014512308A JP 2014512308 A JP2014512308 A JP 2014512308A JP WO2013161155 A1 JPWO2013161155 A1 JP WO2013161155A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement
- region
- mask
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000005259 measurement Methods 0.000 claims abstract description 135
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 5
- 210000001519 tissue Anatomy 0.000 claims description 113
- 210000003855 cell nucleus Anatomy 0.000 claims description 59
- 238000010186 staining Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 14
- 238000000691 measurement method Methods 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 description 22
- 201000011510 cancer Diseases 0.000 description 17
- 230000010354 integration Effects 0.000 description 16
- 238000003364 immunohistochemistry Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000009545 invasion Effects 0.000 description 4
- 210000002536 stromal cell Anatomy 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Immunology (AREA)
- Dispersion Chemistry (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
部分画像抽出手段８２は、組織領域から予め定めた大きさの一定倍率の画像を抽出する。マスク生成手段８３は、抽出された画像ごとに、非計測対象領域を組織領域から除くためのマスクを生成する。計測手段８５は、画像ごとに生成されたマスクを統合した仮全体マスクを生成し、仮全体マスクにおけるマスクされていない部分のうち近接する部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成手段８４と、部分画像抽出手段８２によって抽出された画像ごとに、その画像に含まれる計測対象物に関する情報を計測する。領域情報算出手段８６は、計測された情報と全体マスクとから、対象領域ごとに計測対象物に関する情報を算出する。
Description
本発明は、染色された組織標本の画像から、組織に含まれる対象物の情報を計測する画像計測装置、画像計測方法、および、画像計測用プログラムに関する。
免疫染色病理組織標本（ＩＨＣ（Immuno-histochemistry ）標本）の画像から、対象（例えば、癌など）とする領域に含まれる細胞核数を計測することが行われている。一般に、技師や病理医などのユーザが、ＩＨＣ標本の画像から計測対象の領域を指定すると、画像を計測するシステムが、例えば、指定された領域内の細胞核数を染色強度別に計測する。
非特許文献１には、学習した細胞核と同等の細胞核を標本の組織領域全域から自動で認識する方法が記載されている。また、非特許文献２には、非特許文献１に記載された方法によって自動で認識した細胞核に対し、染色強度を判断し染色強度別の細胞核数を算出する方法が記載されている。
図５は、非特許文献１に記載された方法による計測対象の認識結果を示す説明図である。図５は、指定された計測対象の組織を認識した結果が個々に表示されていることを示す。
なお、特許文献１には、染色陽性細胞含有率を算出する乳癌病理画像診断支援システムが記載されている。特許文献１に記載されたシステムは、ＨＥ（Hematoxylin and Eosin stain ）染色画像から取得された腫瘍領域とＩＨＣ画像における腫瘍領域とをマッチングさせ、特定されたＩＨＣ画像における腫瘍領域の情報に基づいて、腫瘍領域内の染色陽性細胞含有率を算出する。
Aperio, "GENIE TISSUE PATTERN RECOGNITION", ［online］, ［平成24年4月10日検索］, インターネット〈URL：http://www.aperio.com/imageanalysis/Genie-Histology.asp〉
Kate Lillard-Wetherell, Ph.D.,"Automated selection and analysis of tumor regions in breast sections stained with nuclear IHC biomarkers", APERIO, APERIO APPLICATION NOTE, October 2008.
一般的な方法では、例えば、対象とする領域内の細胞核数を計測する場合、ユーザがＩＨＣ標本の画像から計測対象を認識し、その計測対象の領域を指定しなければならず、手間がかかるという課題がある。
また、非特許文献２に記載された方法を用いて組織領域全体を計測対象として指定した場合、算出結果として得られる細胞核個々の染色強度もしくは陽性・陰性などの数値は、組織領域全体で合計された１つの値として利用されることになる。この場合、例えば、癌を示す各領域の染色不均一性（heterogeneity）を数値として観察することはできない。
例えば、非特許文献１に記載された方法による認識結果を参照することで、ＩＨＣ標本の画像から計測対象の細胞核個々の分布を把握することは可能である。しかし、図５に示す情報だけでは、領域の染色性など、認識された計測対象の領域がどのような意味をもつかをユーザが理解することは困難である。
そこで、本発明は、組織標本を表す画像から、ユーザにとって理解しやすい態様で対象物の領域が示す内容を計測できる画像計測装置、画像計測方法、および、画像計測用プログラムを提供することを目的とする。
本発明による画像計測装置は、計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識する組織領域認識手段と、組織領域から予め定めた大きさの一定倍率の画像を抽出する部分画像抽出手段と、抽出された画像ごとに、非計測対象物が存在する領域である非計測対象領域を組織領域から除くためのマスクを生成するマスク生成手段と、画像ごとに生成されたマスクを統合した仮全体マスクを生成し、その仮全体マスクにおけるマスクされていない部分のうち近接するその部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成手段と、部分画像抽出手段によって抽出された画像ごとに、その画像に含まれる計測対象物に関する情報を計測する計測手段と、計測された情報と全体マスクとから、対象領域ごとに計測対象物に関する情報を算出する領域情報算出手段とを備えたことを特徴とする。
本発明による画像計測方法は、計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識し、組織領域から予め定めた大きさの一定倍率の画像を抽出し、抽出された画像ごとに、非計測対象物が存在する領域である非計測対象領域を組織領域から除くためのマスクを生成し、画像ごとに生成されたマスクを統合した仮全体マスクを生成し、仮全体マスクにおけるマスクされていない部分のうち近接するその部分をまとめて１つ以上の対象領域とした全体マスクを生成し、組織領域から抽出された画像ごとに、その画像に含まれる計測対象物に関する情報を計測し、計測された情報と全体マスクとから、対象領域ごとに計測対象物に関する情報を算出することを特徴とする。
本発明による画像計測用プログラムは、コンピュータに、計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識する組織領域認識処理、組織領域から予め定めた大きさの一定倍率の画像を抽出する部分画像抽出処理、抽出された画像ごとに、非計測対象物が存在する領域である非計測対象領域を組織領域から除くためのマスクを生成するマスク生成処理、画像ごとに生成されたマスクを統合した仮全体マスクを生成し、その仮全体マスクにおけるマスクされていない部分のうち近接するその部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成処理、部分画像抽出処理で抽出された画像ごとに、その画像に含まれる計測対象物に関する情報を計測する計測処理、および、計測された情報と全体マスクとから、対象領域ごとに計測対象物に関する情報を算出する領域情報算出処理を実行させることを特徴とする。
本発明によれば、組織標本を表す画像から、ユーザにとって理解しやすい態様で対象物の領域が示す内容を計測できる。
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明による画像計測装置の一実施形態を示すブロック図である。本実施形態の画像計測装置は、画像蓄積部１と、組織領域認識部２と、組織領域切り出し部３と、マスク生成部４と、マスク統合部５と、細胞核数計測部６と、結果表示部７とを備えている。
画像蓄積部１は、組織標本をスキャンした画像Ｓ００１を記憶する。組織標本をスキャンした画像は、例えば、免疫染色病理組織標本の画像などである。組織標本画像には、様々な構造物が含まれる。構造物の例としては、癌領域（浸潤の有無を区別しない癌領域）、浸潤のある癌領域、浸潤のない癌領域、良性疾患領域、病変ではない正常の領域、腺管領域、血管領域、リンパ管領域、上皮領域、間質領域、リンパ球、アーチファクト領域、壊死領域、脂肪領域などが挙げられる。ただし、構造物は、これらの内容に限定されない。
これらの構造物のうち、システムの目的によって、計測対象の構造物（以下、計測対象物と記す。）と、非計測対象の構造物（以下、非計測対象物と記す。）とが予め定められる。例えば、「浸潤のない癌領域」が、システムの目的に応じて計測対象物にもなり、非計測対象物にもなる。画像蓄積部１は、例えば、磁気ディスク等により実現される。
本実施形態では、画像計測装置が画像蓄積部１を備える場合を例に説明する。なお、画像計測装置が他の装置から組織標本を撮像した画像を受信するようにしてもよい。この場合、画像計測装置は、画像蓄積部１を備えていなくてもよい。
組織領域認識部２は、画像蓄積部１に記憶された画像Ｓ００１から、組織全領域Ｓ００２（組織領域と記すこともある。）を認識する。一般に、組織標本画像には、上述する計測対象物と非計測対象物以外にも、組織標本画像ではない領域（例えば、スライドグラスなど）を含む。そこで、組織領域認識部２は、画像Ｓ００１から組織標本画像ではない部分を除くことで、組織領域を認識してもよい。
組織領域切り出し部３は、組織領域認識部２が認識した組織全領域Ｓ００２の画像を、固定サイズの一定倍率の画像Ｓ００３に切り出す。具体的には、組織領域切り出し部３は、組織領域から予め定めたサイズで一定倍率の画像Ｓ００３を抽出する。
マスク生成部４は、組織領域切り出し部３が切り出した画像（すなわち、画像Ｓ００３）ごとに非計測対象物が存在する領域（以下、非計測対象領域と記す。）を認識して、マスクＳ００４を算出する。具体的には、マスク生成部４は、切り出された画像ごとに、組織領域から非計測対象領域を除くためのマスクＳ００４を生成する。例えば、間質細胞が非計測対象物である場合、マスク生成部４は、画像Ｓ００３ごとに間質細胞を含む領域を認識してマスクを算出してもよい。
以下、切り出された画像ごとにマスクを生成する方法を、間質細胞が非計測対象物である場合を例に説明する。一般に、組織標本画像は、カラー画像である場合が多い。そこで、マスク生成部４は、組織標本画像をグレースケール画像に変換する。マスク生成部４は、変換されたグレースケール画像に対して、ガウシアンフィルタなどの平滑化処理を行う。これにより、計測対象物の領域では濃度差が減少して、全体が１つの塊になる。一方、間質領域では、輝度値の高い周囲の画素の影響を受けて、染色された離散する間質細胞核が高い輝度値に変化する。
マスク生成部４は、平滑化処理された画像の輝度値ヒストグラムを生成し、間質領域と計測対象物の領域を分離するための閾値を算出する。マスク生成部４は、例えば、動的計画法により閾値を算出してもよい。マスク生成部４は、この閾値に基づいて２値化処理を行うことでマスクを生成する。
なお、マスクを生成する方法は、上記方法に限定されない。組織標本画像（組織領域）に含まれる非計測対象が存在する領域を特定可能な方法であれば、マスク生成部４は、他の方法を用いてマスクを生成してもよい。
マスク統合部５は、切り出した画像ごとに算出したマスク全体を統合することにより、組織全領域に対応した全体マスクＳ００５を生成する。
具体的には、マスク統合部５は、切り出された画像ごとに生成されたマスクを統合する。以下、この統合されたマスクを仮全体マスクと記す。マスク統合部５は、仮全体マスクの中のマスクされていない部分のうち、近接する部分をまとめて１つ以上の対象領域とした全体マスクを生成する。
マスクされていない部分は、組織標本画像では計測対象の部分に相当する。そのため、近接するマスクされていない部分をまとめることは、組織標本画像において近接する計測対象の部分をまとめること意味する。このようにして、組織標本画像の中の計測対象が、いくつかの対象領域にまとめられることになる。言い換えると、マスク統合部５は、このような対象領域を生成することにより、組織標本画像を意味ある領域ごとにまとめていると言うことができる。
マスク統合部５は、上述する対象領域を生成するように、仮全体マスクに対する画像処理を行う。マスク統合部５は、例えば、仮全体マスクに対して、膨張処理、縮小処理、クロージング処理、オープニング処理、穴埋め処理、小領域削除処理などの画像処理を行うことで各対象領域を生成してもよい。このようにすることで、組織標本画像中の計測対象を、例えば、癌領域などの意味ある領域にまとめることができる。
細胞核数計測部６は、組織領域切り出し部３が切り出した画像（すなわち、画像Ｓ００３）ごとに、染色強度別の細胞核数を計測する。以下、細胞核数計測部６が計測した染色強度別の細胞核数を示す情報を、細胞核数計測情報Ｓ００６と記す。なお、染色強度別の細胞核数は、細胞核数計測部６が計測する情報の一例である。細胞核数計測部６は、組織領域切り出し部３が切り出した画像に含まれる計測対象物に関する他の情報を計測してもよい。
結果表示部７は、癌などの計測対象領域ごとに結果を出力する。具体的には、結果表示部７は、細胞核数計測部６が計測した情報と全体マスクとから、対象領域ごとに計測対象物に関する情報を算出する
結果表示部７は、例えば、組織全領域に対応する全体マスクＳ００５と、細胞核数計測情報Ｓ００６とをもとに、染色強度別の細胞核数の計測結果と陽性率とを癌領域ごとに算出する。そして、結果表示部７は、算出結果を示す結果画像Ｓ００７を表示する。結果表示部７は、対象領域ごとの計測対象物に関する情報を、例えば、組織標本をスキャンした画像Ｓ００１に対象領域を重畳させて出力してもよい。
図２は、結果表示部７による出力結果画像Ｓ００７の一例を示す説明図である。図２に示す例では、計測対象物（例えば、癌）の対象領域が２つ存在し、それぞれの対象領域ごとおよび全体領域について陽性率を対応づけて表示した例を示している。
このように、本実施形態では、計測対象が意味のある領域にまとめられる。そのため、領域ごとに、染色強度別細胞核数や陽性率を表示することで、組織全領域における癌領域ごとの染色不均一性（ｈｅｔｅｒｏｇｅｎｅｉｔｙ）を観察することが可能になる。また、本実施形態では、計測対象領域の大きさが特定されるため、組織全領域中の計測対象領域のみについて、陽性率の面積分布（ヒストグラム）を得ることができる。
組織領域認識部２と、組織領域切り出し部３と、マスク生成部４と、マスク統合部５と、細胞核数計測部６と、結果表示部７とは、プログラム（画像計測用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像計測装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、組織領域認識部２、組織領域切り出し部３、マスク生成部４、マスク統合部５、細胞核数計測部６および結果表示部７として動作してもよい。また、組織領域認識部２と、組織領域切り出し部３と、マスク生成部４と、マスク統合部５と、細胞核数計測部６と、結果表示部７とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の画像計測装置の動作を説明する。図３は、組織標本をスキャンした画像から計測対象を示す領域ごとに陽性率を表示する動作の例を示す説明図である。
スキャンした画像Ｓ００１が入力されると、組織領域認識部２は、画像Ｓ００１から組織領域Ｓ００２を認識する。
組織領域切り出し部３は、組織領域Ｓ００２から予め定めた大きさの一定倍率の画像Ｓ００３を抽出する。
マスク生成部４は、抽出された画像Ｓ００３ごとにマスクＳ００４を生成する。
マスク統合部５は、画像Ｓ００３ごとに生成されたマスクＳ００４を統合して仮全体マスクＳ００８を生成する。マスク統合部５は、仮全体マスクＳ００８のマスクされていない近接する部分をまとめて、１つ以上の対象領域Ｓ００９とした全体マスクＳ００５を生成する。言い換えると、各対象領域Ｓ００９は、仮全体マスクＳ００８において白く示された部分に対し膨張処理などの画像処理を行って生成された領域であり、全体マスクＳ００５に含まれる。
一方、細胞核数計測部６は、各画像Ｓ００３に含まれる計測対象物に関する情報を計測する。細胞核数計測部６は、例えば、各画像Ｓ００３に含まれる染色強度別の細胞核数を計測して、細胞核数計測情報Ｓ００６を生成する。
結果表示部７は、計測された情報（細胞核数計測情報Ｓ００６）と、全体マスクＳ００５とから、対象領域Ｓ００９ごとに、計測対象物（例えば、癌など）に関する情報を算出する。結果表示部７は、例えば、染色強度別の細胞核数の計測結果と陽性率とを対象領域Ｓ００９ごとに算出する。そして、出力結果部７は、算出結果を出力する。
以上のように、本実施形態によれば、組織領域認識部２が、組織標本をスキャンした画像Ｓ００１（例えば、ＩＨＣ標本の画像）から組織領域Ｓ００２を認識し、組織領域切り出し部３が、組織領域Ｓ００２から予め定めた大きさの一定倍率の画像Ｓ００３を抽出する。マスク生成部４は、抽出された画像Ｓ００３ごとに、組織領域から非計測対象物領域を除くためのマスクＳ００４を生成し、マスク統合部５が、そのマスクＳ００４を統合した仮全体マスクＳ００８を生成する。
また、マスク統合部５は、仮全体マスクＳ００８におけるマスクされていない部分のうち近接する部分をまとめて１つ以上の対象領域Ｓ００９とした全体マスクＳ００５を生成する。
一方、細胞核数計測部６は、組織領域から抽出された画像Ｓ００３ごとに、その画像に含まれる計測対象物（例えば、癌など）に関する情報Ｓ００６（例えば、染色強度別の細胞核数）を計測し、結果表示部７が、計測された情報Ｓ００６と全体マスクＳ００５とから、対象領域Ｓ００９ごとに計測対象物に関する情報（例えば、染色強度別の細胞核数の計測結果および陽性率）を算出する。
以上のような構成により、組織標本を表す画像から、ユーザにとって理解しやすい態様で対象物の領域が示す内容を計測できる。
具体的には、本実施形態の画像計測装置を用いることで、計測したい領域を事前に選ぶ必要がないため、ユーザの手間を省くことができる。また、ユーザ間で計測対象領域に差がなくなるため、判定のぶれがなくなり、対象物の定量的な計測が可能になる。また、癌領域ごとの染色不均一性（ｈｅｔｅｒｏｇｅｎｅｉｔｙ）をＩＨＣ標本上に明示できるとともに、組織全領域中で癌領域のみについて陽性率の面積分布（ヒストグラム）を算出できるので、病理医が治療法を判断する支援をすることができる。
例えば、図５に示すような結果の場合、細胞核数や陽性率を表示するには領域の単位が細かすぎるため、ユーザにとっては、その内容を理解することが困難である。そのため、結果として、計測対象の領域（分布）は参照できても、細胞核数や陽性率は、実質的には、１枚の標本全体もしくは指定した領域全体を対象とした１つの値しか利用することができない。
しかし、本実施形態では、図２に例示する画像を表示することが可能である。このように、本実施形態では、組織標本を表す画像から、ユーザにとって理解しやすい態様で対象物の領域が示す内容を表示することができる。
次に、本発明の概要を説明する。図４は、本発明による画像計測装置の概要を示すブロック図である。本発明による画像計測装置は、計測対象物（例えば、癌など）と非計測対象物とを含む組織を染色して撮像した画像（例えば、ＩＨＣ標本の画像）から組織領域を認識する組織領域認識手段８１（例えば、組織領域認識部２）と、組織領域から予め定めた大きさの一定倍率の画像を抽出する部分画像抽出手段８２（例えば、組織領域切り出し部３）と、抽出された画像ごとに、非計測対象物が存在する領域である非計測対象領域を組織領域から除くためのマスクを生成するマスク生成手段８３（例えば、マスク生成部４）と、画像ごとに生成されたマスクを統合した仮全体マスクを生成し、その仮全体マスクにおけるマスクされていない部分のうち近接する部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成手段８４（例えば、マスク統合部５）と、部分画像抽出手段８２によって抽出された画像ごとに、その画像に含まれる計測対象物に関する情報（例えば、染色強度別の細胞核数）を計測する計測手段８５（例えば、細胞核数計測部６）と、計測された情報と全体マスクとから、対象領域ごとに計測対象物に関する情報（例えば、染色強度別の細胞核数の計測結果および陽性率）を算出する領域情報算出手段８６（結果表示部７）とを備えている。
そのような構成により、組織標本を表す画像から、ユーザにとって理解しやすい態様で対象物の領域が示す内容を計測できる。
また、計測手段８５は、部分画像抽出手段８２によって抽出された画像ごとに、染色強度別の細胞核数を計測してもよい。そして、領域情報算出手段８６は、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに染色強度別の細胞核数の計測結果を算出してもよい。
さらに、領域情報算出手段８６は、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに陽性率を算出してもよい。
また、画像計測装置は、領域情報算出手段８６により算出された対象領域ごとの計測対象物に関する情報を、組織を染色して撮像した画像とともに、対象領域に対応づけて出力する出力手段（例えば、結果表示部７）を備えていてもよい。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１２年４月２３日に出願された日本特許出願２０１２−０９７５６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、染色された組織標本の画像から、組織に含まれる対象物の情報を計測する画像計測装置に好適に適用される。
１ 画像蓄積部
２ 組織領域認識部
３ 組織領域切り出し部
４ マスク生成部
５ マスク統合部
６ 細胞核数計測部
７ 結果表示部
２ 組織領域認識部
３ 組織領域切り出し部
４ マスク生成部
５ マスク統合部
６ 細胞核数計測部
７ 結果表示部
Claims (10)
- 計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識する組織領域認識手段と、
前記組織領域から予め定めた大きさの一定倍率の画像を抽出する部分画像抽出手段と、
抽出された画像ごとに、前記非計測対象物が存在する領域である非計測対象領域を前記組織領域から除くためのマスクを生成するマスク生成手段と、
前記画像ごとに生成されたマスクを統合した仮全体マスクを生成し、当該仮全体マスクにおけるマスクされていない部分のうち近接する当該部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成手段と、
前記部分画像抽出手段によって抽出された画像ごとに、当該画像に含まれる計測対象物に関する情報を計測する計測手段と、
計測された情報と前記全体マスクとから、前記対象領域ごとに計測対象物に関する情報を算出する領域情報算出手段とを備えた
ことを特徴とする画像計測装置。 - 計測手段は、部分画像抽出手段によって抽出された画像ごとに、染色強度別の細胞核数を計測し、
領域情報算出手段は、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに染色強度別の細胞核数の計測結果を算出する
請求項１記載の画像計測装置。 - 計測手段は、部分画像抽出手段によって抽出された画像ごとに、染色強度別の細胞核数を計測し、
領域情報算出手段は、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに陽性率を算出する
請求項１または請求項２記載の画像計測装置。 - 領域情報算出手段により算出された対象領域ごとの計測対象物に関する情報を、組織を染色して撮像した画像とともに、前記対象領域に対応づけて出力する出力手段を備えた
請求項１から請求項３のうちのいずれか１項に記載の画像計測装置。 - 計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識し、
前記組織領域から予め定めた大きさの一定倍率の画像を抽出し、
抽出された画像ごとに、前記非計測対象物が存在する領域である非計測対象領域を前記組織領域から除くためのマスクを生成し、
前記画像ごとに生成されたマスクを統合した仮全体マスクを生成し、
前記仮全体マスクにおけるマスクされていない部分のうち近接する当該部分をまとめて１つ以上の対象領域とした全体マスクを生成し、
組織領域から抽出された前記画像ごとに、当該画像に含まれる計測対象物に関する情報を計測し、
計測された情報と前記全体マスクとから、前記対象領域ごとに計測対象物に関する情報を算出する
ことを特徴とする画像計測方法。 - 組織領域から抽出された画像ごとに、染色強度別の細胞核数を計測し、
計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに染色強度別の細胞核数の計測結果を算出する
請求項５記載の画像計測方法。 - 組織領域から抽出された画像ごとに、染色強度別の細胞核数を計測し、
計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに陽性率を算出する
請求項５または請求項６記載の画像計測装置。 - コンピュータに、
計測対象物と非計測対象物とを含む組織を染色して撮像した画像から組織領域を認識する組織領域認識処理、
前記組織領域から予め定めた大きさの一定倍率の画像を抽出する部分画像抽出処理、
抽出された画像ごとに、前記非計測対象物が存在する領域である非計測対象領域を前記組織領域から除くためのマスクを生成するマスク生成処理、
前記画像ごとに生成されたマスクを統合した仮全体マスクを生成し、当該仮全体マスクにおけるマスクされていない部分のうち近接する当該部分をまとめて１つ以上の対象領域とした全体マスクを生成する全体マスク生成処理、
前記部分画像抽出処理で抽出された画像ごとに、当該画像に含まれる計測対象物に関する情報を計測する計測処理、および、
計測された情報と前記全体マスクとから、前記対象領域ごとに計測対象物に関する情報を算出する領域情報算出処理
を実行させるための画像計測用プログラム。 - コンピュータに、
計測処理で、部分画像抽出処理で抽出された画像ごとに、染色強度別の細胞核数を計測させ、
領域情報算出処理で、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに染色強度別の細胞核数の計測結果を算出させる
請求項８記載の画像計測用プログラム。 - コンピュータに、
計測処理で、部分画像抽出処理で抽出された画像ごとに、染色強度別の細胞核数を計測させ、
領域情報算出処理で、計測された染色強度別の細胞核数と全体マスクとから、対象領域ごとに陽性率を算出させる
請求項８または請求項９記載の画像計測用プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012097561 | 2012-04-23 | ||
| JP2012097561 | 2012-04-23 | ||
| PCT/JP2013/001449 WO2013161155A1 (ja) | 2012-04-23 | 2013-03-07 | 画像計測装置、画像計測方法、および、画像計測用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013161155A1 true JPWO2013161155A1 (ja) | 2015-12-21 |
| JP5924406B2 JP5924406B2 (ja) | 2016-05-25 |
Family
ID=49482513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014512308A Active JP5924406B2 (ja) | 2012-04-23 | 2013-03-07 | 画像計測装置、画像計測方法、および、画像計測用プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9390313B2 (ja) |
| JP (1) | JP5924406B2 (ja) |
| WO (1) | WO2013161155A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016120418A1 (en) | 2015-01-31 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality control of automated whole-slide analysis |
| CN105654173B (zh) * | 2016-01-06 | 2018-04-17 | 大连海洋大学 | 工业螺母区域标定与个数检测方法 |
| EP4024324A4 (en) * | 2019-08-28 | 2022-10-26 | NEC Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND COMPUTER READABLE RECORDING MEDIA |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
| JPH09138854A (ja) * | 1995-11-15 | 1997-05-27 | Nec Corp | 画像の領域抽出方法及び装置 |
| JP2004532410A (ja) * | 2001-04-20 | 2004-10-21 | イェール ユニバーシティ | 細胞および組織の自動分析のためのシステムおよび方法 |
| JP2005530138A (ja) * | 2002-06-18 | 2005-10-06 | ライフスパン バイオサイエンス，インク． | 組織標本の中の重要な構造のコンピュータを利用した画像捕捉 |
| JP2006095223A (ja) * | 2004-09-30 | 2006-04-13 | Pola Chem Ind Inc | 角層細胞の鑑別法 |
| WO2008108059A1 (ja) * | 2007-03-01 | 2008-09-12 | Nec Corporation | 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体 |
| JP2009508200A (ja) * | 2005-09-09 | 2009-02-26 | キネティック リミテッド | 画像領域の自動選定 |
| JP2009175040A (ja) * | 2008-01-25 | 2009-08-06 | Nec Corp | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム |
| JP2010281636A (ja) * | 2009-06-03 | 2010-12-16 | Nec Corp | 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム |
| JP2011210156A (ja) * | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
| WO2012011579A1 (ja) * | 2010-07-23 | 2012-01-26 | 独立行政法人産業技術総合研究所 | 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム |
| WO2012043498A1 (ja) * | 2010-09-30 | 2012-04-05 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| EP1975875A3 (en) * | 2005-05-13 | 2008-10-08 | Tripath Imaging, Inc. | Methods of chromogen separation-based image analysis |
| US20100303809A1 (en) * | 2009-06-01 | 2010-12-02 | Targeted Molecular Diagnostics, Llc | Methods for the detection and quantitation of pten |
| WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| US9292933B2 (en) * | 2011-01-10 | 2016-03-22 | Anant Madabhushi | Method and apparatus for shape based deformable segmentation of multiple overlapping objects |
| US20130338016A1 (en) * | 2012-04-17 | 2013-12-19 | Vala Sciences, Inc. | Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis |
-
2013
- 2013-03-07 WO PCT/JP2013/001449 patent/WO2013161155A1/ja active Application Filing
- 2013-03-07 US US14/395,583 patent/US9390313B2/en active Active
- 2013-03-07 JP JP2014512308A patent/JP5924406B2/ja active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
| JPH09138854A (ja) * | 1995-11-15 | 1997-05-27 | Nec Corp | 画像の領域抽出方法及び装置 |
| JP2004532410A (ja) * | 2001-04-20 | 2004-10-21 | イェール ユニバーシティ | 細胞および組織の自動分析のためのシステムおよび方法 |
| JP2005530138A (ja) * | 2002-06-18 | 2005-10-06 | ライフスパン バイオサイエンス，インク． | 組織標本の中の重要な構造のコンピュータを利用した画像捕捉 |
| JP2006095223A (ja) * | 2004-09-30 | 2006-04-13 | Pola Chem Ind Inc | 角層細胞の鑑別法 |
| JP2009508200A (ja) * | 2005-09-09 | 2009-02-26 | キネティック リミテッド | 画像領域の自動選定 |
| WO2008108059A1 (ja) * | 2007-03-01 | 2008-09-12 | Nec Corporation | 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体 |
| JP2009175040A (ja) * | 2008-01-25 | 2009-08-06 | Nec Corp | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム |
| JP2010281636A (ja) * | 2009-06-03 | 2010-12-16 | Nec Corp | 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム |
| JP2011210156A (ja) * | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
| WO2012011579A1 (ja) * | 2010-07-23 | 2012-01-26 | 独立行政法人産業技術総合研究所 | 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム |
| WO2012043498A1 (ja) * | 2010-09-30 | 2012-04-05 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5924406B2 (ja) | 2016-05-25 |
| US9390313B2 (en) | 2016-07-12 |
| US20150131854A1 (en) | 2015-05-14 |
| WO2013161155A1 (ja) | 2013-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6900581B1 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
| JP6772066B2 (ja) | 画像を処理して解析するための検査装置 | |
| US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
| JP5804220B1 (ja) | 画像処理装置および画像処理プログラム | |
| JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| JP6168426B2 (ja) | 疾患分析装置、制御方法、及びプログラム | |
| JP2009115599A (ja) | 評価システム、評価方法および評価プログラム | |
| JP5771513B2 (ja) | 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム | |
| EP3124953A1 (en) | Spheroid evaluation method and spheroid evaluation device | |
| JPWO2017221592A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| WO2020195258A1 (ja) | 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム | |
| US20180128734A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5924406B2 (ja) | 画像計測装置、画像計測方法、および、画像計測用プログラム | |
| JP5789786B2 (ja) | 画像計測装置および画像計測方法 | |
| JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| JP2019164450A (ja) | 画像処理方法、コンピュータプログラムおよび記録媒体 | |
| KR20080015081A (ko) | 세포 구조 및 세포 구조 내 성분 분석 방법 | |
| JP2014134517A (ja) | 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム | |
| JP2008216077A (ja) | 染色組織標本の陽性細胞の自動検出法 | |
| Perdigão et al. | Okapi-EM: A napari plugin for processing and analyzing cryogenic serial focused ion beam/scanning electron microscopy images | |
| Tewary et al. | SmartIHC-Analyzer: smartphone assisted microscopic image analytics for automated Ki-67 quantification in breast cancer evaluation | |
| CN111028219B (zh) | 一种结肠图像识别方法、装置以及相关设备 | |
| JP5910637B2 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム | |
| CN114945825A (zh) | 癌症判定装置、癌症判定方法以及程序 | |
| JPWO2016076104A1 (ja) | 画像処理方法、画像処理装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5924406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |