JP7122017B2 - 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体 - Google Patents

画像解析方法、推定装置、推定システム、制御プログラム、記録媒体 Download PDF

Info

Publication number
JP7122017B2
JP7122017B2 JP2020219604A JP2020219604A JP7122017B2 JP 7122017 B2 JP7122017 B2 JP 7122017B2 JP 2020219604 A JP2020219604 A JP 2020219604A JP 2020219604 A JP2020219604 A JP 2020219604A JP 7122017 B2 JP7122017 B2 JP 7122017B2
Authority
JP
Japan
Prior art keywords
statistic
tissue
image
estimation
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020219604A
Other languages
English (en)
Other versions
JP2022104405A (ja
Inventor
和昭 中根
ヤン チャオヤン
ワン シアンシュエ
フー ヤオ
ルー ハオダ
ファン シアンシャン
ディー.フェルドマン マイケル
マダブシ アナント
スゥー ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apsam Imaging
Original Assignee
Apsam Imaging
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apsam Imaging filed Critical Apsam Imaging
Priority to JP2020219604A priority Critical patent/JP7122017B2/ja
Priority to US17/327,993 priority patent/US11861836B2/en
Publication of JP2022104405A publication Critical patent/JP2022104405A/ja
Application granted granted Critical
Publication of JP7122017B2 publication Critical patent/JP7122017B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

特許法第30条第2項適用 ・刊行物名「Computer Methods and Programs in Biomedicine,Vol.194,105528」 発行日 令和2年5月26日
本発明は人体の組織を撮像した組織画像を解析して、組織の細胞の分化の度合いを推定する画像解析方法および推定装置等に関する。
熟練した病理医は、対象者(例えば、患者)の身体から採取された組織に生じた腫瘍に関して、該組織を撮像した組織画像に基づいて診断する。しかし、組織に含まれる細胞の分化の度合いに関する病理学的指標の中には、組織画像を眼で見ただけでは識別困難なものがある。
そこで、コンピュータによるさまざまな画像解析方法が考案されている。非特許文献1には、前立腺がんの検出および分類のための複数の異なるアプローチを検討している。
C. Mosquera-Lopes et. al.,"Computer-aided prostate cancer diagnosis from digitized histopathology: a review on texture-based systems."IEEE Rev. Biomed. Eng. Vol 8, pp98-113, 2014
病理医は、組織に生じた腫瘍細胞の構造上の特性、配置、および浸潤様式を理解しており、組織に生じた腫瘍がどのような組織画像として撮像され得るのかについても理解している。その上で、病理医は、組織画像に基づいて組織に含まれる細胞の分化の度合いを判定する。
例えば、前立腺がんの病理学的診断に用いられる指標であるグリソン分類(Gleason’s grade)を適用した場合、前立腺がんは、最も軽い病状を表すグレード1から、最も重い病状を表すグレード5までの、5つの異なるグレードのいずれかに分類される。腺の分化の度合いがグリソン分類の最も強い決定因子ではあるものの、病理医の眼による分類は主観的であり、特に中程度の病状を表すグレード3とグレード4との分類においては、熟練した病理医であっても時間がかかる上に、病理医間で一致しない場合が多い。
非特許文献1に記載されているさまざまな画像解析方法は、このような状況を改善するために提案されているが、各画像解析方法には判定結果の正確性および信頼性において改善の余地がある。
本発明の一態様は、組織に含まれる細胞の分化の度合いについて、精度良く判定する画像解析方法および推定装置等を実現する。
<1>上記の課題を解決するために、本発明の一態様に係る画像解析方法は、組織を撮像した組織画像を解析する画像解析方法であって、前記組織画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出する特徴数算出ステップと、前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する統計量算出ステップと、前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力し、前記組織に含まれる細胞の分化の度合いを出力する推定ステップと、を含む。
<7>また、本発明の一態様に係る画像解析装置は、組織を撮像した組織画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出する特徴数算出部と、前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する統計量算出部と、を備える。
<10>また、本発明の一態様に係る推定装置は、上記<7>に記載の画像解析装置から、前記第1統計量、前記第2統計量、および前記第3統計量を取得し、前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力して、前記組織に含まれる細胞の分化の度合いを出力する推定部、を備える。
<11>あるいは、本発明の一態様に係る推定装置は、組織を撮像した組織画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出する特徴数算出部と、前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する統計量算出部と、前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力して、前記組織に含まれる細胞の分化の度合いを出力する推定部、を備える。
<14>また、本発明の一態様に係る推定システムは、上記<7>に記載の画像解析装置と、上記<10>に記載の推定装置と、前記組織画像を前記画像解析装置へ送信する外部機器と、前記推定装置から出力された推定結果を取得して該推定結果を提示する提示装置と、を含む。
<14>また、本発明の一態様に係る推定システムは、上記<7>に記載の画像解析装置と、上記<10>に記載の推定装置と、前記組織画像を前記推定装置へ送信する外部機器と、前記推定装置から出力された推定結果を取得して該推定結果を提示する提示装置と、を含む。
本発明の各態様に係る推定装置および画像解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部(ソフトウェア要素)として動作させることにより前記推定装置をコンピュータにて実現させる推定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、組織に含まれる細胞の分化の度合いについて、精度良く判定することができる。
(b)は、前立腺の針生検画像の全体を示す図であり、(a)および(c)は、(b)に示す針生検画像から中程度の病状の前立腺がんが生じている領域を抽出して拡大した部分画像を示す図である。 ホモロジーの概念におけるベッチ数を説明するための模式図である。 本発明の一態様に係る推定装置を備える推定システムの構成例を示す機能ブロック図である。 組織画像から生成された二値化画像、および各二値化画像において算出された0次元ベッチ数および1次元ベッチ数の例を示す図である。 推定装置が行う処理の流れの一例を示すフローチャートである。 訓練用組織画像のデータ構造の一例を示す図である。 推定モデルを生成する推定装置の要部構成の一例を示す機能ブロック図である。 推定モデルを生成するために推定装置が行う処理の流れの一例を示すフローチャートである。 本発明の一態様に係る画像解析方法による推定精度と、他の公知の画像解析方法による推定精度とを比較した結果を示す図である。 本発明の一態様に係る画像解析方法による推定精度と、他の公知の画像解析方法による推定精度とを比較した結果を示す図である。 ハイパーパラメータkを変更した場合の、推定モデルから出力される推定結果の精度に関する各評価指標を示す図である。 本発明の一態様に係る推定システムの構成例を示す機能ブロック図である。 本発明の一態様に係る推定システムの構成例を示す機能ブロック図である。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(本発明の技術思想)
まず、本発明の一態様に係る画像解析方法の技術思想について以下に説明する。
前立腺がんは、グリソン分類を適用した場合、最も軽い病状を表すグレード1から、最も重い病状を表すグレード5までの、5つの異なるグレードのいずれかに分類され得る。グリソン分類において、前立腺(組織)に含まれる腺の分化の度合いが最も強い決定因子である。ここで、前立腺に含まれる細胞の分化の度合いは、腫瘍の構造および浸潤の度合いに対応付けられた病理学的指標であってもよい。例えば、前立腺の針生検画像(以下、針生検画像と記す)に基づいて、中程度の病状を表すグレードを正しく識別するには、熟練した病理医であっても、針生検画像を慎重に確認する必要があるため、時間を要する上に、病理医間で診断結果が一致しない場合もある。
本発明の発明者らは、組織画像の一例として針生検画像を解析対象に選び、針生検画像(組織画像)における、前立腺がんが生じていない領域と、前立腺がんが生じている領域とを詳細に比較・検討した。本発明の発明者らは、腺腔に対応する細胞の細胞核同士のトポロジカルな配列を記述し、前立腺がんの針生検スライドの中の腺分化の度合いを定量化するために、ホモロジーの概念を適用した。
より具体的には、本発明の発明者らは、針生検画像から、解析対象となる領域が写っている部分画像(組織画像)を抽出し、該部分画像に対して二値化の基準値が異なる複数の二値化画像を生成した。そして、本発明の発明者らは、二値化画像のそれぞれについて、1次元ベッチ数b1(第1特徴数)および0次元ベッチ数b0(第2特徴数)、および1次元ベッチ数b1と0次元ベッチ数b0との比R(第3特徴数)を算出した。ここで、比Rは、b1/b0であってもよいし、b0/b1であってもよい。これにより、本発明の発明者らは、針生検画像から生成された二値化画像群について、(1)1次元ベッチ数b1の群、(2)0次元ベッチ数b0の群、および(3)比Rの群、を得た。
次に、本発明の発明者らは、(1)1次元ベッチ数b1の群、(2)0次元ベッチ数b0の群、および(3)比Rの群を、それぞれ離散した確率分布として捉えて、それぞれの分布に関する統計量を算出した。同じ針生検画像について算出されたこれらの統計量の組は、該針生検画像に写っている組織に含まれる細胞の細胞核同士のトポロジカルな配列の特徴を示す特徴ベクトルと考えられる。
本発明の発明者らは、このように算出した統計量に基づいて、各針生検画像に写っている腺の分化の度合いを精度良く判定可能であることを見いだし、本発明の一態様に係る画像解析方法を発明するに至った。例えば、本発明の一対応に係る画像解析方法を適用すれば、針生検画像に基づいて、前立腺がんの病状を表すグリソン分類のグレード1~5をそれぞれ精度良く識別することができる。
熟練した病理医であっても、グリソン分類における中程度の病状を表すグレード3とグレード4とを識別することは容易ではない場合がある。本発明の一態様に係る画像解析方法を適用すれば、グリソン分類におけるグレード3とグレード4との識別結果を、短時間で、かつ正確に行うことが可能である。
(針生検画像とグリソン分類)
ここで、針生検画像に基づいて判断されるグリソン分類について、図1を用いて説明する。図1は、組織画像の一例を示す図であり、(b)は、針生検画像の全体を示す図であり、(a)および(c)はいずれも、前立腺がんが生じている領域を抽出した部分画像を示す図である。
図1の(b)に示す針生検画像は、対象者から採取された前立腺の複数個所から採取された組織片をパラフィン包埋し、薄片にスライスした後に、HE(Hematoxylin-Eosin)染色した標本を撮像した画像を40倍に拡大した画像である。
HE染色は、採取された組織片を染色するために用いられる方法の1つであり、ヘマトキシリンによる染色と、エオシンによる染色とを併用する。ヘマトキシリンは、細胞核のクロマチンと細胞質のリボソームを青紫色に染める。一方、エオシンは、細胞質の構成成分と細胞外の基質とを赤色に染める。
組織画像に写っている腺腔を構成する個々の細胞の細胞核の位置および配列を明確化するために、組織画像に対して染色分離(color deconvolution)処理を施してもよい。染色分離処理は、ヘマトキシリン染色による色の強さと、エオシン染色による色の強さとを、正規化するための処理である。例えば、組織画像がRGBの3色相によって表現されている場合、染色分離処理において、下記に示す式(1)または式(2)のような正規化係数行列が使用され得る。式(1)に示す正規化係数行列は、Ruifrokらの染色行列そのものであり、式(2)に示す正規化係数行列は、Macenkoらによる適応評価方法を用いて算出された平均染色行列である。なお、各正規化係数行列の1行目(上段)はヘマトキシリン染色に関する正規化係数であり、2行目(下段)はエオシン染色に関する正規化係数である。
Figure 0007122017000001
Figure 0007122017000002
図1の(a)および(c)はいずれも、図1の(b)に示す針生検画像から、中程度の病状の前立腺がんが生じている領域を抽出した部分画像を示す図である。一例として、図1の(a)および(c)にそれぞれ2つずつ部分画像を示す。図1の(a)および(c)に示す部分画像は、図1の(b)に示す針生検画像に写っている各領域を40倍に拡大した画像である。
画像に写っている組織に含まれる細胞の分化の度合いを解析するためには、個々の細胞の細胞核ではなく、複数の細胞の細胞核同士のトポロジーおよび連結性に関する特徴を評価する必要がある。そこで、部分画像を解析対象とする場合、拡大倍率10倍とし、縦および横のピクセル数を160としてもよい。
針生検画像に写っている前立腺は、局所的に前立腺がんの領域を含んでいる場合がある。針生検画像の局所的な領域を解析対象とし、該領域についてグリソン分類におけるグレードを割当ててもよい。このために、解析対象となる部分画像を針生検画像から複数抽出してもよい。
針生検画像から組織が写っていない背景領域を除くために、任意の公知のアルゴリズムが用いられてもよい。このようなアルゴリズムの一例としては、OTSUアルゴリズム(Otsu、1979、IEEE Trans. Syst. Man. Cybern. Vol.9(1)、p62-66、doi:10.1109/tsmc.1979.4310076.)が挙げられる。また、部分画像を抽出するために、画像認識機能を備える任意の学習済のニューラルネットワークが用いられてもよい。
例えば、針生検画像に写っている前立腺の全体についてのグリソン分類は、該針生検画像から抽出された複数の部分画像についての解析結果に基づいて推定され得る。針生検画像から複数の部分画像を抽出するための抽出ウィンドウは、針生検画像の各領域を行ごとに左上から右下に所定のステップサイズで移動させてもよい。例えば、抽出される部分画像の縦および横のピクセル数が160である場合、ステップサイズは80ピクセルであってもよい。
図1の(a)に示す部分画像では、細胞核同士が腺腔に対応して配列しているのに対し、図1の(c)に示す部分画像では、細胞核同士の配列が小孔状に配列している箇所および腺腔に対応して配列していない箇所が見られる。熟練した病理医は、図1の(a)に示す部分画像に写っている領域はグリソン分類におけるグレード3に該当すると判定し、図1の(c)に示す部分画像に写っている領域はグリソン分類におけるグレード4に該当すると判定する。
本明細書において、組織画像とは、対象者の身体から採取された組織の切片を撮像した画像であってもよい。なお、本発明の一態様に係る画像解析方法は、対象者の身体の組織に含まれる細胞の細胞が写っている組織画像に基づいて、細胞の分化の度合いを推定することが可能であり、前立腺の針生検画像に限定されない。本発明の一態様に係る画像解析方法は、例えば、前立腺のほか、消化管、肝臓、膵臓、およびリンパ節などを解析対象とすることが可能である。
(組織画像を解析するための数学的表現)
次に、本発明の一態様に係る画像解析方法において、組織画像を解析するために適用される数学的表現について説明する。
組織に生じた変化を定量化して解析するために、本発明の一態様に係る画像解析方法では、二値化画像に対して、ホモロジーの概念、特にパーシステントホモロジーを適用する。ホモロジーとは、図形の形態上の性質を代数的に置き換えて、図形の結合などの解析を容易にする数学の一分野である。
ホモロジーの概念は、構成要素の連結および接触を表す数学的な概念である。組織画像において、適切な二値化の基準値(二値化パラメータともいう)を設定して二値化する。そして、二値化された画像から0次元ベッチ数および1次元ベッチ数b1を算出する。算出された0次元ベッチ数b0および1次元ベッチ数b1を用いて、その組織の構成要素同士の連結の程度、および構成要素同士の接触の程度の評価が可能である。
ベッチ数とは、図形(例えば、組織の構成要素に該当)の形状には無関係であり、図形同士の接触と分離とにのみ関係するトポロジカルな示唆数である。q次元特異ホモロジー群が有限生成のとき、このq次特異ホモロジー群は、自由アーベル群と有限アーベル群との直和に分けられる。この自由アーベル群の階級をベッチ数という。
<0次元ベッチ数b0>
0次元ベッチ数b0は、数学的には以下のように定義される。一般に有限個の線分を繋ぎ合わせて成る図形(1次元複体とも呼称される)Kの連結成分の個数を0次元ベッチ数という。「有限個の点を有限個の線分で結んだ図形が連結である」とは、この図形の任意の頂点から他の任意の頂点に、この図形の辺を辿って到達し得ることを意図する。
異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値(例えば、二値化の結果、画素値が0)の画素が連結して成る連結領域の数が、0次元ベッチ数b0である。
<1次元ベッチ数b1>
1次元ベッチ数b1は、数学的には以下のように定義される。以下の(1)および(2)の条件が満たされる場合、図形Kの1次元ベッチ数b1はrである。(1)有限個の線分を繋ぎ合わせて成る図形(連結な1次元複体)Kに対して、適当なr個の、開いた(両端を含まない)1次元単体(例えば、線分)を図形Kから取り去っても図形Kの連結成分の個数は増加しない。(2)任意の(r+1)個の、開いた1次元単体をKから取り去った場合にはKは連結でなくなる(すなわち、Kの連結成分の個数が1つ増加する)。
異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値(例えば、二値化の結果、画素値が0)の画素に囲まれた穴形状の領域(例えば、二値化の結果、画素値が255)の数が、1次元ベッチ数b1である。
<例示的な図形の0次元ベッチ数b0および1次元ベッチ数b1>
ここで、図2に示す例示的な図形を用いて、二値化画像における0次元ベッチ数b0および1次元ベッチ数b1について説明する。図2は、ホモロジーの概念におけるベッチ数を説明するための模式図である。図2に示す図形M1の場合、黒い領域の数は1つである。したがって、図形M1の0次元ベッチ数b0は1である。また、図形M1の場合、黒い領域によって囲まれた白い領域の数は1つである。したがって、図形M1の1次元ベッチ数b1は1である。
図2に示す図形M2の場合、黒い領域の数は2つである。したがって、図形M2の0次元ベッチ数b0は2である。また、図形M2の場合、黒い領域によって囲まれた白い領域の数は3つである。したがって、図形M2の1次元ベッチ数b1は3である。
2次元画像の場合、0次元ベッチ数b0は互いに連結した成分の纏まりの数であり、1次元ベッチ数b1は当該連結した成分が外縁となって囲んだ空間(以下、「穴形状の領域」と記す場合がある)の数である。穴形状の領域の数は、連結成分中に存在する「穴」の総数である。
本発明の一態様に係る画像解析方法では、組織画像に写っている領域について、複数の細胞の細胞核同士のトポロジーおよび連結性に関する特徴を評価する。これにより、本発明の一態様に係る画像解析方法によれば、組織画像に写っている組織に含まれる細胞の構造上の特性および配置に基づいて、細胞の分化の度合いを推定することができる。例えば、本発明の一態様に係る画像解析方法を、針生検画像および部分画像などの組織画像に適用すれば、熟練した病理医に匹敵する精度で、グリソン分類のグレードを識別することができる。
(推定システム100の構成)
続いて、推定システム100の構成について、図3を用いて説明する。図3は、本発明の一態様に係る画像解析方法を実行する推定装置1を備える推定システム100の構成の一例を示すブロック図である。
推定システム100は、推定装置1と、組織画像31を推定装置1へ送信する外部機器8と、推定装置1から出力された推定結果を取得して該推定結果を提示する提示装置5と、を含んでいる。なお、図3では、医療機関H1が推定システム100を導入した例を示している。
外部機器8は、例えば、撮像機能を備える顕微鏡装置であってもよいし、または顕微鏡に接続されており、顕微鏡から画像データを取得可能なコンピュータであってもよい。あるいは、外部機器8は、各種医用画像データおよび病理画像データなどを保存・管理している医療機関H1内のサーバ装置(図示せず)であってもよい。
提示装置5は、推定装置1から出力される情報などを提示可能なディスプレイおよびスピーカなどであってもよい。一例において、提示装置5は、推定装置1または外部機器8が備えるディスプレイであってもよい。あるいは、医療機関H1に所属する病理医、検査技師、研究者などが使用するコンピュータおよびタブレット端末などであってもよい。
推定装置1と外部機器8、および、推定装置1と提示装置5は無線通信で接続されていてもよいし、有線通信で接続されていてもよい。
(推定装置1の構成)
推定装置1は、画像取得部2、記憶部3、および制御部4を備えている。記憶部3には、組織画像31および推定モデル33が記憶されていてもよい。推定モデル33については、後に説明する。
画像取得部2は、外部機器8から、組織を撮像した組織画像31を取得する。ここで、解析対象の組織が前立腺である場合、組織画像31は、対象者の身体から採取された前立腺の組織片を、所定の拡大倍率で撮像した画像であってもよい。画像取得部2は、外部機器8から、組織画像31から抽出された領域に対応する部分画像を取得してもよい。画像取得部2は、図3に示すように、取得した組織画像31を記憶部3に格納してもよい。
なお、図3では、推定装置1が、推定装置1とは別体の外部機器8から組織画像31を取得する例を図示しているが、これに限定されない。例えば、外部機器8に推定装置1が内蔵された構成であってもよい。
記憶部3には、組織画像31に加え、制御部4が実行する各部の制御プログラム、OSプログラム、アプリケーションプログラムなどが格納されている。また、記憶部3には、これらプログラムを制御部4が実行するときに読み出す各種データが格納されている。記憶部3は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。なお、記憶部3の他に、上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される記憶装置であり、RAM(Random Access Memory)などの揮発性の記憶装置を備えていてもよい。
なお、図3では、推定装置1が、推定装置1とは別体の提示装置5と接続されている例を図示しているが、これに限定されない。例えば、推定装置1が提示装置5を専用の提示部として備える構成であってもよい。
<制御部4の構成>
制御部4は、例えば、CPU(central processing unit)または専用プロセッサなどの制御装置により構成されてもよい。図3を参照して後述する制御部4の各部は、CPUなどの制御装置が、ROM(read only memory)などで実現された記憶部3に記憶されているプログラムをRAM(random access memory)などに読み出して実行することで実現できる。
制御部4は、解析対象となる組織画像31を解析することにより、該組織画像31に写っている組織に含まれる細胞の分化の度合いを推定し、推定結果を出力する。この制御部4は、二値化部41、ベッチ数算出部42(特徴数算出部)、統計量算出部43、推定部44、および出力制御部45を備えている。
[二値化部41]
二値化部41は、組織画像31に対して二値化処理を行い、二値化の基準値が異なる複数の二値化画像を生成する。
二値化部41は、公知の画像認識機能および画像処理機能を備えていてもよい。これにより、二値化部41は、解析対象となる組織が写っている領域を組織画像31から切り出したり、組織画像31に対して染色分離処理を施したり、組織画像31を分割して複数の部分画像を生成したりすることが可能である。例えば、二値化部41は、組織画像31において、組織が写っている領域を、周囲の領域(例えば、樹脂が写っている領域)と区別して切り出すことが可能であってもよい。
二値化部41は、二値化処理において、二値化の基準値よりも大きい画素値を有する画素を白色の画素に変換し、二値化の基準値以下の画素値を有する画素を黒色の画素に変換する。このとき二値化部41は、組織画像31に対して、二値化の基準値を変更する度に二値化処理を行い、複数の二値化画像を生成する。すなわち、二値化部41は、組織画像31について、二値化の基準値が異なる複数の二値化画像を生成する。
一例において、二値化部41は、二値化の基準値を0以上255以下の範囲において設定する。例えば、二値化の基準値が画素値100に設定された場合、画素値が100以下の画素の画素値は二値化処理の結果0となり、画素値が100より高い画素の画素値は二値化処理の結果255となる。一例において、二値化部41は、組織画像毎に、二値化の基準値を1から255まで1ずつ変更して、255の二値化画像を生成してもよい。あるいは、組織画像毎に、二値化の基準値を2から254まで1ずつ変更して、253の二値化画像を生成してもよい。あるいは、組織画像毎に、二値化の基準値を2から254まで5ずつ変更して、253の二値化画像を生成してもよい。なお、これらに限定されず、二値化部41は、組織画像毎に、二値化の基準値を所望のルールに従って変更し、複数の二値化画像を生成すればよい。
[ベッチ数算出部42]
ベッチ数算出部42は、複数の二値化画像のそれぞれについて、二値化後における一方の画素値(以下、第1画素値)の画素に囲まれた、該二値化後における他方の画素値(以下、第2画素値)の画素からなる穴形状の領域の数を示す1次元ベッチ数b1を算出する。また、ベッチ数算出部42は、第1画素値の画素が連結して成る連結領域の数を示す0次ベッチ数b0、および1次元ベッチ数b1と0次元ベッチ数b0との比Rを算出する。以下では、比Rはb1/b0である場合を例に挙げるが、比Rは、b0/b1であってもよい。
上記連結領域は、例えば、二値化処理後の画素値が0である画素同士が連結して成る領域である。それぞれの連結領域は、二値化処理後の画素値が255である画素によって囲まれており、互いに独立している領域である。
他方、上記穴形状の領域は、例えば、二値化処理後の画素値が255である画素同士が連結して成る領域である。それぞれの穴形状の領域は、二値化処理後の画素値が0である画素によって囲まれており、互いに独立している領域である。
例えば、組織画像毎に、二値化の基準値を1から255まで1ずつ変更することによって、255の二値化画像が生成された場合、ベッチ数算出部42は、255の1次元ベッチ数b1、255の0次元ベッチ数b0、255の比Rを算出する。
図4は、組織画像31から生成された二値化画像、および各二値化画像において算出された0次元ベッチ数b0および1次元ベッチ数b1の例を示す図である。例えば、図4において、二値化の基準値を40として生成された二値化画像では、0次元ベッチ数b0は22、1次元ベッチ数b1は2、と算出されている(したがって、比Rは11である)。同様に、二値化の基準値を100として生成された二値化画像においては、0次元ベッチ数b0は16、1次元ベッチ数b1は4、と算出されている(したがって、比Rは4である)。また、二値化の基準値を150として生成された二値化画像においては、0次元ベッチ数b0は31、1次元ベッチ数b1は2、と算出されている(したがって、比Rは15.5である)。
なお、ベッチ数算出部42によって算出される1次元ベッチ数b1および0次元ベッチ数b0の値は、組織画像31を取得するときに設定された拡大倍率、解像度、および、組織画像31に撮像されている領域の面積に依存する。それゆえ、ベッチ数算出部42は、拡大倍率および解像度が等しい組織画像31であって、撮像されている領域の面積が等しい組織画像31について、1次元ベッチ数b1および0次元ベッチ数b0を算出することが望ましい。
ベッチ数算出部42として、既存のプログラムが用いられ得る。このようなプログラムの一例としてCHomPを挙げることができる。CHomPは、GNU(General Public License)に準拠したフリーウェアである。なお、これに限定されるものではなく、画像に関する0次元ベッチ数b0および1次元ベッチ数b1を算出できるプログラムであれば、CHomP以外のプログラムを用いてもよい。
[統計量算出部43]
図3に戻り、統計量算出部43は、複数の二値化画像のそれぞれについて算出された1次元ベッチ数b1の分布に関する第1統計量T1、0次元ベッチ数b0の分布に関する第2統計量T2、および比Rの分布に関する第3統計量T3、を算出する。
例えば、ベッチ数算出部42によって255の1次元ベッチ数b1が算出された場合、統計量算出部43は、この255の1次元ベッチ数b1を1つの離散確率分布と見做した場合における、該離散確率分布に関する第1統計量T1を算出する。同様に、統計量算出部43は、255の0次元ベッチ数b0を1つの離散確率分布と見做した場合における、該離散確率分布に関する第2統計量T2、および、255の比Rを1つの離散確率分布と見做した場合における、該離散確率分布に関する第3統計量T3を算出する。
統計量算出部43は、第1統計量T1、第2統計量T2、および第3統計量T3として、平均値、中央値、標準偏差、分布範囲、変動係数、歪度、および尖度のうちの少なくとも1つを算出してもよい。
ここで、分布範囲は、最大値と最小値との差であり、変動係数は、標準偏差を平均値で除した値である。また、歪度は、分布が正規分布からどれだけ歪んでいるかを示す統計量であり、分布の平均値を中心とする非対称性の程度と非対称性の大きさを示す指標である。尖度は、分布が正規分布と比較してどれだけ尖っているかを示す統計量であり、分布の尖り具合を示す指標である。
[推定部44]
推定部44は、第1統計量T1、第2統計量T2、および第3統計量T3を含む入力データを後述の推定モデル33に入力して、組織に含まれる細胞の分化の度合いを出力する。ここで、分化の度合いとは、組織に生じた腫瘍細胞の構造上の特性、配置、および浸潤様式に基づいて算出される分化の程度を表す値または指標であってもよい。解析対象の組織が前立腺である場合、分化の度合いは、前立腺の腺分化の度合いに応じて判定されるグリソン分類のグレードを示す値であってもよい。推定モデル33は、第1統計量T1、第2統計量T2、および第3統計量T3と、組織に含まれる細胞の分化の度合いとの対応関係をモデル化したものである。すなわち、推定モデル33は、下記の(1)および(2)の組み合わせを学習データとして用いた機械学習によって生成されたものである。
・(1)組織を撮像した訓練用組織画像であって、該訓練用組織画像に写っている組織に含まれる細胞の分化の度合いを示す分化情報が予め付与されている訓練用組織画像32。
・(2)訓練用組織画像32から生成された、二値化の基準値が異なる複数の二値化画像のそれぞれについて算出された第1統計量T1、第2統計量T2、および第3統計量T3。
推定モデル33を生成するための、訓練用組織画像32を用いた機械学習処理については、後に説明する。
[出力制御部45]
出力制御部45は、推定部44から出力される推定結果を示す情報を、提示装置5に提示させる。なお、出力制御部45は、推定結果を示す情報と共に、解析対象となった組織画像31を提示装置5に提示させる構成であってもよい。
また、出力制御部45は、組織画像31から抽出された領域についての推定結果を、組織画像31の該領域に対応する位置に提示するよう、提示装置5を制御する構成であってもよい。このように構成すれば、推定装置1は、組織画像31について出力された推定結果と、該推定結果に対応する領域の位置とを病理医、検査技師、研究者などに提示することができる。
なお、推定結果をユーザに提示する方法は所望の態様であってもよい。例えば、図3に示すように、提示装置5に判定結果が表示される構成であってもよいし、プリンター(図示せず)およびスピーカー(図示せず)などから出力される構成であってもよい。
(推定装置1が実行する処理)
続いて、推定装置1が実行する処理について、図5を用いて説明する。図5は、推定装置1が行う処理の流れの一例を示すフローチャートである。
まず、画像取得部2は、外部機器8から組織画像31を取得する(ステップS1)。
次に、二値化部41は、組織画像31から、二値化の基準値が異なる複数の二値化画像を生成する(ステップS2)。
続いて、ベッチ数算出部42は、複数の二値化画像のそれぞれについて、1次元ベッチ数b1、0次元ベッチ数b0、および比Rを算出する(ステップS3:特徴数算出ステップ)。図5において、比Rは「b1/b0」と記載されている。
統計量算出部43は、複数の二値化画像のそれぞれについて算出された、1次元ベッチ数b1の分布に関する統計量T1、0次元ベッチ数b0の分布に関する統計量T2、および比Rの分布に関する統計量T3を算出する(ステップS4:統計量算出ステップ)。
次に、推定部44は、統計量T1、統計量T2、および統計量T3を含む入力データを推定モデル33に入力し(ステップS5:推定ステップ)、組織画像31に写っている組織に含まれる細胞の分化の度合いを出力する(ステップS6:推定ステップ)。
上記の構成によれば、推定装置1は、組織画像31について二値化の基準値が異なる複数の二値化画像を生成し、二値化画像のそれぞれについて、1次元ベッチ数b1、0次元ベッチ数b0、および比Rを算出する。次に、推定装置1は、1次元ベッチ数b1、0次元ベッチ数b0、および比Rのそれぞれの分布に関する統計量である、第1統計量T1、第2統計量T2、および第3統計量T3を算出する。そして、推定装置1は、第1統計量T1、第2統計量T2、および第3統計量T3を一組のデータとして推定モデル33に入力して、組織に含まれる細胞の分化の度合いを出力する。これにより、推定装置1は、組織画像31に写っている組織に含まれる細胞の分化の度合いを、該組織に含まれる細胞の構造上の特性に基づいて精度良く判定することができる。
組織に含まれる細胞は、分化の度合いに応じて、形状および大きさの均一さが変化する。上記の方法を採用すれば、組織を撮像した組織画像31が有する性状をホモロジーの概念を用いて数学的に解析し、該解析結果に基づいて組織に含まれる細胞の分化の度合いを推定する。この推定結果は、後述する訓練用組織画像32を用いた機械学習によって生成された推定モデル33から出力されるため、病理医による病理学的診断の結果と同様、組織画像31の性状に根拠がある。それゆえ、推定結果は、病理医による判断結果と同様に理解可能であり、信頼性も高い。
(訓練用組織画像32)
推定モデル33を生成するために、訓練用組織画像32が用いられてもよい。図6は、訓練用組織画像32のデータ構造の一例を示す図である。
図6に示すように、訓練用組織画像32は、訓練用組織画像IDが付与された、対象者の身体から採取された組織が写っている組織画像を含んでいる。訓練用組織画像32に含まれる各組織画像には、写っている組織に含まれる細胞の分化の度合いを示す分化情報が予め付与されている。分化情報は、訓練用組織画像32に含まれる組織画像を確認した病理医によって判定された判定結果であり、各組織画像に写っている組織に含まれる細胞の分化の度合いを示す情報である。
(推定モデル33を生成する機能を備える推定装置1の構成)
次に、推定モデル33を生成するための学習アルゴリズムを実行中の推定装置1の構成について、図7を用いて説明する。図7は、推定モデル33を生成する推定装置1の要部構成の一例を示す機能ブロック図である。なお、説明の便宜上、図3にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図7では、推定装置1の記憶部3に訓練用組織画像32が予め記憶されている例を示しているが、これに限定されない。例えば、図3に示す画像取得部2が、外部機器8から訓練用組織画像32を取得する構成であってもよい。
また、図7に示す例では、推定装置1が推定モデル33を生成する機能を備えているが、これに限定されない。例えば、推定装置1と異なる他のコンピュータに上述のような処理を実行させて、推定モデル33を生成してもよい。この場合、推定装置1の記憶部3に、他のコンピュータによって生成された推定モデル33を格納し、推定部44が該推定モデル33を利用すればよい。
推定モデル33を生成するための学習アルゴリズムを実行中の推定装置1の制御部4は、二値化部41、ベッチ数算出部42、統計量算出部43、推定部44、および推定モデル生成部46を備えている。
[推定モデル生成部46]
推定モデル生成部46は、推定モデル候補に対して、訓練用組織画像32を用いた機械学習アルゴリズムを実行し、推定モデル33(訓練済)を生成する。推定モデル33(訓練済)は、記憶部3に格納される。
推定モデル33を生成するための機械学習において、公知の任意の機械学習アルゴリズムを適用可能である。一例として、推定モデル33の生成には、k近傍法または重み付きk近傍法が用いられてもよい。しかし、これに限定されるものではく、推定モデル33を生成するための機械学習に、例えば、サポートベクトルマシンおよびランダムフォレストなどを適用してもよい。
なお、推定モデル33の生成にk近傍法または重み付きk近傍法を適用する場合、平均値および分散に基づいて正規化された、第1統計量T1、第2統計量T2、および第3統計量T3を用いてもよい。これにより、第1統計量T1、第2統計量T2、および第3統計量T3のそれぞれが、推定モデル33に与える影響の大きさを調整することができる。
(推定モデル33を生成する処理)
続いて、推定モデル33を生成する処理について、図8を用いて説明する。図8は、推定モデル33を生成するために推定装置1が行う処理の流れの一例を示すフローチャートである。
まず、推定モデル生成部46は、記憶部3から訓練用組織画像32を読み出して(ステップS11)、訓練用組織画像32から未選出の訓練用組織画像(例えば、図6において、訓練用組織画像IDが「P1」である組織画像)を選出する(ステップS12)。
次に、二値化部41は、推定モデル生成部46によって選出された組織画像から、二値化の基準値が異なる複数の二値化画像を生成する(ステップS13)。
続いて、ベッチ数算出部42は、図5におけるステップS3と同様、複数の二値化画像のそれぞれについて、1次元ベッチ数b1、0次元ベッチ数b0、および比Rを算出する。続いて、統計量算出部43は、複数の二値化画像のそれぞれについて算出された、1次元ベッチ数b1の分布に関する統計量T1、0次元ベッチ数b0の分布に関する統計量T2、および比Rの分布に関する統計量T3を算出する(ステップS14)。
次に、推定部44は、統計量T1、統計量T2、および統計量T3を含む入力データを推定モデル候補に入力し(ステップS15)、組織画像に写っている組織に含まれる細胞の分化の度合いを推定した推定結果を出力する(ステップS16)。
次に、推定モデル生成部46は、推定部44から出力された推定結果と、ステップS12にて選出した組織画像に対応する分化情報とを比較して誤差を算出する(ステップS17)。また、推定モデル生成部46は、算出した誤差が最少となるように、ステップS16にて推定結果を出力した推定モデル候補を更新する(ステップS18)。例えば、機械学習アルゴリズムとしてk近傍法を用いる場合、ハイパーパラメータであるkの値を更新してもよい。
訓練用組織画像32に含まれる全ての訓練用組織画像が、ステップS12において選出されていない場合(ステップS19にてNO)、推定モデル生成部46は、ステップS12に戻り、訓練用組織画像32から未選出の組織画像を選出する。例えば、訓練用組織画像IDが「P1」である組織画像が選出された場合、次に、訓練用組織画像IDが「P2」である組織画像が選出される(図4参照)。
一方、訓練用組織画像32に含まれる全ての訓練用組織画像が、ステップS12において選出済である場合(ステップS19にてYES)、推定モデル生成部46は、現在の推定モデル候補を推定モデル33(訓練済)として記憶部3に格納する(ステップS20)。
このように生成された推定モデルは、ある組織画像(例えば、図3の組織画像31)について算出された、第1統計量T1、第2統計量T2、および第3統計量T3が入力されたことに応じて、該組織画像31に写っている組織に含まれる細胞の分化の度合いに関する高い精度の推定結果を出力することができる。
なお、推定装置1とは異なるコンピュータに図8に示す処理を行わせて、推定モデル33を生成してもよい。この場合、推定装置1に、訓練済の推定モデル33をインストールすればよい。
(推定精度の評価)
本発明に係る画像解析方法を針生検画像に適用し、各針生検画像から前立腺がんのグリソン分類を推定した場合の推定精度を評価した結果について、図9および図10を用いて説明する。図9および図10は、本発明の一態様に係る画像解析方法による推定精度と、他の公知の画像解析方法による推定精度とを比較した結果を示す図である。
推定精度を評価するために、専門の病理医による判定結果が付与された43の針生検画像から抽出された18276の部分画像が用いられた。ここでは、一例として、43の針生検画像としては、グリソン分類におけるグレード3およびグレード4のいずれかに分類される前立腺がんの領域を含む画像が用いられている。これは、グリソン分類において、最も困難性を伴う、グレード3およびグレード4を分類させた場合の推定精度を評価するためである。
図9には、各部分画像から推定された結果に基づいて算出された指標値が示されており、図10には、各針生検画像から推定された結果に基づいて算出された指標値が示されている。
図9および図10において、「SRHP」は「Statistic Representation of Homology Profile」を略しており、本発明に係る画像解析方法を意図している。「DLGg」は、Arvanitiらが、前立腺がんのグリソン分類を推定するために用いた手法(Arvanitiら、2018、Sci. Rep. Vol.8、doi:10.1038/s41598-018-30535-1)を意図している。「DLGg」は、教師有り学習が施されたニューラルネットワークが利用されている。「SSAE」は、Xuらによって開発された教師無し学習のアルゴリズム「Stacked Sparse autoencoder algorithm」(Xuら、2016、IEEE Trans. Med. Imaging Vol.35(1), p119-130)を適用したニューラルネットワークを意図している。「MATF」は、「Morphplogical, Architectural and Textures Features」を略しており、Aliらによって開発された手法(Aliら、2015、Comput. Med. Imaging Graph. Vol.41 p3-13)を意図している。
図9には、AUC(area under curve)、正確度(Accuracy)、・再現率(Recall)、制度(Precision)、特異度(Specificity)、およびF1スコア、という6つの評価指標が示されている。
SRHPは、判別能を示すAUC(0.96)、正確度(89.02%)、再現率(0.94)、およびFIスコア(0.89)において、他の手法よりも高い値を示しており、精度(0.84)および特異性(0.84)も良好な値を示している。すなわち、SRHPは、針生検画像から抽出された部分画像に写っている組織に含まれる細胞の分化の度合いを高い精度で推定することに成功している。
さらに、図10に示すように、SRHPは、針生検画像の全体から、グリソン分類におけるグレード3およびグレード4を高い精度で識別することにも成功している。すなわち、SRHPによる推定は頑健性(robustness)を有している。
[k近傍法を適用して生成された推定モデルにおける、ハイパーパラメータkの影響]
次に、k近傍法を適用して生成された推定モデル33における、ハイパーパラメータkの影響について図11を用いて説明する。図11は、ハイパーパラメータkを変更した場合の、推定モデル33から出力される推定結果の精度に関する各評価指標を示す図である。
図11に示すように、ハイパーパラメータkを3~20のいずれに設定した場合においても、各評価指標は高いままであった。このことは、本発明に係る画像解析方法における推定モデル33は、ハイパーパラメータkに対して頑健性を有していることを示す。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図3では、医療機関H1が推定システム100を導入した例を示したが、これに限定されない。例えば、推定装置1aが通信ネットワーク50を介して医療機関H2の外部機器8と通信可能に接続されていてもよい。このような構成を採用した推定システム100aについて、図12を用いて説明する。図12は、本発明の一態様に係る推定システム100aの構成例を示す機能ブロック図である。
図12に示すように、推定装置1aは、医療機関H2の外部機器8との通信インターフェースとして機能する通信部6を備えている。これにより、画像取得部2は、医療機関H2の外部機器8から、通信ネットワーク50を介して組織画像を取得することができる。
また、推定装置1aは、推定部44から出力される推定結果を、通信ネットワーク50を介して外部機器8に送信する。
なお、推定装置1aは、複数の医療機関の外部機器8と通信可能に接続されていてもよい。この場合、医療機関H2から推定装置1aに送信される各組織画像には、各組織画像を示す画像ID、組織画像に写っている組織が採取された対象者(例えば、患者)に固有の識別番号(患者ID)が付与されていてもよい。さらに、各組織画像に、送信元である医療機関H2を示す医療機関IDが付与されていてもよい。
このような構成を採用すれば、推定装置1aは、複数の医療機関のそれぞれから取得した組織画像を解析して得た推定結果を、組織画像データの送信元である各医療機関に提供することができる。例えば、推定装置1aを管理する管理者は、取得した組織画像から推定された推定結果を提供するサービスに対する対価として、各医療機関に対して所定の料金を請求してもよい。
また、推定装置1aは、通信可能なコンピュータ(例えば、医療機関H2内に配備されている提示装置5など)に、該コンピュータが組織画像から第1統計量、第2統計量、および第3統計量を算出するためのコンピュータプログラム(以下、画像解析アプリ)を配信してもよい。この場合、例えば、推定装置1aは、配信された画像解析アプリをインストールしたコンピュータに対して、対価を請求する通知を送信してもよい。これにより、推定装置1aを管理する管理者は、画像解析アプリを提供するサービスに対する対価として、医療機関H2に対して所定の料金を請求してもよい。
〔実施形態3〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図3に示す推定装置1および図12に示す推定装置1aは、組織画像に対する画像解析機能と、推定モデル33を用いた推定機能との両方の機能を備えている。換言すれば、図3に示す推定装置1および図12に示す推定装置1aは、後述する画像解析装置1Aと推定装置1Bとを1つの装置として実現した装置である。しかし、この構成に限定されるものではない。例えば、二値化部41、ベッチ数算出部42、および統計量算出部43を備える画像解析装置1Aと、制御部4Bを備える推定装置1Bとを組み合わせることによって、推定装置1、1aの機能を実現してもよい。制御部4Bは、推定部44を備えている。このような構成を採用した推定システム100bについて、図13を用いて説明する。図13は、本発明の一態様に係る推定システム100bの構成例を示す機能ブロック図である。
図13に示すように、画像解析装置1Aは、医療機関H2の外部機器8、および推定装置1Bとの通信インターフェースとして機能する通信部6Aを備えている。これにより、画像取得部2は、医療機関H2の外部機器8から、通信ネットワークを介して組織画像を取得することができる。
また、画像解析装置1Aは、統計量算出部43によって算出された第1統計量T1、第2統計量T2、および第3統計量T3を、通信ネットワーク50を介して推定装置1Bに送信する。
推定装置1Bは、画像解析装置1A、および医療機関H2の外部機器8との通信インターフェースとして機能する通信部6Bを備えている。これにより、推定部44は、画像解析装置1Aから、通信ネットワークを介して、第1統計量T1、第2統計量T2、および第3統計量T3を取得することができる。
また、推定装置1Bは、推定部44から出力される推定結果を、通信ネットワーク50を介して外部機器8に送信する。
なお、推定装置1Bは、複数の画像解析装置1Aと通信可能に接続されていてもよい。この場合、画像解析装置1Aから推定装置1Bに送信される統計量(第1統計量T1、第2統計量T2、および第3統計量T3を含む)には、各種IDが付与されていてもよい。各種IDは、解析対象となった組織画像に写っている組織が採取された対象者に固有の識別番号(患者ID)、各組織画像の送信元である医療機関H2を示す医療機関ID、および画像解析を実行した画像解析装置1Aに固有の装置ID等を含んでいてもよい。
このような構成を採用すれば、画像解析装置1Aは、複数の医療機関のそれぞれから取得した組織画像を解析して所定の統計量を算出し、推定装置1Bに送信する。推定装置1Bは、画像解析装置1Aから取得した統計量を用いて推定結果を出力し、該推定結果を、組織画像データの送信元である各医療機関に提供することができる。例えば、推定装置1Bを管理する管理者は、取得した組織画像から推定された推定結果を提供するサービスに対する対価として、各医療機関に対して所定の料金を請求してもよい。
〔変形例〕
画像解析装置1Aおよび推定装置1Bの少なくとも一方は、通信可能なコンピュータ(例えば、医療機関H2内に配備されている提示装置5など)に、該コンピュータが画像解析装置1Aとして機能するためのコンピュータプログラム(以下、画像解析アプリ)を配信してもよい。画像解析アプリがインストールされたコンピュータは、画像解析装置1Aとして機能することができる。この場合、例えば、画像解析装置1Aまたは推定装置1Bは、配信された画像解析アプリをインストールしたコンピュータに対して、対価を請求する通知を送信してもよい。これにより、推定装置1Bを管理する管理者は、画像解析アプリを提供するサービスに対する対価として、医療機関H2に対して所定の料金を受け取ることができる。
なお、画像解析アプリがインストールされた医療機関H2内に配備されているコンピュータから推定装置1Bに送信される統計量(第1統計量T1、第2統計量T2、および第3統計量T3を含む)には、各種IDが付与されていてもよい。各種IDは、解析対象となった組織画像に写っている組織が採取された対象者に固有の識別番号(患者ID)、各組織画像の送信元である医療機関H2を示す医療機関ID、および画像解析を実行した画像解析装置1Aに固有の装置ID等を含んでいてもよい。
この構成によれば、医療機関H2は、組織画像を医療機関H2の外部(例えば、画像解析装置1A)へ送信する必要はない。医療機関H2は、画像解析アプリを用いて各組織画像を解析することによって、各組織画像から第1統計量T1、第2統計量T2、および第3統計量T3を算出して、これらを推定装置1Bに送信すればよい。
組織画像は、対象者の診断情報に関するものであるため、組織画像を医療機関H2の外部へ送信する場合、個人情報の保護に配慮する必要がある。この構成を採用すれば、組織画像を医療機関H2の外部へ送信する必要が無い。さらに、この構成を採用すれば、組織画像そのものを送信するよりも通信負荷を低減させることができる。
〔ソフトウェアによる実現例〕
推定装置1、1a、および、画像解析装置1Aの制御ブロック(特に制御部4)、および、推定装置1Bの制御ブロック(制御部4B)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、推定装置1、1a、画像解析装置1A、および推定装置1Bは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1A 画像解析装置
1、1a、1B 推定装置
5 提示装置
8 外部機器
41 二値化部
42 ベッチ数算出部(特徴数算出部)
43 統計量算出部
44 推定部
S3 特徴数算出ステップ
S4 統計量算出ステップ
S5、S6 推定ステップ

Claims (13)

  1. 組織を撮像した組織画像を解析する画像解析方法であって、
    前記組織画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、
    前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出する特徴数算出ステップと、
    前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する統計量算出ステップと、
    前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力し、前記組織に含まれる細胞の分化の度合いを出力する推定ステップと、
    を含む、
    画像解析方法。
  2. 前記第1統計量、前記第2統計量、および前記第3統計量は、平均値、中央値、標準偏差、分布範囲、変動係数、歪度、および尖度のうちの少なくとも1つを含む、請求項1に記載の画像解析方法。
  3. 前記推定モデルは、(1)組織を撮像した訓練用組織画像であって、該訓練用組織画像に写っている組織に含まれる細胞の分化の度合いを示す分化情報が予め付与されている訓練用組織画像と、(2)前記訓練用組織画像から生成された、二値化の基準値が異なる複数の二値化画像のそれぞれについて算出された前記第1統計量、前記第2統計量、および前記第3統計量、との組み合わせを学習データとして用いた機械学習によって生成されたものである、
    請求項1または2に記載の画像解析方法。
  4. 前記推定モデルは、k-近傍法を用いて生成されたものである、
    請求項3に記載の画像解析方法。
  5. 前記組織画像は、対象者の身体から採取された前記組織の切片を撮像した画像である、
    請求項1から4のいずれか1項に記載の画像解析方法。
  6. 前記組織に含まれる細胞の分化の度合いは、腫瘍の構造および浸潤の度合いに対応付けられた病理学的指標である、
    請求項1から5のいずれか1項に記載の画像解析方法。
  7. 組織を撮像した組織画像から、二値化の基準値が異なる複数の二値化画像を生成し、前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出し、前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する画像解析装置から、前記第1統計量、前記第2統計量、および前記第3統計量を取得し、前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力して、前記組織に含まれる細胞の分化の度合いを出力する推定部、
    を備える、
    推定装置。
  8. 組織を撮像した組織画像から、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、
    前記複数の二値化画像のそれぞれについて、第1画素値と第2画素値とに二値化された後における前記第1画素値の画素に囲まれた、該二値化後における前記第2画素値の画素からなる穴形状の領域の数を示す第1特徴数、前記第1画素値の画素が連結して成る連結領域の数を示す第2特徴数、および前記第1特徴数と前記第2特徴数との比である第3特徴数を算出する特徴数算出部と、
    前記複数の二値化画像のそれぞれについて算出された前記第1特徴数の分布に関する第1統計量、前記第2特徴数の分布に関する第2統計量、および前記第3特徴数の分布に関する第3統計量、を算出する統計量算出部と、
    前記第1統計量、前記第2統計量、および前記第3統計量を含む入力データを、前記第1統計量、前記第2統計量、および前記第3統計量と、前記組織に含まれる細胞の分化の度合いとの対応関係をモデル化した推定モデルに入力して、前記組織に含まれる細胞の分化の度合いを出力する推定部、
    を備える、
    推定装置。
  9. 前記推定装置は、前記組織画像から、前記第1統計量、前記第2統計量、および前記第3統計量を算出するためのコンピュータプログラムを配信する、
    請求項またはに記載の推定装置。
  10. 前記推定装置は、前記コンピュータプログラムをインストールしたコンピュータに対して、該コンピュータプログラムを提供したことに対する対価を請求する通知を送信する、請求項に記載の推定装置。
  11. 請求項に記載の画像解析装置および推定装置と、
    前記組織画像を前記画像解析装置へ送信する外部機器と、
    前記推定装置から出力された推定結果を取得して該推定結果を提示する提示装置と、を含む、
    推定システム。
  12. 請求項7から10のいずれか1項に記載の推定装置としてコンピュータを機能させるための制御プログラムであって、前記推定部としてコンピュータを機能させるための制御プログラム。
  13. 請求項12に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2020219604A 2020-12-28 2020-12-28 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体 Active JP7122017B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020219604A JP7122017B2 (ja) 2020-12-28 2020-12-28 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体
US17/327,993 US11861836B2 (en) 2020-12-28 2021-05-24 Image analysis method, estimating device, estimating system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020219604A JP7122017B2 (ja) 2020-12-28 2020-12-28 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2022104405A JP2022104405A (ja) 2022-07-08
JP7122017B2 true JP7122017B2 (ja) 2022-08-19

Family

ID=82118890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020219604A Active JP7122017B2 (ja) 2020-12-28 2020-12-28 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体

Country Status (2)

Country Link
US (1) US11861836B2 (ja)
JP (1) JP7122017B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
WO2019102829A1 (ja) 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
WO2020195258A1 (ja) 2019-03-26 2020-10-01 国立大学法人大阪大学 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4301775B2 (ja) * 2002-07-18 2009-07-22 シャープ株式会社 2次元コード読み取り装置,2次元コード読み取り方法,2次元コード読み取りプログラム及び該プログラムの記録媒体
CA2807144C (en) * 2010-07-30 2019-05-28 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
JP6483826B2 (ja) * 2015-07-15 2019-03-13 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
SG11201807576QA (en) * 2016-04-11 2018-10-30 Agency Science Tech & Res High throughput method for accurate prediction of compound-induced liver injury

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
WO2019102829A1 (ja) 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
WO2020195258A1 (ja) 2019-03-26 2020-10-01 国立大学法人大阪大学 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Also Published As

Publication number Publication date
JP2022104405A (ja) 2022-07-08
US11861836B2 (en) 2024-01-02
US20220207738A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
Cruz-Roa et al. Accurate and reproducible invasive breast cancer detection in whole-slide images: A Deep Learning approach for quantifying tumor extent
US10846367B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) with integrated radiomic and pathomic features
US10235755B2 (en) High-throughput adaptive sampling for whole-slide histopathology image analysis
US10503959B2 (en) Predicting cancer progression using cell run length features
US10783627B2 (en) Predicting cancer recurrence using local co-occurrence of cell morphology (LoCoM)
US9430830B2 (en) Spatially aware cell cluster (SPACCL) graphs
US20150213302A1 (en) Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features
Loizidou et al. An automated breast micro-calcification detection and classification technique using temporal subtraction of mammograms
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
WO2010035163A1 (en) Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
US11922625B2 (en) Predicting overall survival in early stage lung cancer with feature driven local cell graphs (FeDeG)
EP2987114A1 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
US20230005145A1 (en) Phenotyping tumor infiltrating lymphocytes on hematoxylin and eosin (h&e) stained tissue images to predict recurrence in lung cancer
Ortiz-Rodriguez et al. Breast cancer detection by means of artificial neural networks
KR20210079132A (ko) 서포트 벡터 머신을 이용한 전립선암의 등급 분류 방법
Stojić et al. Classification by morphology of multipolar neurons of the human principal olivary nucleus
Song et al. New morphological features for grading pancreatic ductal adenocarcinomas
US11055844B2 (en) Predicting response to immunotherapy using computer extracted features of cancer nuclei from hematoxylin and eosin (HandE) stained images of non-small cell lung cancer (NSCLC)
US10902256B2 (en) Predicting response to immunotherapy using computer extracted features relating to spatial arrangement of tumor infiltrating lymphocytes in non-small cell lung cancer
JP7122017B2 (ja) 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体
KR101396308B1 (ko) 췌장선암의 등급을 위한 형태학적 특징 추출 방법
Apostolopoulos et al. Computer aided classification of mammographic tissue using shapelets and support vector machines
KR20140134922A (ko) 형태학적 특징 기반 췌장선암 등급 구분 방법
CN116580397B (zh) 病理图像识别方法、装置、设备及存储介质
EP4369354A1 (en) Method and apparatus for analyzing pathological slide images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7122017

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350