JP7427080B2 - 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 - Google Patents
細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 Download PDFInfo
- Publication number
- JP7427080B2 JP7427080B2 JP2022516626A JP2022516626A JP7427080B2 JP 7427080 B2 JP7427080 B2 JP 7427080B2 JP 2022516626 A JP2022516626 A JP 2022516626A JP 2022516626 A JP2022516626 A JP 2022516626A JP 7427080 B2 JP7427080 B2 JP 7427080B2
- Authority
- JP
- Japan
- Prior art keywords
- probability map
- nuclear
- neural network
- voronoi
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims description 59
- 238000001514 detection method Methods 0.000 title description 36
- 230000006870 function Effects 0.000 claims description 94
- 238000013527 convolutional neural network Methods 0.000 claims description 88
- 238000012549 training Methods 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 36
- 239000000284 extract Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003064 k means clustering Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims 2
- 210000004027 cell Anatomy 0.000 description 110
- 210000001519 tissue Anatomy 0.000 description 15
- 210000004940 nucleus Anatomy 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010200 validation analysis Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000010186 staining Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000003556 assay Methods 0.000 description 5
- 238000003364 immunohistochemistry Methods 0.000 description 5
- 239000012472 biological sample Substances 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010009944 Colon cancer Diseases 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 208000008051 Hereditary Nonpolyposis Colorectal Neoplasms Diseases 0.000 description 2
- 206010051922 Hereditary non-polyposis colorectal cancer syndrome Diseases 0.000 description 2
- 201000005027 Lynch syndrome Diseases 0.000 description 2
- 102000008071 Mismatch Repair Endonuclease PMS2 Human genes 0.000 description 2
- 108010074346 Mismatch Repair Endonuclease PMS2 Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000004698 lymphocyte Anatomy 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000009640 blood culture Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 208000030499 combat disease Diseases 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000033607 mismatch repair Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000002741 palatine tonsil Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000011885 synergistic combination Substances 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Description
本出願は、2019年10月14日に出願された「WEAKLY SUPERVISED MULTI-TASK LEARNING FOR CELL DETECTION AND SEGMENTATION」という名称の米国仮特許出願第62/914,966号の優先権および利益を主張し、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。
本願発明の一実施例は、例えば、細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習に関する。
本開示は、自動化された細胞セグメンテーションおよび検出のための技術を記載する。より具体的には、本開示の様々な実施形態は、転移学習およびマルチタスクスケジューラを使用して細胞をセグメント化および検出するためのシステムおよび方法を提供する。
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
画像セグメンテーションは、形状、サイズ、色などの異なる特徴の類似性を示す画像の類似部分を分離する手順である。細胞のセグメンテーションは、生物学的試料内の細胞のサイズおよび位置の視覚化を可能にし、細胞による染色取り込みの分析の基礎を提供することもできる。細胞セグメンテーションのゴールドスタンダードは、長い間手動セグメンテーションであり、これは時間がかかり、労働集約的であり、したがって大規模な研究には適していない。細胞セグメンテーションのプロセスを完全にまたは部分的に自動化しようとするかなりの研究が行われてきた。例えば、閾値処理、領域拡張、ファジークラスタリング、流域アルゴリズムの使用などの画像セグメンテーション技術は、異常細胞(例えば、癌性細胞)を正常細胞(例えば、リンパ球)から分離するために使用されてきた。それにもかかわらず、セグメンテーションのプロセスは、細胞の形状、位置、およびサイズの多様性のために依然として困難である。
図1は、様々な実施形態にかかる、深層畳み込みニューラルネットワークを使用した細胞セグメンテーションおよび検出のための例示的なコンピューティング環境100を示している。コンピューティング環境100は、畳み込みニューラルネットワーク(CNN)モデルを訓練して実行するための深層CNNシステム105を含むことができる。より具体的には、CNNシステム105は、それぞれのCNNモデルを訓練することができる分類器サブシステム110a-nを含むことができる。いくつかの実施形態では、分類器サブシステム110a-nに対応する各CNNモデルは、入力画像要素115a-nのセット内の1つ以上の画像(例えば、生物学的試料のスライド上の視野(FOV)からの画像)に基づいて別々に訓練される。いくつかの実施形態では、入力画像要素115a-nのセットのそれぞれは、生物学的試料内の細胞を示す1つ以上のデジタル画像を含むことができる。入力画像要素115a-nのセットのそれぞれは、画像に対応する基礎となる画像データが収集された単一の被験者および1日に対応することができる。入力画像要素115a-nのセットは、1つ以上の訓練入力画像要素115a-d、検証入力画像要素115e-g、およびラベルなし入力画像要素115h-nを含むことができる。訓練グループ、検証グループ、およびラベル化されていないグループに対応する入力画像要素は、同時にアクセスされる必要はないことが理解されよう。例えば、初期訓練および検証入力画像要素は、最初にアクセスされ、モデルを訓練するために使用されてもよく、ラベル化されていない入力画像要素は、その後、モデルの試験のために(例えば、単一または複数の後続の時間に)アクセスまたは受信されてもよい。
図2は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ResNetエンコーダを有するU-Netモデルに基づくマルチタスク深層学習方法とを含む予測アルゴリズムの概要を示している。いくつかの実施形態では、入力画像205は、画像ソース(例えば、図1に関して説明したように、イメージングシステム160またはプロバイダシステム170)から取得される。画像は、画素値の1つ以上の配列または行列として構成されることができる。所与の画素位置は、一般的な強度値および/または1つ以上の階調および/または色(例えば、RGB値)のそれぞれに関連する強度値に(例えば)関連付けられることができる。入力画像205は、細胞の中心または細胞の核の中心にある1つ以上の画素を識別する細胞点ラベル210でラベル付けされることができる。
セグメンテーションは、エンコーダ部分が、核および背景確率マップを生成するためにImageNetデータセット上で事前訓練されたResNet50の畳み込み層で置き換えられる修正されたU-Netを使用して、入力画像から個別に特徴を抽出する。図3に示すように、U-Net300は、縮小経路305および拡張経路310を含むことができ、これらは、それにU字形アーキテクチャを与える。縮小経路305は、畳み込み(例えば、3×3の畳み込み(パッドなしの畳み込み))の繰り返し適用を含むCNNネットワークであり、それぞれの畳み込みの後に正規化線形ユニット(ReLU)およびダウンサンプリングのための最大プーリング演算(例えば、ストライド2の2×2最大プーリング)が続く。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は2倍にされることができる。縮小の間、画像データの空間情報は縮小され、特徴情報は増加される。拡張経路310は、縮小経路305からの特徴および空間情報を組み合わせるCNNネットワークである(縮小経路305からの特徴マップのアップサンプリング)。特徴マップのアップサンプリングの後には、チャネル数を半分にする一連のアップコンボリューション(アップサンプリング演算子)、縮小経路305からの対応して切り取られた特徴マップとの連結、それぞれが正規化線形ユニット(ReLU)の後に続く畳み込み(例えば、2つの3×3畳み込み)の反復適用、ならびに核および背景確率マップを生成するための最終的な畳み込み(例えば、1つの1×1畳み込み)が続く。局所化するために、縮小経路305からの高解像度特徴は、拡張経路310からのアップサンプリングされた出力と組み合わされる。U-Net300は、いかなる完全接続層もない各畳み込みの有効部分を使用し、すなわち、核および背景確率マップは、入力画像において完全なコンテキストが利用可能な画素のみを含み、縮小ブロック中に学習されたコンテキスト特徴と拡張ブロックで学習された位置特定特徴とをリンクするスキップ接続を使用する。
様々な実施形態において実装されるシステムおよび方法は、以下の実施例を参照することによってよりよく理解されることができる。
細胞の検出およびセグメンテーションは、デジタル病理画像の下流の全ての分析にとって基本的である。しかしながら、単一細胞セグメンテーションのための画素レベルのグラウンドトゥルースを取得することは、極めて労働集約的である。この課題を克服するために、画像データから利用可能な点ラベルに基づいてボロノイ、リペール、およびローカル色クラスタラベルを抽出し、ボロノイ、リペール、およびローカル色クラスタラベルと転移学習(ImageNetで事前訓練されたResNet)とを使用してU-Netモデルを訓練することによって、自動化されたエンドツーエンドの深層学習単一細胞検出およびセグメンテーションアルゴリズムが以下のように開発された。従来の細胞セグメンテーションおよび検出技術と比較して、設計されたアルゴリズムは、注釈付けの努力を増加させることなく、細胞検出およびセグメンテーションにおいて有意な改善を示す。
設計したアルゴリズムは、免疫組織化学(IHC)PMS2染色結腸直腸癌および扁桃組織スライドで訓練され、検証され、試験された。データセットは、スライド内の腫瘍、腫瘍周囲、正常組織、濾胞内および濾胞間領域をカバーする、0.5μm/画素の解像度で256枚の512×512の画像を含む。このデータセットは、検出およびセグメンテーションタスクのための豊富な種類の核、例えば、疎なまたは高度にクラスタリングされた空間分布を有する、異なる形状およびサイズの陽性細胞(濃いまたは薄い茶色がかった染色)および陰性細胞(青みがかった染色)を有していた。
データセットは、訓練(80%)、検証(10%)、および試験(10%)に分割され、各セットが全てのタイプの組織領域(例えば、腫瘍、腫瘍周囲組織、正常組織など)を有することを確認した。原画像から250×250画素の小パッチが抽出された。訓練セットのサイズを増加させるために、水平方向および垂直方向のフリップ、ランダムなサイズ変更、アフィン変換、回転およびトリミングを含むデータ増強を行った。これは、約3000枚の小さい画像の訓練セットをもたらした。最後の前処理ステップとして、訓練セットは、平均減算およびRGBチャネルの標準偏差による除算によって別々に正規化された。同じ正規化が検証および試験セットの画像に適用された。
例示的な細胞セグメンテーションおよび検出の課題を克服するために、設計されたアルゴリズムは、弱教師あり方法で設計された。例えば、3つの変換/符号化が細胞点ラベル(例えば、FOV内の各細胞の核の中心にある点ラベル)に適用された。(i)ボロノイ変換、(ii)ローカルクラスタリング、および(iii)リペールコード。図2は、細胞点ラベルに基づく画素レベルのラベル抽出と、損失スケジューラを使用し、ResNetエンコーダを有するU-Netモデルに基づくマルチタスク深層学習方法とを含む、設計されたアルゴリズムの概要を示している。ボロノイ変換は、細胞間の稜線を抽出し、各細胞の周囲にポリゴンを形成する。これらの線は、高度にクラスタリングされた細胞が一緒に併合されないようにするのに役立つ。ローカルクラスタリングは、点ラベル、原画像、およびボロノイラベルに基づいて、核の画素レベルのラベルを抽出する。抽出された各ボロノイ細胞(ポリゴン)について、k平均クラスタリングアルゴリズムが使用されて、ボロノイ細胞内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出する。このローカルk平均を使用して、点ラベルの周りに位置し、背景との高い局所色コントラストを有する核画素が抽出される。従来のグローバル色クラスタリング技術と比較して、ローカルクラスタリング手法は、弱く染色された核の色クラスタラベルの品質を大幅に改善する。図4は、従来のセグメンテーションアルゴリズムにおいて使用されるグローバルクラスタリングアルゴリズムと比較した場合のローカルクラスタリングアルゴリズムの性能を示している。示されるように、弱く染色された細胞は、ローカルクラスタリングアプローチを通して十分に保持されたが、グローバルクラスタリングアプローチは、弱く染色された細胞の大部分を検出するのに失敗する。
U-Netモデルが使用され、エンコーダ部分は、ImageNetデータセットで事前訓練されたResNet50の畳み込み層で置き換えられた。例えば、あらゆる目的のために本明細書に組み込まれる、O.Ronneberger、P.Fischer、およびT.Brox、「U-net:Convolutional networks for biomedical image segmentation」、International Conference on Medical image computing and computer-assisted intervention.Springer,Cham,2015;K.Heら、「Deep residual learning for image recognition」、Proceedings of the IEEE conference on computer vision and pattern recognition.2016;およびO.Russakovskyら、「Imagenet large scale visual recognition challenge」、International journal of computer vision 115.3(2015):211-252を参照されたい。
抽出された3つのラベル、すなわちフィルタ処理されたリペール、ローカルな色クラスタ、およびボロノイラベル(図2参照)が、U-Netモデルの2つの出力チャネルである核および背景確率マップと比較された。この比較は、以下の訓練プロセスにおける3つの損失によって行われた:式(1~3)において定義されるように、バイナリラベル(ボロノイおよび色クラスタ)には交差エントロピー損失関数が使用され、リペールコードラベルには平均二乗誤差(MSE)損失関数が使用された:
ここで、oは、モデル出力確率マップであり、tは、対応するターゲット、すなわちボロノイ、リペール、またはローカル画素クラスタラベルである。(図1のボロノイ部分領域内の黒画素によって示されるように)ボロノイ損失関数において、赤線(背景として使用)と緑ドット(前景として使用)とによって示される画素のみが含まれるように、(2)の無視セットの画素は無視される。
ここで、
セグメンテーションおよび検出を実行するために、8,150エポックの小さいバッチサイズ、および60900回の総訓練反復を使用して、モデルがPyTorchにおいて訓練された(例えば、あらゆる目的のために本明細書に組み込まれる、A.Paszkeら、「Automatic Differentiation in PyTorch」、NIPS Autodiff Workshop,2017を参照されたい)。L.Wright、「New Deep Learning Optimizer,Ranger:Synergistic combination of RAdam+LookAhead for the best of both」(2019)に記載されているようなレンジオプティマイザが使用されて、パラメータを更新して訓練の性能を改善した。0.001の学習率が使用された。リペールコードについて、H.Liangら、「Enhanced Center Coding for Cell Detection with Convolutional Neural Networks」、arXiv preprint arXiv:1904.08864(2019)の式(4)に基づいて、
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
Claims (37)
- データ処理システムによって、1つ以上の細胞の複数の画像にアクセスすることと、
前記データ処理システムによって、前記複数の画像から3つのラベルを抽出することであって、前記3つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、3つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記3つのラベルに対応する3つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記3つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することと、
前記データ処理システムによって、前記3つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの1つ以上の重みを更新することと、を含む、方法。 - 前記複数の画像が核点ラベルを含む、請求項1に記載の方法。
- 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項1または2に記載の方法。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項2に記載の方法。
- 前記畳み込みニューラルネットワークモデルが、修正されたU-Netモデルを含む、請求項1~4のいずれか一項に記載の方法。
- 前記損失関数が、
て前記マルチタスクスケジューラによって選択され、ここで、
- 前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項1~6のいずれか一項に記載の方法。
- 1つ以上のデータプロセッサに、動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
データ処理システムによって、1つ以上の細胞の複数の画像にアクセスすることと、
前記データ処理システムによって、前記複数の画像から3つのラベルを抽出することであって、前記3つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、3つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記3つのラベルに対応する3つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、前記畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記3つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することと、
前記データ処理システムによって、前記3つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの1つ以上の重みを更新することと、を含む、コンピュータプログラム。 - 前記複数の画像が核点ラベルを含む、請求項8に記載のコンピュータプログラム。
- 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項8または9に記載のコンピュータプログラム。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項9に記載のコンピュータプログラム。
- 前記損失関数が、
- 前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項8~12のいずれか一項に記載のコンピュータプログラム。
- 1つ以上のデータプロセッサと、
前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、
を備え、前記動作が、
データ処理システムによって、1つ以上の細胞の複数の画像にアクセスすることと、
前記データ処理システムによって、前記複数の画像から3つのラベルを抽出することであって、前記3つのラベルが、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用を使用して抽出される、3つのラベルを抽出することと、
前記データ処理システムのマルチタスクスケジューラによって、前記3つのラベルに対応する3つの損失関数に基づいて畳み込みニューラルネットワークモデルを訓練することであって、前記畳み込みニューラルネットワークモデルが複数のモデルパラメータを含む、畳み込みニューラルネットワークモデルを訓練することと、
前記畳み込みニューラルネットワークモデルによって、前記3つの損失関数を用いた前記訓練に基づいて、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することと、
前記データ処理システムによって、前記3つの損失関数を最小化するために、前記核確率マップおよび前記背景確率マップを前記3つのラベルと比較することに基づいて、前記複数のモデルパラメータを更新することと、
前記データ処理システムによって、更新された前記複数のモデルパラメータを有する訓練された畳み込みニューラルネットワークモデルを提供することと、
を含み、
前記訓練することが、訓練反復ごとに、前記マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの1つ以上の重みを更新することと、を含む、システム。 - 前記複数の画像が核点ラベルを含む、請求項14に記載のシステム。
- 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項15に記載のシステム。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポ
リゴン内の各画素の前記核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項16に記載のシステム。 - 前記損失関数が、
- 前記核確率マップおよび前記背景確率マップを生成することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項14~18のいずれか一項に記載のシステム。
- データ処理システムによって、1つ以上の細胞の複数の画像を取得することと、
前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも3つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、
を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも3つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも3つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、前記選択された損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの1つ以上を更新することと、を含む、方法。 - 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項20に記載の方法。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項20または21に記載の方法。
- 前記畳み込みニューラルネットワークモデルが、修正されたU-Netモデルを含む、請求項20~22のいずれか一項に記載の方法。
- 前記損失関数が、
- 前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項20~24のいずれか一項に記載の方法。
- 1つ以上のデータプロセッサに、動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
データ処理システムによって、1つ以上の細胞の複数の画像を取得することと、
前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも3つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、
を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも3つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも3つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの1つ以上を更新することと、を含む、コンピュータプログラム。 - 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項26に記載のコンピュータプログラム。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項26または27に記載のコンピュータプログラム。
- 前記畳み込みニューラルネットワークモデルが、修正されたU-Netモデルを含む、請求項26~28のいずれか一項に記載のコンピュータプログラム。
- 前記損失関数が、
- 前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項26~30のいずれか一項に記載のコンピュータプログラム。
- 1つ以上のデータプロセッサと、
前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
データ処理システムによって、1つ以上の細胞の複数の画像を取得することと、
前記複数の画像を、ボロノイ変換、ローカルクラスタリング、およびリペールコードの適用に対応する少なくとも3つの損失関数の組み合わせを使用して構築された畳み込みニューラルネットワークモデルに入力することと、
前記畳み込みニューラルネットワークモデルによって、前記複数の画像のそれぞれについて核確率マップおよび背景確率マップを生成することと、
前記データ処理システムによって、前記核確率マップおよび前記背景確率マップを提供することと、を含み、
前記畳み込みニューラルネットワークモデルが、前記ボロノイ変換、前記ローカルクラスタリング、および前記リペールコードの適用を使用して抽出された少なくとも3つのラベルを有する複数の医療画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、
前記複数のモデルパラメータが、前記少なくとも3つの損失関数を最小化することに基づいて前記訓練データのセットを使用して識別され、
前記訓練データのセットを使用することが、訓練反復ごとに、マルチタスクスケジューラによって、前記3つの損失関数のうちの1つを選択することと、前記データ処理システムによって、選択された前記損失関数の勾配に基づいて前記畳み込みニューラルネットワークモデルの前記複数のモデルパラメータのうちの1つ以上を更新することと、を含む、システム。 - 前記ボロノイ変換が、前記1つ以上の細胞間の稜線を抽出する、請求項32に記載のシステム。
- 前記ローカルクラスタリングが、前記ボロノイ変換によって作成された各細胞またはポリゴン内の各画素の核点ラベルまでの距離である距離変換特徴と連結されたRGBチャネル色特徴に基づいて背景および核クラスタを局所的に抽出するためにk平均クラスタリングアルゴリズムを適用することを含む、請求項32または33に記載のシステム。
- 前記畳み込みニューラルネットワークモデルが、修正されたU-Netモデルを含む、請求項32~34のいずれか一項に記載のシステム。
- 前記損失関数が、
- 前記核確率マップおよび前記背景確率マップを生成および提供することが、前記核確率マップおよび前記背景確率マップ、セグメンテーションバイナリマスクおよび検出された
細胞の座標にargmaxおよび極大値関数を適用することを含む、請求項32~36のいずれか一項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962914966P | 2019-10-14 | 2019-10-14 | |
US62/914,966 | 2019-10-14 | ||
PCT/US2020/055550 WO2021076605A1 (en) | 2019-10-14 | 2020-10-14 | Weakly supervised multi-task learning for cell detection and segmentation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022547722A JP2022547722A (ja) | 2022-11-15 |
JP7427080B2 true JP7427080B2 (ja) | 2024-02-02 |
Family
ID=73040369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022516626A Active JP7427080B2 (ja) | 2019-10-14 | 2020-10-14 | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237789A1 (ja) |
EP (1) | EP4046061A1 (ja) |
JP (1) | JP7427080B2 (ja) |
CN (1) | CN114600155A (ja) |
WO (1) | WO2021076605A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3812783A1 (en) * | 2019-10-23 | 2021-04-28 | Novum engineerING GmbH | Estimating a battery state from electrical impedance measurements using convolutional neural network means |
CN112699937B (zh) * | 2020-12-29 | 2022-06-21 | 江苏大学 | 基于特征引导网络的图像分类与分割的装置、方法、设备及介质 |
CN113269778B (zh) * | 2021-06-21 | 2022-11-29 | 复旦大学 | 基于迭代的图像弱监督分割方法 |
CN117496512B (zh) * | 2024-01-02 | 2024-03-22 | 广州锟元方青医疗科技有限公司 | 宫颈tct切片的多类型细胞核标注及多任务处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277349A (ja) | 2005-03-29 | 2006-10-12 | Canon Inc | 近接点算出方法および装置 |
CN109034365A (zh) | 2018-07-06 | 2018-12-18 | 电子科技大学 | 深度学习模型的训练方法及装置 |
CN109669973A (zh) | 2018-12-27 | 2019-04-23 | 深算科技(重庆)有限公司 | 一种基于分布式动态训练系统 |
-
2020
- 2020-10-14 WO PCT/US2020/055550 patent/WO2021076605A1/en unknown
- 2020-10-14 EP EP20800520.7A patent/EP4046061A1/en active Pending
- 2020-10-14 CN CN202080071659.XA patent/CN114600155A/zh active Pending
- 2020-10-14 JP JP2022516626A patent/JP7427080B2/ja active Active
-
2022
- 2022-04-11 US US17/718,061 patent/US20220237789A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277349A (ja) | 2005-03-29 | 2006-10-12 | Canon Inc | 近接点算出方法および装置 |
CN109034365A (zh) | 2018-07-06 | 2018-12-18 | 电子科技大学 | 深度学习模型的训练方法及装置 |
CN109669973A (zh) | 2018-12-27 | 2019-04-23 | 深算科技(重庆)有限公司 | 一种基于分布式动态训练系统 |
Non-Patent Citations (3)
Title |
---|
LIANG, Haoyi、外4名,Enhanced Center Coding for Cell Detection with Convolutional Neural Networks,Computer Vision and Pattern Recognition,ARXIV.ORG,2019年04月18日,pp.1-9,[2023年03月09日検索],インターネット<URL:https://arxiv.org/pdf/1904.08864.pdf> |
QU, Hui、外6名,Weakly Supervised Deep Nuclei Segmentation using Points Annotation in Histopathology Images,Proceedings of Machine Learning Research 102,2019年07月08日,pp.390-400,[2023年03月09日検索],インターネット<URL:http://proceedings.mlr.press/v102/qu19a/qu19a.pdf> |
RAMESH, Nisha、外1名,Cell Segmentation Using a Similarity Interface With a Multi-Task Convolutional Neural Network,IEEE Journal of Biomedical and Health In formatics,IEEE,2018年12月07日,VOL. 23, NO. 4,pp.1457-1468,[2023年03月09日検索],インターネット<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8567919&tag=1> |
Also Published As
Publication number | Publication date |
---|---|
EP4046061A1 (en) | 2022-08-24 |
JP2022547722A (ja) | 2022-11-15 |
WO2021076605A1 (en) | 2021-04-22 |
CN114600155A (zh) | 2022-06-07 |
US20220237789A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
Marsh et al. | Deep learning global glomerulosclerosis in transplant kidney frozen sections | |
Valindria et al. | Reverse classification accuracy: predicting segmentation performance in the absence of ground truth | |
JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
CN113454733A (zh) | 用于预后组织模式识别的多实例学习器 | |
CN114730463A (zh) | 用于组织图像分类的多实例学习器 | |
Iqbal et al. | Developing a brain atlas through deep learning | |
US20220058839A1 (en) | Translation of images of stained biological material | |
JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
Song et al. | Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images | |
Hoorali et al. | IRUNet for medical image segmentation | |
CN117015796A (zh) | 处理组织图像的方法和用于处理组织图像的系统 | |
Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
Bozkurt et al. | Skin strata delineation in reflectance confocal microscopy images using recurrent convolutional networks with attention | |
Shankara et al. | Detection of lung cancer using convolution neural network | |
Kalyani et al. | Deep learning-based detection and classification of adenocarcinoma cell nuclei | |
Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
Afzal et al. | Prediction of Conversion from CIS to Clinically Definite Multiple Sclerosis Using Convolutional Neural Networks | |
Yancey | Deep Feature Fusion for Mitosis Counting | |
CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
Shahzad et al. | Semantic segmentation of anaemic RBCs using multilevel deep convolutional encoder-decoder network | |
Barzekar et al. | Multiclass Semantic Segmentation to Identify Anatomical Sub-Regions of Brain and Measure Neuronal Health in Parkinson's Disease | |
Saranyaraj et al. | Early prediction of breast cancer based on the classification of HER‐2 and ER biomarkers using deep neural network | |
Prajapati | Nuclei Detection and Segmentation in Cervical Cytology Images Using Convolutional Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7427080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |