JP7412636B2 - 人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム - Google Patents
人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7412636B2 JP7412636B2 JP2023513664A JP2023513664A JP7412636B2 JP 7412636 B2 JP7412636 B2 JP 7412636B2 JP 2023513664 A JP2023513664 A JP 2023513664A JP 2023513664 A JP2023513664 A JP 2023513664A JP 7412636 B2 JP7412636 B2 JP 7412636B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- target element
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000012545 processing Methods 0.000 claims description 155
- 238000001514 detection method Methods 0.000 claims description 151
- 238000010586 diagram Methods 0.000 claims description 71
- 238000013507 mapping Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 43
- 238000001914 filtration Methods 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 description 70
- 210000004027 cell Anatomy 0.000 description 43
- 201000011510 cancer Diseases 0.000 description 39
- 210000002865 immune cell Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 238000010186 staining Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 208000003721 Triple Negative Breast Neoplasms Diseases 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 208000022679 triple-negative breast carcinoma Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000003446 ligand Substances 0.000 description 2
- 108020003175 receptors Proteins 0.000 description 2
- 102000005962 receptors Human genes 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 101100519207 Mus musculus Pdcd1 gene Proteins 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 229930012538 Paclitaxel Natural products 0.000 description 1
- 241000219000 Populus Species 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229960001592 paclitaxel Drugs 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000001082 somatic cell Anatomy 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- RCINICONZNJXQF-MZXODVADSA-N taxol Chemical compound O([C@@H]1[C@@]2(C[C@@H](C(C)=C(C2(C)C)[C@H](C([C@]2(C)[C@@H](O)C[C@H]3OC[C@]3([C@H]21)OC(C)=O)=O)OC(=O)C)OC(=O)[C@H](O)[C@@H](NC(=O)C=1C=CC=CC=1)C=1C=CC=CC=1)O)C(=O)C1=CC=CC=C1 RCINICONZNJXQF-MZXODVADSA-N 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Description
本出願は、2020年11月02日に中国専利局に提出した、出願番号が2020112022810であり、発明の名称が「人工知能に基づく画像処理方法、装置およびコンピュータ機器」である中国特許出願の優先権を主張し、その全内容は援用により本出願に結合される。
本出願はコンピュータ技術分野に関し、特に人工知能に基づく画像処理方法、装置、コンピュータ装置及び記憶媒体に関する。
コンピュータビジョン(Computer Vision、CV)は、コンピュータ及び関連装置を用いた生体ビジョンに対するシミュレーションであり、その主なタスクは、人間及び多くの他の生物が毎日行うように、その収集された画像又はビデオを処理することによって対応するシーンの三次元情報を取得することである。ここで、物体の認識及び検出はコンピュータビジョンにおける非常に基本的かつ重要な研究方向である。物体識別及び検出については、一枚の入力画像が与えられて、画像内の一般的な物体を自動的に識別し、その属するクラス及び位置を出力することであり、具体的には例えば顔検出、車両検出、組織検出などがあり、製造業、検査、文書分析、医療診断及び軍事などの分野において広く応用されている。
現在の物体認識及び検出処理方法では、単一のオブジェクトに対して認識検出を行うものであり、画像における目標オブジェクトが含まれる領域輪郭に対して効果的に認識及びセグメンテーションを行うことができず、画像領域セグメンテーションの精度が低くなってしまう。
本出願の各実施例によれば、人工知能に基づく画像処理方法、装置、コンピュータ装置及び記憶媒体が提供される。
コンピュータ装置により実行される人工知能に基づく画像処理方法であって、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。
人工知能に基づく画像処理装置であって、
処理対象画像を取得するための画像取得モジュールと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。
処理対象画像を取得するための画像取得モジュールと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。
コンピュータ可読命令が格納されているメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置であって、
前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
コンピュータ可読命令が記憶されている一つ又は複数の不揮発性可読記憶媒体であって、
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
前記コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、前記一つ又は複数のプロセッサに、
処理対象画像を取得するステップと、
処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するステップと、
検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを実行させる。
本出願の一つ又は複数の実施例の詳細は、以下の図面および説明に記載されている。本出願の他の特徴、目的、および利点は、説明書、図面、および特許請求の範囲から明らかになる。
本発明の実施例における技術案をより明らかに説明するために、以下は実施例の記載にとって必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本発明の実施例のみであり、当業者にとって、進歩性に値する労働をしない前提で、さらに提供された図面に応じて他の図面を取得できる。
一実施例における人工知能に基づく画像処理方法の応用環境図である。
一実施例における人工知能に基づく画像処理方法のフローチャートである。
実施例における要素領域検出のフローチャートである。
一実施例におけるHE染色画像内の腫瘍の概略図である。
従来のICの占める割合の分析方法のフローチャートである。
一実施例におけるHE染色WSI画像とPD-L1染色WSI画像との比較図である。
別の実施例におけるHE染色WSI画像とPD-L1染色WSI画像との比較図である。
さらに別の実施例におけるHE染色WSI画像とPD-L1染色WSI画像との比較図である。
別の実施例における人工知能に基づく画像処理方法のフローチャートである。
一実施例における色分割処理の結果の概略図である。
図10に示す実施例における二値化分割処理の結果の概略図である。
一実施例における染色画像である。
図12に示す実施例において切片組織領域が検出された結果の概略図である。
実施例におけるネットワークモデル構造である。
一実施例においてモデルから出力された癌細胞領域確率図である。
図15の実施例において判定された癌細胞領域の結果の概略図である。
図16の実施例における連結領域の検出結果の概略図である。
図17の実施例においてブラックホールが除去された除去結果の概略図である。
図18の実施例における形態学的拡張後の結果の概略図である。
図16及び図18に示す実施例における融合の結果の概略図である。
図20の実施例において染色画像が重畳された結果の概略図である。
一実施例における人工知能に基づく画像処理装置の構成ブロック図である。
一実施例におけるコンピュータ装置の内部構造図である。
本出願の目的、技術案及び利点をさらに明確にするために、以下は、図面及び実施例を参照して、本出願をさらに詳細に説明する。なお、ここで説明する具体的な実施例は本出願を説明するためだけであり、本出願を限定するものではないことが理解されるべきである。
本出願の実施例にかかる技術案は人工知能のコンピュータビジョン技術に関し、具体的には以下の実施例にて説明する。
本出願にかかる人工知能に基づく画像処理方法は、コンピュータ装置により実行されるものであり、具体的には図1に示す応用環境に応用されてもよい。ここで、端末102は、サーバ104とネットワークを介して通信する。端末102が、画像処理を行う必要がある処理対象画像、例えば風景画像、シーン画像、切片画像等の様々なシーンにおける画像などを収集し、端末102が処理対象画像をサーバ104に送信して目標要素領域輪郭の検出セグメンテーション処理を行う。サーバ104が、処理対象画像を受信すると、人工知能に基づく目標要素領域検出方式によって処理対象画像における目標要素領域を検出し、目標要素領域に対して包絡を探して目標要素包絡領域を取得し、さらに要素領域検出によって特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。また、サーバ104が、データベースから処理対象画像を直接に取得して画像処理を行うことにより、処理対象画像における目標要素領域輪郭を識別してもよい。ここで、端末102は撮影機能を備える各種のパソコン、ノートパソコン、スマートフォン、タブレットコンピュータ及び携帯型ウェアラブル装置に限定されるものではなく、各種の撮像装置又はスキャナ装置等の画像を収集可能な装置であってもよく、サーバ104は独立したサーバ又は複数のサーバで構成されるサーバクラスタで実現されてもよい。
一実施例では、図2に示すように、人工知能に基づく画像処理方法が提供され、該方法を図1におけるサーバに適用することを例として説明し、以下のステップを含む。
ステップ202で、処理対象画像を取得する。
ここで、処理対象画像は領域検出セグメンテーションを行う必要がある画像であり、処理対象画像は様々なシーンで撮影又は走査された画像、例えば野外シーンで撮影された風景画像、人群集シーンで撮影されたシーン画像、医学シーンで走査された切片(スライス)画像等の様々な種類の画像であってもよい。処理対象画像には、撮影され又は走査されてキャプチャされた要素が含まれ、例えば風景画像で撮影された樹木、シーン画像で撮影された人等であり、且つ要素には異なる種別があり、例えば異なる種類の樹木、異なる性別の人等であり、現在の画像認識では画像内の要素を判断するだけであることが多く、異なる種別の要素の領域を正確に判断できず、目標要素領域輪郭の画像における分布を取得することができず、後続の処理対象画像に基づく画像分析、例えば画像の樹木における各種のポプラの形状、シーン画像における各男性の形体等の分析に不利である。
具体的には、処理対象画像は撮影装置で撮影されたもの又は走査装置で走査されたものであり、ネットワークを介してサーバに送信され、サーバにより受信された処理対象画像に対して目標要素領域輪郭の識別セグメンテーション処理を行い、それにより処理対象画像における目標要素領域輪郭の分布を特定し、後続の画像分析に便利である。具体的に実現される場合、目標要素は実際の必要に応じて設定されることができ、例えば処理対象画像に含まれる要素が樹木である場合、目標要素は設定された特定の種類の樹木であってもよく、例えば処理対象画像に含まれる要素が細胞である場合、目標要素は、白細胞、体細胞、癌細胞などの特定の種類の細胞であってもよい。
ステップ204で、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。
ここで、要素は処理対象画像内の撮影され又は走査されてキャプチャされたオブジェクトであり、検出される必要がある目標要素の領域輪郭は要素におけるあるタイプであり、例えば樹木が要素である場合、目標要素は樹木の異なる器官(例えば葉、幹など)又は異なる種類の樹木などであってもよく、また、例えば要素が犬である場合、目標要素は犬の異なる部分であってもよい。要素領域とは、処理対象画像における各種の樹木の分布の範囲など、処理対象画像における要素の分布の範囲を指す。具体的に応用される場合、要素は画像処理の実際のシーンに基づいて特定されたものであり、例えば要素が切片画像内の細胞である場合、要素領域は切片画像内の細胞領域であり、すなわち切片組織領域である。要素領域検出については、処理対象画像における要素領域を検出するために用いられ、具体的には様々なオブジェクト検出アルゴリズム、例えばR-CNN(Regions with Convolutional Neural Networks features、コンボリューションニューラルネットワーク特徴に基づく領域)アルゴリズム、YOLO(You Only Look Once、一回のみを見る)アルゴリズム、SSD(Single Shot Detector、単レンズ検出器)アルゴリズムなどにより処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。また、事前知識が利用されることもでき、例えば処理対象画像における要素及び非要素の色特徴の事前知識が利用され、処理対象画像における各画素点の色特徴が利用されて処理対象画像内の要素領域が検出される。
具体的には、サーバは処理対象画像を取得した後、処理対象画像における要素のタイプ特性に基づいて対応する要素領域検出方式を特定し、該要素領域検出方式により処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定する。
ステップ206で、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出する。
ここで、目標要素は要素におけるサブクラス要素であってもよく、すなわち目標要素は要素における検出される必要がある要素に属する。目標要素領域は処理対象画像における目標要素の分布範囲である。目標要素領域検出方式は人工知能に基づいて実現されることができ、例えば機械学習モデルに基づいて目標要素領域検出が実現されることができる。例えば、FCN(Fully Convolutional Networks、全コンボリューションネットワーク)モデル、SegNet(A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation、画像セグメンテーションに用いられる深度コンボリューションコード-デコードアーキテクチャ)モデル、Linknet(Relational Embedding for Scene Graph、シーングラフの関係埋め込み)モデルなどの様々な画像セグメンテーションアルゴリズムモデルによって目標要素領域が検出され、処理対象画像内の目標要素領域が得られることができる。
具体的には、処理対象画像に対して目標要素領域検出を行うとき、サーバは人工知能の目標要素領域検出方式に基づき、例えば予め訓練された検出モデルを用いて処理対象画像に対して目標要素領域検出方式を行い、処理対象画像内の目標要素領域を検出する。
ステップ208で、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成する。
目標要素包絡領域は、目標要素領域に基づいて包絡を探して得られた最初の目標要素領域輪郭である。具体的には、人工知能に基づく目標要素領域検出方式で処理対象画像内の目標要素領域が検出された後、サーバは該目標要素領域に対して包絡を探し、具体的には、各目標要素領域を連結することにより、各目標要素領域を含む包絡線を探し、包絡線で囲まれた領域に基づいて目標要素包絡領域を生成し、目標要素領域に対して包絡を探すことにより、画像処理プロセスにおける誤差の影響を低減し、正確な目標要素包絡領域を取得することができる。
具体的に実施する際、サーバは目標要素領域を連結し、連結領域を取得し、さらにサーバによって連結領域の範囲内の非目標要素領域が除去され、それにより連結領域範囲内がいずれも正確な目標要素識別結果であることが確保され、最後にサーバによって非目標要素領域が除去された連結領域に対して平滑化処理を行い、例えば形態学的拡張によって平滑化処理を行い、平滑エッジを有する目標要素包絡領域を取得するとともに、形態学的拡張によって小さい領域に対してノイズ除去処理を行い、目標要素包絡領域の識別セグメンテーションの精度を向上させる。
ステップ210で、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。
要素領域と目標要素包絡領域を取得すると、両者を融合して目標要素領域輪郭を取得し、処理対象画像全体における目標要素の分布範囲を示す。具体的には、サーバは要素領域と目標要素包絡領域との共通部分を求め、要素領域と目標要素包絡領域との共通部分を最終的な目標要素領域輪郭として特定することができる。目標要素領域輪郭は、処理対象画像について要素領域検出をした検出結果と、処理対象画像について人工知能に基づく目標要素領域検出をした検出結果とが統合され、単一検出方式における誤差影響を効果的に低減することができ、目標要素領域輪郭の検出セグメンテーションの精度が高い。
上記の人工知能に基づく画像処理方法において、人工知能に基づく目標要素領域検出方式によって処理対象画像内の目標要素領域を検出し、目標要素領域に対して包絡を探して目標要素包絡領域を取得し、さらに要素領域検出により特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。人工知能に基づく目標要素領域検出方式により検出された目標要素領域に対して包絡を探すことにより、人工知能の目標要素領域検出方式の検出結果を効果的に利用し、正確な目標要素包絡領域を取得することができるとともに、処理対象画像における要素領域と目標要素包絡領域を融合することにより、要素領域検出の結果を利用して目標要素包絡領域を補正し、目標要素領域輪郭の検出セグメンテーションの精度を向上させることができる。
一実施例では、図3に示すように、要素領域検出の処理プロセスであって、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を特定することは以下のステップを含む。
ステップ302で、処理対象画像における各画素点に対応するチャネル差分値特徴を特定する。
本実施例では、要素色特徴の事前知識を利用して処理対象画像に対して要素領域検出を行うことにより、処理対象画像における要素領域を特定する。具体的には、処理対象画像における要素と非要素は明らかに異なる色差を有しており、例えば雪シーンの処理対象画像における雪と雪以外が明らかな色差を有する場合、処理対象画像における各画素点の色特徴に基づいて要素領域検出を実現することができ、また、例えば生理学的切片の染色画像において、染色要素と非染色要素が明らかな色差を有する場合、染色画像における各画素点の色特徴に基づいて染色要素領域の検出を実現することができる。
ここで、チャネル差分値特徴は処理対象画像における各画素点の色特徴を説明するためのものであって、具体的にはサーバによる画素点の各色チャネルに対応するチャネル値の間の差分値により得られるものである。例えば、処理対象画像がRGBカラー画像である場合、処理対象画像における各画素点はそれぞれR、G及びBという三つの色チャネルに対応し、それによりチャネル差分値特徴はR、G及びBという三つの色チャネルのチャネル値の間の差分値により得られたものであり、例えばR、G及びBという三つの色チャネルのチャネル値のうちの最大差分値により得られるものである。具体的に応用される際、サーバは処理対象画像における各画素点が各色チャネルに対応するチャネル値をトラバースし、各チャネル値により該当画素点のチャネル差分値特徴を特定することができる。
ステップ304で、各画素点にそれぞれ対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得する。
ここで、色分割画像は各画素点に対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割処理を行って得られたものであり、例えば各画素点に対応するチャネル差分値特徴に基づいて処理対象画像の各画素点の画素値を更新することで、各画素点に対応するチャネル差分値特徴を利用して処理対象画像に対して色分割を行うことを実現し、色分割画像を取得する。色分割画像は処理対象画像の色特徴を反映しており、例えば、チャネル差分値特徴が各色チャネルのチャネル値における最大差分値である場合、色分割時にチャネル差分値特徴を該当画素点の画素値に直接に置き換えると、得られた色分割画像は処理対象画像の各画素点がグレースケール又はカラーに偏っていることを反映しており、グレースケールに偏っていると、各色チャネルのチャネル値における最大差分値が小さく、チャネル差分値特徴の数値が小さいと、色分割画像における該当画素点が黒色に偏っており、逆に言えば色分割画像における該当画素点は白色に偏っており、それにより色分割画像に基づいて処理対象画像におけるカラー領域と非カラー領域を直感的に特定することができ、処理対象画像が要素が染色されて得られた染色画像である場合、処理対象画像におけるカラー領域はすなわち要素領域であり、それにより事前知識を利用して要素領域に対する効果的な検出を実現する。
具体的には、処理対象画像における各画素点に対応するチャネル差分値特徴を取得した後、サーバは各チャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、例えばサーバは各チャネル差分値特徴に基づいて処理対象画像における該当画素点の画素値を更新することで、チャネル差分値特徴を利用して処理対象画像に対して色分割を行って色分割画像を取得することを実現する。
ステップ306で、色分割画像に対して二値化分割を行い、処理対象画像における要素領域を取得する。
ここで、二値化分割とは、二値化処理により色分割画像をさらに分割することで、処理対象画像における要素領域を特定することである。具体的には、予め設定された二値化分割閾値によって色分割画像における画素点をトラバースして二値化処理を行って、色分割画像における各画素点の画素値に対して二値化マッピングを行うことができ、例えば白色又は黒色にマッピングすることができ、それにより二値化分割結果に基づいて処理対象画像内の要素領域を直感的に特定することができる。二値化分割閾値は実際の必要に応じて柔軟に設定されることができ、例えば特定の画素値に設定されることができ、色分割画像における各画素点の画素値により適応的に設定されることもでき、例えば各画素点の画素値の平均値により対応する二値化分割閾値を設定ことにより、より正確に色分割画像に対して二値化分割を行う。
具体的には、色分割画像が得られた後、サーバは色分割画像に対して二値化分割を行い、例えばサーバは予め設定された二値化分割閾値を取得することができ、又は処理対象画像における各画素点に対応するチャネル差分値特徴に基づいて二値化分割閾値を設定し、該二値化分割閾値によって色分割画像に対して二値化分割を行い、それにより二値化分割結果に基づいて処理対象画像内の要素領域を取得する。
具体的に応用される場合、予め処理対象画像に対して関心領域区分を行うことができ、例えばサイズが100*100画素の関心領域で処理対象画像を区分し、処理対象画像に対応する各関心領域を取得し、それぞれ各関心領域に対して要素領域検出を行って各関心領域内の要素領域を取得し、最後に各関心領域内の要素領域を繋ぎ合わせる(スプライシングする)ことにより、処理対象画像内の要素領域を取得する。関心領域によって処理対象画像を区分した後に要素領域検出を行うことにより、単一要素領域検出処理のデータ量を低減することができ、且つ各関心領域に対して並列処理を行うことができ、要素領域検出の処理効率を効果的に向上させることができる。
本実施例では、要素色特徴の事前知識を利用して処理対象画像に対して色分割を行い、二値化分割を組み合わせてさらに色分割画像に対してマッピング分割を行い、経験知識を効果的に利用して正確な要素領域検出を行うことができるとともに、二値化分割によって要素領域と非要素領域とのコントラストの程度を増加させ、さらに要素領域検出の精度を向上させ、それにより処理対象画像における要素領域を正確に特定することができる。
一実施例では、処理対象画像における各画素点に対応するチャネル差分値特徴を特定することは、処理対象画像における各画素点に対応する画素値を特定することと、画素値により該当画素点の各色チャネル値を取得することと、各色チャネル値の間の最大チャネル差分値を特定し、最大チャネル差分値によりチャネル差分値特徴を取得することとを含む。
本実施例では、処理対象画像における各画素点が各色チャネルに対応するチャネル値の間の最大チャネル差分値によりチャネル差分値特徴を取得し、該最大チャネル差分値により処理対象画像における各画素点に対して画素値マッピングを行うことにより、処理対象画像に対する色分割を実現して色分割画像を取得する。ここで、処理対象画像における各画素点の色チャネル値は各色チャネルにある画素点の数値に対応し、色チャネル値の値は処理対象画像が位置する色空間に関連する。例えば、処理対象画像がRGB画像である場合、処理対象画像の色空間にはR、G及びBが含まれ、それに対応して3つの色チャンネル値が含まれ、例えばある画素点の画素値が(123、15、255)である場合、該画素点の色チャンネル値はそれぞれ123、15及び255である。最大チャネル差分値とは画素点に対応する各色チャネル値の間の差分値の最大値を指し、具体的には各色チャネル値を二つずつにして差分値を求め、計算された差分値により最大値を探すことで得られたものである。最大チャネル差分値は画素点の各色チャネルにおける差異程度を反映しており、最大チャネル差分値が大きいほど、画素点が各色チャネルに対応する差異は大きく、画素点の色が豊かになり、該画素点がカラーに偏り、最大チャネル差分値が小さいほど、画素点が各色チャネルに対応する差異は小さく、画素点の色が豊かではなく、該画素点はグレースケールに偏る。
具体的には、処理対象画像における各画素点に対応するチャネル差分値特徴を特定する時、サーバは処理対象画像における各画素点に対応する画素値を特定し、具体的にはサーバによって処理対象画像における各画素点をトラバースし、各画素点の画素値を読み取ることができる。各画素点に対応する画素値が取得された後、サーバは各画素点に対応する画素値を解析し、各画素点の各色チャネル値を特定する。一般に、画素点の画素値は各色チャンネルの色チャンネル値が一定の順序で組み合わされたものであり、画素値と色チャンネル画像との組合せルールに基づいて、画素値から各色チャンネルに対応する色チャンネル値を特定することができる。サーバは各色チャネル値を二つずつにして差分値を求め、差分値結果に基づいて該画素点の最大チャネル差分値を特定する。また、サーバは各色チャネル値から最大値と最小値をそれぞれ特定し、該最大値と最小値の差分値の絶対値により該画素点の最大チャネル差分値を直接に特定してもよい。サーバは得られた最大チャネル差分値によりチャネル差分値特徴を得て、例えば直接に最大チャネル差分値を該当画素点のチャネル差分値特徴とすることができる。
さらに、各画素点に対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得することは、各画素点に対応する最大チャネル差分値により処理対象画像に対して画素値マッピングを行い、色分割画像を取得することを含む。
ここで、画素値マッピングとは最大チャネル差分値により処理対象画像における各画素点の画素値に対してマッピング処理を行って、最大チャネル差分値により処理対象画像に対して色分割を行い、例えば最大チャネル差分値により対応するチャネル差分値画素を特定し、チャネル差分値画素により処理対象画像における該当画素点の画素値を更新し、それにより処理対象画像に対する色分割を実現し、処理対象画像における全ての画素点をトラバースした後、色分割画像を取得する。
具体的には、サーバは処理対象画像における各画素点に対応する最大チャネル差分値を特定した後、各画素点に対応する最大チャネル差分値により処理対象画像における該当画素点の画素値に対して画素値マッピングを行って、最大チャネル差分値により該当画素点の画素値を更新し、処理対象画像に対する色分割を実現する。例えば、サーバは最大チャネル差分値によりチャネル差分値画素を生成することができ、処理対象画像における、ある画素点の最大チャネル差分値が200であれば、RGBチャネル差分値画素(200、200、200)を生成することができ、該チャネル差分値画素を該画素点の画素値にマッピングして、最大チャネル差分値によって画素点の画素値をマッピングして、処理対象画像に対する色分割を実現し、色分割画像を取得する。
本実施例では、処理対象画像における各画素点が各色チャネルに対応するチャネル値の間の最大チャネル差分値によりチャネル差分値特徴を得て、該最大チャネル差分値により処理対象画像における各画素点に対して画素値マッピングを行うことにより、各画素点の色特徴を効果的に利用して処理対象画像に対して正確な色分割を行い、色分割画像の精度を確保することができる。
一実施例では、色分割画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することは、色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得することと、二値化分割閾値を取得することと、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することとを含む。
ここで、色分割画像に対してノイズ除去を行い、例えば色分割画像に対してぼけノイズ除去を行い、それにより色分割画像におけるノイズを除去し、さらに色分割画像の信頼度を向上させる。二値化分割閾値は実際の必要に応じて予め設定されることができ、例えば所定の画素値に予め設定されることができ、色分割画像における各画素点の画素値により予め設定されることもできる。二値化分割とは二値化処理によって色分割画像をさらに分割することであり、具体的には二値化分割閾値とノイズ除去画像における各画素点に対応する画素値との間の大小関係に基づいて各画素点を二値化分割することにより、二値化分割に基づいて処理対象画像内の要素領域を取得することができる。
具体的には、色分割画像に対して二値化分割を行う場合、サーバは色分割画像に対してノイズ除去処理を行い、例えばサーバは色分割画像に対してガウシアンぼかしノイズ除去を行うことができ、ガウシアンぼかしノイズ除去により一つの画素点の強度を周囲の点と相関させ、突然の変化の影響を低減させ、干渉が除去されたノイズ除去画像を取得することができる。サーバは二値化分割閾値を取得し、具体的には予め設定された二値化分割閾値をクエリすることができ、色分割画像又はノイズ除去画像における各画素点の画素値により二値化分割閾値を特定することもできる。例えば、処理対象画像における各画素点に対応する最大チャネル差分値により二値化分割閾値を特定することができる。また、処理対象画像が各関心領域に区分されてそれぞれ要素領域検出が行われる場合、二値化分割閾値は各関心領域に基づいてそれぞれ設定されることができ、例えば各関心領域における各画素点に対応する最大チャネル差分値により二値化分割閾値を特定することにより、各関心領域の二値化分割閾値を柔軟に設定し、各関心領域に対する二値化分割閾値の適応性を向上させ、二値化分割の有効性を向上させ、要素領域のセグメンテーション精度を確保する。二値化分割閾値を得た後、サーバは二値化分割閾値及びノイズ除去画像における各画素点に対応する画素値によりノイズ除去画像に対して二値化分割を行い、例えばサーバは二値化分割閾値及びノイズ除去画像における各画素点に対応する画素値の大小関係に基づき、ノイズ除去画像における各画素点に対応する画素値に対して二値化マッピングを行って、ノイズ除去画像に対する二値化分割を実現し、処理対象画像内の要素領域を取得することができる。
本実施例では、色分割画像に対してノイズ除去処理を行って色分割画像におけるノイズを除去した後、二値化分割閾値によりノイズ除去画像に対して二値化分割を行うことにより、二値化分割閾値によってノイズ除去画像を分割し、処理対象画像内の要素領域と非要素領域を正確にセグメンテーションする。
一実施例では、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得することは、ノイズ除去画像における各画素点に対応する画素値を確定することと、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得することと、ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得することとを含む。
本実施例では、二値化分割閾値によってノイズ除去画像における各画素点に対応する画素値に対して画素二値化マッピングを行い、各画素点に対応する画素マッピング結果に基づいて前記処理対象画像内の要素領域を取得する。具体的には、ノイズ除去画像に対して二値化分割を行う時に、サーバはノイズ除去画像における各画素点に対応する画素値を特定し、例えばノイズ除去画像における各画素点をトラバースし、各画素点に対応する画素値を特定することができる。サーバはノイズ除去画像における各画素点をトラバースし、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値に対して画素二値化マッピングを行い、具体的には二値化分割閾値と各画素点に対応する画素値それぞれに対して数値の比較を行って、画素値が二値化分割閾値より大きい画素点及び画素値が二値化分割閾値より大きくない画素点をそれぞれ異なる画素値にマッピングし、例えばそれぞれ黒又は白の画素値にマッピングし、それにより処理対象画像内の要素画素点と非要素画素点を直感的に区分し、各要素画素点に基づいて処理対象画像内の要素領域を特定することができる。ここで、要素画素点とは処理対象画像内の要素に属する画素点を指し、非要素画素点は要素に属さない画素点であり、すなわち要素領域の各画素点はいずれも要素画素点であり、非要素領域における画素点はいずれも非要素画素点である。二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得した後、サーバは各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得する。例えば、ノイズ除去画像における各画素点に対応する画素値を二値化マッピングした後、画素マッピング結果において要素画素値にマッピングされた画素点を要素画素点に特定し、非要素画素値にマッピングされた画素点を非要素画素点に特定することができる。例えば、要素画素値が白色であり、非要素画素値が黒色である場合、ノイズ除去画像における画素マッピング結果が白色である画素点を要素画素点に特定し、画素マッピング結果が黒色である画素点を非要素画素点に特定し、画素マッピング結果が白色である領域内の全ての要素画素点に基づいて処理対象画像内の要素領域を特定することができ、それにより要素領域への正確なセグメンテーションを実現する。
一実施例では、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出することは、目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリすることと、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得することと、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得することとを含む。
ここで、目標要素領域検出モデルは目標要素領域がアノテーションされた訓練画像データの事前訓練によって得られたものであり、目標要素領域検出モデルは入力された画像に対して目標要素領域検出を行って、目標要素領域確率図を出力することができる。目標要素領域確率図は処理対象画像における各画素点が目標要素である確率を示し、目標要素領域確率図における確率を判定することにより、処理対象画像内の目標要素領域を特定することができる。
具体的には、処理対象画像に対して目標要素領域検出を行うとき、サーバは予め訓練された目標要素領域検出モデルをクエリし、目標要素領域検出モデルは目標要素領域がアノテーションされた訓練画像データの訓練によって得られたものであり、目標要素領域がアノテーションされた訓練画像データの訓練では、目標要素領域輪郭がアノテーションされたことに比べて、特徴が顕著な目標要素に基づいて直接にアノテーションされることができ、アノテーションがより正確であり、訓練画像データの訓練効果を確保することができる。サーバはクエリされた目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、具体的には処理対象画像を目標要素領域検出モデルに入力して目標要素領域検出を行うことができ、それにより目標要素領域検出モデルが検出結果を出力し、検出結果は目標要素領域確率図を含む。サーバは目標要素領域検出モデルから出力された目標要素領域確率図を判定して、目標要素領域確率図における各画素点が目標要素であるか否かを特定することにより、判定結果に基づいて処理対象画像内の目標要素領域を特定する。
本実施例では、目標要素領域がアノテーションされた訓練画像データの事前訓練によって得られた目標要素領域検出モデルが処理対象画像に対して目標要素領域検出を行い、目標要素領域検出モデルから出力された目標要素領域確率図を判定し、処理対象画像内の目標要素領域を特定し、予め訓練された目標要素領域検出モデルによって目標要素領域検出を行うことにより、目標要素領域に対する効果的な検出を実現し、処理対象画像から正確な目標要素領域を識別することができる。
一実施例では、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得することは、処理対象画像による領域区分処理によって得られた各関心領域を取得することと、各関心領域を目標要素領域検出モデルに入力してそれぞれ目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域にそれぞれ対応する関心領域確率図を取得することと、各関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得することとを含む。
本実施例では、処理対象画像を各関心領域に区分した後、目標要素領域検出モデルによって各関心領域に対して目標要素領域検出をそれぞれ行い、各関心領域に対応する検出結果を繋ぎ合わせて、処理対象画像に対応する目標要素領域検出結果を取得する。ここで、関心領域は処理対象画像に対して領域区分を行うことで得られたものであり、例えば予め設定されたサイズに基づいて処理対象画像に対して領域区分を行うことができ、それにより処理対象画像を複数の関心領域に区分し、単一処理のデータ量を低減させ、データの処理効率を向上させる。具体的に実現される際、関心領域のサイズは実際の必要に応じて設定されることができ、固定のサイズを直接に設定することができ、例えば、1000*1000画素に設定する。
具体的には、目標要素領域検出モデルにより処理対象画像に対して目標要素領域検出を行うとき、サーバは、処理対象画像による領域区分処理により得られた各関心領域を取得する。ここで、関心領域の領域区分については処理対象画像に対して要素領域検出を行う時に実現されることができ、処理対象画像に対して目標要素領域検出を行う際、要素領域検出時に領域区分された各関心領域を直接に取得する。サーバは各関心領域を目標要素領域検出モデルに入力して目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域確率図を取得する。関心領域確率図は、対応する関心領域内の画素点が目標要素領域として検出される確率を記録する。サーバは各関心領域にそれぞれ対応する関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得することで、処理対象画像に対する目標要素領域検出を実現する。
本実施例では、目標要素領域検出モデルにより、処理対象画像による領域区分処理によって得られた各関心領域に対してそれぞれ目標要素領域検出を行い、各関心領域に対応する検出結果を繋ぎ合わせて、処理対象画像に対応する目標要素領域検出結果を得て、単一の目標要素領域検出処理のデータ量を低減することができ、且つ各関心領域に対して並列処理を行うことができ、目標要素領域検出の処理効率を効果的に向上させることができる。
一実施例では、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得することは、確率閾値を取得することと、確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得することと、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を取得することとを含む。
ここで、確率閾値は実際の必要に応じて予め設定され、例えば0.5に設定されることができ、確率閾値は目標要素領域確率図に対して目標要素領域判定を行うために用いられ、目標要素領域判定に基づいて処理対象画像における目標要素領域を特定する。具体的には、目標要素領域検出モデルから出力された目標要素領域確率図が得られた後、サーバは予め設定された確率閾値を取得し、確率閾値は目標要素領域確率図における各画素点の確率値に対して二値化マッピングを行うために用いられる。サーバは確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、具体的にはサーバによって目標要素領域確率図における各画素点に対応する確率値と確率閾値の大きさをそれぞれ比較し、比較結果に基づいて各画素点に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得する。例えば、確率閾値は0.5であり、目標要素領域確率図における画素点Aの確率値が0.8であり、画素点Bの確率値が0.2であれば、画素点Aの画素値を白色画素値にマッピングし、画素点Bの画素値を黒色画素値にマッピングすることにより、画素点A及び画素点Bに対する二値化マッピングを実現し、全ての画素点をトラバースした後、目標要素領域確率図に対する二値化マッピングを実現する。目標要素領域確率図における各画素点の確率マッピング結果が得られた後、サーバは各確率マッピング結果に基づいて前記処理対象画像内の目標要素領域を得て、例えばサーバは各確率マッピング結果において目標要素画素値にマッピングされた画素点に基づいて目標要素画素点を特定することができ、全ての目標要素画素点に基づいて処理対象画像内の目標要素領域が特定される。
本実施例では、予め設定された確率閾値によって目標要素領域確率図に対して確率二値化マッピングを行うことにより、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を特定し、二値化マッピングによって直感的に処理対象画像内の目標要素領域と非目標要素領域を正確にセグメンテーションすることができ、目標要素領域セグメンテーションの精度を確保することができる。
一実施例では、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成することは、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成することと、目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得することと、更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得することとを含む。
本実施例では、検出された目標要素領域が領域連結された後、連結領域内の非目標要素が除去されることにより、連結領域の範囲内部に対して非目標要素フィルタリングを行い、さらに形態学的拡張により連結領域のエッジに対して平滑化処理を行うとともに、連結領域の辺の比較的小さい領域に対するノイズ除去を実現し、それにより検出された目標要素領域に対して包絡を探すことを実現し、識別セグメンテーション精度の高い目標要素包絡領域を取得する。
具体的には、処理対象画像内の目標要素領域が検出された後、サーバは処理対象画像内の目標要素領域に対して領域連結を行い、具体的には予め設定されたサイズのフィルタにより処理対象画像内の目標要素領域及び非目標要素領域をトラバースすることができ、フィルタにより処理対象画像内の目標要素領域に対して領域連結を行って、目標要素連結領域を生成する。サーバはさらに生成された目標要素連結領域範囲内の非目標要素をフィルタすることにより、目標要素連結領域内部がいずれも目標要素であることを確保する。具体的には、サーバは目標要素連結領域内にある非目標要素領域を除去し、例えばサーバは目標要素連結領域内にある非目標要素領域を目標要素領域に直接に更新することができ、更新された目標要素連結領域を取得する。更新された目標要素連結領域の内部はいずれも目標要素領域である。さらに、サーバは更新された目標要素連結領域のエッジに対して平滑化処理を行い、具体的には更新された目標要素連結領域に対して形態学的拡張を行うことにより、目標要素包絡領域を取得する。更新された目標要素連結領域に対して形態学的拡張を行うことにより、更新された目標要素連結領域のエッジに対して平滑化処理を行うことができるとともに、更新された目標要素連結領域エッジの小さい領域に対して効果的なノイズ除去を行い、目標要素包絡領域の識別セグメンテーション精度をさらに向上させる。
一実施例では、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成することは、処理対象画像内の目標要素領域と非目標要素領域をフィルタリング区分し、各フィルタリング領域を取得することと、各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得することと、分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成することとを含む。
本実施例では、処理対象画像内の目標要素領域及び非目標要素領域を各フィルタリング領域に区分した後、各フィルタリング領域に対して領域タイプ分析をそれぞれ行い、分析結果に基づいてフィルタリング領域が連結領域タイプであるか否かを特定し、連結領域タイプのフィルタリング領域を連結し、目標要素連結領域を生成する。
具体的には、処理対象画像内の目標要素領域を連結する際に、サーバは処理対象画像内の目標要素領域と非目標要素領域に対してフィルタリング区分を行い、各フィルタリング領域を取得する。ここで、フィルタリング区分のサイズはフィルタのサイズに基づいて特定されることができ、例えばフィルタのサイズが10*10画素である場合、フィルタに基づいて処理対象画像内の目標要素領域と非目標要素領域を区分して複数の10*10画素のサイズのフィルタリング領域を取得する。各フィルタリング領域が特定された後、サーバは各フィルタリング領域における画素点の画素値に対して領域タイプ分析を行い、具体的にはサーバによって各フィルタリング領域をトラバースすることができ、各フィルタリング領域の各画素点に対して、目標要素画素点があると検出し、すなわちフィルタリング領域に目標要素画素点があれば、該フィルタリング領域のタイプが連結領域タイプであると特定され、すなわち該フィルタリング領域を目標要素領域の領域と認定することができ、すなわち該フィルタリング領域を連結することができる。各フィルタの分析結果が得られた後、サーバは各フィルタリング領域において分析結果が連結領域タイプであることに対応するフィルタリング領域を連結し、目標要素連結領域を取得する。具体的に実現される際、連結領域タイプの各フィルタリング領域が連結される際に、サーバは連結領域タイプの各フィルタリング領域における画素点の画素値をいずれも目標要素画素値にマッピングし、さらにマッピング処理後の連結領域タイプの各フィルタリング領域を連結し、それにより目標要素連結領域を生成する。
具体的な応用において、設定されたフィルタにより処理対象画像を直接にトラバースすることができ、フィルタにより処理された各フィルタリング領域の範囲において、目標要素画素点があれば、フィルタにより処理された範囲における各画素点の画素値により判断することができ、目標要素画素点に対応する画素値があれば、目標要素画素点があると考え、該フィルタリング領域を連結領域タイプに特定し、該連結領域内の各画素点の画素値を目標要素画素点に対応する画素値にマッピングする。例えば、目標要素画素点に対応する画素値が白色画素値である場合、フィルタがフィルタリング領域において白色画素点を検出すれば、該フィルタリング領域の全ての画素点をいずれも白色画素点にマッピングし、すなわち該フィルタリング領域が連結処理を行う必要がある領域であると特定する。フィルタが処理対象画像に対するトラバース処理を完了した後、連結領域タイプの各フィルタリング領域を連結し、目標要素連結領域を生成する。
一実施例では、人工知能に基づく画像処理方法はさらに、目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像において目標要素領域輪郭を識別することとを含む。
ここで、識別方式は実際の必要に応じて予め柔軟に設定されることができ、例えばハイライト色の輪郭線、記号等であってもよい。具体的には、処理対象画像から目標要素領域輪郭がセグメンテーションされて検出された後、サーバは該目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像内の目標要素領域輪郭を識別し、それにより処理対象画像内の目標要素領域輪郭を直感的に識別し、目標要素領域輪郭及び処理対象画像に基づく後続の画像分析に便利である。
本出願はさらに応用シーンを提供しており、該応用シーンは上記の人工知能に基づく画像処理方法が応用される。具体的には、該人工知能に基づく画像処理方法の該応用シーンにおける応用は以下のとおりである。
処理対象画像は風景画像、シーン画像等であり、ここで要素は風景における風景物体オブジェクトであり、例えば樹木、雪、砂利等であり、又は要素はシーン画像における人物又は動物であり、目標要素は異なる種類の数又は数の異なる部位であり、又は異なる人物又は動物であり、例えば男性、女性、子供又は老人等であり、目標要素はシーン画像における犬、猫等の異なる種類の動物であってもよく、また、目標要素は人物又は動物の異なる部位であってもよく、例えば人物の毛髪、顔等の様々な部位であり、また例えば動物の胴体、四肢又は頭部等であり、目標要素は、検出される必要がある領域輪郭に従って特定される。
一つの具体的な応用において、サーバは撮影された風景画像を取得し、風景画像に対して要素領域検出を行い、風景画像内の樹木領域を特定する。一方、人工知能に基づく目標要素領域検出方式を採用して風景画像内の葉領域を検出し、検出された葉領域に対して包絡を探し、葉包絡領域を生成し、樹木領域と葉包絡領域を融合し、葉領域輪郭を得て、該葉領域輪郭は風景画像における葉領域輪郭の分布を直感的に示し、後続の画像分析に便利である。
本出願はさらに応用シーンを提供しており、該応用シーンは上記の人工知能に基づく画像処理方法が応用される。具体的には、該人工知能に基づく画像処理方法の該応用シーンにおける応用は以下のとおりである。
本応用シーンにおいて、処理対象画像はWSI(Whole Slide Image、全視野デジタル病理切片)染色画像であり、要素は切片内の細胞であり、目標要素は異なるタイプの細胞であり、例えば白細胞、T細胞又は癌細胞等であってもよい。
一つの具体的な応用において、WSI染色画像は、乳房病理PD-L1(programmed cell death-Ligand 1、プログラム死因子リガンド1、PD-1のリガンドである)方法に基づく切片画像である。乳癌の治療において、PD-L1方法で免疫細胞数(PD-L1の発現)を取得することができ、該免疫細胞数に基づいて癌を防御する能力をさらに評価し、すなわち染色された免疫細胞(IC、immune cell)の腫瘍領域における占める割合を推定することにより、癌治療の投与方法を選択する。しかしながら、免疫細胞数の推定は、現在では定性的な方法に過ぎず、定量的な方法ではなく、ICの占める割合の推定が不正確になる。
現在、免疫組織化学的評価は、PD-1(programmed death 1、プログラム死分子受容体1、免疫細胞Tの細胞表面の受容体タンパク質である)/PD-L1に基づく免疫学的有効性が研究の焦点となっている。PD-L1発現の変化は、腫瘍進行および予後不良と関連しており、PD-L1は、予後を予測するための有効なバイオマーカーであると考えられる。乳癌は女性の最も一般的な悪性腫瘍であり、精密医学は乳癌の更なる洗練され個別化された治療のためのきっかけを提供する。現在、パクリタキセルタンパク質結合剤と結合されて、切除不能な局所進行性TNBC(Triple-Negative Breast Cancer、トリプルネガティブ乳癌)または転移性TNBCの治療のための治療法が提案されている。図4に示すように、5種類のHE染色画像における腫瘍の発現状況が含まれる。図Aでは、HE染色画像を10倍に拡大した局所観察画像であり、切片組織は染色後に腫瘍周囲間質と腫瘍領域中の腫瘍内間質に分けられることが分かる。図B、図C、図D及び図Eは異なる切片組織染色の結果であり、該HE染色画像により腫瘍の分布状況を特定することができ、後続の診療分析に便利である。RochE社はSP142染色剤に基づいてIC値を判読する指導方法を提供し、具体的にはまずHE染色(hematoxylin-eosin staining、ヘマトキシリン-エオシン染色法)WSI画像を観察し、HE染色画像内の腫瘍領域を取得し、さらに観察結果をPD-L1の染色画像に対応させ、さらにHE染色画像とPD-L1染色画像を結合して推定してICの占める割合(IC score)を特定する。
図5に示すように、従来のICの占める割合の分析プロセスにおいては、まずHE染色WSI画像を観察して腫瘍領域を特定し、さらにHE染色WSI画像の観察結果をPD-L1染色WSI画像に対応させ、両者を結合してICの占める割合を推定して画像分析を行う。具体的には、HE染色WSI画像を観察する際には、HE染色WSI画像に腫瘍や壊死が存在するか否かを確認する必要があるとともに、十分性を確保するために少なくとも50個の生きている腫瘍細胞や間質を検出する必要があり、さらに腫瘍領域の面積を推定することも可能である。これから分かるように、従来のICの占める割合の推定の処理方法では、2種類の異なるWSI染色画像が必要となり、すなわち2つのスライドが作製される必要があり、一つはHE染色剤で染色され、一つはPD-L1染色剤で染色され、画像分析の作業量を著しく増加させる。また、2種類の染色剤により取得された画像は完全に一致しにくく、2つの異なる染色のスライドが作製されるために、ワックスブロックから2枚の異なる癌組織を切り出す必要があり、取得された画像から誤差、及び位置の並進、回転などがあり、ICの占める割合の推定に影響を与える。図6-図8に示すように、異なる実施例におけるHE染色WSI画像及びPD-L1染色WSI画像の比較であり、図6におけるHE染色WSI画像及びPD-L1染色WSI画像はある程度の回転を有し、図7におけるHE染色WSI画像及びPD-L1染色WSI画像は反転を生じ、図8におけるHE染色WSI画像及びPD-L1染色WSI画像はある程度の回転及び並進を有することが分かる。そのため、HE染色WSI画像から腫瘍組織領域を取得し、PD-L1染色WSI画像内で同じ領域を見つけ、腫瘍領域をPD-L1染色WSI画像に対応させてICの占める割合の推定を行う場合、効果的な対応を行うことが困難であり、ICの占める割合の推定の精度が大きく損なわれ、画像分析の精度が低くなってしまう。
これに基づき、本出願は人工知能に基づく画像処理方法を提供してそれを該シーンに応用し、目標要素領域輪郭を効果的に正確にセグメンテーションして検出することができ、後続のICの占める割合の画像分析処理に便利である。具体的には、図9に示すように、サーバは染色画像を取得し、染色画像はPD-L1染色剤によってWSI画像に対して染色処理を行って得られた画像であり、サーバは染色画像に対してそれぞれ組織細胞検出及び癌細胞領域検出を行い、切片組織領域及び癌細胞領域を得て、サーバは切片組織領域及び癌細胞領域を融合した後に腫瘍領域輪郭を特定し、腫瘍領域輪郭を染色画像に重畳し、それにより、続いて、直接に重畳結果に基づいてICの占める割合の推定を行うことができ、二枚の染色画像を比較して分析する必要がなく、ICの占める割合の推定の精度を効果的に確保することができる。
さらに、切片組織領域検出について、事前知識を利用して効果的な検出を行うことができ、すなわち非組織領域はよりグレースケールに偏っており、組織領域に明らかな染色が存在し、そのため、一つの画素点がよりグレースケール又はよりカラーに近いと判断すれば、該画素点が背景領域に属するか又は染色された組織細胞に属するかを判断することができる。WSI画像のサイズが比較的大きいことが考慮され、まず染色画像を領域区分して各ROI(Region of Interest、関心領域)を得て、各ROIを一つずつトラバースして処理することにより、組織領域検出を実現する。具体的には、各ROIで、画素点色差分値を利用して局所閾値を算出し、現在のROIに基づく背景領域及び組織領域のセグメンテーションを実現し、それにより染色画像から切片組織領域をセグメンテーションする。切片組織領域検出は、各ROIについて、以下の式(1)のとおりである。
ここで、Diffroi(x、y)とはROI内の(x、y)点の異なる三つの色チャンネル(i=1、2、3)において、画素値の最大値と最小値の差分値を指す。ここで、Max[ROI(x,y,i)]|i=1,2,3は(x、y)点の三つの色チャンネルの最大値を特定するために用いられ、Min[ROI(x,y,i)]|i=1,2,3は(x、y)点の三つの色チャンネルの最小値を特定するために用いられ、Abs{}は最大値と最小値の差分値の絶対値を特定するために用いられる。本実施例では、画像の色チャネル(i=1、2、3)はR、G及びBという三つのチャネルであり、他の色空間のチャネルであってもよく、例えばHSV(Hue-Saturation-Value、色相-彩度-明度)色空間である。一般的に、ある画素点がカラー画素であれば、Abs{}の値が大きく、グレースケール画素であれば、Abs{}の値が相対的に小さい。図10に示すように、一実施例では、左側の染色画像ROI(x、y)に対して色分割を行った後に右側の色分割画像Diffroi(x、y)を得て、色分割画像において、灰色画素領域は切片組織領域である。
色分割画像を得た後、さらに色分割画像に対して二値化分割を行い、それにより処理対象画像内の要素領域を特定する。具体的な処理は以下の式(2)のとおりである。
ここで、まず色分割画像Diffroi(x、y)に対してぼけノイズ除去を行い、具体的にはガウシアンぼかしノイズ除去GaussianBlur[]を用い、続いて、各画素点に対して二値化Binary{}計算を行い、具体的には二値化分割閾値Thresh=Diff(x,y)/10で二値化分割を行い、二値化分割結果Maskroi(x,y)を得て、二値化分割結果に基づいて染色画像内の切片組織を特定することができる。図11に示すように、図10に示す実施例において色分割画像に対して二値化分割処理を行って得られた二値化分割結果であり、ここで、白色領域はすなわち切片組織領域である。
図12-図13に示すように、一実施例では、図12は染色画像であり、図13は図12の染色画像に対して切片組織検出を行って特定された切片組織領域(白色領域)である。
一方、癌細胞領域検出処理について、予め訓練されたLinknetネットワークモデル(Chaurasia2017)により、染色画像に対して癌細胞領域検出が行われる。図14に示すように、Linknetネットワークモデル構造において、コンボリューション処理とはconvによりコンボリューション操作を行うことを示し、転置コンボリューションとは、full-convによりコンボリューション操作を行うことを示す。/2は、因子が2であるダウンサンプリングを表し、帯域ステップの長いコンボリューションが使用されることで実現される。*2は、因子が2であるアップサンプリングを示す。コンボリューション層の間にBN(Batch Normalization、バッチ標準化)とReLU(Rectified Linear Unit、線形整流関数)を利用する。左半分はエンコーダ(Encoder Block)であり、右半分はデコーダ(Decoder Block)である。Encoder Blockは最初に一つのinitial block(初期ブロック)があり、残りの部分は残差ブロックで構成される。訓練ネットワークモデルは、900アノテーション画像(832×832画素、0.848ミクロン/画素)を利用する。具体的に応用される際、腫瘍細胞領域に対するアノテーションデータがあれば、モデルを直接に訓練して腫瘍領域検出を行うことができるが、実際のエンジニアリングでは、十分なアノテーションを取得することが非常に困難であり、且つ腫瘍領域は実際に複雑な各種の病理組織を含み、アノテーションを行っても、深層学習ネットワークを訓練することが困難であり、すなわち実際に利用可能な腫瘍領域を取得することが困難である。これに基づいて、癌細胞の特徴が他の病理組織と非常に異なることを考慮し、腫瘍領域をアノテーションせず、癌細胞領域のみをアノテーションすればよく、癌細胞領域がアノテーションされたアノテーション画像によりモデル訓練を行う。モデル精度は、200マルチ画像のテストセットにおいて、F1(F-measure、F値)=0.89、Recall(リコール率)=0.89、Precision(正解率)=0.91のレベルに達したときに訓練を終了し、訓練済みのモデルを取得することができる。
訓練済みのLinknetネットワークモデルを用いて染色画像のROIを一つずつ予測し、続いて繋ぎ合わせて、予測癌細胞領域確率図を取得し、その値は0-1である。癌細胞領域確率図に基づいて、0.5の確率閾値を用いて二値化マッピングを行い、二値化の癌細胞領域結果を得た。図15に示すように、一実施例においてLinknetネットワークモデルに基づいて染色画像に対して癌細胞領域予測を行って得られた癌細胞領域確率図であり、図16に示すように、0.5の確率閾値を用いて癌細胞領域確率図に対して二値化マッピング処理を行って得られた癌細胞領域結果である。ここで、白色領域が癌細胞領域である。
さらに、切片組織領域と癌細胞領域を取得する後処理では、癌細胞領域間を結ぶ間質を考慮して、癌細胞領域全体の包絡を探し、すなわち腫瘍領域を特定する。癌細胞領域の包絡を探す際、連結領域を計算することで実現され、具体的には10*10画素のフィルタを利用して癌細胞領域の画像を一つずつトラバースして検出し、10*10画素範囲内に、画素が0より大きい画素(白色画素点)が存在すれば、全体の10*10画素のROIを連結領域とみなす。ここで、10×10画素のフィルタは、約50ミクロン/画素のスケーリングされた画像に対応して使用される。さらに、4*4の円形kernel(核)を利用して形態学的拡張を実現し、平滑なエッジを取得するとともに、小さい領域に対してノイズ除去を行い、癌領域全体輪郭の精度をさらに向上させる。
図17に示すように、図16に示す癌細胞領域に対して領域連結を行って得られた連結領域の検出結果であり、図18は図17における連結領域の検出結果に対してブラックホールが除去された除去結果であり、図19は図18の除去結果に対して形態学的拡張を行って得られた癌領域の全体輪郭結果である。
癌領域の全体輪郭結果を得た後、切片組織領域と癌領域の全体輪郭結果を融合し、具体的には両者の共通部分を計算することにより、腫瘍領域を取得することができる。腫瘍領域とは、癌細胞領域、および癌細胞領域の間の部分間質を指す。切片組織領域検出については全ての組織の領域を取得することができ、これらの領域は腫瘍領域及び非腫瘍領域が含まれ、癌細胞領域検出で非腫瘍領域を判定することができ、この二つの結果を融合して腫瘍領域の検出結果を取得することができる。図20に示すように、図18の癌細胞領域と図16の切片組織領域が融合された癌細胞領域輪郭、すなわち腫瘍領域の結果である。さらに、腫瘍領域を最初の染色画像に重畳することにより、検出された腫瘍領域をそのまま染色画像にマークする。図21に示すように、図20における腫瘍領域を染色画像に重畳した後にマークする表現効果であり、腫瘍領域のエッジが比較的合っているのとともに、非腫瘍領域の染色領域も比較的よく除去されることが分かる。
なお、図2~図3のフローチャートにおける各ステップは、矢印の指示に従って順次表示されるが、必ずしも矢印の指示に従って順次実行される必要はない。本明細書に明示的に示されない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行されてもよい。また、図2-図3における少なくとも一部のステップは複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は必ずしも同じ時に実行されるとは限らず、異なる時に実行されることができ、これらのステップ又は段階の実行順序も必ずしも順次行われるとは限らず、他のステップ又は他のステップにおけるステップ又は段階の少なくとも一部と順番に又は交互に実行されることができる。
一実施例では、図22に示すように、人工知能に基づく画像処理装置2200が提供され、該装置はソフトウェアモジュール又はハードウェアモジュールを用いることができ、又は両者を結合してコンピュータ装置の一部になり、具体的に、該装置は、処理対象画像を取得するための画像取得モジュール2202と、処理対象画像に対して要素領域検出を行うことにより、処理対象画像内の要素領域を確定するための要素領域検出モジュール2204と、人工知能に基づく目標要素領域検出方式を採用し、処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュール2206と、検出された目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュール2208と、要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュール2210とを含む。
本実施例では、目標要素領域検出モジュールが人工知能に基づく目標要素領域検出方式によって処理対象画像内の目標要素領域を検出し、包絡生成モジュールが目標要素領域に対して包絡を探して目標要素包絡領域を取得し、領域融合モジュールがさらに要素領域検出モジュールによる要素領域検出によって特定された要素領域と目標要素包絡領域を融合し、目標要素領域輪郭を取得する。人工知能に基づく目標要素領域検出方式によって検出された目標要素領域に対して包絡を探すことにより、人工知能の目標要素領域検出方式の検出結果を効果的に利用し、正確な目標要素包絡領域を取得することができるとともに、処理対象画像内の要素領域と目標要素包絡領域を融合することにより、要素領域検出の結果で目標要素包絡領域を補正し、検出セグメンテーションされた目標要素領域輪郭の精度を向上させることができる。
一実施例では、要素領域検出モジュール2204は、処理対象画像における各画素点にそれぞれ対応するチャネル差分値特徴を特定するためのチャネル差分値特徴特定モジュールと、各画素点にそれぞれ対応するチャネル差分値特徴に基づいて処理対象画像に対して色分割を行い、色分割画像を取得するための色分割モジュールと、色分割画像に対して二値化分割を行い、処理対象画像内の要素領域を取得するための二値化分割モジュールとを含む。
一実施例では、チャネル差分値特徴特定モジュールは、処理対象画像における各画素点にそれぞれ対応する画素値を特定するための画素値特定モジュールと、画素値により該当画素点の各色チャネル値を取得するためのチャネル値特定モジュールと、各色チャネル値の間の最大チャネル差分値を特定し、最大チャネル差分値によりチャネル差分値特徴を取得するための最大チャネル差分値特定モジュールとを含み、色分割モジュールはさらに、各画素点に対応する最大チャネル差分値により処理対象画像に対して画素値マッピングを行い、色分割画像を取得するために用いられる。
一実施例では、二値化分割モジュールは、色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得するためのノイズ除去モジュールと、二値化分割閾値を取得するための分割閾値取得モジュールと、二値化分割閾値とノイズ除去画像における各画素点に対応する画素値に基づき、ノイズ除去画像に対して二値化分割を行い、処理対象画像内の要素領域を取得するための分割処理モジュールとを含む。
一実施例では、分割処理モジュールは、ノイズ除去画像における各画素点に対応する画素値を特定するための画素値分析モジュールと、二値化分割閾値によりノイズ除去画像における各画素点に対応する画素値それぞれに対して画素二値化マッピングを行い、ノイズ除去画像における各画素点に対応する画素マッピング結果を取得するための二値化マッピングモジュールと、ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて処理対象画像内の要素領域を取得するためのマッピング結果分析モジュールとを含む。
一実施例では、目標要素領域検出モジュール2206は、目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリするためのモデルクエリモジュールと、目標要素領域検出モデルによって処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するためのモデル処理モジュールと、目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて処理対象画像内の目標要素領域を取得するためのモデル結果処理モジュールとを含む。
一実施例では、モデル処理モジュールは、処理対象画像による領域区分処理によって得られた各関心領域を取得するための関心領域モジュールと、各関心領域を目標要素領域検出モデルにそれぞれ入力して目標要素領域検出を行い、目標要素領域検出モデルから出力された各関心領域にそれぞれ対応する関心領域確率図を取得するための確率図取得モジュールと、各関心領域確率図を繋ぎ合わせて、処理対象画像に対応する目標要素領域確率図を取得するための確率図スプライシングモジュールとを含む。
一実施例では、モデル結果処理モジュールは、確率閾値を取得するための確率閾値取得モジュールと、確率閾値と目標要素領域確率図における各画素点に対応する確率値に基づき、目標要素領域確率図に対して確率二値化マッピングを行い、目標要素領域確率図における各画素点の確率マッピング結果を取得するための確率閾値マッピングモジュールと、目標要素領域確率図における各画素点の確率マッピング結果に基づいて処理対象画像内の目標要素領域を取得するための目標要素領域モジュールとを含む。
一実施例では、包絡生成モジュール2208は、処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するための領域連結モジュールと、目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得するための領域充填モジュールと、更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得するための領域拡張モジュールとを含む。
一実施例では、領域連結モジュールは、処理対象画像内の目標要素領域と非目標領域をフィルタリング区分し、各フィルタリング領域を取得するためのフィルタリング領域取得モジュールと、各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得するための領域タイプ分析モジュールと、分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成する連結処理モジュールとを含む。
一実施例では、さらに、目標要素領域輪郭を処理対象画像に重畳し、所定の識別方式により処理対象画像内の目標要素領域輪郭を識別するための重畳処理モジュールとを含む。
人工知能に基づく画像処理装置に関する具体的な限定について、上記の人工知能に基づく画像処理方法に対する限定を参照することができる。上記の人工知能に基づく画像処理装置における各モジュールは全部又は一部がソフトウェア、ハードウェア及びその組み合わせによって実現されることができる。上記各モジュールはハードウェアの形態でコンピュータ装置におけるプロセッサに埋め込まれ又は独立されてもよく、ソフトウェアの形態でコンピュータ装置におけるメモリに記憶されてもよく、プロセッサが以上の各モジュールに対応する操作を呼び出して実行することに便利である。
一実施例では、コンピュータ装置が提供され、該コンピュータ装置はサーバであってもよく、その内部構造図は図23に示すとおりであってもよい。該コンピュータ装置は、システムバスによって接続されたプロセッサ、メモリ、およびネットワークインターフェースを含む。ここで、該コンピュータ装置のプロセッサは計算及び制御能力を提供するためのものである。該コンピュータ装置のメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体は、オペレーティングシステム、コンピュータ可読命令、及びデータベースを記憶する。該内部メモリは、不揮発性記憶媒体内のオペレーティングシステム及びコンピュータ可読命令の実行のための環境を提供する。該コンピュータ装置のデータベースは、データを記憶するためのものである。該コンピュータ装置のネットワークインターフェースは外部の端末とネットワークを介して接続して通信するためのものである。該コンピュータ可読命令はプロセッサによって実行されることにより、人工知能に基づく画像処理方法が実現される。
当業者であれば理解できるように、図23に示す構造は、本出願の技術案に関連する部分構造のブロック図だけであり、本出願の解決手段が適用されるコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は図に示すものより多い又は少ない部品を含み、又はいくつかの部品を組み合わせ、又は異なる部品配置を有することができる。
一実施例では、さらに、コンピュータ可読命令が格納されたメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置が提供され、該コンピュータ可読命令がプロセッサによって実行されると、一つ又は複数のプロセッサに上記の各方法実施例のステップを実行させる。
一実施例では、コンピュータ可読命令が記憶された一つ又は複数の不揮発性可読記憶媒体が提供され、コンピュータ可読命令が一つ又は複数のプロセッサによって実行されると、一つ又は複数のプロセッサに上記の各方法実施例のステップを実行させる。
一実施形態では、コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令が含まれるコンピュータプログラム製品又はコンピュータプログラムが提供される。コンピュータ装置のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ可読命令を読み取り、プロセッサは、該コンピュータ可読命令が実行されることにより、該コンピュータ装置に上述の各方法実施例のステップを実行させる。
当業者であれば上記実施例方法における全部又は一部のフローを実現するために、コンピュータプログラムによって関連するハードウェアを指令して完了することができると理解することができ、前記コンピュータプログラムは不揮発性コンピュータ可読記憶媒体に記憶されることができ、該コンピュータプログラムが実行されると、上記各方法実施例のフローが含まれることができる。ここで、本出願の提供する各実施例で使用されるメモリ、記憶、データベース又は他の媒体に対する任意の参照は、いずれも不揮発性及び揮発性メモリのうちの少なくとも一方が含まれることができる。不揮発性メモリには、リードオンリメモリ(Read-Only Memory、ROM)、磁気テープ、フレキシブルディスク、フラッシュメモリ、又は光メモリなどが含まれることができる。揮発性メモリには、ランダムアクセスメモリ(Random Access Memory、RAM)または外部キャッシュメモリが含まれることができる。限定ではなく例示として、RAMは様々な形態であってもよく、例えば静的ランダムアクセスメモリ(Static Random Access Memory、SRAM)または動的ランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)などである。
以上の実施例の各技術的特徴は任意の組み合わせが行われることができ、説明を簡潔にするために、上記実施例における各技術的特徴の全ての可能な組み合わせを説明せず、しかしながら、これらの技術的特徴の組み合わせに矛盾が存在しない限り、いずれも本明細書に記載の範囲と考えるべきである。
以上に記載の実施例は本出願のいくつかの実施形態のみが表現され、その説明はより具体的かつ詳細であるが、発明の権利範囲を限定するものと理解すべきではない。なお、当業者であれば、本出願の概念から逸脱することなく、さらにいくつかの変形及び改良を行うことができ、これらはいずれも本出願の保護範囲に属する。したがって、本出願特許の保護範囲は添付の請求項に準じる。
Claims (14)
- コンピュータ装置により実行される人工知能に基づく画像処理方法であって、
処理対象画像を取得するステップと、
前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するステップと、
人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するステップと、
検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップと、
前記要素領域と前記目標要素包絡領域を融合し、目標要素領域輪郭を取得するステップとを含むことを特徴とする方法。 - 前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するステップは、
前記処理対象画像における各画素点に対応するチャネル差分値特徴を特定するステップと、
前記各画素点に対応するチャネル差分値特徴に基づいて前記処理対象画像に対して色分割を行い、色分割画像を取得するステップと、
前記色分割画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項1に記載の方法。 - 前記処理対象画像における各画素点に対応するチャネル差分値特徴を特定するステップは、
前記処理対象画像における各画素点に対応する画素値を特定するステップと、
前記画素値により該当画素点の各色チャネル値を取得するステップと、
前記各色チャネル値の間の最大チャネル差分値を特定し、前記最大チャネル差分値によりチャネル差分値特徴を取得するステップとを含み、
前記各画素点に対応するチャネル差分値特徴に基づいて前記処理対象画像に対して色分割を行い、色分割画像を取得するステップは、前記各画素点に対応する最大チャネル差分値で、前記処理対象画像に対して画素値マッピングを行い、色分割画像を取得するステップを含むことを特徴とする請求項2に記載の方法。 - 前記色分割画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップは、
前記色分割画像に対してノイズ除去処理を行い、ノイズ除去画像を取得するステップと、
二値化分割閾値を取得するステップと、
前記二値化分割閾値と前記ノイズ除去画像における各画素点に対応する画素値により、前記ノイズ除去画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項2に記載の方法。 - 前記二値化分割閾値と前記ノイズ除去画像における各画素点に対応する画素値により、前記ノイズ除去画像に対して二値化分割を行い、前記処理対象画像内の要素領域を取得するステップは、
前記ノイズ除去画像における各画素点に対応する画素値を特定するステップと、
前記二値化分割閾値により前記ノイズ除去画像における画素点のそれぞれに対応する画素値に対して画素二値化マッピングを行い、前記ノイズ除去画像における各画素点に対応する画素マッピング結果を取得するステップと、
前記ノイズ除去画像における各画素点に対応する画素マッピング結果に基づいて前記処理対象画像内の要素領域を取得するステップとを含むことを特徴とする請求項4に記載の方法。 - 前記人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するステップは、
目標要素領域がアノテーションされた訓練画像データを用いて予め訓練された目標要素領域検出モデルをクエリするステップと、
前記目標要素領域検出モデルによって前記処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するステップと、
前記目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて前記処理対象画像内の目標要素領域を取得するステップとを含むことを特徴とする請求項1に記載の方法。 - 前記目標要素領域検出モデルによって前記処理対象画像に対して目標要素領域検出を行い、目標要素領域確率図を取得するステップは、
領域区分処理が行われた前記処理対象画像における各関心領域を取得するステップと、
前記各関心領域を前記目標要素領域検出モデルに入力して目標要素領域検出を行い、前記目標要素領域検出モデルから出力された前記各関心領域に対応する関心領域確率図を取得するステップと、
前記各関心領域確率図を繋ぎ合わせて、前記処理対象画像に対応する目標要素領域確率図を取得するステップとを含むことを特徴とする請求項6に記載の方法。 - 前記目標要素領域確率図に対して目標要素領域判定を行い、判定結果に基づいて前記処理対象画像内の目標要素領域を取得するステップは、
確率閾値を取得するステップと、
前記確率閾値と前記目標要素領域確率図における各画素点に対応する確率値により、前記目標要素領域確率図に対して確率二値化マッピングを行い、前記目標要素領域確率図における各画素点の確率マッピング結果を取得するステップと、
前記目標要素領域確率図における各画素点の確率マッピング結果により、前記処理対象画像内の目標要素領域を取得するステップとを含むことを特徴とする請求項6に記載の方法。 - 検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するステップは、
前記処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するステップと、
前記目標要素連結領域内にある非目標要素領域を除去し、更新された目標要素連結領域を取得するステップと、
更新された目標要素連結領域に対して形態学的拡張を行い、目標要素包絡領域を取得するステップとを含むことを特徴とする請求項1から8のいずれか一項に記載の方法。 - 前記処理対象画像内の目標要素領域に対して領域連結を行い、目標要素連結領域を生成するステップは、
前記処理対象画像内の目標要素領域と非目標領域をフィルタリング区分し、各フィルタリング領域を取得するステップと、
前記各フィルタリング領域における画素点の画素値により領域タイプ分析を行い、分析結果を取得するステップと、
分析結果が連結領域タイプであるフィルタリング領域を連結し、目標要素連結領域を生成するステップとを含むことを特徴とする請求項9に記載の方法。 - 当該方法はさらに、前記目標要素領域輪郭を前記処理対象画像に重畳し、所定の識別方式により前記処理対象画像内の前記目標要素領域輪郭を識別するステップを含むことを特徴とする請求項1から10のいずれか一項に記載の方法。
- 人工知能に基づく画像処理装置であって、
処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像に対して要素領域検出を行うことにより、前記処理対象画像内の要素領域を特定するための要素領域検出モジュールと、
人工知能に基づく目標要素領域検出方式を採用し、前記処理対象画像内の目標要素領域を検出するための目標要素領域検出モジュールと、
検出された前記目標要素領域に対して包絡を探し、目標要素包絡領域を生成するための包絡生成モジュールと、
前記要素領域と前記目標要素包絡領域を融合し、目標要素領域輪郭を取得するための領域融合モジュールとを含むことを特徴とする装置。 - コンピュータ可読命令が格納されているメモリと、一つ又は複数のプロセッサとを含むコンピュータ装置であって、
前記コンピュータ可読命令が前記プロセッサによって実行されると、前記一つ又は複数のプロセッサに、請求項1から11のいずれか一項に記載の方法のステップを実行させることを特徴とするコンピュータ装置。 - プロセッサによって実行されると、請求項1から11のいずれか一項に記載の方法のステップを前記プロセッサに実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011202281.0A CN112330688A (zh) | 2020-11-02 | 2020-11-02 | 基于人工智能的图像处理方法、装置和计算机设备 |
CN202011202281.0 | 2020-11-02 | ||
PCT/CN2021/124384 WO2022089236A1 (zh) | 2020-11-02 | 2021-10-18 | 基于人工智能的图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023544967A JP2023544967A (ja) | 2023-10-26 |
JP7412636B2 true JP7412636B2 (ja) | 2024-01-12 |
Family
ID=74324041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023513664A Active JP7412636B2 (ja) | 2020-11-02 | 2021-10-18 | 人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230023585A1 (ja) |
EP (1) | EP4198889A4 (ja) |
JP (1) | JP7412636B2 (ja) |
CN (1) | CN112330688A (ja) |
WO (1) | WO2022089236A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458830B (zh) * | 2019-03-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN112330688A (zh) * | 2020-11-02 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像处理方法、装置和计算机设备 |
CN112950700B (zh) * | 2021-02-25 | 2022-10-04 | 安徽农业大学 | 基于深度学习和图像处理的植物叶片气孔导度测量方法 |
CN113724276B (zh) * | 2021-08-04 | 2024-05-28 | 香港中文大学(深圳) | 一种息肉图像的分割方法和装置 |
CN113744126B (zh) * | 2021-08-06 | 2024-09-06 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
CN115272362A (zh) * | 2022-06-22 | 2022-11-01 | 杭州迪英加科技有限公司 | 一种数字病理全场图像有效区域分割方法、装置 |
CN115170974B (zh) * | 2022-09-08 | 2022-12-20 | 深圳市勘察研究院有限公司 | 基于ai智能检测溶洞连通性的方法及装置 |
CN115690130B (zh) * | 2022-12-30 | 2023-06-27 | 杭州咏柳科技有限公司 | 一种图像处理方法和装置 |
CN115797494B (zh) * | 2023-02-06 | 2023-05-23 | 武汉精臣智慧标识科技有限公司 | 图片二值化处理方法、装置、电子设备及存储介质 |
CN116152248B (zh) * | 2023-04-20 | 2023-06-30 | 中科慧远视觉技术(北京)有限公司 | 外观缺陷的检测方法及装置、存储介质、计算机设备 |
CN116503804B (zh) * | 2023-04-28 | 2023-11-10 | 东莞理工学院 | 基于图像处理的粗集料形态特征获取方法和系统 |
CN116342592B (zh) * | 2023-05-25 | 2023-07-25 | 山东沐泽中药饮片有限公司 | 用于蟾酥加工的蟾蜍腺体浆液烘干监测方法 |
CN116664550B (zh) * | 2023-07-10 | 2024-04-12 | 广州医科大学附属第一医院(广州呼吸中心) | 肺癌组织免疫组化pd-l1病理切片的智能识别方法及装置 |
CN117153277B (zh) * | 2023-07-11 | 2024-06-14 | 湖北星火(应城)化工有限公司 | 一种甲基磺酰氯生产过程中的反应状态识别方法 |
CN116630325B (zh) * | 2023-07-25 | 2023-10-13 | 苏州赫芯科技有限公司 | 基于电路板的uv胶检测方法、设备和存储介质 |
CN117197006B (zh) * | 2023-09-27 | 2024-05-10 | 上海世禹精密设备股份有限公司 | 区域过滤方法、装置、电子设备及计算机可读存储介质 |
CN117173185B (zh) * | 2023-11-03 | 2024-01-19 | 东北大学 | 轧制板材的区域检测方法及装置、存储介质、计算机设备 |
CN117333586A (zh) * | 2023-11-30 | 2024-01-02 | 浙江口碑网络技术有限公司 | 一种图像处理方法及装置、存储介质和电子设备 |
CN117422716B (zh) * | 2023-12-19 | 2024-03-08 | 沂水友邦养殖服务有限公司 | 基于人工智能的肉鸡养殖生态预警方法及系统 |
CN117474902B (zh) * | 2023-12-25 | 2024-03-12 | 山东明佳科技有限公司 | 一种桶面料包的缺包检测方法、系统、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003520658A (ja) | 2000-01-27 | 2003-07-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 脊柱の幾何学的データを抽出する方法及びシステム |
US9779504B1 (en) | 2011-12-14 | 2017-10-03 | Atti International Services Company, Inc. | Method and system for identifying anomalies in medical images especially those including one of a pair of symmetric body parts |
WO2019235298A1 (ja) | 2018-06-07 | 2019-12-12 | 富士フイルム株式会社 | 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム |
CN111047572A (zh) | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
JP2012181743A (ja) * | 2011-03-02 | 2012-09-20 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
CN108898610B (zh) * | 2018-07-20 | 2020-11-20 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN110909756A (zh) * | 2018-09-18 | 2020-03-24 | 苏宁 | 用于医学图像识别的卷积神经网络模型训练方法和装置 |
CN111582004A (zh) * | 2019-02-15 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 一种地面图像中的目标区域分割方法及装置 |
CN110059685B (zh) * | 2019-04-26 | 2022-10-21 | 腾讯科技(深圳)有限公司 | 文字区域检测方法、装置及存储介质 |
CN110118775B (zh) * | 2019-05-10 | 2021-11-19 | 重庆交通大学 | 厂拌水泥稳定碎石骨料组成快速检测方法 |
CN110544258B (zh) * | 2019-08-30 | 2021-05-25 | 北京海益同展信息科技有限公司 | 图像分割的方法、装置、电子设备和存储介质 |
CN112330688A (zh) * | 2020-11-02 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像处理方法、装置和计算机设备 |
-
2020
- 2020-11-02 CN CN202011202281.0A patent/CN112330688A/zh active Pending
-
2021
- 2021-10-18 EP EP21884964.4A patent/EP4198889A4/en active Pending
- 2021-10-18 JP JP2023513664A patent/JP7412636B2/ja active Active
- 2021-10-18 WO PCT/CN2021/124384 patent/WO2022089236A1/zh unknown
-
2022
- 2022-10-05 US US17/960,804 patent/US20230023585A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003520658A (ja) | 2000-01-27 | 2003-07-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 脊柱の幾何学的データを抽出する方法及びシステム |
US9779504B1 (en) | 2011-12-14 | 2017-10-03 | Atti International Services Company, Inc. | Method and system for identifying anomalies in medical images especially those including one of a pair of symmetric body parts |
WO2019235298A1 (ja) | 2018-06-07 | 2019-12-12 | 富士フイルム株式会社 | 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム |
CN111047572A (zh) | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022089236A1 (zh) | 2022-05-05 |
JP2023544967A (ja) | 2023-10-26 |
EP4198889A4 (en) | 2024-02-07 |
US20230023585A1 (en) | 2023-01-26 |
CN112330688A (zh) | 2021-02-05 |
EP4198889A1 (en) | 2023-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7412636B2 (ja) | 人工知能に基づく画像処理方法、装置、コンピュータ装置及びコンピュータプログラム | |
CN108010021B (zh) | 一种医学图像处理系统和方法 | |
CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
JP7525496B2 (ja) | 組織画像の人工知能セグメンテーション | |
CN113034426B (zh) | 超声图像病灶描述方法、装置、计算机设备和存储介质 | |
Oskal et al. | A U-net based approach to epidermal tissue segmentation in whole slide histopathological images | |
Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
Nawaz et al. | Melanoma segmentation: A framework of improved DenseNet77 and UNET convolutional neural network | |
AU2015307296B2 (en) | Method and device for analysing an image | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
CN109523526A (zh) | 组织结节检测及其模型训练方法、装置、设备和系统 | |
Zhang et al. | Automatic kidney lesion detection for CT images using morphological cascade convolutional neural networks | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
Waleed et al. | Automatic recognition of fish diseases in fish farms | |
CN112419295B (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
Ghazal et al. | Automated framework for accurate segmentation of leaf images for plant health assessment | |
KR102332032B1 (ko) | 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법 | |
Zhao et al. | Automatic blur region segmentation approach using image matting | |
WO2021076605A1 (en) | Weakly supervised multi-task learning for cell detection and segmentation | |
JP7499364B2 (ja) | マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体 | |
Barbed et al. | Superpoint features in endoscopy | |
CN113920433A (zh) | 物体表面材质的分析方法和装置 | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
Tudela et al. | Towards Fine-Grained Polyp Segmentation and Classification | |
Khryashchev et al. | Histological Images Segmentation by Convolutional Neural Network with Morphological Post-filtration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7412636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |