TW202133043A - 圖像識別方法、識別模型的訓練方法、設備 - Google Patents

圖像識別方法、識別模型的訓練方法、設備 Download PDF

Info

Publication number
TW202133043A
TW202133043A TW110101018A TW110101018A TW202133043A TW 202133043 A TW202133043 A TW 202133043A TW 110101018 A TW110101018 A TW 110101018A TW 110101018 A TW110101018 A TW 110101018A TW 202133043 A TW202133043 A TW 202133043A
Authority
TW
Taiwan
Prior art keywords
image
detection
model
target cell
classification
Prior art date
Application number
TW110101018A
Other languages
English (en)
Other versions
TWI767506B (zh
Inventor
楊爽
李嘉輝
黃曉迪
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202133043A publication Critical patent/TW202133043A/zh
Application granted granted Critical
Publication of TWI767506B publication Critical patent/TWI767506B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例提供一種圖像識別方法、識別模型的訓練方法及相關裝置、設備，其中，圖像識別方法包括：獲取待識別病理圖像；採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域；利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。

Description

圖像識別方法、識別模型的訓練方法、設備
本發明關於人工智慧技術領域，特別是關於一種圖像識別方法、識別模型的訓練方法、設備。
隨著神經網路、深度學習等人工智慧技術的發展，對神經網路模型進行訓練，並利用經訓練的神經網路模型滿足醫學領域中的相關業務需求，逐漸受到人們的青睞。
在相關業務需求中，由於國內細胞病理醫生嚴重匱乏，故利用人工智慧技術對病理圖像進行輔助識別，以篩查其中諸如病變細胞等目標細胞，在當前細胞病理醫療資源匱乏的情況下，具有重要意義。有鑑於此，如何準確、高效地識別病理圖像中的目標細胞成為亟待解決的問題。
本發明實施例提供一種圖像識別方法、識別模型的訓練方法、設備。
本發明實施例提供一種圖像識別方法，包括：獲取待識別病理圖像；採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域；利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。
因此，通過採用識別模型中的檢測子模型對獲取到的待識別病理圖像進行目標檢測，從而得到待識別病理圖像中包含目標細胞的檢測區域，再利用識別模型中的分析子模型對檢測區域檢修第一分類處理，得到目標細胞的類別，進而能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠準確、高效地識別病理圖像中的目標細胞。
在本發明的一些實施例中，採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域包括：利用檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，其中，圖像分類結果用於表示待識別病理圖像中是否包含目標細胞；若圖像分類結果表示待識別病理圖像中包含目標細胞，則利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域。
因此，通過檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，且圖像分類結果用於表示待識別病理圖像中是否包含目標細胞，當圖像分類結果表示待識別病理圖像中包含目標細胞時，再利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域，故能夠實現目標細胞的動態檢測，提高目標細胞識別的效率。
在本發明的一些實施例中，在利用檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果之後，還包括：若圖像分類結果表示待識別病理圖像中不包含目標細胞，則第一部分輸出待識別病理圖像中不包含目標細胞的檢測結果提示。
因此，當圖像分類結果表示待識別病理圖像中不包含目標細胞時，第一部分輸出待識別病理圖像中不包含目標細胞的檢測結果提示，故能夠實現目標細胞的動態檢測，提高目標細胞識別的效率。
在本發明的一些實施例中，採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域還包括：利用檢測子模型的第三部分對待識別病理圖像進行特徵提取，得到待識別病理圖像的圖像特徵。
因此，通過檢測子模型的第三部分對待識別病理圖像進行特徵提取，得到待識別病理圖像的圖像特徵，從而能夠先對待識別病理圖像進行，進而後續在此基礎上再利用檢測子模型進行其他處理，故能夠有利於提高模型的運行效率。
在本發明的一些實施例中，利用檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，包括：利用檢測子模型的第一部分對圖像特徵進行第二分類處理，得到待識別病理圖像的圖像分類結果。
因此，利用檢測子模型的第一部分對第三部分提取得到的圖像特徵進行第二分類處理，得到待識別病理圖像的圖像分類結果，能夠提高分類處理的準確性。
在本發明的一些實施例中，利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域，包括：利用檢測子模型的第二部分對圖像特徵進行區域檢測，得到包含目標細胞的檢測區域。
因此，利用檢測子模型的第二部分對圖像特徵進行區域檢測，得到包含目標細胞的檢測區域，能夠有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，第一部分為全域分類網路，第二部分為圖像檢測網路，第三部分為特徵提取網路；其中，特徵提取網路包括可變形卷積層、全域資訊增強模組中的至少一者。
因此，通過將特徵提取網路設置為包括可變形卷積層，能夠提高對多形態的目標細胞進行識別的準確性，通過將特徵提取網路設置為包括全域資訊增強模組中的至少一者，能夠有利於獲取長距離的、具有依賴關係的特徵，有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別，包括：利用分類子模型對待識別病理圖像的檢測區域進行特徵提取，得到檢測區域的圖像特徵；對檢測區域的圖像特徵進行第一分類處理，得到目標細胞的類別。
因此，通過對待識別病理圖像的檢測區域進行特徵提取，得到檢測區域的圖像特徵，並對檢測區域的圖像特徵進行第一分類處理，得到目標細胞的類別，能夠有利於提高分類處理的效率。
在本發明的一些實施例中，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度。
因此，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，能夠有利於識別單個病變細胞和病變細胞團簇，且目標細胞的類別用於表示目標細胞的病變程度，有利於實現目標細胞的病變分級。
本發明實施例提供一種識別模型的訓練方法，識別模型包括檢測子模型和分類子模型，訓練方法包括：獲取第一樣本圖像和第二樣本圖像，其中，第一樣本圖像中標注有與目標細胞對應的實際區域，第二樣本圖像中標注有目標細胞的實際類別；利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域，並利用分類子模型對第二樣本圖像進行第一分類處理，得到目標細胞的預測類別；基於實際區域與預測區域，確定檢測子模型的第一損失值，並基於實際類別與預測類別，確定分類子模型的第二損失值；利用第一損失值和第二損失值，對應調整檢測子模型和分類子模型的參數。
因此，在訓練過程中，能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠解決樣本資料類別不平衡的問題，進而能夠有利於提高訓練得到的模型的準確性，從而能夠有利於提高目標細胞識別的準確性和效率。
在本發明的一些實施例中，利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域包括：對第一樣本圖像進行第二分類處理，得到第一樣本圖像的圖像分類結果，其中，圖像分類結果用於表示第一樣本圖像中是否包含目標細胞；若圖像分類結果表示第一樣本圖像中包含目標細胞，則對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域。
因此，在訓練過程中，當圖像分類結果表示第一樣本圖像中包含目標細胞時，再對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域，能夠增強模型識別正負樣本的能力，降低誤檢概率，有利於提高訓練得到的模型的準確性，從而能夠有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，在利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域，並利用分類子模型對第二樣本圖像進行第一分類處理，得到目標細胞的預測類別之前，方法還包括：對第一樣本圖像和第二樣本圖像進行資料增強；和/或，將第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理；目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度。
因此，通過對第一樣本圖像和第二樣本圖像進行資料增強能夠提高樣本多樣性，有利於避免過擬合，提高模型的泛化性能；通過將第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理，能夠有利於提高模型的收斂速度；目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度，能夠有利於識別單個病變細胞和病變細胞團簇，且目標細胞的類別用於表示目標細胞的病變程度，有利於實現目標細胞的病變分級。
本發明實施例提供一種圖像識別裝置，包括：圖像獲取模組、圖像檢測模組和圖像分類別模組，圖像獲取模組配置為獲取待識別病理圖像；圖像檢測模組配置為採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域；圖像分類別模組配置為利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。
本發明實施例提供一種識別模型的訓練裝置，識別模型包括檢測子模型和分類子模型，識別模型的訓練裝置包括：圖像獲取模組、模型執行模組、損失確定模組、參數調整模組，圖像獲取模組配置為獲取第一樣本圖像和第二樣本圖像，其中，第一樣本圖像中標注有與目標細胞對應的實際區域，第二樣本圖像中標注有目標細胞的實際類別；模型執行模組配置為利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域，並利用分類子模型對第二樣本圖像進行第一分類處理，得到目標細胞的預測類別；損失確定模組配置為基於實際區域與預測區域，確定檢測子模型的第一損失值，並基於實際類別與預測類別，確定分類子模型的第二損失值；參數調整模組配置為利用第一損失值和第二損失值，對應調整檢測子模型和分類子模型的參數。
本發明實施例提供一種電子設備，包括相互耦接的記憶體和處理器，處理器配置為執行記憶體中儲存的程式指令，以實現上述一個或多個實施例中的圖像識別方法，或實現上述一個或多個實施例中的識別模型的訓練方法。
本發明實施例提供一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行時實現上述一個或多個實施例中的圖像識別方法，或實現上述一個或多個實施例中的識別模型的訓練方法。
本發明實施例提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述一個或多個實施例中的圖像識別方法，或上述一個或多個實施例中的識別模型的訓練方法。
上述方案，通過採用識別模型中的檢測子模型對獲取到的待識別病理圖像進行目標檢測，從而得到待識別病理圖像中包含目標細胞的檢測區域，再利用識別模型中的分析子模型對檢測區域檢修第一分類處理，得到目標細胞的類別，進而能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠準確、高效地識別病理圖像中的目標細胞。
以下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明實施例。
本文中術語“系統”和“網路”在本文中常被可互換使用。本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯物件是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。
請參閱圖1，圖1是本發明實施例提供的一種圖像識別方法的流程示意圖。具體而言，可以包括如下步驟。
步驟S11：獲取待識別病理圖像。
待識別病理圖像可以包括但不限於：宮頸病理圖像、肝臟病理圖像、腎臟病理圖像，在此不做限定。
步驟S12：採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域。
識別模型包括檢測子模型，在一個具體的實施場景中，檢測子模型可以採用Faster RCNN（Region with Convolutional Neural Networks）網路模型。在另一個具體的實施場景中，檢測子模型還可以採用Fast RCNN、YOLO（You Only Look Once）等等，在此不做限定。
利用檢測子模型對待識別病理圖像進行檢測，得到待識別病理圖像中包含目標細胞的檢測區域，例如，對宮頸病理圖像進行檢測，得到宮頸病理細胞中包含鱗狀上皮細胞的檢測區域；或者，對肝臟病理圖像進行檢測，得到肝臟病理圖像中包含病變細胞的檢測區域，當待識別病理圖像為其他圖像時，可以以此類推，在此不再一一舉例。在一個實施場景中，檢測區域具體可以採用一包含目標細胞的矩形的中心座標以及矩形的長寬表示，例如，可以採用（50,60,10,20）表示一位於待識別病理圖像中以圖元座標（50,60）為中心，長為10且寬為20的矩形，此外，還可以以一包含目標細胞的矩形的中心座標以及矩形的長寬分別與一預設矩形的比值進行表示，例如，預設矩形可以為一個長為10且寬為20的矩形，則可以採用（50,60,1,1）表示一位於待識別病理圖像中以圖元座標（50,60）為中心，長為10且寬為20的矩形，在此不做限定。
在本發明的一些實施例中，待識別病理圖像還可能為一不包含目標細胞的圖像，此時採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，由於未得到檢測區域，可以輸出待識別病理圖像不包含目標細胞的提示，從而免去後續分類處理的步驟，提高模型運行效率。例如，可以直接輸出宮頸病理圖像不包含鱗狀上皮細胞的提示，其他病理圖像可以以此類推，在此不再一一舉例。
在本發明的一些實施例中，請結合參閱圖2，圖2是本發明實施例提供的一種圖像識別方法的狀態示意圖。如圖2所示，待識別病理圖像為宮頸病理圖像，待識別病理圖像通過識別模型中的檢測子模型進行目標檢測，得到包含目標細胞的兩個檢測區域。
步驟S13：利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。
識別模型還可以包括分類子模型，在一個具體的實施場景中，分類子模型可以採用EfficientNet網路模型。在另一個具體的實施場景中，分類子模型還可以採用ResNet、MobileNet等等，在此不做限定。
利用識別模型中的分類子模型對檢測區域進行分類處理，能夠得目標細胞的類別，具體地，為了提高分類效率，可以利用分類子模型對待識別病理圖像的檢測區域進行特徵提取，得到檢測區域的圖像特徵，從而對檢測區域的圖像特徵進行第一分類處理，得到目標細胞的類別。例如，可以對檢測區域的圖像特徵進行池化處理、全連接處理，從而得到目標細胞的類別，在此不再贅述。
在本發明的一些實施例中，為了實現對目標細胞進行病變分級，目標細胞的類別可以表示目標細胞的病變程度。以待識別病變圖像為宮頸病理圖像為例，目標細胞具體可以包括但不限於如下類別：高度鱗狀細胞上皮內瘤變（High-grade Squamous Intraepithelial Lesion，HSIL）、輕度鱗狀細胞上皮內瘤變（Low-grade Squamous Intraepithelial Lesion，LSIL）、意義未明的非典型鱗狀細胞（Atypical Squamous Cells of Undetermined Significance，ASC-US）、不能排除高度上皮內瘤變的非典型鱗狀細胞（Atypical Squamous Cells-cannot exclude HSIL，ASC-H）。當待識別病理圖像為其他病理圖像時，可以以此類推，在此不再一一舉例。在一個實施場景中，目標細胞可以包括單個病變細胞、病變細胞團簇中的任一者，從而能夠實現對單個病變細胞或病變細胞團簇進行識別。
在本發明的一些實施例中，請繼續結合參閱圖2，分類子模型分別對檢測子模型檢測得到的兩個檢測區域進行分類處理，得到兩個檢測區域中所包含的目標細胞的類別：其中一個檢測區域中的目標細胞為高度鱗狀細胞上皮內瘤變（HSIL），另一個檢測區域中的目標細胞為不能排除高度上皮內瘤變的非典型鱗狀細胞（ASC-H）。
在本發明的一些實施例中，分類子模型還可以對檢測區域進行第一分類處理，得到目標細胞的類別及其置信度，其中，置信度表示目標細胞的真實類別為模型預測得到的類別的可信度，置信度越高，可信度越高。請繼續結合參閱圖2，分類子模型分別對檢測區域進行分類處理，得到目標細胞的類別及其置信度，其中一個檢測區域中的目標細胞為高度鱗狀細胞上皮內瘤變（HSIL），且其置信度為0.97（即97%的可信度），另一個檢測區域中的目標細胞為不能排除高度上皮內瘤變的非典型鱗狀細胞（ASC-H），且其置信度為0.98（即98%的可信度）。
上述方案，通過採用識別模型中的檢測子模型對獲取到的待識別病理圖像進行目標檢測，從而得到待識別病理圖像中包含目標細胞的檢測區域，再利用識別模型中的分析子模型對檢測區域檢修第一分類處理，得到目標細胞的類別，進而能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠準確、高效地識別病理圖像中的目標細胞。
請參閱圖3，圖3是本發明實施例提供的一種圖像識別方法的流程示意圖。具體而言，可以包括如下步驟。
步驟S31：獲取待識別病理圖像。
具體請參閱前述實施例中的相關步驟。
步驟S32：利用檢測子模型的第一部分對待識別病理圖像進行分類處理，得到待識別病理圖像的圖像分類結果。
其中，圖像分類結果用於表示待識別病理圖像中是否包含目標細胞，具體地，可以採用“0”表示待識別病理圖像中不包含目標細胞，採用“1”表示待識別病理圖像中包含目標細胞，在此不做限定。
在本發明的一些實施例中，檢測子模型的第一部分為全域分類網路，全域分類網路為一包括神經元的神經網路模型，不同於前述實施例中的分類子模型，全域分類網路用於對待識別病理圖像進行二分類處理，得到待識別病理圖像是否包含目標細胞的圖像分類結果。在一個具體的實施場景中，為了與分類子模型的分類處理加以區別，檢測子模型的第一部分的分類處理可以稱為第二分類處理，在此不做限定。
步驟S33：判斷圖像分類結果是否表示待識別病理圖像中包含目標細胞，若是，則執行步驟S34，否則執行S36。
通過圖像分類結果，判斷待識別病理圖像中是否包含目標細胞，若包含目標細胞，則可以對待識別病理圖像進行下一步處理，反之，則不需要對其進行下一步處理，從而將是否包含目標細胞的分類處理與具體檢測目標細胞的檢測區域進行分離，從而能夠進一步提高模型的運行效率，進而提高圖像中目標細胞識別的效率。
步驟S34：利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域。
在本發明的一些實施例中，檢測子模型的第二部分為圖像檢測網路，圖像檢測網路為一包括神經元的神經網路模型，以檢測子模型採用Faster RCNN為例，第二部分可以為RPN（Region Proposal Networks）網路，當檢測子模型為其他網路模型時，可以以此類推，在此不再一一舉例。
在本發明的一些實施例中，請結合參閱圖2，圖2是本發明實施例提供的一種圖像識別方法的狀態示意圖。如圖2所示，待識別病理圖像為宮頸病理圖像，待識別病理圖像通過識別模型中的檢測子模型進行目標檢測，得到包含目標細胞的兩個檢測區域。
在本發明的一些實施例中，為了提高目標細胞識別的準確性。還可以利用檢測子模型的第三部分對待識別病理圖像進行特徵提取，得到待識別病理圖像的圖像特徵，具體地，第三部分可以為特徵提取網路，在本發明的一些實施例中，特徵提取網路可以是ResNet101網路，或者，特徵提取網路還可以是ResNet50網路等，在此不做限定。在本發明的一些實施例中，為了提高對多形態的目標細胞進行識別的準確性，特徵提取網路可以包括可變形卷積層（deformable convolution），可變形卷積基於對空間採用的位置資訊，作進一步位移調整，以實現對不同形態細胞的特徵提取。在本發明的一些實施例中，為了獲取長距離的、具有依賴關係的特徵，從而提高目標細胞識別的準確性，特徵提取網路還可以包括全域資訊增強模組。請結合參閱圖4，圖4是本發明實施例提供的一種圖像識別方法的狀態示意圖，在對待識別病理圖像進行特徵提取之後，可以採用檢測子模型的第一部分對圖像特徵進行分類處理，得到待識別病理圖像的圖像分類結果，並在圖像分類結果表示待識別病理圖像中包含目標細胞時（即圖像分類結果為陽性時），採用檢測子模型的第二部分對圖像特徵進行區域檢測，得到包含目標細胞的檢測區域，以進行後續的分類處理，具體可以參考本實施例中的相關步驟，在此不再贅述。
步驟S35：利用識別模型中的分類子模型對檢測區域進行分類處理，得到目標細胞的類別。
具體請參閱前述實施例中的相關步驟。
在本發明的一些實施例中，請結合參閱圖2，圖2是本發明實施例提供的一種圖像識別方法的狀態示意圖。如圖2所示，待識別病理圖像為宮頸病理圖像，待識別病理圖像通過識別模型中的檢測子模型進行目標檢測，得到包含目標細胞的兩個檢測區域。
步驟S36：第一部分輸出待識別病理圖像中不包含目標細胞的檢測結果提示。
當圖像檢測結果表示待識別病理圖像中不包含目標細胞時（即圖像分類結果為陰性時），則可以無需進行下一步處理，從而可以直接輸出待識別病理圖像中不包含目標細胞的檢測結果提示（即結果為陰性的提示），以提高模型的運行效率，從而提高圖像中目標細胞識別的效率。
區別於前述實施例，通過檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，且圖像分類結果用於表示待識別病理圖像中是否包含目標細胞，當圖像分類結果表示待識別病理圖像中包含目標細胞時，再利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域，故能夠實現目標細胞的動態檢測，提高目標細胞識別的效率。
請參閱圖5，圖5是本發明實施例提供的一種識別模型的訓練方法的流程示意圖，本發明實施例中，識別模型具體可以包括檢測子模型和分類子模型，具體而言可以包括如下步驟。
步驟S51：獲取第一樣本圖像和第二樣本圖像。
本發明實施例中，第一樣本圖像中標注有與目標細胞對應的實際區域，實際區域可以採用一包含目標細胞的矩形的中心座標以及矩形的長寬表示，例如，可以採用（50,60,10,20）表示一位於第一樣本圖像中以圖元點（50,60）為中心，長為10且寬為20的矩形。第二樣本圖像中標注有目標細胞的實際類別，在本發明的一些實施例中，目標細胞的實際類別用於表示目標細胞的病變程度。以第二樣本圖像為宮頸病理圖像為例，目標細胞具體可以包括但不限於如下類別：高度鱗狀細胞上皮內瘤變（HSIL）、輕度鱗狀細胞上皮內瘤變（LSIL）、意義未明的非典型鱗狀細胞（ASC-US）、不能排除高度上皮內瘤變的非典型鱗狀細胞（ASC-H）。當待識別病理圖像為其他病理圖像時，可以以此類推，在此不再一一舉例。在本發明的一些實施例中，目標細胞可以包括單個病變細胞、病變細胞團簇中的任一者，從而能夠實現對單個病變細胞或病變細胞團簇進行識別。
在本發明的一些實施例中，第一樣本圖像和第二樣本圖像為病理圖像，例如可以包括但不限於：宮頸病理圖像、肝臟病理圖像、腎臟病理圖像。以第一樣本圖像和第二樣本圖像為宮頸病理圖像為例，目標細胞可以為鱗狀上皮細胞。當第一樣本圖像和第二樣本圖像為其他病理圖像時，可以以此類推，在此不再一一舉例。
在本發明的一些實施例中，還可以對獲取到的地樣本圖像和第二樣本圖像進行資料增強，從而提高樣本多樣性，有利於避免過擬合，提高模型的泛化性能。在一個具體的實施場景中，可以採用包括但不限於如下操作進行資料增強：隨機切割、隨機旋轉、隨機翻轉、顏色擾動、伽馬校正、高斯雜訊。
在本發明的一些實施例中，還可以將第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理，從而提高模型的收斂速度。在本發明的一些實施例中，可以先統計所有第一樣本圖像圖元值的第一均值和第一方差，再利用每個第一樣本圖像中的圖元值減去第一均值，再除以第一方差，從而對每一第一樣本圖像進行歸一化處理；並可以統計所有第二樣本圖像的圖元值的第二均值和第二方差，再利用每個第二樣本圖像的圖元值減去第二均值，再除以第二方差，從而對每一第二仰恩圖像進行歸一化處理。
步驟S52：利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域，並利用分類子模型對第二樣本圖像進行第一分類處理，得到目標細胞的預測類別。
檢測子模型可以採用Faster RCNN，具體可以參考前述實施例中的相關步驟，在此不再贅述。預測區域可以採用一矩形的中心座標以及矩形的長寬表示，例如，可以採用（70,80,10,20）表示一位於第一樣本圖像中以圖元點（70,80）為中心，長為10且寬為20的預測區域，預測區域還可以採用一矩形的中心座標以及矩形的長寬分別與預設矩形的長寬的比值表示，例如，可以設置一預設矩形，預設矩形的長度為10且寬度為20，則可以採用（70,80,1,1）表示一位於第一樣本圖像中以（70,80）為圖像中心，長為10且寬為20的預測區域。分類子模型可以採用EfficientNet網路模型，具體可以參考前述實施例中的相關步驟，在此不再贅述。
在本發明的一些實施例中，為了提高模型識別正負樣本的能力，並實現動態預測，以提高模型運行效率，在利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域過程中，還可以對第一樣本圖像進行第二分類處理，得到第一樣本圖像的圖像分類結果，其中，圖像分類結果用於表示第一樣本圖像中是否包含目標細胞，若圖像分類結果表示第一樣本圖像中包含目標細胞，則對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域，具體可以參考前述實施例中的相關步驟，在此不再贅述。此外，檢測子模型還可以包括第一部分和第二部分，第一部分配置為對第一樣本圖像進行分類處理，得到第一樣本圖像是否包含目標細胞的圖像分類結果，第二部分配置為當第一樣本圖像中包含目標細胞時，對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域，具體可以參考前述實施例中的相關步驟，在此不再贅述。此外，檢測子模型還可以包括第三部分，配置為對第一樣本圖像進行特徵提取，得到第一樣本圖像的圖像特徵，從而第一部分對圖像特徵進行特徵提取，得到第一樣本圖像的圖像分類結果，第二部分對圖像特徵進行區域檢測，得到包含目標細胞的預測區域。具體地，第一部分可以為全域分類網路，第二部分為圖像檢測網路，第三部分為特徵提取網路，其中，特徵提取網路包括可變形卷積層、全域資訊增強模組中的至少一者，具體可以參考前述實施例中的相關步驟，在此不再贅述。
步驟S53：基於實際區域與預測區域，確定檢測子模型的第一損失值，並基於實際類別與預測類別，確定分類子模型的第二損失值。
在本發明的一些實施例中，可以採用均方誤差損失函數、交叉熵損失函數等確定檢測子模型的第一損失值。在本發明的一些實施例中，可以採用交叉熵損失函數確定分類子模型的第二損失值，在此不再贅述。
步驟S54：利用第一損失值和第二損失值，對應調整檢測子模型和分類子模型的參數。
具體地，可以採用隨機梯度下降、指數平均加權、Adam等梯度下降優化方法，對檢測子模型和分類子模型的參數進行調整，在此不再贅述。
此外，還可以將第一樣本圖像和第二樣本圖像分為多個小批次（batch），並採用小批次（mini-batch）的訓練方式對檢測子模型和分類子模型進行訓練。在本發明的一些實施例中，還可以設置一訓練結束條件，當滿足訓練結束條件時，可以結束訓練。具體地，訓練結束條件可以包括但不限於：訓練的反覆運算次數大於或等於預設閾值（例如，100次、500次等）；第一損失值和第二損失值小於一預設損失閾值，且不再減小；分別利用一驗證資料集對檢測子模型和分類子模型進行驗證所得到的模型性能不再提高，在此不做限定。
上述方案，在訓練過程中，能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠解決樣本資料類別不平衡的問題，進而能夠有利於提高訓練得到的模型的準確性，從而能夠有利於提高目標細胞識別的準確性和效率。
請參閱圖6，圖6是本發明實施例提供的一種圖像識別裝置60的結構框架示意圖。圖像識別裝置60包括圖像獲取模組61、圖像檢測模組62和圖像分類別模組63，圖像獲取模組61配置為獲取待識別病理圖像；圖像檢測模組62配置為採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域；圖像分類別模組63配置為利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。
上述方案，通過採用識別模型中的檢測子模型對獲取到的待識別病理圖像進行目標檢測，從而得到待識別病理圖像中包含目標細胞的檢測區域，再利用識別模型中的分析子模型對檢測區域檢修第一分類處理，得到目標細胞的類別，進而能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠準確、高效地識別病理圖像中的目標細胞。
在本發明的一些實施例中，圖像檢測模組62包括第一部分子模組，配置為利用檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，其中，圖像分類結果用於表示待識別病理圖像中是否包含目標細胞，圖像檢測模組62還包括第二部分子模組，配置為在圖像分類結果表示待識別病理圖像中包含目標細胞時，利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域。
區別於前述實施例，通過檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果，且圖像分類結果配置為表示待識別病理圖像中是否包含目標細胞，當圖像分類結果表示待識別病理圖像中包含目標細胞時，再利用檢測子模型的第二部分對待識別病理圖像進行區域檢測，得到包含目標細胞的檢測區域，故能夠實現目標細胞的動態檢測，提高目標細胞識別的效率。
在本發明的一些實施例中，圖像檢測模組62還包括結果提示子模組，配置為在圖像分類結果表示待識別病理圖像中不包含目標細胞時，第一部分輸出待識別病理圖像中不包含目標細胞的檢測結果提示。
區別於前述實施例，在利用檢測子模型的第一部分對待識別病理圖像進行第二分類處理，得到待識別病理圖像的圖像分類結果之後，還包括：若圖像分類結果表示待識別病理圖像中不包含目標細胞，則第一部分輸出待識別病理圖像中不包含目標細胞的檢測結果提示。
在本發明的一些實施例中，圖像檢測模組62還包括第三部分子模組，配置為利用檢測子模型的第三部分對待識別病理圖像進行特徵提取，得到待識別病理圖像的圖像特徵。
區別於前述實施例，通過檢測子模型的第三部分對待識別病理圖像進行特徵提取，得到待識別病理圖像的圖像特徵，從而能夠先對待識別病理圖像進行，進而後續在此基礎上再利用檢測子模型進行其他處理，故能夠有利於提高模型的運行效率。
在本發明的一些實施例中，第一部分子模組具體配置為利用檢測子模型的第一部分對圖像特徵進行第二分類處理，得到待識別病理圖像的圖像分類結果。
區別於前述實施例，利用檢測子模型的第一部分對第三部分提取得到的圖像特徵進行第二分類處理，得到待識別病理圖像的圖像分類結果，能夠提高分類處理的準確性。
在本發明的一些實施例中，第二部分子模組具體配置為利用檢測子模型的第二部分對圖像特徵進行區域檢測，得到包含目標細胞的檢測區域。
區別於前述實施例，利用檢測子模型的第二部分對圖像特徵進行區域檢測，得到包含目標細胞的檢測區域，能夠有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，第一部分為全域分類網路，第二部分為圖像檢測網路，第三部分為特徵提取網路；其中，特徵提取網路包括可變形卷積層、全域資訊增強模組中的至少一者。
區別於前述實施例，通過將特徵提取網路設置為包括可變形卷積層，能夠提高對多形態的目標細胞進行識別的準確性，通過將特徵提取網路設置為包括全域資訊增強模組中的至少一者，能夠有利於獲取長距離的、具有依賴關係的特徵，有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，圖像分類別模組63包括特徵提取子模組，配置為利用分類子模型對待識別病理圖像的檢測區域進行特徵提取，得到檢測區域的圖像特徵，圖像分類別模組63包括分類處理子模組，配置為對檢測區域的圖像特徵進行第一分類處理，得到目標細胞的類別。
區別於前述實施例，通過對待識別病理圖像的檢測區域進行特徵提取，得到檢測區域的圖像特徵，並對檢測區域的圖像特徵進行第一分類處理，得到目標細胞的類別，能夠有利於提高分類處理的效率。
在本發明的一些實施例中，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度。
區別於前述實施例，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，能夠有利於識別單個病變細胞和病變細胞團簇，且目標細胞的類別用於表示目標細胞的病變程度，有利於實現目標細胞的病變分級。
請參閱圖7，圖7是本發明實施例提供的一種識別模型的訓練裝置70的結構框架示意圖。識別模型包括檢測子模型和分類子模型，識別模型的訓練裝置70包括圖像獲取模組71、模型執行模組72、損失確定模組73和參數調整模組74，圖像獲取模組71配置為獲取第一樣本圖像和第二樣本圖像，其中，第一樣本圖像中標注有與目標細胞對應的實際區域，第二樣本圖像中標注有目標細胞的實際類別；模型執行模組72配置為利用檢測子模型對第一樣本圖像進行目標檢測，得到第一樣本圖像中包含目標細胞的預測區域，並利用分類子模型對第二樣本圖像進行第一分類處理，得到目標細胞的預測類別；損失確定模組73配置為基於實際區域與預測區域，確定檢測子模型的第一損失值，並基於實際類別與預測類別，確定分類子模型的第二損失值；參數調整模組74配置為利用第一損失值和第二損失值，對應調整檢測子模型和分類子模型的參數。
上述方案，在訓練過程中，能夠先進行目標細胞的檢測，再進行目標細胞的分類，將檢測與分類分離，從而能夠解決樣本資料類別不平衡的問題，進而能夠有利於提高訓練得到的模型的準確性，從而能夠有利於提高目標細胞識別的準確性和效率。
在本發明的一些實施例中，模型執行模組72包括初始分類子模組，配置為對第一樣本圖像進行第二分類處理，得到第一樣本圖像的圖像分類結果，其中，圖像分類結果用於表示第一樣本圖像中是否包含目標細胞，模型執行模組72包括區域檢測子模組，配置為在圖像分類結果表示第一樣本圖像中包含目標細胞時，對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域。
區別於前述實施例，在訓練過程中，當圖像分類結果表示第一樣本圖像中包含目標細胞時，再對第一樣本圖像進行區域檢測，得到包含目標細胞的預測區域，能夠增強模型識別正負樣本的能力，降低誤檢概率，有利於提高訓練得到的模型的準確性，從而能夠有利於提高目標細胞識別的準確性。
在本發明的一些實施例中，識別模型的訓練裝置70還包括資料增強模組，配置為對第一樣本圖像和第二樣本圖像進行資料增強。
區別於前述實施例，通過對第一樣本圖像和第二樣本圖像進行資料增強能夠提高樣本多樣性，有利於避免過擬合，提高模型的泛化性能。
在本發明的一些實施例中，識別模型的訓練裝置70還包括歸一化處理模組，配置為將第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理。
區別於前述實施例，通過將第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理，能夠有利於提高模型的收斂速度。
在本發明的一些實施例中，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度。
區別於前述實施例，目標細胞包括單個病變細胞、病變細胞團簇中的任一者，目標細胞的類別用於表示目標細胞的病變程度，能夠有利於識別單個病變細胞和病變細胞團簇，且目標細胞的類別用於表示目標細胞的病變程度，有利於實現目標細胞的病變分級。
請參閱圖8，圖8是本發明實施例提供的一種電子設備80的結構框架示意圖。電子設備80包括相互耦接的記憶體81和處理器82，處理器82配置為執行記憶體81中儲存的程式指令，以實現上述任一圖像識別方法實施例的步驟，或實現上述任一識別模型的訓練方法實施例中的步驟。在一個具體的實施場景中，電子設備80可以包括但不限於：微型電腦、伺服器，此外，電子設備80還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
具體而言，處理器82配置為控制其自身以及記憶體81以實現上述任一圖像識別方法實施例的步驟，或實現上述任一識別模型的訓練方法實施例中的步驟。處理器82還可以稱為中央處理單元（Central Processing Unit，CPU）。處理器82可能是一種積體電路晶片，具有信號的處理能力。處理器82還可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器82可以由積體電路晶片共同實現。
上述方案，能夠準確、高效地識別病理圖像中的目標細胞。
請參閱圖9，圖9為本發明實施例提供的一種電腦可讀儲存介質90的結構框架示意圖。電腦可讀儲存介質90儲存有能夠被處理器運行的程式指令901，程式指令901用於實現上述任一圖像識別方法實施例的步驟，或實現上述任一識別模型的訓練方法實施例中的步驟。
上述方案，能夠準確、高效地識別病理圖像中的目標細胞。
本發明實施例提供一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現本發明實施例提供的任一圖像識別方法，或本發明實施例提供的任一識別模型的訓練方法。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施方式方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。
工業實用性 本發明實施例提供一種圖像識別方法、識別模型的訓練方法及相關裝置、設備，其中，圖像識別方法包括：獲取待識別病理圖像；採用識別模型中的檢測子模型對待識別病理圖像進行目標檢測，得到待識別病理圖像中包含目標細胞的檢測區域；利用識別模型中的分類子模型對檢測區域進行第一分類處理，得到目標細胞的類別。根據本發明實施例的圖像識別方法，能夠準確、高效地識別病理圖像中的目標細胞。
60:圖像識別裝置 61:圖像獲取模組 62:圖像檢測模組 63:圖像分類別模組 70:識別模型的訓練裝置 71:圖像獲取模組 72:模型執行模組 73:損失確定模組 74:參數調整模組 80:電子設備 81:記憶體 82:處理器 90:電腦可讀儲存介質 901:程式指令 S11~S13:步驟 S31~S36:步驟 S51~S54:步驟
圖1是本發明實施例提供的一種圖像識別方法的流程示意圖； 圖2是本發明實施例提供的一種圖像識別方法的狀態示意圖； 圖3是本發明實施例提供的一種圖像識別方法的流程示意圖； 圖4是本發明實施例提供的一種圖像識別方法的狀態示意圖； 圖5是本發明實施例提供的一種識別模型的訓練方法的流程示意圖； 圖6是本發明實施例提供的一種圖像識別裝置的結構示意圖； 圖7是本發明實施例提供的一種識別模型的訓練裝置的結構框架示意圖； 圖8是本發明實施例提供的一種電子設備的結構框架示意圖； 圖9是本發明實施例提供的一種電腦可讀儲存介質的結構框架示意圖。
S11~S13:步驟

Claims (14)

  1. 一種圖像識別方法，包括： 獲取待識別病理圖像； 採用識別模型中的檢測子模型對所述待識別病理圖像進行目標檢測，得到所述待識別病理圖像中包含目標細胞的檢測區域； 利用所述識別模型中的分類子模型對所述檢測區域進行第一分類處理，得到所述目標細胞的類別。
  2. 根據請求項1所述的圖像識別方法，其中，所述採用識別模型中的檢測子模型對所述待識別病理圖像進行目標檢測，得到所述待識別病理圖像中包含目標細胞的檢測區域，包括： 利用所述檢測子模型的第一部分對所述待識別病理圖像進行第二分類處理，得到所述待識別病理圖像的圖像分類結果，其中，所述圖像分類結果用於表示所述待識別病理圖像中是否包含所述目標細胞； 若所述圖像分類結果表示所述待識別病理圖像中包含所述目標細胞，則利用所述檢測子模型的第二部分對所述待識別病理圖像進行區域檢測，得到包含所述目標細胞的檢測區域。
  3. 根據請求項2所述的圖像識別方法，其中，在所述利用所述檢測子模型的第一部分對所述待識別病理圖像進行第二分類處理，得到所述待識別病理圖像的圖像分類結果之後，所述方法還包括： 若所述圖像分類結果表示所述待識別病理圖像中不包含所述目標細胞，則所述第一部分輸出所述待識別病理圖像中不包含所述目標細胞的檢測結果提示。
  4. 根據請求項2或3所述的圖像識別方法，其中，所述採用識別模型中的檢測子模型對所述待識別病理圖像進行目標檢測，得到所述待識別病理圖像中包含目標細胞的檢測區域，還包括： 利用所述檢測子模型的第三部分對所述待識別病理圖像進行特徵提取，得到所述待識別病理圖像的圖像特徵。
  5. 根據請求項4所述的圖像識別方法，其中，所述利用所述檢測子模型的第一部分對所述待識別病理圖像進行第二分類處理，得到所述待識別病理圖像的圖像分類結果，包括： 利用所述檢測子模型的第一部分對所述圖像特徵進行第二分類處理，得到所述待識別病理圖像的圖像分類結果。
  6. 根據請求項4所述的圖像識別方法，其中，所述利用所述檢測子模型的第二部分對所述待識別病理圖像進行區域檢測，得到包含所述目標細胞的檢測區域，包括： 利用所述檢測子模型的第二部分對所述圖像特徵進行區域檢測，得到包含所述目標細胞的檢測區域。
  7. 根據請求項4所述的圖像識別方法，其中，所述第一部分為全域分類網路，所述第二部分為圖像檢測網路，所述第三部分為特徵提取網路；其中，所述特徵提取網路包括可變形卷積層、全域資訊增強模組中的至少一者。
  8. 根據請求項1或2所述的圖像識別方法，其中，所述利用所述識別模型中的分類子模型對所述檢測區域進行第一分類處理，得到所述目標細胞的類別，包括： 利用所述分類子模型對所述待識別病理圖像的所述檢測區域進行特徵提取，得到所述檢測區域的圖像特徵； 對所述檢測區域的圖像特徵進行第一分類處理，得到所述目標細胞的類別。
  9. 根據請求項1至3任一項所述的圖像識別方法，其中，所述目標細胞包括單個病變細胞、病變細胞團簇中的任一者，所述目標細胞的類別用於表示所述目標細胞的病變程度。
  10. 一種識別模型的訓練方法，所述識別模型包括檢測子模型和分類子模型，所述方法包括： 獲取第一樣本圖像和第二樣本圖像，其中，所述第一樣本圖像中標注有與目標細胞對應的實際區域，所述第二樣本圖像中標注有目標細胞的實際類別； 利用所述檢測子模型對所述第一樣本圖像進行目標檢測，得到所述第一樣本圖像中包含目標細胞的預測區域，並利用所述分類子模型對所述第二樣本圖像進行第一分類處理，得到所述目標細胞的預測類別； 基於所述實際區域與所述預測區域，確定所述檢測子模型的第一損失值，並基於所述實際類別與所述預測類別，確定所述分類子模型的第二損失值； 利用所述第一損失值和所述第二損失值，對應調整所述檢測子模型和所述分類子模型的參數。
  11. 根據請求項10所述的訓練方法，其中，所述利用所述檢測子模型對所述第一樣本圖像進行目標檢測，得到所述第一樣本圖像中包含目標細胞的預測區域，包括： 對所述第一樣本圖像進行第二分類處理，得到所述第一樣本圖像的圖像分類結果，其中，所述圖像分類結果用於表示所述第一樣本圖像中是否包含所述目標細胞； 若所述圖像分類結果表示所述第一樣本圖像中包含所述目標細胞，則對所述第一樣本圖像進行區域檢測，得到包含所述目標細胞的預測區域。
  12. 根據請求項10或11所述的訓練方法，旗翁，在所述利用所述檢測子模型對所述第一樣本圖像進行目標檢測，得到所述第一樣本圖像中包含目標細胞的預測區域，並利用所述分類子模型對所述第二樣本圖像進行第一分類處理，得到所述目標細胞的預測類別之前，所述方法還包括： 對所述第一樣本圖像和第二樣本圖像進行資料增強；和/或， 將所述第一樣本圖像和第二樣本圖像中的圖元值進行歸一化處理； 所述目標細胞包括單個病變細胞、病變細胞團簇中的任一者，所述目標細胞的類別用於表示所述目標細胞的病變程度。
  13. 一種電子設備，包括相互耦接的記憶體和處理器，所述處理器配置為執行所述記憶體中儲存的程式指令，以實現請求項1至9任一項所述的圖像識別方法，或請求項10至12任一項所述的識別模型的訓練方法。
  14. 一種電腦可讀儲存介質，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至9任一項所述的圖像識別方法，或請求項10至12任一項所述的識別模型的訓練方法。
TW110101018A 2020-02-26 2021-01-11 圖像識別方法、識別模型的訓練方法、設備 TWI767506B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010121559.5A CN111461165A (zh) 2020-02-26 2020-02-26 图像识别方法、识别模型的训练方法及相关装置、设备
CN202010121559.5 2020-02-26

Publications (2)

Publication Number Publication Date
TW202133043A true TW202133043A (zh) 2021-09-01
TWI767506B TWI767506B (zh) 2022-06-11

Family

ID=71684160

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110101018A TWI767506B (zh) 2020-02-26 2021-01-11 圖像識別方法、識別模型的訓練方法、設備

Country Status (5)

Country Link
JP (1) JP2022537781A (zh)
KR (1) KR20210110823A (zh)
CN (1) CN111461165A (zh)
TW (1) TWI767506B (zh)
WO (1) WO2021169161A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017162B (zh) * 2020-08-10 2022-12-06 上海杏脉信息科技有限公司 病理图像处理方法、装置、存储介质和处理器
CN111815633A (zh) * 2020-09-08 2020-10-23 上海思路迪医学检验所有限公司 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112581438B (zh) * 2020-12-10 2022-11-08 腾讯医疗健康(深圳)有限公司 切片图像识别方法、装置和存储介质及电子设备
CN112884707B (zh) * 2021-01-15 2023-05-05 复旦大学附属妇产科医院 基于阴道镜的宫颈癌前病变检测系统、设备及介质
CN113763315B (zh) * 2021-05-18 2023-04-07 腾讯医疗健康(深圳)有限公司 玻片图像的信息获取方法、装置、设备及介质
CN113313697B (zh) * 2021-06-08 2023-04-07 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN113570592B (zh) * 2021-08-05 2022-09-20 印迹信息科技（北京）有限公司 肠胃病检测和模型训练方法、装置、设备及介质
CN113436191B (zh) * 2021-08-26 2021-11-30 深圳科亚医疗科技有限公司 一种病理图像的分类方法、分类系统及可读介质
CN113855079A (zh) * 2021-09-17 2021-12-31 上海仰和华健人工智能科技有限公司 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法
CN114092162B (zh) * 2022-01-21 2022-07-01 北京达佳互联信息技术有限公司 推荐质量确定方法、推荐质量确定模型的训练方法及装置
CN115170571B (zh) * 2022-09-07 2023-02-07 赛维森(广州)医疗科技服务有限公司 胸腹水细胞病理图像识别方法、图像识别装置、介质
CN115601749B (zh) * 2022-12-07 2023-03-14 赛维森(广州)医疗科技服务有限公司 基于特征峰值图谱的病理图像分类方法、图像分类装置
CN115861719B (zh) * 2023-02-23 2023-05-30 北京肿瘤医院(北京大学肿瘤医院) 一种可迁移细胞识别工具
CN117726882A (zh) * 2024-02-07 2024-03-19 杭州宇泛智能科技有限公司 塔吊吊物识别方法、系统和电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
US10115194B2 (en) * 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
TWI668666B (zh) * 2018-02-14 2019-08-11 China Medical University Hospital 肝癌分群預測模型、其預測系統以及肝癌分群判斷方法
US10460150B2 (en) * 2018-03-16 2019-10-29 Proscia Inc. Deep learning automated dermatopathology
CN108510482B (zh) * 2018-03-22 2020-12-04 姚书忠 一种基于阴道镜图像的宫颈癌检测装置
CN108615236A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种图像处理方法及电子设备
CN108764329A (zh) * 2018-05-24 2018-11-06 复旦大学附属华山医院北院 一种肺癌病理图像数据集的构建方法
CN109190441B (zh) * 2018-06-21 2022-11-08 丁彦青 女性生殖道细胞病理智能分类方法、诊断仪及存储介质
CN109190567A (zh) * 2018-09-10 2019-01-11 哈尔滨理工大学 基于深度卷积神经网络的异常宫颈细胞自动检测方法
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN110009050A (zh) * 2019-04-10 2019-07-12 杭州智团信息技术有限公司 一种细胞的分类方法及装置
CN110110799B (zh) * 2019-05-13 2021-11-16 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110736747B (zh) * 2019-09-03 2022-08-19 深思考人工智能机器人科技（北京）有限公司 一种细胞液基涂片镜下定位的方法及系统
CN110766659A (zh) * 2019-09-24 2020-02-07 西人马帝言(北京)科技有限公司 医学图像识别方法、装置、设备和介质
CN111311578B (zh) * 2020-02-17 2024-05-03 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备

Also Published As

Publication number Publication date
KR20210110823A (ko) 2021-09-09
JP2022537781A (ja) 2022-08-29
CN111461165A (zh) 2020-07-28
TWI767506B (zh) 2022-06-11
WO2021169161A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
TW202133043A (zh) 圖像識別方法、識別模型的訓練方法、設備
US10319096B2 (en) Automated tattoo recognition techniques
CN109154978B (zh) 用于检测植物疾病的系统和方法
WO2020164282A1 (zh) 基于yolo的图像目标识别方法、装置、电子设备和存储介质
JP5315411B2 (ja) 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
WO2017105655A1 (en) Methods for object localization and image classification
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及系统
WO2022037541A1 (zh) 图像处理模型训练方法、装置、设备及存储介质
CN112132206A (zh) 图像识别方法及相关模型的训练方法及相关装置、设备
CN107579846B (zh) 一种云计算故障数据检测方法及系统
CN114492768B (zh) 一种基于小样本学习的孪生胶囊网络入侵检测方法
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN109919002A (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN111275104A (zh) 一种模型训练方法、装置、服务器及存储介质
CN112766218A (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
WO2024051183A1 (zh) 一种基于决策捷径搜索的后门检测方法
CN111291749B (zh) 手势识别方法、装置及机器人
CN112241693A (zh) 基于YOLOv3实现的违规焊接动火图像识别方法
CN109145770B (zh) 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法
WO2022058256A1 (en) Device and method for classifying images and accessing the robustness of the classification
CN117437522A (zh) 一种人脸识别模型训练方法、人脸识别方法及装置
CN112784494A (zh) 假阳性识别模型的训练方法、目标识别方法及装置