TW202139208A - 圖像識別方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像識別方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TW202139208A
TW202139208A TW110109423A TW110109423A TW202139208A TW 202139208 A TW202139208 A TW 202139208A TW 110109423 A TW110109423 A TW 110109423A TW 110109423 A TW110109423 A TW 110109423A TW 202139208 A TW202139208 A TW 202139208A
Authority
TW
Taiwan
Prior art keywords
recognized
image
medical image
feature representation
medical
Prior art date
Application number
TW110109423A
Other languages
English (en)
Other versions
TWI776426B (zh
Inventor
葉宇翔
陳翼男
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202139208A publication Critical patent/TW202139208A/zh
Application granted granted Critical
Publication of TWI776426B publication Critical patent/TWI776426B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Hardware Redundancy (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明公開了一種圖像識別方法、電子設備和電腦可讀儲存介質，其中，圖像識別方法包括：獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域；分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示；將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示；利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。上述方案，能夠提高圖像識別的效率和準確性。

Description

圖像識別方法、電子設備和電腦可讀儲存介質
本發明關於人工智慧技術領域，特別是關於一種圖像識別方法、電子設備和電腦可讀儲存介質。
CT（Computed Tomography，電腦斷層掃描）和MRI（Magnetic Resonance Imaging，核磁共振掃描）等醫學圖像在臨床具有重要意義。為了使醫學圖像應用於臨床，一般需要掃描得到至少一種掃描圖像類別的醫學圖像。以與肝臟相關的臨床為例，掃描圖像類別往往包括與時序有關的造影前平掃、動脈早期、動脈晚期、門脈期、延遲期等等，此外，掃描圖像類別還可以包含與掃描參數有關的T1加權反相成像、T1加權同相成像、T2加權成像、擴散加權成像、表面擴散係數成像等等。
目前，在掃描過程中，通常需要放射科醫師鑒別掃描得到的醫學圖像的掃描圖像類別，以確保獲取所需要的醫學圖像；或者，在住院或門診診療時，通常需要醫生對掃描得到的醫學圖像進行識別，判斷每一醫學圖像的掃描圖像類別，再進行閱片。然而，上述通過人工識別醫學圖像的掃描圖像類別的方式，效率較低，且易受主觀影響而難以確保準確性。故此，如何提高圖像識別的效率和準確性成為亟待解決的問題。
本發明提供一種圖像識別方法、電子設備和電腦可讀儲存介質。
本發明第一方面提供了一種圖像識別方法，包括：獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域；分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示；將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示；利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
因此，通過獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域，從而分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠排除其他臟器的干擾，有利於提高識別準確性，並將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，進而每一待識別醫學圖像的個體特徵表示和全域特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性，且通過特徵表示來進行圖像識別，能夠免於人工參與，故能夠提高圖像識別的效率。
其中，將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示包括：將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到全域特徵表示。
因此，通過將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，能夠快速方便地得到全域特徵表示，故能夠有利於提高後續圖像識別的效率。
其中，將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到全域特徵表示包括：將至少一個待識別醫學圖像的個體特徵表示進行全域最大池化處理，得到第一全域特徵表示；以及，將至少一個待識別醫學圖像的個體特徵表示進行全域平均池化處理，得到第二全域特徵表示；將第一全域特徵表示和第二全域特徵表示進行拼接處理，得到全域特徵表示。
因此，通過將至少一個待識別醫學圖像的個體特徵表示進行全域最大池化處理，得到第一全域特徵表示，並將至少一個待識別醫學圖像的個體特徵表示進行全域平均池化處理，得到第二全域特徵表示，從而將第一全域特徵表示和第二全域特徵表示進行拼接處理，得到全域特徵表示，故能夠有利於後續準確地表示每一待識別醫學圖像與其他待識別醫學圖像之間的差異，從而能夠有利於提高後續圖像識別的準確性。
其中，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別包括：利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
因此，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示所得到的最終特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性。
其中，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示包括：分別將每一待識別醫學圖像的個體特徵表示和全域特徵表示進行拼接處理，得到待識別醫學圖像對應的最終特徵表示。
因此，通過分別將每一待識別醫學圖像的個體特徵表示和全域特徵表示進行拼接處理，能夠快速得到待識別醫學圖像對應的最終特徵表示，故能夠有利於提高後續圖像識別的效率。
其中，分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示包括：利用識別網路的特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示；將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示包括：利用識別網路的融合模組將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，並利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示；利用每個待識別醫學特徵的最終特徵表達，確定每一待識別醫學圖像所屬的掃描圖像類別，包括：利用識別網路的分類子網路對每一待識別醫學圖像的最終特徵表示進行預測分類，得到每一待識別醫學圖像所屬的掃描圖像類別。
因此，通過利用識別網路的特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，並利用識別網路的融合模組將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，從而利用識別網路的分類子網路對每一待識別醫學圖像的最終特徵表示進行預測分類，得到每一待識別醫學圖像所屬的掃描圖像類別，故能夠通過識別網路最終獲得待識別醫學圖像所屬的掃描圖像類別，從而能夠進一步提高圖像識別的效率。
其中，識別網路是利用樣本醫學圖像訓練得到的，每次訓練識別網路所使用的樣本醫學圖像數量不固定。
因此，每次訓練識別網路採用的樣本醫學圖像的數量並不固定，能夠隨機化樣本醫學圖像的數量，從而能夠有利於在不同機構不同掃描協定下掃描圖像類別有所缺失時，也能夠準確地進行圖像識別，進而能夠提高圖像識別準確性。
其中，特徵提取子網路包括至少一組順序連接的稠密卷積塊和池化層；和/或，識別網路包括預設數量個特徵提取子網路；利用識別網路的特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示包括：將每一目標區域的圖像資料分別輸入對應一個特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示。
因此，特徵提取子網路包括至少一組順序連接的稠密卷積塊和池化層，故通過稠密卷積塊的連接策略，即每一卷積層下的特徵與下一層緊密拼接，並傳遞後後面的每一層，能夠有效的緩解梯度消失問題，且加強特徵傳播以及特徵複用，並能夠極大地減少參數數量；而將識別網路設置為包括預設數量個特徵提取子網路，並將每一目標區域的圖像資料分別輸入對應一個特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠將至少一個目標區域的圖像資料的特徵提取操作並行處理，故能夠有利於提高圖像識別的效率。
其中，分別確定每個待識別醫學圖像中與目標臟器對應的目標區域包括：利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊；利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域。
因此，利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器的第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊，故不僅能夠考慮所需識別的目標臟器，還能夠考慮周邊毗鄰臟器，從而利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域，能夠確保在經手術治療等情況下臟器形態發生改變時，也能夠定位得到目標臟器對應的目標區域，故能夠提高圖像識別的魯棒性。
其中，待識別醫學圖像為三維圖像，利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊之前，方法還包括：將每一待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像；將每一子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像；利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊包括：利用臟器檢測網路對至少一個待識別醫學圖像對應的二維子圖像進行檢測，得到第一位置資訊和第二位置資訊。
因此，在待識別醫學圖像為三維圖像時，將每一待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像，並將每一子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像，從而利用臟器檢測網路對至少一個待識別醫學圖像對應的二維子圖像進行檢測，得到第一位置資訊和第二位置資訊，能夠進一步提高目標臟器對應的目標區域定位的準確性。
其中，目標臟器為肝臟，毗鄰臟器包括腎臟、脾臟中的至少一者；和/或，第一位置資訊包括目標臟器對應區域的至少一組對角頂點位置和對應區域的尺寸，第二位置資訊至少包括毗鄰臟器對應區域的至少一個頂點位置。
因此，將目標臟器設置為肝臟，毗鄰臟器設置為包括腎臟、脾臟中的至少一者，能夠有利於定位得到肝臟對應的目標區域；將第一位置資訊設置為包括目標臟器對應區域的至少一組對角頂點位置和對應區域的尺寸，第二位置資訊設置為至少包括毗鄰臟器對應區域的至少一個頂點位置，能夠有利於精確地定位目標臟器對應的目標區域。
其中，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別之後，方法還包括以下至少一者：將至少一個待識別醫學圖像按照其掃描圖像類別進行排序；若待識別醫學圖像的掃描圖像類別存在重複，則輸出第一預警資訊，以提示掃描人員；若至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別，則輸出第二預警資訊，以提示掃描人員。
因此，在確定得到每一待識別醫學圖像所屬的掃描圖像類別之後，執行將至少一個待識別醫學圖像按照其掃描圖像類別進行排序，能夠提高醫生閱片的便捷性；在待識別醫學圖像的掃描圖像類別存在重複時，輸出第一預警資訊，以提示掃描人員，在至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別時，輸出第二預警資訊，以提示掃描人員，能夠在掃描過程中實現圖像質控，以在與實際相悖時，能夠及時糾錯，避免病人二次掛號。
其中，分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示之前，方法還包括：對每一目標區域的圖像資料進行預處理，其中，預處理包括以下至少一種：將目標區域的圖像尺寸調整至預設尺寸，將目標區域的圖像強度歸一化至預設範圍。
因此，在特徵提取之前，對每一目標區域的圖像資料進行預處理，且預處理包括以下至少一種：將目標區域的圖像尺寸調整至預設尺寸，將目標區域的圖像強度歸一化至預設範圍，故能夠有利於提高後續圖像識別的準確性。
本發明第二方面提供了一種圖像識別裝置，包括：區域獲取模組、特徵提取模組、融合處理模組和類別確定模組，區域獲取模組配置為獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域；特徵提取模組配置為分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示；融合處理模組配置為將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示；類別確定模組配置為利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
本發明第三方面提供了一種電子設備，包括相互耦接的記憶體和處理器，處理器配置為執行記憶體中儲存的程式指令，以實現上述第一方面中的圖像識別方法。
本發明第四方面提供了一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行時實現上述第一方面中的圖像識別方法。
上述方案，通過獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域，從而分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠排除其他臟器的干擾，有利於提高識別準確性，並將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，進而每一待識別醫學圖像的個體特徵表示和全域特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性，且通過特徵表示來進行圖像識別，能夠免於人工參與，故能夠提高圖像識別的效率。
下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明。
本文中術語“系統”和“網路”在本文中常被可互換使用。本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯物件是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。
在本發明的實施例中，圖像識別方法的執行主體可以是圖像識別裝置，例如，圖像識別方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，圖像識別方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
請參閱圖1，圖1是本發明圖像識別方法一實施例的流程示意圖。具體而言，可以包括如下步驟。
步驟S11：獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域。
待識別醫學圖像可以包括CT圖像、MR圖像，在此不做限定。在一個具體的實施場景中，待識別醫學圖像可以是對腹部、胸部等區域進行掃描得到的，具體可以根據實際應用情況而設置，在此不做限定。例如，當肝臟、脾臟、腎臟為需要診療的目標臟器時，可以對腹部進行掃描，得到待識別醫學圖像；或者，當心臟、肺為需要診療的目標臟器時，可以對胸部進行掃描，得到待識別醫學圖像，其他情況可以以此類推，在此不再一一舉例。在另一個具體的實施場景中，掃描方式可以是平掃、增強掃描等方式，在此不做限定。在又一個具體的實施場景中，待識別醫學圖像可以是三維圖像，待識別醫學圖像中目標臟器對應的目標區域可以是三維區域，在此不做限定。
目標臟器可以根據實際應用而設置，例如，當醫生需要判斷肝臟是否產生病變以及病變程度等時，目標臟器可以是肝臟；或者，當醫生需要判斷腎臟是否產生病變以及病變程度時，目標臟器可以是腎臟，其他情況可以根據實際應用而進行設置，在此不再一一舉例。在一個實施場景中，可以預先訓練一用於對目標臟器進行檢測的臟器檢測網路，從而可以直接利用臟器檢測網路對每一待識別醫學圖像進行檢測，得到對應的目標區域。
步驟S12：分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示。
在一個實施場景中，為了提高後續圖像識別的準確性，在對目標區域的圖像資料進行特徵提取之前，還可以對每一目標區域的圖像資料進行預處理，具體地，預處理可以包括將目標區域的圖像尺寸調整至預設尺寸（例如，32*256*256）。或者，預處理還可以包括將目標區域的圖像強度歸一化至預設範圍（例如，0至1的範圍），在一個具體的實施場景中，可以採用灰度累積分佈函數下預設比例（例如，99.9%）對應的灰度值作為歸一化的鉗位值，從而能夠加強目標區域的圖像資料的對比度，有利於提升後續圖像識別的準確性。
在一個實施場景中，為了提升特徵提取的便利性，還可以預先訓練一識別網路，識別網路可以包括用於特徵提取的特徵提取子網路，從而可以利用特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示。
在一個具體的實施場景中，特徵提取子網路包括至少一組順序連接的稠密卷積塊（Dense Block）和池化層，稠密卷積塊中每一層卷積下特徵與下一層進行緊密拼接，並且傳遞後後面的每一層，從而使得特徵和梯度的傳遞更加有效。具體地，特徵提取子網路可以包括三組順序連接的稠密卷積塊和池化層，其中，除最後一組所包含的池化層為自我調整池化外，其他組所包含的池化層為最大池化；此外，特徵提取子網路還可以包括一組、兩組、四組等其他數量組順序連接的稠密卷積塊（Dense Block）和池化層，在此不做限定。
在另一個具體的實施場景中，識別網路中具體可以包括預設數量個特徵提取子網路，從而可以將每一目標區域的圖像資料分別輸入對應一個特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，進而能夠將每一目標區域的圖像資料的特徵提取操作並行處理，故能夠提高特徵提取的效率，能夠有利於提高後續圖像識別的效率，此外，預設數量可以大於或等於掃描圖像類別的種類，例如，當掃描圖像類別包括與時序有關的造影前平掃、動脈早期、動脈晚期、門脈期、延遲期時，預設數量可以設置為大於或等於5的整數，例如，5、6、7等等，在此不做限定；或者，當掃描圖像類別包括與描參數有關的T1加權反相成像、T1加權同相成像、T2加權成像、擴散加權成像、表面擴散係數成像時，預設數量可以設置為大於或等於5的整數，例如，5、6、7等等，在此不做限定；或者，當掃描圖像類別既包括與描參數有關的T1加權反相成像、T1加權同相成像、T2加權成像、擴散加權成像、表面擴散係數成像，也包括與時序有關的造影前平掃、動脈早期、動脈晚期、門脈期、延遲期時，預設數量可以設置為大於或等於10的整數，例如，10、11、12等等。具體地，動脈早期可以表示門靜脈尚未增強，動脈晚期可以表示門靜脈已被增強，門脈期可以表示門靜脈已充分增強且肝臟血管已被前向性血流增強、肝臟軟細胞組織在標記物下已達到峰值，延遲期可以表示門脈和動脈處於增強狀態並弱於門脈期、且肝臟軟細胞組織處於增強狀態並弱於門脈期，其他掃描圖像類別在此不再一一舉例。
請結合參閱圖2，圖2是確定待識別醫學圖像所屬的掃描圖像類別過程的狀態示意圖，如圖2所示，以不同灰度填充的矩形框分別表示待識別醫學圖像1至待識別醫學圖像n中目標臟器對應的目標區域的圖像資料提取到的個體特徵表示1、個體特徵表示2、個體特徵表示3、……、個體特徵表示n。
步驟S13：將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示。
在一個實施場景中，識別網路中還可以包括融合模組，從而可以利用融合模組將至少一個待識別醫學圖像的個體特徵表示進行融合，進而得到全域特徵表示。
在另一個實施場景中，可以將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到全域特徵表示。具體地，可以將至少一個待識別醫學圖像的個體特徵表示進行全域最大池化（Global Max Pooling，GMP）處理，得到第一全域特徵表示，並將至少一個待識別醫學圖像的個體特徵表示進行全域平均池化（Global Average Pooling，GAP）處理，得到第二全域特徵表示，從而將第一特徵表示和第二特徵表示進行拼接處理，得到全域特徵表示。請繼續結合參閱圖2，可以將個體特徵表示1、個體特徵表示2、個體特徵表示3、……、個體特徵表示n分別進行全域最大池化和全域平均池化，得到第一全域特徵表示（圖2中斜線填充矩形框）和第二全域特徵表示（圖2中格線填充矩形框），並將第一全域特徵表示和第二全域特徵表示進行拼接處理，得到全域特徵表示。
步驟S14：利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
具體地，可以利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，再利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別，從而最終特徵表示不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，進而在利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性。為了得到每個待識別醫學圖像的最終特徵表示，在一個具體的實施場景中，可以利用識別網路中的融合模組利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示。在另一個具體的實施場景中，還可以將每一待識別醫學圖像的個體特徵表示和全域特徵表示進行拼接處理，得到待識別醫學圖像對應的最終特徵表示。請結合參閱圖2，如圖2所示，以斜線填充矩形框表示的第一全域特徵表示和以格線填充矩形框表示的第二全域特徵表示分別和以不同灰度填充矩形框表示的個體特徵表示進行拼接處理，可以得到對應每一待識別醫學圖像的最終特徵表示。
在一個實施場景中，識別網路中還可以包括分類子網路，從而可以利用分類子網路對每一待識別醫學圖像的最終特徵表示進行預測分類，得到每一待識別醫學圖像所屬的掃描圖像類別。在一個具體的實施場景中，分類子網路中可以包括全連接層和softmax層，從而可以利用全連接層對每一待識別醫學圖像的最終特徵表示進行特徵連接，並利用softmax層進行概率歸一化，得到每一待識別醫學圖像屬於各個掃描圖像類別的概率值，故可以將最大概率值對應的掃描圖像類別作為待識別醫學圖像所屬的掃描圖像類別。
在一個具體的實施場景中，包含上述特徵提取子網路、融合模組和分類子網路的識別網路可以是利用樣本醫學圖像訓練得到的。具體地，可以利用特徵提取子網路對每一樣本醫學圖像中標注的目標區域的圖像資料進行特徵提取，得到每個樣本醫學圖像的個體特徵表示，並利用融合模組將至少一個樣本醫學圖像的個體特徵表示進行融合，得到全域特徵表示，利用每一樣本醫學圖像的個體特徵表示和全域特徵表示，得到每一樣本醫學圖像的最終特徵表示，再利用分類子網路對每一樣本醫學圖像的最終特徵表示進行預測分類，得到每一樣本醫學圖像所屬的預測掃描圖像類別，並利用每一樣本醫學圖像的預測掃描圖像類別和標注的真實掃描圖像類別，確定識別網路的損失值（如交叉熵損失值），最後利用損失值對識別網路的參數進行調整，以實現對識別網路的訓練，具體可以採用隨機梯度下降（Stochastic Gradient Descent，SGD）對參數進行調整。此外，為了提高識別網路的魯棒性，每次訓練識別網路所使用的樣本醫學圖像數量可以不固定。具體而言，每次訓練識別網路所使用的樣本醫學圖像可以是屬於同一物件的，且每次訓練識別網路所使用的樣本醫學圖像所屬的掃描圖像類別的種數可以不固定。例如，某一次訓練識別網路所採用的樣本醫學圖像屬於T1加權反相成像、T1加權同相成像、T2加權成像，另一次訓練識別網路所採用的樣本醫學圖像屬於擴散加權成像、表面擴散係數成像，具體可以根據實際應用情況進行設置，在此不再一一舉例，從而能夠隨機化樣本醫學圖像的數量，進而能夠有利於在不同機構不同掃描協定下掃描圖像類別有所缺失時，也能夠準確地進行圖像識別，進而能夠提高識別網路的魯棒性。此外，為了使識別結果不受統計學差異影響，還可以設置訓練集和驗證集，且從具有不同臟器損傷類型的物件中按照預設比例（如3：1）進行隨機選擇，分別作為訓練集和驗證集。
在另一個具體的實施場景中，可以將上述經訓練的識別網路設置於圖像後處理工作站、攝片工作站、電腦輔助閱片系統等，從而能夠實現對待識別醫學圖像的自動識別，提高識別效率。
在又一個具體的實施場景中，在驗證階段，可以將在一次掃描過程中屬於同一物件的全部待識別醫學圖像在一次識別過程中，進行全部識別，從而能夠對識別網路的性能進行全面驗證；在應用階段，可以將在一次掃描過程中屬於同一物件的全部待識別醫學圖像在一次識別過程中，進行全部識別，從而能夠考慮每一待識別醫學圖像與其他所有待識別醫學圖像之間的差異，進而能夠有利於提高識別的準確性。
在一個實施場景中，至少一個待識別醫學圖像為對同一物件掃描得到的，故為了便於醫生閱片，在得到每一待識別醫學圖像所屬的掃描圖像類別之後，還可以將至少一個待識別醫學圖像按照其掃描圖像類別進行排序，例如，可以按照T1加權反相成像、T1加權同相成像、造影前平掃、動脈早期、動脈晚期、門脈期、延遲期、T2加權成像、擴散加權成像、表面擴散係數成像的預設順序進行排序，此外，預設順序還可以根據醫生習慣進行設置，在此不做限定，從而能夠提高醫生閱片的便捷性，此外，為了進一步提高閱片的便捷性，還可以將排序後的至少一個待識別醫學圖像在與待識別醫學圖像的數量對應的視窗中予以顯示，例如，待識別醫學圖像的數量為5個，則可以在5個顯示視窗中分別顯示待識別醫學圖像。故此，能夠降低醫生翻閱多個待識別醫學圖像來回對照的時間，提升閱片效率。
在另一個實施場景中，至少一個待識別醫學圖像為對同一物件掃描得到的，故為了在掃描過程中進行品質控制，在得到每一待識別醫學圖像所屬的掃描圖像類別之後，還可以判斷待識別醫學圖像的掃描圖像類別是否存在重複，並在存在重複時，輸出第一預警資訊，以提示掃描人員。例如，若存在兩張掃描圖像類別均為“延遲期”的待識別醫學圖像，則可以認為掃描過程中存在掃描品質不合規的情況，故為了提示掃描人員，可以輸出第一預警消息，具體地，可以輸出預警原因（如，存在掃描圖像類別重複的待識別醫學圖像等）。或者，在得到每一待識別醫學圖像所屬的掃描圖像類別之後，還可以判斷至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別，並在不存在預設掃描圖像類別時，輸出第二預警資訊，以提示掃描人員。例如，預設掃描圖像類別為“門脈期”，若至少一個待識別醫學圖像中不存在掃描圖像類別為“門脈期”的圖像，則可以認為掃描過程中存在掃描品質不合規的情況，故為了提示掃描人員，可以輸出第二預警消息，具體地，可以輸出預警原因（如，待識別醫學圖像中不存在門脈期圖像等）。故此，能夠在掃描過程中實現圖像質控，以在與實際相悖時，能夠及時糾錯，避免病人二次掛號。
上述方案，通過獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域，從而分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠排除其他臟器的干擾，有利於提高識別準確性，並將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，進而每一待識別醫學圖像的個體特徵表示和全域特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性，且通過特徵表示來進行圖像識別，能夠免於人工參與，故能夠提高圖像識別的效率。
請參閱圖3，圖3是圖1中步驟S11一實施例的流程示意圖。具體地，圖3是確定每個待識別醫學圖像中與目標臟器對應的目標區域一實施例的流程示意圖，具體可以包括如下步驟。
步驟S111：利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊。
在一個實施場景中，臟器檢測網路的骨幹網路可以採用efficient net，在其他實施場景中，臟器檢測網路的骨幹網路還可以採用其他網路，在此不做限定。目標臟器可以根據實際情況進行設定，例如，目標臟器可以是肝臟，目標臟器的毗鄰臟器可以包括腎臟、脾臟中的至少一者。
在一個實施場景中，目標臟器的第一位置資訊可以包括目標臟器對應區域的至少一組對角頂點位置（例如，位置座標）和對應區域的尺寸（例如，長度、寬度等），第二位置資訊至少可以包括毗鄰臟器對應區域的至少一個頂點位置（例如，位置座標）。
在一個實施場景中，待識別醫學圖像可以是三維圖像，為了更加準確地確定目標臟器對應的目標區域，可以將每一待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像，並將每一子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像，從而後續能夠基於投影得到的多個二維子圖像進行識別檢測，具體地，可以利用臟器檢測網路對至少一個待識別醫學圖像對應的二維子圖像進行檢測，得到第一位置資訊和第二位置資訊，從而能夠在目標臟器大小異常或經手術干預後目標臟器的形態產生變化時，能夠準確地確定其第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊。例如，目標臟器為肝臟時，當存在肝臟大小異常或經過手術干預後肝臟形態產生變化（如部分缺失）時，肝頂和肝尖的位置並不能穩定體現，故通過對冠狀面上的多個二維子圖像進行臟器檢測，可以結合多個二維子圖像上的檢測結果，得到肝臟的第一位置資訊和腎臟、脾臟等的第二位置資訊，從而能夠有效避免肝尖、肝頂位置不穩定而可能帶來的檢測誤差。
步驟S112：利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域。
通過目標臟器的第一位置資訊和其毗鄰臟器的第二位置資訊，能夠考慮目標臟器和毗鄰臟器在解剖結構上的地理相關性，故利用第一位置資訊和第二位置資訊，能夠準確地確定目標臟器對應的目標區域。例如，以目標臟器是肝臟為例，第一位置資訊可以包括肝臟對應區域的左上、左下頂點、對應區域的高度、寬度，第二位置資訊可以包括脾臟、腎臟等毗鄰臟器對應區域的右下頂點，故根據第一位置資訊和第二位置資訊在待識別醫學圖像上進行裁剪，可以得到肝臟對應的目標區域。其他場景可以以此類推，在此不再一一舉例。
區別於前述實施例，利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器的第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊，故不僅能夠考慮所需識別的目標臟器，還能夠考慮周邊毗鄰臟器，從而利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域，能夠確保在經手術治療等情況下臟器形態發生改變時，也能夠定位得到目標臟器對應的目標區域，故能夠提高圖像識別的魯棒性。
請參閱圖4，圖4是本發明圖像識別裝置40一實施例的框架示意圖。圖像識別裝置40包括區域獲取模組41、特徵提取模組42、融合處理模組43和類別確定模組44，區域獲取模組41配置為獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域；特徵提取模42配置為分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示；融合處理模組43配置為將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示；類別確定模組44配置為利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
上述方案，通過獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個待識別醫學圖像中與目標臟器對應的目標區域，從而分別對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠排除其他臟器的干擾，有利於提高識別準確性，並將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，進而每一待識別醫學圖像的個體特徵表示和全域特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性，且通過特徵表示來進行圖像識別，能夠免於人工參與，故能夠提高圖像識別的效率。
在一些實施例中，融合處理模組43配置為將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到全域特徵表示。
區別於前述實施例，通過將至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，能夠快速方便地得到全域特徵表示，故能夠有利於提高後續圖像識別的效率。
在一些實施例中，融合處理模組43包括第一池化子模組，配置為將至少一個待識別醫學圖像的個體特徵表示進行全域最大池化處理，得到第一全域特徵表示，融合處理模組43包括第二池化子模組，配置為將至少一個待識別醫學圖像的個體特徵表示進行全域平均池化處理，得到第二全域特徵表示，融合處理模組43包括拼接處理子模組，配置為將第一全域特徵表示和第二全域特徵表示進行拼接處理，得到全域特徵表示。
區別於前述實施例，通過將至少一個待識別醫學圖像的個體特徵表示進行全域最大池化處理，得到第一全域特徵表示，並將至少一個待識別醫學圖像的個體特徵表示進行全域平均池化處理，得到第二全域特徵表示，從而將第一全域特徵表示和第二全域特徵表示進行拼接處理，得到全域特徵表示，故能夠有利於後續準確地表示每一待識別醫學圖像與其他待識別醫學圖像之間的差異，從而能夠有利於提高後續圖像識別的準確性。
在一些實施例中，類別確定模組44包括特徵處理子模組和類別確定子模組，特徵處理子模組配置為利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，類別確定子模組配置為利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別。
區別於前述實施例，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示所得到的最終特徵表示，不僅能夠表示待識別醫學圖像自身的特徵，還能夠表示其他待識別醫學圖像的差異，從而在利用每個待識別醫學圖像的最終特徵表示，確定每一待識別醫學圖像所屬的掃描圖像類別時，能夠提高圖像識別的準確性。
在一些實施例中，特徵處理子模組配置為分別將每一待識別醫學圖像的個體特徵表示和全域特徵表示進行拼接處理，得到待識別醫學圖像對應的最終特徵表示。
區別於前述實施例，通過分別將每一待識別醫學圖像的個體特徵表示和全域特徵表示進行拼接處理，能夠快速得到待識別醫學圖像對應的最終特徵表示，故能夠有利於提高後續圖像識別的效率。
在一些實施例中，特徵提取模組42配置為利用識別網路的特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，融合處理模組43配置為利用識別網路的融合模組將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，特徵處理子模組配置為採用識別網路的融合模組利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，類別確定子模組配置為利用識別網路的分類子網路對每一待識別醫學圖像的最終特徵表示進行預測分類，得到每一待識別醫學圖像所屬的掃描圖像類別。
區別於前述實施例，通過利用識別網路的特徵提取子網路對每一目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，並利用識別網路的融合模組將至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，利用每一待識別醫學圖像的個體特徵表示和全域特徵表示，得到每一待識別醫學圖像的最終特徵表示，從而利用識別網路的分類子網路對每一待識別醫學圖像的最終特徵表示進行預測分類，得到每一待識別醫學圖像所屬的掃描圖像類別，故能夠通過識別網路最終獲得待識別醫學圖像所屬的掃描圖像類別，從而能夠進一步提高圖像識別的效率。
在一些實施例中，識別網路是利用樣本醫學圖像訓練得到的，每次訓練識別網路所使用的樣本醫學圖像數量不固定。
區別於前述實施例，每次訓練識別網路採用的樣本醫學圖像的數量並不固定，能夠隨機化樣本醫學圖像的數量，從而能夠有利於在不同機構不同掃描協定下掃描圖像類別有所缺失時，也能夠準確地進行圖像識別，進而能夠提高圖像識別準確性。
在一些實施例中，特徵提取子網路包括至少一組順序連接的稠密卷積塊和池化層；和/或，識別網路包括預設數量個特徵提取子網路，特徵提取模組42配置為將每一目標區域的圖像資料分別輸入對應一個特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示。
區別於前述實施例，特徵提取子網路包括至少一組順序連接的稠密卷積塊和池化層，故通過稠密卷積塊的連接策略，即每一卷積層下的特徵與下一層緊密拼接，並傳遞後後面的每一層，能夠有效的緩解梯度消失問題，且加強特徵傳播以及特徵複用，並能夠極大地減少參數數量；而將識別網路設置為包括預設數量個特徵提取子網路，並將每一目標區域的圖像資料分別輸入對應一個特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示，能夠將至少一個目標區域的圖像資料的特徵提取操作並行處理，故能夠有利於提高圖像識別的效率。
在一些實施例中，區域獲取模組41包括臟器檢測子模組，配置為利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊，區域獲取模組41包括區域確定子模組，配置為利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域。
區別於前述實施例，利用臟器檢測網路分別對至少一個待識別醫學圖像進行檢測，得到目標臟器的第一位置資訊和目標臟器的毗鄰臟器的第二位置資訊，故不僅能夠考慮所需識別的目標臟器，還能夠考慮周邊毗鄰臟器，從而利用第一位置資訊和第二位置資訊，確定目標臟器對應的目標區域，能夠確保在經手術治療等情況下臟器形態發生改變時，也能夠定位得到目標臟器對應的目標區域，故能夠提高圖像識別的魯棒性。
在一些實施例中，待識別醫學圖像為三維圖像，區域獲取模組41還包括圖像劃分子模組，配置為將每一待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像，區域獲取模組41還包括圖像投影子模組，配置為將每一子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像，臟器檢測子模組配置為利用臟器檢測網路對至少一個待識別醫學圖像對應的二維子圖像進行檢測，得到第一位置資訊和第二位置資訊。
區別於前述實施例，在待識別醫學圖像為三維圖像時，將每一待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像，並將每一子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像，從而利用臟器檢測網路對至少一個待識別醫學圖像對應的二維子圖像進行檢測，得到第一位置資訊和第二位置資訊，能夠進一步提高目標臟器對應的目標區域定位的準確性。
在一些實施例中，目標臟器為肝臟，毗鄰臟器包括腎臟、脾臟中的至少一者；和/或，第一位置資訊包括目標臟器對應區域的至少一組對角頂點位置和對應區域的尺寸，第二位置資訊至少包括毗鄰臟器對應區域的至少一個頂點位置。
區別於前述實施例，將目標臟器設置為肝臟，毗鄰臟器設置為包括腎臟、脾臟中的至少一者，能夠有利於定位得到肝臟對應的目標區域；將第一位置資訊設置為包括目標臟器對應區域的至少一組對角頂點位置和對應區域的尺寸，第二位置資訊設置為至少包括毗鄰臟器對應區域的至少一個頂點位置，能夠有利於精確地定位目標臟器對應的目標區域。
在一些實施例中，圖像識別裝置40還包括圖像排序模組，配置為將至少一個待識別醫學圖像按照其掃描圖像類別進行排序；圖像識別裝置40還包括第一輸出模組，配置為在待識別醫學圖像的掃描圖像類別存在重複時，輸出第一預警資訊，以提示掃描人員；圖像識別裝置40還包括第二輸出模組，配置為在至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別時，輸出第二預警資訊，以提示掃描人員。
區別於前述實施例，在確定得到每一待識別醫學圖像所屬的掃描圖像類別之後，執行將至少一個待識別醫學圖像按照其掃描圖像類別進行排序，能夠提高醫生閱片的便捷性；在待識別醫學圖像的掃描圖像類別存在重複時，輸出第一預警資訊，以提示掃描人員，在至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別時，輸出第二預警資訊，以提示掃描人員，能夠在掃描過程中實現圖像質控，以在與實際相悖時，能夠及時糾錯，避免病人二次掛號。
在一些實施例中，圖像識別裝置40還包括預處理模組，配置為對每一目標區域的圖像資料進行預處理，其中，預處理包括以下至少一種：將目標區域的圖像尺寸調整至預設尺寸，將目標區域的圖像強度歸一化至預設範圍。
區別於前述實施例，在特徵提取之前，對每一目標區域的圖像資料進行預處理，且預處理包括以下至少一種：將目標區域的圖像尺寸調整至預設尺寸，將目標區域的圖像強度歸一化至預設範圍，故能夠有利於提高後續圖像識別的準確性。
請參閱圖5，圖5是本發明電子設備50一實施例的框架示意圖。電子設備50包括相互耦接的記憶體51和處理器52，處理器52配置為執行記憶體51中儲存的程式指令，以實現上述任一圖像識別方法實施例的步驟。在一個具體的實施場景中，電子設備50可以包括但不限於：微型電腦、伺服器，此外，電子設備50還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
具體而言，處理器52配置為控制其自身以及記憶體51以實現上述任一圖像識別方法實施例的步驟。處理器52還可以稱為CPU（Central Processing Unit，中央處理單元）。處理器52可能是一種積體電路晶片，具有信號的處理能力。處理器52還可以是通用處理器、數位訊號處理器（Digital Signal Processor, DSP）、專用積體電路（Application Specific Integrated Circuit, ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array, FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器52可以由積體電路晶片共同實現。
上述方案，能夠提高圖像識別的效率和準確性。
請參閱圖6，圖6為本發明電腦可讀儲存介質60一實施例的框架示意圖。電腦可讀儲存介質60儲存有能夠被處理器運行的程式指令601，程式指令601用於實現上述任一圖像識別方法實施例的步驟。
上述方案，能夠提高圖像識別的效率和準確性。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施方式方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。
40:圖像識別裝置 41:區域獲取模組 42:特徵提取模組 43:融合處理模組 44:類別確定模組 50:電子設備 51:記憶體 52:處理器 60:電腦可讀儲存介質 601:程式指令 S11~S14,S111~S112:步驟
圖1是本發明圖像識別方法一實施例的流程示意圖； 圖2是確定待識別醫學圖像所屬的掃描圖像類別過程的狀態示意圖； 圖3是圖1中步驟S11一實施例的流程示意圖； 圖4是本發明圖像識別裝置一實施例的框架示意圖； 圖5是本發明電子設備一實施例的框架示意圖； 圖6是本發明電腦可讀儲存介質一實施例的框架示意圖。
S11~S14:步驟

Claims (15)

  1. 一種圖像識別方法，包括： 獲取至少一個掃描得到的待識別醫學圖像，並分別確定每個所述待識別醫學圖像中與目標臟器對應的目標區域； 分別對每一所述目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示； 將所述至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示； 利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，確定每一所述待識別醫學圖像所屬的掃描圖像類別。
  2. 根據請求項1所述的圖像識別方法，其中，所述將所述至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示包括： 將所述至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到所述全域特徵表示。
  3. 根據請求項2所述的圖像識別方法，其中，所述將所述至少一個待識別醫學圖像的個體特徵表示進行全域池化處理，得到所述全域特徵表示包括： 將所述至少一個待識別醫學圖像的個體特徵表示進行全域最大池化處理，得到第一全域特徵表示；以及， 將所述至少一個待識別醫學圖像的個體特徵表示進行全域平均池化處理，得到第二全域特徵表示； 將所述第一全域特徵表示和所述第二全域特徵表示進行拼接處理，得到所述全域特徵表示。
  4. 根據請求項1所述的圖像識別方法，其中，所述利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，確定所述待識別醫學圖像所屬的掃描圖像類別包括： 利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，得到每一所述待識別醫學圖像的最終特徵表示； 利用每個所述待識別醫學特徵的最終特徵表示，確定每一所述待識別醫學圖像所屬的掃描圖像類別。
  5. 根據請求項4所述的圖像識別方法，其中，所述利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，得到每一所述待識別醫學圖像的最終特徵表示包括： 分別將每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示進行拼接處理，得到所述待識別醫學圖像對應的最終特徵表示。
  6. 根據請求項4所述的圖像識別方法，其中，所述分別對每一所述目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示包括： 利用識別網路的特徵提取子網路對每一所述目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示； 所述將所述至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，得到每一所述待識別醫學圖像的最終特徵表示包括： 利用所述識別網路的融合模組將所述至少一個待識別醫學圖像的個體特徵表示進行融合，得到全域特徵表示，並利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，得到每一所述待識別醫學圖像的最終特徵表示； 所述利用每個所述待識別醫學特徵的最終特徵表示，確定每一所述待識別醫學圖像所屬的掃描圖像類別，包括： 利用所述識別網路的分類子網路對每一所述待識別醫學圖像的最終特徵表示進行預測分類，得到每一所述待識別醫學圖像所屬的掃描圖像類別。
  7. 根據請求項6所述的圖像識別方法，其中，所述識別網路是利用樣本醫學圖像訓練得到的，每次訓練所述識別網路所使用的所述樣本醫學圖像數量不固定。
  8. 根據請求項6或7所述的圖像識別方法，其中，所述特徵提取子網路包括至少一組順序連接的稠密卷積塊和池化層；和/或， 所述識別網路包括預設數量個特徵提取子網路；所述利用識別網路的特徵提取子網路對每一所述目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示包括： 將每一所述目標區域的圖像資料分別輸入對應一個所述特徵提取子網路進行特徵提取，得到每個待識別醫學圖像的個體特徵表示。
  9. 根據請求項1至7中任一項所述的圖像識別方法，其中，所述分別確定每個所述待識別醫學圖像中與目標臟器對應的目標區域包括： 利用臟器檢測網路分別對所述至少一個待識別醫學圖像進行檢測，得到所述目標臟器第一位置資訊和所述目標臟器的毗鄰臟器的第二位置資訊； 利用所述第一位置資訊和所述第二位置資訊，確定所述目標臟器對應的目標區域。
  10. 根據請求項9所述的圖像識別方法，其中，所述待識別醫學圖像為三維圖像，所述利用臟器檢測網路分別對所述至少一個待識別醫學圖像進行檢測，得到所述目標臟器第一位置資訊和所述目標臟器的毗鄰臟器的第二位置資訊之前，所述方法還包括： 將每一所述待識別醫學圖像沿冠狀面進行劃分，得到多個三維子圖像； 將每一所述子圖像沿垂直於冠狀面的方向進行投影，得到對應的二維子圖像； 所述利用臟器檢測網路分別對所述至少一個待識別醫學圖像進行檢測，得到所述目標臟器第一位置資訊和所述目標臟器的毗鄰臟器的第二位置資訊包括： 利用所述臟器檢測網路對所述至少一個待識別醫學圖像對應的所述二維子圖像進行檢測，得到所述第一位置資訊和所述第二位置資訊。
  11. 根據請求項9所述的圖像識別方法，其中，所述目標臟器為肝臟，所述毗鄰臟器包括腎臟、脾臟中的至少一者；和/或， 所述第一位置資訊包括所述目標臟器對應區域的至少一組對角頂點位置和對應區域的尺寸，所述第二位置資訊至少包括所述毗鄰臟器對應區域的至少一個頂點位置。
  12. 根據請求項1至7中任一項所述的圖像識別方法，其中，所述利用每一所述待識別醫學圖像的個體特徵表示和所述全域特徵表示，確定每一所述待識別醫學圖像所屬的掃描圖像類別之後，所述方法還包括以下至少一者： 將所述至少一個待識別醫學圖像按照其掃描圖像類別進行排序； 若所述待識別醫學圖像的掃描圖像類別存在重複，則輸出第一預警資訊，以提示掃描人員； 若所述至少一個待識別醫學圖像的掃描圖像類別中不存在預設掃描圖像類別，則輸出第二預警資訊，以提示掃描人員。
  13. 根據請求項1至7中任一項所述的圖像識別方法，其中，所述分別對每一所述目標區域的圖像資料進行特徵提取，得到每個待識別醫學圖像的個體特徵表示之前，所述方法還包括： 對每一所述目標區域的圖像資料進行預處理，其中，所述預處理包括以下至少一種：將所述目標區域的圖像尺寸調整至預設尺寸，將所述目標區域的圖像強度歸一化至預設範圍。
  14. 一種電子設備，包括相互耦接的記憶體和處理器，所述處理器配置為執行所述記憶體中儲存的程式指令，以實現請求項1至13任一項所述的圖像識別方法。
  15. 一種電腦可讀儲存介質，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至13任一項所述的圖像識別方法。
TW110109423A 2020-03-31 2021-03-16 圖像識別方法、電子設備和電腦可讀儲存介質 TWI776426B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010246970.5A CN111507381B (zh) 2020-03-31 2020-03-31 图像识别方法及相关装置、设备
CN202010246970.5 2020-03-31

Publications (2)

Publication Number Publication Date
TW202139208A true TW202139208A (zh) 2021-10-16
TWI776426B TWI776426B (zh) 2022-09-01

Family

ID=71874107

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109423A TWI776426B (zh) 2020-03-31 2021-03-16 圖像識別方法、電子設備和電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022539162A (zh)
KR (1) KR20220031695A (zh)
CN (1) CN111507381B (zh)
TW (1) TWI776426B (zh)
WO (1) WO2021196955A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112464701B (zh) * 2020-08-26 2023-06-30 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN112633086B (zh) * 2020-12-09 2024-01-26 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN113065017A (zh) * 2021-03-30 2021-07-02 上海商汤智能科技有限公司 医学图像显示方法及相关装置、设备、存储介质
CN113362314B (zh) * 2021-06-18 2022-10-18 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113361637A (zh) * 2021-06-30 2021-09-07 杭州东方通信软件技术有限公司 基站机房的安全隐患识别方法及装置
CN113516758B (zh) * 2021-07-07 2024-10-29 上海商汤善萃医疗科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN114049937B (zh) * 2021-11-22 2024-07-23 上海商汤善萃医疗科技有限公司 图像评测方法及相关装置、电子设备和存储介质
CN114154512A (zh) * 2021-12-09 2022-03-08 京东科技信息技术有限公司 小样本学习处理方法、装置、设备及存储介质
CN114332032A (zh) * 2021-12-30 2022-04-12 上海商汤智能科技有限公司 图像识别方法、装置、电子设备及存储介质
CN114529710A (zh) * 2021-12-31 2022-05-24 谢传淼 目标区域检测方法、装置及电子设备
CN114663715B (zh) * 2022-05-26 2022-08-26 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN115082772B (zh) * 2022-07-19 2022-11-11 小米汽车科技有限公司 地点识别方法、装置、车辆、存储介质及芯片
CN115294110B (zh) * 2022-09-30 2023-01-06 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027546B2 (ja) * 2011-12-21 2016-11-16 株式会社日立製作所 医用画像診断装置及び医用画像診断装置を用いた位相決定方法
KR20150002284A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 병변 검출 장치 및 방법
US11238975B2 (en) * 2014-04-02 2022-02-01 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for classifying kidneys
US10169863B2 (en) * 2015-06-12 2019-01-01 International Business Machines Corporation Methods and systems for automatically determining a clinical image or portion thereof for display to a diagnosing physician
CN106204587B (zh) * 2016-05-27 2019-01-08 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络和区域竞争模型的多器官分割方法
EP3633612A4 (en) * 2017-06-30 2020-06-03 Shanghai United Imaging Healthcare Co., Ltd. IMAGE SEGMENTATION METHOD AND SYSTEM
WO2019108695A1 (en) * 2017-11-30 2019-06-06 Nantomics, Llc Detecting intratumor heterogeneity of molecular subtypes in pathology slide images using deep-learning
CN111954907A (zh) * 2018-03-08 2020-11-17 皇家飞利浦有限公司 基于机器学习的血管成像中的分辨和操纵决策焦点
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110335259B (zh) * 2019-06-25 2021-08-31 腾讯科技（深圳）有限公司 一种医学影像识别方法、装置和存储介质
CN110675940A (zh) * 2019-08-01 2020-01-10 平安科技（深圳）有限公司 病理图像标注方法、装置、计算机设备及存储介质
CN110570483B (zh) * 2019-08-08 2023-12-22 上海联影智能医疗科技有限公司 扫描方法、装置、计算机设备和存储介质
CN110503642B (zh) * 2019-08-23 2021-10-29 强联智创（北京）科技有限公司 一种基于dsa图像的定位方法及系统
CN110852987B (zh) * 2019-09-24 2022-04-22 西安交通大学 基于深形态学的血管斑块检测方法、设备及存储介质
CN110752028A (zh) * 2019-10-21 2020-02-04 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备以及存储介质
CN110866897B (zh) * 2019-10-30 2022-10-14 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备

Also Published As

Publication number Publication date
KR20220031695A (ko) 2022-03-11
JP2022539162A (ja) 2022-09-07
TWI776426B (zh) 2022-09-01
CN111507381B (zh) 2024-04-02
CN111507381A (zh) 2020-08-07
WO2021196955A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
TWI776426B (zh) 圖像識別方法、電子設備和電腦可讀儲存介質
CN110766730B (zh) 图像配准及随访评估方法、存储介质及计算机设备
WO2022062590A1 (zh) 图像识别方法及装置、设备、存储介质和程序
US9619890B2 (en) System and method for annotating images by propagating information
CN108986115B (zh) 医学图像分割方法、装置及智能终端
US20060188139A1 (en) Tree structure based 2D to 3D registration
CN111340756B (zh) 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
WO2019223123A1 (zh) 病变部位识别方法及装置、计算机装置及可读存储介质
Yao et al. Advances on pancreas segmentation: a review
Sousa et al. ALTIS: A fast and automatic lung and trachea CT‐image segmentation method
CN112329844A (zh) 图像目标分类方法及相关装置、设备、存储介质
Zhu et al. FCN based label correction for multi-atlas guided organ segmentation
Haq et al. Dynamic multiatlas selection‐based consensus segmentation of head and neck structures from CT images
Guo et al. Portal vein and hepatic vein segmentation in multi-phase MR images using flow-guided change detection
CN111598144B (zh) 图像识别模型的训练方法和装置
CN111476802B (zh) 一种医学图像分割与肿瘤检测方法，设备及可读存储介质
Chupin et al. Fully automatic segmentation of the hippocampus and the amygdala from MRI using hybrid prior knowledge
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
Ying et al. Two fully automated data-driven 3D whole-breast segmentation strategies in MRI for MR-based breast density using image registration and U-Net with a focus on reproducibility
WO2019223121A1 (zh) 病变部位识别方法及装置、计算机装置及可读存储介质
Dzyubachyk et al. Inter‐station intensity standardization for whole‐body MR data
Shi et al. Pulmonary nodule registration in serial CT scans based on rib anatomy and nodule template matching
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
Kaur et al. Systematic survey on generative adversarial networks for brain tumor segmentation and classification

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent