TW202219832A - 圖像目標分類方法、電子設備及電腦可讀儲存介質 - Google Patents

Abstract

本實施例公開了一種圖像目標分類方法、電子設備及電腦可讀儲存介質，其中，圖像目標分類方法包括：獲取包含目標對象的至少一張待分類圖像，其中，所述至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像；利用分類模型，對所述至少一張待分類圖像進行目標分類，得到目標對象的類型。上述方案可以應用於包含腫瘤的至少一種期像醫學圖像中，以確定醫學圖像中的腫瘤的類型，即能夠實現智慧化目標分類，提高目標分類效率。

Description

圖像目標分類方法、電子設備及電腦可讀儲存介質

本發明關於圖像處理技術領域，特別是涉及一種圖像目標分類方法、電子設備及電腦可讀儲存介質。

電腦斷層掃描（Computed Tomography，CT）和核磁共振（Magnetic Resonance）等醫學圖像在臨床具有重要意義。以與肝臟相關的臨床為例，掃描圖像類別往往包括與時序有關的造影前平掃、動脈早期、動脈晚期、門脈期以及延遲期等，此外，掃描圖像類別還可以包含與掃描參數有關的T1加權反相成像、T1加權同相成像、T2加權成像、擴散加權成像以及表面擴散係數成像等。通過對醫學圖像的判別，有助於臨床醫生對疾病的瞭解。

相關技術中，在疾病診療過程中，通常需要醫生反復查看腫瘤等目標對象在醫學圖像上的徵象，這樣使得確定腫瘤所屬類型過度依賴於醫生的專業水準，同時存在確定腫瘤所屬類型效率低下的問題。

本發明至少提供一種圖像目標分類方法、電子設備及電腦可讀儲存介質。

本發明實施例提供了一種圖像目標分類方法，該圖像目標分類方法包括： 獲取包含目標對象的至少一張待分類圖像，其中，所述至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像； 利用分類模型，對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型。如此，獲取包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，由於利用分類模型對待分類圖像進行目標分類，實現了智慧化目標分類，且無需人工進行目標分類，可減小對人工依賴，提高目標分類效率。

在本發明的一些實施例中，所述對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型，包括： 對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，每組所述初始特徵資訊的尺寸不同； 基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊； 對所述最終特徵資訊進行分類，得到所述目標對象的類型。

如此，通過特徵提取得到初始特徵資訊，從而基於初始特徵資訊得到最終特徵資訊後，則可對最終特徵資訊進行分類，得到目標對象的類型，故實現了利用目標對象的特徵資訊進行目標分類。

在本發明的一些實施例中，所述對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型之前，所述方法還包括： 基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域； 相應地，所述對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊，包括： 利用所述最終區域對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，在特徵提取過程中，所述待分類圖像中對應所述最終區域的權重高於所述待分類圖像中其他區域的權重；和/或，所述初始特徵資訊中對應所述最終區域的特徵比其他區域的特徵更豐富。

如此，利用最終區域對待分類圖像進行特徵提取時，待分類圖像中對應最終區域的權重高於待分類圖像中其他區域的權重，故使得分類模型趨向於對最終區域提取細節更豐富的特徵；和/或，初始特徵資訊中對應最終區域的特徵比其他區域的特徵更豐富；由此使得分類模型利用待分類圖像的初始特徵資訊，能夠更能學習到目標對象本身的特徵資訊，在一定程度上減小目標對象周圍雜訊干擾對目標分類的影響。

在本發明的一些實施例中，所述基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域，包括： 獲取所述至少一張待分類圖像中所述目標對象對應的初始區域的並集，以作為所述目標對象的最終區域。

如此，在目標對象的最終區域是待分類圖像中目標對象的初始區域的並集的情況下，最終區域大於或等於任意一個初始區域，保證目標對象的最終區域能夠包含不同待分類圖像中的目標對象對應區域，從而在對待分類圖像進行特徵提取時，能夠盡可能關注目標對象的特徵資訊。

在本發明的一些實施例中，所述至少一張待分類圖像包括未標注所述目標對象的初始區域的第一待分類圖像和標注所述目標對象的初始區域的第二待分類圖像；所述基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域之前，所述方法還包括： 利用所述分類模型檢測到所述第一待分類圖像未標注有所述目標對象的初始區域，並基於所述第二待分類圖像上標注的所述目標對象的初始區域以及所述第二待分類圖像與所述第一待分類圖像的配準關係，確定所述第一待分類圖像上所述目標對象的初始區域。

如此，可以利用分類模型為未標注目標對象初始區域的第一待分類圖像確定目標對象的初始區域，從而補齊標注，使得待分類圖像中均包括初始區域。

在本發明的一些實施例中，所述基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊之前，所述方法還包括： 將每組所述初始特徵資訊轉換為預設維度；和/或， 所述基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊，包括： 利用所述至少一組初始特徵資訊的權重，將所述至少一組初始特徵資訊進行融合，得到所述最終特徵資訊。

如此，將每組初始特徵資訊統一轉換為預設維度，方便後續最終特徵資訊的獲取。另外，由於每組初始特徵資訊均反映了目標對象的特徵，可以利用至少一組初始特徵資訊的權重，將至少一層特徵提取的不同尺寸的初始特徵資訊進行融合，得到最終特徵資訊，考慮較小尺寸的初始特徵資訊可能被壓縮掉重要特徵，通過綜合不同尺寸的特徵資訊，能夠得到較為綜合和有用的最終特徵資訊，進而提高後續分類性能。

在本發明的一些實施例中，每組所述初始特徵資訊的權重是在所述分類模型訓練過程確定的。

如此，通過分類模型的反覆運算訓練，來確定用於融合的初始特徵資訊的權重，以使得利用該權重融合得到的最終特徵資訊更能反映目標對象特徵，進一步提高分類性能。

在本發明的一些實施例中，所述預設維度為一維。

如此，可將每組初始特徵資訊轉換為一維，實現資料統一化，而且便於後續融合。

在本發明的一些實施例中，所述分類模型在訓練過程中採用ArcFace損失函數確定所述分類模型的損失值；和/或，所述分類模型每次訓練選擇的批樣本資料是利用資料生成器從樣本資料集中選擇的不同目標類型的數量為預設比例的樣本資料。

如此，採用ArcFace損失函數確定分類模型的損失值，可使得同類目標對象的特徵資訊聚合、不同類目標對象的特徵資訊遠離，進而提高目標對象的分類性能。另外，利用資料生成器從樣本資料集中選擇樣本資料，將不同目標類型的數量為預設比例的樣本資料作為批樣本資料，使得訓練分類模型的批樣本資料的目標類型更均衡。

在本發明的一些實施例中，所述獲取包含目標對象的至少一張待分類圖像，包括： 分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像。

如此，實現待分類圖像的獲取，而且待分類圖像可從原始醫學圖像中提取得到，相比直接採用原始醫學圖像，減少後續分類的圖像尺寸，而且可一定程度上避免原始醫學圖像中的一些背景雜訊，故可減少後續分類的處理資源損耗，且提高分類性能。

在本發明的一些實施例中，所述分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像，包括： 確定所述原始醫學圖像中所述目標對象的初始區域，按照所述預設比例擴大所述初始區域，得到待提取區域； 從所述原始醫學圖像中提取所述待提取區域中的圖像資料，得到所述待分類圖像。

如此，初始區域是包含目標對象的區域，而按照預設比例擴大目標對象的初始區域，使得得到的待提取區域既包含目標對象，又包含目標對象周圍的部分背景資訊，以便將待提取區域中的圖像資料提取作為待分類圖像後，待分類圖像能夠囊括目標對象和部分背景資訊。

在本發明的一些實施例中，所述分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像之前，所述方法還包括以下至少一個步驟： 將所述原始醫學圖像重採樣至預設解析度； 調整所述原始醫學圖像中的圖元值範圍； 將所述原始醫學圖像進行歸一化處理； 檢測到第一原始醫學圖像未標注有所述目標對象的初始區域，利用第二原始醫學圖像上標注的所述目標對象的初始區域以及所述第二原始醫學圖像與所述第一原始醫學圖像的配準關係，確定所述第一原始醫學圖像上所述目標對象的初始區域。

如此，通過統一解析度、調整圖元值範圍、歸一化處理、以及確定目標對象的初始區域等操作，可在從原始醫學圖像提取待分類圖像之前，對原始醫學圖像進行預處理，統一待分類圖像的圖像參數，提高待分類圖像的品質。

在本發明的一些實施例中，所述原始醫學圖像和所述待分類圖像為二維圖像；或者，所述原始醫學圖像為三維圖像，所述待分類圖像為二維圖像或三維圖像。

如此，待分類圖像是從原始醫學圖像中提取得到的，在原始醫學圖像為二維圖像的情況下，待分類圖像為二維圖像；而在原始醫學圖像為三維圖像的情況下，待分類圖像的維度可以為二維或三維。

在本發明的一些實施例中，所述原始醫學圖像為三維圖像，所述待分類圖像為對所述原始醫學圖像中所述目標對象最大面積所在層提取得到的二維圖像。

如此，在原始醫學圖像為三維圖像、待分類圖形為二維圖像的情況下，可以提取原始醫學圖像中目標對象最大面積所在層作為待分類圖像，使得待分類圖像中目標對象的提取範圍較大，包含目標對象的資訊更多，提高目標對象的分類精度。

以下裝置、電子設備等的效果描述參見上述方法的說明，這裡不再贅述。

本發明實施例還提供了一種圖像目標分類裝置，該圖像目標分類裝置包括： 圖像獲取模組，配置為獲取包含目標對象的至少一張待分類圖像，其中，所述至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像； 目標分類別模組，配置為利用分類模型，對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型。

在本發明的一些實施例中，目標分類別模組，配置為： 對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，每組所述初始特徵資訊的尺寸不同； 基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊； 對所述最終特徵資訊進行分類，得到所述目標對象的類型。

在本發明的一些實施例中，目標分類別模組，配置為： 基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域； 相應地，目標分類別模組，配置為： 利用所述最終區域對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，在特徵提取過程中，所述待分類圖像中對應所述最終區域的權重高於所述待分類圖像中其他區域的權重；和/或，所述初始特徵資訊中對應所述最終區域的特徵比其他區域的特徵更豐富。

在本發明的一些實施例中，目標分類別模組，配置為： 獲取所述至少一張待分類圖像中所述目標對象對應的初始區域的並集，以作為所述目標對象的最終區域。

在本發明的一些實施例中，目標分類別模組，配置為： 利用所述分類模型檢測到所述第一待分類圖像未標注有所述目標對象的初始區域，並基於所述第二待分類圖像上標注的所述目標對象的初始區域以及所述第二待分類圖像與所述第一待分類圖像的配準關係，確定所述第一待分類圖像上所述目標對象的初始區域。

在本發明的一些實施例中，目標分類別模組，配置為： 將每組所述初始特徵資訊轉換為預設維度；和/或， 目標分類別模組，配置為： 利用所述至少一組初始特徵資訊的權重，將所述至少一組初始特徵資訊進行融合，得到所述最終特徵資訊。

在本發明的一些實施例中，每組所述初始特徵資訊的權重是在所述分類模型訓練過程確定的。

在本發明的一些實施例中，所述預設維度為一維。

在本發明的一些實施例中，所述分類模型在訓練過程中採用ArcFace損失函數確定所述分類模型的損失值；和/或，所述分類模型每次訓練選擇的批樣本資料是利用資料生成器從樣本資料集中選擇的不同目標類型的數量為預設比例的樣本資料。

在本發明的一些實施例中，圖像獲取模組，配置為： 分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像。

在本發明的一些實施例中，圖像獲取模組，配置為： 確定所述原始醫學圖像中所述目標對象的初始區域，按照所述預設比例擴大所述初始區域，得到待提取區域； 從所述原始醫學圖像中提取所述待提取區域中的圖像資料，得到所述待分類圖像。

在本發明的一些實施例中，圖像獲取模組，配置為： 將所述原始醫學圖像重採樣至預設解析度； 調整所述原始醫學圖像中的圖元值範圍； 將所述原始醫學圖像進行歸一化處理； 檢測到第一原始醫學圖像未標注有所述目標對象的初始區域，利用第二原始醫學圖像上標注的所述目標對象的初始區域以及所述第二原始醫學圖像與所述第一原始醫學圖像的配準關係，確定所述第一原始醫學圖像上所述目標對象的初始區域。

在本發明的一些實施例中，所述原始醫學圖像和所述待分類圖像為二維圖像；或者，所述原始醫學圖像為三維圖像，所述待分類圖像為二維圖像或三維圖像。

在本發明的一些實施例中，所述原始醫學圖像為三維圖像，所述待分類圖像為對所述原始醫學圖像中所述目標對象最大面積所在層提取得到的二維圖像。

本發明實施例還提供了一種電子設備，包括相互耦接的記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現如前任一實施例提供的圖像目標分類方法。

本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行如前任一實施例提供的圖像目標分類方法。

本發明實施例還提供了一種電腦程式，所述電腦程式包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備的處理器執行如前任一實施例所述的圖像目標分類方法。

本發明實施例提供的一種圖像目標分類方法、電子設備及電腦可讀儲存介質，獲取包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，因此提出基於人工智慧技術的圖像目標分類方法，實現智慧化目標分類。由於利用分類模型對待分類圖像進行目標分類，不僅使得目標分類過程更加簡單，減小對醫生的依賴，提高目標分類速度和準確性，而且結合人工智慧技術實現目標分類，以便輔助醫生進行智慧化疾病診療。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。

下面結合說明書附圖，對本發明實施例的方案進行詳細說明。

以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明。

本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多張元素。

相關技術中，基於CT和MR的三維成像技術在醫學影像學診斷中起到至關重要的作用，是診斷例如肝臟疾病的主要影像檢查方法之一。以肝臟腫瘤的診斷為例，CT檢查的掃描序列主要包括平掃期、動態增強期、動脈期、門靜脈期和延遲期。其中平掃期一般用來觀察肝表面的變化，是否存在脂肪肝，肝纖維化，肝硬化等病變。動態增強的幾個期像可顯示病變的具體圖像特徵。以肝細胞癌（Hepatocellular Carcinoma HCC）為例，HCC主要發生在慢性肝病和肝硬化患者，可以從平掃期觀察到相應的肝表面形態的變化，同時該腫瘤在平掃期一般變現為低密度或與肝實質等密度；在增強掃描之後，HCC在各期像上表現為：動脈期明顯強化或不均勻強化，並伴有低密度包膜；門靜脈期對比劑流出，同時顯示增強的包膜；延遲期則呈現延遲增強的包膜。因此在一種可行的實施方式中，可通過識別目標腫瘤在多個期像所表現出的影像特徵，判斷它是否是HCC。相較於通過單一期像做出的判斷準確率更高，因為富血供的小肝轉移瘤，在平掃期和動脈期的圖像特徵和小HCC的特徵類似，針對多期像的圖像做分類任務，可以進一步提升圖像分類的準確率。

臨床上對於肝腫瘤類型的診斷主要通過兩種方式：一是影像科醫生反復查看腫瘤在CT或MR多期像圖像上的徵象，進而在診斷報告裡給出腫瘤的良惡性分型或者具體腫瘤分型，這個過程會花費醫生一定的時間，反復對比序列間腫瘤的影像特徵，可能會花費3至5分鐘。二是採集腫瘤病灶標本進行病理診斷，樣本處理複雜且消耗時長，可能會花2至3天的時間。為提高醫生閱片效率，提供一種結合人工智慧技術來實現腫瘤的輔助智慧診斷。

其中，醫學圖像分析普遍存在標注資料少，任務複雜且困難等問題，同時為了更好地表徵病變，需要分析序列之間的相關性。這些問題的存在一定程度上限制了深度學習網路的複雜性和深度，需要引入一些其他的策略來解決醫學圖像分析任務。以肝臟腫瘤分類問題為例，腫瘤本身的影像特徵是判斷其類型的主要依據，而目標腫瘤周邊可能存在多種雜訊，會誤導深度學習網路學習到一些錯誤的特徵；肝臟腫瘤大小不一，小則0.5cm以下，大則20cm以上，需要網路能夠考慮到肝臟腫瘤的這個特徵，在確保高精準的大腫瘤分類識別的基礎上，提高小腫瘤的識別能力；局限於CT掃描圖像的解析度，肝腫瘤的影像特徵不一定很明顯。肝腫瘤分類任務中存在很多困難，需要引入一定的策略來學習更好的特徵表示，從而實現同類樣本聚集，異類樣本遠離。

基於上述研究，本發明至少提供一種圖像目標分類方法，該方法利用分類模型對待分類圖像進行目標分類，不僅使得目標分類過程更加簡單，減小對醫生的依賴，提高目標分類速度和準確性，而且結合人工智慧技術實現目標分類，以便輔助醫生進行智慧化疾病診療。

請參閱圖1，圖1是本發明實施例提供的在一種圖像目標分類方法的流程示意圖。具體而言，可以包括如下步驟。

步驟S11：獲取包含目標對象的至少一張待分類圖像。

其中，至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像。

本發明實施例中，待分類圖像可以為醫學圖像，包括但不限於CT圖像、MR圖像，在此不做限定。待分類圖像可以均為CT圖像，可以均為MR圖像，還可以一部分為CT圖像、一部分為MR圖像，在此不作具體限定。在醫學影像學診斷中，CT圖像、MR圖像是多期像或多序列成像，每個期像或序列顯示出目標對象所在區域或其他區域的不同影像資訊，多個期像或序列的特徵進行有效地結合，能夠更精準地明確病變性質。

待分類圖像可以是對腹部、胸部等區域進行掃描得到的。例如，對腹部進行掃描得到的待分類圖像可以包括肝臟、脾臟、腎臟等組織器官，對胸部進行掃描得到的待分類圖像可以包括心臟、肺等組織器官，具體可以根據實際應用情況掃描得到待分類圖像，在此不做限定。目標對象可以但不限於是肝臟腫瘤等需要利用本發明實施例的圖像目標分類方法進行分類的對象。

至少一張待分類圖像可以為屬於至少一種掃描圖像類別的醫學圖像。不同掃描圖像類別的醫學圖像可用於顯示目標對象不同的特徵資訊，因此可提高圖像目標分類的精準度。在一些公開實施例中，掃描圖像類別也可以稱為上述描述的期像和/或序列。不同掃描圖像類別的圖像可以是與時序有關和/或與掃描參數有關的圖像。例如，掃描圖像類別可以包括與時序有關的造影前平掃、動脈早期、動脈晚期、門脈期以及延遲期等；或者，掃描圖像類別還可以包括與掃描參數有關的T1加權反相成像、T1加權同相成像、T2加權成像、擴散加權成像以及表面擴散係數成像等。

以肝臟為例，動脈早期可以表示門靜脈尚未增強，動脈晚期可以表示門靜脈已被增強，門脈期可以表示門靜脈已充分增強且肝臟血管已被前向性血流增強、肝臟軟細胞組織在標記物下已達到峰值，延遲期可以表示門脈和動脈處於增強狀態並弱於門脈期、且肝臟軟細胞組織處於增強狀態並弱於門脈期，其他掃描圖像類別在此不再一一舉例。在待分類圖像為對其他臟器掃描得到的醫學圖像時，可以以此類推，在此不再一一舉例。

步驟S12：利用分類模型，對至少一張待分類圖像進行目標分類，得到目標對象的類型。

獲取到包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，即可得到目標對象的類型。

在一公開實施例中，分類模型對至少一張待分類圖像進行目標分類，得到目標對象屬於不同類型的概率，將滿足預設概率條件的類型作為目標對象的類型。預設概率條件包括但不限於概率值最大等。目標對象屬於不同類型的概率可以是分類模型訓練得到的。分類模型每次訓練選擇的批樣本資料是利用資料生成器從樣本資料集中選擇的不同目標類型的數量為預設比例的樣本資料。由於資料生成器隨機選擇包含等比例的不同目標類型的樣本資料作為批樣本資料，以免因某目標類型的樣本資料出現太少而導致分類性能不均衡，因此，分類模型對至少一張待分類圖像進行目標分類是通過大量批樣本資料訓練得到的，可以提高分類模型的分類性能。利用分類模型得到目標對象的類型，可輔助醫生對目標對象的類型的確定，節省醫生審閱待分類圖像的時間，進而能夠加快報告的輸出。

在一公開實施例中，對至少一張待分類圖像進行目標分類，得到目標對象的類型時，對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊；對最終特徵資訊進行分類，得到目標對象的類型。

對至少一張待分類圖像進行特徵提取時，特徵提取的層數可以為一層、兩層甚至更多層。對至少一張待分類圖像進行特徵提取時，具體對哪些層進行特徵提取可以通過人為設置獲取得到、也可以是在訓練分類模型時通過大量實驗確定的，在此不作具體限定。對至少一張待分類圖像進行一層特徵提取，則對應得到一組初始特徵資訊。對至少一張待分類圖像進行多層特徵提取，則對應得到多組初始特徵資訊，其中，多層特徵提取可以是連續的，也可以是間斷的。初始特徵資訊可以為目標對象的特徵圖，反映目標對象在待分類圖像中的特徵資訊。在一公開實施例中，分類模型為深度學習網路，該深度學習網路可包括編碼器（encoder）或其變種、Resnet或者其變種，可以是神經網路（Visual Geometry Group Network，VGG）16或者其變種，也可以是其他的用於分類的網路模型結構。分類模型通過卷積層對至少一張待分類圖像進行特徵提取，不同卷積層對應不同層特徵提取，得到不同組初始特徵資訊。

上述方案，獲取包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，因此提出基於人工智慧技術的圖像目標分類方法，實現了智慧化目標分類，且無需人工進行目標分類，可減小對人工依賴，提高目標分類效率。

在一應用實施例中，為實現肝臟腫瘤的分類，獲取包括肝臟腫瘤的至少一張待分類圖像，利用分類模型對至少一張待分類圖像進行目標分類，得到肝臟腫瘤的類型，無需人工對待分類圖像進行分類，利用分類模型即可實現肝臟腫瘤的分類，以便醫生獲取到肝臟腫瘤的類型。

圖2為可以應用本發明實施例的圖像目標分類方法的一種系統架構示意圖；如圖2所示，該系統架構中包括：圖像獲取終端201、網路202和目標分類終端203。為實現支撐一個示例性應用，圖像獲取終端201和目標分類終端203通過網路202建立通信連接，圖像獲取終端201通過網路202向目標分類終端203上報包含目標對象的至少一張待分類圖像，目標分類終端203響應於接收到的至少一張待分類圖像，並利用分類模型，對至少一張待分類圖像進行目標分類，得到目標對象的類型。最後，目標分類終端203將目標對象的類型上傳至網路202，並通過網路202發送給圖像獲取終端201。

作為示例，圖像獲取終端201可以包括圖像採集設備，目標分類終端203可以包括具有視覺資訊處理能力的視覺處理設備或遠端伺服器。網路202可以採用有線或無線連接方式。其中，當目標分類終端203為視覺處理設備時，圖像獲取終端201可以通過有線連接的方式與視覺處理設備通信連接，例如通過匯流排進行資料通信；當目標分類終端203為遠端伺服器時，圖像獲取終端201可以通過無線網路與遠端伺服器進行資料交互。

或者，在一些場景中，圖像獲取終端201可以是帶有圖像採集模組的視覺處理設備，具體實現為帶有攝像頭的主機。這時，本發明實施例的圖像目標分類方法可以由圖像獲取終端201執行，上述系統架構可以不包含網路202和目標分類終端203。

為了使至少一張待分類圖像更加統一，在從原始醫學圖像中提取得到待分類圖像之前，可以對原始醫學圖像進行圖像預處理，進而分別從多張原始醫學圖像提取得到包含目標對象的待分類圖像，以獲取包含目標對象的至少一張待分類圖像。請參閱圖3，圖3是本發明實施例提供的一種獲取至少一張待分類圖像的流程示意圖。具體而言，可以包括如下步驟：

步驟S111：將原始醫學圖像重採樣至預設解析度。

預設解析度的大小可自訂設置，可根據不同目標對象設置與目標對象對應的預設解析度，從而將原始醫學圖像的解析度統一至圖像效果最佳的解析度。

步驟S112：調整原始醫學圖像中的圖元值範圍。

通過調整原始醫學圖像的圖元值範圍，使原始醫學圖像的亮度和顏色更容易顯示目標對象。原始醫學圖像的類別包括但不限於包括但不限於CT圖像、MR圖像等能夠反映目標對象特徵資訊的圖像，在此不做限定。若原始醫學圖像為CT圖像，則可統一原始醫學圖像至預設窗寬窗位；若原始醫學圖像為MR圖像，由於MR圖像圖元分佈的動態範圍變化較大，在本發明的一個實施場景中，可以採用灰度累積分佈函數下的預設比例（例如，99.9%）對應的灰度值作為歸一化的預處理鉗位值，從而能夠加強MR圖像資料的對比度，有利於提升後續圖像目標分類的準確性。

步驟S113：將原始醫學圖像進行歸一化處理。

在一公開實施例中，可以對原始醫學圖像進行歸一化處理。歸一化處理包括但不限於將原始醫學圖像的強度或者圖元值歸一化到預設範圍（例如，0至1的範圍）。

步驟S114：檢測到第一原始醫學圖像未標注有目標對象的初始區域，利用第二原始醫學圖像上標注的目標對象的初始區域以及第二原始醫學圖像與第一原始醫學圖像的配準關係，確定第一原始醫學圖像上目標對象的初始區域。

在本發明的一些實施例中，可能並非所有原始醫學圖像均標注有目標對象的初始區域，因此，為了利用更多包含目標對象的待分類圖像進行圖像目標分類，提高圖像目標分類的準確性，可補齊原始醫學圖像的初始區域。在檢測到第一原始醫學圖像未標注有目標對象的初始區域，利用第二原始醫學圖像上標注的目標對象的初始區域以及第二原始醫學圖像與第一原始醫學圖像的配準關係，確定第一原始醫學圖像上目標對象的初始區域。在一公開實施例中，為了提升確定目標對象的初始區域的便利性，可以利用配準網路進行上述確定第一原始醫學圖像上目標對象的初始區域的步驟。

在分別從多張原始醫學圖像提取得到包含目標對象的待分類圖像之前，圖像目標分類方法可包括上述步驟S111至步驟S114的若干個步驟，上述步驟S111至步驟S114僅是示例性說明，在一公開實施例中可根據需要選取若干個步驟對原始醫學圖像進行預處理，也即上述步驟S111至步驟S114的個數可任意選擇，在此不作具體限定。通過統一解析度、調整圖元值範圍、歸一化處理、以及確定目標對象的初始區域等操作，可在從原始醫學圖像提取待分類圖像之前，對原始醫學圖像進行預處理，統一待分類圖像的圖像參數，提高待分類圖像的品質。

在對原始醫學圖像進行預處理後，即可分別從多張原始醫學圖像提取得到包含目標對象的待分類圖像，具體描述參閱後文步驟S115和步驟S116。

步驟S115：確定原始醫學圖像中目標對象的初始區域，按照預設比例擴大初始區域，得到待提取區域。

目標對象本身特徵是判斷其類型的主要依據，而目標對象周邊可能存在多種雜訊干擾，該雜訊干擾會誤導目標對象的分類。以目標對象為肝臟腫瘤為例，慢性肝病或者肝硬化背景、其他類型腫瘤、與肝臟腫瘤位置相近的血管等雜訊干擾均會影響目標對象的分類精度，因此，確定原始醫學圖像中目標對象的初始區域，以作為待提取區域，使得待提取區域包含目標對象。在一公開實施例中，為將目標對象周圍的背景資訊作為目標分類的輔助資訊，或者避免初始區域的確定誤差，以提高待分類圖像的獲取精度，在確定原始醫學圖像中目標對象的初始區域後，可按照預設比例擴大初始區域，得到待提取區域。初始區域用於圈定目標對象在原始醫學圖像的位置。在一公開實施例中，可利用圖像分割技術確定原始醫學圖像中目標對象的邊界輪廓，標記邊界輪廓形成初始區域。

步驟S116：從原始醫學圖像中提取待提取區域中的圖像資料，得到待分類圖像。

利用待提取區域從原始醫學圖像中提取圖像資料，得到的待分類圖像則包括目標對象。

原始醫學圖像可以為二維圖像或者三維圖像。在原始醫學圖像為二維圖像的情況下，待分類圖像為二維圖像。在原始醫學圖像為三維圖像的情況下，待分類圖像可以為三維圖像，又或者待分類圖像可以為二維圖像。在本發明的一些實施例中，由於三維圖像由若干層二維圖像組成，如在確定二維的待分類圖像時，可以但不限於將目標對象面積最大所在層的二維圖像作為待分類圖像；將目標對象直徑最大所在層的二維圖像作為待分類圖像；或者將所有二維圖像中的中間層作為待分類圖像；或者將所有二維圖像中的任意一層作為待分類圖像，在此不作具體限定。在一應用實施例中，原始醫學圖像為三維圖像，而待分類圖像為對原始醫學圖像中目標對象最大面積所在層提取得到的二維圖像，從而可以提取原始醫學圖像中目標對象最大面積所在層作為待分類圖像，使得待分類圖像中目標對象的提取範圍較大，包含目標對象的資訊更多，進而可以提高目標對象的分類精度。通過上述方式，在對原始醫學圖像進行預處理後，確定原始醫學圖像中目標對象的初始區域，按照預設比例擴大初始區域，得到待提取區域；然後從原始醫學圖像中提取待提取區域中的圖像資料，得到待分類圖像。初始區域是包含目標對象的區域，而按照預設比例擴大目標對象的初始區域，使得得到的待提取區域既包含目標對象，又包含目標對象周圍的部分背景資訊，以便將待提取區域中的圖像資料提取作為待分類圖像後，待分類圖像能夠囊括目標對象和部分背景資訊。

另外，分別從多張原始醫學圖像提取得到包含目標對象的待分類圖像，實現待分類圖像的獲取，而且待分類圖像可從原始醫學圖像中提取得到，相比直接採用原始醫學圖像，減少後續分類的圖像尺寸，而且可一定程度上避免原始醫學圖像中的一些背景雜訊，故可減少後續分類的處理資源損耗，且提高分類性能。

本發明實施例中，提出利用人工智慧技術的分類模型對至少一張待分類圖像進行目標分類，可以大大提高確定目標對象的類型的效率。請參閱圖4，圖4是本發明實施例提供的一種對至少一張待分類圖像進行目標分類的流程示意圖。具體而言，可以包括如下步驟。

步驟S121：對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊。

其中，每組初始特徵資訊的尺寸不同。

對至少一張待分類圖像進行特徵提取時，特徵提取的層數可以為一層、兩層甚至更多層。特徵提取可以由卷積層實現，每個卷積層分別對至少一張待分類圖像進行特徵提取，得初始特徵資訊。對至少一張待分類圖像進行特徵提取時，具體對哪些層進行特徵提取可以通過人為設置獲取得到、也可以為訓練分類模型時通過大量實驗確定的，在此不作具體限定。對至少一張待分類圖像進行一層特徵提取，則對應得到一組初始特徵資訊，其中，該一層特徵提取可以是任意一層，例如但不限於將最後一層特徵提取得到的初始特徵資訊作為後續目標分類的依據。對至少一張待分類圖像進行多層特徵提取，則對應得到多組初始特徵資訊，其中，多層特徵提取可以是連續的，也可以是間斷的。初始特徵資訊可以為目標對象的特徵圖，反映目標對象在待分類圖像中的特徵資訊。每組初始特徵資訊的尺寸不同，其中，尺寸包括維度和/或解析度，從而多組初始特徵資訊分別反映目標對象不同的特徵資訊。

在一公開實施例中，分類模型為深度學習網路，包括的網路模型結構可以是encoder或其變種、Resnet或者其變種，可以是VGG16或者其變種，也可以是其他的用於分類的網路模型結構。分類模型通過卷積層對至少一張待分類圖像進行特徵提取，不同卷積層對應不同層特徵提取，得到不同組初始特徵資訊。

待分類圖像中，目標對象周圍可能存在雜訊干擾，以目標對象為肝臟腫瘤為例，慢性肝病或者肝硬化背景、其他類型腫瘤、與肝臟腫瘤位置相近的血管等雜訊均會影響目標對象的分類精度，因此，在利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型之前，可基於待分類圖像中目標對象對應的初始區域，得到目標對象的最終區域。確定目標對象的最終區域時，可將某一初始區域作為目標對象的最終區域，或者綜合至少一張待分類圖像中目標對象對應的初始區域得到目標對象的最終區域，具體如，將至少一張待分類圖像中目標對象對應的初始區域的並集，作為目標對象的最終區域，在此不作限定。為了使得分類模型能夠學習到目標對象本身的一些重要特徵，且在一定程度上減少周邊雜訊對目標對象的分類影響，可在提取待分類圖像的初始特徵資訊（例如該待分類圖像的全域特徵等）時，加上目標對象的最終區域的監督，例如：在特徵提取過程中，待分類圖像中對應最終區域的權重高於待分類圖像中其他區域的權重，由此使得讓分類模型趨向於對最終區域提取細節更豐富的特徵，進而使得分類模型輸出的初始特徵資訊中對應最終區域能夠儘量的特徵更豐富；和/或，初始特徵資訊中對應最終區域的特徵比其他區域的特徵更豐富。在對待分類圖像進行特徵提取得到初始特徵資訊時，不僅提取待分類圖像的全域特徵，而且由於加入最終區域的監督機制，引導分類模型更關注最終區域中的目標對象，以便分類模型學習到目標對象本身的特徵資訊，減小目標對象周圍雜訊干擾對目標分類的影響。

在一公開實施例中，在基於待分類圖像中目標對象對應的初始區域，得到目標對象的最終區域時，獲取至少一張待分類圖像中目標對象對應的初始區域的並集，以作為目標對象的最終區域，從而可利用最終區域對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊。由於目標對象的最終區域是待分類圖像中目標對象的初始區域的並集，使得最終區域大於或等於任意一個初始區域，保證目標對象的最終區域能夠包含不同待分類圖像中的目標對象對應區域，從而在對待分類圖像進行特徵提取時，能夠盡可能關注目標對象特徵資訊。在一公開實施例中，至少一張待分類圖像包括未標注目標對象的初始區域的第一待分類圖像和標注目標對象的初始區域的第二待分類圖像；在基於待分類圖像中目標對象對應的初始區域，得到目標對象的最終區域之前，還可以利用分類模型檢測到第一待分類圖像未標注有目標對象的初始區域，並基於第二待分類圖像上標注的目標對象的初始區域以及第二待分類圖像與第一待分類圖像的配準關係，確定第一待分類圖像上目標對象的初始區域。因此，可以利用分類模型為未標注目標對象初始區域的第一待分類圖像確定目標對象的初始區域，從而補齊標注，使得待分類圖像中均包括初始區域。

在一公開實施例中，可生成包括目標對象的最終區域的最終區域圖，並將最終區域圖與待分類圖像一起輸入分類模型，從而在利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型時，利用最終區域圖中包括的目標對象的最終區域對至少一張待分類圖像進行若干層特徵提取，能引導網路更關注最終區域的特徵的學習，從一定程度上避免網路學習到很多錯誤的特徵資訊，減小目標對象周圍雜訊對特徵提取的干擾。可以理解的是，在將最終區域圖與待分類圖像輸入至分類模型之前，可將最終區域圖像與待分類圖像的尺寸調整為統一尺寸。

步驟S122：基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊。

對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊後，可以選擇基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊，且所選擇的初始特徵資訊不同，得到的最終特徵資訊不同。初始特徵資訊的組數及其對應於分類模型的卷積層等參數資訊可以是人工設置的，也可以是分類模型在訓練過程中確定的，在此不作限定。融合多組初始特徵資訊可以提高分類模型的性能和目標分類的精度，但融合過多初始特徵資訊會引起過擬合問題，因此，合理調整進行融合的初始特徵資訊的組數，既能提高分類性能又能降低過擬合。由於每組初始特徵資訊在維度和解析度等尺寸資訊不同，分別反映目標對象的不同特徵資訊，可以將至少一組初始特徵資訊進行融合，得到最終特徵資訊，相較於現有的將最後一層高維特徵圖作為最終特徵資訊時，經過多個卷積後，一些重要的特徵資訊可能被壓縮，尤其遺漏面積較小、圖像特徵模糊的目標對象，本發明實施例通過融合至少一組初始特徵資訊，可將不同特徵提取階段得到的初始特徵資訊拼接在一起，提高圖像目標分類的精準度。

在一公開實施例中，利用至少一組初始特徵資訊的權重，將至少一組初始特徵資訊進行融合，得到最終特徵資訊。每組初始特徵資訊的權重可以是人工設置的，也可以是在分類模型訓練過程確定的，在此不作限定。例如，先初始化每組初始特徵資訊的權重，並在分類模型訓練過程中不斷更新該權重，具體如根據訓練分類模型的訓練結果與真實結果的比較結果，更新每組初始特徵資訊的權重，並利用訓練分類模型不斷重複上述更新權重的步驟，使得訓練分類模型不斷學習和更新每組初始特徵資訊的權重，得到訓練好的分類模型及每組初始特徵資訊的權重。可以理解的，初始化的每組初始特徵資訊的權重可以相同或不同，且每組初始特徵資訊的權重之和為1。通過分類模型的反覆運算訓練，來確定用於融合的初始特徵資訊的權重，以使得利用該權重融合得到的最終特徵資訊更能反映目標對象特徵，進一步提高分類性能。不同組初始特徵資訊的權重可以是相同或不同的，且每組初始特徵資訊的權重之和為1。由於利用多組初始特徵資訊得到最終特徵資訊時，可以利用初始特徵資訊的權重，將至少一層特徵提取的不同尺寸的初始特徵資訊進行融合，得到最終特徵資訊，考慮較小尺寸的初始特徵資訊可能被壓縮掉重要特徵，通過綜合不同尺寸的特徵資訊，能夠得到較為綜合和有用的最終特徵資訊，進而提高後續分類性能。在一公開實施例中，可以利用特徵融合網路基於若干組初始特徵資訊中的至少一組初始特徵資訊，融合得到最終特徵資訊，可以把多個尺寸的初始特徵資訊拼接在一起作為分類任務的最終特徵資訊，同時給予每個初始特徵資訊一個權重，該權重經初始化後在模型訓練過程中不斷更新得到的，從而綜合多個初始特徵資訊，得到更好的目標對象特徵表示，進而提高目標分類的性能。

在一公開實施例中，在基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊之前，可將每組初始特徵資訊轉換為預設維度，方便後續最終特徵資訊的獲取。例如一應用場景中，利用特徵提取網路將每組初始特徵資訊轉換為預設維度。預設維度可以根據需要設置，例如但不限於預設維度為一維。

步驟S123：對最終特徵資訊進行分類，得到目標對象的類型。

最終特徵資訊攜帶目標對象的特徵，從而對最終特徵資訊進行分類，即可得到目標對象的類型。在確定目標對象的類型時，包括但不限於分類模型對至少一張待分類圖像進行目標分類，得到目標對象屬於不同類型的概率，將滿足預設概率條件的類型作為目標對象的類型。預設概率條件包括但不限於概率值最大等。

在一公開實施例中，分類模型在訓練過程中採用ArcFace損失函數確定分類模型的損失值，通過ArcFace損失函數拉近同類目標對象的距離，拉遠異類目標對象的距離，從而提高易混淆目標對象的分類能力。ArcFace損失函數簡單易用，能很好地應用在分類模型的網路結構上，而不需要和其他損失函數相組合，同時在一定程度上減小過擬合問題，進而提高目標對象的分類性能。相較於softmax等損失函數，採用ArcFace損失函數確定分類模型的損失值時，分類模型的訓練結果可以是第一個全連接層的權重與進入第一個全連接層的特徵的夾角的餘弦值。具體地，可將進入分類模型第一個全連接層的特徵與第一個全連接層的權重之間的點積等於特徵和權重歸一化後的餘弦距離，從而使用角餘弦函數來計算歸一化的特徵和歸一化的權重之間的目標角度，然後在目標角度上加上一個附加的角邊距，再通過餘弦函數得到目標的logit，再用一個固定的特徵范數重新縮放所有logits，其後的相關步驟同softmax損失函數類似。以目標對象是肝臟腫瘤為例，考慮到肝臟腫瘤本身的特徵資訊是判斷其類型的主要依據，但肝臟腫瘤大小不一，小則0.5cm以下，大則20cm以上，再加上目標對象之外的影響因素，例如待分類圖像低解析度，肝臟腫瘤周圍其餘類型腫瘤、與目標對象特徵相似的血管、慢性肝病或者肝硬化背景等，本發明實施例中，ArcFace損失函數能學習到更好的肝臟腫瘤的特徵表示，可實現同類腫瘤的聚合與異類腫瘤的遠離，能有效地提高腫瘤的分類性能。其餘目標對象的分類中，分類模型在訓練過程中採用ArcFace損失函數確定分類模型的損失值的效果與之類似，在此不再一一舉例。

需要說明的是，ArcFace損失函數是一個利用margin來擴大不同類之間距離的損失函數，預測值是第一個全連接層的權重與進入第一個全連接層的特徵的夾角的餘弦值。其中，原理和操作流程如下：首先，進入第一個全連接層的特徵與第一個全連接層的權重之間的點積等於特徵和權重歸一化後的餘弦距離，其次，使用角餘弦函數（arc-cosine function）來計算歸一化的特徵和歸一化的權重之間的角度；然後，在目標角度上加上一個附加的角邊距（additive angular margin），再通過餘弦函數得到目標的logit，再用一個固定的特徵范數重新縮放所有logits，隨後的步驟與softmax loss中的步驟完全相同。

通過上述方式，利用分類模型對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊；對最終特徵資訊進行分類，得到目標對象的類型，實現了利用目標對象的特徵資訊進行目標分類。

本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。

在本發明的一些實施例中，對至少一張待分類圖像進行預處理，並提取到對應的二維或者三維的多期像腫瘤子圖像塊，也就是多期像腫瘤patch圖像，以及對應的掩膜圖像，即mask patch圖像，將其一起輸入到深度學習分類網路中。如圖5所示，是本發明實施例的圖像目標分類方法中分類模型所使用的網路架構示意圖；其中，501輸入至分類模型的批資料中隨機包含等比例的不同類型腫瘤的資料，包括期像1，期像2，…，期像m以及多期像病灶mask的並集。502為CNN主幹網路，即CNN backbone，其可以是U-Net的encoder或其變種，可以是Resnet或者其變種，可以是VGG16或者其變種，也可以是其他的用於分類的CNN結構；503為特徵塊（Feature Block），其中包含Adaptive average pooling、FC和Relu；其中前面得到的特徵圖經過自我調整平均池化，全連接和Relu啟動，從而得到一個一維的特徵；同時每一Feature Block對應一特徵_1。504為特徵融合層（Feature Fusion），將多個一維特徵進行拼接，每個特徵有對應的權重係數，該係數是可學習的；其中包括：特徵_1的權重係數_1，特徵_2的權重係數_2，…，特徵_n的權重係數_n。同時，CNN backbone中任一卷積層出來的特徵圖需要進入特徵塊和特徵融合層，可以通過在訓練過程中做試驗來決定。本方案在實驗過程中發現，引入特徵融合層能提高模型性能；但是融合過多特徵圖會引起過擬合問題，尤其是融合靠前的卷積層出來的特徵圖。合理地調整進入特徵融合結構的特徵圖數量，既能提高分類性能又能降低過擬合。505為全連接層（Fully Connected），即融合的特徵送到FC，經softmax轉換為各個腫瘤類別的分類概率值。506為預測概率值。

請參閱圖6，圖6是本發明實施例提供的一種圖像目標分類裝置60的方塊示意圖。圖像目標分類裝置60包括圖像獲取模組61和目標分類別模組62。圖像獲取模組61，配置為：獲取包含目標對象的至少一張待分類圖像，其中，至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像；目標分類別模組62，配置為：利用分類模型，對至少一張待分類圖像進行目標分類，得到目標對象的類型。

在本發明的一些實施例中，目標分類別模組62配置為：對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，每組初始特徵資訊的尺寸不同；基於若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊；對最終特徵資訊進行分類，得到目標對象的類型。

在本發明的一些實施例中，目標分類別模組62配置為：基於待分類圖像中目標對象對應的初始區域，得到目標對象的最終區域；相應地，目標分類別模組62，配置為：利用最終區域對至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，在特徵提取過程中，待分類圖像中對應最終區域的權重高於待分類圖像中其他區域的權重；和/或，初始特徵資訊中對應最終區域的特徵比其他區域的特徵更豐富。

在本發明的一些實施例中，目標分類別模組62配置為：獲取至少一張待分類圖像中目標對象對應的初始區域的並集，以作為目標對象的最終區域。

在本發明的一些實施例中，目標分類別模組62配置為：利用分類模型檢測到第一待分類圖像未標注有目標對象的初始區域，並基於第二待分類圖像上標注的目標對象的初始區域以及第二待分類圖像與第一待分類圖像的配準關係，確定第一待分類圖像上目標對象的初始區域。

在本發明的一些實施例中，目標分類別模組62配置為：將每組初始特徵資訊轉換為預設維度；和/或，目標分類別模組62配置為：利用至少一組初始特徵資訊的權重，將至少一組初始特徵資訊進行融合，得到最終特徵資訊。

在本發明的一些實施例中，每組初始特徵資訊的權重是在分類模型訓練過程中確定的。

在本發明的一些實施例中，預設維度為一維。

在本發明的一些實施例中，分類模型在訓練過程中採用ArcFace損失函數確定分類模型的損失值；和/或，分類模型每次訓練選擇的批樣本資料是利用資料生成器從樣本資料集中選擇的不同目標類型的數量為預設比例的樣本資料。

在本發明的一些實施例中，圖像獲取模組61配置為：分別從多張原始醫學圖像提取得到包含目標對象的待分類圖像。

在本發明的一些實施例中，圖像獲取模組61配置為：確定原始醫學圖像中目標對象的初始區域，按照預設比例擴大初始區域，得到待提取區域；從原始醫學圖像中提取待提取區域中的圖像資料，得到待分類圖像。

在本發明的一些實施例中，圖像獲取模組61配置為：將原始醫學圖像重採樣至預設解析度；調整原始醫學圖像中的圖元值範圍；將原始醫學圖像進行歸一化處理；檢測到第一原始醫學圖像未標注有目標對象的初始區域，利用第二原始醫學圖像上標注的目標對象的初始區域以及第二原始醫學圖像與第一原始醫學圖像的配準關係，確定第一原始醫學圖像上目標對象的初始區域。

在本發明的一些實施例中，原始醫學圖像和待分類圖像為二維圖像；或者，原始醫學圖像為三維圖像，待分類圖像為二維圖像或三維圖像。

本發明實施例提供的圖像目標分類裝置60，圖像獲取模組61獲取包含目標對象的至少一張待分類圖像後，目標分類別模組62利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，因此提出基於人工智慧技術的圖像目標分類方法，實現智慧化目標分類。由於利用分類模型對待分類圖像進行目標分類，不僅使得目標分類過程更加簡單，減小對醫生的依賴，提高目標分類速度，而且結合人工智慧技術實現目標分類，以便輔助醫生進行智慧化疾病診療。

請參閱圖7，圖7是本發明電子設備70一實施例的方塊示意圖。電子設備70包括相互耦接的記憶體71和處理器72，處理器72用於執行記憶體71中儲存的程式指令，以實現上述任一圖像目標分類方法實施例的步驟。在本發明的一些實施場景中，電子設備70可以包括但不限於：微型電腦、伺服器，此外，電子設備70還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。

在本發明的一些實施例中，處理器72用於控制其自身以及記憶體71以實現上述任一圖像目標分類方法實施例的步驟。處理器72還可以稱為中央處理單元（Central Processing Unit，CPU）。處理器72可能是一種積體電路晶片，具有信號的處理能力。處理器72還可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array，FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器72可以由積體電路晶片共同實現。

本發明實施例提供的電子設備70，獲取包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，因此提出基於人工智慧技術的圖像目標分類方法，實現智慧化目標分類。由於利用分類模型對待分類圖像進行目標分類，不僅使得目標分類過程更加簡單，減小對醫生的依賴，提高目標分類速度，而且結合人工智慧技術實現目標分類，以便輔助醫生進行智慧化疾病診療。

請參閱圖8，圖8是本發明電腦可讀儲存介質80一實施例的方塊示意圖。電腦可讀儲存介質80儲存有能夠被處理器運行的程式指令801，程式指令801用於實現上述任一圖像目標分類方法實施例的步驟。

本發明實施例提供的電腦可讀儲存介質80，獲取包含目標對象的至少一張待分類圖像後，利用分類模型對至少一張待分類圖像進行目標分類，得到目標對象的類型，因此提出基於人工智慧技術的圖像目標分類方法，實現智慧化目標分類。由於利用分類模型對待分類圖像進行目標分類，不僅使得目標分類過程更加簡單，減小對醫生的依賴，提高目標分類速度，而且結合人工智慧技術實現目標分類，以便輔助醫生進行智慧化疾病診療。

本發明實施例還提供一種電腦程式，該電腦程式包括電腦可讀代碼，該電腦可讀代碼在電子設備中運行的情況下，電子設備的處理器執行用於實現前述任一實施例提供的圖像目標分類方法。該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在本發明的一些實施例中，電腦程式產品具體體現為電腦儲存介質，在本發明的一些實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。

在一些實施例中，本發明實施例提供的圖像目標分類裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。

上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。

在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。

另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。

工業實用性 本發明提供了一種圖像目標分類方法、電子設備及電腦可讀儲存介質，其中，圖像目標分類方法包括：獲取包含目標對象的至少一張待分類圖像，其中，所述至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像；利用分類模型，對所述至少一張待分類圖像進行目標分類，得到目標對象的類型。

201:圖像獲取終端 202:網路 203:目標分類終端 501:不同類型腫瘤的資料 502:CNN主幹網路 503:特徵塊 504:特徵融合層 505:全連接層 506:預測概率值 60:圖像目標分類裝置 61:圖像獲取模組 62:目標分類別模組 70:電子設備 71:記憶體 72:處理器 80:電腦可讀儲存介質 801:程式指令 S11~S12,S111~S116,S121~S123:步驟

此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1是本發明實施例提供的一種圖像目標分類方法的流程示意圖； 圖2是可以應用本發明實施例的圖像目標分類方法的一種系統架構示意圖； 圖3是本發明實施例提供的一種獲取至少一張待分類圖像的流程示意圖； 圖4是本發明實施例提供的一種對至少一張待分類圖像進行目標分類的流程示意圖； 圖5是本發明實施例的圖像目標分類方法中分類模型所使用的網路架構示意圖； 圖6是本發明實施例提供的一種圖像目標分類裝置60的方塊示意圖； 圖7是本發明實施例提供的一種電子設備70的方塊示意圖； 圖8是本發明實施例提供的一種電腦可讀儲存介質80的方塊示意圖。

S11~S12:步驟

Claims (15)

1. 一種圖像目標分類方法，包括： 獲取包含目標對象的至少一張待分類圖像，其中，所述至少一張待分類圖像為屬於至少一種掃描圖像類別的醫學圖像； 利用分類模型，對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型。
2. 根據請求項1所述的方法，其中，所述對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型，包括： 對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，每組所述初始特徵資訊的尺寸不同； 基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊； 對所述最終特徵資訊進行分類，得到所述目標對象的類型。
3. 根據請求項1所述的方法，其中，所述對所述至少一張待分類圖像進行目標分類，得到所述目標對象的類型之前，所述方法還包括： 基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域； 相應地，所述對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊，包括： 利用所述最終區域對所述至少一張待分類圖像進行若干層特徵提取，對應得到若干組初始特徵資訊；其中，在特徵提取過程中，所述待分類圖像中對應所述最終區域的權重高於所述待分類圖像中其他區域的權重；和/或，所述初始特徵資訊中對應所述最終區域的特徵比其他區域的特徵更豐富。
4. 根據請求項3所述的方法，其中，所述基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域，包括： 獲取所述至少一張待分類圖像中所述目標對象對應的初始區域的並集，以作為所述目標對象的最終區域。
5. 根據請求項3或4所述的方法，其中，所述至少一張待分類圖像包括未標注所述目標對象的初始區域的第一待分類圖像和標注所述目標對象的初始區域的第二待分類圖像；所述基於所述待分類圖像中所述目標對象對應的初始區域，得到所述目標對象的最終區域之前，所述方法還包括： 利用所述分類模型檢測到所述第一待分類圖像未標注有所述目標對象的初始區域，並基於所述第二待分類圖像上標注的所述目標對象的初始區域以及所述第二待分類圖像與所述第一待分類圖像的配準關係，確定所述第一待分類圖像上所述目標對象的初始區域。
6. 根據請求項2至4所述的方法，其中，所述基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊之前，所述方法還包括： 將每組所述初始特徵資訊轉換為預設維度；和/或， 所述基於所述若干組初始特徵資訊中的至少一組初始特徵資訊，得到最終特徵資訊，包括： 利用所述至少一組初始特徵資訊的權重，將所述至少一組初始特徵資訊進行融合，得到所述最終特徵資訊。
7. 根據請求項6所述的方法，其中，每組所述初始特徵資訊的權重是在所述分類模型訓練過程確定的；和/或 所述預設維度為一維。
8. 根據請求項1至4任一項所述的方法，其中，所述分類模型在訓練過程中採用ArcFace損失函數確定所述分類模型的損失值；和/或，所述分類模型每次訓練選擇的批樣本資料是利用資料生成器從樣本資料集中選擇的不同目標類型的數量為預設比例的樣本資料。
9. 根據請求項1至4任一項所述的方法，其中，所述獲取包含目標對象的至少一張待分類圖像，包括： 分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像。
10. 根據請求項9所述的方法，其中，所述分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像，包括： 確定所述原始醫學圖像中所述目標對象的初始區域，按照所述預設比例擴大所述初始區域，得到待提取區域； 從所述原始醫學圖像中提取所述待提取區域中的圖像資料，得到所述待分類圖像。
11. 根據請求項10所述的方法，其中，所述分別從多張原始醫學圖像提取得到包含所述目標對象的待分類圖像之前，所述方法還包括以下至少一個步驟： 將所述原始醫學圖像重採樣至預設解析度； 調整所述原始醫學圖像中的圖元值範圍； 將所述原始醫學圖像進行歸一化處理； 檢測到第一原始醫學圖像未標注有所述目標對象的初始區域，利用第二原始醫學圖像上標注的所述目標對象的初始區域以及所述第二原始醫學圖像與所述第一原始醫學圖像的配準關係，確定所述第一原始醫學圖像上所述目標對象的初始區域。
12. 根據請求項10所述的方法，其中，所述原始醫學圖像和所述待分類圖像為二維圖像；或者，所述原始醫學圖像為三維圖像，所述待分類圖像為二維圖像或三維圖像。
13. 根據請求項12所述的方法，其中，所述原始醫學圖像為三維圖像，所述待分類圖像為對所述原始醫學圖像中所述目標對象最大面積所在層提取得到的二維圖像。
14. 一種電子設備，包括相互耦接的記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現請求項1至13任一項所述的圖像目標分類方法。
15. 一種電腦可讀儲存介質，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至13任一項所述的圖像目標分類方法。

Images