TW202209343A - 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體 - Google Patents

影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202209343A
TW202209343A TW110140808A TW110140808A TW202209343A TW 202209343 A TW202209343 A TW 202209343A TW 110140808 A TW110140808 A TW 110140808A TW 110140808 A TW110140808 A TW 110140808A TW 202209343 A TW202209343 A TW 202209343A
Authority
TW
Taiwan
Prior art keywords
result
processing
feature map
segmentation
convolution
Prior art date
Application number
TW110140808A
Other languages
English (en)
Other versions
TWI758233B (zh
Inventor
夏清
黃寧
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202209343A publication Critical patent/TW202209343A/zh
Application granted granted Critical
Publication of TWI758233B publication Critical patent/TWI758233B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一種影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體，所述影像處理方法包括：對待處理圖像進行逐級卷積處理，得到卷積結果；根據所述卷積結果，通過定位處理得到定位結果；對所述定位結果進行逐級反卷積處理，得到反卷積結果；對所述反卷積結果進行分割處理，從所述待處理圖像中分割出目標物件。本發明實施例可實現在一次影像處理的過程中同時實現目標物件的定位和分割，提高影像處理精度的同時保障影像處理的速度。

Description

影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
本發明是有關於一種影像處理技術領域，尤其涉及一種影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體。
在圖像技術領域，對感興趣區域或目標區域進行分割，是進行圖像分析和目標識別的基礎。例如，在醫學圖像中通過分割，清晰地識別一個或多個器官或病灶之間的邊界。準確地分割三維醫學圖像對於許多臨床應用而言是至關重要的。
本發明提出了一種影像處理技術方案。
根據本發明的一方面，提供了一種影像處理方法，包括：對待處理圖像進行逐級卷積處理，得到卷積結果；根據所述卷積結果，通過定位處理得到定位結果；對所述定位結果進行逐級反卷積處理，得到反卷積結果；對所述反卷積結果進行分割處理，從所述待處理圖像中分割出目標物件。
在一種可能的實現方式中，所述對待處理圖像進行逐級卷積處理，得到卷積結果，包括：對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為所述卷積結果。
在一種可能的實現方式中，所述對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為所述卷積結果，包括：對待處理圖像進行卷積處理，所得到的特徵圖作為待卷積特徵圖；在所述待卷積特徵圖的解析度未達到第一閾值時，對所述待卷積特徵圖進行卷積處理，並將得到的結果再次作為待卷積特徵圖；在所述待卷積特徵圖的解析度達到第一閾值時，將得到的解析度逐漸遞減的所有特徵圖作為所述卷積結果。
在一種可能的實現方式中，所述根據所述卷積結果，通過定位處理得到定位結果，包括：根據所述卷積結果進行分割處理，得到分割結果；根據所述分割結果，對所述卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，所述根據所述卷積結果進行分割處理，得到分割結果，包括：對所述卷積結果中解析度最低的特徵圖進行分割處理，得到分割結果。
在一種可能的實現方式中，所述根據所述分割結果，對所述卷積結果進行定位處理，得到定位結果，包括：根據所述分割結果，確定所述目標物件在所述卷積結果中對應的位置資訊；根據所述位置資訊，對所述卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，所述根據所述分割結果，確定所述目標物件在卷積結果中對應的位置資訊，包括：讀取所述分割結果的座標位置；將所述座標位置作為區域中心，分別確定所述卷積結果內，每個解析度下的特徵圖中可全部覆蓋所述目標物件的區域位置，作為所述目標物件在卷積結果中對應的位置資訊。
在一種可能的實現方式中，所述根據所述位置資訊，對所述卷積結果進行定位處理，得到定位結果，包括：根據所述位置資訊，對所述卷積結果中每個解析度下的特徵圖分別進行裁切處理，得到定位結果。
在一種可能的實現方式中，所述對所述定位結果進行逐級反卷積處理，得到反卷積結果，包括：將所述定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度未達到第二閾值時，對所述待反卷積特徵圖進行反卷積處理，得到反卷積處理結果；按照解析度逐漸遞增的順序，確定所述定位結果中所述待反卷積特徵圖的下一特徵圖；將所述反卷積處理結果與所述下一特徵圖進行融合，將所述融合結果再次作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度達到第二閾值時，將所述待反卷積特徵圖作為反卷積結果。
在一種可能的實現方式中，所述分割處理包括：將待分割對象通過softmax回歸，得到回歸結果；通過對所述回歸結果進行最大值比較，完成對所述待分割物件的分割處理。
在一種可能的實現方式中，所述方法通過神經網路實現，所述神經網路包括第一分割子網路及第二分割子網路，其中，所述第一分割子網路用於對所述待處理圖像進行逐級卷積處理及分割處理，所述第二分割子網路用於對所述定位結果進行逐級反卷積處理及分割處理。
在一種可能的實現方式中，所述神經網路的訓練過程，包括：根據預設的訓練集，訓練所述第一分割子網路；根據所述預設的訓練集以及已訓練的第一分割子網路，訓練所述第二分割子網路。
在一種可能的實現方式中，所述對所述待處理圖像進行逐級卷積處理，得到卷積結果之前，還包括：將所述待處理圖像調整至預設解析度。
在一種可能的實現方式中，所述待處理圖像為三維醫學圖像。
根據本發明的一方面，提供了一種影像處理裝置，包括：卷積模組，用於對待處理圖像進行逐級卷積處理，得到卷積結果；定位模組，用於根據所述卷積結果，通過定位處理得到定位結果；反卷積模組，用於對所述定位結果進行逐級反卷積處理，得到反卷積結果；目標物件獲取模組，用於對所述反卷積結果進行分割處理，從所述待處理圖像中分割出目標物件。
在一種可能的實現方式中，所述卷積模組用於：對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為所述卷積結果。
在一種可能的實現方式中，所述卷積模組進一步用於：對待處理圖像進行卷積處理，所得到的特徵圖作為待卷積特徵圖；在所述待卷積特徵圖的解析度未達到第一閾值時，對所述待卷積特徵圖進行卷積處理，並將得到的結果再次作為待卷積特徵圖；在所述待卷積特徵圖的解析度達到第一閾值時，將得到的解析度逐漸遞減的所有特徵圖作為所述卷積結果。
在一種可能的實現方式中，所述定位模組包括：分割子模組，用於根據所述卷積結果進行分割處理，得到分割結果；定位子模組，用於根據所述分割結果，對所述卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，所述分割子模組用於：對所述卷積結果中解析度最低的特徵圖進行分割處理，得到分割結果。
在一種可能的實現方式中，所述定位子模組用於：根據所述分割結果，確定所述目標物件在所述卷積結果中對應的位置資訊；根據所述位置資訊，對所述卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，所述定位子模組進一步用於：讀取所述分割結果的座標位置；將所述座標位置作為區域中心，分別確定所述卷積結果內，每個解析度下的特徵圖中可全部覆蓋所述目標物件的區域位置，作為所述目標物件在卷積結果中對應的位置資訊。
在一種可能的實現方式中，所述定位子模組進一步用於：根據所述位置資訊，對所述卷積結果中每個解析度下的特徵圖分別進行裁切處理，得到定位結果。
在一種可能的實現方式中，所述反卷積模組用於：將所述定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度未達到第二閾值時，對所述待反卷積特徵圖進行反卷積處理，得到反卷積處理結果；按照解析度逐漸遞增的順序，確定所述定位結果中所述待反卷積特徵圖的下一特徵圖；將所述反卷積處理結果與所述下一特徵圖進行融合，將所述融合結果再次作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度達到第二閾值時，將所述待反卷積特徵圖作為反卷積結果。
在一種可能的實現方式中，所述分割處理包括：將待分割對象通過softmax回歸，得到回歸結果；通過對所述回歸結果進行最大值比較，完成對所述待分割物件的分割處理。
在一種可能的實現方式中，所述裝置通過神經網路實現，所述神經網路包括第一分割子網路及第二分割子網路，其中，所述第一分割子網路用於對所述待處理圖像進行逐級卷積處理及分割處理，所述第二分割子網路用於對所述定位結果進行逐級反卷積處理及分割處理。
在一種可能的實現方式中，所述裝置還包括訓練模組，用於：根據預設的訓練集，訓練所述第一分割子網路；根據所述預設的訓練集以及已訓練的第一分割子網路，訓練所述第二分割子網路。
在一種可能的實現方式中，所述卷積模組之前還包括解析度調整模組，用於：將所述待處理圖像調整至預設解析度。
在一種可能的實現方式中，所述待處理圖像為三維醫學圖像。
根據本發明的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行上述影像處理方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述影像處理方法。
在本發明實施例中，通過對待處理圖像進行逐級卷積處理和分割處理得到分割結果，並基於分割結果得到定位結果，再通過對定位結果進行逐級反卷積處理後再進行分割處理，可以從待處理圖像中分割出目標物件。通過上述過程可以在一次影像處理的過程中同時實現目標物件的定位和分割，提高影像處理精度的同時保障影像處理的速度。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考圖式對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的符號表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
圖1示出根據本發明一實施例的影像處理方法的流程圖，該方法可以應用於影像處理裝置，影像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂巢式電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。
在一些可能的實現方式中，該影像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖1所示，所述影像處理方法可以包括： 步驟S11，對待處理圖像進行逐級卷積處理，得到卷積結果。 步驟S12，根據卷積結果，通過定位處理得到定位結果。 步驟S13，對定位結果進行逐級反卷積處理，得到反卷積結果。 步驟S14，對反卷積結果進行分割處理，從待處理圖像中分割出目標物件。
本發明實施例的影像處理方法，通過逐級卷積處理和分割處理，對待處理圖像中的目標物件進行初步分割，從而得到反映目標物件在待處理圖像的基本分佈位置的定位結果，基於這一定位結果，可以再通過逐級反卷積處理和分割處理，實現待處理圖像內目標物件的高精度分割，通過這一過程，在定位結果的基礎上實現對目標物件的分割，與直接對待處理圖像進行目標分割相比，可以有效提升影像處理的精度；同時，上述方法可以在一次影像處理過程中，先後實現對圖像的目標定位和分割，由於可以將圖像的目標定位和分割過程結合分析，因此減少了影像處理的耗時，也降低了影像處理過程中可能存在的儲存消耗。
其中，本發明實施例的影像處理方法可以應用於三維醫學圖像的處理，例如，用於識別醫學圖像中的目的地區域，該目的地區域可以是器官、病灶、組織等等。在一種可能的實現方式中，待處理圖像可以是心臟器官的三維醫學圖像，也就是說，本發明實施例的影像處理方法可以應用於心臟病的治療過程中，在一個示例中，該影像處理方法可以應用於心房纖維化顫動治療過程，通過精確分割心房圖像，從而理解和分析心房纖維化的病因，繼而制定針對性的心房纖維化顫動的手術消融治療方案，提升心房纖維化顫動的治療效果。
需要說明的是，本發明實施例的影像處理方法不限於應用在三維醫學影像處理，可以應用於任意的影像處理，本發明對此不作限定。
在一種可能的實現方式中，待處理圖像可以包括多張圖片，根據該多張圖片可以識別出一個或多個三維的器官。
步驟S11的實現方式不受限定，任何可以得到用於進行分割處理的特徵圖的方式都可以作為步驟S11的實現方式。在一種可能的實現方式中，步驟S11可以包括：對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為卷積結果。
如何通過逐級卷積處理來得到至少一個解析度逐漸遞減的特徵圖，其具體的處理過程同樣不受限定，圖2示出根據本發明一實施例的影像處理方法的流程圖，如圖所示，在一種可能的實現方式中，對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為卷積結果，可以包括： 步驟S111，對待處理圖像進行卷積處理，所得到的特徵圖作為待卷積特徵圖。 步驟S112，在待卷積特徵圖的解析度未達到第一閾值時，對待卷積特徵圖進行卷積處理，並將得到的結果再次作為待卷積特徵圖。 步驟S113，在待卷積特徵圖的解析度達到第一閾值時，將得到的解析度逐漸遞減的所有特徵圖作為卷積結果。
通過上述步驟可以看出，在本發明實施例中，通過對待處理圖像進行一次卷積處理，可以得到初始解析度下的特徵圖，再對初始解析度下的特徵圖再進行一次卷積處理，可以得到下一解析度下的特徵圖，以此類推，通過對待處理圖像進行多次卷積處理，可以得到一系列解析度逐漸遞減的特徵圖，這些特徵圖可以作為卷積結果用於後續步驟的進行。這一過程的反覆運算次數不受限制，可以在得到的最小解析度的特徵圖達到第一閾值時停止，第一閾值可以根據需求和實際情況進行設定，在此不限定具體值。由於第一閾值不受限定，因此得到的卷積結果中包含的特徵圖的個數和每一張特徵圖的解析度均不受限定，可以根據實際情況進行具體選擇。
在一種可能的實現方式中，卷積處理的過程和實現方式不受限定，在一個示例中，卷積處理的過程可以包括將待處理物件通過卷積、池化(Pooling)、批量標準化（Batch Normalization）或是參數線性整流單元（PReLU，Parametric Rectified Linear Unit）中的一個或多個。在一個示例中，可以採用3D U-Net全卷積神經網路中的編碼器結構來實現，在一個示例中，也可以通過V-Net全卷積神經網路中的編碼器結構來實現。本發明對卷積處理的具體方式不作限制。
根據卷積結果，通過定位處理來得到定位結果的過程可以存在多種實現方式，圖3示出根據本發明一實施例的影像處理方法的流程圖，如圖所示，在一種可能的實現方式中，步驟S12可以包括： 步驟S121，根據卷積結果進行分割處理，得到分割結果； 步驟S122，根據分割結果，對卷積結果進行定位處理，得到定位結果。
步驟S121的過程同樣不受限定，通過上述實施例可以得知，卷積結果中可以包含多張特徵圖，因此分割結果是通過對卷積結果中的哪一特徵圖進行分割處理來得到的，可以根據實際情況進行確定。在一種可能的實現方式中，步驟S121可以包括：對卷積結果中解析度最低的特徵圖進行分割處理，得到分割結果。
分割處理的處理方式不受限定，任何可以從特徵圖中分割出目標的方式均可以作為本發明示例中分割處理的方法。
在一種可能的實現方式中，分割處理可以為通過softmax層來實現圖像分割，具體過程可以包括：將待分割對象通過softmax回歸，得到回歸結果；通過對回歸結果進行最大值比較，完成對待分割物件的分割處理。在一個示例中，上述通過回歸結果進行最大值比較來實現對待分割物件進行分割處理的具體過程可以為：回歸結果的形式可以為與待分割物件具有相同解析度的輸出資料，輸出資料與待分割物件的像素位置一一對應，在每個對應的像素位置處，輸出資料包含一個概率值，用以表明待分割物件在這一像素位置處作為分割目標的概率，基於輸出資料中包含的概率可以進行最大值比較，從而確定每一像素位置是否為分割目標位置，繼而實現從待分割物件中提取出分割目標的操作，最大值比較的具體方式不受限定，可以設定為概率較大的值所代表的像素位置處對應分割目標，也可以設定為概率較小的值所代表的像素位置處對應分割目標，根據實際情況進行設定即可，在此不做限定。基於上述各實施例可知，在一個示例中，分割結果的得到過程可以為：將卷積結果中解析度最低的特徵圖通過softmax層，並將得到的結果進行最大值比較，從而得到分割結果。
基於分割結果，可以通過步驟S122對卷積結果進行定位處理，來得到定位結果，步驟S122的實現過程不受限定，圖4示出根據本發明一實施例的影像處理方法的流程圖，如圖所示，在一種可能的實現方式中，步驟S122可以包括： 步驟S12211，讀取分割結果的座標位置。 步驟S12212，將座標位置作為區域中心，分別確定卷積結果內，每個解析度下的特徵圖中可全部覆蓋目標物件的區域位置，作為目標物件在卷積結果中對應的位置資訊。
其中，步驟S12211讀取的分割結果的座標位置，可以是表明分割結果位置的任意座標，在一個示例中，這一座標可以是分割結果上某固定位置的座標值；在一個示例中，這一座標可以是分割結果上某幾個固定位置的座標值；在一個示例中，這一座標可以是分割結果重心位置的座標值。基於讀取的座標位置，可以通過步驟S12212，在卷積結果中每張特徵圖下對應的位置處，定位到目標物件，繼而得到完全覆蓋目標物件的區域位置，這一區域位置的表現形式同樣不受限定，在一個示例中，這一區域位置的表現形式可以是區域所有頂點的座標集合，在一個示例中，這一區域位置的表現形式可以是區域位置的中心座標與區域位置的覆蓋面積集合。步驟S12212的具體過程可以根據區域位置的表現形式不同而隨之靈活改變，在一個示例中，步驟S12212的過程可以為：基於分割結果在所在特徵圖內的重心座標，依據分割結果所在特徵圖與卷積結果中其餘特徵圖的解析度比例關係，可以分別確定卷積結果中每張特徵圖內目標物件的重心座標；以此重心座標為中心，在每張特徵圖中，確定可以完全覆蓋目標物件的區域，將此區域的頂點座標作為目標物件在卷積結果中對應的位置資訊。由於卷積結果中各特徵圖之間存在解析度的差異，因此卷積結果中各特徵圖內覆蓋目標物件的區域之間也可能存在解析度的差異。在一個示例中，不同特徵圖確定的覆蓋目標物件的區域之間可以存在比例關係，這一比例關係可以與特徵圖之間的解析度比例關係一致，舉例說明，在一個示例中，卷積結果中可能存在兩個特徵圖A和B，特徵圖A中覆蓋目標物件的區域被記為區域A，特徵圖B中覆蓋目標物件的區域被記為區域B，其中特徵圖A的解析度為特徵圖解析度B的2倍，則區域A的面積為區域B的2倍。
基於步驟S1221得到的位置資訊，可以通過步驟S1222來得到定位結果，上述實施例已表明，位置資訊可以存在多種不同的表現形式，隨著位置資訊表現形式的不同，步驟S1222的具體實施過程也可能存在不同。在一種可能的實現方式中，步驟S1222可以包括：根據位置資訊，對卷積結果中每個解析度下的特徵圖分別進行裁切處理，得到定位結果。在一個示例中，位置資訊可以為卷積結果內各特徵圖可以覆蓋目標物件的區域頂點的座標集合，基於此座標集合，可以對卷積結果中的各特徵圖進行裁切，保留每個特徵圖中覆蓋目標物件的區域作為新的特徵圖，則這些新的特徵圖的集合即為定位結果。
通過上述各實施例的任意形式組合，可以得到定位結果，這一過程可以有效的對卷積結果中各解析度下的特徵圖內的目標物件進行粗略定位，基於此粗略定位可以將原有的卷積結果處理為定位結果，由於定位結果中各解析度下的特徵圖內去掉了大部分不包含目標物件的圖片資訊，因此可以大大減小影像處理過程中的儲存消耗，加快計算速度，提升影像處理的效率和速度，同時，由於目標物件在定位結果中所占的資訊比例更大，因此基於定位結果進行目標物件分割的效果，相比于直接利用待處理圖像進行目標物件分割的效果更好，從而可以提高影像處理的精度。
在得到了定位結果後，可以基於此定位結果來實現目標物件的分割，分割的具體實現形式不受限定，可以根據實際情況靈活選擇。在一種可能的實現方式中，可以從定位結果中選擇某一特徵圖，再進行進一步的分割處理，來得到目標物件。在另一種可能的實現方式中，可以利用定位結果還原出包含更多目標物件資訊的特徵圖，再利用此特徵圖進行進一步的分割處理，來得到目標物件。
通過上述步驟中可以看出，在一種可能的實現方式中，利用定位結果實現目標物件分割的過程可以通過步驟S13和S14實現，即先對定位結果進行逐級反卷積處理，來得到包含更多目標物件資訊的反卷積結果，再基於此反卷積結果進行分割處理，來得到目標物件。逐級反卷積的過程可以被看作是逐級卷積過程的逆向操作過程，因此其實現過程也如步驟S11一樣具有多種可能的實現形式。圖6示出根據本發明一實施例的影像處理方法的流程圖，如圖所示，在一種可能的實現方式中，步驟S13可以包括： 步驟S131，將定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖。 步驟S132，在待反卷積特徵圖的解析度未達到第二閾值時，對待反卷積特徵圖進行反卷積處理，得到反卷積處理結果。 步驟S133，按照解析度逐漸遞增的順序，確定定位結果中待反卷積特徵圖的下一特徵圖。 步驟S134，將反卷積處理結果與下一特徵圖進行融合，將融合結果再次作為待反卷積特徵圖。 步驟S135，在待反卷積特徵圖的解析度達到第二閾值時，將待反卷積特徵圖作為反卷積結果
上述步驟中，反卷積處理結果是對待反卷積特徵圖進行反卷積處理得到的處理結果，而下一特徵圖，則是從定位結果中得到的特徵圖，即在定位結果中，滿足解析度大於當前反卷積特徵圖一級這一條件的特徵圖，可以作為下一特徵圖，與反卷積處理結果進行融合。因此逐級反卷積處理的過程，可以是從定位結果中解析度最低的特徵圖開始，通過反卷積處理，得到解析度提升一級後的特徵圖，此時可以將這一解析度提升一級後得到的特徵圖作為反卷積處理結果，由於在定位結果中，本身也存在與反卷積處理結果的解析度相同的特徵圖，這兩張特徵圖之間均包含目標物件的有效資訊，因此可以將這兩張特徵圖進行融合，融合後的特徵圖包含了這兩張特徵圖內所包含的所有目標物件的有效資訊，因此可以將融合後的特徵圖再次作為新的待反卷積特徵圖，對這一新的待反卷積特徵圖進行反卷積處理，並將處理結果再次與定位結果內對應解析度的特徵圖進行融合，直至融合後的特徵圖解析度達到第二閾值時，停止反卷積處理，此時得到的最終的融合結果，包含了定位結果內每一張特徵圖中所含有的目標物件的有效資訊，因此可以將其作為反卷積結果，用於後續的目標物件分割。在本發明實施例中，第二閾值根據待處理圖像原有的解析度靈活決定，在此並不限定具體值。
通過上述過程中，反卷積結果是通過對定位結果進行逐級反卷積處理來得到的，且反卷積結果用於最終的目標物件分割，因此得到的最終結果，由於存在了目標物件的定位基礎，因此可以有效包含目標物件的全域資訊，具有更高的準確率；而且也無需將待處理圖像進行分割，而是作為整體進行影像處理，因此處理過程也具有更高的效率；同時通過上述過程可以看出，在一次的影像處理過程中，對於目標物件的分割是基於目標物件的定位結果來實現的，無需通過兩個獨立的過程分別實現目標物件定位和目標物件分割，因此可以大大減小資料的儲存、消耗和計算量，繼而提升影像處理的速度和效率，減小時間和空間上的消耗。而且逐級反卷積過程可以有利於每一個解析度下特徵圖所包含的有效資訊均保留在了最終得到的反卷積結果內，由於反卷積結果用於最終的圖像分割，因此可以大大提升最終得到結果的精度。
在得到了反卷積結果後，可以對反卷積結果進行分割處理，得到的結果可以作為從待處理圖像中分割出的目標物件，對反卷積結果進行分割處理的過程，與上述對卷積結果進行分割處理的過程一致，只是被分割處理的物件存在差異，因此可以參考上述實施例的過程，在此不再贅述。
在一種可能的實現方式中，可以通過神經網路實現本發明實施例的影像處理方法。通過上述過程中可以看出，本發明實施例的影像處理方法主要包含了兩次分割過程，第一次是對待處理圖像的粗略分割，第二次是基於粗略分割得到的定位結果來進行的更高精度的分割，因此第二次分割與第一次分割可以通過一個神經網路實現，二者共用一套參數，因此，可以將兩次分割看作為一個神經網路下的兩個子神經網路，因此，在一種可能的實現方式中，神經網路可以包括第一分割子網路及第二分割子網路，其中，第一分割子網路用於對待處理圖像進行逐級卷積處理及分割處理，第二分割子網路用於對定位結果進行逐級反卷積處理及分割處理。神經網路所採用的具體網路結構不受限定，在一個示例中，上述實施例中提到的V-Net和3D-U-Net均可以作為神經網路的具體實現方式。任何可以實現第一分割子網路和第二分割子網路功能的神經網路，均可以作為神經網路的實現形式。
圖7示出根據本發明實施例的影像處理方法的流程圖。在一種可能的實現方式中，如圖所示，本發明實施例的方法還可以包括神經網路的訓練過程，記為步驟S15，其中，步驟S15可以包括： 步驟S151，根據預設的訓練集，訓練第一分割子網路。 步驟S152，根據預設的訓練集以及已訓練的第一分割子網路，訓練第二分割子網路。 其中，預設的訓練集可以是對樣本圖片進行手動剪裁等預處理後，並拆分成的多個圖片集。拆分成的多個圖片集中，相鄰的兩個圖片集可以包括一部分相同的圖片，例如，以醫學圖像為例，可以從醫院採集多個樣本，一個樣本中包括的多個樣本圖片可以是連續採集的人體某一器官的圖片，通過該多個樣本圖片可以得到器官的三維立體結構，可以沿一個方向進行拆分，第一個圖片集可以包括第1-30幀圖片，第二個圖片集可以包括第16-45幀圖片……，這樣相鄰的兩個圖片集中有15幀圖片是相同的。通過這種重疊拆分的方式，可以提高分割的精確度。
如圖7所示，在神經網路的訓練過程中，首先可以將預設的訓練集作為輸入，訓練第一分割子網路，根據第一分割子網路的輸出結果，可以對訓練集中的圖片進行定位處理，經由定位處理後的訓練集，可以作為第二分割子網路的訓練資料，輸入到第二分割子網路中進行訓練，通過上述過程，最終可以得到訓練完成的第一分割子網路和第二分割子網路。
在訓練的過程中，確定神經網路的網路損失所使用的函數不受具體限定，在一個示例中，可以通過dice loss函數確定神經網路的網路損失，在一個示例中，可以通過交叉熵(Cross Entropy)函數確定神經網路的網路損失，在一個示例中，也可以通過其他可用的損失函數確定神經網路的網路損失。第一分割子網路和第二分割子網路使用的損失函數可以相同，也可以不同，在此不受限定。
基於上述實施例，在一個示例中，神經網路的完整訓練過程可以為：將預設的訓練集輸入到第一分割子網路的網路模型中，預設的訓練集中包含多張待分割圖像和與待分割圖像對應的遮罩(Mask)，通過任一損失函數計算出圖像經過第一分割子網路的網路模型輸出的資料與對應的Mask之間的損失，然後通過反向傳播(Backpropagation)演算法更新第一分割子網路的網路模型參數，直至第一分割子網路模型收斂，表明第一分割子網路模型完成訓練。在第一分割子網路模型完成訓練後，將預設的訓練集再次通過訓練好的第一分割子網路模型，得到多張分割結果，基於這多張分割結果，對第一分割子網路中各解析度的特徵圖進行定位處理，將這些定位並裁剪後的特徵圖與對應的位置的Mask輸入到第二分割子網路的網路模型中進行訓練，通過任一損失函數計算出定位處理後的圖像經過第二分割子網路的網路模型輸出的資料與對應的Mask之間的損失，然後通過反向傳播演算法更新第二分割子網路的網路模型參數，同時交替地更新第一分割子網路和第二分割子網路模型參數，直至整個網路模型收斂，神經網路完成訓練。
通過上述各實施例可以看出，本發明中的神經網路雖然包含兩個子神經網路，但是在訓練過程中，只需要通過一套訓練集資料即可完成訓練，兩個子神經網路共用同一套參數，可以節省更多的儲存空間。由於訓練的兩個子神經網路共用同一套參數，因此在該神經網路應用于影像處理方法時，輸入的待處理圖像直接依次通過兩個子神經網路即可得到輸出結果，而不是分別輸入到兩個子神經網路分別得到輸出結果後再進行計算，因此本發明中提出的影像處理方法具有更快的處理速度，同時也具有更低的空間消耗和時間消耗。
基於這一步驟，在本發明實施例的影像處理方法通過神經網路實現時，也可以將預設的訓練集中包含的各訓練圖片均統一至預設解析度後，再用於神經網路的訓練。
與之相應的，在一種可能的實現方式中，本發明實施例的方法還可以包括：將分割出的目標物件還原至與待處理圖像同樣大小的空間中，得到最終的分割結果。由於在步驟S11之前可能對待處理圖像進行了解析度的調整，得到的分割結果實際上可能是基於解析度調整後的圖像的分割內容，因此可以將分割的結果還原至與待處理圖像同樣大小的空間中，得到基於最原始待處理圖像的分割結果。與待處理圖像同樣大小的空間不受限定，根據待處理圖像本身的圖像性質所決定，在此不受限定，在一個示例中，待處理圖像可能是三維圖像，因此與待處理圖像同樣大小的空間可以是三維空間。
在一種可能的實現方式中，在步驟S11之前還可以包括：對待處理圖像進行預處理。這一預處理過程不受限定，任何可以提高分割精度的處理方式均可以作為預處理包含的過程，在一個示例中，對待處理圖像進行預處理可以包括將待處理圖像進行亮度值均衡化。
通過採取同一解析度的待處理圖像作為輸入來進行影像處理，可以提高後續對待處理圖像依次執行卷積處理、分割處理和逐級反卷積處理的處理效率，縮短整個影像處理過程的時間。通過對待處理圖像進行預處理，可以提升圖像分割的準確程度，從而提高影像處理結果的精度。
以下為應用場景之示例。
心臟類疾病是當前致死率最高的疾病之一，比如心房纖維化顫動是當前最為常見的心律紊亂病症之一，在一般人群中出現的概率達到了2%，而在老年人群中的發病率更高並且具有一定的致死率，嚴重威脅到了人類的健康。而對心房的精確分割是理解和分析心房纖維化的關鍵，常常被用來輔助制定針對性的心房纖維化顫動的手術消融治療方案。而心臟的其他腔體的分割對於其他類型的心臟病的治療和手術規劃也具有同樣重要的意義。然而針對醫學圖像中心臟腔體分割的方法仍然面臨著準確率不高、計算效率低下等缺點，雖然已經有部分方法實現了較高的準確率，但是仍然存在著一些實際問題，比如缺乏三維資訊，分割結果不夠平滑；缺乏全域資訊，計算效率低下；或是需要分成兩個網路進行分割訓練，時間空間上都有一定程度的冗餘等。
因此，一個精度高、效率高且時空消耗低的分割方法能夠極大減少醫生的工作量，提高心臟分割的品質，從而提高心臟相關疾病的治療效果。
圖8示出根據本發明一應用示例的示意圖，如圖所示，本發明實施例提出了一種影像處理方法，這一處理方法是基於訓練好的一套神經網路來實現的。從圖中可以看出，這套神經網路的具體訓練過程可以為：
首先對預設的訓練資料進行處理，預設的訓練資料包含多張輸入圖像和對應的Mask，通過中心裁剪和擴充的方法將多張輸入圖像的解析度統一為同樣大小，在本示例中統一後的解析度為576×576×96。
在將多張輸入圖像統一解析度後，可以利用這些輸入圖像對第一分割子網路進行訓練，具體的訓練過程可以為：
採用類似基於V-Net或者3D U-Net的三維全卷積神經網路中的編碼器結構，對輸入圖像進行多次卷積處理，本示例中卷積處理的過程可以包括卷積，池化，batch normalization以及PRelu，通過多次卷積處理，每次卷積處理的輸入均採用上次卷積處理得到的結果，本示例中共執行了4次卷積處理，因此可以分別生成解析度大小為576×576×96，288×288×48，144×144×24，以及72×72×12的特徵圖，並且輸入圖像的特徵通道從8個提升到128個。
在得到了上述4個特徵圖後，針對其中解析度最小的特徵圖，本示例中為72×72×12的特徵圖，將其通過一個softmax層，可以得到兩個解析度為72×72×12的概率輸出，這兩個概率輸出分別代表像素相關位置是否為目標腔體的概率，這兩個概率輸出可以作為第一分割子網路的輸出結果，利用dice loss、交叉熵或者其他損失函數，可以計算該輸出結果與直接降採樣為72×72×12的mask之間的損失，基於計算出的損失，可以利用反向傳播演算法更新第一分割子網路的網路參數，直到第一分割子網路的網路模型收斂，此時可以代表第一分割子網路訓練完成。
在第一分割子網路訓練完成後，可以將統一解析度後的多張輸入圖像通過訓練完成的第一分割子網路，得到解析度大小為576×576×96，288×288×48，144×144×24，以及72×72×12的4個特徵圖，以及2個解析度為72×72×12的概率輸出，根據低解析度的概率輸出，利用最大值比較可以得到心臟腔體的粗略分割結果，其解析度為72×72×12，基於這一粗略分割結果，可以計算心臟腔體的重心座標，並以此為中心裁剪出在576×576×96，288×288×48，144×144×24，以及72×72×12這4個特徵圖中，足夠完全覆蓋目標腔體的固定大小區域，在一個示例中，72×72×12的特徵圖中可以裁剪30×20×12大小區域，144×144×24的特徵圖中可以裁剪60×40×24大小區域，288×288×48的特徵圖中可以裁剪120×80×48大小區域，576×576×96的特徵圖中可以裁剪240×160×96大小區域。
得到上述四個裁剪後的區域圖像後，可以利用這些區域圖像對第二分割子網路進行訓練，具體的訓練過程可以為：
利用逐級反卷積處理，可以將區域圖像逐步還原到240×160×96解析度，具體過程可以為：將72×72×12的特徵圖中裁剪出的30×20×12大小區域，通過反卷積處理得到解析度為60×40×24的特徵圖，並將這一特徵圖與之前144×144×24的特徵圖中裁剪出的60×40×24大小區域進行融合，得到融合後的解析度60×40×24的特徵圖，再將這一特徵圖進行反卷積處理，得到解析度為120×80×48的特徵圖，將其餘之前288×288×48的特徵圖中裁剪出的120×80×48大小區域進行融合，得到融合後的解析度為120×80×48的特徵圖，將融合後的特徵圖再進行反卷積處理，得到解析度為240×160×96的特徵圖，將其再與576×576×96的特徵圖中裁剪出的240×160×96大小區域進行融合，得到逐級反卷積處理後的最終圖像，則這一最終圖像中包含心臟腔體的局部和全域資訊，將這一最終圖像通過一個softmax層，可以得到兩個解析度為576×576×96的概率輸出，這兩個概率輸出分別代表像素相關位置是否為目標腔體的概率，這兩個概率輸出可以作為第二分割子網路的輸出結果，然後利用dice loss、交叉熵或者其他損失函數，可以計算該輸出結果與mask之間的損失，基於計算的損失，可以利用反向傳播演算法更新第二分割子網路的網路參數，直到第二分割子網路的網路模型收斂，此時可以代表第二分割子網路訓練完成。
經過以上步驟，可以得到一個訓練完成的用於心臟腔體分割的神經網路，對於心臟腔體的定位和分割可以在這同一個神經網路中同時完成，可以從圖像輸入經過網路後直接得到。因此，基於這一訓練完成的神經網路對心臟腔體的分割過程具體可以為：
首先利用中心裁剪和擴充的方法將待進行心臟腔體分割的待分割圖像的解析度調整為神經網路的預設大小，在本示例中為576×576×96，然後將這一待分割圖像資料輸入上述訓練好的神經網路中，待分割圖像在訓練好的神經網路中，經歷與訓練過程相似的過程，即先通過卷積處理生成4個解析度大小的特徵圖，然後得到粗略分割結果，基於此粗略分割結果對上述4個解析度大小的特徵圖進行裁剪，再對裁剪結果進行反卷積處理得到反卷積結果，這一反卷積結果再通過分割處理得到目標腔體的分割結果，這一分割結果即作為神經網路的輸出結果進行輸出，再將這一輸出的分割結果映射到與輸入的待分割圖像同樣的維度大小上，即得到最終的心臟腔體分割結果。
採用本發明的影像處理方法，可以利用一個三維網路同時進行心臟腔體的定位和分割，定位和分割共用同一套參數，將心臟腔體的定位和分割統一到同一個網路當中，因此可以從輸入一步直接得到分割結果，具有更快的速度，也可以節省更多的儲存空間，同時可以得到更加平滑的三維模型分割表面。
需要說明的是，本發明實施例的影像處理方法不限於應用在上述心臟腔體影像處理，可以應用於任意的影像處理，本發明對此不作限定。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖9示出根據本發明實施例的影像處理裝置的方塊圖。該影像處理裝置可以為終端設備、伺服器或者其他處理設備等。其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩式電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。
在一些可能的實現方式中，該影像處理裝置可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖9所示，所述影像處理裝置可以包括：卷積模組21，用於對待處理圖像進行逐級卷積處理，得到卷積結果；定位模組22，用於根據卷積結果，通過定位處理得到定位結果；反卷積模組23，用於對定位結果進行逐級反卷積處理，得到反卷積結果；目標物件獲取模組24，用於對反卷積結果進行分割處理，從待處理圖像中分割出目標物件。
在一種可能的實現方式中，卷積模組21用於：對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為卷積結果。
在一種可能的實現方式中，卷積模組21進一步用於：對待處理圖像進行卷積處理，所得到的特徵圖作為待卷積特徵圖；在待卷積特徵圖的解析度未達到第一閾值時，對待卷積特徵圖進行卷積處理，並將得到的結果再次作為待卷積特徵圖；在待卷積特徵圖的解析度達到第一閾值時，將得到的解析度逐漸遞減的所有特徵圖作為卷積結果。
在一種可能的實現方式中，定位模組22包括：分割子模組，用於根據卷積結果進行分割處理，得到分割結果；定位子模組，用於根據分割結果，對卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，分割子模組用於：對卷積結果中解析度最低的特徵圖進行分割處理，得到分割結果。
在一種可能的實現方式中，定位子模組用於：根據分割結果，確定目標物件在卷積結果中對應的位置資訊；根據位置資訊，對卷積結果進行定位處理，得到定位結果。
在一種可能的實現方式中，定位子模組進一步用於：讀取分割結果的座標位置；將座標位置作為區域中心，分別確定卷積結果內，每個解析度下的特徵圖中可全部覆蓋目標物件的區域位置，作為目標物件在卷積結果中對應的位置資訊。
在一種可能的實現方式中，定位子模組進一步用於：根據位置資訊，對卷積結果中每個解析度下的特徵圖分別進行裁切處理，得到定位結果。
在一種可能的實現方式中，反卷積模組23用於：將定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖；在待反卷積特徵圖的解析度未達到第二閾值時，對待反卷積特徵圖進行反卷積處理，得到反卷積處理結果；按照解析度逐漸遞增的順序，確定定位結果中待反卷積特徵圖的下一特徵圖；將反卷積處理結果與下一特徵圖進行融合，將融合結果再次作為待反卷積特徵圖；在待反卷積特徵圖的解析度達到第二閾值時，將待反卷積特徵圖作為反卷積結果。
在一種可能的實現方式中，分割處理包括：將待分割對象通過softmax回歸，得到回歸結果；通過對回歸結果進行最大值比較，完成對待分割物件的分割處理。
在一種可能的實現方式中，裝置通過神經網路實現，神經網路包括第一分割子網路及第二分割子網路，其中，第一分割子網路用於對待處理圖像進行逐級卷積處理及分割處理，第二分割子網路用於對定位結果進行逐級反卷積處理及分割處理。
在一種可能的實現方式中，裝置還包括訓練模組，用於：根據預設的訓練集，訓練第一分割子網路；根據預設的訓練集以及已訓練的第一分割子網路，訓練第二分割子網路。
在一種可能的實現方式中，卷積模組21之前還包括解析度調整模組，用於：將待處理圖像調整至預設解析度。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性(Non-Volatile)電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為執行上述方法。
電子設備可以被提供為終端、伺服器或其它型態的設備。
圖10是根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖10，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/ O）埠812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互運作。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互運作。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令、連絡人資料、電話簿資料、消息、圖片、視頻等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子抹除式可複寫唯讀記憶體（EEPROM），可擦除可規劃式唯讀記憶體（EPROM），可程式設計唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統、一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸控面板包括一個或多個觸控感測器以感測觸碰、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸碰或滑動動作的邊界，而且還檢測與所述觸碰或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊信號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊信號。
輸入/輸出埠812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括近接感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信（NFC）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（RFID）技術，紅外資料協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位信號處理設備（DSPD）、可程式設計邏輯裝置（PLD）、現場可程式設計閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖11是根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖11，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路埠1950被配置為將電子設備1900連接到網路，和一個輸入輸出（I/O）埠1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似的作業系統。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是(但不限於)電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦除可規劃式唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、唯讀記憶光碟（CD-ROM）、數位多功能影音光碟（DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言，諸如Smalltalk、C++等，以及常規的程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列（FPGA）或可程式設計邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
在不違背邏輯的情況下，本申請不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。本說明書中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進，或者使本技術領域人員能理解本文披露的各實施例。
21:卷積模組 22:定位模組 23:反卷積模組 24:目標物件獲取模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出埠 814:感測器組件 816:通信組件 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路埠 1958:輸入/輸出埠 S11~S152:流程步驟
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1示出根據本發明一實施例的影像處理方法的流程圖。 圖2示出根據本發明一實施例的影像處理方法的流程圖。 圖3示出根據本發明一實施例的影像處理方法的流程圖。 圖4示出根據本發明一實施例的影像處理方法的流程圖。 圖5示出根據本發明一實施例的影像處理方法的流程圖。 圖6示出根據本發明一實施例的影像處理方法的流程圖。 圖7示出根據本發明一實施例的影像處理方法的流程圖。 圖8示出根據本發明一應用示例的示意圖。 圖9示出根據本發明一實施例的影像處理裝置的方塊圖。 圖10示出根據本發明實施例的一種電子設備的方塊圖。 圖11示出根據本發明實施例的一種電子設備的方塊圖。
S11~S14:流程步驟

Claims (13)

  1. 一種圖像處理方法，包含： 對待處理圖像進行逐級卷積處理，得到卷積結果； 根據所述卷積結果，通過定位處理得到定位結果； 對所述定位結果進行逐級反卷積處理，得到反卷積結果； 對所述反卷積結果進行分割處理，從所述待處理圖像中分割出目標物件； 所述對所述定位結果進行逐級反卷積處理，得到反卷積結果，包括： 將所述定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖； 在所述待反卷積特徵圖的解析度未達到第二閾值時，對所述待反卷積特徵圖進行反卷積處理，得到反卷積處理結果； 按照解析度逐漸遞增的順序，確定所述定位結果中所述待反卷積特徵圖的下一特徵圖； 將所述反卷積處理結果與所述下一特徵圖進行融合，將所述融合結果再次作為待反卷積特徵圖； 在所述待反卷積特徵圖的解析度達到第二閾值時，將所述待反卷積特徵圖作為反卷積結果。
  2. 如請求項1所述的圖像處理方法，其中，所述對待處理圖像進行逐級卷積處理，得到卷積結果，包括： 對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為所述卷積結果。
  3. 如請求項1所述的圖像處理方法，其中，所述對待處理圖像進行逐級卷積處理，得到至少一個解析度逐漸遞減的特徵圖，作為所述卷積結果，包括： 對待處理圖像進行卷積處理，所得到的特徵圖作為待卷積特徵圖； 在所述待卷積特徵圖的解析度未達到第一閾值時，對所述待卷積特徵圖進行卷積處理，並將得到的結果再次作為待卷積特徵圖； 在所述待卷積特徵圖的解析度達到第一閾值時，將得到的解析度逐漸遞減的所有特徵圖作為所述卷積結果。
  4. 如請求項1所述的圖像處理方法，其中，所述根據所述卷積結果，通過定位處理得到定位結果，包括： 根據所述卷積結果進行分割處理，得到分割結果； 根據所述分割結果，對所述卷積結果進行定位處理，得到定位結果。
  5. 如請求項4所述的圖像處理方法，其中，所述根據所述卷積結果進行分割處理，得到分割結果，包括： 對所述卷積結果中解析度最低的特徵圖進行分割處理，得到分割結果。
  6. 如請求項4所述的圖像處理方法，其中，所述根據所述分割結果，對所述卷積結果進行定位處理，得到定位結果，包括： 根據所述分割結果，確定所述目標物件在所述卷積結果中對應的位置資訊； 根據所述位置資訊，對所述卷積結果進行定位處理，得到定位結果。
  7. 如請求項6所述的圖像處理方法，其中，所述根據所述分割結果，確定所述目標物件在卷積結果中對應的位置資訊，包括： 讀取所述分割結果的座標位置； 將所述座標位置作為區域中心，分別確定所述卷積結果內，每個解析度下的特徵圖中可全部覆蓋所述目標物件的區域位置，作為所述目標物件在卷積結果中對應的位置資訊； 所述根據所述位置資訊，對所述卷積結果進行定位處理，得到定位結果，包括： 根據所述位置資訊，對所述卷積結果中每個解析度下的特徵圖分別進行裁切處理，得到定位結果。
  8. 如請求項1所述的圖像處理方法，其中，所述分割處理包括： 將待分割對象通過softmax回歸，得到回歸結果； 通過對所述回歸結果進行最大值比較，完成對所述待分割物件的分割處理； 所述方法通過神經網路實現，所述神經網路包括第一分割子網路及第二分割子網路，所述第一分割子網路用於對所述待處理圖像進行逐級卷積處理及分割處理，所述第二分割子網路用於對所述定位結果進行逐級反卷積處理及分割處理。
  9. 如請求項8所述的圖像處理方法，其中，所述神經網路的訓練過程，包括： 根據預設的訓練集，訓練所述第一分割子網路； 根據所述預設的訓練集以及已訓練的第一分割子網路，訓練所述第二分割子網路。
  10. 如請求項1所述的圖像處理方法，其中，所述對所述待處理圖像進行逐級卷積處理，得到卷積結果之前，還包括： 將所述待處理圖像調整至預設解析度； 所述待處理圖像為三維醫學圖像。
  11. 一種影像處理裝置，包含： 卷積模組，用於對待處理圖像進行逐級卷積處理，得到卷積結果； 定位模組，用於根據所述卷積結果，通過定位處理得到定位結果； 反卷積模組，用於對所述定位結果進行逐級反卷積處理，得到反卷積結果； 目標物件獲取模組，用於對所述反卷積結果進行分割處理，從所述待處理圖像中分割出目標物件； 所述反卷積模組用於：將所述定位結果中包含的所有特徵圖中解析度最低的特徵圖作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度未達到第二閾值時，對所述待反卷積特徵圖進行反卷積處理，得到反卷積處理結果；按照解析度逐漸遞增的順序，確定所述定位結果中所述待反卷積特徵圖的下一特徵圖；將所述反卷積處理結果與所述下一特徵圖進行融合，將所述融合結果再次作為待反卷積特徵圖；在所述待反卷積特徵圖的解析度達到第二閾值時，將所述待反卷積特徵圖作為反卷積結果。
  12. 一種電子設備，包含： 處理器； 用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為：執行請求項1至10中任意一項所述的方法。
  13. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至10中任意一項所述的方法。
TW110140808A 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體 TWI758233B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910258038.1A CN109978886B (zh) 2019-04-01 2019-04-01 图像处理方法及装置、电子设备和存储介质
CN201910258038.1 2019-04-01

Publications (2)

Publication Number Publication Date
TW202209343A true TW202209343A (zh) 2022-03-01
TWI758233B TWI758233B (zh) 2022-03-11

Family

ID=67082222

Family Applications (3)

Application Number Title Priority Date Filing Date
TW110140810A TWI758234B (zh) 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
TW108137213A TWI750518B (zh) 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
TW110140808A TWI758233B (zh) 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW110140810A TWI758234B (zh) 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
TW108137213A TWI750518B (zh) 2019-04-01 2019-10-16 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20210319560A1 (zh)
JP (1) JP2022517571A (zh)
CN (1) CN109978886B (zh)
SG (1) SG11202106290TA (zh)
TW (3) TWI758234B (zh)
WO (1) WO2020199528A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110807463B (zh) * 2019-09-17 2022-10-11 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
US11335045B2 (en) * 2020-01-03 2022-05-17 Gyrfalcon Technology Inc. Combining feature maps in an artificial intelligence semiconductor solution
KR20210101903A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113706548B (zh) * 2020-05-09 2023-08-22 北京康兴顺达科贸有限公司 基于ct影像对胸部前纵隔病灶自动分割的方法
CN113298819A (zh) * 2020-06-09 2021-08-24 阿里巴巴集团控股有限公司 一种视频的处理方法、装置及电子设备
CN113516614A (zh) 2020-07-06 2021-10-19 阿里巴巴集团控股有限公司 脊柱影像的处理方法、模型训练方法、装置及存储介质
CN113902654A (zh) 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN112150449B (zh) * 2020-09-29 2022-11-25 太原理工大学 一种脑卒中病灶分割方法和系统
CN112233194B (zh) * 2020-10-15 2023-06-02 平安科技（深圳）有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN112308867B (zh) * 2020-11-10 2022-07-22 上海商汤智能科技有限公司 牙齿图像的处理方法及装置、电子设备和存储介质
US11461989B2 (en) 2020-12-04 2022-10-04 Himax Technologies Limited Monitor method and monitor system thereof wherein mask is used to cover image for detecting object
TWI768759B (zh) * 2021-03-11 2022-06-21 瑞昱半導體股份有限公司 具有超解析放大機制的影像放大裝置及方法
CN113225226B (zh) * 2021-04-30 2022-10-21 上海爱数信息技术股份有限公司 一种基于信息熵的云原生系统观测方法及系统
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
US11475158B1 (en) * 2021-07-26 2022-10-18 Netskope, Inc. Customized deep learning classifier for detecting organization sensitive data in images on premises
CN114092712B (zh) * 2021-11-29 2024-07-26 北京字节跳动网络技术有限公司 图像生成方法、装置、可读介质和电子设备
TWI843109B (zh) * 2022-05-24 2024-05-21 鴻海精密工業股份有限公司 醫學圖像檢測方法、電腦設備及電腦可讀儲存介質
CN114708608B (zh) * 2022-06-06 2022-09-16 浙商银行股份有限公司 一种银行票据全自动化特征工程方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
US7899514B1 (en) * 2006-01-26 2011-03-01 The United States Of America As Represented By The Secretary Of The Army Medical image processing methodology for detection and discrimination of objects in tissue
WO2016172612A1 (en) * 2015-04-23 2016-10-27 Cedars-Sinai Medical Center Automated delineation of nuclei for three dimensional (3-d) high content screening
CA3017697C (en) * 2016-03-17 2021-01-26 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information
CN109843377B (zh) * 2016-09-07 2022-06-17 医科达有限公司 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法
CN106530320B (zh) * 2016-09-30 2019-12-17 深圳大学 一种端到端的图像分割处理方法及系统
US20190295260A1 (en) * 2016-10-31 2019-09-26 Konica Minolta Laboratory U.S.A., Inc. Method and system for image segmentation using controlled feedback
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
JP6787196B2 (ja) * 2017-03-09 2020-11-18 コニカミノルタ株式会社 画像認識装置及び画像認識方法
CN107016681B (zh) * 2017-03-29 2023-08-25 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
JP6972757B2 (ja) * 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
CN108776969B (zh) * 2018-05-24 2021-06-22 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108682015B (zh) * 2018-05-28 2021-10-19 安徽科大讯飞医疗信息技术有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN108765422A (zh) * 2018-06-13 2018-11-06 云南大学 一种视网膜图像血管自动分割方法
CN108986115B (zh) * 2018-07-12 2020-12-18 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN109145769A (zh) * 2018-08-01 2019-01-04 辽宁工业大学 融合图像分割特征的目标检测网络设计方法
CN109166130B (zh) * 2018-08-06 2021-06-22 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109035261B (zh) * 2018-08-09 2023-01-10 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109493317B (zh) * 2018-09-25 2020-07-07 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN109978886B (zh) * 2019-04-01 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW202207156A (zh) 2022-02-16
US20210319560A1 (en) 2021-10-14
TWI758233B (zh) 2022-03-11
JP2022517571A (ja) 2022-03-09
CN109978886B (zh) 2021-11-09
SG11202106290TA (en) 2021-07-29
TW202038188A (zh) 2020-10-16
TWI758234B (zh) 2022-03-11
WO2020199528A1 (zh) 2020-10-08
CN109978886A (zh) 2019-07-05
TWI750518B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
TWI758233B (zh) 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
CN110047078B (zh) 图像处理方法及装置、电子设备和存储介质
CN110674719B (zh) 目标对象匹配方法及装置、电子设备和存储介质
TWI753348B (zh) 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介
WO2020078268A1 (zh) 图像分割方法、装置、计算机设备及存储介质
JP2022515722A (ja) 画像セグメンテーション方法及び装置、電子機器並びに記憶媒体
JP7178514B2 (ja) 場面深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
JP2022530413A (ja) 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
WO2022193466A1 (zh) 图像处理方法及装置、电子设备和存储介质
TWI765404B (zh) 圖像定位的互動顯示方法、電子設備和電腦可讀儲存媒體
JP7114811B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
WO2023142645A1 (zh) 图像处理方法、装置、电子设备、存储介质和计算机程序产品
CN111724361B (zh) 实时显示病灶的方法及装置、电子设备和存储介质
KR20210064114A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
JP2022546201A (ja) ターゲット検出方法および装置、電子機器並びに記憶媒体
TW202226049A (zh) 關鍵點檢測方法、電子設備和儲存媒體
JP2022547372A (ja) 画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品
WO2022183656A1 (zh) 数据生成方法、装置、设备、存储介质及程序
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质
CN115035596A (zh) 行为检测的方法及装置、电子设备和存储介质
CN111738998A (zh) 病灶位置动态检测方法及装置、电子设备和存储介质
JP2022518810A (ja) 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体
CN117152128B (zh) 神经影像的病灶识别方法、装置、电子设备和存储介质