TW202032579A - 病灶檢測方法及其裝置及其設備及儲存媒體 - Google Patents

病灶檢測方法及其裝置及其設備及儲存媒體 Download PDF

Info

Publication number
TW202032579A
TW202032579A TW108144288A TW108144288A TW202032579A TW 202032579 A TW202032579 A TW 202032579A TW 108144288 A TW108144288 A TW 108144288A TW 108144288 A TW108144288 A TW 108144288A TW 202032579 A TW202032579 A TW 202032579A
Authority
TW
Taiwan
Prior art keywords
feature map
lesion
generate
image
feature
Prior art date
Application number
TW108144288A
Other languages
English (en)
Other versions
TWI724669B (zh
Inventor
黃銳
高雲河
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202032579A publication Critical patent/TW202032579A/zh
Application granted granted Critical
Publication of TWI724669B publication Critical patent/TWI724669B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一種病灶檢測方法、裝置、設備及儲存媒體，方法包括：獲取包括多張採樣切片的第一圖像，所述第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像；對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；所述第一特徵圖包括X軸維度、Y軸維度以及Z軸維度的三維特徵；將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；所述第二特徵圖包括X軸維度以及Y軸維度的二維特徵；對所述第二特徵圖的特徵進行檢測，得到所述第二特徵圖中每一個病灶的位置以及所述位置對應的置信度。採用本發明，可準確地檢測出患者體內多個部位的病灶情況，實現對患者全身範圍的癌症初步評估。

Description

病灶檢測方法及其裝置及其設備及儲存媒體
本發明涉及電腦技術領域，尤其涉及一種病灶檢測的方法及其裝置及其設備及儲存媒體。
電腦輔助診斷(Computer aided diagosis，CAD)是指通過影像學、醫學圖像分析技術以及其他可能的生理、生化等手段，結合電腦的分析計算，自動地從影像中發現病灶。實踐證明，電腦輔助診斷在提高診斷準確率、減少漏診和提高醫生工作效率等方面起到了極大的積極促進作用。其中，病灶指的是組織或器官遭受致病因子的作用而引起病變的部位，是身體上發生病變的部分。例如，人體肺部的某一部分被結核菌破壞，那麽這一部分就是肺結核病灶。
近年來，隨著電腦視覺和深度學習技術的快速發展，基於CT圖像的病灶檢測方法受到越來越多的關注。
本發明提供一種病灶檢測方法及其裝置及其設備及儲存媒體。
第一方面，本發明提供了一種病灶檢測方法，該方法包括：獲取包括多張採樣切片的第一圖像，所述第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像；對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；所述第一特徵圖包括所述X軸維度、Y軸維度以及Z軸維度的三維特徵；將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；所述第二特徵圖爲包括所述X軸維度以及所述Y軸維度的二維圖像；對所述第二特徵圖進行檢測，得到所述第二特徵圖中每一個病灶的位置以及所述位置對應的置信度。
結合第一方面，在一些可能的實施例中，所述獲取包括多張採樣切片的第一圖像，包括：以第一採樣間隔對獲取到的患者的CT圖像進行重採樣，生成包括多張採樣切片的第一圖像。
結合第一方面，在一些可能的實施例中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，包括：通過第一神經網路對所述第一圖像進行下採樣，生成第三特徵圖；通過第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成第四特徵圖；通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖，以及通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖；將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖，以及將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖及所述第四預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。或者，通過第一神經網路對所述第一圖像進行下採樣，生成第三特徵圖；通過所述第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成第四特徵圖；通過所述第二神經網路的殘差模組對所述第四特徵圖進行下採樣，生成比所述第四特徵圖的解析度小的第五特徵圖；通過所述第二神經網路的DenseASPP模組對所述第五特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，生成與所述第五特徵圖的解析度大小相同的第五預設特徵圖；通過所述第二神經網路的反卷積層和所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過所述第二神經網路的反卷積層和殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖；將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖；將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；以及將所述第五特徵圖與所述第五預設特徵圖進行融合生成與所述第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第一方面，在一些可能的實施例中， 所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，包括：通過第二神經網路的殘差模組對所述第一圖像進行下採樣，生成比所述第一圖像的解析度小的第四特徵圖；通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第一圖像解析度大小相同的所述第一預設特徵圖；將所述第一圖像與所述第一預設特徵圖生成與所述第一預設特徵圖的解析度大小相同的第一特徵圖；所述第一預設特徵圖包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第一方面，在一些可能的實施例中， 所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，包括：通過第一神經網路對所述第一圖像進行下採樣，生成比所述第一圖像的解析度小的第三特徵圖；通過所述第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成比所述第三特徵圖的解析度小的第四特徵圖；通過所述第二神經網路的殘差模組對所述第四特徵圖進行下採樣，生成比所述第四特徵圖的解析度小的第五特徵圖；通過所述第二神經網路的DenseASPP模組對所述第五特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，生成與所述第五特徵圖的解析度大小相同的第五預設特徵圖；通過所述第二神經網路的反卷積層和所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過所述第二神經網路的反卷積層和殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖；將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖；將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；以及將所述第五特徵圖與所述第五預設特徵圖進行融合生成與所述第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第一方面，在一些可能的實施例中，所述第一神經網路，包括：卷積層以及與所述卷積層相級聯的殘差模組；所述第二神經網路，包括：3D U-Net網路，所述3D U-Net網路包括：卷積層、反卷積層、殘差模組以及所述DenseASPP模組。
結合第一方面，在一些可能的實施例中，所述第二神經網路爲堆疊的多個3D U-Net網路。
結合第一方面，在一些可能的實施例中，所述殘差模組包括：卷積層、批量正規化層、ReLU激勵函數以及最大池化層。
結合第一方面，在一些可能的實施例中，所述將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖，包括：分別將所述第一特徵圖的所有特徵中每一個特徵的通道維度和Z軸維度進行合併，使得所述第一特徵圖的所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成；所述所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成的第一特徵圖爲所述第二特徵圖。
結合第一方面，在一些可能的實施例中，所述對所述第二特徵圖進行檢測，包括：通過第一檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶的位置的坐標；通過第二檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶對應的置信度。
結合第一方面，在一些可能的實施例中，所述第一檢測子網路包括：多個卷積層，所述多個卷積層中每一個卷積層與一個ReLU激勵函數相連；所述第二檢測子網路包括：多個卷積層，所述多個卷積層中每一個卷積層與一個ReLU激勵函數相連。
結合第一方面，在一些可能的實施例中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，還包括：通過將預存的包含多個病灶標注的三維圖像輸入到所述第一神經網路，所述病灶標注用於對病灶進行標注；並利用梯度下降法分別對所述第一神經網路、所述第二神經網路、所述DenseASPP模組、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
結合第一方面，在一些可能的實施例中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，還包括：通過將預存的包含多個病灶標注的三維圖像輸入到所述第一神經網路，所述病灶標注用於對病灶進行標注；，並利用梯度下降法分別對所述第二神經網路、所述DenseASPP模組、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
第二方面，本發明提供了一種病灶檢測裝置，該裝置包括：獲取單元，用於獲取包括多張採樣切片的第一圖像，所述第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像；第一生成單元，用於對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；所述第一特徵圖包括所述X軸維度、Y軸維度以及Z軸維度的三維特徵；第二生成單元，用於將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；所述第二特徵圖包括所述X軸維度以及所述Y軸維度的二維特徵；檢測單元，用於對所述第二特徵圖進行檢測，得到第二特徵圖中每一個病灶的位置以及所述位置對應的置信度。
結合第二方面，在一些可能的實施例中，所述獲取單元，具體用於：以第一採樣間隔對獲取到的患者的CT圖像進行重採樣，生成包括多張採樣切片的第一圖像。
結合第二方面，在一些可能的實施例中，所述第一生成單元，具體用於：通過第一神經網路對所述第一圖像進行下採樣，生成比所述第一圖像的解析度小的第三特徵圖；通過所述第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成比所述第三特徵圖的解析度小的第四特徵圖；通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖，以及通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖；將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖，以及將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖及所述第四預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第二方面，在一些可能的實施例中，所述第一生成單元，具體用於：通過第一神經網路對所述第一圖像進行下採樣，生成比所述第一圖像的解析度小的第四特徵圖；通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第一圖像解析度大小相同的所述第一預設特徵圖；將所述第一圖像與所述第一預設特徵圖生成與所述第一預設特徵圖的解析度大小相同的第一特徵圖；所述第一預設特徵圖包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第二方面，在一些可能的實施例中，所述第一生成單元，具體用於：通過第二神經網路對所述第一圖像的殘差模組進行下採樣，生成比所述第一圖像的解析度小的第三特徵圖；通過所述第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成比所述第三特徵圖的解析度小的第四特徵圖；通過所述第二神經網路的殘差模組對所述第四特徵圖進行下採樣，生成比所述第四特徵圖的解析度小的第五特徵圖；通過所述第二神經網路的DenseASPP模組對所述第五特徵圖中不同尺度的病灶的特徵進行提取；經過所述DenseASPP模組處理後，生成與所述第五特徵圖的解析度大小相同的第五預設特徵圖；通過所述第二神經網路的反卷積層和所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過所述第二神經網路的反卷積層和殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖；將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖；將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；以及將所述第五特徵圖與所述第五預設特徵圖進行融合生成與所述第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
結合第二方面，在一些可能的實施例中，所述第一神經網路，包括：卷積層以及與所述卷積層相級聯的殘差模組；所述第二神經網路，包括：3D U-Net網路，所述3D U-Net網路包括：卷積層、反卷積層、殘差模組以及所述DenseASPP模組。
結合第二方面，在一些可能的實施例中，所述第二神經網路爲堆疊的多個3D U-Net網路。
結合第二方面，在一些可能的實施例中，所述殘差模組包括：卷積層、批量正規化層、ReLU激勵函數以及最大池化層。
結合第二方面，在一些可能的實施例中，所述第三特徵單元，具體用於：分別將所述第一特徵圖的所有特徵中每一個特徵的通道維度和Z軸維度進行合併，使得所述第一特徵圖的所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成；所述所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成的第一特徵圖爲所述第二特徵圖。
結合第二方面，在一些可能的實施例中，所述檢測單元，具體用於：通過第一檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶的位置的坐標；通過第二檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶對應的置信度。
結合第二方面，在一些可能的實施例中，所述第一檢測子網路包括：多個卷積層，所述多個卷積層中每一個卷積層與一個ReLU激勵函數相連；所述第二檢測子網路包括：多個卷積層，所述多個卷積層中每一個卷積層與一個ReLU激勵函數相連。
結合第二方面，在一些可能的實施例中，還包括：訓練單元，具體用於：在所述第一生成單元對所述第一圖像進行特徵提取，生成包含病灶的特徵的第一特徵圖之前，通過將預存的包含多個病灶標注的三維圖像輸入到所述第一神經網路，所述病灶標注用於對病灶進行標注；並利用梯度下降法分別對所述第一神經網路、所述第二神經網路、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
結合第二方面，在一些可能的實施例中，還包括：訓練單元，具體用於：在所述第一生成單元對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，通過將包含多個病灶標注的三維圖像輸入到所述第二神經網路，所述病灶標注用於對病灶進行標注；並利用梯度下降法分別對所述第二神經網路、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
第三方面，本發明提供了一種病灶檢測設備，包括處理器、顯示器和記憶體，所述處理器、顯示器和記憶體相互連接，其中，所述顯示器用於顯示病灶的位置以及所述位置對應的置信度，所述記憶體用於儲存應用程式代碼，所述處理器被配置用於調用所述程式代碼，執行上述第一方面的病灶檢測方法。
第四方面，本發明提供了一種儲存媒體，用於儲存一個或多個電腦程式，上述一個或多個電腦程式包括指令，當上述電腦程式在電腦上運行時，上述指令用於執行上述第一方面的病灶檢測方法。
第五方面，本發明提供了一種電腦程式，該電腦程式包括病灶檢測指令，當該電腦程式在電腦上執行時，上述利用病灶檢測指令用於執行上述第一方面提供的病灶檢測方法。
本發明提供了一種病灶檢測方法及其裝置及其設備及儲存媒體。首先，獲取包括多張採樣切片的第一圖像，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像。進而，對第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；第一特徵圖包括X軸維度、Y軸維度以及Z軸維度的三維圖像。然後，將第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；第二特徵圖包括X軸維度以及Y軸維度的二維特徵。最後，對第二特徵圖的特徵進行檢測，得到第二特徵圖中每一個病灶的特徵以及位置對應的置信度。採用本發明，可準確地檢測出患者體內多個部位的病灶情況，實現對患者全身範圍的癌症初步評估。
下面將結合本發明中的附圖，對本發明中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
應當理解，當在本說明書和所附請求項中使用時，術語“包括”和 “包含”指示所描述特徵、整體、步驟、操作、元素和/或組件的存在，但並不排除一個或多個其它特徵、整體、步驟、操作、元素、組件和/或其集合的存在或添加。
還應當理解，在此本發明說明書中所使用的術語僅僅是出於描述特定實施例的目的而並不意在限制本發明。如在本發明說明書和所附請求項中所使用的那樣，除非上下文清楚地指明其它情況，否則單數形式的“一”、“一個”及“該”意在包括複數形式。
還應當進一步理解，在本發明說明書和所附請求項中使用的術語“和/ 或”是指相關聯列出的項中的一個或多個的任何組合以及所有可能組合，並且包括這些組合。
如在本說明書和所附請求項中所使用的那樣，術語“如果”可以依據上下文被解釋爲 “當... 時”或“一旦”或“響應於確定”或“響應於檢測到”。類似地，短語“如果確定”或“如果檢測到[所描述條件或事件]”可以依據上下文被解釋爲意指“一旦確定”或“響應於確定”或“一旦檢測到[所描述條件或事件]”或“響應於檢測到[所描述條件或事件]”。
具體實現中，本響應中描述的設備包括但不限於諸如具有觸控敏感表面(例如，觸控顯示器和/或觸控板)筆記型電腦或平板電腦之類的其它便攜式設備。還應當理解的是，在某些實施例中，所述設備並非便攜式通訊設備，而是具有觸控敏感表面(例如，觸控顯示器和/或觸控板) 的桌上型電腦。
在接下來的討論中，描述了包括顯示器和觸控敏感表面的設備。然而，應當理解的是，設備可以包括諸如物理鍵盤、滑鼠和/或控制桿的一個或多個其它物理用戶介面設備。
設備支持各種應用程式，例如以下中的一個或多個：繪圖應用程式、演示應用程式、文字處理應用程式、網站創建應用程式、盤刻錄應用程式、電子表格應用程式、游戲應用程式、電話應用程式、視訊會議應用程式、電子郵件應用程式、即時消息收發應用程式、鍛煉支持應用程式、照片管理應用程式、數位相機應用程式、數位攝影機應用程式、web 瀏覽應用程式、數位音樂播放器應用程式和/或數位視訊播放器應用程式。
可以在設備上執行的各種應用程式可以使用諸如觸控敏感表面的至少一個公共物理用戶介面設備。可以在應用程式之間和/或相應應用程式內調整和/或改變觸控敏感表面的一個或多個功能以及設備上顯示的相應訊息。這樣，設備的公共物理架構(例如，觸控敏感表面)可以支持具有對用戶而言直觀且透明的用戶界面的各種應用程式。
爲了更好的理解本發明，下面對本發明適用的網路架構進行描述。請參閱圖1，圖1是本發明提供的一種病灶檢測系統的示意圖。如圖1所示，系統10可包括：第一神經網路101、第二神經網路102、檢測子網路（Detection Subnet）103。
本發明實施例中，病灶指的是組織或器官遭受致病因子的作用而引起病變的部位，是身體上發生病變的部分。例如，人體肺部的某一部分被結核菌破壞，那麽這一部分就是肺結核病灶。
應當說明的，第一神經網路101包括卷積層(Conv1)以及與卷積層級聯的殘差模組(SEResBlock)。其中，殘差模組可包括：批量正規化層(Batch Normalization，BN)、修正線性單元(ReLU)激勵函數以及最大池化層(Max-pooling)。
其中，第一神經網路101可用於對輸入到第一神經網路101的第一圖像進行在X軸維度以及Y軸維度的下採樣，生成第三特徵圖。應當說明的，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像(也即是說，第一圖像爲多張包括由X軸維度、Y軸維度的二維圖像組成的包括X軸維度、Y軸維度以及Z軸維度的三維圖像)，例如第一圖像可爲512*512*9的三維圖像。
具體的，第一神經網路101通過卷積層中的卷積核生成對第一圖像進行處理，生成特徵圖，進而，第一神經網路101通過殘差模組對特定特徵圖進行池化，可生成解析度比第一圖像小的第三特徵圖。舉例來說，可通過第一神經網路101將512*512*9的三維圖像處理爲256*256*9的三維圖像，或還可通過第一神經網路101將512*512*9的三維圖像處理爲128*128*9的三維圖像。下採樣的過程可以將輸入的第一圖像中包含的病灶特徵提取出來，剔除第一圖像中一些不必要的區域。
應當說明的，本發明實施例中下採樣的目的生成第一圖像的縮略圖，使第一圖像符合顯示區域的大小。本發明實施例中上採樣的目的是通過在原始圖像的像素之間進行內插值的方式插入新的像素實現放大原始圖像。有利於小的病灶的檢測。
下面例舉一個例子對本發明實施例中的下採樣進行簡單說明。例如：對於一幅圖像I的尺寸爲M*N，對圖像I進行S倍下採樣，即可得到(M/S)*(N/S)尺寸的解析度圖像。也即是說，把原始圖像I內S*S窗口內的圖像變成一個像素，其中，該像素的像素值爲該S*S窗口內所有像素的最大值。其中，水平方向或垂直方向滑動的步伐(Stride)可爲2。
第二神經網路102可包括四個堆疊的3D U-net網路。3D U-net網路的展開圖如圖1中所示的104。多個3D U-net網路的檢測可以提升檢測的準確性，本發明實施例對3D U-net網路的個數僅作舉例，不作限定。其中，3D U-Net網路包括：卷積層（conv）、反卷積層（deconv）、殘差模組以及DenseASPP模組。
其中，第二神經網路102的殘差模組可用於對第一神經網路101輸出的第三特徵圖在X軸維度以及Y軸維度上進行下採樣，生成第四特徵圖。
另外，第二神經網路102的殘差模組還可用於對第四特徵圖在X軸維度以及Y軸維度上進行下採樣，生成第五特徵圖。
接著，通過第二神經網路102的DenseASPP模組對第五特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，生成與第五特徵圖的解析度大小相同的第五預設特徵圖；通過所述第二神經網路102的反卷積層和所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過所述第二神經網路102的反卷積層和殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖。
將第三特徵圖與第三預設特徵圖融合生成與第三預設特徵圖的解析度大小相同的第一特徵圖；將第四特徵圖與第四預設特徵圖進行融合生成與第四預設特徵圖的解析度大小相同的第一特徵圖；以及將第五特徵圖與第五預設特徵圖進行融合生成與第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
應當說明的，DenseASPP模組包括5個擴張率不同的擴張卷積組合級聯，可對不同尺度的病灶的特徵進行提取。其中，5個擴張率（dilate）不同的擴張卷積分別爲：擴張率d=3的擴張卷積、擴張率d=6的擴張卷積、擴張率d=12的擴張卷積、擴張率d=18的擴張卷積以及擴張率d=24的擴張卷積。
檢測子網路103可包括：第一檢測子網路以及第二檢測子網路。第一檢測子網路包括：多個卷積層，多個卷積層中每一個卷積層與一個ReLU激勵函數相連。同理，第二檢測子網路包括：多個卷積層，多個卷積層中每一個卷積層與一個ReLU激勵函數相連。
第一檢測子網路用於對由第一特徵圖進行降維後的第二特徵圖進行檢測，檢測出第二特徵圖中每一個病灶的位置的坐標。
具體的，通過第一檢測子網路中4個級聯的卷積層對輸入的第二特徵圖進行處理，其中，每個卷積層包括一個Y*Y的卷積核，可通過先後獲得每一個病灶的左上角的坐標(x1,y1)以及病灶的右下角的坐標(x2,y2)，以確定出第二特徵圖中各個病灶的位置。
通過第二檢測子網路對上述第二特徵圖進行檢測，檢測出第二特徵圖中每一個病灶對應的置信度。
具體的，通過第二檢測子網路中4個級聯的卷積層對輸入的第二特徵圖進行處理，其中，每個卷積層包括一個Y*Y的卷積核，可通過先後獲得每一個病灶的左上角的坐標(x1,y1)以及病灶的右下角的坐標(x2,y2)，以確定出第二特徵圖中各個病灶的位置，進而，輸出該位置所對應的置信度。
應當說明的，本發明實施例中的位置對應的置信度爲用戶對該位置爲病灶的真實性相信的程度。例如某個病灶的位置的置信度可爲90%。
綜上所述，從而可實現準確地檢測出患者體內多個部位的病灶情況，並可實現對患者全身範圍的癌症初步評估。
應當說明的，在對第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，還包括以下步驟：
通過將預存的包含多個病灶標注的三維圖像輸入到所述第一神經網路，病灶標注用於對病灶進行標注(例如：一方面，通過框的形式將病灶標注出來，另一方面，標注出該病灶的位置的坐標)；並利用梯度下降法分別對第一神經網路、第二神經網路、第一檢測子網路以及第二檢測子網路的各項參數進行訓練；其中，多個病灶中每一個病灶的位置由第一檢測子網路輸出。
應當說明的，通過梯度下降法對各項參數進行訓練的過程中，可通過反向傳播算法對梯度下降法的梯度進行計算。
或者，
通過將預存的包含多個病灶標注的三維圖像輸入到第二神經網路，病灶標注用於對病灶進行標注；並利用梯度下降法分別對第二神經網路、第一檢測子網路以及第二檢測子網路的各項參數進行訓練；其中，多個病灶中每一個病灶的位置由第一檢測子網路輸出。
參見圖2，是本發明提供的一種病灶檢測方法的示意流程圖。在一種可能的實現方式中，所述病灶檢測方法可以由終端設備或服務器等電子設備執行，終端設備可以爲用戶設備（User Equipment，UE）、移動設備、用戶終端、終端、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過服務器執行所述方法。
如圖2所示，該方法可以至少包括以下幾個步驟：
S201、獲取包括多張採樣切片的第一圖像，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像。
具體的，在一種可選的實現方式中，以第一採樣間隔對獲取到的患者的CT圖像進行重採樣，生成包括多張採樣切片的第一圖像。其中，患者的CT圖像可包括130層的斷層數，每一層的斷層的厚度爲2.0mm，在X軸維度、Y軸維度上的第一採樣間隔可爲2.0mm。
本發明實施例中，患者的CT圖像爲關於患者的組織或器官的一個包括多個斷層數的掃描序列，斷層數可爲130。
病灶指的是指患者的組織或器官遭受致病因子的作用而引起病變的部位，是身體上發生病變的部分。例如，人體肺部的某一部分被結核菌破壞，那麽這一部分就是肺結核病灶。
應當說明的，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像(也即是說，第一圖像爲N張包括由X軸維度、Y軸維度的二維圖像組成的包括X軸維度、Y軸維度以及Z軸維度的三維圖像，N大於或等於2；每張二維圖像爲待檢測組織的不同位置上的橫截面圖像)，例如第一圖像可爲512*512*9的三維圖像。
應當說明的，在對CT圖像進行重採樣之前，還包括以下步驟：
基於閾值法去除CT圖像中多餘的背景。
S202、對第一圖像進行特徵提取，生成包含病灶的特徵的第一特徵圖；第一特徵圖包括所述X軸維度、Y軸維度以及Z軸維度的三維特徵。
具體的，對第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，可包括但不限於以下幾種情形。
情形1：通過第一神經網路對第一圖像進行下採樣，生成第三特徵圖。
通過第二神經網路的殘差模組對第三特徵圖進行下採樣，生成第四特徵圖。
通過第二神經網路的DenseASPP模組對第四特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，生成與第四特徵圖的解析度大小相同的第四預設特徵圖，以及通過第二神經網路的反卷積層以及殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第三特徵圖的解析度大小相同的第三預設特徵圖。
將第三特徵圖與第三預設特徵圖生成與第三預設特徵圖的解析度大小相同的第一特徵圖，以及將第四特徵圖與第四預設特徵圖進行融合生成與第四預設特徵圖的解析度大小相同的第一特徵圖；第三預設特徵圖及第四預設特徵圖分別包括病灶的位置；病灶的位置用於生成第一特徵圖中病灶的位置。
情形2：通過第二神經網路的殘差模組對第一圖像進行下採樣，生成第四特徵圖。
通過第二神經網路的DenseASPP模組對第四特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，通過第二神經網路的反卷積層以及殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第一圖像解析度大小相同的第一預設特徵圖。
將所述第一圖像與第一預設特徵圖生成與第一預設特徵圖的解析度大小相同的第一特徵圖；第一預設特徵圖包括病灶的位置；病灶的位置用於生成第一特徵圖中病灶的位置。
情形3：通過第一神經網路對第一圖像進行下採樣，生成第三特徵圖。
通過第二神經網路的殘差模組對第三特徵圖進行下採樣，生成第四特徵圖。
通過第二神經網路的殘差模組對第四特徵圖進行下採樣，生成第五特徵圖。
通過第二神經網路的DenseASPP模組對第五特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，生成與第五特徵圖的解析度大小相同的第五預設特徵圖；通過第二神經網路的反卷積層和殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過第二神經網路的反卷積層和殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第三特徵圖的解析度大小相同的第三預設特徵圖。
將第三特徵圖與第三預設特徵圖生成與第三預設特徵圖的解析度大小相同的第一特徵圖；將第四特徵圖與第四預設特徵圖進行融合生成與第四預設特徵圖的解析度大小相同的第一特徵圖；以及將第五特徵圖與第五預設特徵圖進行融合生成與第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
應當說明的，第一神經網路，包括：卷積層以及與卷積層相級聯的殘差模組；
第二神經網路，包括：3D U-Net網路；其中，3D U-Net網路包括：卷積層、反卷積層、殘差模組以及DenseASPP模組。
其中，殘差模組可包括：卷積層、批量正規化層（BN層）、ReLU激勵函數以及最大池化層。
可選的，第二神經網路爲堆疊的多個3D U-Net網路。如果第二神經網路爲堆疊的多個3D U-Net網路，則可提高病灶檢測系統的穩定性以及檢測的準確性，本公開實施例對3D U-net網路的個數不做限制。
S203、將第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；第二特徵圖包括X軸維度以及Y軸維度的二維特徵。
具體的，分別將第一特徵圖的所有特徵中每一個特徵的通道維度和Z軸維度進行合併，使得第一特徵圖的所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成；所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成的第一特徵圖爲第二特徵圖。第一特徵圖是三維的特徵圖，而輸出至檢測子網路103進行檢測時，需轉換爲二維，因此需要對第一特徵圖進行降維。
應當說明的，上述某個特徵的通道表示某個特徵的分布數據。
S204、對第二特徵圖的特徵進行檢測，將檢測到的第二特徵圖中每一個病灶的特徵以及位置對應的置信度進行顯示。
具體的，通過第一檢測子網路對第二特徵圖進行檢測，檢測出第二特徵圖中每一個病灶的位置的坐標。
更具體的，通過第一檢測子網路中多個級聯的卷積層對輸入的第二特徵圖進行處理，其中，每個卷積層包括一個Y*Y的卷積核，可通過先後獲得每一個病灶的左上角的坐標(x1,y1)以及病灶的右下角的坐標(x2,y2)，以確定出第二特徵圖中各個病灶的位置。
通過第二檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶對應的置信度。
更具體的，通過第二檢測子網路中多個級聯的卷積層對輸入的第二特徵圖進行處理，其中，每個卷積層包括一個Y*Y的卷積核，可通過先後獲得每一個病灶的左上角的坐標(x1,y1)以及病灶的右下角的坐標(x2,y2)，以確定出第二特徵圖中各個病灶的位置，進而，輸出該位置所對應的置信度。
綜上可知，本發明實施例可準確地檢測出患者體內多個部位的病灶情況，實現對患者全身範圍的癌症初步評估。
應當說明的，在對第一圖像進行特徵提取，生成包含病灶的特徵的第一特徵圖之前，還包括以下步驟：
通過將預存的包含多個病灶標注的三維圖像輸入到第一神經網路，病灶標注用於對病灶進行標注；並利用梯度下降法分別對第一神經網路、第二神經網路、第一檢測子網路以及第二檢測子網路的各項參數進行訓練；其中，多個病灶中每一個病灶的位置由第一檢測子網路輸出。
或者，
通過將包含多個病灶標注的三維圖像輸入到第二神經網路，病灶標注用於對病灶進行標注；並利用梯度下降法分別對第二神經網路、第一檢測子網路以及第二檢測子網路的各項參數進行訓練；其中，多個病灶中每一個病灶的位置由第一檢測子網路輸出。
綜上所述，本發明中，首先，獲取包括多張採樣切片的第一圖像，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像。進而，對第一圖像進行特徵提取，生成包含病灶的特徵的第一特徵圖；第一特徵圖包括X軸維度、Y軸維度以及Z軸維度的三維特徵。然後，將第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；第二特徵圖包括X軸維度以及Y軸維度的二維特徵。最後，對第二特徵圖的特徵進行檢測，得到第二特徵圖中每一個病灶的位置以及位置對應的置信度。通過採用本發明實施例，可準確地檢測出患者體內多個部位的病灶情況，實現對患者全身範圍的癌症初步評估。
可理解的，圖2方法實施例中未提供的相關定義和說明可參考圖1的實施例，此處不再贅述。
參見圖3，是本發明提供的一種病灶檢測裝置。如圖3所示，病灶檢測裝置30包括：獲取單元301、第一生成單元302、第二生成單元303以及檢測單元304。其中：
獲取單元301，用於獲取包括多張採樣切片的第一圖像，第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像。
第一生成單元302，用於對第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；第一特徵圖包括X軸維度、Y軸維度以及Z軸維度的三維特徵。
第二生成單元303，用於將第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；第二特徵圖包括X軸維度以及Y軸維度的二維特徵。
檢測單元304，用於對第二特徵圖進行檢測，得到第二特徵圖中每一個病灶的位置以及位置對應的置信度。
獲取單元302，具體用於：
以第一採樣間隔對獲取到的患者的CT圖像進行重採樣，生成包括多張採樣切片的第一圖像。
第一生成單元303，具體可用於以下三種情況：
情況1：通過第一神經網路對第一圖像進行下採樣，生成第三特徵圖。
通過第二神經網路的殘差模組對第三特徵圖進行下採樣，生成第四特徵圖。
通過第二神經網路的DenseASPP模組對第四特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，生成與第四特徵圖的解析度大小相同的第四預設特徵圖，以及通過第二神經網路的反卷積層以及殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第三特徵圖的解析度大小相同的第三預設特徵圖。
將第三特徵圖與第三預設特徵圖生成與第三預設特徵圖的解析度大小相同的第一特徵圖，以及將第四特徵圖與第四預設特徵圖進行融合生成與第四預設特徵圖的解析度大小相同的第一特徵圖；第三預設特徵圖及第四預設特徵圖分別包括病灶的位置；病灶的位置用於生成第一特徵圖中病灶的位置。
情況2：通過第二神經網路的殘差模組對所述第一圖像進行下採樣，生成第四特徵圖；
通過第二神經網路的DenseASPP模組對第四特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，通過第二神經網路的反卷積層以及殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第一圖像解析度大小相同的第一預設特徵圖。
將第一圖像與第一預設特徵圖生成與第一預設特徵圖的解析度大小相同的第一特徵圖；第一預設特徵圖包括病灶的位置；病灶的位置用於生成第一特徵圖中病灶的位置。
情況3：通過第一神經網路對所述第一圖像進行下採樣，生成第三特徵圖。
通過第二神經網路的殘差模組對第三特徵圖進行下採樣，生成第四特徵圖。
通過第二神經網路的殘差模組對第四特徵圖進行下採樣，生成第五特徵圖。
通過第二神經網路的DenseASPP模組對第五特徵圖中不同尺度的病灶的特徵進行提取。
經過DenseASPP模組處理後，生成與第五特徵圖的解析度大小相同的第五預設特徵圖；通過第二神經網路的反卷積層和殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過第二神經網路的反卷積層和殘差模組對經過DenseASPP模組處理後的特徵圖進行上採樣，生成與第三特徵圖的解析度大小相同的第三預設特徵圖。
將第三特徵圖與第三預設特徵圖生成與第三預設特徵圖的解析度大小相同的第一特徵圖；將第四特徵圖與第四預設特徵圖進行融合生成與第四預設特徵圖的解析度大小相同的第一特徵圖；以及將第五特徵圖與第五預設特徵圖進行融合生成與第五預設特徵圖的解析度大小相同的第一特徵圖；第三預設特徵圖、第四預設特徵圖以及第五預設特徵圖分別包括病灶的位置；病灶的位置用於生成第一特徵圖中病灶的位置。
應當說明的，第一神經網路，包括：卷積層以及與卷積層相級聯的殘差模組；
第二神經網路，包括：3D U-Net網路；其中，3D U-Net網路可包括：卷積層、反卷積層、殘差模組以及DenseASPP模組。
可選的，第二神經網路可包括堆疊的多個3D U-Net網路。多個3D U-net網路的檢測可以提升檢測的準確性，本發明實施例對3D U-net網路的個數僅作舉例。
應當說明的，殘差模組可包括：卷積層、批量正規化層（BN層）、ReLU激勵函數以及最大池化層。
第三特徵單元304，具體用於：分別將第一特徵圖的所有特徵中每一個特徵的通道維度和Z軸維度進行合併，使得第一特徵圖的所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成；所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成的第一特徵圖爲第二特徵圖。
檢測單元305，具體用於：
通過第一檢測子網路對第二特徵圖進行檢測，檢測出第二特徵圖中每一個病灶的位置的坐標。
通過第二檢測子網路對第二特徵圖進行檢測，檢測出第二特徵圖中每一個病灶對應的置信度。
應當說明的，第一檢測子網路包括：多個卷積層，多個卷積層中每一個卷積層與一個ReLU激勵函數相連。
第二檢測子網路包括：多個卷積層，多個卷積層中每一個卷積層與一個ReLU激勵函數相連。
病灶檢測裝置30包括：獲取單元301、第一生成單元302、第二生成單元303以及檢測單元304之外，還包括：顯示單元。
顯示單元，具體用於對檢測單元304檢測到的病灶的位置以及位置的置信度進行顯示。
病灶檢測裝置30包括：獲取單元301、第一生成單元302、第二生成單元303以及檢測單元304之外，還包括：訓練單元。
訓練單元，具體用於：
在第一生成單元對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，通過將預存的包含多個病灶標注的三維圖像輸入到第一神經網路，病灶標注用於對病灶進行標注；並利用梯度下降法分別對第一神經網路、第二神經網路、第一檢測子網路以及第二檢測子網路的各項參數進行訓練；其中，多個病灶中每一個病灶的位置由第一檢測子網路輸出。
或者，
在第一生成單元對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，通過將包含多個病灶標注的三維圖像輸入到第二神經網路，病灶標注用於對病灶進行標注；並利用梯度下降法分別對第二神經網路、第一檢測子網以及第二檢測子網的各項參數進行訓練。
應當理解，病灶檢測裝置30僅爲本發明實施例提供的一個例子，並且，病灶檢測裝置30可具有比示出的元件更多或更少的元件，可以組合兩個或更多個元件，或者可具有元件的不同配置實現。
可理解的，關於圖3的病灶檢測裝置30包括的方塊的具體實現方式，可參考前述圖2所述的方法實施例，這裏不再贅述。
圖4是本發明提供的一種病灶檢測設備的結構示意圖。本發明實施例中，病灶檢測設備可以包括行動手機、平板電腦、個人數位助理（Personal Digital Assistant，PDA）、行動互聯網設備（Mobile Internet Device，MID）、智能穿戴設備（如智能手錶、智能手環）等各種設備，本發明實施例不作限定。如圖4所示，病灶檢測設備40可包括：基帶晶片401、記憶體402（一個或多個電腦可讀儲存媒體）、外圍系統403。這些元件可在一個或多個通訊總線404上通訊。
基帶晶片401包括：一個或多個處理器（CPU）405、一個或多個圖形處理器(GPU)406。其中，圖形處理器406可用於對輸入的法線貼圖進行處理。
記憶體402與處理器405耦合，可用於儲存各種軟體程式和/或多組指令。具體實現中，記憶體402可包括高速隨機存取的記憶體，並且也可包括非揮發性記憶體，例如一個或多個磁碟儲存設備、快閃設備或其他非揮發性固態儲存設備。記憶體402可以儲存操作系統（下述簡稱系統），例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系統。記憶體402還可以儲存網路通訊程式，該網路通訊程式可用於與一個或多個附加設備，一個或多個設備，一個或多個網路設備進行通訊。記憶體402還可以儲存用戶介面程式，該用戶介面程式可以通過圖形化的操作界面將應用程式的內容形象逼真的顯示出來，並通過選單、對話框以及按鍵等輸入控件接收用戶對應用程式的控制操作。
可理解的，記憶體402可用於儲存實現病灶檢測方法的程式代碼。
可理解的，處理器405可用於調用儲存於記憶體402的執行病灶檢測方法的程式代碼。
記憶體402還可以儲存一個或多個應用程式。如圖4所示，這些應用程式可包括：社交應用程式（例如Facebook），圖像管理應用程式（例如相冊），地圖類應用程式（例如Google Map），瀏覽器（例如Safari，Google Chrome）等等。
外圍系統403主要用於實現病灶檢測設備40和用戶/外部環境之間的交互功能，主要包括病灶檢測設備40的輸入輸出設備。具體實現中，外圍系統403可包括：顯示螢幕控制器407、攝像頭控制器408、滑鼠-鍵盤控制器409以及音頻控制器410。其中，各個控制器可與各自對應的外圍設備（如顯示螢幕411、攝像頭412、滑鼠-鍵盤413以及音頻電路414）耦合。在一些實施例中，顯示螢幕可以配置有自電容式的懸浮觸控面板的顯示螢幕，也可以是配置有紅外線式的懸浮觸控面板的顯示螢幕。在一些實施例中，攝像頭412可以是3D攝像頭。需要說明的，外圍系統403還可以包括其他I/O外設。
可理解的，顯示螢幕411可用於對檢測到的病灶的位置和位置的置信度進行顯示。
應當理解，病灶檢測設備40僅爲本發明實施例提供的一個例子，並且，病灶檢測設備40可具有比示出的元件更多或更少的元件，可以組合兩個或更多個元件，或者可具有元件的不同配置實現。
可理解的，關於圖4的病灶檢測設備40包括的方塊模組的具體實現方式，可參考圖2的方法實施例，此處不再贅述。
本發明提供一種電腦可讀儲存媒體，該電腦可讀儲存媒體儲存有電腦程式，該電腦程式被處理器執行時實現。
該電腦可讀儲存媒體可以是前述任一實施例所述的設備的內部儲存單元，例如設備的硬碟或內存。該電腦可讀儲存媒體也可以是設備的外部儲存設備，例如設備上配備的插接式硬碟，智能儲存卡（Smart Media Card，SMC），安全數位（Secure Digital，SD）卡，快閃記憶卡（Flash Card）等。進一步的，該電腦可讀儲存媒體還可以既包括設備的內部儲存單元也包括外部儲存設備。該電腦可讀儲存媒體用於儲存電腦程式以及設備所需的其他程式和數據。該電腦可讀儲存媒體還可以用於暫時地儲存已經輸出或者將要輸出的數據。
本發明還提供一種電腦程式産品，該電腦程式産品包括儲存了電腦程式的非瞬時性電腦可讀儲存媒體，該電腦程式可操作來使電腦執行如上述方法實施例中記載的任一方法的部分或全部步驟。該電腦程式産品可以爲一個軟體安裝包，該電腦包括電子裝置。
本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、電腦軟體或者二者的結合來實現，爲了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認爲超出本發明的範圍。
所屬領域的技術人員可以清楚地瞭解到，爲了描述的方便和簡潔，上述描述的設備和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。例如，以描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認爲超出本發明的範圍。
上述描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅爲一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面、設備或單元的間接耦合或通訊連接，也可以是電的，機械的或其它的形式連接。
所述作爲分離元件說明的單元可以是或者也可以不是物理上分開的，作爲單元顯示的元件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本發明實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作爲獨立的産品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分，或者該技術方案的全部或部分可以以軟體産品的形式體現出來，該電腦軟體産品儲存在一個儲存媒體中，包括若干指令用以使得一台電腦設備 ( 可以是個人電腦，目標區塊鏈節點設備，或者網路設備等 ) 執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存媒體包括：隨身碟、行動硬碟、唯讀記憶體 (Read-Only Memory，ROM)、隨機存取記憶體 (Random Access Memory，RAM)、磁碟或者光碟等各種可以儲存程式代碼的媒體。
以上所述，僅爲本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以請求項的保護範圍爲準。
10:系統 30:病灶檢測裝置 40:病灶檢測設備 101:第一神經網路 102:第二神經網路 103:檢測子網路 104:3D U-net網路 301:獲取單元 302:第一生成單元 303:第二生成單元 304:檢測單元 401:基帶晶片 402:記憶體 403:外圍系統 404:通訊總線 405:處理器 406:圖形處理器 407:顯示螢幕控制器 408:攝像頭控制器 409:滑鼠-鍵盤控制器 410:音頻控制器 411:顯示螢幕 412:攝像頭 413:滑鼠-鍵盤 414:音頻電路
爲了更清楚地說明本發明實施例技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖： 圖1是本發明提供的一種病灶檢測系統的網路架構示意圖； 圖2是本發明提供的一種病灶檢測方法的示意流程圖； 圖3是本發明提供的一種病灶檢測裝置的示意性方塊圖；及 圖4是本發明提供的一種病灶檢測設備的結構示意圖。

Claims (11)

  1. 一種病灶檢測方法，其中，包括： 獲取包括多張採樣切片的第一圖像，所述第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像； 對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；所述第一特徵圖包括所述X軸維度、Y軸維度以及Z軸維度的三維特徵； 將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；所述第二特徵圖包括所述X軸維度以及所述Y軸維度的二維特徵； 對所述第二特徵圖進行檢測，得到所述第二特徵圖中每一個病灶的位置以及所述位置對應的置信度。
  2. 如請求項1所述的方法，其中，所述獲取包括多張採樣切片的第一圖像，包括： 以第一採樣間隔對獲取到的患者的CT圖像進行重採樣，生成包括多張採樣切片的第一圖像。
  3. 如請求項1所述的方法，其中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，包括： 通過第一神經網路對所述第一圖像進行下採樣，生成第三特徵圖； 通過第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成第四特徵圖； 通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取； 經過所述DenseASPP模組處理後，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖，以及通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖； 將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖，以及將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖及所述第四預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置； 或者， 通過第一神經網路對所述第一圖像進行下採樣，生成第三特徵圖； 通過所述第二神經網路的殘差模組對所述第三特徵圖進行下採樣，生成第四特徵圖； 通過所述第二神經網路的殘差模組對所述第四特徵圖進行下採樣，生成比所述第四特徵圖的解析度小的第五特徵圖； 通過所述第二神經網路的DenseASPP模組對所述第五特徵圖中不同尺度的病灶的特徵進行提取； 經過所述DenseASPP模組處理後，生成與所述第五特徵圖的解析度大小相同的第五預設特徵圖；通過所述第二神經網路的反卷積層和所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第四特徵圖的解析度大小相同的第四預設特徵圖；或者，通過所述第二神經網路的反卷積層和殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第三特徵圖的解析度大小相同的第三預設特徵圖； 將所述第三特徵圖與所述第三預設特徵圖生成與所述第三預設特徵圖的解析度大小相同的第一特徵圖；將所述第四特徵圖與所述第四預設特徵圖進行融合生成與所述第四預設特徵圖的解析度大小相同的第一特徵圖；以及將所述第五特徵圖與所述第五預設特徵圖進行融合生成與所述第五預設特徵圖的解析度大小相同的第一特徵圖；所述第三預設特徵圖、所述第四預設特徵圖以及所述第五預設特徵圖分別包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
  4. 如請求項1所述的方法，其中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖，包括： 通過第二神經網路的殘差模組對所述第一圖像進行下採樣，生成第四特徵圖； 通過所述第二神經網路的DenseASPP模組對所述第四特徵圖中不同尺度的病灶的特徵進行提取； 經過所述DenseASPP模組處理後，通過所述第二神經網路的反卷積層以及所述殘差模組對經過所述DenseASPP模組處理後的特徵圖進行上採樣，生成與所述第一圖像解析度大小相同的所述第一預設特徵圖； 將所述第一圖像與所述第一預設特徵圖生成與所述第一預設特徵圖的解析度大小相同的第一特徵圖；所述第一預設特徵圖包括病灶的位置；所述病灶的位置用於生成第一特徵圖中病灶的位置。
  5. 如請求項1所述的方法，其中，所述將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖，包括： 分別將所述第一特徵圖的所有特徵中每一個特徵的通道維度和Z軸維度進行合併，使得所述第一特徵圖的所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成；所述所有特徵中每一個特徵的維度由X軸維度以及Y軸維度組成的第一特徵圖爲所述第二特徵圖。
  6. 如請求項1所述的方法，其中，所述對所述第二特徵圖進行檢測，包括： 通過第一檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶的位置的坐標； 通過第二檢測子網路對所述第二特徵圖進行檢測，檢測出所述第二特徵圖中每一個病灶對應的置信度。
  7. 5和6其中任一項所述的方法，其中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，還包括： 通過將預存的包含多個病灶標注的三維圖像輸入到所述第一神經網路，所述病灶標注用於對病灶進行標注；並利用梯度下降法分別對所述第一神經網路、所述第二神經網路、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
  8. 5和6其中任一項所述的方法，其中，所述對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖之前，還包括： 通過將包含多個病灶標注的三維圖像輸入到所述第二神經網路，所述病灶標注用於對病灶進行標注；並利用梯度下降法分別對所述第二神經網路、所述第一檢測子網路以及所述第二檢測子網路的各項參數進行訓練；其中，所述多個病灶中每一個病灶的位置由所述第一檢測子網路輸出。
  9. 一種病灶檢測裝置，其中，包括： 獲取單元，用於獲取包括多張採樣切片的第一圖像，所述第一圖像爲包括X軸維度、Y軸維度以及Z軸維度的三維圖像； 第一生成單元，用於對所述第一圖像進行特徵提取，生成包含病灶的特徵和位置的第一特徵圖；所述第一特徵圖包括所述X軸維度、Y軸維度以及Z軸維度的三維特徵； 第二生成單元，用於將所述第一特徵圖所包含的特徵進行降維處理，生成第二特徵圖；所述第二特徵圖包括X軸維度以及Y軸維度的二維特徵； 檢測單元，用於對所述第二特徵圖進行檢測，得到所述第二特徵圖中每一個病灶的位置以及所述位置對應的置信度。
  10. 一種病灶檢測設備，其中，包括：顯示器、記憶體以及耦合於所述記憶體的處理器，其中，所述顯示器用於顯示病灶的位置以及所述位置對應的置信度，所述記憶體用於儲存應用程式代碼，所述處理器被配置用於調用所述程式代碼，執行如請求項1-8其中任一項所述的病灶檢測方法。
  11. 一種儲存媒體，其中，所述儲存媒體儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如請求項1-8其中任一項所述的病灶檢測方法。
TW108144288A 2018-12-07 2019-12-04 病灶檢測方法及其裝置及其設備及儲存媒體 TWI724669B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811500631.4A CN109754389B (zh) 2018-12-07 2018-12-07 一种图像处理方法、装置及设备
CN201811500631.4 2018-12-07

Publications (2)

Publication Number Publication Date
TW202032579A true TW202032579A (zh) 2020-09-01
TWI724669B TWI724669B (zh) 2021-04-11

Family

ID=66402643

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144288A TWI724669B (zh) 2018-12-07 2019-12-04 病灶檢測方法及其裝置及其設備及儲存媒體

Country Status (7)

Country Link
US (1) US20210113172A1 (zh)
JP (1) JP7061225B2 (zh)
KR (1) KR20210015972A (zh)
CN (2) CN111292301A (zh)
SG (1) SG11202013074SA (zh)
TW (1) TWI724669B (zh)
WO (1) WO2020114158A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292301A (zh) * 2018-12-07 2020-06-16 北京市商汤科技开发有限公司 一种病灶检测方法、装置、设备及存储介质
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN110533637B (zh) * 2019-08-02 2022-02-11 杭州依图医疗技术有限公司 一种检测对象的方法及装置
CN110580948A (zh) * 2019-09-12 2019-12-17 杭州依图医疗技术有限公司 医学影像的显示方法及显示设备
CN111402252B (zh) * 2020-04-02 2021-01-15 和宇健康科技股份有限公司 精准医疗图像分析方法及机器人手术系统
CN111816281B (zh) * 2020-06-23 2024-05-14 无锡祥生医疗科技股份有限公司 超声影像查询装置
CN112116562A (zh) * 2020-08-26 2020-12-22 重庆市中迪医疗信息科技股份有限公司 基于肺部影像数据检测病灶的方法、装置、设备及介质
CN112258564B (zh) * 2020-10-20 2022-02-08 推想医疗科技股份有限公司 生成融合特征集合的方法及装置
CN112017185B (zh) * 2020-10-30 2021-02-05 平安科技（深圳）有限公司 病灶分割方法、装置及存储介质
US11830622B2 (en) * 2021-06-11 2023-11-28 International Business Machines Corporation Processing multimodal images of tissue for medical evaluation
CN114943717B (zh) * 2022-05-31 2023-04-07 北京医准智能科技有限公司 一种乳腺病灶检测方法、装置、电子设备及可读存储介质
CN115170510B (zh) * 2022-07-04 2023-04-07 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974108A (en) * 1995-12-25 1999-10-26 Kabushiki Kaisha Toshiba X-ray CT scanning apparatus
US7747057B2 (en) * 2006-05-26 2010-06-29 General Electric Company Methods and apparatus for BIS correction
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
US10238368B2 (en) * 2013-09-21 2019-03-26 General Electric Company Method and system for lesion detection in ultrasound images
CN105917354A (zh) * 2014-10-09 2016-08-31 微软技术许可有限责任公司 用于图像处理的空间金字塔池化网络
CN108140141B (zh) * 2015-08-15 2019-09-06 易享信息技术有限公司 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统
JP6849966B2 (ja) * 2016-11-21 2021-03-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
JP7054787B2 (ja) * 2016-12-22 2022-04-15 パナソニックＩｐマネジメント株式会社 制御方法、情報端末、及びプログラム
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108257674A (zh) * 2018-01-24 2018-07-06 龙马智芯（珠海横琴）科技有限公司 疾病预测方法和装置、设备、计算机可读存储介质
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
CN108447046B (zh) * 2018-02-05 2019-07-26 龙马智芯（珠海横琴）科技有限公司 病灶的检测方法和装置、计算机可读存储介质
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN108717569B (zh) * 2018-05-16 2022-03-22 中国人民解放军陆军工程大学 一种膨胀全卷积神经网络装置及其构建方法
CN111292301A (zh) * 2018-12-07 2020-06-16 北京市商汤科技开发有限公司 一种病灶检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2020114158A1 (zh) 2020-06-11
KR20210015972A (ko) 2021-02-10
CN111292301A (zh) 2020-06-16
JP2021531565A (ja) 2021-11-18
TWI724669B (zh) 2021-04-11
US20210113172A1 (en) 2021-04-22
SG11202013074SA (en) 2021-01-28
CN109754389A (zh) 2019-05-14
CN109754389B (zh) 2021-08-24
JP7061225B2 (ja) 2022-04-27

Similar Documents

Publication Publication Date Title
TWI724669B (zh) 病灶檢測方法及其裝置及其設備及儲存媒體
Andriole et al. Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day
CN114779934A (zh) 基于确定的约束与虚拟对象的交互
CN109215017B (zh) 图片处理方法、装置、用户终端、服务器及存储介质
CN113939844B (zh) 检测组织病变的方法、装置和介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
US11145135B1 (en) Augmented reality interaction and contextual menu system
CN107194163A (zh) 一种显示方法和系统
JP7325325B2 (ja) コンテキスト依存拡大鏡
CN107480673B (zh) 确定医学图像中感兴趣区域的方法、装置及图像编辑系统
TWI773045B (zh) 影像處理方法、系統及非暫態電腦可讀取儲存媒體
WO2021238151A1 (zh) 图像标注方法、装置、电子设备、存储介质及计算机程序
US11340776B2 (en) Electronic device and method for providing virtual input tool
CN114127780A (zh) 用于冠状动脉钙沉积检测和标记的系统和方法
KR20240033342A (ko) 의료데이터 컴퓨팅 시스템 및 방법
WO2018209515A1 (zh) 显示系统及方法
US8890889B1 (en) System and method for generating a pose of an object
US11354007B2 (en) Diagram based visual procedure note writing tool
CN109754450B (zh) 一种赛道生成方法、装置及设备
JP7459357B1 (ja) 画像認識方法、装置、デバイスおよび記憶媒体
KR102683669B1 (ko) 메타버스 환경에서 전시 서비스를 제공하는 서버 및 그 동작 방법
CN111681739B (zh) 病理信息的显示方法及计算机可读存储介质
WO2023017623A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111028173A (zh) 图像增强方法、装置、电子设备及可读存储介质
CN114972007A (zh) 一种图像处理方法、装置、设备及存储介质