WO2021036616A1 - 一种医疗图像处理方法、医疗图像识别方法及装置 - Google Patents

一种医疗图像处理方法、医疗图像识别方法及装置 Download PDF

Info

Publication number
WO2021036616A1
WO2021036616A1 PCT/CN2020/103921 CN2020103921W WO2021036616A1 WO 2021036616 A1 WO2021036616 A1 WO 2021036616A1 CN 2020103921 W CN2020103921 W CN 2020103921W WO 2021036616 A1 WO2021036616 A1 WO 2021036616A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
result
lesion
recognized
map
Prior art date
Application number
PCT/CN2020/103921
Other languages
English (en)
French (fr)
Inventor
罗莉舒
尚鸿
孙钟前
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2021036616A1 publication Critical patent/WO2021036616A1/zh
Priority to US17/469,850 priority Critical patent/US20210406591A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本申请公开了一种基于人工智能的医疗图像处理方法，包括：获取待识别医疗图像；通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及医疗图像内容识别结果，特征图具有N个通道；根据特征图以及权重参数集合，生成医疗图像内容识别结果所对应的热力图，权重参数集合包括N个权重参数；根据热力图生成待识别医疗图像所对应的图像识别结果。本申请还公开了一种医疗图像识别方法、图像识别结果展示方法和装置。本申请不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医疗图像进行诊断的可靠性。

Description

一种医疗图像处理方法、医疗图像识别方法及装置
本申请要求于2019年8月29日提交中国专利局、申请号201910809281.8、申请名称为“一种医学图像处理方法、医学图像识别方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能领域，尤其涉及医疗图像处理、医疗图像识别。
背景技术
随着计算机科学技术的发展，已有不少工作将深度学习方法应用到医疗图像的自动诊断中，能够一定程度缓解由于医生经验不足，或者由于医生过度疲劳而造成的漏诊以及误诊的现象。
目前，基于深度学习的医疗图像诊断方法，首先需要收集大量的图像资料，由专业的医生对其进行准确标注；接下来用这些准确标注的图像对深度学习模型进行训练，使其能够精确拟合输入图像和对应标签之间的映射关系。最后将没有标注的原始医疗图像输入至模型，便能够得到对应的病变类别。
然而，基于深度学习往往都是黑箱模型，只关注整体功能，输出的结果只有一个表示类别的向量，而并不知道模型做出该种分类所依据的判别区域，这对于医疗诊断而言是缺乏信服力的，降低了基于医疗图像进行诊断的可靠性。
发明内容
本申请实施例提供了一种医疗图像处理方法、医疗图像识别方法及装置，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医疗图像进行诊断的可靠性。
有鉴于此，本申请第一方面提供一种医疗图像处理方法，所述方法由数据处理设备执行，包括：
获取待识别医疗图像；
通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
本申请第二方面提供一种医疗图像识别方法，所述方法由数据处理设备执行，包括：
获取待识别医疗图像；
通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图生成所述待识别医疗图像所对应的病灶识别结果。
本申请第三方面提供一种图像识别结果展示的方法，所述方法由数据处理设备执行，包括：
获取待识别医疗图像；
通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果；
展示所述待识别医疗图像所对应的图像识别结果。
本申请第四方面提供一种医疗图像处理装置，包括：
获取模块，用于获取待识别医疗图像；
所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
生成模块，用于根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
本申请第五方面提供一种医疗图像识别装置，包括：
获取模块，用于获取待识别医疗图像；
所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
生成模块，用于根据所述获取模块获取的所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述热力图生成所述待识别医疗图像所对应的病灶识别结果。
本申请第六方面提供一种图像识别结果展示装置，包括：
获取模块，用于获取待识别医疗图像；
所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
生成模块，用于根据所述获取模块获取的所述梯度传播结果，生成所述待识别医疗图像所对应的物体轮廓图；
所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果；
展示模块，用于展示所述生成模块生成的所述待识别医疗图像所对应的病灶识别结果。
本申请第七方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于根据所述程序代码中的指令执行上述各方面所述方法。
本申请第八方面提供一种医疗影像系统，包括：探头、电路、处理器以及显示器；
所述电路，用于激励所述探头获取待识别医疗图像；
所述处理器，用于处理所述待识别医疗图像；
所述显示器，用于显示图像识别结果或病灶识别结果；
其中，所述处理器还执行上述各方面所述方法。
本申请的第九方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请的第十方面提供了一种计算机程序产品，当所述计算机程序产品被执行时，用于执行上述各方面所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种医疗图像识别方法，首先获取待识别医疗图像，然后通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，该特征图为通过医疗图像分类模型的卷积层对待识别医疗图像进行卷积处理后得到的，特征图具有N个通道，再根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，权重参数集合包括N个权重参数，权重参数与通道具有对应关系，最后根据热力图生成待识别医疗图像所对应的病灶识别结果。通过上述方式，在得到基于医疗图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，也能够更放心的使用该医疗影像系统，提升了基于医疗图像进行诊断的可靠性。
附图说明
图1A为本申请实施例中病灶识别系统的一个架构示意图；
图1B为本申请实施例中生成病灶识别结果的一个整体结构示意图；
图2A为本申请实施例中基于病灶识别系统的一个处理流程示意图；
图2B为本申请实施例中基于病灶识别系统的一个产品示意图；
图3A为本申请实施例中医疗图像处理方法一个实施例示意图；
图3B为本申请实施例中医疗图像识别方法一个实施例示意图；
图4为本申请实施例中生成热力图的一个流程示意图；
图5为本申请实施例中基于病灶分类结果生成热力图的一个实施例示意图；
图6为本申请实施例中基于病灶分类结果生成物体轮廓图的一个实施例示意图；
图7为本申请实施例中生成分类结果解释图的一个实施例示意图；
图8为本申请实施例中医疗图像分类模型的一个结构示意图；
图9为本申请实施例中前向传播和反向传播的一个对比示意图；
图10为本申请实施例中四类传播算法的一个对比示意图；
图11A为本申请实施例中医疗图像处理方法另一个实施例示意图；
图11B为本申请实施例中医疗图像识别方法另一个实施例示意图；
图12为本申请实施例中图像识别结果展示的方法一个实施例示意图；
图13为本申请实施例中展示病灶识别结果的一个界面示意图；
图14A为本申请实施例中图像处理装置一个实施例示意图；
图14B为本申请实施例中图像识别装置一个实施例示意图；
图15为本申请实施例中图像识别结果展示装置一个实施例示意图；
图16A为本申请实施例中图像处理装置一个实施例示意图；
图16B为本申请实施例中图像识别装置一个实施例示意图；
图17为本申请实施例中图像识别装置另一个实施例示意图；
图18为本申请实施例中终端设备的一个结构示意图；
图19为本申请实施例中医疗影像系统的一个结构示意图。
具体实施方式
本申请实施例提供了一种医疗图像识别方法、图像识别结果展示的方法及装置，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力，提升了基于医疗图像进行诊断的可靠性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的医疗图像处理方法、医疗图像识别方法以及图像识别结果展示方法，应用于人工智能(Artificial Intelligence，AI)的医疗领域，具体可以应用于基于计算机视觉技术(Computer Vision，CV)的医疗图像识别领域。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着科技的快速发展，AI在医疗行业的应用也越来越广泛，在医疗领域中最常见的医疗图像包含但不仅限于内窥镜图像、血管摄影图像、心血管造影图像、电子计算机断层扫描(computerized tomography，CT)图像、B超图像以及病理图像。由于医疗图像直接反映出组织内部所发生的病变，是医生进行疾病诊断的重要依据，甚至是进行某些疾病诊断的最终依据，例如在癌症诊断中，通过对病灶的放射影像学图像进行观察，包括观察是否有阴影、斑块或者血管扩张情况等。本申请主要是针对内窥镜图像进行病灶识别，然而这不应理解为对本申请的限定。
医疗图像是医生对病人病情进行了解的重要信息入口，虽然目前高质量的医疗成像设备已经普及，但是对医疗图像的准确解读往往需要医生具有专业的知识背景和长期的经验积累。考虑到人口数量大，医疗影像系统负荷重，有经验的医生数量不足，且主要集中在一线城市的大型三甲医院，从而导致医疗资源非常稀缺。本申请提供的方法能够在对内窥镜图像进行自动诊断的同时，还可以对其依据的区域进行可视化，也就是说在应用深度学习模型得到内窥镜病变类型的同时，还能够得到做出该种决策所依据的区域。该依据为医生指出了应该重点关注的区域，由此，使得模型有了更好的解释性，并且更容易被信服。
本申请实施例提供的方法可以由数据处理设备执行。为了便于理解，本申请提出了一种医疗图像识别方法，该方法应用于图1A所示的病灶识别系统，请参阅图1A，图1A为本申请实施例中病灶识别系统的一个架构示意图，如图所示，病灶识别系统可以包括医疗设备,医疗设备具体可以是内窥镜设备或者电子显微镜等，医疗设备在采集到待识别的医疗图像之后，先对该医疗图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医疗图像进行结合得到一个可视化的结果，给医生提供一个重点关注的区域。此时数据处理设备为医疗设备。可选地，医疗设备在采集到待识别的医疗图像之后，可以将该医疗图像发送至终端设备，由终端设备对该医疗图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医疗图像进行结合得到一个可视化的结果，并展示在界面上。此时数据处理设备为终端设备。可选地，医疗设备在采集到待识别的医疗图像之后，可以 将该医疗图像发送至服务器，由服务器对该医疗图像进行病灶分类，然后定位出病情分类所依据的区域，最后与原始的医疗图像进行结合得到一个可视化的结果，服务器将结果反馈给终端设备或者医疗设备，由终端设备或者医疗设备进行展示。此时数据处理设备为服务器。
需要说明的是，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer，PC)，此处不做限定。
本申请提供了一种基于深度学习的内窥镜图像自动诊断方案，同时提供做出该诊断所依据的对应图像上的区域。为了便于理解，请参阅图1B，图1B为本申请实施例中生成病灶识别结果的一个整体结构示意图，如图所示，首先将待识别医疗图像输入至医疗图像分类模型，该医疗图像分类模型是一种基于深度卷积神经网络的模型，主体由卷积层堆叠构成。为了对分类结果进行解释，这里添加两个分支，一个分支是基于最后一层卷积输出的特征图，将模型预测得分分解到待识别医疗图像的各区域，即得到待识别医疗图像上每个区域对最终预测为某个种类的贡献，假设由医疗图像分类模型预测得到待识别医疗图像属于病灶分类结果c，那么得到病灶分类结果c所对应的热力图，可以理解的是，该热力图是经过上采样得到的，从而使得热力图与待识别医疗图像的尺寸一致。
另一个分支是采用反向传播算法(如反向导向传播算法)得到一个物体轮廓图，这个物体轮廓图是学习出了整个待识别医疗图像中所有物体的一个轮廓特征，与特定类别没有关系，属于较低层的语义信息。由于它是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰。将热力图和物体轮廓图加权叠加在一起得到最后的分类结果解释图，该分类结果解释图属于病灶识别结果，病灶识别结果还可以包括病灶的名称、发展情况以及建议治疗方案等。
由此可见，在不改动原来医疗图像分类模型的基础上，就能够得到分类结果解释图。因此，本申请提供的方法可以很容易地应用在多种分类模型中。
基于上述介绍，下面将以具体产品为例对本申请做进一步介绍，请参阅图2A，图2A为本申请实施例中基于病灶识别系统的一个处理流程示意图，如图所示，具体地：
步骤S1中，医生使用内窥镜设备对病人进行内窥镜检查；
步骤S2中，由部署好的硬件设备采集得到内窥镜检查的视频材料，该硬件设备可以是视频采集卡，视频材料具体可以是内镜视频；
步骤S3中，使用脚本将采集好的内镜视频划分为图片帧；
步骤S4中，将内镜视频中的每一个图片帧传给后台的AI引擎；
步骤S5中，由AI引擎调用已经训练好的算法模型，输出该图片帧的分类结果(即对应的病变类型)，以及得到该分类结果对应的依据部位(即输出一个热力图)。
本申请提供的技术方案不仅能输出对应的病变类型，同时还能够输出通过神经网络模型做出该分类所依据的区域，弥补神经网络黑箱、不可解释的弊端。给医生和患者一个可视化的结果，使分类产品更具有信服力。请参阅图2B，图2B为本申请实施例中基于病灶识别系统的一个产品示意图，如图所示，AI引擎返回的结果包括一个类别结果和一个热力图，热力图中深色部分(比如红色部分)就是对此分类结果贡献比较大的像素区域，也正是医生需要重点关注的区域。为了更好地将可视化图呈现给医生，可以将热力图叠加到原图，帮助医生快速定位值得关注的区域；还可以给热力图设置一个阈值，例如以127为阈值得到一个轮廓线，按照阈值在原图上画出轮廓线呈现给医生。可以理解的是，红绿蓝(red green blue，RGB)图像像素范围是0-255。
本申请所提供的产品能够辅助医生诊疗，医生只需要使用相应的内镜设备进行视频采集，系统能够自动对视频分帧并传送给后台的AI引擎，并返回每一帧图像对应的病变类别和分类依据区域。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。结合上述介绍，本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明，请参阅图3A，本申请实施例中医疗图像处理方法一个实施例包括：
A1、获取待识别医疗图像；
本实施例中，可以通过图像识别装置获取待识别医疗图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医疗图像不同类型的医疗图像，比如CT图像或者显微镜图像等。
A2、通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，特征图具有N个通道，N为大于1的整数；本实施例中，图像识别装置将待识别医疗图像输入至医疗图像分类模型，由医疗图像分类模型输出待识别医疗图像所对应的特征图和医疗图像内容识别结果。可以理解的是，医疗图像分类模型是一个基于深度卷积的神经网络，例如视觉几何组(Visual Geometry Group，VGG)、残差网络(Residual Network，res-net)或者密集网络(dense-net)，医疗图像分类模型的主体是由卷积层堆叠而成的。
基于此，通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及医疗图像内容识别结果的方式可以是通过医疗图像分类模型的卷积层获取待识别医疗图像所对应的特征图，通过医疗图像分类模型的全局平均池化层，对特征图进行处理，得到特征向量。然后，根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；根据C个类别预测得分，从C个类别中确定医疗图像内容识别结果。
假设输入的待识别医疗图像为一个红绿蓝(red green blue，RGB)图像，该待识别医疗图像的尺寸表示为H*W*3，例如224*224*3。经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图。可以理解的是，通过卷积核提取出来的每个特征图都蕴含了图像的部分空间特征，且越到后面的卷积层对应的感受野越大，也就能够提取到更加全局化的语义特征。其中，特征图表示为F n(x,y)，特征图F n(x,y)中的n表示第n个通道的特征图，即n＝0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，假设尺寸为7*7*1024，则N＝1024，(x,y)表示在特征图中的空间位置，即x＝0,1,2,…,X-1，y＝0,1,2,…,Y-1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到特征向量(其尺寸为1*N,例如1*1024),该特征向量再通过全连接层映射到每一个类别的预测得分(其尺寸为1×C，C为类别的个数)。从所有类别中取得分最高的类别作为对待识别医疗图像的医疗图像内容识别结果。
A3、根据特征图以及权重参数集合，生成医疗图像内容识别结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
本实施例中，图像识别装置根据特征图以及权重参数集合，生成医疗图像内容识别结果所对应的热力图，其中，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。
对于C个类别，每个类别都能够得到一张热力图，在实际应用中，对热力图进行上采样，然后得到与原图(即待识别医疗图像)一样的尺寸，从而可以将热力图叠加到原图(即待识别医疗图像)上去展示，便于肉眼观察。上采样的主要目的是放大图像，从而可以显示在更高分辨率的显示设备上。上采样的原理是在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法包括传统插值，基于边缘图像的插值，还有基于区域的图像插值。
A4、根据热力图生成待识别医疗图像所对应的图像识别结果。
本实施例中，图像识别装置将步骤A3中生成的热力图与原图(即待识别医疗图像)进行叠加，从而生成分类结果解释图。可以理解的是，图像识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医疗图像识别方法，在得到基于医疗图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，也能够更放心的使用该医疗影像系统，提升了基于医疗图像进行诊断的可靠性。可选地，在上述图3A对应的实施例的基础上，本申请实施例提供的医疗图像处理方法在一个可选实施例中，通过医疗图像分类模型获取待识别医疗图像所对应的特征 图以及医疗图像内容识别结果之后，还可以基于反向梯度传播算法，根据所述医疗图像内容识别结果获取梯度传播结果；根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图。相应的，A4中根据热力图生成待识别医疗图像所对应的图像识别结果的方式可以是根据热力图以及物体轮廓图，生成待识别医疗图像所对应的图像识别结果。
由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与热力图结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断。
其中，基于反向梯度传播算法，根据医疗图像内容识别结果获取梯度传播结果的方式可以是基于导向反向传播算法，根据医疗图像内容识别结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
通过上述方式，基于导向反向传播算法，可以将输入和梯度都大于零的位置所对应的梯度传递回去。因此，导向反向传播算法回传的梯度更少，激活的是对类别更加敏感的那些像素点，从而使得最后的物体轮廓图也更加清晰鲜明。
结合上述介绍，本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明，请参阅图3B，本申请实施例中医疗图像识别方法一个实施例包括：
101、获取待识别医疗图像；
本实施例中，图像识别装置获取待识别医疗图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医疗图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
102、通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
本实施例中，图像识别装置将待识别医疗图像输入至医疗图像分类模型，由医疗图像分类模型输出待识别医疗图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医疗图像分类模型是一个基于深度卷积的神经网络，例如VGG、res-net或者dense-net，医疗图像分类模型的主体是由卷积层堆叠而成的。
具体地，假设输入的待识别医疗图像为一个RGB图像，该待识别医疗图像的尺寸表示为H*W*3，例如224*224*3。经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图。可以理解的是，通过卷积核提取出来的每个特征图都蕴含了图像的部分空间特征，且越到后面的卷积层对应的感受野越大，也就能够提取到更加全局化的语义特征。其中，特征图表示为F n(x,y)，特征图F n(x,y)中的n表示第n个通道的特征图，即n＝0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，假设尺寸为7*7*1024，则N＝1024，(x,y)表示在特征图中的空间位置，即x＝0,1,2,…,X-1，y＝0,1,2,…,Y-1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量(其尺寸为1*N,例如1*1024),该向量再通过全连接层映射到每一个类别的预测得分(其尺寸为1×C，C为类别的个数)。从所有类别中取得分最高的类别作为对待识别医疗图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
103、根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
本实施例中，图像识别装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。
对于C个类别，每个类别都能够得到一张热力图，为了便于说明，请参阅图4，图4为本申请实施例中生成热力图的一个流程示意图，如图所示，以肠镜下类别为“息肉种类2”为例进行介绍，将待识别医疗图像输入至多个卷积层，由最后一个卷积层输出特征图，通过最后一层特征图加权(例如分别与权重参数W 1、W 2……W n相乘)求和得到热力图，并将该热力图叠加到原图(即待识别医疗图像)上，表示了待识别医疗图像上哪个区域决定了最终预测的息肉种类2，热力图中高亮的区域与病灶(呈椭圆形凸起的息肉)吻合，表明模型不光预测正确，而且预测依据的区域也正确。
在实际应用中，对热力图进行上采样，然后得到与原图(即待识别医疗图像)一样的尺寸，从而可以将热力图叠加到原图(即待识别医疗图像)上去展示，便于肉眼观察。上采样的主要目的是放大图像，从而可以显示在更高分辨率的显示设备上。上采样的原理是在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法包括传统插值，基于边缘图像的插值，还有基于区域的图像插值。
为了便于介绍，请参阅图5，图5为本申请实施例中基于病灶分类结果生成热力图的一个实施例示意图，如图所示，图5中的(a)图为原图，即待识别医疗图像，图5中的(b)图为待识别医疗图像所对应的热力图，将(a)图和(b)图叠加后得到分类结果解释图。
104、根据热力图生成待识别医疗图像所对应的病灶识别结果。
本实施例中，图像识别装置将步骤103中生成的热力图与原图(即待识别医疗图像)进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医疗图像识别方法，首先获取待识别医疗图像，然后通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，该特征图为通过医疗图像分类模型的卷积层对待识别医疗图像进行卷积处理后得到的，特征图具有N 个通道，再根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，权重参数集合包括N个权重参数，权重参数与通道具有对应关系，最后根据热力图生成待识别医疗图像所对应的病灶识别结果。通过上述方式，在得到基于医疗图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，也能够更放心的使用该医疗影像系统，提升了基于医疗图像进行诊断的可靠性。
可选地，在上述图3B对应的实施例的基础上，本申请实施例提供的医疗图像识别方法第一个可选实施例中，通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果之后，还可以包括：
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据热力图生成待识别医疗图像所对应的病灶识别结果，可以包括：
根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果。
本实施例中，介绍了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，采用步骤101至步骤104的方式，能够预测得到待识别医疗图像在各个类别下所对应的热力图，热力图能够很好地区分不同类别的判断区域，但是热力图的分辨率相对较低，轮廓不够明显，为了能够得到更加高清的图像，本申请引入了另一个分支，即采用反向梯度传播算法生成待识别医疗图像所对应的物体轮廓图，为了便于介绍，请参阅图6，图6为本申请实施例中基于病灶分类结果生成物体轮廓图的一个实施例示意图，如图所示，图6中的(a)图为原图，即待识别医疗图像，图6中的(b)图为待识别医疗图像所对应的物体轮廓图，将(a)图和(b)图叠加后得到分类结果解释图。进一步地，为了更好地体现物体轮廓图和热力图的融合过程，请参阅图7，图7为本申请实施例中生成分类结果解释图的一个实施例示意图，如图所示，图7中的(a)图为待识别医疗图像所对应的概率图，即物体轮廓图，图7中的(b)图为待识别医疗图像所对应的热力图，图7中的(c)图为物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，由此，将高层次的语义信息(即热力图)与低层次的语义信息(即物体轮廓图)进行结合。
其次，本申请实施例中，提供了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，即先基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果，然后根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图，最后基于热力图以及物体轮廓图生成病灶识别结果。通过上述方式，提出了另一个分支，即采用反向梯度传播算法得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更 高分辨率且更清晰，与热力图结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断。
可选地，在上述图3B对应的第一个实施例的基础上，本申请实施例提供的医疗图像识别方法第二个可选实施例中，通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，可以包括：
通过医疗图像分类模型的卷积层获取待识别医疗图像所对应的特征图；
通过医疗图像分类模型的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
本实施例中，介绍了一种确定病灶分类结果的方法，对于总共的C个类别，每个类别都能得到一张热力图，为了能够更准确地定位病灶，可以从C个类别中选择其中一个类别作为病灶分类结果。
假设待识别医疗图像所对应的特征图为F n(x,y)，特征图F n(x,y)中的n表示第n个通道的特征图，即n＝0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，(x,y)表示在特征图中的空间位置，即x＝0,1,2,…,X-1，y＝0,1,2,…,Y-1。该特征图经过全局平均池化层(Global Average Pooling，GAP)，即对每一个通道的特征图求其平均值，得到特征向量，该特征向量的尺寸为1*N。基于权重参数集合，将该特征向量通过全连接层映射到每一个类别的预测得分，即得到C个类别预测得分，其尺寸为1*C，以医疗图像内窥镜图像为例，需要分类出正常、炎症和癌症，因而C＝3。其中，第c个类别预测得分表示为Y c，c＝0,1,…,C-1，最后，从C个类别预测得分中获取分数最高的类别，作为对待识别医疗图像预测的病灶分类结果。
为了便于理解，请参阅图8，图8为本申请实施例中医疗图像分类模型的一个结构示意图，如图所示，具体地，首先输入一个待识别医疗图像，通过卷积层执行卷积操作，提取底层到高层的特征，得到特征图，发掘出待识别医疗图像局部关联性质和空间不变性质。卷积层在医疗图像分类模型中扮演着很重要的角色，即特征的抽象和提取。然后经过池化层执行降采样操作，从而可以过滤掉一些不重要的高频信息。池化操作用于卷积操作之后，其作用在于特征融合和降维。由于最后的全局平均池化层抹去了空间信息，从而将三维矩阵变成向量，即输出特征向量，为了对分类结果做出解释，将最终预测分解定位到待识别医疗图像上的各区域，需要充分利用全局平均池化层之前的最后一个卷积层。
可以理解的是，图8中医疗图像分类模型的结构仅为一个示意，本申请对该医疗图像分类模型的网络结构、训练方法、优化器类型、数据增强方法、预处理方法以及正则化方法等不做限定。
其次，本申请实施例中，提供了一种确定病灶分类结果的方法，即先通过卷积层获取待识别医疗图像所对应的特征图，然后通过池化层获取特征向量，根据特征向量与权重参数集合各个类别下的得分，最终选择得分最高的作为病灶分类结果。通过上述方式，可以确定待识别医疗图像的病灶分类结果，从而准确地定位类别，由此提升方案的可靠性和准确度。
可选地，在上述图3B对应的第二个实施例的基础上，本申请实施例提供的医疗图像识别方法第三个可选实施例中，根据特征向量与权重参数集合，计算得到C个类别预测得分，可以包括：
采用如下方式计算类别预测得分：
Figure PCTCN2020103921-appb-000001
其中，Y c表示第c个类别所对应的类别预测得分，C表示类别的总数，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000002
表示第n个通道的特征图对预测为第c个类别的权重参数。
本实施例中，介绍了一种计算类别预测得分的具体方式，最后输出的预测为第c个类别所对应的类别预测得分表示为：
Figure PCTCN2020103921-appb-000003
其中，利用全局平均池化层得到
Figure PCTCN2020103921-appb-000004
再利用全连接层得到
Figure PCTCN2020103921-appb-000005
全连接层的输入层到隐藏层的神经元是全部连接的，全连接层一个作用是去除空间信息(通道数)，是一种将三维矩阵变成向量的过程，即全卷积操作。
再次，本申请实施例中，提供了一种计算类别预测得分的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图3B对应的实施例的基础上，本申请实施例提供的医疗图像识别方法第四个可选实施例中，根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，可以包括：
采用如下方式生成热力图：
Figure PCTCN2020103921-appb-000006
其中，P c(x,y)表示第c个类别所对应的热力图，该热力图为经过上采样后得到的，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000007
表示第n个通道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
本实施例中，介绍了一种生成热力图的具体方式，基于上述类别预测得分的表达式，可以进行如下推导：
Figure PCTCN2020103921-appb-000008
即，
Figure PCTCN2020103921-appb-000009
Figure PCTCN2020103921-appb-000010
表示第n个通道的特征图对预测为第c个类别的权重参数，也就是第n个通道的特征对预测为第c个种类的贡献，从上述式子可知，最终预测到第c个类别所对应的类别预测得分Y c可以分解到每个局部区域，换言之，P c(x,y)上每个位置的值越大，表示待识别医疗图像上对应区域对分类预测的贡献越大，因此，可以看做分类预测的热力图。而
Figure PCTCN2020103921-appb-000011
可以通过最后一层卷积层输出的特征图F n(x,y)和训练好的权重参数
Figure PCTCN2020103921-appb-000012
加权求和得到，由此可见，热力图P c(x,y)尺寸和最后一层特征图F n(x,y)的尺寸相同。
其次，本申请实施例中，提供了一种生成热力图的具体方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
可选地，在上述图3B对应的第一个实施例的基础上，本申请实施例提供的医疗图像识别方法第五个可选实施例中，基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果，可以包括：
基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
本实施例中，介绍利用导向反向传播算法生成梯度传播结果的方法。首先结合图9，对前向传播和反向传播进行介绍，请参阅图9，图9为本申请实施例中前向传播和反向传播的一个对比示意图，如图所示，深度学习网络通过前向传播从输入图像得到最后的标签，通过反向传播思想和梯度下降方法训练网络以最小化网络预测标签和真实标签之间的差距。在前向传播中，沿着神经网络输入到输出的方向，初始输入图像为f 0，经过L层网络后得到特征图f L。在反向传播中，沿着神经网络输出到输入的方向，特征图为R L，经过L层网络后得到图像R 0。反向传播算法可以方便的求出损失函数对每个参数的导数，其基本原理是求导时的链式法则，得到的导数用于梯度下降方法来进行模型训练优化。
根据上述介绍，本申请可以采用普通反向传播算法、反卷积算法或者导向反向传播算法，得到梯度传播结果，其中，导向反向传播算法能得到比普通基于梯度的方法和转置卷积方法更鲜明的物体轮廓。为了便于说明，请参阅图10，图10为本申请实施例中四类传播算法的一个对比示意图，如图所示，在前向传播的过程中，是将输入值大于0所对应的梯度向前传播。在普通反向传播的过程中，将输入值大于0所对应的梯度进行回传。在反 卷积的过程中，将梯度大于0所对应的梯度进行回传。在导向反向传播的过程中，将输入值和梯度均大于0所对应的梯度进行回传。
例如，采用f i l表示第l层的输出，经过池化函数后得到激活结果为f i l+1＝Relu(f i l)＝max(f i l，0)。普通反向传播的算法是将输入大于零所对应的梯度传回去，即
Figure PCTCN2020103921-appb-000013
其中
Figure PCTCN2020103921-appb-000014
而导向反向函数是将输入值和梯度都大于0的位置所对应的梯度传递回去，即
Figure PCTCN2020103921-appb-000015
导向反向传播后得到的梯度传播结果是和原图(即待识别医疗图像)具有一样尺寸，且与类别无法的物体轮廓图G c(x,y)，该物体轮廓图G c(x,y)蕴含了跟原图(即待识别医疗图像)分辨率对齐的物体信息。
可以理解的是，池化函数包含但不仅限于线性整流(Rectified Linear Unit，ReLU)函数、sigmoid函数以及双曲正切(tanh)函数。
再次，本申请实施例中，提供了一种基于导向反向传播算法获取梯度传播结果的方法，通过上述方式，基于导向反向传播算法，可以将输入和梯度都大于零的位置所对应的梯度传递回去。因此，导向反向传播算法回传的梯度更少，激活的是对类别更加敏感的那些像素点，从而使得最后的物体轮廓图也更加清晰鲜明。
可选地，在上述图3B对应的第一个实施例的基础上，本申请实施例提供的医疗图像识别方法第六个可选实施例中，根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果，可以包括：
采用如下方法生成病灶识别结果：
Visual c(x,y)＝G c(x,y)⊙P c(x,y)；
其中，Visual c(x,y)表示第c个类别所对应的病灶识别结果，G c(x,y)表示第c个类别所对应的物体轮廓图，P c(x,y)表示第c个类别所对应的热力图，该热力图为经过上采样后得到的，第c个类别属于病灶分类结果。
本实施例中，介绍了一种生成病灶识别结果的实现方式。基于热力图可以得到不同类别的粗略定位，基于反向导向传播算法可以得到高分辨率，且细粒度的可视化物体轮廓图。本申请将上采样的热力图和反向导向传播得到的物体轮廓图逐点相乘便能够得到最后的较为清晰的分类结果解释图，可以理解的是，当病灶识别结果即为分类结果解释图时，则生成的Visual c(x,y)表示病灶识别结果，如果病灶识别结果还包括其他信息，那么Visual c(x,y)表示分类结果解释图。
这样就能够将具有判别力的高层次语义信息和低层次的图像信息相结合，得到同时兼具类别解释性和清晰度的可视化图。
再次，本申请实施例中，提供了一种生成病灶识别结果的实现方式，通过上述方式，为方案的实现提供了可行的依据，从而提升方案的可操作性。
结合上述介绍，本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明，请参阅图11A，本申请实施例中医疗图像处理方法一个实施例包括：
A1、获取待识别医疗图像；
A2、通过医疗图像分类模型获取待识别医疗图像所对应的医疗图像内容识别结果；
A3、基于反向梯度传播算法，根据医疗图像内容识别结果获取梯度传播结果；
本实施例中，图像识别装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，例如，这里的反向梯度传播算法可以是导向反向传播算法。基于反向梯度传播算法，根据医疗图像内容识别结果获取梯度传播结果的实现方式可以参照前述介绍，此处不再赘述。
A4、根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
本实施例中，图像识别装置利用梯度传播结果生成待识别医疗图像所对应的物体轮廓图，可以理解的是，图像识别装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
A5、根据物体轮廓图生成待识别医疗图像所对应的图像识别结果。
本实施例中，图像识别装置将步骤A4中生成的物体轮廓图与原图(即待识别医疗图像)进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医疗图像识别方法，在得到基于医疗图像病灶分类结果的同时，还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与待识别医疗图像结合能够得到清晰可视化的分类结果解释图。
在一种可能的实施例中，除了上述反向传播算法这一分支，还提供了基于最后一层卷积输入特征图这一分支，因此，在获取待识别医疗图像之后，还可以通过医疗图像分类模型获取待识别医疗图像所对应的特征图，所述特征图具有N个通道，所述N为大于1的整数；根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系。相应的，A5中根据物体轮廓图生成待识别医疗图像所对应的图像识别结果的方式可以是根据热力图以及物体轮廓图，生成待识别医疗图像所对应的图像识别结果。
可以理解的是，在本实施例中各个步骤各种可能的实现方式与前述实施例类似，此处不再赘述。
结合上述介绍，下面将对本申请中医疗图像识别方法进行介绍，请参阅图11B，本申请实施例中医疗图像识别方法一个实施例包括：
201、获取待识别医疗图像；
本实施例中，图像识别装置获取待识别医疗图像，该图像识别装置可以部署于终端设备，或者服务器上，又或者医疗设备上，此处不做限定。待识别医疗图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
202、通过医疗图像分类模型获取待识别医疗图像所对应的病灶分类结果；
本实施例中，图像识别装置将待识别医疗图像输入至医疗图像分类模型，由医疗图像分类模型输出待识别医疗图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医疗图像分类模型是一个基于深度卷积的神经网络，例如VGG、res-net或者dense-net，医疗图像分类模型的主体是由卷积层堆叠而成的。
经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图，该特征图再经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量(其尺寸为1*N),该向量再通过全连接层映射到每一个类别的预测得分(其尺寸为1×C，C为类别的个数)。从所有类别中取得分最高的类别作为对待识别医疗图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
203、基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
本实施例中，图像识别装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，具体地，这里的反向梯度传播算法可以是导向反向传播算法。
204、根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
本实施例中，图像识别装置利用梯度传播结果生成待识别医疗图像所对应的物体轮廓图，可以理解的是，图像识别装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
205、根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果。
本实施例中，图像识别装置将步骤204中生成的物体轮廓图与原图(即待识别医疗图像)进行叠加，从而生成分类结果解释图。可以理解的是，病灶识别结果可以仅包括分类 结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
本申请实施例中，提供了一种医疗图像识别方法，首先获取待识别医疗图像，然后通过医疗图像分类模型获取待识别医疗图像所对应的病灶分类结果，基于反向梯度传播算法，根据病灶分类结果获取物体轮廓图，最后根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果。通过上述方式，在得到基于医疗图像病灶分类结果的同时，还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，与待识别医疗图像结合能够得到清晰可视化的分类结果解释图。
可选地，在上述图11B对应的实施例的基础上，本申请实施例提供的医疗图像识别方法第一个可选实施例中，还可以包括：
通过医疗图像分类模型的卷积层对待识别医疗图像进行处理，得到待识别医疗图像所对应的特征图，其中，特征图具有N个通道，N为大于1的整数；根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果，可以包括：
根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果。
本实施例中，介绍了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，采用步骤201至步骤205的方式，能够预测得到待识别医疗图像所对应的物体轮廓图，物体轮廓图能够很好保留了高分辨率的图像轮廓信息，但是与特定的类别没有关系，为了能够很好地区分不同类别的判断区域，本申请引入了另一个分支，即根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图。
假设输入的待识别医疗图像为一个RGB图像，该待识别医疗图像的尺寸表示为H*W*3，经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图。其中，特征图表示为F n(x,y)，特征图F n(x,y)中的n表示第n个通道的特征图，即n＝0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，(x,y)表示在特征图中的空间位置，即x＝0,1,2,…,X-1，y＝0,1,2,…,Y-1。
图像识别装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。对于C个类别，每个类别都能够得到一张热力图，可以理解的是，热力图的生成流程可以参阅图4以及图4对应的相关描述，此处不做赘述。在实际应用中，还需要对热力图进行上采样，然后得到与原图(即待识别医疗图像)一样的尺寸，从而可以将热力图叠加到原图(即待识别医疗图像)上去展示。图像识别装置将热力图以及物体轮廓图进行，生成待识别医疗图像所 对应的病灶识别结果。具体地，可以将物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，基于分类结果解释图生成病灶识别结果。由此，将高层次的语义信息(即热力图)与低层次的语义信息(即物体轮廓图)进行结合。
其次，本申请实施例中，提供了一种基于热力图以及物体轮廓图生成病灶识别结果的方法，即通过医疗图像分类模型的卷积层对待识别医疗图像进行处理，得到待识别医疗图像所对应的特征图，然后根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，最后根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果。通过上述方式，在得到基于医疗图像病灶分类结果的同时，还能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，不但为模型提供了良好的可解释性，而且对自动诊断提供了强有力的依据，使模型更具有信服力。对医生和患者而言，物体轮廓图与热力图的结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断，提升了基于医疗图像进行诊断的可靠性。
可以理解的是，在本实施例中各个步骤各种可能的实现方式与前述实施例类似，此处不再赘述。结合上述介绍，下面将对本申请中图像识别结果展示的方法进行介绍，请参阅图12，本申请实施例中图像识别结果展示的方法一个实施例包括：
301、获取待识别医疗图像；
本实施例中，图像识别结果展示装置获取待识别医疗图像，该图像识别结果展示装置可以部署于终端设备或者医疗设备上，此处不做限定。待识别医疗图像具体是内窥镜图像，本申请涉及的内窥镜图像包含但不仅限于胃肠道的内窥镜图像、胰腺的内窥镜图像、胆道的内窥镜图像、呼吸道的内窥镜图像以及泌尿道的内窥镜图像。
302、通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
图像识别结果展示装置将待识别医疗图像输入至医疗图像分类模型，由医疗图像分类模型输出待识别医疗图像所对应的病灶分类结果，此外，在输出病灶分类结果的过程中，经过多层级联的卷积层后可以输出特征图。可以理解的是，医疗图像分类模型是一个基于深度卷积的神经网络，医疗图像分类模型的主体是由卷积层堆叠而成的。
假设输入的待识别医疗图像为一个RGB图像，该待识别医疗图像的尺寸表示为H*W*3。经过多层级联的卷积层和池化层之后，获取经过最后一个卷积层后输出的特征图。其中，特征图表示为F n(x,y)，特征图F n(x,y)中的n表示第n个通道的特征图，即n＝0,1,2,…,N-1，该特征图的尺寸表示为X*Y*N，(x,y)表示在特征图中的空间位置，即x＝0,1,2,…,X-1，y＝0,1,2,…,Y-1。
特征图经过全局平均池化层，即对每一个通道的特征图求得其平均值，得到向量(其尺寸为1*N),该向量再通过全连接层映射到每一个类别的预测得分(其尺寸为1×C，C为类别的个数)。从所有类别中取得分最高的类别作为对待识别医疗图像的病灶分类结果。
以小肠的类别为例，类别包含但不仅限于小肠肿瘤、平滑肌肿瘤、肉瘤、息肉、淋巴瘤以及炎症等。
303、基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
本实施例中，图像识别结果展示装置采用反向梯度传播算法，根据病灶分类结果获取梯度传播结果，这里的反向梯度传播算法可以是导向反向传播算法。
304、根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
本实施例中，图像识别结果展示装置利用梯度传播结果生成待识别医疗图像所对应的物体轮廓图，可以理解的是，图像识别结果展示装置生成物体轮廓图的方式可以参阅上述实施例，此处不做赘述。
305、根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
本实施例中，图像识别结果展示装置根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，权重参数集合包括N个权重参数，即特征图中的每个通道对应一个权重参数，该权重参数可以是根据经验值预先设定好的，或者训练得到的，此处不做限定。
对于C个类别，每个类别都能够得到一张热力图，可以理解的是，热力图的生成流程可以参阅图4以及图4对应的相关描述，此处不做赘述。在实际应用中，还需要对热力图进行上采样，然后得到与原图(即待识别医疗图像)一样的尺寸，从而可以将热力图叠加到原图(即待识别医疗图像)上去展示。
306、根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果；
本实施例中，图像识别结果展示装置可以将物体轮廓图的像素点与热力图的像素点进行逐点相乘后得到的分类结果解释图，基于分类结果解释图生成病灶识别结果。由此，将高层次的语义信息(即热力图)与低层次的语义信息(即物体轮廓图)进行结合。
307、展示待识别医疗图像所对应的病灶识别结果。
本实施例中，图像识别结果展示装置展示待识别医疗图像所对应的病灶识别结果。可以理解的是，病灶识别结果可以仅包括分类结果解释图，也可以既包括分类结果解释图，又包括与病灶分类结果相关的信息，比如，病灶分类结果的名称，病灶的发展情况，患者的相关资料等。
请参阅图13，图13为本申请实施例中展示病灶识别结果的一个界面示意图，如图所示，在医疗影像系统的界面上展示有分类结果解释图，同时，在该界面上还可以展示其他的相关信息，比如患者姓名为“甲”，患者年龄为“75”，分类结果解释图是针对胃镜图像进行分析后得到的，病灶分类结果是“炎症”。如果医生需要将界面上的信息打印下来，则可以触发界面上的“打印报告”模块，从而生成纸质报告。
本申请实施例中，提供了一种图像识别结果展示的方法，通过上述方式，在得到基于医疗图像病灶分类结果的同时，不但能够利用热力图对该病灶分类结果所对应的判别区域进行可视化处理，而且还可以得到一个物体轮廓图，这个物体轮廓图是学习出了整个图像所有物体的一个轮廓特征。由于物体轮廓图是利用输入层及较前面层的卷积网络结果，保留了高分辨率的图像轮廓信息，因而有更高分辨率且更清晰，物体轮廓图与热力图的结合能够得到清晰可视化的分类结果解释图，从而有利于针对内窥镜图像进行更准确的诊断，提升了基于医疗图像进行诊断的可靠性。
下面对本申请中的图像识别装置进行详细描述，请参阅图14A，图14A为本申请实施例中图像处理装置一个实施例示意图，图像处理装置40包括：
获取模块401，用于获取待识别医疗图像；
所述获取模块401，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
生成模块402，用于根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块402，还用于根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
可选地，在上述图14A所对应的实施例的基础上，本申请实施例提供的图像处理装置40的另一实施例中，
获取模块401，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果之后，基于反向梯度传播算法，根据所述医疗图像内容识别结果获取梯度传播结果；
所述生成模块402，还用于根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
所述生成模块402，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的图像识别结果。
可选地，在上述图14A所对应的实施例的基础上，本申请实施例提供的图像处理装置40的另一实施例中，
获取模块401，用于通过所述医疗图像分类模型的卷积层获取所述待识别医疗图像所对应的特征图；
通过所述医疗图像分类模型的全局平均池化层，对所述特征图进行处理，得到特征向量；
根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
根据所述C个类别预测得分，从C个类别中确定所述医疗图像内容识别结果。
可选地，在上述图14A所对应的实施例的基础上，本申请实施例提供的图像处理装置40的另一实施例中，
获取模块401，用于基于导向反向传播算法，根据所述医疗图像内容识别结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
下面对本申请中的图像识别装置进行详细描述，请参阅图14B，图14B为本申请实施例中图像识别装置一个实施例示意图，图像识别装置40包括：
获取模块401，用于获取待识别医疗图像；
获取模块401，还用于通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
生成模块402，用于根据获取模块401获取的特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块402，还用于根据热力图生成待识别医疗图像所对应的病灶识别结果。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，还用于通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果之后，基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块402，还用于根据获取模块401获取的梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
生成模块402，具体用于根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于通过医疗图像分类模型的卷积层获取待识别医疗图像所对应的特征图；
通过医疗图像分类模型的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于采用如下方式计算类别预测得分：
Figure PCTCN2020103921-appb-000016
其中，Y c表示第c个类别所对应的类别预测得分，C表示类别的总数，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000017
表示第n个通道的特征图对预测为第c个类别的权重参数。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
生成模块402，具体用于采用如下方式生成热力图：
Figure PCTCN2020103921-appb-000018
其中，P c(x,y)表示第c个类别所对应的热力图，热力图为经过上采样后得到的，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000019
表示第n个通道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
获取模块401，具体用于基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
可选地，在上述图14B所对应的实施例的基础上，本申请实施例提供的图像识别装置40的另一实施例中，
生成模块402，具体用于采用如下方法生成病灶识别结果：
Visual c(x,y)＝G c(x,y)⊙P c(x,y)；
其中，Visual c(x,y)表示第c个类别所对应的病灶识别结果，G c(x,y)表示第c个类别所对应的物体轮廓图，P c(x,y)表示第c个类别所对应的热力图，热力图为经过上采样后得到的，第c个类别属于病灶分类结果。
下面对本申请中的图像识别结果展示装置进行详细描述，请参阅图15，图15为本申请实施例中图像识别结果展示装置一个实施例示意图，图像识别结果展示装置50包括：
获取模块501，用于获取待识别医疗图像；
获取模块501，还用于通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
获取模块501，还用于基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块502，用于根据获取模块501获取的梯度传播结果，生成待识别医疗图像所对应的物体轮廓图；
生成模块502，还用于根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块502，还用于根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果；
展示模块503，用于展示生成模块502生成的待识别医疗图像所对应的病灶识别结果。
下面对本申请中的图像处理装置进行详细描述，请参阅图16A，图16A为本申请实施例中图像处理装置一个实施例示意图，图像处理装置60包括：
获取模块601，用于获取待识别医疗图像；
所述获取模块601，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的医疗图像内容识别结果；
所述获取模块601，还用于基于反向梯度传播算法，根据所述医疗图像内容识别结果获取梯度传播结果；
生成模块602，用于根据所述获取模块获取的所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
所述生成模块602，还用于根据所述物体轮廓图生成所述待识别医疗图像所对应的图像识别结果。
可选地，在上述图16A所对应的实施例的基础上，本申请实施例提供的图像处理装置60的另一实施例中，
所述获取模块601，还用于在获取待识别医疗图像之后，通过所述医疗图像分类模型获取所述待识别医疗图像所对应的特征图，其中，所述特征图为通过所述医疗图像分类模型的卷积层对所述待识别医疗图像进行卷积处理后得到的，所述特征图具有N个通道，所述N为大于1的整数；
所述生成模块602，还用于根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
所述生成模块602，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的图像识别结果。
下面对本申请中的图像识别装置进行详细描述，请参阅图16B，图16B为本申请实施例中图像识别装置一个实施例示意图，图像识别装置60包括：
获取模块601，用于获取待识别医疗图像；
获取模块601，还用于通过医疗图像分类模型获取待识别医疗图像所对应的病灶分类结果；
获取模块601，还用于基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
生成模块602，用于根据获取模块601获取的梯度传播结果，生成待识别医疗图像所对应的物体轮廓图；
生成模块602，还用于根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果。
可选地，在上述图16B所对应的实施例的基础上，请参阅图17，本申请实施例提供的图像识别装置60的另一实施例中，图像识别装置60还包括处理模块603；
处理模块603，用于通过医疗图像分类模型的卷积层对待识别医疗图像进行处理，得到待识别医疗图像所对应的特征图，其中，特征图具有N个通道，N为大于1的整数；
生成模块602，还用于根据处理模块603处理得到的特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
生成模块602，具体用于根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果。
可选地，在上述图16B或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于通过医疗图像分类模型中的全局平均池化层，对特征图进行处理，得到特征向量；
根据特征向量与权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，C为大于或等于1的整数；
根据C个类别预测得分，从C个类别中确定病灶分类结果。
可选地，在上述图16B或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于采用如下方式计算类别预测得分：
Figure PCTCN2020103921-appb-000020
其中，Y c表示第c个类别所对应的类别预测得分，C表示类别的总数，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000021
表示第n个通道的特征图对预测为第c个类别的权重参数。
可选地，在上述图16B或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
生成模块602，具体用于采用如下方式生成热力图：
Figure PCTCN2020103921-appb-000022
其中，P c(x,y)表示第c个类别所对应的热力图，热力图为经过上采样后得到的，F n(x,y)表示第n个通道的特征图，(x,y)表示在特征图中的空间位置，
Figure PCTCN2020103921-appb-000023
表示第n个通道的特征图对预测为第c个类别的权重参数，第c个类别属于病灶分类结果。
可选地，在上述图16B或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
获取模块601，具体用于基于导向反向传播算法，根据病灶分类结果获取梯度传播结果，其中，导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
可选地，在上述图16B或图17所对应的实施例的基础上，本申请实施例提供的图像识别装置60的另一实施例中，
生成模块602，具体用于采用如下方法生成病灶识别结果：
Visual c(x,y)＝G c(x,y)⊙P c(x,y)；
其中，Visual c(x,y)表示第c个类别所对应的病灶识别结果，G c(x,y)表示第c个类别所对应的物体轮廓图，P c(x,y)表示第c个类别所对应的热力图，热力图为经过上采样后得到的，第c个类别属于病灶分类结果。
本申请实施例还提供了另一种图像识别装置以及图像识别结果展示装置，如图18所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。以终端设备为手机为例：
图18示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图18，手机包括：射频(radio frequency，RF)电路710、存储器720、输入单元730、显示 单元740、传感器750、音频电路760、无线保真(wireless fidelity，WiFi)模块770、处理器780、以及电源790等部件。本领域技术人员可以理解，图18中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。下面结合图18对手机的各个构成部件进行具体的介绍：
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器780是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器780可包括一个或多个处理单元；可选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图生成待识别医疗图像所对应的病灶识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果；
展示待识别医疗图像所对应的病灶识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的医疗图像内容识别结果；
基于反向梯度传播算法，根据医疗图像内容识别结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医疗图像所对应的图像识别结果。
在本申请实施例中，该终端设备所包括的处理器780还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的病灶分类结果；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果。
图19是示出本发明的实施方式的医疗影像系统80的结构的图。本实施方式的医疗影像系统80是用于支援内窥镜业务的系统。医疗影像系统80具有探头801、处理器802、显示器803、电路804以及接口805。医疗影像系统80能够与终端设备90协同工作。探头801具体可以是内窥镜探头，可以插入食道、胃肠、支气管等，进行实时扫描成像。通过使用内窥镜探头，医生能清楚地鉴别肿瘤生长层次、浸润深度。此外，内窥镜探头还可应用于肠道附近的脏器成像，在胰腺、胆管、胆囊的病变诊断中发挥作用。
处理器802用于对探头801拍摄到的内窥镜图像进行识别，生成识别结果。显示器803根据处理器802输入的影像信号显示病灶识别结果，该病灶识别结果具体是影像结果，可 实时显示由探头801进行摄像而得到的影像。电路804用于连接医疗影像系统80中的各个模块，并且提供电信号，以使医疗影像系统80内部能够正常工作，并且能够与终端设备90建立通信连接。
医疗影像系统80可以直接将采集到的内窥镜图像进行识别和处理，也可以通过接口805向终端设备90发送采集到的内窥镜图像，由终端设备90对内窥镜图像进行识别和处理。终端设备90能够基于医疗影像系统80发送的病灶识别结果，制作电子病历、药方或者直接打印出来等。
在本申请实施例中，该医疗影像系统所包括的处理器802还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，特征图具有N个通道，N为大于1的整数；
根据特征图以及权重参数集合，生成医疗图像内容识别结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图生成待识别医疗图像所对应的图像识别结果。在本申请实施例中，该医疗影像系统所包括的处理器802还具有以下功能：
通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图生成待识别医疗图像所对应的病灶识别结果。
在本申请实施例中，该医疗影像系统所包括的处理器802还具有以下功能：
通过医疗图像分类模型获取待识别医疗图像所对应的特征图以及病灶分类结果，其中，特征图具有N个通道，N为大于1的整数；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据特征图以及权重参数集合，生成病灶分类结果所对应的热力图，其中，权重参数集合包括N个权重参数，权重参数与通道具有对应关系；
根据热力图以及物体轮廓图，生成待识别医疗图像所对应的病灶识别结果；
展示所述待识别医疗图像所对应的病灶识别结果。
在本申请实施例中，该医疗影像系统所包括的处理器802还具有以下功能：
获取待识别医疗图像；
通过医疗图像分类模型获取待识别医疗图像所对应的医疗图像内容识别结果；
基于反向梯度传播算法，根据医疗图像内容识别结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医疗图像所对应的图像识别结果。
在本申请实施例中，该医疗影像系统所包括的处理器802还具有以下功能：
通过医疗图像分类模型获取待识别医疗图像所对应的病灶分类结果；
基于反向梯度传播算法，根据病灶分类结果获取梯度传播结果；
根据梯度传播结果生成待识别医疗图像所对应的物体轮廓图；
根据物体轮廓图生成待识别医疗图像所对应的病灶识别结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机 存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (19)

  1. 一种医疗图像处理方法，所述方法由数据处理设备执行，包括：
    获取待识别医疗图像；
    通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
  2. 根据权利要求1所述的方法，所述通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果之后，所述方法还包括：
    基于反向梯度传播算法，根据所述医疗图像内容识别结果获取梯度传播结果；
    根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
    所述根据所述热力图生成所述待识别医疗图像所对应的图像识别结果，包括：
    根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的图像识别结果。
  3. 根据权利要求1或2所述的方法，所述通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，包括：
    通过所述医疗图像分类模型的卷积层获取所述待识别医疗图像所对应的特征图；
    通过所述医疗图像分类模型的全局平均池化层，对所述特征图进行处理，得到特征向量；
    根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
    根据所述C个类别预测得分，从C个类别中确定所述医疗图像内容识别结果。
  4. 根据权利要求2所述的方法，所述基于反向梯度传播算法，根据所述医疗图像内容识别结果获取梯度传播结果，包括：
    基于导向反向传播算法，根据所述医疗图像内容识别结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
  5. 一种医疗图像识别方法，所述方法由数据处理设备执行，包括：
    获取待识别医疗图像；
    通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    根据所述热力图生成所述待识别医疗图像所对应的病灶识别结果。
  6. 根据权利要求5所述的方法，所述通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果之后，所述方法还包括：
    基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
    根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
    所述根据所述热力图生成所述待识别医疗图像所对应的病灶识别结果，包括：
    根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果。
  7. 根据权利要求5或6所述的方法，所述通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，包括：
    通过所述医疗图像分类模型的卷积层获取所述待识别医疗图像所对应的特征图；
    通过所述医疗图像分类模型的全局平均池化层，对所述特征图进行处理，得到特征向量；
    根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，其中，每个类别预测得分对应一个类别，所述C为大于或等于1的整数；
    根据所述C个类别预测得分，从C个类别中确定所述病灶分类结果。
  8. 根据权利要求7所述的方法，所述根据所述特征向量与所述权重参数集合，计算得到C个类别预测得分，包括：
    采用如下方式计算所述类别预测得分：
    Figure PCTCN2020103921-appb-100001
    其中，所述Y c表示第c个类别所对应的类别预测得分，所述C表示所述类别的总数，所述F n(x,y)表示第n个通道的特征图，所述(x,y)表示在所述特征图中的空间位置，所述
    Figure PCTCN2020103921-appb-100002
    表示所述第n个通道的特征图对预测为第c个类别的权重参数。
  9. 根据权利要求5所述的方法，所述根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，包括：
    采用如下方式生成所述热力图：
    Figure PCTCN2020103921-appb-100003
    其中，所述P c(x,y)表示第c个类别所对应的热力图，所述热力图为经过上采样后得到的，所述F n(x,y)表示第n个通道的特征图，所述(x,y)表示在所述特征图中的空间位置，所述
    Figure PCTCN2020103921-appb-100004
    表示所述第n个通道的特征图对预测为所述第c个类别的权重参数，所述第c个类别属于所述病灶分类结果。
  10. 根据权利要求6所述的方法，所述基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果，包括：
    基于导向反向传播算法，根据所述病灶分类结果获取所述梯度传播结果，其中，所述导向反向传播算法用于回传梯度和输入值均大于0的位置所对应的特征。
  11. 根据权利要求6所述的方法，所述根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果，包括：
    采用如下方法生成所述病灶识别结果：
    Visual c(x,y)＝G c(x,y)⊙P c(x,y)；
    其中，所述Visual c(x,y)表示第c个类别所对应的病灶识别结果，所述G c(x,y)表示所述第c个类别所对应的物体轮廓图，所述P c(x,y)表示第c个类别所对应的热力图，所述热力图为经过上采样后得到的，所述第c个类别属于所述病灶分类结果，⊙表示同或运算。
  12. 一种图像识别结果展示的方法，所述方法由数据处理设备执行，包括：
    获取待识别医疗图像；
    通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
    根据所述梯度传播结果生成所述待识别医疗图像所对应的物体轮廓图；
    根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果；
    展示所述待识别医疗图像所对应的病灶识别结果。
  13. 一种医疗图像处理装置，包括：
    获取模块，用于获取待识别医疗图像；
    所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及医疗图像内容识别结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    生成模块，用于根据所述特征图以及权重参数集合，生成所述医疗图像内容识别结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    所述生成模块，还用于根据所述热力图生成所述待识别医疗图像所对应的图像识别结果。
  14. 一种医疗图像识别装置，包括：
    获取模块，用于获取待识别医疗图像；
    所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    生成模块，用于根据所述获取模块获取的所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    所述生成模块，还用于根据所述热力图生成所述待识别医疗图像所对应的病灶识别结果。
  15. 一种图像识别结果展示装置，包括：
    获取模块，用于获取待识别医疗图像；
    所述获取模块，还用于通过医疗图像分类模型获取所述待识别医疗图像所对应的特征图以及病灶分类结果，其中，所述特征图具有N个通道，所述N为大于1的整数；
    所述获取模块，还用于基于反向梯度传播算法，根据所述病灶分类结果获取梯度传播结果；
    生成模块，用于根据所述获取模块获取的所述梯度传播结果，生成所述待识别医疗图像所对应的物体轮廓图；
    所述生成模块，还用于根据所述特征图以及权重参数集合，生成所述病灶分类结果所对应的热力图，其中，所述权重参数集合包括N个权重参数，所述权重参数与所述通道具有对应关系；
    所述生成模块，还用于根据所述热力图以及所述物体轮廓图，生成所述待识别医疗图像所对应的病灶识别结果；
    展示模块，用于展示所述生成模块生成的所述待识别医疗图像所对应的病灶识别结果。
  16. 一种终端设备，包括：存储器、收发器、处理器以及总线系统；
    其中，所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
    所述处理器用于根据所述程序代码中的指令执行权利要求1-12任意一项所述的方法。
  17. 一种医疗影像系统，包括：探头、电路、处理器以及显示器；
    所述电路，用于激励所述探头获取待识别医疗图像；
    所述处理器，用于处理所述待识别医疗图像；
    所述显示器，用于显示所述图像识别结果或病灶识别结果；
    其中，所述处理器用于执行权利要求1-12任意一项所述的方法。
  18. 一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-12任意一项所述的方法。
  19. 一种计算机程序产品，当所述计算机程序产品被执行时，用于执行权利要求1-12任意一项所述的方法。
PCT/CN2020/103921 2019-08-29 2020-07-24 一种医疗图像处理方法、医疗图像识别方法及装置 WO2021036616A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/469,850 US20210406591A1 (en) 2019-08-29 2021-09-08 Medical image processing method and apparatus, and medical image recognition method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910809281.8A CN110504029B (zh) 2019-08-29 2019-08-29 一种医学图像处理方法、医学图像识别方法及装置
CN201910809281.8 2019-08-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/469,850 Continuation US20210406591A1 (en) 2019-08-29 2021-09-08 Medical image processing method and apparatus, and medical image recognition method and apparatus

Publications (1)

Publication Number Publication Date
WO2021036616A1 true WO2021036616A1 (zh) 2021-03-04

Family

ID=68590547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/103921 WO2021036616A1 (zh) 2019-08-29 2020-07-24 一种医疗图像处理方法、医疗图像识别方法及装置

Country Status (3)

Country Link
US (1) US20210406591A1 (zh)
CN (1) CN110504029B (zh)
WO (1) WO2021036616A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990359A (zh) * 2021-04-19 2021-06-18 深圳市深光粟科技有限公司 一种影像数据处理方法、装置、计算机及存储介质
CN113538416A (zh) * 2021-08-19 2021-10-22 合肥工业大学智能制造技术研究院 一种基于深度学习的医学图像处理方法
CN114202654A (zh) * 2022-02-17 2022-03-18 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN114387270A (zh) * 2022-03-22 2022-04-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163539A1 (en) * 2019-02-05 2020-08-13 University Of Virginia Patent Foundation System and method for fully automatic lv segmentation of myocardial first-pass perfusion images
CN110504029B (zh) * 2019-08-29 2022-08-19 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
CN111091147B (zh) * 2019-12-10 2024-01-19 东软集团股份有限公司 一种图像分类方法、装置及设备
CN110991561B (zh) * 2019-12-20 2020-12-25 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及系统
CN111214255B (zh) * 2020-01-12 2023-07-25 刘涛 一种医学超声图像计算机辅助方法
CN113435233B (zh) * 2020-03-23 2024-03-05 北京金山云网络技术有限公司 色情图像识别方法、系统及电子设备
CN111476783B (zh) * 2020-04-13 2022-11-15 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
CN111680755B (zh) * 2020-06-11 2023-06-27 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN112036506A (zh) * 2020-09-24 2020-12-04 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112651407B (zh) * 2020-12-31 2023-10-20 中国人民解放军战略支援部队信息工程大学 一种基于区分性反卷积的cnn可视化方法
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
CN113130050B (zh) * 2021-04-20 2023-11-24 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种医学信息显示方法及显示系统
CN113516638B (zh) * 2021-06-25 2022-07-19 中南大学 一种神经网络内部特征重要性可视化分析及特征迁移方法
CN114078128B (zh) * 2022-01-20 2022-04-12 武汉大学 医学图像处理方法、装置、终端及存储介质
CN115579109A (zh) * 2022-11-24 2023-01-06 合肥心之声健康科技有限公司 医疗环境下心电图图像分析方法、装置和终端设备
CN115517686A (zh) * 2022-11-24 2022-12-27 合肥心之声健康科技有限公司 家庭环境心电图图像分析方法、装置、设备、介质和系统
CN116543918B (zh) * 2023-07-04 2023-09-22 武汉大学人民医院（湖北省人民医院） 多模态疾病特征的提取方法及装置
CN116912631B (zh) * 2023-09-12 2023-12-12 深圳须弥云图空间科技有限公司 目标识别方法、装置、电子设备及存储介质
CN117315357B (zh) * 2023-09-27 2024-04-30 广东省新黄埔中医药联合创新研究院 基于中医虚实辨证分类的图像识别方法以及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060652A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109858482A (zh) * 2019-01-16 2019-06-07 创新奇智(重庆)科技有限公司 一种图像关键区域检测方法及其系统、终端设备
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN109509187B (zh) * 2018-11-05 2022-12-13 中山大学 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109903268B (zh) * 2019-01-24 2021-05-04 刘星宇 确定脊柱图像集的异常类型的方法及计算设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060652A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109858482A (zh) * 2019-01-16 2019-06-07 创新奇智(重庆)科技有限公司 一种图像关键区域检测方法及其系统、终端设备
CN110009679A (zh) * 2019-02-28 2019-07-12 江南大学 一种基于多尺度特征卷积神经网络的目标定位方法
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990359A (zh) * 2021-04-19 2021-06-18 深圳市深光粟科技有限公司 一种影像数据处理方法、装置、计算机及存储介质
CN112990359B (zh) * 2021-04-19 2024-01-26 深圳市深光粟科技有限公司 一种影像数据处理方法、装置、计算机及存储介质
CN113538416A (zh) * 2021-08-19 2021-10-22 合肥工业大学智能制造技术研究院 一种基于深度学习的医学图像处理方法
CN114202654A (zh) * 2022-02-17 2022-03-18 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN114202654B (zh) * 2022-02-17 2022-04-19 广东皓行科技有限公司 一种实体目标的模型构建方法、存储介质和计算机设备
CN114387270A (zh) * 2022-03-22 2022-04-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN114387270B (zh) * 2022-03-22 2022-06-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110504029A (zh) 2019-11-26
US20210406591A1 (en) 2021-12-30
CN110504029B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
WO2021036616A1 (zh) 一种医疗图像处理方法、医疗图像识别方法及装置
Frid-Adar et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification
CN107492071B (zh) 医学图像处理方法及设备
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
TWI777092B (zh) 一種圖像處理方法、電子設備及存儲介質
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
CN108615236A (zh) 一种图像处理方法及电子设备
CN109997147A (zh) 用于诊断耳部病理的耳镜图像分析的系统和方法
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
Gao et al. Detection and characterization of the fetal heartbeat in free-hand ultrasound sweeps with weakly-supervised two-streams convolutional networks
Oliveira et al. Deep transfer learning for segmentation of anatomical structures in chest radiographs
CN110517771B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN113450359A (zh) 医学图像分割、显示、模型训练方法、系统、设备和介质
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Mahapatra Registration of histopathogy images using structural information from fine grained feature maps
CN114004854A (zh) 一种显微镜下的切片图像实时处理显示系统和方法
Geçer Detection and classification of breast cancer in whole slide histopathology images using deep convolutional networks
Binol et al. OtoXNet—Automated identification of eardrum diseases from otoscope videos: A deep learning study for video-representing images
CN114360695B (zh) 乳腺超声扫查分析辅助系统、介质及设备
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
CN115394432A (zh) 基于前列腺超声的辅助检查诊断系统、电子设备和存储介质
Li et al. Image analysis and diagnosis of skin diseases-a review
Ouassit et al. Liver Segmentation
Zhou et al. A lightweight object detection framework for underwater imagery with joint image restoration and color transformation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20856050

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20856050

Country of ref document: EP

Kind code of ref document: A1