WO2021218469A1 - 影像数据检测方法、装置、计算机设备和存储介质 - Google Patents

影像数据检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021218469A1
WO2021218469A1 PCT/CN2021/081206 CN2021081206W WO2021218469A1 WO 2021218469 A1 WO2021218469 A1 WO 2021218469A1 CN 2021081206 W CN2021081206 W CN 2021081206W WO 2021218469 A1 WO2021218469 A1 WO 2021218469A1
Authority
WO
WIPO (PCT)
Prior art keywords
slice
image
sample
feature map
target
Prior art date
Application number
PCT/CN2021/081206
Other languages
English (en)
French (fr)
Inventor
曹世磊
刘华罗
郑冶枫
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to EP21797835.2A priority Critical patent/EP4030382A4/en
Priority to JP2022535820A priority patent/JP7376720B2/ja
Publication of WO2021218469A1 publication Critical patent/WO2021218469A1/zh
Priority to US17/721,806 priority patent/US20220233160A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本申请涉及人工智能技术领域的一种影像数据检测方法和装置。该方法包括：对于切片图像序列中的每个目标图像，确定对应的切片图像组，切片图像组包括目标图像、及在切片图像序列中与目标图像具有上下文关系的邻近图像；对切片图像组中的各切片图像分别提取对应的切片特征图；将切片图像组对应提取的切片特征图进行对齐操作；利用对齐后的特征图对切片图像组中的各切片图像的上下文信息进行聚合；对聚合后的特征图进行目标区域检测，得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。采用本方法不仅能够克服待检测影像信息不对称问题，而且能够有效提高影像数据的检测效率。

Description

影像数据检测方法、装置、计算机设备和存储介质
本申请要求于2020年04月30日提交中国专利局，申请号为2020103674410，申请名称为“影像数据检测方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，特别是涉及一种影像数据检测方法、装置、计算机设备和存储介质以及影像检测模型训练方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能医疗等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。以智能医疗为例，通过计算机程序对医疗影像进行检测，能够提高检测效率。
由于不同类型的医疗器械、不同的物理参数以及不同的扫描协议等原因，影像数据的分辨率存在较大差异，目标区域的差异也较大，这种差异又被称为信息不对称。传统方式中通常是采用重采样的方式来克服信息不对称的问题，但是运算速度较慢。因此，如何有效提高影像数据的检测效率成为目前需要解决的一个技术问题。
发明内容
根据本申请提供的各种实施例，提供一种影像数据检测方法、装置、计算机设备和存储介质以及影像检测模型训练方法、装置、计算机设备和存储介质。
一种影像数据检测方法，由计算机设备执行，所述方法包括：
获取待检测影像，所述待检测影像包括切片图像序列；
对于切片图像序列中的每个目标图像，确定对应的切片图像组，所述切片 图像组包括所述目标图像、及在所述切片图像序列中与所述目标图像具有上下文关系的邻近图像；
对所述切片图像组中的各切片图像分别提取对应的切片特征图；
将所述切片图像组对应提取的切片特征图进行对齐操作；
利用对齐后的特征图对所述切片图像组中的各切片图像的上下文信息进行聚合；及
对聚合后的特征图进行目标区域检测，得到与所述目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与所述待检测影像对应的检测结果。
一种影像数据检测装置，所述装置包括：
第一获取模块，用于获取待检测影像，所述待检测影像包括切片图像序列；对于切片图像序列中的每个目标图像，确定对应的切片图像组，所述切片图像组包括所述目标图像、及在所述切片图像序列中与所述目标图像具有上下文关系的邻近图像；
特征提取模块，用于对所述切片图像组中的各切片图像分别提取对应的切片特征图；
对齐模块，用于将所述切片图像组对应提取的切片特征图进行对齐操作；
聚合模块，用于利用对齐后的特征图对所述切片图像组中的各切片图像的上下文信息进行聚合；及
目标检测模块，用于对聚合后的特征图进行目标区域检测，得到与所述目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与所述待检测影像对应的检测结果。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述影像数据检测方法的步骤。
一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述处理器执行上述影像数据检测方法的步骤。
一种影像检测模型训练方法，所述影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，所述方法包括：
对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；所述切片样本图像组包括所述目标样本图像、及在所述切片样本图像序列中与所述目标样本图像具有上下文关系的邻近样本图像；
通过所述骨干网络对所述切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图；
通过所述三维对齐网络将所述切片样本图像组对应提取的切片样本特征图进行对齐操作；
通过所述三维聚合网络利用对齐后的样本特征图对所述切片样本图像组中的各切片样本图像的上下文信息进行聚合；
通过所述目标检测网络对聚合后的样本特征图进行目标区域检测，得到与所述目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与所述影像样本对应的检测结果。
一种影像检测模型训练装置，所述影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，所述装置包括：
第二获取模块，用于对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；所述切片样本图像组包括所述目标样本图像、及在所述切片样本图像序列中与所述目标样本图像具有上下文关系的邻近样本图像；
样本特征提取模块，用于通过所述骨干网络对所述切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图；
样本对齐模块，用于通过所述三维对齐网络将所述切片样本图像组对应提取的切片样本特征图进行对齐操作；
样本聚合模块，用于通过所述三维聚合网络利用对齐后的样本特征图对所述切片样本图像组中的各切片样本图像的上下文信息进行聚合；
样本目标检测模块，用于通过所述目标检测网络对聚合后的样本特征图进行目 标区域检测，得到与所述目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与所述影像样本对应的检测结果。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述影像检测模型训练方法的步骤。
一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述处理器执行上述影像检测模型训练方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中影像数据检测方法的应用环境图；
图2为一个实施例中影像数据检测方法的流程示意图；
图3为一个实施例中通过滑动窗口获取切片图像的示意图；
图4为一个实施例中传统三维卷积神经网络肺部影像检测结果示意图；
图5为一个实施例中影像检测模型肺部影像检测结果示意图；
图6为一个实施例中影像检测模型训练方法的流程示意图；
图7为一个实施例中影像检测模型的网络结构示意图；
图8为一个实施例中无锚点检测器与基于锚点的检测器进行比较的检测结果示意图；
图9为一个实施例中影像数据检测装置的结构框图；
图10为一个实施例中影像检测模型训练装置的结构框图；及
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的影像数据检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云存储、云通信以及大数据和人工智能平台等基础云计算服务的云服务器来实现。终端102获取待检测影像，利用待检测影像生成检测任务，将检测任务上传至服务器104。服务器104调用影像检测模型执行检测任务。其中，服务器104在待测影像的切片图像序列中获取每个目标图像对应的切片图像组，切片图像组包括所述目标图像、及在切片图像序列中与目标图像具有上下文关系的邻近图像。服务器104通过影像检测模型对切片图像组中的各切片图像分别提取对应的切片特征图，将切片图像组对应提取的切片特征图进行对齐操作。利用对齐后的特征图对切片图像组中的各切片图像的上下文信息进行聚合，对聚合后的特征图进行目标区域检测，得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。服务器104将检测结果返回至终端102。
在一个实施例中，如图2所示，提供了一种影像数据检测方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用到终端中，在本实施例中，包括以下步骤：
步骤202，获取待检测影像，待检测影像包括切片图像序列。
服务器可以通过上述应用场景中提供的方式，获取检测任务，根据检测任务获取待检测影像。待检测影像可以是对待测部位拍摄的医疗影像等，例如，对肺部拍摄的CT影像等。待检测影像是三维影像，具有水平方向和深度方向的信息。水平方向可以采用x方向、y方向表示，深度方向可以采用z方向标识。 在每一个方向上，像素之间都具有相应的距离，该距离可以称为相应方向的间隔。水平方向可以反映切片图像内的平面信息，深度方向可以反映切片图像之间的空间信息。待检测影像包括切片图像序列，切片图像序列包括多张切片图像。多张是指三张或三张以上。切片图像是二维图像。切片图像中反映待测部位的当前状况。
步骤204，对于切片图像序列中的每个目标图像，确定对应的切片图像组，切片图像组包括目标图像、及在切片图像序列中与目标图像具有上下文关系的邻近图像。
服务器通过滑动窗口沿深度方向依次在切片图像序列中获取预设数量的邻近的切片图像，作为一组待测切片图像，如图3所示。滑动窗口是指固定大小的窗口，可以按照固定步长进行滑动。固定步长可以根据相邻的两张切片图像的距离来确定。滑动窗口每次获取的切片图像的数量是相同的。滑动窗口获取到一组待测切片图像后，可以按固定步长滑动，获取下一组待测切片图像。其中，上一组待测切片图像与下一组待测切片图像的图像数量相同，下一组待测切片图像包括除了上一组待测切片图像中的第一张切片图像之外的所有切片图像。预设数量可以是奇数。例如，预设数量为T，则T＝2M+1，其中，前M张切片图像与后M张切片图像构成中间切片图像的上下文。中间切片图像可以称为目标图像。目标图像对应的一组待测切片图像，可以称为切片图像组。在一个实施例中，滑动窗口获取到一组待测切片图像后，也可以按照随机步长进行滑动，获取到下一组待测切片图像，随机步长也可以根据相邻的两张切片图像的距离来确定，比如，随机步长可以是相邻的两张切片图像的距离的随机倍数。
步骤206，对切片图像组中的各切片图像分别提取对应的切片特征图。
本实施例中，可以通过预训练的影像检测模型执行检测任务。其中，影像检测模型包括二维骨干网络、三维对齐网络、三维聚合网络以及目标检测网络。二维骨干网络用于提取切片图像的特征。二维骨干网络包括Resnet(Deep residual network,深度残差网络)与FPN(feature pyramid networks，一种多尺度目标检测算法)。本实施例中的Resnet与原始Resnet相比，第一个卷积层的输入通道减少，并且删掉了最后的全连接层。其中，第一个卷积层输入的通道由原始的3 通道改成1通道。由于切片图像是灰度图，通过减少第一个卷积层的通道，由此可以直接将切片图像作为Resnet的输入。由于全连接层一般用来做分类任务，本实施例中，并不需要通过Resnet进行分类，因此，删除原始Resnet最后的全连接层后，可以利用Resnet与FPN组合成二维骨干网络，二维骨干网络中所有的卷积都是二维卷积。
服务器将切片图像组的每一张切片图像依次输入至二维骨干网络，进行特征提取，得到每一张切片图像对应的切片特征图。例如，切片图像组中切片图像的数量为T，则可以得到T个独立的切片特征图。切片特征图的大小可以根据二维骨干网络的通道数、预设宽度和预设高度来确定。例如，切片特征图的大小为(C,W,H)，其中，C、W、H分别表示二维骨干网络的通道数、切片预设宽度和切片预设高度。由于切片图像是单独输出至二维骨干网络，切片图像之间不发生信息交互，使得被拍摄部位的三维结构信息得以保留。而且，二维骨干网络采用的二维卷积进行切片图像的特征提取，能够有效降低运算量，提高影像检测效率。
步骤208，将切片图像组对应提取的切片特征图进行对齐操作。
服务器将切片图像组对应提取的切片特征图输入至三维对齐网络，通过三维对齐网络对切片图像组对应提取的各切片特征图进行拼接，根据切片特征图的大小以及切片特征图的数量确定拼接后的特征图的大小。例如，切片特征图的大小为(C,W,H)，切片图像组对应提取的切片特征图的数量为T，则拼接后的特征图的大小为(C,T,W,H)。
切片特征图中的C、W、H可以分别表示通道维度、切片宽度维度、切片高度维度，又可以称为已有维度。拼接后的特征图中，T可以表示切片数量维度。三维对齐网络对拼接后的特征图通过已有维度学习切片图像的内部信息，通过切片数量维度学习切片图像之间的空间信息。通过在已有维度与切片数量维度进行归一化处理，输出对齐后的特征图。对齐后的特征图的大小与拼接后的特征图的大小相同。其中，切片宽度维度、切片高度维度又可以统称为切片尺寸维度，或者切片平面维度，切片数量维度又可以称为切片空间维度。
在传统方式中，在对切片图像进行检测时，只是在切片平面维度进行对齐， 未考虑切片空间维度的对齐，欠缺在三维结构上的信息交互，存在切片图像之间信息不对称的问题。在本实施例中，通过三维对齐网络对拼接后的特征图在切片平面维度以及切片空间维度进行对齐操作，将不同切片图像间的信息调整到相同的分布空间。能够有效克服切片图像之间分辨率差异较大以及切片图像之间信息不对称的问题，有效提高图像准确性。
步骤210，利用对齐后的特征图对切片图像组中的各切片图像的上下文信息进行聚合。
将对齐后的特征图输入至三维聚合网络，三维聚合网络根据切片数量维度与已有维度(即通道维度、切片宽度维度和切片高度维度)将对齐后的特征图进行重塑，生成至少两个重塑后的特征图。在不同的重塑后的特征图中，切片数量维度信息的排列方式可以不同。利用切片数量维度重塑后的特征图进行加权，对加权后的特征图进行降维处理，生成与切片图像组对应的聚合后的特征图。
三维聚合网络利用了自注意力机制，将影像检测模型的注意力引导到重要的区域上，而忽略不重要的区域。通过对切片图像组中各切片图像的切片特征图进行特征聚合，从具有上下文关系的切片图像中提取出更加具有鉴别性的信息，将更具有鉴别性的信息融合到一起。经过三维聚合网络后，能够直接输出融合了上下文信息的特征图。
步骤212，对聚合后的特征图进行目标区域检测，得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。
目标检测网络可以采用无锚点检测器。目标检测网络包括多个分支，其中包括，分类分支、回归分支、中心点预测分支。目标检测网络对聚合后的特征图中的每一个像素点识别其是否落入的目标检测框，对于落入目标检测框内的像素点，分类分支识别其对应的类别。回归分支回归出落入目标检测框内的像素点的多个边，如4个边，形成一个包围框。中心点预测分支预测该像素点距离目标检测框中心点的相对距离，距离越远，置信度越低。当相对距离超过预设距离时，过滤样本像素点的包围框。目标检测网络通过对聚合后的特征图中 的每一个像素点进行检测，以此得到切片图像组中目标图像的检测结果。
在完成当前切片图像组的特征提取后，服务器将通过滑动窗口获取到的下一组切片图像组输入至二维骨干网络。滑动窗口每次获取的切片图像的数量相同，下一滑动窗口与上一滑动窗口之间在深度方向上相差一张切片图像。按照上述方式对下一切片图像组的切片图像进行检测，得到下一切片图像组中目标图像的检测结果。将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。
在传统的三维卷积神经网络检测算法中，只能对特定的目标区域进行检测，忽略了其他区域的特征。本实施例中提供的方式可以对除了特定的目标区域，还可以对其他区域进行检测。以肺部CT影像为例，传统的三维卷积神经网络只能检测肺结节，检测结果如图4所示。本实施例中的影像检测模型除了可以检测肺部结节之外，还可以对肺部的索条、动脉硬化、淋巴结钙化等进行精准检测，如图5所示。
本实施例中，通过在待测影像的切片图像序列中确定每个目标图像对应的切片图像组，可以提取到切片图像组中各切片图像的切片特征图。由于切片图像是分别单独进行特征提取，切片图像之间不发生信息交互，使得被拍摄部位的三维结构信息得以保留。通过将切片图像组对应提取的切片特征图进行对齐操作，由此能够将不同切片图像间的信息调整到相同的分布空间，从而能够适用于各方向上具有不同方向间隔的待检测影像，克服不同类型的器械、不同的物理参数以及不同的扫描协议等所带来的影像数据差异，有效抑制待检测影像在各个维度上的信息不对称带来的不利影响，提高待检测影像的检测准确性。由于切片图像组中的目标图像与邻近图像之间具有上下文关系，将对齐操作后的特征图对切片图像组中的各切片图像的上下文信息进行聚合，由此能够提取出更加具有鉴别性的特征。通过对聚合后的特征图进行目标区域检测，可以得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。由此不仅克服了待检测影像信息不对称问题，而且有效提高了影像数据的检测效率。
在一个实施例中，对切片图像组对应提取的各切片图像进行拼接包括：获 取切片图像组对应的切片数量；利用切片图像组对应提取的各切片特征图进行堆叠处理，堆叠后的特征图包括切片数量维度和通道维度；将切片数量维度的特征与通道维度的特征进行交换，生成拼接后的特征图。
切片特征图包括多种维度的特征，如通道维度、切片宽度维度和切片高度维度。维度具有预设的顺序。服务器将切片图像组对应提取的各切片特征图进行堆叠，根据切片特征图的大小以及切片特征图的数量确定堆叠后的特征图的大小。堆叠后的特征图在原有维度的基础上，增加了切片数量维度。在切片特征图堆叠之后，维度之间的顺序相应的发生变更。切片数量维度可以排列在已有维度之前，也可以排列在已有维度之后，还可以穿插在已有维度之中。例如，维度之间的顺序可以变更为切片数量维度、通道维度、切片宽度维度、切片高度维度。为了克服切片图像之间信息不对称的问题，可以通过切片数量维度的特征与通道维度的特征进行交换。
举例，切片特征图的大小为(C,W,H)，其中，C、W、H分别表示通道维度、切片宽度维度和切片高度维度。切片图像组对应的切片数量为T，将T个切片特征图进行堆叠后，增加切片数量维度，堆叠后的特征图的大小可以表示为(T,C,W,H)。通过对切片数量维度与通道维度的维度信息进行交换，得到大小为(C,T,W,H)的拼接后的特征图。
在一个实施例中，将拼接后的特征图进行对齐操作包括：对拼接后的特征图进行三维卷积操作；对卷积操作后的特征图在切片数量维度和切片尺寸维度上进行归一化处理；通过对归一化后的特征图进行非线性激活，输出对齐后的特征图。
对切片图像组对应提取的各切片图像进行拼接后，生成拼接后的特征图。服务器将拼接后的特征图输入三维对齐网络。三维对齐网络包括三维卷积层、组归一化层和非线性激活层。三维对齐网络中的三维卷积层包括至少一个三维卷积，通过三维卷积层对拼接后的特征图进行卷积操作。为了有效减少模型参数以及计算量，三维卷积的卷积核可以采用较小尺寸的卷积核，例如(3,1,1)的卷积核对拼接后的特征图进行卷积操作。通过卷积操作，不仅对拼接后的特征图进行平滑，而且在已有维度(通道维度、切片宽度维度、切片高度维度) 上学习切片图像的内部信息，在切片数量维度上学习切片图像之间的空间信息。其中，三维卷积层可以在切片宽度维度、切片高度维度上学习切片图像的内部信息。在传统方式中，三维卷积层通过卷积操作只是对切片图像内部信息进行学习，欠缺对空间信息的学习，由此欠缺三维结构上的信息交互。本实施例中，通过将不同的切片特征图进行对齐，能够有效缓解在切片内部和切片之间各方向上特征差异较大所带来的信息不对称的问题。
在传统的方式中，组归一化层只是在切片宽度维度、切片高度维度上进行归一化处理。本实施例中，组归一化层不只在切片宽度维度、切片高度维度上进行归一化处理，而且在切片数量维度上进行归一化处理。由此消除切片特征在水平方向和深度方向的不利影响。
将归一化后的特征图经过非线性激活层进行处理，非线性激活层可以采用激活函数，例如ReLU函数，输出对齐后的特征图。对齐后的特征图的大小可以与拼接后的特征图的大小相同。例如，拼接后的特征图的大小为(C,T,W,H)，齐后的特征图的大小也可以为(C,T,W,H)。
本实施例中，通过对切片图像组对应提取的各切片图像进行拼接，利用拼接后的特征图进行对齐操作，由此能够适用于平面方向和深度方向上具有不同方向间隔的待检测影像，克服不同类型的器械、不同的物理参数以及不同的扫描协议等所带来的影像数据差异，有效抑制待检测影像在各个维度上的信息不对称带来的不利影响，有效提高待检测影像的检测准确性。
在一个实施例中，利用对齐后的特征图对切片图像组中的各切片图像的上下文信息进行聚合包括：根据切片数量维度将对齐后的特征图进行重塑，生成重塑后的特征图；利用重塑后的特征图对对齐后的特征图进行加权，对加权后的特征图进行降维处理，生成与切片图像组对应的聚合后的特征图。
切片图像组中的切片图像包括目标图像和与目标图像具有上下文关系的邻近图像。例如，预设数量为T，则T＝2M+1，其中，中间切片图像的前M张切片图像与后M张切片图像组合成切片图像组。前M张切片图像与后M张切片图像构成中间切片图像的上下文。
三维聚合网络根据切片数量维度与已有维度(通道维度、切片宽度维度和 切片高度维度)将对齐后的特征图进行重塑，生成至少两个重塑后的特征图。其中，将已有维度的维度信息组合，再与切片数量维度信息重新排序，从而进行重塑。例如，齐后的特征图的大小也可以为(C,T,W,H)，重塑成(T,C*W*H)和(C*W*H,T)。
在其中一个实施例中，三维聚合网络将重塑后的特征图进行转换，利用转换后的特征图对对齐后的特征图的切片数量维度进行加权；获取降维卷积，利用降维卷积对加权后的特征图进行降维处理。
将重塑后的特征图进行点乘，得到与切片数量维度对应的二行二列的矩阵。以此将重塑后的特征图进行转换。例如，将(T,C*W*H)和(C*W*H,T)点乘，得到一个(T,T)的矩阵。经过激活函数Sigmoid之后，与对齐后的特征图中的切片数量维度进行相乘，通过对新增维进行加权，使得对齐后的特征图加权，得到加权后的特征图。加权后的特征图的大小与对齐后的特征图的大小相同。例如，齐后的特征图的大小为(C,T,W,H)，加权后的特征图的大小也为(C,T,W,H)。
利用降维卷积对加权后的特征图进行卷积操作，对加权后的特征图进行降维处理。降维卷积可以是三维卷积，其卷积核可以根据切片图像组对应的切片数量生成。例如，降维卷积的卷积核为(T,1,1)。通过降维处理，将大小为(C,T,W,H)的加权后的特征图，变为大小为(C,W,H)的特征图，该特征图可以称为聚合后的特征图。相当于将上下文信息聚合到目标图像的特征图中。
在相关技术的加权处理方式中，是对待检测图像中的所有像素点进行加权，对加权后的特征图并不涉及降维处理。本实施例中，是对切片图像组中各切片图像的对齐后的特征图进行整体加权。并且利用三维的降维卷积对加权后的特征图进行了降维处理，使得三维特征图降至为二维特征图，有效减少了运算量，从而能够有效提高检测效率。
本实施例中，通过对切片图像组中的各切片图像的上下文信息进行聚合，从上下文切片图像中提取出更加具有鉴别性的信息，将更具有鉴别性的信息融合到一起。经过三维聚合网络后，能够直接输出融合了上下文信息的特征图，从而能够得到待检测影像更精准的检测结果。
在一个具体的实施例中，提供一种影像检测方法，具体包括：
获取待检测影像，待检测影像包括切片图像序列。对于切片图像序列中的每个目标图像，确定对应的切片图像组，切片图像组包括目标图像、及在切片图像序列中与目标图像具有上下文关系的邻近图像。对切片图像组中的各切片图像分别提取对应的切片特征图。获取切片图像组对应的切片数量，利用切片图像组对应提取的各切片特征图进行堆叠处理，堆叠后的特征图包括切片数量维度和通道维度，将切片数量维度的特征与通道维度的特征进行交换，生成拼接后的特征图。对拼接后的特征图进行三维卷积操作，对卷积操作后的特征图在切片数量维度和切片尺寸维度上进行归一化处理，通过对归一化后的特征图进行非线性激活，输出对齐后的特征图；根据切片数量维度将对齐后的特征图进行重塑，生成重塑后的特征图；将重塑后的特征图进行转换，利用转换后的特征图对对齐后的特征图的切片数量维度进行加权。获取降维卷积，利用降维卷积对加权后的特征图进行降维处理，生成与切片图像组对应的聚合后的特征图。识别聚合后的特征图中落入目标检测框内的像素点对应的类别。回归得到像素点的包围框，预测像素点距离目标检测框中心点的相对距离。当相对距离超过预设距离时，过滤像素点的包围框，得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。
在一个实施例中，如图6所示，提供了一种影像检测模型训练方法，影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，该训练方法包括如下步骤：
步骤602，对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；切片样本图像组包括目标样本图像、及在切片样本图像序列中与目标样本图像具有上下文关系的邻近样本图像。
步骤604，通过骨干网络对切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图。
步骤606，通过三维对齐网络将切片样本图像组对应提取的切片样本特征图进行对齐操作。
步骤608，通过三维聚合网络利用对齐后的样本特征图对切片样本图像组中的各切片样本图像的上下文信息进行聚合。
步骤610，通过目标检测网络对聚合后的样本特征图进行目标区域检测，得到与目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与影像样本对应的检测结果。
训练数据集中包括多种影像样本。影像样本中包括多个切片样本。切片样本中对多种检测目标进行了标注。由于影像值的大小具有物理意义，不同大小的影像值对应到不同的检测部位。可以对每种检测部位设置固定尺寸，将相应的切片样本的大小裁剪为固定尺寸。例如，CT影像对肺部检测的切片样本，裁剪到[-1200,600]。对裁剪后的切片样本进行标准化处理，将标准化后的切片样本作为模型的输入，以适应训练模型输入的均值和方差。计算机设备利用标准化后的切片样本对影像检测模型进行训练。影像检测模型包括二维骨干网络、三维对齐网络、三维聚合网络以及目标检测网络。影像检测模型的网络结构如图7所示。
影像样本对应的标准化后的切片样本按照深度方向排列，形成影像样本的切片样本图像序列。计算机设备利用滑动窗口沿深度方向获取预设数量的邻近的切片样本作为一组训练样本，该组训练样本也可以称为切片样本图像组。切片样本图像组包括目标样本图像、及在切片样本图像序列中与目标样本图像具有上下文关系的邻近样本图像。例如，切片样本图像组中的切片样本数量为T，T＝2M+1，其中，前M张切片样本图像与后M张切片样本图像构成中间切片样本图像的上下文。中间切片样本图像可以称为目标样本图像。将切片样本图像组中的各切片样本图像输入至二维骨干网络，分别提取每一张切片样本图像对应的切片样本特征图。通过三维对齐网络通过三维对齐网络对切片样本图像组对应提取的各切片样本图像进行拼接，利用拼接后的样本特征图进行对齐操作，生成对齐后的样本特征图。通过三维聚合网络利用对齐后的样本特征图对切片样本图像组中的各切片样本图像的上下文信息进行聚合，得到聚合后的样本特征图。
将聚合后的训练特征图输入目标检测网络。目标检测网络包括多个分支，其中包括分类分支、回归分支和中心点预测分支，每一个分支都由若干个卷积层，Batch Norm层和ReLU层组成。目标检测网络将聚合后的训练特征图中的 每一个像素点单独处理。对于聚合后的训练特征图中的每一个像素点，若该像素点落在某一个目标检测框里，则认为是一个正样本，否则认为是负样本。对每一个正样本，分类分支对像素代表的区域进行分类。回归分支则回归出落入目标检测框内的像素点的多条边，如4条边，形成一个完整的包围框。对于落入多个目标检测框的像素点，选择面积最小的检测框作为回归目标。中心点预测分支则预测出该像素点距离目标检测框中心点的相对距离，相对距离越远则置信度越低。当相对距离超过预设距离时，将像素点的包围框进行过滤，由此能够过滤掉远离目标中心区域的错误包围框。例如，可以过滤掉远离疾病中心区域的错误包围框。
本实施例中，通过在影像样本的切片样本图像序列中确定每个目标样本图像对应的切片样本图像组，可以提取到切片样本图像组中各切片样本图像的切片样本特征图。由于切片样本图像是分别单独进行特征提取，切片样本图像之间不发生信息交互，使得被拍摄部位的三维结构信息得以保留。通过将切片样本图像组对应提取的切片样本特征图进行对齐操作，由此能够将不同切片样本图像间的信息调整到相同的分布空间，从而能够适用于各方向上具有不同方向间隔的影像样本，克服不同类型的器械、不同的物理参数以及不同的扫描协议等所带来的影像数据差异，有效抑制影像样本在各个维度上的信息不对称带来的不利影响，提高影像样本的检测准确性。由于切片样本图像组中的目标样本图像与邻近图像之间具有上下文关系，将对齐操作后的样本特征图对切片样本图像组中的各切片样本图像的上下文信息进行聚合，由此能够提取出更加具有鉴别性的特征。通过对聚合后的样本特征图进行目标区域检测，可以得到与目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与影像样本对应的检测结果。由此不仅克服了影像样本信息不对称问题，而且有效提高了影像样本的检测效率。
在一个实施例中，通过三维对齐网络对切片样本图像组对应提取的切片样本特征图进行对齐操作包括：通过三维对齐网络对切片样本图像组对应提取的各切片样本图像进行拼接，利用拼接后的样本特征图进行对齐操作，生成对齐后的样本特征图。
计算机设备获取切片样本图像组对应的切片样本数量，切片样本数量即为切片样本特征图的数量。计算机设备将将切片样本图像组对应提取的各切片样本特征图进行堆叠，根据切片样本特征图的大小以及切片样本特征图的数量确定堆叠后的样本特征图的大小。堆叠后的样本特征图在原有维度的基础上，增加了切片数量维度。为了克服切片图像之间信息不对称的问题，可以通过切片数量维度的特征与通道维度的特征进行交换，生成拼接后的样本特征图。三维对齐网络包括三维卷积层、组归一化层和非线性激活层。通过三维卷积层对拼接后的样本特征图进行三维卷积操作。通过组归一化层对卷积操作后的样本特征图在切片数量维度和切片尺寸维度上进行归一化处理；通过非线性激活层对归一化后的样本特征图进行非线性激活，输出对齐后的样本特征图。
在传统方式中，三维卷积层通过卷积操作只是对切片图像内部信息进行学习，欠缺对空间信息的学习，由此欠缺三维结构上的信息交互。本实施例中，通过将不同的切片样本特征图进行对齐，能够有效缓解在切片样本内和切片样本之间各方向上特征差异较大所带来的信息不对称的问题。在传统的方式中，组归一化层只是在切片宽度维度、切片高度维度上进行归一化处理。本实施例中，组归一化层不只在切片宽度维度、切片高度维度上进行归一化处理，而且在切片数量维度上进行归一化处理。由此消除切片样本特征在水平方向和深度方向的不利影响。
在一个实施例中，通过三维聚合网络利用对齐后的样本特征图对切片样本图像组中的各切片样本图像的上下文信息进行聚合包括：通过三维聚合网络根据切片数量维度将对齐后的样本特征图进行重塑，生成重塑后的样本特征图；利用重塑后的样本特征图对对齐后的样本特征图进行加权，对加权后的样本特征图进行降维处理，生成与切片样本图像组对应的聚合后的样本特征图。
三维聚合网络根据切片数量维度与已有维度(通道维度、切片宽度维度和切片高度维度)将对齐后的样本特征图进行重塑，生成至少两个重塑后的样本特征图。三维聚合网络将重塑后的样本特征图进行点乘，得到与切片数量维度对应的二行二列的矩阵。以此将重塑后的样本特征图进行转换。经过激活函数Sigmoid之后，与对齐后的样本特征图中的切片数量维度进行相乘，通过对切片 数量维度进行加权，使得对齐后的样本特征图加权，得到加权后的样本特征图。利用降维卷积对加权后的样本特征图进行降维处理，生成聚合后的样本特征图。例如，对齐后的样本特征图的大小可以为(C,T,W,H)，重塑成(T,C*W*H)和(C*W*H,T)。将(T,C*W*H)和(C*W*H,T)点乘，得到一个(T,T)的矩阵。经过激活函数Sigmoid之后，以及加权后，得到大小为(C,T,W,H)的加权后的样本特征图。降维卷积的卷积核为(T,1,1)。通过降维处理，将大小为(C,T,W,H)的加权后的样本特征图，变为大小为(C,W,H)的聚合后的样本特征图。
本实施例中，三维聚合网络利用了自注意力机制，将模型的注意力引导到重要的区域上，而忽略不重要的区域。通过对切片样本图像组中的各切片样本图像的上下文信息进行聚合，从上下文切片样本图像中提取出更加具有鉴别性的信息，将更具有鉴别性的信息融合到一起。经过三维聚合网络后，能够直接输出融合了上下文信息的样本特征图，从而能够得到更精准的检测结果。
在一个实施例中，目标检测网络包括分类分支、回归分支、中心点预测分支；通过目标检测网络对聚合后的样本特征图进行目标区域检测包括：通过分类分支识别聚合后的样本特征图中落入目标检测框内的样本像素点对应的类别；通过回归分支回归得到样本像素点的包围框；通过中心点预测分支预测样本像素点距离目标检测框中心点的相对距离，当相对距离超过预设距离时，过滤样本像素点的包围框。
本实施例中，目标检测网络采用无锚点检测器。目标检测网络包括分类分支、回归分支、中心点预测分支，目标检测网络具有对应的损失函数，该损失函数由多个子损失函数组成，包括损失函数由分类分支对应的分类损失函数、回归分支对应的回归损失函数以及中心点预测分支对应的中心点预测损失函数组成。最终的损失函数Loss定义如下：
Loss＝Classification Loss+Offset Loss+Center-ness Loss
其中，Classification Loss为分类损失函数、Offset Loss为回归损失函数、Center-ness Loss为中心点预测损失函数。
目标检测网络对于融合了上下文信息的样本特征图中每个像素点映射到原 始的输入切片样本图像(简称为输入图像)中。每个像素点的位置可以采用(x,y)表示。映射到输入图像中的坐标可以采用(xs+s/2,ys+s/2)，其中，s为当前级别到输入图像的缩放系数。如果映射回输入图像的像素点落入到目标检测框则认为是一个正样本，否则认为是负样本。对每一个正样本，分类分支对像素代表的类别进行分类。例如，类别可以是疾病类别。回归分支则回归出落入目标检测框内的像素点的多条边，如4条边，形成一个完整的包围框，即目标位置，例如，目标位置为疾病位置。对于落入多个目标检测框的像素点，选择面积最小的检测框作为回归目标。对于每个正样本，可以回归得到其对应的目标为(l,t,r,b)，即包围框中心点到上下左右各个边的距离。(x 0,y 0)和(x 1,y 1)分别表示包围框左上角和右下角的坐标值。回归训练的公式如下公式(1)所示。
l＝x-x 0 (i),t＝y-y 0 (i)
r＝x 1 (i)-x,b＝y 1 (i)–y         (1)
中心点预测分支与分类分支并行，相当于给网络添加了一个损失，而该损失保证了预测的包围框尽可能的靠近目标检测框中心点。中心点预测损失函数的公式如公式(2)所示。
Figure PCTCN2021081206-appb-000001
中心点预测损失函数可以预测出和目标检测框中心点相关的多个距离，例如，目标检测框中心点距离目标区域的左上右下4个边的距离。因此目标检测框中心点和4个距离可以直接确定一个矩形框。中心点预测分支则预测出该像素点距离目标检测框中心点的相对距离，相对距离越远则置信度越低。当相对距离超过预设距离时，将像素点的包围框进行过滤，由此能够过滤掉远离目标中心区域的错误包围框。例如，可以过滤掉远离疾病中心区域的错误包围框。
例如，目标检测框可以是病变区域，目标检测框中心点可以是病变中心， 当某个像素点落入在一个目标检测框内，则属于一个正样本，分类分支对其疾病类别进行分类。回归分支回归出该像素点的包围框。若该像素点与病变中心的距离在预设距离时，结合其对应的分类预测为某一类疾病阳性。如果与病变中心点的距离超过了预设距离，结合其对应的分类预测为某一类疾病假阳性。由此可以过滤掉远离疾病中心区域的错误包围框，有效提高检测准确性。
通过对影像检测模型进行训练，可以使得影像检测模型学习到通用的特征，对训练集进行微调后，进一步对影像检测模型进行训练，能够有效减少模型过拟合，加快模型收敛效果，提高影像检测的准确性和效率。
在一个实施例中，在训练过程中，计算机设备获取切片厚度，根据切片厚度确定调整数量；利用调整数量的切片样本图像进行非极大值抑制操作，去除冗余检测框。
由于每张切片样本图像的检测结果是通过滑动窗口获取多张邻近的切片图像后检测得到的。多个滑动窗口之间包含切片样本图像交叉的情况，需要通过NMS(Non-Maximum Suppression，非极大值抑制)来选取那些邻域里分数最高(目标概率最大)，并且抑制那些分数低的窗口。为了有效提高检测结果的准确性，可以根据切片的厚度来适应性的调整NMS。具体的，可以根据切片厚度确定用于调整NMS的切片数量，该数量又可以称为切片调整数量。该切片数量可以用N来表示，N＝C/S，其中C为常数，S为切片厚度。常数可以是根据训练过程中的经验值来确定，如30。利用N张切片图像进行跨切片的NMS操作，抑制冗余的检测框。从而有效提高目标检测效率。
以影像样本为肺部CT影像为例，对本申请影像检测模型的训练结果其他检测方式进行比对说明。
训练集中包括1470张肺部的CT影像，共12,218个标注，包括四种胸科疾病：肺结节(PN，3,264例)、肺部索条(FS，3,613例)、动脉硬化(TAA，4,201例)和淋巴结钙化(LNC，1,140例)。训练集中的肺部CT影像，切片样本内像素间的差异和切片样本厚度的差异较大(这种差异被称为信息不对称)，其中，切片样本内像素间距从0.46mm到0.98mm，而切片样本厚度从1.0mm到14.8mm。在训练集中随机选取1176张CT影像进行训练，其余294张CT影 像进行测试。CT影像的切片样本的像素是512×512，可以随机水平翻转切片样本进行数据扩增。
通过传统的重采样操作，并不能很好的克服信息不对称问题。利用当前流行的二维一阶检测器RetinaNe和三维检测器3D RPN进行实验，四种实验的分辨率分别为：原始分辨率、重采样分辨率为0.7mm×0.7mm×0.7mm、1mm×1mm×1mm、0.7mm×0.7mm×5mm。四种实验设置的结果如表1所示。FROC平均分数可以反映模型检测的误报率，FROC越高，检测准确性越高，误报率越低。通过表1可以看到，重采样并没有给二维RetinaNet带来性能上的提升，而且不同分辨率的重采样会导致二维RetinaNet的结果有本质上的差异，不同分辨率的重采样对三维RPN的结果没有什么影响。由此可见，重采样操作并不能有效克服信息不对称问题。
Figure PCTCN2021081206-appb-000002
表1
通过表1中的FROC平均分数可以看出，2D RetinaNet的最佳结果优于3D RPN，由此说明二维网络比三维网络更适合处理信息不对称问题。
本申请中的影像检测模型为二维网络与三维网络结合的混合网络。其中，骨干网络为二维网络，三维对齐网络、三维聚合网络和目标检测网络为三维网络。骨干网络包括Resnet与FPN。切片图像内部信息与切片图像间信息对影像检测而言都是至关重要的。由于切片图像内部信息容易被二维神经网络处理，一个自然的想法是模拟三通道图像，在网络的第一卷积层融合切片图像间信息。与此想法相反，本申请提出的影像检测模型是在通过骨干网络提取特征之后融合切片图像间信息。可以通过实验对这两种融合方式进行比较。
通过在第一卷积层中融合不同数量的相邻切片，以检验经典RetinaNet在利用上下文信息方面的有效性。表2中(a)、(b)和(c)行的结果并没有显示出随着上下文切片图像数量的增加而有相应改善。这表明RetinaNet不能直接通过上下文 信息与单一的卷积层来利用上下文信息。采用本申请中的融合方式，结果如表2中的(d)和(e)行所示。输入相同数量的切片图像，(d)行FROC平均分方面带来了0.023的改进。根据表2中(e)和(f)行的对比结果，三维对齐网络在FROC平均分方面取得了0.007的提升。对比行(f)和(g)，三维聚合网络为ROC平均分带来了0.008的的改进。对于切片厚度的差异，通过额外的交叉切片NMS来抑制附近切片的非最大预测。在(g)和(h)行中显示FROC平均分提高了0.012。与RetinaNet的基于锚点的检测方式相比，本申请的目标检测网络为无锚点检测器。如表2的行(d)所示。与表2的(c)行相比，有0.015的提升。在表2中，其中，2M+1为切片样本图像组中切片样本图像的数量。AFH、SAI、3DRAM、3DFM、CS-NMS分别为锚点检测头、无锚点检测头、二维骨干网络,三维对齐网络、三维聚合网络和交叉NMS。PN,FS,TAA,and LNC分别表示肺结节、肺部索条、动脉硬化、淋巴结钙化。
Figure PCTCN2021081206-appb-000003
表2
为了进一步考察无锚点检测器在速度和精度上的优势，将本申请的整个模型框架与无锚点检测器和基于锚点的检测器进行效果比较。结果如表4所示。无锚点检测器不仅在FROC平均分上带来了0.02的提升，而且在每次推理前行的速度上也比基于锚点的检测器跑得更快。
FROC得分 PN FS TAA LNC 平均分 运行时间
基于锚点的检测器 0.403 0.223 0.497 0.571 0.423 195ms
无锚点检测器 0.395 0.262 0.530 0.584 0.443 158ms
表3
在现有技术中，最先进的基于锚点的检测器包括Faster R-CNN、Cascade R-CNN、RetinaNet、SSD和YOLOv3等，都依赖于预先定义的锚点框。相比之下，本申请采用的是无锚点的检测去，这完全避免了与锚点框相关的复杂计算。将本申请提供的无锚点检测器与上述几种基于锚点的检测器进行比较，检测结果如图8所示，具体的数据比较结果如表4所示。从表4中可以看出，本申请提供的无锚点检测器以显著的幅度优于其他基于锚点的检测器。基于锚点的检测器随着阶段的增加，网络会产生更多的参数，使模型容易陷入超拟合状态。而本申请提供的影像检测模型忽略了数据的大变化对性能的影响。在分辨率设置范围较宽的数据集中检测胸腔疾病的能力很强。实现了低的假阳性率和假阴性率。
FROC得分 PN FS TAA LNC 平均分
Faster R-CNN 0.221 0.190 0.381 0.449 0.310
Cascade R-CNN 0.254 0.210 0.395 0.476 0.334
RetinaNet 0.354 0.210 0.385 0.471 0.355
SSD 0.296 0.199 0.396 0.470 0.340
YOLOv3 0.240 0.139 0.375 0.472 0.306
本申请 0.397 0.260 0.528 0.591 0.444
表4
应该理解的是，虽然图2和图6的流程图中的各个步骤按照箭头的指示依 次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种影像数据检测装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一获取模块902、特征提取模块904、对齐模块906、聚合模块908、目标检测模块910，其中：
第一获取模块902，用于获取待检测影像，待检测影像包括切片图像序列；对于切片图像序列中的每个目标图像，确定对应的切片图像组，切片图像组包括目标图像、及在切片图像序列中与目标图像具有上下文关系的邻近图像。
特征提取模块904，用于对切片图像组中的各切片图像分别提取对应的切片特征图。
对齐模块906，用于将切片图像组对应提取的切片特征图进行对齐操作。
聚合模块908，用于利用对齐后的特征图对切片图像组中的各切片图像的上下文信息进行聚合。
目标检测模块910，用于对聚合后的特征图进行目标区域检测，得到与目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与待检测影像对应的检测结果。
在一个实施例中，对齐模块906还用于对切片图像组对应提取的各切片特征图进行拼接，利用拼接后的特征图进行对齐操作，生成对齐后的特征图。
在一个实施例中，对齐模块906还用于获取切片图像组对应的切片数量；利用所述切片图像组对应提取的各切片特征图进行堆叠处理，堆叠后的特征图包括切片数量维度和通道维度；将切片数量维度的特征与通道维度的特征进行交换，生成拼接后的特征图。
在一个实施例中，对齐模块906还用于对拼接后的特征图进行三维卷积操 作；对卷积操作后的特征图在切片数量维度和切片尺寸维度上进行归一化处理；通过对归一化后的特征图进行非线性激活，输出对齐后的特征图。
在一个实施例中，聚合模块908还用于根据切片数量维度将对齐后的特征图进行重塑，生成重塑后的特征图；利用重塑后的特征图对对齐后的特征图进行加权，对加权后的特征图进行降维处理，生成与切片图像组对应的聚合后的特征图。
在一个实施例中，聚合模块908还用于将重塑后的特征图进行转换，利用转换后的特征图对对齐后的特征图的切片数量维度进行加权；获取降维卷积，利用降维卷积对加权后的特征图进行降维处理。
在一个实施例中，降维卷积的卷积核根据切片图像组对应的切片数量生成。
在一个实施例中，目标检测模块910还用于识别聚合后的特征图中落入目标检测框内的像素点对应的类别；回归得到像素点的包围框；预测像素点距离目标检测框中心点的相对距离，当相对距离超过预设距离时，过滤像素点的包围框。
在一个实施例中，提供了一种影像检测模型训练装置，影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，如图10所示，该装置包括：第二获取模块1002、样本特征提取模块1004、样本对齐模块1006、样本聚合模块1008、样本目标检测模块1010，其中：
第二获取模块1002，用于对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；切片样本图像组包括目标样本图像、及在切片样本图像序列中与目标样本图像具有上下文关系的邻近样本图像。
样本特征提取模块1004，用于通过骨干网络对切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图。
样本对齐模块1006，用于通过三维对齐网络将切片样本图像组对应提取的切片样本特征图进行对齐操作。
样本聚合模块1008，用于通过三维聚合网络利用对齐后的样本特征图对切片样本图像组中的各切片样本图像的上下文信息进行聚合。
样本目标检测模块1010，用于通过目标检测网络对聚合后的样本特征图进行目标区域检测，得到与目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与影像样本对应的检测结果。
在一个实施例中，样本对齐模块1006还用于通过三维对齐网络对切片样本图像组对应提取的各切片样本图像进行拼接，利用拼接后的样本特征图进行对齐操作，生成对齐后的样本特征图。
在一个实施例中，样本聚合模块1008还用于通过三维聚合网络根据切片数量维度将对齐后的样本特征图进行重塑，生成重塑后的样本特征图；利用重塑后的样本特征图对对齐后的样本特征图进行加权，对加权后的样本特征图进行降维处理，生成与切片样本图像组对应的聚合后的样本特征图。
在一个实施例中，目标检测网络包括分类分支、回归分支、中心点预测分支；样本目标检测模块1010还用于通过分类分支识别聚合后的样本特征图中落入目标检测框内的样本像素点对应的类别；通过回归分支回归得到样本像素点的包围框；通过中心点预测分支预测样本像素点距离目标检测框中心点的相对距离，当相对距离超过预设距离时，过滤样本像素点的包围框。
在一个实施例中，样本目标检测模块1010还用于获取切片厚度，根据切片厚度确定样本调整数量；利用样本调整数量的切片图像进行非极大值抑制操作，去除冗余检测框。
关于影像数据检测装置的具体限定可以参见上文中对于影像数据检测方法的限定，影像检测模型训练装置的具体限定可以参见上文中对影像检测模型训练方法的限定，在此不再赘述。上述影像数据检测装置以及影像检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。 该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储影像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种影像数据检测方法，或者影像检测模型训练方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，该处理器执行计算机可读指令时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可 以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

  1. 一种影像数据检测方法，由计算机设备执行，所述方法包括：
    获取待检测影像，所述待检测影像包括切片图像序列；
    对于切片图像序列中的每个目标图像，确定对应的切片图像组，所述切片图像组包括所述目标图像、及在所述切片图像序列中与所述目标图像具有上下文关系的邻近图像；
    对所述切片图像组中的各切片图像分别提取对应的切片特征图；
    将所述切片图像组对应提取的切片特征图进行对齐操作；
    利用对齐后的特征图对所述切片图像组中的各切片图像的上下文信息进行聚合；及
    对聚合后的特征图进行目标区域检测，得到与所述目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与所述待检测影像对应的检测结果。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述切片图像组对应提取的切片特征图进行对齐操作包括：
    对所述切片图像组对应提取的各切片特征图进行拼接，利用拼接后的特征图进行对齐操作，生成对齐后的特征图。
  3. 根据权利要求2所述的方法，其特征在于，所述对所述切片图像组对应提取的各切片图像进行拼接包括：
    获取所述切片图像组对应的切片数量；
    利用所述切片图像组对应提取的各切片特征图进行堆叠处理，堆叠后的特征图包括切片数量维度和通道维度；及
    将所述切片数量维度的特征与所述通道维度的特征进行交换，生成拼接后的特征图。
  4. 根据权利要求3所述的方法，其特征在于，所述拼接后的特征图还包括切片尺寸维度；所述利用拼接后的特征图进行对齐操作包括：
    对所述拼接后的特征图进行三维卷积操作；
    对卷积操作后的特征图在所述切片数量维度和所述切片尺寸维度上进行归 一化处理；及
    通过对归一化后的特征图进行非线性激活，输出对齐后的特征图。
  5. 根据权利要求1所述的方法，其特征在于，所述利用对齐后的特征图对所述切片图像组中的各切片图像的上下文信息进行聚合包括：
    根据切片数量维度将所述对齐后的特征图进行重塑，生成重塑后的特征图；
    利用所述重塑后的特征图对所述对齐后的特征图进行加权；及
    对加权后的特征图进行降维处理，生成与所述切片图像组对应的聚合后的特征图。
  6. 根据权利要求5所述的方法，其特征在于，所述利用所述重塑后的特征图对所述对齐后的特征图进行加权，对加权后的特征图进行降维处理包括：
    将所述重塑后的特征图进行转换，利用转换后的特征图对所述对齐后的特征图的切片数量维度进行加权；及
    获取降维卷积，利用所述降维卷积对所述加权后的特征图进行降维处理。
  7. 根据权利要求6所述的方法，其特征在于，所述降维卷积的卷积核根据所述切片图像组对应的切片数量生成。
  8. 根据权利要求1所述的方法，其特征在于，所述对聚合后的特征图进行目标区域检测包括：
    识别所述聚合后的特征图中落入目标检测框内的像素点对应的类别；
    回归得到所述像素点的包围框；及
    预测所述像素点距离目标检测框中心点的相对距离，当所述相对距离超过预设距离时，过滤所述像素点的包围框。
  9. 一种影像检测模型训练方法，由计算机设备执行，所述影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，所述方法包括：
    对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；所述切片样本图像组包括所述目标样本图像、及在所述切片样本图像序列中与所述目标样本图像具有上下文关系的邻近样本图像；
    通过所述骨干网络对所述切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图；
    通过所述三维对齐网络将所述切片样本图像组对应提取的切片样本特征图进行对齐操作；
    通过所述三维聚合网络利用对齐后的样本特征图对所述切片样本图像组中的各切片样本图像的上下文信息进行聚合；及
    通过所述目标检测网络对聚合后的样本特征图进行目标区域检测，得到与所述目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与所述影像样本对应的检测结果。
  10. 根据权利要求9所述的方法，其特征在于，所述通过所述三维对齐网络对所述切片样本图像组对应提取的切片样本特征图进行对齐操作包括：
    通过所述三维对齐网络对所述切片样本图像组对应提取的各切片样本图像进行拼接，利用拼接后的样本特征图进行对齐操作，生成对齐后的样本特征图。
  11. 根据权利要求9所述的方法，其特征在于，所述通过所述三维聚合网络利用对齐后的样本特征图对所述切片样本图像组中的各切片样本图像的上下文信息进行聚合包括：
    通过所述三维聚合网络根据切片数量维度将所述对齐后的样本特征图进行重塑，生成重塑后的样本特征图；
    利用所述重塑后的样本特征图对所述对齐后的样本特征图进行加权；及
    对加权后的样本特征图进行降维处理，生成与所述切片样本图像组对应的聚合后的样本特征图。
  12. 根据权利要求9所述的方法，其特征在于，所述目标检测网络包括分类分支、回归分支、中心点预测分支；所述通过所述目标检测网络对聚合后的样本特征图进行目标区域检测包括：
    通过所述分类分支识别所述聚合后的样本特征图中落入目标检测框内的样本像素点对应的类别；
    通过所述回归分支回归得到所述样本像素点的包围框；及
    通过所述中心点预测分支预测所述样本像素点距离目标检测框中心点的相对距离，当所述相对距离超过预设距离时，过滤所述样本像素点的包围框。
  13. 根据权利要求12所述的方法，其特征在于，所述方法还包括：
    获取所述切片样本图像对应的切片厚度，根据所述切片厚度确定切片调整数量；及
    利用所述切片调整数量的切片样本图像进行非极大值抑制操作，去除冗余检测框。
  14. 一种影像数据检测装置，所述装置包括：
    第一获取模块，用于获取待检测影像，所述待检测影像包括切片图像序列；对于切片图像序列中的每个目标图像，确定对应的切片图像组，所述切片图像组包括所述目标图像、及在所述切片图像序列中与所述目标图像具有上下文关系的邻近图像；
    特征提取模块，用于对所述切片图像组中的各切片图像分别提取对应的切片特征图；
    对齐模块，用于将所述切片图像组对应提取的切片特征图进行对齐操作；
    聚合模块，用于利用对齐后的特征图对所述切片图像组中的各切片图像的上下文信息进行聚合；及
    目标检测模块，用于对聚合后的特征图进行目标区域检测，得到与所述目标图像对应的检测结果，将每个目标图像对应的检测结果进行合并，生成与所述待检测影像对应的检测结果。
  15. 一种影像检测模型训练装置，所述影像检测模型包括骨干网络、三维对齐网络、三维聚合网络和目标检测网络，所述装置包括：
    第二获取模块，用于对于影像样本的切片样本图像序列中的每个目标样本图像，确定对应的切片样本图像组；所述切片样本图像组包括所述目标样本图像、及在所述切片样本图像序列中与所述目标样本图像具有上下文关系的邻近样本图像；
    样本特征提取模块，用于通过所述骨干网络对所述切片样本图像组中的各切片样本图像分别提取对应的切片样本特征图；
    样本对齐模块，用于通过所述三维对齐网络将所述切片样本图像组对应提取的切片样本特征图进行对齐操作；
    样本聚合模块，用于通过所述三维聚合网络利用对齐后的样本特征图对所 述切片样本图像组中的各切片样本图像的上下文信息进行聚合；及
    样本目标检测模块，用于通过所述目标检测网络对聚合后的样本特征图进行目标区域检测，得到与所述目标样本图像对应的检测结果，将每个目标样本图像对应的检测结果进行合并，生成与所述影像样本对应的检测结果。
  16. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行权利要求1至13中任一项权利要求所述影像数据检测方法和所述影像检测模型训练方法的步骤。
  17. 一个或多个存储有计算机可读指令的非易失性存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至13中任一项权利要求所述影像数据检测方法和所述影像检测模型训练方法的步骤。
PCT/CN2021/081206 2020-04-30 2021-03-17 影像数据检测方法、装置、计算机设备和存储介质 WO2021218469A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21797835.2A EP4030382A4 (en) 2020-04-30 2021-03-17 IMAGE PROCESSING TEST METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA
JP2022535820A JP7376720B2 (ja) 2020-04-30 2021-03-17 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム
US17/721,806 US20220233160A1 (en) 2020-04-30 2022-04-15 Image data inspection method and apparatus, computer device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010367441.0 2020-04-30
CN202010367441.0A CN111583220B (zh) 2020-04-30 2020-04-30 影像数据检测方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/721,806 Continuation US20220233160A1 (en) 2020-04-30 2022-04-15 Image data inspection method and apparatus, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2021218469A1 true WO2021218469A1 (zh) 2021-11-04

Family

ID=72127681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/081206 WO2021218469A1 (zh) 2020-04-30 2021-03-17 影像数据检测方法、装置、计算机设备和存储介质

Country Status (5)

Country Link
US (1) US20220233160A1 (zh)
EP (1) EP4030382A4 (zh)
JP (1) JP7376720B2 (zh)
CN (1) CN111583220B (zh)
WO (1) WO2021218469A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116231A1 (zh) * 2021-12-22 2023-06-29 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583220B (zh) * 2020-04-30 2023-04-18 腾讯科技（深圳）有限公司 影像数据检测方法和装置
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112465819A (zh) * 2020-12-18 2021-03-09 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质
CN112668672A (zh) * 2021-03-16 2021-04-16 深圳市安软科技股份有限公司 基于TensorRT的目标检测模型加速方法及装置
CN114792414A (zh) * 2022-03-31 2022-07-26 北京鉴智科技有限公司 一种用于载体的目标变量检测方法及其系统
CN115439511B (zh) * 2022-11-09 2023-03-10 广东电网有限责任公司珠海供电局 一种挖掘机运动监测方法、系统和设备
CN116152656B (zh) * 2022-12-28 2023-09-19 生态环境部卫星环境应用中心 基于蒸馏学习的sar影像城市固废自动识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110309842A (zh) * 2018-12-28 2019-10-08 中国科学院微电子研究所 基于卷积神经网络的物体检测方法及装置
CN110633640A (zh) * 2019-08-13 2019-12-31 杭州电子科技大学 优化PointNet对于复杂场景的识别方法
CN110852242A (zh) * 2019-11-06 2020-02-28 北京字节跳动网络技术有限公司 基于多尺度网络的水印识别方法、装置、设备及存储介质
CN111583220A (zh) * 2020-04-30 2020-08-25 腾讯科技（深圳）有限公司 影像数据检测方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303090B2 (ja) 2014-03-24 2018-04-04 アルパイン株式会社 画像処理装置および画像処理プログラム
US9830709B2 (en) * 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
CN106919919B (zh) * 2017-02-28 2019-08-06 西安电子科技大学 一种基于多特征融合词包模型的sar目标鉴别方法
CA3067824A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
BR112019028132A2 (pt) * 2017-06-30 2020-07-28 Promaton Holding B.V sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador
CN108648192B (zh) * 2018-05-17 2021-08-17 杭州依图医疗技术有限公司 一种检测结节的方法及装置
CN109191510B (zh) * 2018-07-09 2020-05-15 研境信息科技(上海)有限公司 一种病理切片的3d重建方法及其装置
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
CN109325947A (zh) * 2018-09-20 2019-02-12 北京航空航天大学 一种基于深度学习的sar图像铁塔目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240235A1 (en) * 2017-02-23 2018-08-23 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN110309842A (zh) * 2018-12-28 2019-10-08 中国科学院微电子研究所 基于卷积神经网络的物体检测方法及装置
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110633640A (zh) * 2019-08-13 2019-12-31 杭州电子科技大学 优化PointNet对于复杂场景的识别方法
CN110852242A (zh) * 2019-11-06 2020-02-28 北京字节跳动网络技术有限公司 基于多尺度网络的水印识别方法、装置、设备及存储介质
CN111583220A (zh) * 2020-04-30 2020-08-25 腾讯科技（深圳）有限公司 影像数据检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116231A1 (zh) * 2021-12-22 2023-06-29 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111583220B (zh) 2023-04-18
EP4030382A4 (en) 2023-06-07
JP2023505899A (ja) 2023-02-13
JP7376720B2 (ja) 2023-11-08
CN111583220A (zh) 2020-08-25
US20220233160A1 (en) 2022-07-28
EP4030382A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
WO2021218469A1 (zh) 影像数据检测方法、装置、计算机设备和存储介质
US20220108546A1 (en) Object detection method and apparatus, and computer storage medium
WO2021017261A1 (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
US20210224995A1 (en) Disease detection algorithms trainable with small number of positive samples
WO2019228317A1 (zh) 人脸识别方法、装置及计算机可读介质
US20220012533A1 (en) Object Recognition Method and Apparatus
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
EP3333768A1 (en) Method and apparatus for detecting target
CN109726658B (zh) 人群计数及定位方法、系统、电子终端及存储介质
US11200665B2 (en) Fundus image processing method, computer apparatus, and storage medium
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
EP4163831A1 (en) Neural network distillation method and device
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
US20220148291A1 (en) Image classification method and apparatus, and image classification model training method and apparatus
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN111612008A (zh) 基于卷积网络的图像分割方法
US20220130142A1 (en) Neural architecture search method and image processing method and apparatus
EP4006777A1 (en) Image classification method and device
WO2022022695A1 (zh) 图像识别方法和装置
US20220157041A1 (en) Image classification method and apparatus
US20220254134A1 (en) Region recognition method, apparatus and device, and readable storage medium
WO2022237153A1 (zh) 目标检测方法及其模型训练方法、相关装置、介质及程序产品
WO2022205502A1 (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
WO2020258498A1 (zh) 基于深度学习的足球比赛行为识别方法、装置及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797835

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021797835

Country of ref document: EP

Effective date: 20220414

ENP Entry into the national phase

Ref document number: 2022535820

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE