WO2020062494A1 - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- WO2020062494A1 WO2020062494A1 PCT/CN2018/115969 CN2018115969W WO2020062494A1 WO 2020062494 A1 WO2020062494 A1 WO 2020062494A1 CN 2018115969 W CN2018115969 W CN 2018115969W WO 2020062494 A1 WO2020062494 A1 WO 2020062494A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- size range
- candidate
- preset threshold
- candidate frame
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括:获取包含目标的图像,对该图像进行尺度变换,得到处理后的至少一种尺度的图像;将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框;在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框;确定在尺寸范围内的候选框中的至少一个候选框在该特征图中所对应的区域,获取该区域所对应的特征,输入该卷积神经网络的全连接层。本申请实施例提供的方法能够通过从不同尺度的图像确定不同尺寸范围的候选框,以对不同大小的目标获取更加丰富的特征。
Description
本专利申请要求于2018年9月26日提交的、申请号为201811124831.4、申请人为北京字节跳动网络技术有限公司、发明名称为“图像处理方法和装置”的中国专利申请的优先权,该申请的全文以引用的方式并入本申请中。
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及图像处理方法和装置。
由于卷积神经网络进行图像处理有快速和准确的特点,因而越来越多的得到应用和普及。有的图像中有非常丰富的目标,不仅数量众多,而且目标的尺寸也可能有很大的差别。
发明内容
本申请实施例提出了图像处理方法和装置。
第一方面,本申请实施例提供了一种图像处理方法,包括:获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像;将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域所对应的特征,输入卷积神经网络的全连接层。
在一些实施例中,在确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域之前,方法还包括:对在预设的尺寸范 围内的候选框进行非极大值抑制,以得到至少一个候选框。
在一些实施例中,对图像进行尺度变换,包括:对图像进行上采样和/或下采样,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,第一预设阈值大于第二预设阈值。
在一些实施例中,所获取的图像所对应的候选框的尺寸范围在第三预设阈值和第四预设阈值之间,其中,第三预设阈值大于第四预设阈值,第三预设阈值大于或等于第一预设阈值,第四预设阈值小于或等于第二预设阈值。
在一些实施例中,响应于处理后的图像中存在至少两个图像尺度大于所获取的图像的尺度,至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,第一指定阈值大于第二指定阈值。
在一些实施例中,响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,第三指定阈值大于第四指定阈值。
第二方面,本申请实施例提供了一种图像处理装置,包括:获取单元,被配置成获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像;输入单元,被配置成将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;确定单元,被配置成在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;区域确定单元,被配置成确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域所对应的特征,输入卷积神经网络的全连接层。
在一些实施例中,该装置还包括:选取单元,被配置成对在预设 的尺寸范围内的候选框进行非极大值抑制,以得到至少一个候选框。
在一些实施例中,该获取单元,进一步被配置成:对图像进行上采样和/或下采样,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,第一预设阈值大于第二预设阈值。
在一些实施例中,所获取的图像所对应的候选框的尺寸范围在第三预设阈值和第四预设阈值之间,其中,第三预设阈值大于第四预设阈值,第三预设阈值大于或等于第一预设阈值,第四预设阈值小于或等于第二预设阈值。
在一些实施例中,响应于处理后的图像中存在至少两个图像尺度大于所获取的图像的尺度,至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,第一指定阈值大于第二指定阈值。
在一些实施例中,响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,第三指定阈值大于第四指定阈值。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如图像处理方法中任一实施例的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如图像处理方法中任一实施例的方法。
本申请实施例提供的图像处理方案,首先,获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像。之后,将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个 指示目标的位置的候选框,其中,每个目标对应至少两个候选框。然后,在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同。最后,确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域所对应的特征,输入卷积神经网络的全连接层。本申请实施例提供的方法能够通过从不同尺度的图像确定不同尺寸范围的候选框,以对不同大小的目标获取更加丰富的特征。
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的图像处理方法的一个实施例的流程图;
图3是根据本申请的图像处理方法的一个应用场景的示意图;
图4是根据本申请的图像处理方法的又一个实施例的流程图;
图5是根据本申请的图像处理装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的图像处理方法或图像处理装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103, 网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图像处理应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的图像等数据进行分析等处理,并将处理结果(例如特征)反馈给终端设备。
需要说明的是,本申请实施例所提供的图像处理方法可以由服务器105或者终端设备101、102、103执行,相应地,图像处理装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的图像处理方法的一个实施例的流程200。该图像处理方法,包括以下步骤:
步骤201,获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像。
在本实施例中,图像处理方法的执行主体(例如图1所示的服务器或终端设备)可以获取包含目标的图像,并且对所获取的图像进行尺度变换,以得到处理后的至少一种尺度的图像。目标为图像所呈现的有某种意义的对象,比如树木、房屋。在图像中可以包含相同的目 标,或者大小不一、样式不同的各种目标。
在这里,尺度指图像的像素点数。比如,所获取的图像的尺度为224×224,尺度变换后得到的图像尺度为256×256。具体地,尺度变换可以采用上采样和下采样中的至少一种。
步骤202,将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框。
在本实施例中,上述执行主体可以将所获取的图像输入卷积神经网络,并且,也可以将尺度变换得到的图像输入卷积神经网络,得到多个指示目标的位置的候选框(proposals)以及特征图(feature map)。具体地,上述执行主体可以采用多种方式确定候选框。比如在卷积神经网络包括区域候选网络(Region Proposal Network,RPN)的情况下,可以采用区域候选网络确定候选框。此外,还可以采用选择性搜索(Selective Search)确定候选框。特征图可以通过卷积神经网络的卷积层得到,由不同图像卷积得到的特征图不同。这里的候选框可以表示为位置和尺寸。位置可以通过候选框的某个点的坐标来表示,比如中点或者左上角顶点。尺寸可以通过面积、周长或者宽、高等表示。
步骤203,在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同。
在本实施例中,上述执行主体可以在各个图像的候选框中,确定尺寸在预设的尺寸范围内的候选框。因为不同尺度的图像所对应的候选框的尺寸范围不同,所以,在确定尺寸范围内的候选框时,对不同尺度的图像所确定的候选框的尺寸不尽相同。图像所对应的候选框指将图像输入卷积神经网络所得到的候选框。
举例来说,上述执行主体可以获取尺度为224×224的原图,并进行下采样,得到一个尺度为112×112的小图像。可以预先对原图对应的候选框和小图像对应的候选框分别设定尺寸范围:小于8×8和大于8×8,或者小于9×9和大于8×8等等。
在本实施例的一些可选的实现方式中,响应于处理后的图像中存 在至少两个图像尺度大于所获取的图像的尺度,至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,第一指定阈值大于第二指定阈值。
响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,第三指定阈值大于第四指定阈值。
在这些可选的实现方式中,尺度较大的图像所对应的候选框的尺寸范围中的数值较小,而尺度较小的图像所对应的候选框的尺寸范围中的数值较大,这两个尺寸范围可以有部分重合。
举例来说,原图尺度为128×128,上采样后,得到的图像为尺度为224×224的A图像和尺度为256×256的B图像。A图像所对应的候选框的尺寸范围可以小于6×6(这里的两个6分别为宽和高的像素点数),B图像所对应的候选框的尺寸范围可以小于5×5。
这些实现方式的尺度较大的图像中的目标的特征更容易被获取到,能够体现目标更多的细节。而尺度较小的图像中的目标更能够反映目标的整体特征。因而,可以从尺度较大的图像中重点确定较小的目标,而在尺度较小的图像中重点确定较大的目标,以更准确地获取不同大小的目标的特征。
步骤204,确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域的特征,输入卷积神经网络的全连接层。
在本实施例中,上述执行主体可以确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域。之后,获取区域的特征,并将所获取的特征输入卷积神经网络的全连接层(Connected Layer),以进行卷积神经网络的后续处理(比如可以对全连接层的结果进行分类和回归),得到卷积神经网络最终的输出。上述执行主体在获取区域的特征时,可以从特征图所对应的特征矩阵中,确定上述区域所对应的局部的特征矩阵,并提取出来。
不同图像所对应的特征图不同。在每个图像所对应的尺寸范围内的候选框为多个的情况下,可以确定每个候选框在特征图中所分别对应的不同区域。
上述步骤204可以通过卷积神经网络中的特定的池化层(ROI Pooling Layer)实现。
在本实施例的一些可选的实现方式中,在上述步骤204之前,该方法还可以包括:
对在预设的尺寸范围内的候选框进行非极大值抑制,以得到上述至少一个候选框。
在这些可选的实现方式中,上述执行主体可以对在预设的尺寸范围内的候选框进行非极大值抑制(Non-Maximum Suppression,NMS),以通过上述非极大值抑制过程生成上述的至少一个候选框。继而,上述执行主体能够确定所生成的至少一个候选框在特征图中所对应的区域。非极大值抑制可以对候选框进行筛选,得到与用于标注目标的标注框所在位置比较接近的候选框。
这些实现方式可以通过非极大值抑制去除准确度较差的候选框,增加对目标所获取的特征的准确性。
继续参见图3,图3是根据本实施例的图像处理方法的应用场景的一个示意图。在图3的应用场景中,执行主体301可以获取包含目标的图像302,对图像302进行尺度变换,得到处理后的至少一种尺度的图像303;将所获取的图像和处理后的图像输入卷积神经网络,得到特征图304和多个指示目标的位置的候选框305,其中,每个目标对应至少两个候选框;在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框306,其中,不同尺度的图像所对应的候选框的尺寸范围不同;确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域307,获取区域所对应的特征308,输入卷积神经网络的全连接层。
本申请的上述实施例提供的方法能够通过从不同尺度的图像确定不同尺寸范围的候选框,以对各种大小的目标都能获取更加丰富和准确的特征。
进一步参考图4,其示出了图像处理方法的又一个实施例的流程400。该图像处理方法的流程400,包括以下步骤:
步骤401,获取包含目标的图像,对图像进行上采样和/或下采样,得到处理后的至少一种尺度的图像,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,第一预设阈值大于第二预设阈值。
在本实施例中,图像处理方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取包含目标的图像,对图像进行上采样和下采样,得到处理后的图像。处理后的图像包括至少两种尺度。具体地,上采样得到的大尺度图像所对应的候选框的尺寸范围中的数值较小,下采样得到的小尺度图像所对应的候选框的尺寸范围中的数值较大。
在本实施例的一些可选的实现方式中,所获取的图像所对应的候选框的尺寸范围在第三预设阈值和第四预设阈值之间,其中,第三预设阈值大于第四预设阈值,第三预设阈值大于或等于第一预设阈值,第四预设阈值小于或等于第二预设阈值。
在这些实现方式中,所获取的原图所对应的候选框的尺寸范围的数值居中。这样,可以从原图中确定一些尺寸适中的目标,以针对这些目标的尺寸从原图中获取这些目标的特征,从而较为准确地检测尺寸适中的目标。
步骤402,将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框。
在本实施例中,上述执行主体可以将所获取的图像输入卷积神经网络,并且,也可以将尺度变换得到的图像输入卷积神经网络,以得到多个指示目标的位置的候选框和特征图。具体地,上述执行主体可以采用多种方式确定候选框。
步骤403,在各个图像中的候选框中,确定尺寸在预设的尺寸范 围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同。
在本实施例中,上述执行主体可以在各个图像的候选框中,确定尺寸在预设的尺寸范围内的候选框。因为不同尺度的图像所对应的候选框的尺寸范围不同,所以,在确定尺寸范围内的候选框时,对不同尺度的图像所确定的候选框的尺寸不尽相同。图像所对应的候选框指将图像输入卷积神经网络所得到的候选框。
步骤404,确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域的特征,输入卷积神经网络的全连接层。
在本实施例中,上述执行主体可以确定在尺寸范围内的候选框中的至少一个候选框,在特征图中所对应的区域。之后,获取区域的特征,并将所获取的特征输入卷积神经网络的全连接层,以进行卷积神经网络的后续处理,得到卷积神经网络最终的输出。上述执行主体在获取区域的特征时,可以从特征图所对应的特征矩阵中,确定目标区域所对应的特征矩阵的局部,并提取出来。
本实施例能够通过上采样、下采样获取不同尺度的图像,获取到对不同大小的目标获取丰富的特征。进一步地,本实施例可以通过至少三种尺寸范围的候选框,更加准确地获取到图像中不同大小目标的特征。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种图像处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的图像处理装置500包括:获取单元501、输入单元502、确定单元503和区域确定单元504。其中,获取单元501,被配置成获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像;输入单元502,被配置成将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;确定单元503, 被配置成在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;区域确定单元504,被配置成确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域所对应的特征,输入卷积神经网络的全连接层。
在一些实施例中,获取单元501可以获取包含目标的图像,并且对所获取的图像进行尺度变换,以得到处理后的至少一种尺度的图像。目标为图像所呈现的有某种意义的对象,比如树木、房屋。
在一些实施例中,输入单元502可以将所获取的图像输入卷积神经网络,并且,也可以将尺度变换得到的图像输入卷积神经网络,得到多个指示目标的位置的候选框以及特征图。具体地,上述执行主体可以采用多种方式确定候选框。
在一些实施例中,确定单元503可以在各个图像的候选框中,确定尺寸在预设的尺寸范围内的候选框。因为不同尺度的图像所对应的候选框的尺寸范围不同,所以,在确定尺寸范围内的候选框时,对不同尺度的图像所确定的候选框的尺寸不尽相同。图像所对应的候选框指将图像输入卷积神经网络所得到的候选框。
在一些实施例中,区域确定单元504可以确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域。之后,获取区域的特征,并将所获取的特征输入卷积神经网络的全连接层,以进行卷积神经网络的后续处理,得到卷积神经网络最终的输出。
在本实施例的一些可选的实现方式中,该装置还包括:选取单元,被配置成对在预设的尺寸范围内的候选框进行非极大值抑制,以得到至少一个候选框。
在本实施例的一些可选的实现方式中,该获取单元,进一步被配置成:对图像进行上采样和/或下采样,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,第一预设阈值大于第二预设阈值。
在本实施例的一些可选的实现方式中,所获取的图像所对应的候 选框的尺寸范围在第三预设阈值和第四预设阈值之间,其中,第三预设阈值大于第四预设阈值,第三预设阈值大于或等于第一预设阈值,第四预设阈值小于或等于第二预设阈值。
在本实施例的一些可选的实现方式中,响应于处理后的图像中存在至少两个图像尺度大于所获取的图像的尺度,至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,第一指定阈值大于第二指定阈值。
在本实施例的一些可选的实现方式中,响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,第三指定阈值大于第四指定阈值。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU和/或GPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。中央处理单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示屏(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据 需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、输入单元、确定单元和区域确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取包含目标的图像,对图像进行尺度变换,得到处理后的至少一种尺度的图像;将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;确定在尺寸范围内的候选框中的至少一个候选框在特征图中所对应的区域,获取区域所对应的特征,输入卷积神经网络的全连接层。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形 成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
- 一种图像处理方法,包括:获取包含目标的图像,对所述图像进行尺度变换,得到处理后的至少一种尺度的图像;将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;确定在尺寸范围内的候选框中的至少一个候选框在所述特征图中所对应的区域,获取所述区域所对应的特征,输入所述卷积神经网络的全连接层。
- 根据权利要求1所述的方法,其中,在所述确定在尺寸范围内的候选框中的至少一个候选框在所述特征图中所对应的区域之前,所述方法还包括:对在预设的尺寸范围内的候选框进行非极大值抑制,以得到所述至少一个候选框。
- 根据权利要求1-2之一所述的方法,其中,所述对所述图像进行尺度变换,包括:对所述图像进行上采样和/或下采样,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,所述第一预设阈值大于所述第二预设阈值。
- 根据权利要求3所述的方法,其中,所获取的图像所对应的候选框的尺寸范围在所述第三预设阈值和第四预设阈值之间,其中,所述第三预设阈值大于所述第四预设阈值,所述第三预设阈值大于或等 于所述第一预设阈值,所述第四预设阈值小于或等于所述第二预设阈值。
- 根据权利要求1所述的方法,其中,响应于处理后的图像中存在至少两个图像尺度大于所获取的图像的尺度,所述至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,所述第一指定阈值大于所述第二指定阈值。
- 根据权利要求1所述的方法,其中,响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,所述两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,所述第三指定阈值大于所述第四指定阈值。
- 一种图像处理装置,包括:获取单元,被配置成获取包含目标的图像,对所述图像进行尺度变换,得到处理后的至少一种尺度的图像;输入单元,被配置成将所获取的图像和处理后的图像输入卷积神经网络,得到特征图和多个指示目标的位置的候选框,其中,每个目标对应至少两个候选框;确定单元,被配置成在各个图像中的候选框中,确定尺寸在预设的尺寸范围内的候选框,其中,不同尺度的图像所对应的候选框的尺寸范围不同;区域确定单元,被配置成确定在尺寸范围内的候选框中的至少一个候选框在所述特征图中所对应的区域,获取所述区域所对应的特征,输入所述卷积神经网络的全连接层。
- 根据权利要求7所述的装置,其中,所述装置还包括:选取单元,被配置成对在预设的尺寸范围内的候选框进行非极大 值抑制,以得到所述至少一个候选框。
- 根据权利要求7-8之一所述的装置,其中,所述获取单元,进一步被配置成:对所述图像进行上采样和/或下采样,其中,下采样得到的图像所对应的候选框的尺寸范围为大于或等于第一预设阈值,上采样得到的图像所对应的候选框的尺寸范围为小于或等于第二预设阈值,所述第一预设阈值大于所述第二预设阈值。
- 根据权利要求9所述的装置,其中,所获取的图像所对应的候选框的尺寸范围在所述第三预设阈值和第四预设阈值之间,其中,所述第三预设阈值大于所述第四预设阈值,所述第三预设阈值大于或等于所述第一预设阈值,所述第四预设阈值小于或等于所述第二预设阈值。
- 根据权利要求7所述的装置,其中,响应于处理后的图像中存在至少两个图像尺度大于所获取的图像的尺度,所述至少两个图像中,尺度较小的图像所对应的候选框的尺寸范围为小于第一指定阈值,尺度较大的图像所对应的候选框的尺寸范围为小于第二指定阈值,所述第一指定阈值大于所述第二指定阈值。
- 根据权利要求7所述的装置,其中,响应于处理后的图像中存在两个以上的图像尺度小于所获取的图像的尺度,所述两个以上的图像中,尺度较小的图像所对应的候选框的尺寸范围为大于第三指定阈值,尺度较大的图像所对应的候选框的尺寸范围为大于第四指定阈值,所述第三指定阈值大于所述第四指定阈值。
- 一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
- 一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811124831.4A CN109118456B (zh) | 2018-09-26 | 2018-09-26 | 图像处理方法和装置 |
CN201811124831.4 | 2018-09-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020062494A1 true WO2020062494A1 (zh) | 2020-04-02 |
Family
ID=64856261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2018/115969 WO2020062494A1 (zh) | 2018-09-26 | 2018-11-16 | 图像处理方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109118456B (zh) |
WO (1) | WO2020062494A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052837A (zh) * | 2020-10-09 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 基于人工智能的目标检测方法以及装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986072A (zh) * | 2019-05-21 | 2020-11-24 | 顺丰科技有限公司 | 一种图像归一化方法、装置、设备及存储介质 |
CN110348522B (zh) * | 2019-07-12 | 2021-12-07 | 创新奇智(青岛)科技有限公司 | 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统 |
CN110796649B (zh) * | 2019-10-29 | 2022-08-30 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN112784629A (zh) * | 2019-11-06 | 2021-05-11 | 株式会社理光 | 图像处理方法、装置和计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN106650740A (zh) * | 2016-12-15 | 2017-05-10 | 深圳市华尊科技股份有限公司 | 一种车牌识别方法及终端 |
CN108121931A (zh) * | 2017-12-18 | 2018-06-05 | 广州市动景计算机科技有限公司 | 二维码数据处理方法、装置及移动终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015180042A1 (en) * | 2014-05-27 | 2015-12-03 | Beijing Kuangshi Technology Co., Ltd. | Learning deep face representation |
CN104978580B (zh) * | 2015-06-15 | 2018-05-04 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
CN106778731B (zh) * | 2017-01-13 | 2019-09-06 | 深圳市华尊科技股份有限公司 | 一种车牌定位方法及终端 |
CN107688786A (zh) * | 2017-08-30 | 2018-02-13 | 南京理工大学 | 一种基于级联卷积神经网络的人脸检测方法 |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
-
2018
- 2018-09-26 CN CN201811124831.4A patent/CN109118456B/zh active Active
- 2018-11-16 WO PCT/CN2018/115969 patent/WO2020062494A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN106650740A (zh) * | 2016-12-15 | 2017-05-10 | 深圳市华尊科技股份有限公司 | 一种车牌识别方法及终端 |
CN108121931A (zh) * | 2017-12-18 | 2018-06-05 | 广州市动景计算机科技有限公司 | 二维码数据处理方法、装置及移动终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052837A (zh) * | 2020-10-09 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 基于人工智能的目标检测方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109118456B (zh) | 2021-07-23 |
CN109118456A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321593B2 (en) | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device | |
US10762387B2 (en) | Method and apparatus for processing image | |
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
WO2020062494A1 (zh) | 图像处理方法和装置 | |
US11436863B2 (en) | Method and apparatus for outputting data | |
WO2019020075A1 (zh) | 图像处理方法、装置、存储介质、计算机程序和电子设备 | |
CN109344762B (zh) | 图像处理方法和装置 | |
CN109242801B (zh) | 图像处理方法和装置 | |
CN109377508B (zh) | 图像处理方法和装置 | |
CN109255337B (zh) | 人脸关键点检测方法和装置 | |
US20210200971A1 (en) | Image processing method and apparatus | |
CN110427915B (zh) | 用于输出信息的方法和装置 | |
CN112990219B (zh) | 用于图像语义分割的方法和装置 | |
CN109583389B (zh) | 绘本识别方法及装置 | |
WO2020034981A1 (zh) | 编码信息的生成方法和识别方法 | |
CN110211195B (zh) | 生成图像集合的方法、装置、电子设备和计算机可读存储介质 | |
CN113569740B (zh) | 视频识别模型训练方法与装置、视频识别方法与装置 | |
US11010613B2 (en) | Systems and methods for target identification in video | |
CN112766284A (zh) | 图像识别方法和装置、存储介质和电子设备 | |
CN112418249A (zh) | 掩膜图像生成方法、装置、电子设备和计算机可读介质 | |
CN110633717A (zh) | 一种目标检测模型的训练方法和装置 | |
WO2022143366A1 (zh) | 图像处理方法、装置、电子设备、介质及计算机程序产品 | |
CN114792355A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
WO2024060708A1 (zh) | 目标检测方法和装置 | |
CN110765304A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18935554 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.07.2021) |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18935554 Country of ref document: EP Kind code of ref document: A1 |