WO2020220663A1 - 目标检测方法及装置、设备及存储介质 - Google Patents

目标检测方法及装置、设备及存储介质 Download PDF

Info

Publication number
WO2020220663A1
WO2020220663A1 PCT/CN2019/121773 CN2019121773W WO2020220663A1 WO 2020220663 A1 WO2020220663 A1 WO 2020220663A1 CN 2019121773 W CN2019121773 W CN 2019121773W WO 2020220663 A1 WO2020220663 A1 WO 2020220663A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
type
types
target
optimized
Prior art date
Application number
PCT/CN2019/121773
Other languages
English (en)
French (fr)
Inventor
苏锐
欧阳万里
周泸萍
徐东
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Priority to SG11202012861PA priority Critical patent/SG11202012861PA/en
Priority to JP2020561811A priority patent/JP7012880B2/ja
Priority to KR1020207031430A priority patent/KR20200139212A/ko
Publication of WO2020220663A1 publication Critical patent/WO2020220663A1/zh
Priority to US17/126,968 priority patent/US11151358B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

一种目标检测方法及装置、目标检测设备及存储介质。所述目标检测方法，包括：获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数（S110）；基于所述n类检测框，获得整合后的检测框（S120）；所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征（S130）；基于n类图像特征进行图像特征优化，得到优化后的图像特征（S140）；根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测（S150）。

Description

目标检测方法及装置、设备及存储介质
相关申请的交叉引用
本申请基于申请号为201910364565.0、申请日为2019年04月30日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本发明涉及计算机视觉技术领域但不限于计算机视觉技术领域，尤其涉及一种目标检测方法及装置、设备及计算机存储介质。
背景技术
计算机视觉技术通常涉及图像采集，然后通过对采集到的图像的分析实现对目标的跟踪或者目标的行为分析。在一些场景下，计算机视觉技术还涉及基于行为分析和/或进行非法行为的跟踪及预警等操作。
在计算机视觉技术中通常利用深度学习模型进行目标检测，但是可能存在的问题是：目标跟丢或者目标跟踪错误。
发明内容
有鉴于此，本发明实施例期望提供一种目标检测方法及装置、设备及计算机存储介质。
本发明实施例提供的一种目标检测方法，包括：
获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
基于所述n类检测框，获得整合后的检测框；
所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
基于n类图像特征进行图像特征优化，得到优化后的图像特征；
根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
本发明实施例还提供一种目标检测装置，包括：
获取模块，配置为获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
整合模块，配置为基于所述n类检测框，获得整合后的检测框；
提取模块，配置为所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
第一优化模块，配置为基于n类图像特征进行图像特征优化，得到优化后的图像特征；
第二优化模块，配置为根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
本发明实施例还提供一种目标检测设备，包括：
存储器，用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，能够实现前述任意技术方案提供的目标检测方法。
一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现前述任意技术方案提供的目标检测方法。
一种计算机程序产品，计算机程序产品包括计算机指令，对所述计算机指令的调用使得计算机装置执行前述任意技术方案提供的目标检测方法。
本发明实施例提供的目标检测方法，会利用不同目标检测器分别得到检测框，首先通过检测框的整合，得到基于不同目标检测器的检测框整合后的检测框，相对于基于单一目标检测器的检测框直接进行特征目标跟踪，减少了遗漏和错误框；然后利用至少两种目标检测器分别基于整合后的检测框分别提取至少两类图像特征，再基于至少两类图像特征进行图像特征的优化，减少了图像特征的遗漏和错误；最后基于优化图像特征反推出优化检测框，基于该优化检测框进行目标跟踪或基于目标跟踪的目标分析，相对于任意单一目标检测器都能够减少遗漏和错误。
附图说明
图1为本发明实施例提供的一种目标检测方法的流程示意图；
图2A为本发明实施例提供的利用第二类图像特征优化第一类图像特征的示意图；
图2B为本发明实施例提供的利用第一类图像特征优化第二类图像特征的示意图；
图3为本发明实施例提供一种迭代优化的示意图；
图4为本发明实施例提供的一种连接形成动作管道的示意图；
图5为本发明实施例提供的一种目标检测装置的结构示意图；
图6为本发明实施例提供的一种目标检测设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种目标检测方法，包括：
步骤S110：获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
步骤S120：基于所述n类检测框，获得整合后的检测框；
步骤S130：所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
步骤S140：基于n类图像特征进行图像特征优化，得到优化后的图像特征；
步骤S150：根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
本实施例提供的目标检测方法，可以应用于运行有两个能够从同一图像中提取不同的图像特征的目标检测器的设备中。
该目标检测方法可以用于目标跟踪，例如，可以移动的机器人通过执行该目标检测方法确定出被跟踪的人，然后向人提供各种服务，例如，导购服务，再例如，货物运载机器人运载货物和人到预定地点。在一些实施例中，还可以用于道路上的行人的运动跟踪，基于跟踪得到的运动轨迹进行安防。
每个目标检测器在一个输入图像中可以提取到一类图像特征，在利用提取到的图像特征检测目标时，可以获得与定位目标相关的一类检测框。
所述目标检测器可为能够从同一图像中提取不同的图像特征的的深度学习模型或机器学习模型。
n个所述目标检测器中的n可为不小于2的正整数，n的具体取值可为2、3或4等取值。
所述n类不同的目标检测器的不同之处可以体现在以下任意方面：
n类不同的目标检测器对应的神经网络的网络结构不同；
n类不同的目标检测器对应的神经网络的网络参数；
n类不同的目标检测器的所遵循的模型算法；
n类不同的目标检测器提取检测框的方式不同；
n类不同的目标检测器提取图像特征的方式不同。
总之，在本实施例中n类目标检测器对同一个输入图像即便需要获得同一种类型的结果，也可能会因为目标检测器本身的属性和/或参数不同，导致不同目标检测器需要依据图像的不同特征进行处理，这样一个目标检测器所具有的优点可以弥补其他目标检测器的不足之处，从而优化最终的目标检测结果。
为了解决单一目标检测器从输入图像中定位目标和/或目标分析产生的不够精确的问题，在本实施例中，会同时利用n个目标检测器分别获得对应的检测框。
所述n个目标检测器检测出的检测框可都为矩形框，分别是n个目标检测器直接或间接给出的认定为输入图像中包含目标的区域。
在本实施例中，一个所述目标检测器能够从输入图像中提取一类图像特征。
在本实施例中，n类目标检测器可具有不同的检测功能，例如，能够提取出不同类型的图像特征。
所述目标按照类型分类可包括各种移动对象；该移动对象包括但不限于生物体或非生物体。典型的生物体包括但不限于：人和/或动物；非生物体可包括各种交通工具和/或可自行移动的机器人等。
在步骤S120中基于n个目标检测器的检测框，进行整合。此处的整合包括但不限于：不同目标检测器的检测框的合并等，如此，一方面，整合后的检测框可以减少单一目标检测器的检测遗漏导致的目标丢失现象；另一方面，可以减少单一目标检测器定位出错导致的输入图像中包含有目标的区域未被检测框框住导致的目标丢失现象。
具体的所述步骤S120可包括但不限于：
求所述n个目标检测器输出的检测框的并集，得到所述整合后的检测框；
求对应的第一概率值从大到小排序在前M1％的某一个目标检测器的检测框与其他目标检测器的检测框的并集，得到所述整合后的检测框。
所述M1为小于100的正整数；例如，M1的取值均可为50或60等取值。
在步骤S130中进行特征检测时，各个目标检测器不再是直接基于自身得到的检测框提取图像特征，而是基于整合后的检测框，从输入图像中提取出各自对应的图像特征。
例如，假设n为2，则n个目标检测器包括：第一目标检测器和第二目标检测器；将输出第一类检测框，第二目标检测将输出第二类检测框。进一步假设，第一类检测框的个数为S1个，第二类检测框的个数为S2个；将第一类检测框和第二类检测框合并等处理之后，得到S3个整合后的检测框。
S3小于或等于S1和S2之和；且S3大于或等于S1；或S3大于或等于S2。
在步骤S130中，第一目标检测器根据S3个整合后的检测框在输入图像中的位置，分别提取出整合后的检测框所框住图像区域内的第一类图像特征，第二目标检测器根据S3个整合后的检测框，分别提取出整合后的检测框所框住的图像区域内的第二类图像特征。
在本实施例中，所述第一类图像特征和第二类图像特征是不同类型的特征，这种不同体现在：
由不同的模型所提取的特征；
图像特征的特征值对应于图像的不同属性，例如，有的图像特征描述颜色分布状况，有的图像特征描述亮度分布状况；再例如，有的图像特征描述某一个图像对象的外观信息，有的图像特征描述某一图像对象的结构信息。
总之，所述第一类图像特征和所述第二类图像特征是不同类型的图像特征。
在本实施例中，得到第一类图像特征和第二类图像特征之后，会进一步结合这两类图像特征，得到优化图像特征；此处的优化图像特征能够引入两类图像特征的特征值，和/或，至少减少单一图像特征对目标描述不够精确或错误的现象。
在本实施例中，所述步骤S140可包括：融合n个目标检测器基于整合后的检测框得到的各自的图像特征。
所述融合包括：线性融合和非线性融合。
线性融合为：利用可转换为线性函数的融合算法，融合所述n类图像特征得到所述线性优化图像特征。典型的线性函数包括但不限限于：等比例函数等；
非线性融合为：利用不可以转换为线性函数的融合算法，融合所述n类图像特征得到所述线性优化图像特征。典型的非线性函数可包括：分段函数和/或包含卷积运算的卷积函数。
例如，接续前述实施例，以n为2为例进行说明，第一目标检测器输出的第一类图像特征和第二目标检测器输出的第二类图像特征的融合可如下：
线性融合所述第一类图像特征和所述第二类图像特征，得到线性优化图像特征；
非线性融合所述第一类图像特征和所述第二类图像特征得到非线性优化图像特征。
拼接所述第一类图像特征和第二类图像特征，得到第一类拼接特征；在拼接过程中，例如，第一类图像特征为W1*H1*C1的图像特征，第二类图像特征为：W2*H1*C1；该第一类拼接特征可为(W1+W2)*H1*C1的图像特征；
将第一类图像特征通过进一步处理之后，转换为可以与第二类图像特征进行拼接的图像特征之后，得到第二类拼接特征。
在还有一些实施例中，所述步骤S140还可包括：
根据第一类图像特征中第m个位置的特征值的第一置信度与第二类图像特征第m个位置的特征值的第二置信度进行比较；
若所述第一置信度大于第二置信度，则将第一类图像特征中第m个位置的特征值作为优化图像特征的第m个位置的特征值；
和/或，
若第二置信度大于或等于第二置信度，将第二类图像特征中第m个位置的特征值作为优化图像特征的第m个位置的特征值。
在一些实施例中，所述步骤S130可利用如下函数关系得到所述优化图像特征：
Figure PCTCN2019121773-appb-000001
其中，
Figure PCTCN2019121773-appb-000002
为第m次执行优化后的第一类图像特征；
Figure PCTCN2019121773-appb-000003
为第m次执行由第一目标检测器提取的优化前的第一类图像特征；
Figure PCTCN2019121773-appb-000004
为第m次执行由第二目标检测器提取的第二类图像特征；f 1为第一优化函数。
或者，
Figure PCTCN2019121773-appb-000005
其中，
Figure PCTCN2019121773-appb-000006
为第m次执行优化后的第二类图像特征；
Figure PCTCN2019121773-appb-000007
为第m次执行由第二目标检测器提取的优化前的第二类图像特征；
Figure PCTCN2019121773-appb-000008
为第m次执行由第一目标检测器提取的第一类图像特征；f 2为第二优化函数。
上述仅是基于第一类图像特征和第二类图像特征得到优化后的图像特征的举例，具体实现方式有多种，此处就不一一举例了。
总之，由于优化后的图像特征是基于两种不同的图像特征得到的，可以减少单一目标检测器提取图像特征导致目标的特征丢失或错误的现象，减少目标丢失或目标跟踪错误的现象，提升了目标跟踪和/或目标分析的精确度。
在一些实施例中，在得到所述优化后的图像特征之后，会基于优化后的图像特征反 推出检测框，即得到所述优化后的检测框。
例如，将所述优化后的图像特征作为回归器的输入得到回归器输出的检测框的信息，此时得到的检测框即为所述优化后的检测框；该优化后的检测框相对于直接利用第一目标检测器提取第一类检测框和/或第二目标检测器直接提取的第二类检测框，包含所需追踪目标的概率大大提升了，采用本实施例提供的目标检测方法，即便被追踪的目标被部分遮挡和/或快速运动都能够被精准的追踪到，从而具有追踪成功率高的特点，提升了目标检测的精确度和鲁棒性。
在一些实施例中，所述步骤S140可包括：
在第m次执行所述方法时，利用所述n类图像特征中的n-1类图像特征，优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征；
其中，第p类图像特征为所述n类图像特征中除所述n-1类图像特征之外的一类图像特征；m为大于0的整数，p为大于0小于等于n的整数。
本发明实施例中所述步骤S110至步骤S150可执行一次，就能够实现目标跟踪成功率的提升。但是在本实施例中为了进一步提升跟踪效果，本实施例所述的方法会执行多次，实现多次优化。
故在本实施例中，所述m可为正整数。在每一次进行图像特征优化时，可以随机从n个目标检测器中挑选一个目标检测器对该目标检测器提取的图像特征或者该目标检测器对应的被优化后的图像特征进行优化。
为了实现优化效果，可以按照一定顺序，例如，按照p＝mod(m/n)+1的顺序逐一优化每一类图像特征，得到对应类的优化图像特征。
例如，若n为2，则第一次，利用第二类图像特征对第一目标检测器提取的第一类图像特征进行优化，得到优化后的图像特征，则第二次会，利用优化后的图像特征对第二目标检测器提取的第二类图像特征进行优化。
若n为3，则可进行2次或3次以上的执行，第一次，利用第二类图像特征(由第二目标检测器提取的)及第三类图像特征(由第三目标检测器提取的)，对第一目标检测器提取的第一类图像特征进行优化，得到优化后的图像特征，则第二次，利用第一次优化后的图像特征及第三类图像特征，对第二目标检测器提取的第二类图像特征进行优化，得到第二次优化后的图像特征；在一些实施例中，如果需要进行第三次优化，则利用第一次优化后的图像特征和第二次优化后的图像特征对第三类图像特征进行优化。
在一些实施例中，所述步骤S140进一步可包括：
对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；
利用所述卷积特征优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征。
在本实施例中利用卷积这种非线性计算提取出n类图像特征进行互补以进行图像特征的优化，相对于线性计算的特征融合，具有效果更佳的特点。
具体的进行卷积处理时，可以利用连接不同目标检测器的卷积通道来实现。
在一些实施例中，所述对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征，可具体包括：
对所述n-1类图像特征中的每一类图像特征进行第一卷积处理，得到n-1类的第一卷积特征；
对所述n-1类的第一卷积特征中的每一类第一卷积特征进行激活处理，得到n-1类激活特征；
对所述n-1类激活特征中的每一类激活特征进行第二卷积处理，得到所述n-1类图 像特征中的每一类图像特征的卷积特征。
也就是说要对n-1类图像特征中的每一类图像特征先进行一次卷积处理，然后对卷积处理的结果进行一次激活处理，再对激活处理的结果进行一次卷积处理。
在本实施例中，所述第一卷积处理和第二卷积处理可以是相同的卷积处理或者不同的卷积处理。
例如，以n为2为例进行说明，对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；利用所述卷积特征优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征，可包括：
利用卷积传输通道对所述第一类图像特征进行卷积处理，得到第一类卷积特征；并利用所述第一类卷积特征优化所述第二类图像特征，得到优化后的第二类图像特征；
或者，
利用卷积传输通道对所述第二类图像特征进行卷积处理，得到第二类卷积特征；并利用所述第二类卷积特征优化所述第一类图像特征，得到优化后的所述第一类图像特征。
在本实施例中，在进行第一类图像特征和第二类图像特征的融合处理，得到所述优化图像特征时，优先采用的是卷积传输通道进行卷积处理，实现的是第一类图像和第二类图像的非线性融合。
本实施例中所述卷积传输通道为包含有卷积操作的传输通道；若图像特征通过卷积传输通道进行传输，则进入该卷积传输通道的图像特征通过至少一次卷积操作之后再输出。
在本实施例中，利用卷积传输通道对第一类图像特征进行卷积之后得到第一类卷积特征，利用第一类卷积特征对第二类图像特征进行优化，得到所述优化后的图像特征，此次优化后的图像特征为优化后的第二类图像特征。
在本实施例中，所述卷积传输通道可以对所述第一类图像特征进行一次或多次卷积处理后，得到第一类卷积特征。
同样地，所述卷积传输通道也可以对第二类图像特征进行一次或多次卷积处理后，得到第二类卷积特征。
在一些实施例中，第一类图像特征和第二类图像特征利用相同的卷积传输通道进行卷积处理，如此，第一类图像特征和第二类图像特征可以共用相同的卷积传输通道，简化了深度学习模型或机器学习模型的模型结构。
在本实施例中利用卷积这种非线性计算提取出两类图像特征进行信息互补从而进行图像特征的优化，相对于线性计算的特征融合，具有效果更佳的特点。
上述实施例中的卷积通道可以包括：
第一卷积层，用于对输入的图像特征进行一次卷积处理得到一次卷积特征，其中，所述输入的图像特征为所述第一类图像特征或所述第二类图像特征；
激活层，与所述第一卷积层连接，用于将所述一次卷积特征进行激活处理，得到激活特征；
第二卷积层，与所述激活层连接，用于将所述激活特征进行二次卷积处理得到所述第一类卷积特征或所述第二类卷积特征。
在本实施例中，所述第一卷积层对输入的图像特征进行卷积处理，此处的第一卷积层的卷积核可为1*1的卷积核，如此，输入的图像特征经过第一卷积层处理之后，输出的一次卷积特征与输入的图像特征的维度相同。
所述激活层可为按照各类型激活函数设置的网络层。在本实施例中，所述激活层可为：线性整流函数(Rectified Linear Unit，ReLU)提供的网络层。
通过线性整流函数对所述一次卷积特征进行特征映射，得到输入到第二卷积层的激活特征。
第二卷积层可为卷积核与第一卷积层的卷积核相同或不同的卷积层。在本实施例中，所述第二卷积层的卷积核同样可为：1*1的卷积核，如此，通过第二卷积层的二次卷积处理后得到的第二类卷积特征的维度相对于输入到第二卷积层的输入特征的维度也保持不变。
例如，第二卷积特征的维度可以与其需要优化的图像特征的维度保持一致。
图2A所示为基于第一类图像特征和第二类图像特征得到优化图像特征的一种示意图，。在图2A中第二类图像特征通过卷积传输通道卷积处理后，与第一类图像特征进行拼接，得到优化后的图像特征，即优化后的第一类图像特征。
图2B所示为基于第一类图像特征和第二类图像特征得到优化图像特征的另一种示意图。在图2B中所述第一类图像特征通过卷积传输通道卷积处理后，与第二类图像特征进行拼接，得到优化后的图像特征，即优化后的第二类图像特征。
其中，第一目标检测器确定第一检测框，第二目标检测器确定第二检测框，将第一检测框和第二检测框整合后得到第三检测框，第一目标检测器根据第三检测框从输入图像中提取第一类图像特征，第二目标检测器根据第三检测框从输入图像中提取第二类图像特征。
该卷积通道也可以用于n为3或3以上取值时，对n-1类图像特征的卷积处理。
在一些实施例中，所述步骤S150可包括：
基于优化后的图像特征进行回归处理，得到所述优化后的检测框。
在本实施例中，进行优化后的图像特征与检测框之间的相互依赖关系，通过反向推导等回归方式，可以得到所述优化后的检测框。
本实施例中，获得优化后的检测框的方式有多种，此处提供一种实现简便的方式，具体的实现过程不局限本实施例。
以n为2进行举例，则所述步骤S150可包括：基于优化后的第一类图像特征，得到优化后的第一类检测框；或者，基于优化后的第二类图像特征，得到优化后的第二类检测框。
在本实施例中，若步骤S140中是利用第二类图像特征优化(即增强)第一类图像特征，得到优化后的第一类图像特征，则对应的在步骤S150中得到的优化后的第一类检测框。若在步骤S150中是利用第一类图像特征优化(即增强)第二类图像特征，得到优化后的第二类图像特征，则对应的在步骤S150中得到优化后的第二类检测框。
故在本实施例中，优化检测框可分为两种，一种是优化后的第一类检测框，另一种是优化后的第二类检测框。
其中，第一类检测框由第一目标检测器确定，第二类检测框由第二目标检测器确定。
在一些实施例中，所述步骤S120还可包括：将所述n类检测框中每一类检测框中的概率值不小于概率阈值的检测框合并，得到整合后的检测框。
如此，该概率值可为该类检测框准确框住目标的概率，是一种置信度值。
在本实施例中，通过与概率阈值的比较，过滤掉概率值低于概率阈值的检测框之后合并，可以减少概率值低的框被添加到整合后的检测框中，减少步骤S140中基于整合后的检测框不必要的图像特征的检测，减少不必要的计算量。
在一些实施例中，不同目标检测器所输出的检测框的概率阈值可相等或不等。例如，以n为2为例，则这两个目标检测器分别输出的检测框所对一个的概率阈值可可为0.5或0.6等取值，也可以一个为0.5而另一个为0.6。继续以n＝2为例进行说明，所述步骤S120具体可包括：
合并第二类检测框和第一概率值大于第一概率阈值的第一类检测框得到所述整合后的检测框，其中，所述第一概率值为所述第一类检测框内包含所述目标的概率值；
或者，
合并所述第一类检测框和第二概率值大于第二概率阈值的第二类检测框，得到所述整合后的检测框；其中，所述第二概率值为所述第二类检测框内包含所述目标的概率值。
在本实施例中，所述第一概率值为所述第一目标检测器在输出所述第一类检测框时同步输出的，所述第二概率值为所述第二目标检测器在输出所述第二类检测框时同步输出的。
在本实施例中，为了减少不必要的合并，会将第二类检测框中概率值较高部分，与第一类检测框进行合并；此处的合并包括但不限于求并集，得到所述整合后的检测框；如此，一方面通过第一概率值与第一概率阈值的比较，去除了第一类检测框包含目标的概率值较低的部分，而这一部分的去除对补强第二类检测框不会有负面影响或者较大的负面影响；另一方面，减少了整合后的检测框的数目，如此后续在步骤S140中的图像特征提取的过程中可减少了不必要的计算量，可以提升计算效率并节省计算资源。同理，若整合后的检测框是利用第一概率值大于第一概率阈值的第一类检测框得到的，也具有上述特点。
在一些实施例中，在步骤S120中基于第一类检测框和第二类检测框得到所述整合后的检测框时，可以采用非极大值抑制(Non-Maximum Suppression，NMS)算法，利用滑动窗口将输入图像的不同图像区域中的概率值为极大值的检测框提取出来，用于与另一目标检测器提取出的检测框进行合并，得到所述整合后的检测框。例如，利用NMS算法选择部分第一类检测框与所有第二类检测框合并，得到所述整合后的检测框；或者，利用NMS算法选择部分第二类检测框与所有第一类检测框合并得到所述整合后的检测框。
总之，步骤S120中基于第一类检测框和第二类检测框获得所述整合后的检测框的方式不止一种，具体实现不限于上述举例。
在一些实施例中，利用两个目标检测器相互补强的操作，可以在执行一次的情况下，也能够实现相对于单一目标检测器实现目标跟踪或目标分析的精确度提升。
在另一些实施例中为了实现目标跟踪或目标分析的精确度和鲁棒性的再次提升，会进行第一目标检测器和第二目标检测器相互补强的多次迭代，也就是多次执行本发明实施例提供的方法。此处的迭代可以分为多次执行，每一次执行可包括：第一类检测框和第二类检测框合并得到整合后的检测框；基于整合后的检测框的两类图像特征的提取，优化图像特征的得到及优化检测框的确定。
如此以n为2进行举例，进行多次执行本发明实施例提供的方法时所述步骤S110可包括：
若第一次执行本发明实施例提供的方法，则利用所述第一目标检测器在所述输入图像中检测目标获得所述第一类检测框，并利用所述第二目标检测器在所述输入图像中检测目标获得所述第二类检测框。
在第一次执行本发明实施例提供的方法时，第一类检测框是由第一目标检测器从输入图像中检测得到的，第二类检测框是由第二目标检测器从输入图像中检测得到的。
如此，第一次执行过程中的第一类检测框和第二类检测框为尚未经过优化的检测框。
对应的在步骤S120中会将第一目标检测器和第二目标检测器分别输出的不同类型的检测框直接合并，或通过概率值与概率阈值的比较，基于比较的结果进行两种检测框 的合并，得到所述整合后的检测框。
在一些实施例中，例如，所述第一目标检测器和第二目标检测器可为快速R-CNN网络的不同处理分支。所述R-CNN可为区域卷积神经网络。第一目标检测器对应的第一分支检测得到的建议区域(Proposal Region)即为所述第一类检测框，第二目标检测器对应的第二分支检测得到的建议区域即为所述第二类检测框。
当n为大于1的整数时，所述方法第一次执行，步骤S110可包括：
分别利用n个不同的目标检测器在所述输入图像中检测目标，获得与定位目标相关的n类检测框。
此时，进行优化的检测框都是由目标检测器检测得到的。
在一些实施例中，所述方法第k次执行，k为大于1的整数，获取n个不同的目标检测器确定的与定位目标相关的n类检测框，包括：
对于n个不同的目标检测器中的每个目标检测器，获取第k-1次执行所述方法时该目标检测器确定的检测框或者该目标检测器对应的优化得到的检测框。
第k次执行为非首次执行，则至少一个目标检测器的检测框是上一次执行得到的优化后的检测框。
继续以n＝2为例，在本实施例中由于采用迭代优化以得到多次迭代优化后的检测框，故在一些实施例中，所述步骤S110可包括：
若当前执行为第次n执行，获取所述第一目标检测器在第n-1次执行检测或优化得到后第一类检测框，并获取第二目标检测器在第n-1次执行检测或优化得到的第二类检测框；其中，所述n为等于或大于2的正整数。
例如，当前是第二次执行，则步骤S110中获取第一类检测框为：第一次执行本申请实施例提供的方法时检测得到的检测框或者优化得到的检测框；获取的第二类检测框为：第一次执行时优化得到的检测框或检测得到的检测框。具体如，若第一次执行时得到的优化后的检测框为优化后的第一类检测框，则在第二执行时步骤S110中获取的第一类检测框即为第一次执行时得到的优化后的第一类检测框，而第二次执行时步骤S110中获取的第二类检测框依然是第一次执行时由第二目标检测器直接从输入图像中检测得到第二类检测框。若第一执行时得到的优化后的检测框为优化后的第二类检测框，则在第二次执行时步骤S110中获取的第二类检测框即为第一次执行时获得的优化后的第二类检测框，而第二次执行时步骤S110中获取的第一类检测框依然是第一执行时由第一目标检测器直接从输入图像中检测得到第一类检测框。
再例如，当前是第k(k大于2)次执行本申请实施例提供的方法时，则步骤S110中获取第一类检测框为：第k-1次执行检测得到的检测框或者优化得到的检测框；获取的第二类检测框为：第k-1次执行优化得到的检测框或检测得到的检测框。具体如，在第三次执行时步骤S110中获取的第一类检测框即为第一次执行时获得的优化后的第一类检测框，获取的第二类检测框即为第二次执行时获得的优化后的第二类检测框；或者，在第三次执行时步骤S110中获取的第一类检测框即为第二次执行时获得的优化后的第一类检测框；获取的第二类检测框即为第一次执行时获得的优化后的第二类检测框。
如此，通过多次执行本申请实施例提供的目标检测方法可以实现检测框的逐步优化。
在一些实施例中，执行次数可为至少两次，具体可为偶数个。如此，在多次执行中，实现第一类检测框和第二类检测框的交叉迭代优化，以再次提升检测框的优化效果。
在一些实施例中，若当前第一类检测框和第二类检测框都是前序执行优化后的检测框，则在步骤S120中直接求取第一类检测框和第二类检测框的并集，得到优化后的整合后的检测框。
在一些实施例中，所述步骤S130可包括：若前一次执行利用所述第一类图像特征优化所述第二类图像特征，则在本次执行利用所述第二类图像特征优化所述第一类图像特征。
在本实施例中为了实现不同模型的交叉迭代补强，若前一次执行是利用第一类图像特征优化第二类图像特征，则在本次执行就利用第二类图像特征优化第一类图像特征，减少多次执行都是由一个目标检测器补强另一个目标检测器在多次处理之后容易导致某些图像特征的丢失的现象；以进一步提升图像特征和检测框的迭代优化效果。
例如，若在第2*p-1次执行时利用第一类图像特征补强(即优化)第二类图像特征，则在第2*p次执行时利用第二类图像特征补强(即优化)第一类图像特征。此处的p为正整数；如此，实现不同模型之间图像特征的交叉迭代优化。
通过不同模型之间图像特征的交叉迭代优化，可以实现不同模型的检测框的交叉迭代优化。
在一些实施例中，所述第一类图像特征为颜色图像特征，所述第二类图像特征为光流图像特征；或者，所述第一类图像特征为光流图像特征，所述第二类图像特征为颜色图像特征。
在另一些实施例中，还可以使用颜色图像特征、光流图像特征、深度图像特征、图像分割特征中的至少两种进行交叉迭代优化。
具体如，所述颜色图像特征可为RGB特征或YUV特征；此处的颜色图像特征可为RGB或YUV的颜色直方图等，保留了目标的表观信息，例如，保留人体成像的五官信息。
所述光流图像特征可为光流(Optical flow)算法从图像中提取出光流图像特征。此处的光流图像特征是基于运动对象在短时间内保持不变和/或在邻区内速度向量场保持不变的特性提取出的表征目标表面和/或边缘运动状况的运动特征。
在本实施例中，利用颜色图像特征和光流图像特征相互补强，减少单一的颜色图像特征或光流图像特征在目标追踪或目标追踪进行的目标分析中所导致的误差，提升了目标追踪和/或目标分析的精确度。
参考图3所示，所述迭代可以包括4次执行，每一次执行均包括检测框合并，基于合并后的检测框进行图像特征优化，基于优化后的图像特征得到优化检测框。
在第一执行进行检测框合并时，采用函数
Figure PCTCN2019121773-appb-000009
其中，等式右侧的
Figure PCTCN2019121773-appb-000010
为第一目标检测器从输入图像中提取的第一类检测框；
Figure PCTCN2019121773-appb-000011
为第二目标检测器从输入图像中提取的第二类检测框；等式左侧的
Figure PCTCN2019121773-appb-000012
为第一执行得到的整合后的检测框；分别基于整合后的检测框得到两类图像特征之后进行特征优化，得到优化后的第一类图像特征
Figure PCTCN2019121773-appb-000013
然后基于优化后的第一类图像特征
Figure PCTCN2019121773-appb-000014
的回归处理，在一些实施例中得到第一次执行时的优化后的第一类检测框
Figure PCTCN2019121773-appb-000015
在第二次执行进行检测框合并时，采用函数
Figure PCTCN2019121773-appb-000016
其中，
Figure PCTCN2019121773-appb-000017
为第一次执行时得到的优化后的第一类检测框；
Figure PCTCN2019121773-appb-000018
为第二目标检测器从输入图像中提取的第二类检测框；
Figure PCTCN2019121773-appb-000019
为第二执行得到的整合后的检测框；分别基于整合后的检测框
Figure PCTCN2019121773-appb-000020
得到两类图像特征之后进行特征优化，得到优化后的第二类图像特征
Figure PCTCN2019121773-appb-000021
然后基于优化后的第二类图像特征
Figure PCTCN2019121773-appb-000022
的回归处理在一些实施例中得到第二执行时的优化后的第二类检测框
Figure PCTCN2019121773-appb-000023
在第三次执行进行检测框合并时，采用函数
Figure PCTCN2019121773-appb-000024
其中，
Figure PCTCN2019121773-appb-000025
为第二次执行 时得到的优化后的第二类检测框；
Figure PCTCN2019121773-appb-000026
为第一执行时得到的优化后的第一类检测框；
Figure PCTCN2019121773-appb-000027
为第三次执行时得到的整合后的检测框；分别基于整合后的检测框得到两类图像特征之后进行特征优化，得到优化后的第一类图像特征
Figure PCTCN2019121773-appb-000028
然后基于优化后的第一类图像特征
Figure PCTCN2019121773-appb-000029
的回归处理，在一些实施例中得到第三次执行时的优化后的第一类检测框
Figure PCTCN2019121773-appb-000030
在第四次执行进行检测框合并时，采用函数
Figure PCTCN2019121773-appb-000031
其中，
Figure PCTCN2019121773-appb-000032
为第三次执行时得到的优化后的第一类检测框；
Figure PCTCN2019121773-appb-000033
为第二次执行时得到的优化后的第二类检测框；
Figure PCTCN2019121773-appb-000034
为第四次执行得到的整合后的检测框；分别基于整合后的检测框得到两类图像特征之后进行特征优化，得到优化后的第二类图像特征
Figure PCTCN2019121773-appb-000035
然后基于优化后的第二类图像特征
Figure PCTCN2019121773-appb-000036
的回归处理，在一些实施例中得到第四次执行时的优化后的第二类检测框
Figure PCTCN2019121773-appb-000037
在一些实施例中，所述方法还包括：
连接视频中多帧图像的所述优化后的检测框，形成同一个目标的动作管道；
基于所述动作管道进行所述目标跟踪。
在本实施例中，所述动作管道可为基于时序排序形成的管道。
例如，视频包括T帧，按照第1帧到第T帧的排序，将同一个目标所对应的优化后的检测框进行排序，得到动作管道。
如此，基于动作管道再分别从第1帧到第T帧中提取出所需的图像特征进行目标跟踪。或者，直接基于动作管道中表征同一个目标在输入图像中的图像坐标和/或所占图像面积进行计算，实现所述目标跟踪。
例如，针对于一个静止的摄像头，若摄像头的景深不变，则目标距离该摄像头越近，在对应图像帧中所占图像面积就越大；目标距离该摄像头越远，在对应图像帧所占图像面积就越小。所述优化后的检测框的表述方式有多种，以下提供两种可选方式：
利用优化后的检测框在图像坐标系内的四个顶点的坐标进行表示；
利用优化后的检测框在图像坐标系内的中心点的坐标、优化后的检测框的长度及优化后的检测框的宽度进行表示。
优化后的检测框的面积与目标在图像中所占的面积成正比。
如此，通过图像面积可以估算出摄像头与目标之间的距离变化，从而确定目标移动的速度等，进而能够进一步实现目标跟踪。
在另一些实施例中，由于动作管道中的优化后的检测框都定位出了目标在对应图像帧中的位置，在进行目标行为分析时，可以根据优化后的检测框从对应的图像帧中提取出图像特征进行目标行为分析。
例如，在道路交通领域，可以利用这种方式进行行人道路行为分析、车辆的道路行为分析，从而可以监控行人或车辆是否有违规行为。
在一些实施例中，如图4所示，所述连接视频中多帧图像的所述优化后的检测框，形成同一个目标的动作管道，包括：
步骤S210：基于第q个图像帧的所述优化后的检测框，获得重新检测的图像特征，其中，q为正整数；
步骤S220：基于所述重新检测的图像特征进行动作类型识别，并获得指示确定为对应类型动作的概率值；
步骤S230：基于所述概率值对所述优化检测框进行平滑过滤，得到平滑过滤后的优化后的检测框；
步骤S240：在时域内关联平滑过滤后的优化后的检测框，得到所述动作管道。
在本实施例中所述重新检测的图像特征，可以前述的n类图像特征都不同，也可以与前述n类图像特征的一个或多个相同。例如，所述重新检测的图像特征同样可为光流 图像特征或颜色图像特征。
具体如，在步骤S220中利用二分类器通过动作分类，判别目标在对应图像帧是否有执行预定动作，在交通道路领域识别车辆是否有闯红灯或者压线的违规动作的分类，而动作类型识别可包括：违规动作和合规动作的判别。
再具体如，在步骤S220中可以利用多分类器进行多种动作的识别，利用对分类器识别出合规动作和违规动作，并且对违规动作的违规类型进行细分。例如，违规动作的类别包括但不限于：交通信号灯违规动作、交通指示线违规动作、交通肇事相关的违规动作。
在本实施例中利用分类器进行动作类型的识别之后，还会得到识别的概率值。
在本实施例中，通过平滑过滤可以过滤掉图像噪声，剔除掉包含目标概率比较低的优化后的检测框，得到再次优化后的检测框。
具体如，所述步骤S230可包括但不限于：过滤掉所述多帧图像中概率值小于所述平滑概率的优化后的检测框，得到未被过滤掉的优化后的检测框；则步骤S240可包括：在时域连接未被过滤的优化后的检测框得到所述动作管道。在一些实施例中，该平滑过滤包括但不限于所述上述概率值的平均值。此处是对基于上述概率值对优化后的检测框进行平滑过滤的一种举例，具体实现不局限于上述举例。
如图5所示，本实施例提供一种目标检测装置，包括：
获取模块110，配置为获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
整合模块120，配置为基于所述n类检测框，获得整合后的检测框；
提取模块130，配置为所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
第一优化模块140，配置为基于n类图像特征进行图像特征优化，得到优化后的图像特征；
第二优化模块150，配置为根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
在一些实施例中，所述获取模块110、整合模块120、提取模块130、第一优化模块140及第二优化模块150，均可为程序模块；该程序模块被处理器执行后，能够实现前述该模块所对应的功能。
在另一些实施例中，所述获取模块110、整合模块120、提取模块130、第一优化模块140及第二优化模块150，均可为软硬结合模块，该软硬结合模块可包括各种可编程阵列；该可编程阵列包括但不限于现场可编程阵列或复杂可编程阵列。
在还有一些实施例中，所述获取模块110、整合模块120、提取模块130、第一优化模块140及第二优化模块150，均可为纯硬件模块，该纯硬件模块可包括但不限于专用集成电路。
在一些实施例中，所述第一优化模块140，用于在第m次执行图像特征优化时，利用所述n类图像特征中的n-1类图像特征，优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征；其中，第p类图像特征为所述n类图像特征中除所述n-1类图像特征之外的一类图像特征；m为大于0的整数，p为大于0小于等于n的整数。
在一些实施例中，p＝mod(m/n)+1。
在一些实施例中，所述第一优化模块140，具体用于在第m次执行图像特征优化时，对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；利用所述卷积特征优化所述n类图像特征中的第p类图 像特征，得到所述优化后的图像特征。
在一些实施例中，所述第一优化模块140，具体用于在第m次执行图像特征优化时，对所述n-1类图像特征中的每一类图像特征进行第一卷积处理，得到n-1类的第一卷积特征；对所述n-1类的第一卷积特征中的每一类第一卷积特征进行激活处理，得到n-1类激活特征；对所述n-1类激活特征中的每一类激活特征进行第二卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；利用得到的所述n-1类图像特征中的每一类图像特征的卷积特征优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征。
在一些实施例中，所述第二优化模块150，配置为基于优化后的图像特征进行回归处理，得到所述优化后的检测框。
在一些实施例中，所述整合模块120，配置为将所述n类检测框中每一类检测框中的概率值不小于概率阈值的检测框合并，得到整合后的检测框。
在一些实施例中，所述获取模块110，在第一次执行获取n个不同的目标检测器确定的与定位目标相关的n类检测框时，配置为分别利用n个不同的目标检测器在所述输入图像中检测目标，获得与定位目标相关的n类检测框。
在一些实施例中，所述获取模块110，在第k次执行，k为大于1的整数，获取n个不同的目标检测器确定的与定位目标相关的n类检测框时，具体用于对于n个不同的目标检测器中的每个目标检测器，获取第k-1次执行获取n个不同的目标检测器确定的与定位目标相关的n类检测框时该目标检测器确定的检测框或者该目标检测器对应的优化得到的检测框。
在一些实施例中，所述装置还包括：
连接模块，配置为连接视频中多帧图像的所述优化后的检测框，形成同一个目标的动作管道；
跟踪模块，配置为基于所述动作管道跟踪所述目标。
在一些实施例中，所述连接模块，配置为基于第q个图像帧的所述优化后的检测框，获得重新检测的图像特征，其中，q为正整数；基于所述重新检测的图像特征进行动作类型识别，并获得指示确定为对应类型动作的概率值；基于所述概率值对所述优化检测框进行平滑过滤，得到平滑过滤后的优化后的检测框；在时域内关联平滑过滤后的优化后的检测框，得到所述动作管道。
以下结合上述实施例提供一个具体示例：
示例1：
本示例提供的目标检测方法，利用信息传递的方法可以把有用信息从一个模型(可以是一个神经网络)传递到另外一个模型(可以时另一个神经网络)，从而利用不同模型所提取特征之间的互补性提高模型的提取特征的能力。利用一个模型产生的定位提名(即前述的检测框)去帮助另外一个模型更准确地实现图像中目标的定位。
通过以上两种方法在特征和产生定位提名的层次上充分地利用不同模型之间的互补信息。
本示例提供的目标检测方法，可基于深度学习框架的动作定位模型对多个动作目标进行定位。
具体如，利用本申请实施例提供的方法进行视频动作定位，可分为以下几个步骤。
首先，使用Faster-RCNN算法对视频当前帧的RGB图像以及光流图像生成动作定位提名以及提取对应的特征。此处对RGB图像提取第一类图像特征；对光流 图像提取第二类图像特征。
然后，利用信息传递的方法把互补信息从一个模型的特征传递到另一个模型，同时融合不同模型生成的动作定位提名从而获得互补的提名。此处的互补信息可为利用卷积传输通道对一种图像特征进行卷积处理后得到的用于补强另一种图像特征的图像特征。
接着，使用新产生的特征，即用于补强另一种图像特征的图像特征，和动作定位提名对当前帧进行动作分类与定位。
最后，使用连接策略把每一帧的动作定位串联起来得到包含动作起始与结束时间点以及动作在每一帧空间位置等信息的动作定位结果。
以上步骤中的不同模型的信息在特征与动作定位提名互相帮助的过程可以进行多次迭代，从而加强最后生成结果的准确性。
本示例包含动作检测以及时序连接。
用于动作检测的动作检测模型的输入可以为：视频当前帧的RGB图像以及光流图像；该动作检测模型的输出为：视频当前帧可能发生动作的检测框以及对应的动作类别。
具体处理过程分为以下几个步骤：
使用Faster-RCNN算法对RGB图像以及光流图像分别确定对应的检测框以及动作类别。
把两种不同模型产生的检测框做成合集并使用每一个检测框分别提取对应位置的RGB以及光流特征。把一个模型提取的特征(如光流)经过两层1x1的卷积(信息传递)加到另外一个模型提取的特征(如RGB)上，从而得到更强的特征。
基于前述步骤得到的检测框合集以及改善后的特征使用分类器与回归器进行进一步的分类与回归，得到更加准确的检测框。
进行多次迭代(如4次或4次以上的迭代)从而提高最后产生的检测框的准确性。
所述时序连接步骤的输入为：所有帧生成的检测框以及对应动作类别；所述时序连接步骤的输出为：由检测框连接而成的动作管。
最后基于动作管道进行目标追踪或目标行为分析。
动作管道的连接可包括：
使用连接策略把视频通过动作检测模型产生的检测框在时间域上连接起来产生动作管。
利用动作管中的每一个检测框提取对应位置的特征，然后进行二分类判别在该检测框范围内是否有动作发生并产生动作发生的概率。
使用中位数过滤器对动作管中每一个检测框的动作发生概率进行平滑过滤操作。把动作发生概率低于阈值的检测框去除掉，从而得到最终的动作管。
如图6所示，本申请实施例提供了一种目标检测设备，包括：
存储器，配置为存储计算机可执行指令；
处理器，分别与显示器及所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的目标检测方法，例如，如图1及图4所示的目标检测方法中的至少之一。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
在一些实施例中，所述目标检测设备还包括：显示器，该显示器可以显示各种提示、采集的人脸图像和/或各种界面。
本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述一个或多个技术方案提供的目标检测方法，例如，如图1及图4所示的目标检测方法中的至少之一。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机指令，对所述计算机指令的调用使得计算机装置执行前述一个或多个技术方案提供的目标检测方法，例如，如图1及图4所示的目标检测方法中的至少之一。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (25)

  1. 一种目标检测方法，包括：
    获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
    基于所述n类检测框，获得整合后的检测框；
    所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
    基于n类图像特征进行图像特征优化，得到优化后的图像特征；
    根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
  2. 根据权利要求1所述的方法，其中，所述基于n类图像特征进行图像特征优化，得到优化后的图像特征，包括：
    在第m次执行所述方法时，利用所述n类图像特征中的n-1类图像特征，优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征；
    其中，第p类图像特征为所述n类图像特征中除所述n-1类图像特征之外的一类图像特征；m为大于0的整数，p为大于0小于等于n的整数。
  3. 根据权利要求2所述的方法，其中，p＝mod(m/n)+1。
  4. 根据权利要求2或3所述的方法，其中，所述利用所述n类图像特征中的n-1类图像特征，优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征，包括：
    对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；
    利用所述卷积特征优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征。
  5. 根据权利要求4所述的方法，其中，所述对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征，包括：
    对所述n-1类图像特征中的每一类图像特征进行第一卷积处理，得到n-1类的第一卷积特征；
    对所述n-1类的第一卷积特征中的每一类第一卷积特征进行激活处理，得到n-1类激活特征；
    对所述n-1类激活特征中的每一类激活特征进行第二卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征。
  6. 根据权利要求1至5任一项所述的方法，其中，所述根据所述优化后的图像特征，得到优化后的检测框，包括：
    基于优化后的图像特征进行回归处理，得到所述优化后的检测框。
  7. 根据权利要求1至6任一项所述的方法，其中，基于所述n类检测框，获得整合后的检测框，包括：
    将所述n类检测框中每一类检测框中的概率值不小于概率阈值的检测框合并，得到整合后的检测框。
  8. 根据权利要求1至7任一项所述的方法，其中，所述方法第一次执行，获取n个不同的目标检测器确定的与定位目标相关的n类检测框，包括：
    分别利用n个不同的目标检测器在所述输入图像中检测目标，获得与定位目标相关 的n类检测框。
  9. 根据权利要求1至7任一项所述的方法，其中，所述方法第k次执行，k为大于1的整数，获取n个不同的目标检测器确定的与定位目标相关的n类检测框，包括：
    对于n个不同的目标检测器中的每个目标检测器，获取第k-1次执行所述方法时该目标检测器确定的检测框或者该目标检测器对应的优化得到的检测框。
  10. 根据权利要求1至7任一项所述的方法，其中，所述方法还包括：
    连接视频中多帧图像的所述优化后的检测框，形成同一个目标的动作管道；
    基于所述动作管道跟踪所述目标。
  11. 根据权利要求10所述的方法，其中，所述连接视频中多帧图像的所述优化检测框，形成同一个目标的动作管道，包括：
    基于第q个图像帧的所述优化后的检测框，获得重新检测的图像特征，其中，q为正整数；
    基于所述重新检测的图像特征进行动作类型识别，并获得指示确定为对应类型动作的概率值；
    基于所述概率值对所述优化检测框进行平滑过滤，得到平滑过滤后的优化后的检测框；
    在时域内关联平滑过滤后的优化后的检测框，得到所述动作管道。
  12. 一种目标检测装置，其中，包括：
    获取模块，配置为获取n个不同的目标检测器确定的与定位目标相关的n类检测框，其中，所述n个不同的目标检测器能够从同一图像中提取n类不同的图像特征；n为等于或大于2的正整数；
    整合模块，配置为基于所述n类检测框，获得整合后的检测框；
    提取模块，配置为所述n个不同的目标检测器中的每个目标检测器基于所述整合后的检测框从输入图像中提取图像特征，得到n类图像特征；
    第一优化模块，配置为基于n类图像特征进行图像特征优化，得到优化后的图像特征；
    第二优化模块，配置为根据所述优化后的图像特征，得到优化后的检测框，以对目标进行检测。
  13. 根据权利要求12所述的装置，其中，所述第一优化模块，配置为在第m次执行图像特征优化时，利用所述n类图像特征中的n-1类图像特征，优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征；其中，第p类图像特征为所述n类图像特征中除所述n-1类图像特征之外的一类图像特征；m为大于0的整数，p为大于0小于等于n的整数。
  14. 根据权利要求13所述的装置，其中，p＝mod(m/n)+1。
  15. 根据权利要求13或14所述的装置，其中，所述第一优化模块，配置为在第m次执行图像特征优化时，对所述n-1类图像特征中的每一类图像特征进行卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；利用所述卷积特征优化所述n类图像特征中的第p类图像特征，得到所述优化后的图像特征。
  16. 根据权利要求15所述的装置，其中，所述第一优化模块，配置为在第m次执行图像特征优化时，对所述n-1类图像特征中的每一类图像特征进行第一卷积处理，得到n-1类的第一卷积特征；对所述n-1类的第一卷积特征中的每一类第一卷积特征进行激活处理，得到n-1类激活特征；对所述n-1类激活特征中的每一类激活特征进行第二卷积处理，得到所述n-1类图像特征中的每一类图像特征的卷积特征；利用得到的所述n-1类图像特征中的每一类图像特征的卷积特征优化所述n类图像特征中的第p类图像 特征，得到所述优化后的图像特征。
  17. 根据权利要求12至16任一项所述的装置，其中，所述第二优化模块，配置为基于优化后的图像特征进行回归处理，得到所述优化后的检测框。
  18. 根据权利要求12至17任一项所述的装置，其中，所述整合模块，配置为将所述n类检测框中每一类检测框中的概率值不小于概率阈值的检测框合并，得到整合后的检测框。
  19. 根据权利要求12至18任一项所述的装置，其中，所述获取模块，在第一次执行获取n个不同的目标检测器确定的与定位目标相关的n类检测框时，配置为分别利用n个不同的目标检测器在所述输入图像中检测目标，获得与定位目标相关的n类检测框。
  20. 根据权利要求12至18任一项所述的装置，其中，所述获取模块，在第k次执行，k为大于1的整数，获取n个不同的目标检测器确定的与定位目标相关的n类检测框时，配置为对于n个不同的目标检测器中的每个目标检测器，获取第k-1次执行获取n个不同的目标检测器确定的与定位目标相关的n类检测框时该目标检测器确定的检测框或者该目标检测器对应的优化得到的检测框。
  21. 根据权利要求12至18任一项所述的装置，其中，所述装置还包括：
    连接模块，配置为连接视频中多帧图像的所述优化后的检测框，形成同一个目标的动作管道；
    跟踪模块，配置为基于所述动作管道跟踪所述目标。
  22. 根据权利要求21所述的装置，其中，所述连接模块，配置为
    基于第q个图像帧的所述优化后的检测框，获得重新检测的图像特征，其中，q为正整数；基于所述重新检测的图像特征进行动作类型识别，并获得指示确定为对应类型动作的概率值；基于所述概率值对所述优化检测框进行平滑过滤，得到平滑过滤后的优化后的检测框；在时域内关联平滑过滤后的优化后的检测框，得到所述动作管道。
  23. 一种目标检测设备，包括：
    存储器，用于存储计算机可执行指令；
    处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，实现权利要求1至11任一项提供的方法。
  24. 一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行之后，能够实现权利要求1至11任一项所述的方法。
  25. 一种计算机程序产品，计算机程序产品包括计算机指令，对所述计算机指令的调用使得计算机装置执行权利要求1至11任一项提供的方法。
PCT/CN2019/121773 2019-04-30 2019-11-28 目标检测方法及装置、设备及存储介质 WO2020220663A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
SG11202012861PA SG11202012861PA (en) 2019-04-30 2019-11-28 Target detection method and apparatus, device, and storage medium
JP2020561811A JP7012880B2 (ja) 2019-04-30 2019-11-28 ターゲット検出方法及び装置、機器並びに記憶媒体
KR1020207031430A KR20200139212A (ko) 2019-04-30 2019-11-28 타겟 검출 방법 및 장치, 기기 및 저장 매체
US17/126,968 US11151358B2 (en) 2019-04-30 2020-12-18 Target detection method and apparatus, device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910364565.0 2019-04-30
CN201910364565.0A CN110210474B (zh) 2019-04-30 2019-04-30 目标检测方法及装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/126,968 Continuation US11151358B2 (en) 2019-04-30 2020-12-18 Target detection method and apparatus, device, and storage medium

Publications (1)

Publication Number Publication Date
WO2020220663A1 true WO2020220663A1 (zh) 2020-11-05

Family

ID=67785384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/121773 WO2020220663A1 (zh) 2019-04-30 2019-11-28 目标检测方法及装置、设备及存储介质

Country Status (6)

Country Link
US (1) US11151358B2 (zh)
JP (1) JP7012880B2 (zh)
KR (1) KR20200139212A (zh)
CN (1) CN110210474B (zh)
SG (1) SG11202012861PA (zh)
WO (1) WO2020220663A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989992A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN113177133A (zh) * 2021-04-23 2021-07-27 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210474B (zh) * 2019-04-30 2021-06-01 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质
CN111339813B (zh) * 2019-09-30 2022-09-27 深圳市商汤科技有限公司 人脸属性识别方法、装置、电子设备和存储介质
CN111523599B (zh) * 2020-04-24 2024-03-26 上海商汤智能科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112861711A (zh) * 2021-02-05 2021-05-28 深圳市安软科技股份有限公司 区域入侵检测方法、装置、电子设备及存储介质
CN114092045A (zh) * 2021-11-10 2022-02-25 深圳市文君创艺广告文化传媒有限公司 基于物联网的社区建档方法、装置及存储介质
CN114871115A (zh) * 2022-04-28 2022-08-09 五邑大学 一种物体分拣方法、装置、设备及存储介质
CN116229452B (zh) * 2023-03-13 2023-11-17 无锡物联网创新中心有限公司 一种基于改进的多尺度特征融合的点云三维目标检测方法
CN116385952B (zh) * 2023-06-01 2023-09-01 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质
CN116587327A (zh) * 2023-06-20 2023-08-15 广东电网有限责任公司广州供电局 运动控制系统、带电作业机器人检测方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130230245A1 (en) * 2010-11-18 2013-09-05 Panasonic Corporation People counting device, people counting method and people counting program
CN107301377A (zh) * 2017-05-26 2017-10-27 浙江大学 一种基于深度相机的人脸与行人感知系统
CN108009544A (zh) * 2017-12-13 2018-05-08 北京小米移动软件有限公司 目标检测方法及装置
CN108154105A (zh) * 2017-12-21 2018-06-12 深圳先进技术研究院 水下生物检测与识别方法、装置、服务器及终端设备
CN110210474A (zh) * 2019-04-30 2019-09-06 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4712563B2 (ja) * 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
CN102411716A (zh) * 2010-09-21 2012-04-11 索尼公司 目标检测和分类方法和装置
JP6116916B2 (ja) * 2013-01-15 2017-04-19 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法
CN104268514A (zh) * 2014-09-17 2015-01-07 西安交通大学 一种基于多特征融合的手势检测方法
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models
CN105913003B (zh) * 2016-04-07 2019-06-07 国家电网公司 一种多特征多模型的行人检测方法
US20170330059A1 (en) * 2016-05-11 2017-11-16 Xerox Corporation Joint object and object part detection using web supervision
CN106529527A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 物体检测方法和装置、数据处理装置和电子设备
CN108171103A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
JP2018180945A (ja) * 2017-04-13 2018-11-15 株式会社豊田中央研究所 物体検出装置及びプログラム
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
CN107292293A (zh) * 2017-07-26 2017-10-24 北京小米移动软件有限公司 人脸检测的方法及装置
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
CN107527053A (zh) * 2017-08-31 2017-12-29 北京小米移动软件有限公司 目标检测方法及装置
US11004209B2 (en) * 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system
US11164003B2 (en) * 2018-02-06 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in video sequences
CN108288273B (zh) * 2018-02-09 2021-07-27 南京智莲森信息技术有限公司 基于多尺度耦合卷积网的铁路接触网异常目标自动检测法
CN108985147A (zh) * 2018-05-31 2018-12-11 成都通甲优博科技有限责任公司 目标检测方法及装置
CN110660037B (zh) * 2018-06-29 2023-02-10 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品
CN109145898A (zh) * 2018-07-26 2019-01-04 清华大学深圳研究生院 一种基于卷积神经网络和迭代机制的物体检测方法
US11238612B2 (en) * 2018-08-28 2022-02-01 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN109376637B (zh) * 2018-10-15 2021-03-02 齐鲁工业大学 基于视频监控图像处理的人数统计系统
CN109376681B (zh) * 2018-11-06 2021-09-03 广东工业大学 一种多人姿态估计方法及系统
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130230245A1 (en) * 2010-11-18 2013-09-05 Panasonic Corporation People counting device, people counting method and people counting program
CN107301377A (zh) * 2017-05-26 2017-10-27 浙江大学 一种基于深度相机的人脸与行人感知系统
CN108009544A (zh) * 2017-12-13 2018-05-08 北京小米移动软件有限公司 目标检测方法及装置
CN108154105A (zh) * 2017-12-21 2018-06-12 深圳先进技术研究院 水下生物检测与识别方法、装置、服务器及终端设备
CN110210474A (zh) * 2019-04-30 2019-09-06 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989992A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN112989992B (zh) * 2021-03-09 2023-12-15 阿波罗智联(北京)科技有限公司 目标检测方法、装置、路侧设备和云控平台
CN113177133A (zh) * 2021-04-23 2021-07-27 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质
CN113177133B (zh) * 2021-04-23 2024-03-29 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110210474A (zh) 2019-09-06
US11151358B2 (en) 2021-10-19
US20210110138A1 (en) 2021-04-15
JP7012880B2 (ja) 2022-01-28
KR20200139212A (ko) 2020-12-11
SG11202012861PA (en) 2021-11-29
JP2021525409A (ja) 2021-09-24
CN110210474B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
WO2020220663A1 (zh) 目标检测方法及装置、设备及存储介质
CN106845487B (zh) 一种端到端的车牌识别方法
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
CN108470332B (zh) 一种多目标跟踪方法及装置
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
EP2811423B1 (en) Method and apparatus for detecting target
CN109635694B (zh) 一种行人检测方法、装置、设备及计算机可读存储介质
US9025875B2 (en) People counting device, people counting method and people counting program
US20090309966A1 (en) Method of detecting moving objects
EP2518661A2 (en) System and method for human detection and counting using background modeling, hog and haar features
CN108830225B (zh) 太赫兹图像中目标物体的检测方法、装置、设备及介质
US9836851B2 (en) Apparatus and method for detecting multiple objects using adaptive block partitioning
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN112862845B (zh) 一种基于置信度评估的车道线重构方法及装置
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN111401278A (zh) 安全帽识别方法、装置、电子设备及存储介质
Bisht et al. Integration of hough transform and inter-frame clustering for road lane detection and tracking
Singh et al. Gaussian and Laplacian of Gaussian weighting functions for robust feature based tracking
Santos et al. Car recognition based on back lights and rear view features
Gao et al. Spatio-temporal processing for automatic vehicle detection in wide-area aerial video
CN114067186B (zh) 一种行人检测方法、装置、电子设备及存储介质
Ghosh et al. Pedestrian counting using deep models trained on synthetically generated images
CN113989753A (zh) 一种多目标检测处理方法及装置
RU2818870C1 (ru) Способ фильтрации малоинформативных зон на видеокадре
Kerdvibulvech Hybrid model of human hand motion for cybernetics application

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20207031430

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2020561811

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926914

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19926914

Country of ref document: EP

Kind code of ref document: A1