WO2021237678A1 - 目标跟踪方法及装置 - Google Patents
目标跟踪方法及装置 Download PDFInfo
- Publication number
- WO2021237678A1 WO2021237678A1 PCT/CN2020/093266 CN2020093266W WO2021237678A1 WO 2021237678 A1 WO2021237678 A1 WO 2021237678A1 CN 2020093266 W CN2020093266 W CN 2020093266W WO 2021237678 A1 WO2021237678 A1 WO 2021237678A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- result
- current frame
- frame image
- target
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Definitions
- S201 Identify any one of multiple targets in the current frame of image, and output a first result of any one of the foregoing targets.
- the first result is the result of target detection
- the second result is the result of target tracking.
- Both the first result and the second result can include object categories and spatial locations. That is, the first result may include the first category and the first spatial location.
- the second result may include a second category and a second spatial location.
- the object category may be, for example, a car, a human, an animal, and so on.
- the spatial position may be, for example, the position of the target in the current frame of image.
- the first result can be used as the fusion result.
- the target detection module 410 may be used to identify any one of multiple targets in the current frame of image, and output the first result of any one of the foregoing targets.
- the target tracking module 420 is specifically configured to adopt a target tracking algorithm to identify any one of the above-mentioned targets in the current frame image according to the fusion result of the previous frame of the current frame image, and output the first target of any target. Two results.
- FIG. 5 shows a schematic structural diagram of another target tracking device provided by an embodiment of the present application.
- the target tracking device 50 may include: at least one processor 501, such as a CPU, at least one network interface 504, a user interface 503, and a memory 505, At least one communication bus 502, display screen 506.
- the communication bus 502 is used to implement connection and communication between these components.
- the user interface 503 may include a touch screen, a keyboard or a mouse, and so on.
- the network interface 504 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), and a communication connection with the server can be established through the network interface 504.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
一种目标跟踪算法，可以提高目标跟踪的准确性。该方法包括：识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果（S201）；根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果（S202）；融合上述第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并在当前帧图像中显示融合结果（S203）。
Description
本申请涉及图像处理领域，尤其涉及一种目标跟踪方法及装置。
随着图像处的广泛应用，多目标跟踪在各个领域如安防监控、体育比赛、游戏比赛等场景中起到重要的作用。现有技术中的目标跟踪检测技术在目标被遮挡严重或者两个目标相互遮挡的情况下无法准确检测目标，导致目标跟踪结果不准确。
发明内容
本申请实施例提供了一种目标跟踪方法及装置，可以提高目标跟踪的准确性。
第一方面，本申请实施例提供了一种目标跟踪方法，包括：识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果；根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果；融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
第二方面，本申请实施例提供了一种目标跟踪装置，包括：存储器及处理器；所述存储器用于存储程序指令，所述处理器用于调用所述存储器中的程序指令执行如下操作：识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果；根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果；融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的 方法。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种目标跟踪系统的结构示意图；
图2为本申请实施例提供的一种目标跟踪方法的流程示意图；
图3为本申请实施例提供的另一种标跟踪方法的流程示意图；
图4为本申请实施例提供的一种目标跟踪装置的结构示意图；
图5为本申请实施例提供的另一种目标跟踪装置的结构示意图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在图1中示出了本发明实施例的一种目标跟踪系统。该系统包括多个拍摄目标110、拍摄装置120以及目标跟踪装置130。其中，拍摄装置120用于拍摄多个拍摄目标110，并将拍摄画面发送给目标跟踪装置130。拍摄装置120可以通过互联网、蜂窝网络或者WiFi等无线连接方式与目标跟踪装置130建立通信连接。拍摄装置120还可以通过有线连接方式与目标跟踪装置130建立通信连接。
目标跟踪装置130可以识别拍摄装置120发送的拍摄画面中的拍摄目标110，并通过显示屏显示拍摄画面，在拍摄画面中标记出拍摄目标110。
目标跟踪装置130的软硬件配置可以示例性的如下：Windows10操作系统、1080Ti的GPU、存储容量为16G的内部存储器以及Visual Studio2015。
拍摄目标110例如可以是车、人等移动的目标，拍摄装置120例如可以是摄像机、照相机，也可以是具备拍摄功能的可移动设备(如无人机、无人车、可移动的机器人等)。本申请实施例中以车为拍摄目标、摄像机或照相机为拍摄装置120为例进行说明。
接下来结合图1示出的目标跟踪系统，介绍本申请实施例提供的目标跟踪 方法。如图2所示，目标跟踪算法可以包括以下几个步骤：
S201：识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
具体地，拍摄装置120可以按照预设的频率向目标跟踪装置130发送当前拍摄的帧图像。预设频率例如可以但不限于是30帧每秒等。
具体地，可以采用目标检测算法识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
上述目标检测算法可以使用深度学习神经网络训练目标检测模型，可选取的检测模型可以包括但不限于是ssd、faster-rcnn、yolo等模型。本申请实施例以选取的模型为ssd mobilentv2为例进行说明。为了保证网络模型推理的实时性，本申请实施例可以使用nvidia开发的tensorRT对该模型进行量化和压缩。经过量化和压缩后的目标检测模型对单张图像的检测在保证检测精度同时，缩短检测时间。
S202：根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果。
具体地，可以采用目标跟踪算法，根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果。本申请实施例可以使用性能总体较优的改进的核相关滤波(Kernel Correlation Filter，KCF)多目标跟踪算法。不限于使用KCF算法，在具体实现中还可以使用深度学习的算法，或者其他的传统算法，包括但不限于：TLD、Camshift算法等，本申请实施例对采用的目标跟踪算法不做限定。
具体地，可以以前一帧图像的融合结果为依据，采用目标跟踪算法识别前一帧图像的融合结果，确定前一帧图像的融合结果在当前帧图像中的空间位置以及目标的类别。
S203：融合上述第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并在当前帧图像中显示上述融合结果。
具体地，第一结果为目标检测的结果，第二结果为目标跟踪的结果。第一结果和第二结果均可包括物体类别和空间位置。即第一结果可以包括第一类别和第一空间位置。第二结果可以包括第二类别和第二空间位置。其中，物体类别例如可以是车、人、动物等。空间位置例如可以是该目标在当前帧图像中的 位置。
当第一类别与第二类别一致，且第一空间位置与第二空间位置一致时，可将第一结果或第二结果作为融合结果。
当第一类别与第二类别不一致，或第一空间位置与第二空间位置不一致时，可将第一结果作为融合结果。
当第一类别与第二类别不一致，且第一空间位置与第二空间位置不一致时，可将第一结果作为融合结果。
即当第一结果与第二结果一致时，可将第一结果或第二结果作为融合结果。若第一结果与第二结果不一致时，融合结果以第一结果为准。
本申请实施例可以同时采用目标检测算法和目标跟踪算法进行目标检测和跟踪，将两个算法输出的结果进行融合，可以保证目标在遮挡严重的情况下目标跟踪的准确性。
图3示出了本申请实施例提供的另外一种目标跟踪方法。如图3所示，目标跟踪方法可以包括：
S301：判断当前帧图像是否为初始帧；若是，执行S302；若否，执行S304。
具体地，判断当前帧图像是否为初始帧的方式可以是判断目标检测算法中是否存在目标区域特征。若不存在，则确定当前帧图像为初始帧，否则当前帧图像不是初始帧。
S302：采用目标检测算法识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
具体地，上述多个目标中的任意一个目标可以是用户通过拍摄装置120标定的，也可以是目标检测算法默认的。上述目标检测算法可以使用深度学习神经网络训练目标检测模型，可选取的检测模型可以包括但不限于是ssd、faster-rcnn、yolo等模型。本申请实施例以选取的模型为ssd mobilentv2为例进行说明。为了保证网络模型推理的实时性，本申请实施例可以使用nvidia开发的tensorRT对该模型进行量化和压缩。经过量化和压缩后的目标检测模型对单张图像的检测在保证检测精度同时，缩短检测时间。
S303：显示第一结果。
可选地，第一结果包括第一置信度，第一置信度用于表征第一结果的准确 性。例如，第一结果可以是小猫，第一置信度可以是90％。又例如，第一结果可以是小狗，第一置信度可以是50％。
可选地，第一结果包括第一类别及第一空间位置。
S304：判断当前帧图像的拍摄视角与前一帧图像的拍摄视角相比是否发生变化。
具体地，判断当前帧图像的特征点与前一帧图像的特征点的匹配度是否超过第一预设阈值。若匹配度超过第一预设阈值，则确定当前帧图像的拍摄视角与前一帧图像的拍摄视角相比未发生变化。若匹配度不超过第一预设阈值，则确定当前帧图像的拍摄视角与前一帧图像的拍摄视角相比发生变化。其中，第一预设阈值例如但不限于是70％、80％、90％等。
具体地，可以利用ORB特征点检测和匹配算法对每一帧和上一帧的图像进行匹配检测，判断当前视角与上一帧相比是否产生了巨大的变化和差异。
S305：在拍摄视角发生变化的情况下，删除目标跟踪算法中的多个目标各自对应的目标区域特征。
具体地，目标跟踪算法可以包括多个目标各自对应的目标区域特征。在拍摄视角发生变化的情况下，删除目标跟踪算法中的多个目标各自对应的目标区域特征。这样可以将目标跟踪算法中的目标区域进行初始化和更新，避免目标跟踪算法输出的结果产生混乱，导致结果显示异常。
S306：采用目标检测算法识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
具体地，拍摄装置120可以按照预设的频率向目标跟踪装置130发送当前拍摄的帧图像。预设频率例如可以但不限于是30帧每秒等。
具体地，可以采用目标检测算法识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
可能地，若当前帧图像为初始帧，则第一结果可以用于初始化目标跟踪算法中该目标对应的目标区域特征。若当前帧图像不是初始帧，则第一结果可以用于更新目标跟踪算法中该目标对应的目标区域特征。这样可以弥补目标检测算法对于遮挡物体无法检测的问题。
S307：采用目标跟踪算法，根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果。
具体地，本申请实施例可以使用性能总体较优的改进的KCF多目标跟踪算法。不限于使用KCF算法，在具体实现中还可以使用深度学习的算法，或者其他的传统算法，包括但不限于：TLD、Camshift算法等，本申请实施例对采用的目标跟踪算法不做限定。
具体地，可以以前一帧图像的融合结果为依据，采用目标跟踪算法识别前一帧图像的融合结果，确定前一帧图像的融合结果在当前帧图像中的空间位置以及目标的类别。
S308：融合上述第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并在当前帧图像中显示上述融合结果。
可选地，第一结果包括第一类别及第一空间位置，第二结果包括第二类别及第二空间位置。当第一类别与第二类别不一致，和/或第一空间位置与第二空间位置不匹配时，将第一结果作为融合结果，并在当前帧图像中显示上述融合结果。当第一类别与第二类别一致，且第一空间位置与第二空间位置匹配时，确定该目标跟踪结果正确，将第一结果或第二结果作为融合结果，并在当前帧图像中显示上述融合结果。
可知，当第一类别与第二类别不一致，和/或第一空间位置与第二空间位置不匹配时，可以确定该目标跟踪结果不正确，此时需要删除目标跟踪算法中该目标对应的目标区域特征。
可选地，第一结果包括第一置信度，第二结果包括第二置信度。第一置信度用于表征第一结果的准确性。第二置信度用于表征第二结果的准确性。
若第二置信度大于第二预设阈值，表明第二结果的准确性较高，此时，融合第一结果及第二结果具体包括：根据第一置信度和第二置信度的比值融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果。确定融合结果后，在当前帧图像中显示融合结果。
若第二置信度小于或者等于第二预设阈值，表明第二结果的准确性不高，此时融合第一结果及第二结果具体包括：将第一结果作为融合结果。确定融合结果后，可以在当前帧图像中显示融合结果，并删除目标跟踪算法中上述任意一个目标对应的目标区域特征。上述第二预设阈值例如可以但不限于是70％、80％、90％等。
具体地，在当前帧图像中显示融合结果可以是将上述识别目标所在的区域 用矩形框标记出来，并在矩形框上面标明该目标的类别。不限于通过矩形框标记，在具体实现中还可以用圆形标记，本申请对此不做限定。不限于在矩形框上面标明该目标的类别，在具体实现中还可以标明该目标对应的参数，例如某游戏场景中某人物剩余的能量或者某小车剩余的血条等，又例如某人物的性别或年龄等，本申请实施例对此不做限定。
具体地，本申请实施例可以使用逻辑树方式对融合结果进行判断和裁定显示，可以使用优化函数的方式对跟踪结果和检测结果的系数进行优化迭代，可以使用遗传算法进行优化迭代寻找符合当前显示要求的融合系数的最优解。
S309：根据上述融合结果，更新上述目标跟踪算法中上述任意一个目标对应的目标区域特征。
具体地，根据融合结果跟新目标跟踪算法中上述任意一个目标对应的目标区域特征可以推动目标跟踪算法中对目标的紧密跟踪，确保目标识别及目标跟踪的准确性。
本申请实施例可以将检测算法和跟踪算法联合使用，利用跟踪算法对遮挡物体的轨迹判断来弥补检测算法的不足，利用检测算法对当前场景目标的更新来促进跟踪算法的稳定和对新目标的自动更新能力。同时在拍摄视角切换的时候，使用了场景变换的算法监测，保证上一场景中的目标轨迹不会在新场景中混乱的出现，同时最新场景的目标也能及时更新保持住。整个算法的优势互补，在PC部署较为简单，同时整套算法对多目标跟踪效率高。
上述详细阐述了本申请实施例的方法，下面为了便于更好地实施本申请实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关装置。
如图4示出的本申请实施例提供的目标跟踪装置的结构示意图。如图4所示，目标跟踪装置40可以包括：目标检测模块410、目标跟踪模块420及显示融合模块430。其中：
目标检测模块410可以用于识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
目标跟踪模块420可以用于根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果。
显示融合模块430可以用于融合第一结果及第二结果，得到当前帧图像中 上述任意一个目标的融合结果，并在当前帧图像中显示融合结果。
在一种可能的实施例中，目标检测模块410具体用于采用目标检测算法，识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
在一种可能的实施例中，目标跟踪模块420具体用于采用目标跟踪算法，根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出任意一个目标的第二结果。
在一种可能的实施例中，目标跟踪算法包括多个目标各自对应的目标区域特征。
目标跟踪装置40还可以包括视角切换检测模块440，用于检测当前帧图像的拍摄视角与前一帧图像的拍摄视角相比是否发生变化。在拍摄视角发生变化的情况下，删除目标跟踪算法中的多个目标各自对应的目标区域特征。
在一种可能的实施例中，视角切换检测模块440具体用于：判断当前帧图像的特征点与前一帧图像的特征点的匹配度是否超过第一预设阈值。在匹配度不超过第一预设阈值的情况下，删除目标跟踪算法中的多个目标各自对应的目标特征区域。
在一种可能的实施例中，目标跟踪装置40还可以包括更新模块，用于根据融合结果，更新目标跟踪算法中上述任意一个目标对应的目标区域特征。
在一种可能的实施例中，第二结果包括第二置信度，第二置信度用于表征第二结果的准确性。
目标跟踪装置40还可以包括判断模块，用于判断第二置信度是否大于第二预设阈值。
在一种可能的实施例中，第二置信度大于所述第二预设阈值；第一结果包括第一置信度，第一置信度用于表征第一结果的准确性。
显示融合模块430具体用于：根据第一置信度与第二置信度的比值融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并在当前帧图像中显示融合结果。
在一种可能的实施例中，第二置信度小于或者等于第二预设阈值。
显示融合模块430具体用于：将第一结果作为上述任意一个目标的融合结果，并在当前帧图像中显示融合结果。
目标跟踪装置40还可以包括删除模块，用于删除目标跟踪算法中上述任意一个目标对应的目标特征区域。
在一种可能的实施例中，第一结果包括上述任意一个目标的第一类别及第一空间位置，第二结果包括上述任意一个目标的第二类别及第二空间位置。
在一种可能的实施例中，第一类别与第二类别一致，且第一空间位置与第二空间位置匹配。
在一种可能的实施例中，第一类别与第二类别不一致，和/或第一空间位置与第二空间位置不匹配。
显示融合模块430具体用于：将第一结果作为上述任意一个目标的融合结果，并在当前帧图像中显示融合结果。
目标跟踪装置40还可以包括删除模块，用于删除所述目标跟踪算法中所述任意一个目标对应的目标特征区域。
在一种可能的实施例中，目标检测算法为经过量化及压缩后的算法。
在一种可能的实施例中，目标跟踪算法为核相关滤波KCF算法。
图5示出了本申请实施例提供的另一种目标跟踪装置的结构示意图，目标跟踪装置50可以包括：至少一个处理器501，例如CPU，至少一个网络接口504，用户接口503，存储器505，至少一个通信总线502，显示屏506。其中，通信总线502用于实现这些组件之间的连接通信。其中，用户接口503可以包括触摸屏、键盘或鼠标等等。网络接口504可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口504可以与服务器建立通信连接。存储器505可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，存储器505包括本发明实施例中的flash。存储器505可选的还可以是至少一个位于远离前述处理器501的存储系统。如图5所示，作为一种计算机存储介质的存储器505中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是，网络接口504可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本发明实施例中控制飞行器飞行的设备也可以包括接收器、发射器和其他通信模块等。
处理器501可以用于调用存储器505中存储的程序指令，并执行以下操作：
识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出在一种可能的实施例中，任意一个目标的第二结果。
融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示融合结果。
在一种可能的实施例中，处理器501执行识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果时，具体执行：采用目标检测算法，识别当前帧图像的多个目标中的任意一个目标，输出上述任意一个目标的第一结果。
在一种可能的实施例中，处理器501执行根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果时，具体执行：采用目标跟踪算法，根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果。
在一种可能的实施例中，目标跟踪算法包括多个目标各自对应的目标区域特征。
处理器501执行采用目标检测算法识别当前帧图像的多个目标中的任意一个目标之前，还执行：判断当前帧图像的拍摄视角与前一帧图像的拍摄视角相比是否发生变化；在拍摄视角发生变化的情况下，删除目标跟踪算法中的多个目标各自对应的目标区域特征。
在一种可能的实施例中，处理器501执行判断当前帧图像的拍摄视角与前一帧图像的拍摄视角相比是否发生变化时，具体执行：判断当前帧图像的特征点与前一帧图像的特征点的匹配度是否超过第一预设阈值。
处理器501执行在拍摄视角发生变化的情况下，删除目标跟踪算法中的目标区域特征时，具体执行：在匹配度不超过第一预设阈值的情况下，删除目标跟踪算法中的多个目标各自对应的目标特征区域。
在一种可能的实施例中，处理器501执行融合第一结果及第二结果，得到当前帧图像中所述任意一个目标的融合结果，并通过显示屏506在当前帧图像 中显示融合结果之后，还执行：根据融合结果，更新目标跟踪算法中上述任意一个目标对应的目标区域特征。
在一种可能的实施例中，第二结果包括第二置信度，第二置信度用于表征第二结果的准确性。
处理器501执行采用目标跟踪算法，根据当前帧图像的前一帧图像的融合结果识别当前帧图像中的上述任意一个目标，输出上述任意一个目标的第二结果之后，处理器501执行融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示融合结果之前，还执行：判断第二置信度是否大于第二预设阈值。
在一种可能的实施例中，第二置信度大于第二预设阈值；第一结果包括第一置信度，第一置信度用于表征第一结果的准确性。
处理器501执行融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示所述融合结果时，具体执行：根据第一置信度与第二置信度的比值融合所述第一结果及所述第二结果，得到当前帧图像中上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示融合结果。
在一种可能的实施例中，第二置信度小于或者等于第二预设阈值。
处理器501执行融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并在当前帧图像中显示融合结果时，具体执行：将第一结果作为上述任意一个目标的融合结果，并在当前帧图像中显示融合结果。
处理器501执行通过显示屏506在当前帧图像中显示所述融合结果后，还执行：删除目标跟踪算法中上述任意一个目标对应的目标特征区域。
在一种可能的实施例中，第一结果包括上述任意一个目标的第一类别及第一空间位置，第二结果包括上述任意一个目标的第二类别及第二空间位置。
在一种可能的实施例中，第一类别与第二类别一致，且第一空间位置与第二空间位置匹配。
在一种可能的实施例中，第一类别与第二类别不一致，和/或第一空间位置与第二空间位置不匹配。
处理器501执行融合第一结果及第二结果，得到当前帧图像中上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示融合结果时，具体 执行：将第一结果作为上述任意一个目标的融合结果，并通过显示屏506在当前帧图像中显示融合结果。
处理器501执行在当前帧图像中显示融合结果后，还执行：删除目标跟踪算法中上述任意一个目标对应的目标特征区域。
在一种可能的实施例中，目标检测算法为经过量化及压缩后的算法。
在一种可能的实施例中，目标跟踪算法为核相关滤波KCF算法。
可理解的是，本实施例的目标跟踪装置50的功能可根据上述方法实施例中的方法具体实现，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体RAM等。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (29)
- 一种目标跟踪方法，其特征在于，包括：识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果；根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果；融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
- 如权要求1所述的方法，其特征在于，所述识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果，包括：采用目标检测算法，识别当前帧图像的对个目标中的任意一个目标，输出所述任意一个目标的第一结果。
- 如权利要求2所述的方法，其特征在于，所述根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果，包括：采用目标跟踪算法，根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果。
- 如权利要求3所述的方法，其特征在于，所述目标跟踪算法包括所述多个目标各自对应的目标区域特征；所述采用目标检测算法识别当前帧图像的多个目标中的任意一个目标之前，所述方法还包括：判断所述当前帧图像的拍摄视角与所述前一帧图像的拍摄视角相比是否发生变化；在拍摄视角发生变化的情况下，删除所述目标跟踪算法中的所述多个目标各自对应的目标区域特征。
- 如权利要求4所述的方法，其特征在于，所述判断所述当前帧图像的拍摄视角与所述前一帧图像的拍摄视角相比是否发生变化，包括：判断所述当前帧图像的特征点与所述前一帧图像的特征点的匹配度是否超过第一预设阈值；所述在拍摄视角发生变化的情况下，删除所述目标跟踪算法中的所述目标区域特征，包括：在所述匹配度不超过所述第一预设阈值的情况下，删除所述目标跟踪算法中的所述多个目标各自对应的目标特征区域。
- 如权利要求4或5所述的方法，其特征在于，所述融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果之后，所述方法还包括：根据所述融合结果，更新所述目标跟踪算法中所述任意一个目标对应的目标区域特征。
- 如权利要求4-6任一项所述的方法，其特征在于，所述第二结果包括第二置信度，所述第二置信度用于表征所述第二结果的准确性；所述采用目标跟踪算法，根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果之后，所述融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果之前，所述方法还包括：判断所述第二置信度是否大于第二预设阈值。
- 如权利要求7所述的方法，其特征在于，所述第二置信度大于所述第二预设阈值；所述第一结果包括第一置信度，所述第一置信度用于表征所述第一结果的准确性；所述融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果，包括：根据所述第一置信度与所述第二置信度的比值融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
- 如权利要求7所述的方法，其特征在于，所述第二置信度小于或者等于所述第二预设阈值；所述融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果，包括：将所述第一结果作为所述任意一个目标的融合结果，并在所述当前帧图像 中显示所述融合结果；所述在所述当前帧图像中显示所述融合结果后，所述方法还包括：删除所述目标跟踪算法中所述任意一个目标对应的目标特征区域。
- 如权利要求4-9任一项所述的方法，其特征在于，所述第一结果包括所述任意一个目标的第一类别及第一空间位置，所述第二结果包括所述任意一个目标的第二类别及第二空间位置。
- 如权利要求10所述的方法，其特征在于，所述第一类别与所述第二类别一致，且所述第一空间位置与所述第二空间位置匹配。
- 如权利要求10所述的方法，其特征在于，所述第一类别与所述第二类别不一致，和/或所述第一空间位置与所述第二空间位置不匹配；所述融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果，包括：将所述第一结果作为所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果；所述在所述当前帧图像中显示所述融合结果后，所述方法还包括：删除所述目标跟踪算法中所述任意一个目标对应的目标特征区域。
- 如权利要求2-12任一项所述的方法，其特征在于，所述目标检测算法为经过量化及压缩后的算法。
- 如权利要求3-13任一项所述的方法，其特征在于，所述目标跟踪算法为核相关滤波KCF算法。
- 一种目标跟踪装置，其特征在于，包括：存储器及处理器；所述存储器用于存储程序指令，所述处理器用于调用所述存储器中的程序指令执行如下操作：识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果；根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果；融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
- 如权利要求15所述的装置，其特征在于，所述处理器执行识别当前 帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果时，具体执行：采用目标检测算法，识别当前帧图像的多个目标中的任意一个目标，输出所述任意一个目标的第一结果。
- 如权利要求16所述的装置，其特征在于，所述处理器执行根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果时，具体执行：采用目标跟踪算法，根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果。
- 如权利要求17所述的装置，其特征在于，所述目标跟踪算法包括所述多个目标各自对应的目标区域特征；所述处理器执行采用目标检测算法识别当前帧图像的多个目标中的任意一个目标之前，还执行：判断所述当前帧图像的拍摄视角与所述前一帧图像的拍摄视角相比是否发生变化；在拍摄视角发生变化的情况下，删除所述目标跟踪算法中的所述多个目标各自对应的目标区域特征。
- 如权利要求18所述的装置，其特征在于，所述处理器执行判断所述当前帧图像的拍摄视角与所述前一帧图像的拍摄视角相比是否发生变化时，具体执行：判断所述当前帧图像的特征点与所述前一帧图像的特征点的匹配度是否超过第一预设阈值；所述处理器执行在拍摄视角发生变化的情况下，删除所述目标跟踪算法中的所述目标区域特征时，具体执行：在所述匹配度不超过所述第一预设阈值的情况下，删除所述目标跟踪算法中的所述多个目标各自对应的目标特征区域。
- 如权利要求18或19所述的装置，其特征在于，所述处理器执行融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果之后，还执行：根据所述融合结果，更新所述目标跟踪算法中所述任意一个目标对应的目标区域特征。
- 如权利要求18-20任一项所述的装置，其特征在于，所述第二结果包括第二置信度，所述第二置信度用于表征所述第二结果的准确性；所述处理器执行采用目标跟踪算法，根据所述当前帧图像的前一帧图像的融合结果识别所述当前帧图像中的所述任意一个目标，输出所述任意一个目标的第二结果之后，所述处理器执行融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果之前，还执行：判断所述第二置信度是否大于第二预设阈值。
- 如权利要求21所述的装置，其特征在于，所述第二置信度大于所述第二预设阈值；所述第一结果包括第一置信度，所述第一置信度用于表征所述第一结果的准确性；所述处理器执行融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果时，具体执行：根据所述第一置信度与所述第二置信度的比值融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果。
- 如权利要求21所述的装置，其特征在于，所述第二置信度小于或者等于所述第二预设阈值；所述处理器执行融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果时，具体执行：将所述第一结果作为所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果；所述处理器执行在所述当前帧图像中显示所述融合结果后，还执行：删除所述目标跟踪算法中所述任意一个目标对应的目标特征区域。
- 如权利要求18-23任一项所述的装置，其特征在于，所述第一结果包括所述任意一个目标的第一类别及第一空间位置，所述第二结果包括所述任意一个目标的第二类别及第二空间位置。
- 如权利要求24所述的装置，其特征在于，所述第一类别与所述第二类别一致，且所述第一空间位置与所述第二空间位置匹配。
- 如权利要求24所述的装置，其特征在于，所述第一类别与所述第二类别不一致，和/或所述第一空间位置与所述第二空间位置不匹配；所述处理器执行融合所述第一结果及所述第二结果，得到所述当前帧图像中所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果时，具体执行：将所述第一结果作为所述任意一个目标的融合结果，并在所述当前帧图像中显示所述融合结果；所述处理器执行在所述当前帧图像中显示所述融合结果后，还执行：删除所述目标跟踪算法中所述任意一个目标对应的目标特征区域。
- 如权利要求16-26任一项所述的装置，其特征在于，所述目标检测算法为经过量化及压缩后的算法。
- 如权利要求17-27任一项所述的装置，其特征在于，所述目标跟踪算法为核相关滤波KCF算法。
- 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/093266 WO2021237678A1 (zh) | 2020-05-29 | 2020-05-29 | 目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/093266 WO2021237678A1 (zh) | 2020-05-29 | 2020-05-29 | 目标跟踪方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021237678A1 true WO2021237678A1 (zh) | 2021-12-02 |
Family
ID=78745483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/093266 Ceased WO2021237678A1 (zh) | 2020-05-29 | 2020-05-29 | 目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2021237678A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240992A (zh) * | 2021-12-20 | 2022-03-25 | 北京安捷智合科技有限公司 | 对帧序列中目标对象的标注方法及系统 |
| CN114511577A (zh) * | 2021-12-24 | 2022-05-17 | 影石创新科技股份有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN115937256A (zh) * | 2022-12-27 | 2023-04-07 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置以及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259962A (zh) * | 2013-04-17 | 2013-08-21 | 深圳市捷顺科技实业股份有限公司 | 一种目标追踪方法和相关装置 |
| CN104966304A (zh) * | 2015-06-08 | 2015-10-07 | 深圳市赛为智能股份有限公司 | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 |
| US20190122372A1 (en) * | 2017-10-25 | 2019-04-25 | Institute For Information Industry | Object detection and tracking method and system |
| CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
| CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
-
2020
- 2020-05-29 WO PCT/CN2020/093266 patent/WO2021237678A1/zh not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259962A (zh) * | 2013-04-17 | 2013-08-21 | 深圳市捷顺科技实业股份有限公司 | 一种目标追踪方法和相关装置 |
| CN104966304A (zh) * | 2015-06-08 | 2015-10-07 | 深圳市赛为智能股份有限公司 | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 |
| US20190122372A1 (en) * | 2017-10-25 | 2019-04-25 | Institute For Information Industry | Object detection and tracking method and system |
| CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
| CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240992A (zh) * | 2021-12-20 | 2022-03-25 | 北京安捷智合科技有限公司 | 对帧序列中目标对象的标注方法及系统 |
| CN114511577A (zh) * | 2021-12-24 | 2022-05-17 | 影石创新科技股份有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN115937256A (zh) * | 2022-12-27 | 2023-04-07 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507210A (zh) | 交通信号灯的识别方法、系统、计算设备和智能车 | |
| CN108521808B (zh) | 一种障碍信息显示方法、显示装置、无人机及系统 | |
| CN113657163B (zh) | 行为识别方法、电子装置和存储介质 | |
| WO2017054455A1 (zh) | 一种监控视频中运动目标的阴影检测方法、系统 | |
| CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
| CN108401457A (zh) | 一种曝光的控制方法、装置以及无人机 | |
| KR102595787B1 (ko) | 전자 장치 및 그 제어 방법 | |
| WO2018176376A1 (zh) | 一种环境信息采集方法、地面站及飞行器 | |
| CN115249407A (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
| EP4080479A2 (en) | Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system | |
| CN104680514A (zh) | 使用特征点匹配的图像匹配方法 | |
| CN110263654A (zh) | 一种火焰检测方法、装置及嵌入式设备 | |
| CN115423961A (zh) | 地图构建方法及装置、自移动设备、计算机可读存储介质 | |
| CN115527189B (zh) | 车位状态的检测方法、终端设备及计算机可读存储介质 | |
| CN115937256B (zh) | 目标跟踪方法、装置以及设备 | |
| US20210103759A1 (en) | Database Construction Method, Positioning Method, and Related Device | |
| CN111080537B (zh) | 水下机器人智能控制方法、介质、设备及系统 | |
| CN113454684B (zh) | 一种关键点标定方法和装置 | |
| CN117746134A (zh) | 检测框的标签生成方法、装置、设备以及存储介质 | |
| CN115937950B (zh) | 一种多角度人脸数据采集方法、装置、设备及存储介质 | |
| CN115601699A (zh) | 一种安全帽佩戴检测方法、电子设备以及计算机可读介质 | |
| CN115100687A (zh) | 生态区内的鸟类检测方法、装置以及电子设备 | |
| WO2020019111A1 (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
| CN116259115B (zh) | 一种活体检测模型训练方法、装置、存储介质及电子设备 | |
| CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20937654 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20937654 Country of ref document: EP Kind code of ref document: A1 |