WO2020182176A1 - 控制球机与枪机联动的方法、装置及介质 - Google Patents

控制球机与枪机联动的方法、装置及介质 Download PDF

Info

Publication number
WO2020182176A1
WO2020182176A1 PCT/CN2020/078910 CN2020078910W WO2020182176A1 WO 2020182176 A1 WO2020182176 A1 WO 2020182176A1 CN 2020078910 W CN2020078910 W CN 2020078910W WO 2020182176 A1 WO2020182176 A1 WO 2020182176A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring image
dome camera
camera
image
coordinate position
Prior art date
Application number
PCT/CN2020/078910
Other languages
English (en)
French (fr)
Inventor
刘昊鹏
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2020182176A1 publication Critical patent/WO2020182176A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Definitions

  • the determining the coordinate position of the specific point of the first monitoring image in the second monitoring image includes: determining the position of the specific point of the first monitoring image in the second monitoring image according to the mapping matrix Coordinate position.
  • the first adjustment parameter includes a rotation angle.
  • the first adjustment parameter is the rotation angle
  • the rotation angle is used for the dome camera to adjust the center position of the second monitoring image to coincide with the first monitoring image.
  • control method further includes:
  • the adjustment parameter includes a rotation angle
  • the determining the adjustment parameter of the dome camera according to the axis offset coordinate position includes:
  • the rotation angle of the dome camera is determined according to the axis offset and the current focal length of the dome camera.
  • the first adjustment parameter includes a rotation angle.
  • the first adjustment parameter includes image magnification.
  • an embodiment of the present application provides a readable storage medium, including a program or instruction, and when the program or instruction runs on a computing device, the method according to any one of the first aspect is executed.
  • FIG. 7 is a schematic diagram of the coordinate position of the diagonal point of the first surveillance image in the second surveillance image and the coordinate position of the diagonal point of the second surveillance image;
  • FIG. 8 is a flowchart of a method for controlling the linkage of a dome camera and a bolt camera according to still another embodiment of the application;
  • FIG. 12 is a schematic structural diagram of a dome camera control device provided by another embodiment of the application.
  • the control device determines the image magnification ratio of the dome camera relative to the gun camera according to the coordinate position of the diagonal point , So that the dome camera determines the adjusted magnification according to the image magnification.
  • the adjusted magnification is the product of the current magnification of the dome camera and the reciprocal of the image magnification. It can be understood that the adjusted dome magnification is consistent with the magnification of the camera.
  • Step 301 Obtain a first surveillance image collected by a gun camera and a second surveillance image collected by a dome camera; the first surveillance image and the second surveillance image are surveillance images of the same scene from different perspectives;
  • the third monitoring image is the monitoring image adjusted by the dome camera according to the first adjustment parameter.
  • the coordinate position of the specific point of the first monitoring image in the third monitoring image is determined according to the mapping matrix, and the specific point includes a center point and/or a diagonal point.
  • the calculation process of the mapping matrix is the same as that of the embodiment shown in FIG. 2, and will not be repeated here.
  • the process of determining the coordinate position of the specific point of the first surveillance image in the third surveillance image is the same as the embodiment shown in FIG. 4 and FIG. 5, and will not be repeated here.
  • This application provides a dome camera control device, which can be used to execute the method steps corresponding to the embodiment shown in FIG. 4, and its implementation principles and technical effects are similar, and will not be repeated here.
  • the acquiring module 71 is configured to acquire a first monitoring image collected by the dome camera at a first magnification, and a second monitoring image collected by the dome camera at a second magnification;
  • This application provides a dome camera control device, which can be used to execute the method steps corresponding to the embodiment shown in FIG. 9, and its implementation principles and technical effects are similar, and will not be repeated here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种控制球机与枪机联动的方法、装置及介质，该方法包括：控制装置获取枪机采集的第一监控图像和球机采集的第二监控图像，确定第一监控图像的特定点在第二监控图像中的坐标位置，从而确定出球机的第一调节参数，使用第一调节参数对球机进行调节，使得第二监控图像与第一监控图像的图像重合，实现对枪机和球机的自动标定。

Description

控制球机与枪机联动的方法、装置及介质 技术领域
本申请实施例涉及通信技术领域，尤其涉及一种控制球机与枪机联动的方法、装置及介质。
背景技术
随着社会科技的发展，人们安防意识的提高，现代化的安防监控技术得到广泛的应用，安防监控技术不仅向着网络化、数字化、智能化、模块化发展，同时各种先进的安防监控手段相互嵌入、联动、互补，使得现代安防监控产品日趋成熟实用。例如，视频监控系统用于监控十字路口、街道等场景。
目前，传统的视频监控系统为固定形式的摄像头，需要人工进行目标跟踪、观察，长时间的不间断的实时监控，监控人员一旦出现疏忽就会出现监控的漏洞，这种监控方式不仅提高的监控人员的工作强度，而且监控效率很低，无效监控太多。对于需要监控到大范围超广角的场景，又需要对场景中的细节进行监控时，通常会用到枪球联动系统。枪球联动系统包括枪机和球机，其中枪机的视场角广，用于监控较大场景，球机变倍后可观察场景细节，通过枪球联动系统实现对某一场景的监控。
实现枪机和球机的联动之前，需要对枪机和球机进行标定，即画面校准，现有的枪球联动系统需要监控人员靠肉眼手动进行枪球和球机的标定过程，标定效果较差。
发明内容
本申请实施例提供一种控制球机与枪机联动的方法、装置及介质，实现对枪机和球机的自动标定。
第一方面，本申请实施例提供一种控制球机与枪机联动的方法，包括：
获取枪机采集的第一监控图像和球机采集的第二监控图像；所述第一监控图像和所述第二监控图像为同一场景不同视角的监控图像；
确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置；
根据所述坐标位置确定所述球机的第一调节参数；
向所述球机发送第一控制指令，所述第一控制指令包括所述第一调节参数，所述第一控制指令用于指示所述球机根据所述第一调节参数调节所述第二监控图像与所述第一监控图像的图像重合。
通过确定第一监控图像的特定点在第二监控图像中的坐标位置，根据第一监控图像与第二监控图像的特定点的坐标位置计算得到球机的第一调节参数，向球机发送包括该第一调节参数的第一控制指令，以使球机根据第一控制指令中的第一调节参数调节第二监控图像与第一监控图像的图像重合，实现枪机和球机监控图像的自动调节过程，与手动调节相比，提高了枪机和球机监控图像的图像重合度，标定准确率更高。
可选地，所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置之前，包括：
分别对所述第一监控图像和所述第二监控图像进行特征点提取；
确定所述第一监控图像和所述第二监控图像中存在对应关系的特征点集合；
根据所述特征点集合计算所述映射矩阵；
所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置，包括：根据所述映射矩阵确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置。
通过对第一监控图像和第二监控图像的特征点提取，确定映射矩阵，根据该映射矩阵可以确定第一监控图像中任一特征点在第二监控图像中的坐标位置，该坐标位置的确定比较准确。
可选地，所述第一调节参数包括转动角度。当特定点为中心点时，第一调节参数为转动角度，转动角度用于球机调节第二监控图像与第一监控图像的中心位置重合。
可选地，所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置，包括：确定所述第一监控图像的中心点在所述第二监控图像中的第一坐标位置；
所述根据所述坐标位置确定所述球机的第一调节参数，包括：
获取所述第二监控图像的中心点的第二坐标位置；
根据所述第二坐标位置和所述第一坐标位置确定所述球机的中心点的移动距离；
根据所述移动距离确定所述球机的转动角度。
上述移动距离包括水平移动距离和/或垂直移动距离，对应的，转动角度包括水平转动角度和/或垂直转动角度，球机根据转动角度调节第二监控图像与第一监控图像的中心位置重合。
可选地，所述根据所述移动距离确定所述球机的转动角度，包括：
获取所述球机的当前焦距；
根据所述移动距离和所述当前焦距确定所述球机的转动角度。
通过确定第一监控图像的中心点在第二监控图像中的第一坐标位置，同时获取第二监控图像的中心点的第二坐标位置，根据第一坐标位置和第二坐标位置确定球机中心点的移动距离，根据移动距离和球机当前焦距确定球机的转动角度，球机根据转动角度调节第二监控图像与第一监控图像的中心位置重合，实现对枪机和球机监控图像中心位置的自动调节过程，与手动调节相比，提高了图像中心位置的重合度。
可选地，所述第一调节参数包括图像放大倍率。当特定点为对角点时，第一调 节参数包括图像放大倍率，图像放大倍率用于球机调节自身当前的放大倍率，以使第二监控图像与第一监控图像的放大倍率一致。
可选地，所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置，包括：确定所述第一监控图像的对角点在所述第二监控图像中的第三坐标位置；
所述根据所述坐标位置确定所述球机的第一调节参数，包括：
获取所述第二监控图像的对角点的第四坐标位置；
根据所述第四坐标位置和所述第三坐标位置确定所述球机相对于所述枪机的图像放大倍率。
通过确定第一监控图像的对角点在第二监控图像中的第三坐标位置，同时获取第二监控图像的对角点的第四坐标位置，根据第三坐标位置和第四坐标位置确定球机相对于枪机的图像放大比倍率，球机根据图像放大倍率调节球机当前的放大倍率，实现对枪机和球机监控图像的放大倍率的自动调节过程，提高了图像放大倍率调节的准确率。
可选地，所述控制方法，还包括：
获取调节后的所述球机的第三监控图像；
确定所述第一监控图像的特定点在所述第三监控图像中的坐标位置；
根据所述坐标位置确定所述球机的第二调节参数；
判断所述第二调节参数是否满足预设条件，若满足预设条件，则停止对所述球机的参数调节，若不满足预设条件，则向所述球机发送第二控制指令，所述第二控制指令包括所述第二调节参数，所述第二控制指令用于指示所述球机根据第二调节参数调节所述第三监控图像与所述第一监控图像的图像重合。
由于一次图像调节可能不满足图像重合度要求，因此在一次图像调节后再次获取球机的第三监控图像，第三监控图像为球机根据第一调节参数调节后的监控图像，确定枪机第一监控图像的特定点在该第三监控图像中的坐标位置，根据第一监控图像和第三监控图像的特定点的坐标位置计算得到球机的第二调节参数，若第二调节参数满足预设条件则停止对球机的参数调节，若第二调节参数不满足预设调节则向球机发送包括第二调节参数的第二控制指令，以使球机根据第二调节参数进一步调节第三监控图像与第一监控图像的图像重合，解决了一次图像调节过程不能满足图像重合度要求的问题。
可选地，所述控制方法，还包括：
若对所述球机的参数调节的次数大于预设次数，则停止对所述球机的参数调节。
预设次数的设置避免上述图像调节过程进入死循环。
第二方面，本申请实施例提供一种控制球机与枪机联动的方法，包括：
获取球机在第一放大倍率下采集的第一监控图像，以及所述球机在第二放大倍率下采集的第二监控图像；
分别对所述第一监控图像和所述第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
根据所述至少一组特征点在所述第一监控图像和所述第二监控图像的坐标位置确定所述球机的轴偏坐标位置；
根据所述轴偏坐标位置确定所述球机的调节参数，向所述球机发送控制指令，所述控制指令包括调节参数，所述控制指令用于指示所述球机根据所述调节参数调节所述第二监控图像与所述第一监控图像的中心位置重合。
通过对球机不同放大倍率下采集的第一监控图像和第二监控图像的特征点提取，确定匹配度最高的至少一组特征点，根据至少一组特征点在两幅监控图像的坐标位置确定球机的轴偏坐标位置，根据轴偏坐标位置确定球机的调节参数，向球机发送包括调节参数的控制指令，以使球机根据调节参数调节第一监控图像与第二监控图像的中心位置重合，实现对球机自身轴偏量的自动调节，提高球机使用中对目标的跟踪效果。
可选地，所述调节参数包括转动角度；所述根据所述轴偏坐标位置确定所述球机的调节参数，包括：
根据所述轴偏坐标位置、所述第一放大倍率和所述第二放大倍率，确定所述第一监控图像的中心点在所述第二监控图像的第一坐标位置；
根据所述第一坐标位置和所述第二监控图像的中心点的第二坐标位置，确定所述球机的轴偏量；
根据所述轴偏量和所述球机的当前焦距确定所述球机的转动角度。
上述偏轴量包括水平偏轴量和/或垂直偏轴量，对应的，转动角度包括水平转动角度和/或垂直转动角度。球机根据转动角度调节第二监控图像与第一监控图像的中心位置重合。
第三方面，本申请实施例提供一种球机控制装置，包括：
获取模块，用于获取枪机采集的第一监控图像和球机采集的第二监控图像；所述第一监控图像和所述第二监控图像为同一场景不同视角的监控图像；
确定模块，用于确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置；
所述确定模块，还用于根据所述坐标位置确定所述球机的第一调节参数；
发送模块，用于向所述球机发送第一控制指令，所述第一控制指令包括所述第一调节参数，所述第一控制指令用于指示所述球机根据所述第一调节参数调节所述第二监控图像与所述第一监控图像的图像重合。
补充方案：可选地，所述确定模块，还用于在确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置之前，分别对所述第一监控图像和所述第二监控图像进行特征点提取；
确定所述第一监控图像和所述第二监控图像中存在对应关系的特征点集合；
根据所述特征点集合计算所述映射矩阵；
所述确定模块，具体用于根据所述映射矩阵确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置。
可选地，所述第一调节参数包括转动角度。
可选地，所述确定模块，具体用于：确定所述第一监控图像的中心点在所述第二监控图像中的第一坐标位置；
获取所述第二监控图像的中心点的第二坐标位置；
根据所述第二坐标位置和所述第一坐标位置确定所述球机的中心点的移动距离；
根据所述移动距离确定所述球机的转动角度。
可选地，所述确定模块，具体用于：获取所述球机的当前焦距；
根据所述移动距离和所述当前焦距确定所述球机的转动角度。
可选地，所述第一调节参数包括图像放大倍率。
可选地，所述确定模块，具体用于：确定所述第一监控图像的对角点在所述第二监控图像中的第三坐标位置；
获取所述第二监控图像的对角点的第四坐标位置；
根据所述第四坐标位置和所述第三坐标位置确定所述球机相对于所述枪机的图像放大倍率。
补充方案：可选地，所述控制装置还包括：判断模块；
所述确定模块，还用于获取调节后的所述球机的第三监控图像；
确定所述第一监控图像的特定点在所述第三监控图像中的坐标位置；
根据所述坐标位置确定所述球机的第二调节参数；
所述判断模块，用于判断所述第二调节参数是否满足预设条件，若满足预设条件，则停止对所述球机的参数调节，若不满足预设条件，则所述发送模块，还用于向所述球机发送第二控制指令，所述第二控制指令包括所述第二调节参数，所述第二控制指令用于指示所述球机根据第二调节参数调节所述第三监控图像与所述第一监控图像的图像重合。
第四方面，本申请实施例提供一种球机控制装置，包括：
获取模块，用于获取球机在第一放大倍率下采集的第一监控图像，以及所述球机在第二放大倍率下采集的第二监控图像；
提取模块，用于分别对所述第一监控图像和所述第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
确定模块，用于根据所述至少一组特征点在所述第一监控图像和所述第二监控图像的坐标位置确定所述球机的轴偏坐标位置；
所述确定模块，还用于根据所述轴偏坐标位置确定所述球机的调节参数；
发送模块，用于向所述球机发送控制指令，所述控制指令包括调节参数，所述控制指令用于指示所述球机根据所述调节参数调节所述第二监控图像与所述第一监控图像的中心位置重合。
可选地，所述调节参数包括转动角度；所述确定模块，具体用于：根据所述轴偏坐标位置、所述第一放大倍率和所述第二放大倍率，确定所述第一监控图像的中心点在所述第二监控图像的第一坐标位置；
根据所述第一坐标位置和所述第二监控图像的中心点的第二坐标位置，确定所述球机的轴偏量；
根据所述轴偏量和所述球机的当前焦距确定所述球机的转动角度。
第五方面，本申请实施例提供一种球机控制装置，包括：处理器，接口；所述处理器执行计算机执行指令，使得所述处理器执行如第一方面任一项或者如第二方面任一项所述的方法；所述处理器通过所述接口获取枪机和球机采集的监控图像。
第六方面，本申请实施例提供一种球机控制装置，包括：如第五方面所述的球机控制装置，其中：
所述球机控制装置是枪机云台组件，所述处理器为枪机云台组件内的控制芯片；或者
所述球机控制装置是球机云台组件，所述处理器为球机云台组件内的控制芯片；或者
所述球机控制装置是独立于枪机云台组件和球机云台组件的主控设备，所述处理器是独立于枪机云台组件和球机云台组件的主控设备的控制芯片。
第七方面，本申请实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算设备上运行时，如第一方面任一项所述的方法被执行。
第八方面，本申请实施例提供一种可读存储介质，包括程序或指令，当所述程序或指令在计算设备上运行时，如第二方面任一项所述的方法被执行。
本申请提供一种控制球机与枪机联动的方法、装置及介质，该方法包括：控制装置获取枪机采集的第一监控图像和球机采集的第二监控图像，确定第一监控图像的特定点在第二监控图像中的坐标位置，从而确定出球机的第一调节参数，使用第一调节参 数对球机进行调节，使得第一监控图像与第二监控图像的图像重合，实现对枪机和球机的自动标定。
附图说明
图1a为本申请一实施例提供的枪球联动系统的结构示意图；
图1b为本申请另一实施例提供的枪球联动系统的结构示意图；
图2为本申请一实施例提供的控制球机与枪机联动的方法的流程图；
图3a为本申请实施例提供的第一监控图像的示意图；
图3b为本申请实施例提供的第二监控图像的示意图；
图4为本申请另一实施例提供的控制球机与枪机联动的方法的流程图；
图5为本申请又一实施例提供的控制球机与枪机联动的方法的流程图；
图6为第一监控图像中心点在第二监控图像中的坐标位置与第二监控图像中心点的坐标位置的示意图；
图7为第一监控图像对角点在第二监控图像中的坐标位置与第二监控图像对角点的坐标位置的示意图；
图8为本申请再一实施例提供的控制球机与枪机联动的方法的流程图；
图9为本申请又一实施例提供的控制球机与枪机联动的方法的流程图；
图10为本申请一实施例提供的球机控制装置的结构示意图；
图11为本申请另一实施例提供的球机控制装置的结构示意图；
图12为本申请又一实施例提供的球机控制装置的结构示意图；
图13为本申请一实施例提供的球机控制装置的硬件结构示意图。
具体实施方式
本申请实施例提供的控制方法可应用在枪球联动系统中。枪球联动系统包括枪机和球机，其中，枪机是监控类摄像机的一种，可以采用C/CS镜头接口，可以连接镜头，监控视野大；球机是可以变焦的摄像机，通过镜头变焦可以看到更多的细节，形状可以是球型，也可以是其他形状。枪球联动系统结合了枪机和球机两者的优点，既能看到较广的视野，又能捕捉到远处的细节。
枪球联动系统的标定过程，即对枪机和球机画面的校准过程，通过至少一组特征点来校准枪机和球机画面一致。画面一致是指枪机与球机画面的中心点位置重合，且枪机和球机画面对同一目标物体的放大倍率一致。画面一致性越好，标定效果越好。目前现有的联动系统都是采用手动方式进行画面校准，手动调节受到人眼影响会产生不同的误差，进而影响最终的标定结果。对于联动系统，通常在安装设备之后进行一次标定，在设备使用过程中，也可以根据实际需要进行标定。
本申请实施例提供的控制球机与枪机联动的方法，通过获取当前枪机和球机各自采集的监控图像，确定两幅图像中相匹配的特征点，根据特征点计算两幅图像的映射矩阵，根据映射矩阵和图像中的特定点确定球机的调节参数，球机根据调节参数调节当前两幅图像的画面重合，实现对枪机和球机的自动标定，提高了调节图像重合的准确率。需要说明的是，本申请实施例提供的控制方法除了应用于枪球联动系统之外，还可以应用于其他联动系统，例如筒机和球机联动系统，球机和球机联 动系统等。
需要说明的是，随着时间的变化，摄像机所采集的监控图像的图像内容可以不同。因此，本发明实施例中所描述的第一监控图像、第二监控图像，分别是指：在执行相应步骤时，所述枪机、所述球机所采集到的图像内容。因此，在步骤101中获取的所述第一监控图像和所述第二监控图像的图像内容，与步骤104标定完成之后第一、第二监控图像的图像内容可以不一致。下面举例说明这个情况：在10:00时执行步骤101，此时有行人进入所述球机和所述枪机的摄像范围，那么第一监控图像和第二监控图像中会有行人；在10:01执行步骤104，此时行人离开所述球机和所述枪机的监控范围，这意味着在完成标定之后，所述第一监控图像和所述第二监控图像中没有行人。
下面对本申请实施例提供的枪球联动系统进行详细介绍，图1a为本申请一实施例提供的枪球联动系统的结构示意图，图1b为本申请另一实施例提供的枪球联动系统的结构示意图。
如图1a所示，枪球联动系统包括主控设备、枪机云台组件和球机云台组件，主控设备分别与枪机云台组件和球机云台组件连接。其中枪机云台组件包括枪机、驱动枪机运动的枪机电机以及控制枪机电机转动的枪机云台控制模块，枪机云台控制模块运行在枪机的处理器上；球机云台组件包括球机、驱动球机运动的球机电机以及控制球机电机转动的球机云台控制模块，球机云台控制模块运行在球机的处理器上。枪机云台控制模块，可以是软件模块或者也可以是芯片(或芯片的组合)。球机云台控制模块，可以是软件模块，也可以是芯片(或芯片的组合)。
主控设备包括主控模块，通信模块和图像信号处理器，枪机和球机均与图像信号处理器连接，枪机云台控制模块和球机云台控制模块均连接主控模块，通信模块连接上位机。主控模块运行在主控设备的处理器上，图像处理器接收枪机和球机采集的监控图像，对监控图像进行预处理(格式转换)。基于上述枪球联动系统，本实施例提供的控制方法的执行主体为主控设备的处理器。
如图1b所示，枪球联动系统包括枪机云台组件和球机云台组件，枪机云台组件和球机云台组件连接。枪机云台组件包括枪机、驱动枪机运动的枪机电机、图像信号处理器ISP以及处理器(例如CPU、ARM或DSP)；球机云台组件包括球机、驱动球机运动的球机电机、图像信号处理器ISP以及处理器(CPU、ARM或DSP)。枪机与球机通信连接，交互图像数据，枪机和球机的ISP均用于对图像格式的转换。本实施例提供的控制方法可以由枪机处理器执行，也可以由球机处理器执行。
枪球联动系统中，枪机包括可见光枪机、红外热成像枪机，球机包括可见光球机、红外热成像球机。一天24小时分为白天和黑夜两个时段，白天时段使用可见光枪机和球机进行目标跟踪与监控，黑夜时段使用红外热成像枪机和球机进行目标跟踪与监控。枪机和球机可以安装在同一位置的不同高度，枪机的安装高度高于球机，球机的最低安装高度不低于三米，最高安装高度以球机放大到最大倍数后能看清具体目标为宜。一种可选的安装关系是：枪机和球机安装在一起，即枪机和球机的视野很接近。
下面采用具体的实施例对本申请的控制球机与枪机联动的方法进行详细说明，需要 说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。
为了方便描述，下述实施例将控制方法的执行主体统称为控制装置，该控制装置可以是枪机内部的处理器，也可以是球机内部的处理器，还可以是独立于枪机和球机的主控设备内部的处理器。控制装置还可以是多个处理器的组合，例如控制装置的一部分功能由枪机内部的处理器实现，另外一部分功能由球机内部的处理器实现。可选的，除了处理器之外，控制装置中还可以包括内存。
图2为本申请一实施例提供的控制球机与枪机联动的方法的流程图，参见图2，本实施例的控制方法包括：
步骤101、获取枪机采集的第一监控图像和球机采集的第二监控图像；第一监控图像和第二监控图像为同一场景不同视角的监控图像；
本领域技术人员可以理解的是，枪球联动系统的枪机和球机在初始安装位置下，枪机和球机采集的监控图像的视角存在差异，在实现枪机和球机的联动之前，需要对具有不同视场角的枪机和球机的图像画面进行调节。当然，枪球联动系统在使用一段时间后，根据需要也可以重新对枪机和球机的图像画面进行调节，例如在使用一段时间后，枪机和球机的画面不再一致时，即可以使用本申请实施例进行标定。
图3a为本申请实施例提供的第一监控图像的示意图，图3b为本申请实施例提供的第二监控图像的示意图。本实施例中，控制装置获取的第一监控图像和第二监控图像为同一场景不同视角的监控图像，枪机采集的第一监控图像为某十字路口的全景图像，球机采集的第二监控图像为该十字路口东段道路上的某车辆的放大图像，该图像为枪机采集的全景图像中的部分图像。
控制装置获取同一时刻(该“同一时刻”并不要求时间的严格一致，允许有适当的时间差)枪机采集的第一监控图像和球机采集的第二监控图像，其中第一监控图像为枪机经过预处理的监控图像，第二监控图像为球机经过预处理的监控图像。具体地，枪机图像传感器获取当前场景某视角的监控图像，该监控图像的格式为RAW格式，枪机图像传感器将RAW格式的图像数据传输至枪机图像信号处理器ISP，枪机ISP将RAW格式的图像数据转换为YUV格式的图像数据，控制装置获取的第一监控图像为枪机经过预处理的YUV格式图像。同样的，球机图像传感器获取当前场景某视角的监控图像，该监控图像的格式为RAW格式，球机图像传感器将RAW格式的图像数据传输至球机图像信号处理器ISP，球机ISP将RAW格式的图像数据转换为YUV格式的图像数据，控制装置获取的第二监控图像为球机经过预处理的YUV格式图像。
步骤102、确定第一监控图像的特定点在第二监控图像中的坐标位置；
具体地，第一监控图像的特定点包括第一监控图像的中心点和/或对角点，其中对角点指的是图像中的至少一组对角点，例如图像中左上角和右下角为一组对角点，右上角和坐下角为一组对角点。
控制装置获取同一时刻枪机采集的第一监控图像和球机采集的第二监控图像之后，确定第一监控图像的特定点在第二监控图像中的坐标位置之前，还包括：利用特征提取与匹配算法分别对第一监控图像和第二监控图像进行特征点提取；确定第一监控图像和第二监控图像中存在对应关系的特征点集合；根据特征点集合计算映射矩阵。
图像的特征点可以理解为图像中比较显著的点，例如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。可选的，本实施例的特征提取与匹配算法可采用ORB算法来实现，ORB采用FAST(Features from Accelerated Segment Test)算法来检测特征点，是基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围区域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。当然也可以采用其他特征提取与匹配算法来实现。
具体地，控制装置根据映射矩阵确定第一监控图像的特定点在第二监控图像中的坐标位置。其中映射矩阵为3*3的矩阵，表示为H，通常根据两幅图像中存在对应关系的特征点集合可以求解出两幅图像的映射矩阵，其求解过程为现有技术，此处不具体展开。
下面以特定点为中心点为例，对控制模块如何根据映射矩阵确定第一监控图像的特定点在第二监控图像中的坐标位置进行说明。
假设枪机第一监控图像的中心点的坐标A(x,y,1)，根据计算公式A1＝H*A，可以得到第一监控图像的中心点A在第二监控图像中的坐标A1(x 1,y 1,z 1)：
Figure PCTCN2020078910-appb-000001
随后，对坐标A1进行归一化处理，得到第一监控图像的中心点A在第二监控图像中的真实坐标A1’，
Figure PCTCN2020078910-appb-000002
步骤103、根据坐标位置确定球机的第一调节参数；
步骤104、向球机发送第一控制指令，第一控制指令包括第一调节参数，第一控制指令用于指示球机根据第一调节参数调节第二监控图像与第一监控图像的图像重合。
具体地，球机的第一调节参数包括转动角度，图像放大倍率这二个参数中的至少一项。对于转动角度这一参数，控制装置根据中心点的坐标位置确定球机中心点的移动距离，根据移动距离确定球机的转动角度，其中移动距离包括水平移动距离和/或垂直移动距离，对应的，转动角度包括水平转动角度和/或垂直转动角度。球机按照转动角度转动之后，第二监控图像与第一监控图像的中心位置重合；对于图像放大倍率这一参数，控制装置根据对角点的坐标位置确定球机相对于枪机的图像放大倍率，以使球机根据图像放大倍率确定调节后的放大倍率。调节后的放大倍率为球机当前放大倍率与图像放大倍率的倒数的乘积，可以理解，调节后的球机放大倍率与枪机的放大倍率一致。
本实施例提供的控制球机与枪机联动的方法，通过获取枪机采集的第一监控图像和球机采集的第二监控图像，确定第一监控图像的特定点在第二监控图像中的坐标位置，根据坐标位置确定球机的第一调节参数，向球机发送包括第一调节参数的第一控制指令，以使球机根据第一调节参数调节第二监控图像与第一监控图像的图像重合。上述方法实现对枪机和球机的自动标定过程，提高了调节图像重合的准确率。
下面采用具体的实施例，对图2所示实施例中根据坐标位置确定球机的第一调节参 数进行详细。图4所示的控制方法实施例中，特征点为中心点，第一调节参数为转动角度；图5所示的控制方法实施例中，对特征点为对角点，第一调节参数为图像放大倍率。
图4为本申请另一实施例提供的控制球机与枪机联动的方法的流程图，参见图4，本实施例的控制方法包括：
步骤201、获取枪机采集的第一监控图像和球机采集的第二监控图像；第一监控图像和第二监控图像为同一场景不同视角的监控图像；
本实施例的步骤201与上述实施例的步骤101相同，具体可参见上述实施例，此处不再赘述。
步骤202、确定第一监控图像的中心点在第二监控图像中的第一坐标位置；
具体地，控制装置根据映射矩阵确定第一监控图像的中心点在第二监控图像中的第一坐标位置。映射矩阵的计算过程同图2所示实施例，此处不再赘述。
步骤203、获取第二监控图像的中心点的第二坐标位置；
步骤204、根据第二坐标位置和第一坐标位置确定球机的中心点的移动距离；
控制装置在获取第一监控图像的中心点在第二监控图像中的第一坐标位置，以及第二监控图像的中心点的第二坐标位置之后，根据第二坐标位置和第一坐标位置可以确定球机的中心点的移动距离，移动距离包括水平移动距离和/或垂直移动距离，图6为第一监控图像中心点在第二监控图像中的坐标位置与第二监控图像中心点的坐标位置的示意图。如图6所示，若枪机第一监控图像的中心点在第二监控图像中的坐标位置为位置1或位置2，可以确定球机的中心点的移动距离仅包括水平移动距离；若枪机第一监控图像的中心点在第二监控图像中的坐标位置为位置3或位置4，可以确定球机的中心点的移动距离仅包括垂直移动距离；若枪机第一监控图像的中心点在第二监控图像中的坐标位置为位置5，可以确定球机的中心点的移动距离包括水平移动距离和垂直移动距离。
步骤205、根据移动距离确定球机的转动角度。
具体地，控制装置获取球机的当前焦距，根据移动距离和球机的当前焦距确定球机的转动角度。若移动距离包括水平移动距离，则球机的转动角度包括水平转动角度；若移动距离包括垂直移动距离，则球机的转动角度包括垂直转动角度；若移动距离包括水平移动距离和垂直移动距离，则球机的转动角度包括水平转动角度和垂直转动角度。
假设确定球机的水平移动距离为w，垂直移动距离为h，球机当前焦距为f，通过如下公式可以得到球机的水平转动角度pan值以及球机的垂直转动角度tile值：
pan＝arctan(w/f)
tile＝arctan(h/f)
本领域技术人员可以理解的是，不同放大倍率对应的焦距值不同，若球机当前的放大倍率为N，则球机当前的焦距为f N，计算球机水平转动角度和垂直转动角度公式中的f替换为f N。
本实施例提供的控制球机与枪机联动的方法，通过获取枪机采集的第一监控图像和球机采集的第二监控图像，确定第一监控图像的中心点在第二监控图像中的第一坐标位置，获取第二监控图像的中心点的第二坐标位置，根据第一坐标位置和第二坐标位置确定球机的中心点的移动距离，根据移动距离确定球机的转动角度。上述方法实现对枪机 和球机监控图像中心点位置的自动调节过程，提高了图像中心点位置调节的准确率。
图5为本申请又一实施例提供的控制球机与枪机联动的方法的流程图，参见图5，本实施例的控制方法包括：
步骤301、获取枪机采集的第一监控图像和球机采集的第二监控图像；第一监控图像和第二监控图像为同一场景不同视角的监控图像；
本实施例的步骤301与上述实施例的步骤101相同，具体可参见上述实施例，此处不再赘述。
步骤302、确定第一监控图像的对角点在第二监控图像中的第三坐标位置；
具体地，控制装置根据映射矩阵确定第一监控图像的对角点在第二监控图像中的第三坐标位置。映射矩阵的计算过程同图2所示实施例，此处不再赘述。
步骤303、获取第二监控图像的对角点的第四坐标位置；
步骤304、根据第四坐标位置和第三坐标位置确定球机相对于枪机的图像放大倍率。
控制装置在获取第一监控图像的对角点在第二监控图像中的第三坐标位置，以及第二监控图像的对角点的第四坐标位置之后，根据第三坐标位置确定第一监控图像的对角点在第二监控图像中的第一对角尺寸；根据第四坐标位置确定第二监控图像的对角点的第二对角尺寸；根据第一对角尺寸和第二对角尺寸确定球机相对于枪机的图像放大倍率。示例性的，图7为第一监控图像对角点在第二监控图像中的坐标位置与第二监控图像对角点的坐标位置的示意图，如图7所示，枪机在球机图像画面中的第一对角尺寸L1是球机图像画面第二对角尺寸L2的2倍，即球机相对于枪机的图像放大倍率为2。
球机根据当前的放大倍率和图像放大倍率，确定球机调节后的放大倍率。调节后的放大倍率等于球机当前的放大倍率与图像放大倍率的倒数的乘积。
具体地，若球机相对于枪机的图像放大倍率等于1，则第一调节参数不包括图像放大倍率，此时球机无需调节当前的放大倍率；若球机相对于枪机的图像放大倍率大于1，则第一调节参数包括图像放大倍率，此时球机需要将当前的放大倍率调小，例如图像放大倍率为2，则需要将放大倍率调节为原来的1/2，以使第二监控图像与第一监控图像的放大倍率一致；若球机相对于枪机的图像放大倍率小于1，则第一调节参数包括图像放大倍率，此时球机需要将当前的放大倍率调大，例如图像放大倍率为1/2，则需要将放大倍率调节为原来的2倍，以使第二监控图像与第一监控图像的放大倍率一致。
本实施例提供的控制球机与枪机联动的方法，通过获取枪机采集的第一监控图像和球机采集的第二监控图像，确定第一监控图像的对角点在第二监控图像中的第三坐标位置，获取第二监控图像的对角点的第四坐标位置，根据第三坐标位置和第四坐标位置确定球机相对于枪机的图像放大倍率，以使球机根据图像放大倍率调节球机当前的放大倍率。上述方法实现对枪机和球机监控图像的放大倍率的自动调节过程，提高了图像放大倍率调节的准确率。
在上述各实施例的基础上，可选的，球机根据第一调节参数调节第二监控图像与第一监控图像的图像重合之后，该控制方法还包括：对图像重合程度的检测。若图像重合程度满足预设条件则停止对球机的参数调节，若图像重合程度不满足预设条件，则重复 执行上述实施例直至图像重合程度满足预设条件。下面结合附图对本实施例提供的控制方法进行说明。
图8为本申请再一实施例提供的控制球机与枪机联动的方法的流程图，在图2、图4、图5所示实施例的基础上，如图8所示，控制方法还包括：
S401、获取调节后的球机的第三监控图像；
第三监控图像为球机根据第一调节参数调节后的监控图像。
S402、确定第一监控图像的特定点在第三监控图像中的坐标位置；
具体地，根据映射矩阵确定第一监控图像的特定点在第三监控图像中的坐标位置，特定点包括中心点和/或对角点。映射矩阵的计算过程同图2所示实施例，此处不再赘述。第一监控图像的特定点在第三监控图像中的坐标位置的确定过程同图4和图5所示实施例，此处不再赘述。
S403、根据坐标位置确定球机的第二调节参数；
第二调节参数的确定过程与上述几个实施例提供的第一调节参数的确定过程相同，此处不再赘述。
S404、判断第二调节参数是否满足预设条件，若满足预设条件，执行S405；若不满足预设条件，执行S406；
S405、停止对球机的参数调节；
S406、向球机发送第二控制指令，第二控制指令包括第二调节参数，第二控制指令用于指示球机根据第二调节参数调节第三监控图像与第一监控图像的图像重合。
具体地，第二调节参数包括转动角度，控制装置判断转动角度是否小于等于预设转动角度，若小于等于预设转动角度，则停止对球机的参数调节；若大于预设转动角度，则向球机发送第二控制指令。需要说明的是，若转动角度包括水平转动角度和垂直转动角度，两者其中之一不满足上述条件，仍需向球机发送第二控制指令，第二控制指令中的第二调节参数仅包括不满足上述条件的参数。
第二调节参数包括图像放大倍率，控制装置判断图像放大倍率与预设图像放大倍率的差值是否小于等于预设阈值，其中预设图像放大倍率设置为1，若小于等于预设阈值，则停止对球机的参数调节；若大于预设阈值，则向球机发送包括第二调节参数的第二控制指令。
可选的，若对球机的参数调节的次数大于预设次数，则停止对球机的参数调节。预设次数的设置避免上述图像调节过程进入死循环。
本实施例提供的控制方法主要对参数调节后球机监控图像与枪机监控图像的图像重合度的检测，通过获取调节后的球机的第三监控图像，确定第一监控图像的特定点在第三监控图像中的坐标位置，根据坐标位置确定球机的第二调节参数，若第二调节参数满足预设条件，则停止对球机的参数调节，若第二调节参数不满足预设条件，则向球机发送包括第二调节参数的第二控制指令，以使球机根据第二调节参数进一步调节第三监控图像与第一监控图像的图像重合。上述方法在上述各实施例的基础上，增加了图像调节的迭代过程，解决了一次调节过程不能满足图像重合度要求的问题，实现对枪机和球机监控图像的自动调节过程，进一步提高了调节图像重合的准确率。
枪球联动系统中，跟踪目标过程中，需要频繁地控制球机变倍，容易造成球机自身 光轴的偏移。光轴的偏移将严重影响目标跟踪的准确性，变倍过程中球机将偏离跟踪目标。目前解决轴偏问题的方法是，在设备出厂前完成球机轴偏的测量，将轴偏量作为一个基础参数写入算法，然而球机的轴偏量容易受到外界环境的影响，且长期使用球机的轴偏量可能发生变化，影响跟踪效果。另外，球机自身轴偏势必还会影响到枪机与球机的联动，造成枪机与球机图像不重合的问题。因此，有必要对球机进行轴偏的自动调节。下面结合附图9对本实施例提供的控制球机与枪机联动的方法进行详细说明。该实施例可以单独使用，也可以和前述图2、4、5和8任一流程图中所描述的流程配合使用。
图9为本申请又一实施例提供的控制球机与枪机联动的方法的流程图，参见图9，本实施例的控制方法包括：
步骤501、获取球机在第一放大倍率下采集的第一监控图像，以及球机在第二放大倍率下采集的第二监控图像；
本实施例中，第一监控图像与第二监控图像为球机在同一场景、同一视角、不同放大倍率下采集的监控图像。其中，第一放大倍率大于或者小于第二放大倍率。
步骤502、分别对第一监控图像和第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
控制装置在获取球机在第一放大倍率下采集的第一监控图像，以及球机在第二放大倍率下采集的第二监控图像之后，利用特征提取与匹配算法分别对第一监控图像和第二监控图像进行特征点提取，确定第一监控图像和第二监控图像中存在对应关系的特征点集合，根据特征点集合确定匹配度最高的至少一组特征点。匹配度最高的特征点是指两幅图像中像素点相似度最高的点。可选的，本实施例的特征提取与匹配算法可采用ORB算法来实现，同图2所示实施例，当然也可以采用其他特征提取与匹配算法来实现。
步骤503、根据至少一组特征点在第一监控图像和第二监控图像的坐标位置确定球机的轴偏坐标位置；
轴偏坐标位置指的是球机光轴与成像面交点的坐标位置。具体地，控制装置根据至少一组特征点在第一监控图像和第二监控图像的坐标位置、第一放大倍率以及第二放大倍率，确定球机的轴偏坐标位置。举例来说，以一组特征点为例，p 1为第一监控图像中的特征点，p 1’为第二监控图像中的特征点，p 1和p 1’为第一监控图像与第二监控图像存在对应关系的点，特征点p 1在第一监控图像的坐标为(x 1,y 1)，特征点p 1’在第二监控图像的坐标为(x 1’,y 1’)，第一放大倍率为z 1，第二放大倍率为z 2，根据公式z 2/z 1＝(p 3-p’)/(p 3-p)，将p 1代入p，p 1’代入p’，可以得到偏轴坐标p 3(x 3,y 3)。
步骤504、根据轴偏坐标位置确定球机的调节参数；
步骤505、向球机发送控制指令，控制指令包括调节参数，控制指令用于指示球机根据调节参数调节第二监控图像与第一监控图像的中心位置重合。
具体地，控制装置根据轴偏坐标位置、第一放大倍率和第二放大倍率，确定第一监控图像的中心点在第二监控图像的第一坐标位置；根据第一坐标位置和第二监控图像的中心点的第二坐标位置，确定球机的轴偏量；根据轴偏量和球机的当前焦距确定球机的转动角度。
举例来说，假设p 2为第一监控图像的中心点，中心点p 2在第一监控图像的坐标为(x 2,y 2)，第一放大倍率、第二放大倍率、轴偏坐标位置同上述实例，分别为z 1，z 2，p 3 (x 3,y 3)，根据公式z 2/z 1＝(p 3-p’)/(p 3-p)，将p 2代入p，可以得到第一监控图像中的中心点p 2在第二监控图像的第一坐标位置p 2’，坐标为(x 2’,y 2’)。假设p 4为第二监控图像的中心点，中心点p 4在第二监控图像的坐标为(x 4,y 4)，可以理解，第二监控图像的中心点p 4与第一监控图像的中心点p 2不是一组对应的特征点。根据第一坐标位置p 2’(x 2’,y 2’)和第二监控图像的中心点的第二坐标位置p 4(x 4,y 4)，可以确定球机的偏轴量。偏轴量包括水平偏轴量和/或垂直偏轴量，对应的，球机的转动角度包括水平转动角度和/或垂直转动角度。
本实施例提供的控制球机与枪机联动的方法，通过获取球机在不同放大倍率下采集的第一监控图像和第二监控图像，分别对第一监控图像和第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点，根据至少一组特征点在第一监控图像和第二监控图像的坐标位置确定球机的轴偏坐标位置，根据轴偏坐标位置确定球机的调节参数，向球机发送包括调节参数的控制指令，以使球机根据调节参数调节第一监控图像与第二监控图像的中心位置重合。上述方法实现对球机自身轴偏量的自动调节过程，提高了调节球机轴偏的准确率。
图10为本申请一实施例提供的球机控制装置的结构示意图，该控制装置包括：
获取模块61，用于获取枪机采集的第一监控图像和球机采集的第二监控图像；所述第一监控图像和所述第二监控图像为同一场景不同视角的监控图像；
确定模块62，用于确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置；
所述确定模块62，还用于根据所述坐标位置确定所述球机的第一调节参数；
发送模块63，用于向所述球机发送第一控制指令，所述第一控制指令包括所述第一调节参数，所述第一控制指令用于指示所述球机根据所述第一调节参数调节所述第二监控图像与所述第一监控图像的图像重合。
本申请提供一种球机控制装置，该控制装置可以用于执行图2所示实施例对应的方法步骤，其实现原理和技术效果类似，此处不再赘述。
可选地，所述确定模块62，还用于在确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置之前，分别对所述第一监控图像和所述第二监控图像进行特征点提取；
确定所述第一监控图像和所述第二监控图像中存在对应关系的特征点集合；
根据所述特征点集合计算所述映射矩阵；
所述确定模块62，具体用于根据所述映射矩阵确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置。
可选地，所述第一调节参数包括转动角度。
可选地，所述确定模块62，具体用于：确定所述第一监控图像的中心点在所述第二监控图像中的第一坐标位置；
获取所述第二监控图像的中心点的第二坐标位置；
根据所述第二坐标位置和所述第一坐标位置确定所述球机的中心点的移动距离；
根据所述移动距离确定所述球机的转动角度。
本申请提供一种球机控制装置，该控制装置可以用于执行图4所示实施例对应的方法步骤，其实现原理和技术效果类似，此处不再赘述。
可选地，所述确定模块62，具体用于：获取所述球机的当前焦距；
根据所述移动距离和所述当前焦距确定所述球机的转动角度。
可选地，所述第一调节参数包括图像放大倍率。
可选地，所述确定模块62，具体用于：确定所述第一监控图像的对角点在所述第二监控图像中的第三坐标位置；
获取所述第二监控图像的对角点的第四坐标位置；
根据所述第四坐标位置和所述第三坐标位置确定所述球机相对于所述枪机的图像放大倍率。
本申请提供一种球机控制装置，该控制装置可以用于执行图5所示实施例对应的方法步骤，其实现原理和技术效果类似，此处不再赘述。
图11为本申请又一实施例提供的球机控制装置的结构示意图，在图10所示球机控制装置的基础上，该控制装置还包括：判断模块64；
所述确定模块62，还用于获取调节后的所述球机的第三监控图像；
确定所述第一监控图像的特定点在所述第三监控图像中的坐标位置；
根据所述坐标位置确定所述球机的第二调节参数；
所述判断模块64，用于判断所述第二调节参数是否满足预设条件，若满足预设条件，则停止对所述球机的参数调节，若不满足预设条件，则所述发送模块63，还用于向所述球机发送第二控制指令，所述第二控制指令包括所述第二调节参数，所述第二控制指令用于指示所述球机根据第二调节参数调节所述第三监控图像与所述第一监控图像的图像重合。
本申请提供一种球机控制装置，该控制装置可以用于执行图8所示实施例对应的方法步骤，其实现原理和技术效果类似，此处不再赘述。
图12为本申请又一实施例提供的球机控制装置的结构示意图，该控制装置包括：
获取模块71，用于获取球机在第一放大倍率下采集的第一监控图像，以及所述球机在第二放大倍率下采集的第二监控图像；
提取模块72，用于分别对所述第一监控图像和所述第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
确定模块73，用于根据所述至少一组特征点在所述第一监控图像和所述第二监控图像的坐标位置确定所述球机的轴偏坐标位置；
所述确定模块73，还用于根据所述轴偏坐标位置确定所述球机的调节参数；
发送模块74，用于向所述球机发送控制指令，所述控制指令包括调节参数，所述控制指令用于指示所述球机根据所述调节参数调节所述第二监控图像与所述第一监控图像的中心位置重合。
可选地，所述调节参数包括转动角度；所述确定模块73，具体用于：根据所述轴偏坐标位置、所述第一放大倍率和所述第二放大倍率，确定所述第一监控图像的中心点在所述第二监控图像的第一坐标位置；
根据所述第一坐标位置和所述第二监控图像的中心点的第二坐标位置，确定所述球 机的轴偏量；
根据所述轴偏量和所述球机的当前焦距确定所述球机的转动角度。
本申请提供一种球机控制装置，该控制装置可以用于执行图9所示实施例对应的方法步骤，其实现原理和技术效果类似，此处不再赘述。
图13为本申请一实施例提供的球机控制装置的结构示意图，如图13所示，该球机控制装置包括：
处理器81，存储器82；所述存储器82存储计算机执行指令；所述处理器81执行所述存储器82存储的计算机执行指令，使得所述处理器81执行前述方法实施例中任一实现方式提供的方法，其实现原理和技术效果类似，此处不再赘述。
可选地，存储器82既可以是独立的，也可以跟处理器81集成在一起，也就是拥有存储功能的处理器。当存储器82是独立于处理器81之外的器件时，芯片还包括：总线83，总线83用于连接存储器82和处理器81。所述球机控制装置还可以包括接口(未图示)，接口和所述处理器81通信，所述处理器81通过所述接口获取枪机和球机采集的监控图像。
可选地，本实施例提供的球机控制装置是枪机云台组件，处理器81是枪机云台组件内的控制芯片；或者
本实施例提供的球机控制装置是球机云台组件，处理器81是球机云台组件内的控制芯片；或者
本实施例提供的球机控制装置是独立于枪机云台组件和球机云台组件的主控设备，处理器81是独立于枪机云台组件和球机云台组件的主控设备的控制芯片。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本申请上述任一实施例对应的方法步骤。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制。

Claims (20)

  1. 一种控制球机与枪机联动的方法，其特征在于，包括：
    获取枪机采集的第一监控图像和球机采集的第二监控图像；所述第一监控图像和所述第二监控图像为同一场景不同视角的监控图像；
    确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置；
    根据所述坐标位置确定所述球机的第一调节参数；
    向所述球机发送第一控制指令，所述第一控制指令包括所述第一调节参数，所述第一控制指令用于指示所述球机根据所述第一调节参数调节所述第二监控图像与所述第一监控图像的图像重合。
  2. 根据权利要求1所述的方法，其特征在于，所述第一调节参数包括转动角度。
  3. 根据权利要求2所述的方法，其特征在于，所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置，包括：确定所述第一监控图像的中心点在所述第二监控图像中的第一坐标位置；
    所述根据所述坐标位置确定所述球机的第一调节参数，包括：
    获取所述第二监控图像的中心点的第二坐标位置；
    根据所述第二坐标位置和所述第一坐标位置确定所述球机的中心点的移动距离；
    根据所述移动距离确定所述球机的转动角度。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述移动距离确定所述球机的转动角度，包括：获取所述球机的当前焦距；
    根据所述移动距离和所述当前焦距确定所述球机的转动角度。
  5. 根据权利要求1所述的方法，其特征在于，所述第一调节参数包括图像放大倍率。
  6. 根据权利要求5所述的方法，其特征在于，所述确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置，包括：确定所述第一监控图像的对角点在所述第二监控图像中的第三坐标位置；
    所述根据所述坐标位置确定所述球机的第一调节参数，包括：
    获取所述第二监控图像的对角点的第四坐标位置；
    根据所述第四坐标位置和所述第三坐标位置确定所述球机相对于所述枪机的图像放大倍率。
  7. 一种控制球机与枪机联动的方法，其特征在于，包括：
    获取球机在第一放大倍率下采集的第一监控图像，以及所述球机在第二放大倍率下采集的第二监控图像；
    分别对所述第一监控图像和所述第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
    根据所述至少一组特征点在所述第一监控图像和所述第二监控图像的坐标位置确定所述球机的轴偏坐标位置；
    根据所述轴偏坐标位置确定所述球机的调节参数，向所述球机发送控制指令，所述控制指令包括调节参数，所述控制指令用于指示所述球机根据所述调节参数调节所述第二监控图像与所述第一监控图像的中心位置重合。
  8. 根据权利要求7所述的方法，其特征在于，所述调节参数包括转动角度；所述根据所述轴偏坐标位置确定所述球机的调节参数，包括：
    根据所述轴偏坐标位置、所述第一放大倍率和所述第二放大倍率，确定所述第一监控图像的中心点在所述第二监控图像的第一坐标位置；
    根据所述第一坐标位置和所述第二监控图像的中心点的第二坐标位置，确定所述球机的轴偏量；
    根据所述轴偏量和所述球机的当前焦距确定所述球机的转动角度。
  9. 一种球机控制装置，其特征在于，包括：
    获取模块，用于获取枪机采集的第一监控图像和球机采集的第二监控图像；所述第一监控图像和所述第二监控图像为同一场景不同视角的监控图像；
    确定模块，用于确定所述第一监控图像的特定点在所述第二监控图像中的坐标位置；
    所述确定模块，还用于根据所述坐标位置确定所述球机的第一调节参数；
    发送模块，用于向所述球机发送第一控制指令，所述第一控制指令包括所述第一调节参数，所述第一控制指令用于指示所述球机根据所述第一调节参数调节所述第二监控图像与所述第一监控图像的图像重合。
  10. 根据权利要求9所述的装置，其特征在于，所述第一调节参数包括转动角度。
  11. 根据权利要求10所述的装置，其特征在于，所述确定模块，具体用于：确定所述第一监控图像的中心点在所述第二监控图像中的第一坐标位置；
    获取所述第二监控图像的中心点的第二坐标位置；
    根据所述第二坐标位置和所述第一坐标位置确定所述球机的中心点的移动距离；
    根据所述移动距离确定所述球机的转动角度。
  12. 根据权利要求11所述的装置，其特征在于，所述确定模块，具体用于：获取所述球机的当前焦距；
    根据所述移动距离和所述当前焦距确定所述球机的转动角度。
  13. 根据权利要求9所述的装置，其特征在于，所述第一调节参数包括图像放大倍率。
  14. 根据权利要求13所述的装置，其特征在于，所述确定模块，具体用于：确定所述第一监控图像的对角点在所述第二监控图像中的第三坐标位置；
    获取所述第二监控图像的对角点的第四坐标位置；
    根据所述第四坐标位置和所述第三坐标位置确定所述球机相对于所述枪机的图像放大倍率。
  15. 一种球机控制装置，其特征在于，包括：
    获取模块，用于获取球机在第一放大倍率下采集的第一监控图像，以及所述球机在 第二放大倍率下采集的第二监控图像；
    提取模块，用于分别对所述第一监控图像和所述第二监控图像进行特征点提取，确定匹配度最高的至少一组特征点；
    确定模块，用于根据所述至少一组特征点在所述第一监控图像和所述第二监控图像的坐标位置确定所述球机的轴偏坐标位置；
    所述确定模块，还用于根据所述轴偏坐标位置确定所述球机的调节参数；
    发送模块，用于向所述球机发送控制指令，所述控制指令包括调节参数，所述控制指令用于指示所述球机根据所述调节参数调节所述第二监控图像与所述第一监控图像的中心位置重合。
  16. 根据权利要求15所述的装置，其特征在于，所述调节参数包括转动角度；所述确定模块，具体用于：根据所述轴偏坐标位置、所述第一放大倍率和所述第二放大倍率，确定所述第一监控图像的中心点在所述第二监控图像的第一坐标位置；
    根据所述第一坐标位置和所述第二监控图像的中心点的第二坐标位置，确定所述球机的轴偏量；
    根据所述轴偏量和所述球机的当前焦距确定所述球机的转动角度。
  17. 一种球机控制装置，其特征在于，包括：处理器，接口；所述处理器执行计算机执行指令，使得所述处理器执行如权利要求1至6任一项或者如权利要求7或8所述的方法；所述处理器通过所述接口获取枪机和球机采集的监控图像。
  18. 根据权利要求17所述的球机控制装置，其特征在于，
    所述球机控制装置是枪机云台组件，所述处理器是枪机云台组件内的控制芯片；或者
    所述球机控制装置是球机云台组件，所述处理器是球机云台组件内的控制芯片；或者
    所述球机控制装置是独立于枪机云台组件和球机云台组件的主控设备，所述处理器是独立于枪机云台组件和球机云台组件的主控设备的控制芯片。
  19. 一种可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算设备上运行时，如权利要求1至6任一项所述的方法被执行。
  20. 一种可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算设备上运行时，如权利要求7或8所述的方法被执行。
PCT/CN2020/078910 2019-03-13 2020-03-12 控制球机与枪机联动的方法、装置及介质 WO2020182176A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910189768.0 2019-03-13
CN201910189768.0A CN111698455B (zh) 2019-03-13 2019-03-13 控制球机与枪机联动的方法、装置及介质

Publications (1)

Publication Number Publication Date
WO2020182176A1 true WO2020182176A1 (zh) 2020-09-17

Family

ID=72427178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/078910 WO2020182176A1 (zh) 2019-03-13 2020-03-12 控制球机与枪机联动的方法、装置及介质

Country Status (2)

Country Link
CN (1) CN111698455B (zh)
WO (1) WO2020182176A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698455A (zh) * 2019-03-13 2020-09-22 华为技术有限公司 控制球机与枪机联动的方法、装置及介质
CN112419424A (zh) * 2020-11-18 2021-02-26 济南博观智能科技有限公司 一种枪球联动标定方法、装置及相关设备
CN113189630A (zh) * 2021-04-29 2021-07-30 中核国电漳州能源有限公司 用于塔吊安装监控的大范围工地人员识别及定位方法
CN113393492A (zh) * 2021-05-27 2021-09-14 浙江大华技术股份有限公司 目标跟踪方法、装置、电子装置和存储介质
CN113709367A (zh) * 2021-08-24 2021-11-26 浙江大华技术股份有限公司 一种控制聚焦的方法、装置及电子设备
CN113949814A (zh) * 2021-11-09 2022-01-18 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质
CN114630040A (zh) * 2020-12-10 2022-06-14 中国人民解放军陆军工程大学 一种用于激光雷达与球机联动的自适应跟踪系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038031B (zh) * 2021-03-02 2023-05-30 天津天地伟业智能安全防范科技有限公司 一种枪球联动的标定方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198487A (zh) * 2013-04-15 2013-07-10 厦门博聪信息技术有限公司 一种用于视频监控系统中的自动定标方法
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN105335977A (zh) * 2015-10-28 2016-02-17 苏州科达科技股份有限公司 摄像系统及目标对象的定位方法
CN107730556A (zh) * 2017-09-13 2018-02-23 济南中维世纪科技有限公司 一种枪球联动坐标定位方法
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824278B (zh) * 2013-12-10 2016-09-21 清华大学 监控摄像机的标定方法和系统
CN103716594B (zh) * 2014-01-08 2017-02-22 深圳英飞拓科技股份有限公司 基于运动目标检测的全景拼接联动方法及装置
CN103716595B (zh) * 2014-01-08 2017-03-29 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN105486235B (zh) * 2015-12-07 2018-04-20 高新兴科技集团股份有限公司 一种球机视频画面中的目标度量方法
CN106408551B (zh) * 2016-05-31 2019-02-19 北京格灵深瞳信息技术有限公司 一种监控装置控制的方法及装置
CN107527336B (zh) * 2016-06-22 2021-02-19 北京疯景科技有限公司 镜头相对位置标定方法及装置
CN108416285A (zh) * 2018-03-02 2018-08-17 深圳市佳信捷技术股份有限公司 枪球联动监控方法、装置及计算机可读存储介质
CN108833912A (zh) * 2018-08-22 2018-11-16 高新兴科技集团股份有限公司 一种摄像机机芯光轴中心和视场角的测量方法及系统
CN111698455B (zh) * 2019-03-13 2022-03-11 华为技术有限公司 控制球机与枪机联动的方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198487A (zh) * 2013-04-15 2013-07-10 厦门博聪信息技术有限公司 一种用于视频监控系统中的自动定标方法
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN105335977A (zh) * 2015-10-28 2016-02-17 苏州科达科技股份有限公司 摄像系统及目标对象的定位方法
US20180322648A1 (en) * 2015-11-11 2018-11-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
CN107730556A (zh) * 2017-09-13 2018-02-23 济南中维世纪科技有限公司 一种枪球联动坐标定位方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698455A (zh) * 2019-03-13 2020-09-22 华为技术有限公司 控制球机与枪机联动的方法、装置及介质
CN111698455B (zh) * 2019-03-13 2022-03-11 华为技术有限公司 控制球机与枪机联动的方法、装置及介质
CN112419424A (zh) * 2020-11-18 2021-02-26 济南博观智能科技有限公司 一种枪球联动标定方法、装置及相关设备
CN114630040A (zh) * 2020-12-10 2022-06-14 中国人民解放军陆军工程大学 一种用于激光雷达与球机联动的自适应跟踪系统及方法
CN114630040B (zh) * 2020-12-10 2023-07-14 中国人民解放军陆军工程大学 一种用于激光雷达与球机联动的自适应跟踪系统及方法
CN113189630A (zh) * 2021-04-29 2021-07-30 中核国电漳州能源有限公司 用于塔吊安装监控的大范围工地人员识别及定位方法
CN113189630B (zh) * 2021-04-29 2024-02-13 中核国电漳州能源有限公司 用于塔吊安装监控的大范围工地人员识别及定位方法
CN113393492A (zh) * 2021-05-27 2021-09-14 浙江大华技术股份有限公司 目标跟踪方法、装置、电子装置和存储介质
CN113709367A (zh) * 2021-08-24 2021-11-26 浙江大华技术股份有限公司 一种控制聚焦的方法、装置及电子设备
CN113949814A (zh) * 2021-11-09 2022-01-18 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质
CN113949814B (zh) * 2021-11-09 2024-01-26 重庆紫光华山智安科技有限公司 一种枪球联动抓拍方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111698455A (zh) 2020-09-22
CN111698455B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
WO2020182176A1 (zh) 控制球机与枪机联动的方法、装置及介质
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
WO2019114617A1 (zh) 快速抓拍的方法、装置及系统
CN110543871B (zh) 基于点云的3d比对测量方法
WO2020082722A1 (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
CN102622767B (zh) 双目非标定空间定位方法
WO2017045326A1 (zh) 一种无人飞行器的摄像处理方法
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN103929592A (zh) 全方位智能监控设备及方法
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN109816702A (zh) 一种多目标跟踪装置和方法
CN107509055A (zh) 一种旋转式全景焦点识别光电跟踪仪及其实施方法
CN104394356A (zh) 一种摄像机与高速球关联控制自动变倍方法
Lu et al. Vision-based structural displacement measurement under ambient-light changes via deep learning and digital image processing
CN107845056A (zh) 基于柱面模型的鱼眼图像全景生成方法
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN105516661B (zh) 鱼眼相机与ptz相机相结合的主从目标监控方法
CN110544278A (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN113743286A (zh) 一种多源信号融合的目标监测系统及方法
JP2014154062A (ja) 物体検知装置
TWI641265B (zh) Mobile target position tracking system
WO2021232826A1 (zh) 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769863

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20769863

Country of ref document: EP

Kind code of ref document: A1