WO2018058774A1 - 一种利用手持云台进行目标识别和目标跟踪的系统和方法 - Google Patents

一种利用手持云台进行目标识别和目标跟踪的系统和方法 Download PDF

Info

Publication number
WO2018058774A1
WO2018058774A1 PCT/CN2016/107218 CN2016107218W WO2018058774A1 WO 2018058774 A1 WO2018058774 A1 WO 2018058774A1 CN 2016107218 W CN2016107218 W CN 2016107218W WO 2018058774 A1 WO2018058774 A1 WO 2018058774A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
followed
picture
motor
imaging device
Prior art date
Application number
PCT/CN2016/107218
Other languages
English (en)
French (fr)
Inventor
费鹏
李学德
Original Assignee
贵州火星探索科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 贵州火星探索科技有限公司 filed Critical 贵州火星探索科技有限公司
Publication of WO2018058774A1 publication Critical patent/WO2018058774A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to the field of electronic technology applications, and in particular, to a system and method for target recognition and target tracking using a handheld cloud platform.
  • Image-based object recognition and tracking technology utilizes images acquired by an imaging system to automatically extract or identify corresponding targets and track them. That is, the recognition and tracking of the target is realized through a series of image data.
  • Target recognition and tracking methods with good realism, high positioning accuracy and strong anti-interference ability have become the focus of image target recognition and tracking technology, with important military, economic and social values.
  • the present invention provides a system and method for target recognition and target tracking using a handheld pan/tilt for the problem that the target recognition of the camera is limited to the fixed area and the handheld pan/tilt cannot achieve target recognition and target following.
  • the present invention provides a system for target recognition and target tracking using a handheld pan/tilt, the system comprising:
  • an image capturing device configured to capture a picture that includes a target to be followed or an object to be identified
  • a control system connected to the camera device, for importing picture information including a target to be followed, Following the target and the facial features of the object to be identified, and issuing a follow command to control the handheld gimbal to follow the target;
  • a handheld cloud platform connected to the imaging device and a control system, configured to move the imaging device in different directions according to the following instruction, so that the target to be followed is maintained at an intermediate position of the picture.
  • control system comprises:
  • an import module connected to the camera device, for importing picture information including a target to be followed;
  • a feature parameter extraction module configured to connect the import module, and configured to select a facial feature of the target to be followed according to the picture information
  • a matching module connected to the feature parameter extraction module, for comparing facial features of the target and the object to be identified;
  • a determining module configured to determine, by the connection module, whether the facial features of the object to be followed and the object to be identified meet;
  • the determining module is further configured to: send a follow instruction to the handheld cloud platform when the to-be-target and the facial feature of the object to be recognized match;
  • the picture including the target to be followed includes an existing picture and a picture taken on the spot by the imaging device.
  • the handheld cloud platform includes:
  • a clamping device connected to the imaging device for clamping and fixing the imaging device
  • a first motor connected to the clamping device for controlling rotation of the imaging device about an X axis
  • a second motor connected to the clamping device for controlling the imaging device to rotate about a y-axis
  • a third motor connected to the first motor, for controlling the imaging device to rotate about a z-axis
  • the determining module is further configured to determine whether the target to be followed is in an intermediate position of the picture
  • the imaging apparatus includes a camera, a camera having an imaging function, and a mobile phone having an imaging function.
  • each of the first motor, the second motor, and the third motor respectively has a motor driving plate for supplying power for rotation of the respective motor;
  • the determining module is further configured to issue a power-off command when the target to be followed is in an intermediate position of the picture.
  • the imaging apparatus captures at least one picture in a target direction of the object to be identified
  • the present invention also provides a method for target recognition and target tracking using a handheld pan/tilt, the method comprising: [0028] Sl, importing a picture of the target to be followed, and capturing a picture including the object to be identified;
  • the step S1 includes:
  • the step S2 includes:
  • the following instruction module sends a follow instruction to the handheld cloud platform.
  • step S24 If the following target is not found, return to step S13 to re-shoot the object to be identified.
  • the step S3 includes:
  • FIG. 1 is a schematic structural diagram of a system for performing target recognition and target tracking using a handheld pan/tilt according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic structural diagram of a system for performing target recognition and target tracking using a handheld pan/tilt according to Embodiment 1 of the present invention.
  • FIG 3a is a front view of a handheld pan/tilt structure of a system for performing target recognition and target tracking using a handheld pan/tilt according to a first embodiment of the present invention.
  • 3b is a right side view of a handheld pan/tilt structure of a system for performing target recognition and target tracking using a handheld pan/tilt according to Embodiment 1 of the present invention.
  • FIG. 4 is a schematic structural diagram of a handheld cloud platform of a system for performing target recognition and target tracking using a handheld pan/tilt according to Embodiment 1 of the present invention.
  • FIG. 5 is a flow chart of a system for performing target recognition and target tracking using a handheld pan/tilt according to a second embodiment of the present invention.
  • FIG. 6 is a flow chart of a system for performing target recognition and target tracking using a handheld pan/tilt according to a second embodiment of the present invention.
  • FIG. 7 is a flow chart of a system for performing target recognition and target tracking using a handheld pan/tilt according to a second embodiment of the present invention.
  • the handheld cloud platform cannot achieve the problem of target recognition and target following, and the present invention aims to provide a method for target recognition and target tracking using the handheld pan/tilt, the core thereof.
  • the idea is: To propose a system for target recognition and target tracking using a handheld pan/tilt, connecting the camera device to the handheld pan/tilt, and controlling the rotation of the handheld pan/tilt by the control system, thereby realizing the target recognition of multiple regions by the camera, The handheld pan/tilt has the functions of target recognition and target following.
  • Embodiments of the present invention provide a system for performing target recognition and target tracking by using a handheld pan/tilt.
  • the system includes:
  • the imaging device 10 is configured to capture a picture that includes a target to be followed or an object to be identified;
  • the control system 20 is connected to the imaging device 10, for importing picture information including the target to be followed, comparing the facial features of the object to be followed and the object to be recognized, and issuing a follow instruction to control the handheld gimbal following target;
  • the handheld pan/tilt head 30 is connected to the camera device 10 and the control system 20 for moving the camera device 10 in different directions according to the following command to keep the target to be followed in the middle position of the picture.
  • control system 20 includes:
  • the importing module 201 is connected to the image capturing device 10 for importing the image information including the object 50 to be followed; [0064] the feature parameter extracting module 202, the connection importing module 201, for selecting the object to be followed 50 according to the image information. Facial features;
  • the picture including the object to be followed 50 includes a front face or a side face of the target 50 to be followed, and the facial features include the outline of the eye, the distance of the corner of the eye, the distance between the nose and the eye, and the like. Characteristic Parameters.
  • the matching module 203 is configured to compare the facial features of the target 50 and the object 40 to be identified;
  • the determining module 204 is connected to the comparison module 203 for determining whether the facial features of the object to be followed 50 and the object to be identified 40 match;
  • the determining module 204 is further configured to: when the to-be-targeted object 50 and the facial features of the object to be recognized 40 match, send a follow instruction to the handheld platform 30;
  • the picture containing the target to be followed 50 includes the existing picture and the picture taken by the camera device 10 on the spot.
  • the handheld head 30 includes a clamping device 301, a second motor 303, and a support assembly; wherein, the support assembly includes a second support member 3052;
  • the second motor 303 is connected to the clamping device 301 through the second support member 3052 for controlling the imaging device to operate in the horizontal axis X-axis direction; the X-axis direction, the y-axis direction, and the z-axis direction constitute a three-dimensional spatial coordinate system. .
  • the handheld pan/tilt further includes a first motor 302, a third motor 304, and a handle barrel 306.
  • the support assembly further includes a first support member 3051 and a third support member 3053;
  • the third motor 304 is disposed on the handle barrel 306 for controlling the movement of the imaging device in the z-axis direction of the direction axis.
  • the first motor 302 is connected to the third motor 304 through the third support member 3053 for controlling the camera device.
  • the pitch axis moves in the y-axis direction; the clamping device 301 is coupled to the first motor through the first support member 3051 for clamping and fixing the image pickup apparatus.
  • the first motor 302, the second motor 303, and the third motor 304 are both wrapped in the casing, and are fixedly disposed on the support assembly through the casing;
  • the first motor 302, the second motor 303, and the third motor 304 operate at different rotational speeds to respectively drive the individual movements of the imaging device in the X-axis, the y-axis, and the z-axis direction; and the different rotational speeds of the motors correspond to different ones. Torque, these three different torque interactions offset the Earth's gravity and the torque generated by gravity, keeping the camera 10 stable, in order to achieve a clear picture.
  • the interiors of the first motor 302, the second motor 303, and the third motor 304 respectively have one motor driving board, and the first motor 302, the second motor 303, and the third motor 304 are respectively
  • the internal structure is the same; taking the second motor 303 as an example, the motor driving plate 307 is fixed inside the second motor 303 through the casing for supplying power for the rotation of the second motor 303; the clamping device includes a first supporting member 3051 connected thereto.
  • the fixing plate 3013 is configured to fix the clamping device to the supporting assembly; the upper clamping plate 3011 and the lower clamping plate 3012 are movably connected to the two sides of the fixing plate 3013, and are used for fixing the distance between the upper clamping plate 3011 and the lower clamping plate 3012, and fixing each The imaging device 10 of different sizes; the clamping device formed by the fixing plate 3013, the upper clamping plate 3011 and the lower clamping plate 3012 fixes the imaging device 10 on the support frame, and respectively passes through the support frame with the first motor 302 and the second motor 303.
  • the third motor 304 is connected; under the driving of the first motor 302, the second motor 303 and the third motor 304, the camera device 10 is driven by rotating the support frame Rotation in the X-axis, y-axis, and z-axis directions.
  • the imaging apparatus 10 includes a camera, a camera having an imaging function, and a mobile phone having an imaging function.
  • the determining module 204 uses the facial features of the object 50 to be followed as a reference value, and performs matching on the feature parameters of the facial feature parameters of the IJ object 40, and selects according to the matching degree of matching. To be followed by goal 50.
  • the imaging apparatus 10 captures at least one picture in a target direction of the object to be recognized.
  • the camera device is connected with the handheld cloud platform, and the rotation of the handheld cloud platform is controlled by the control system, thereby realizing the target recognition of the plurality of regions by the camera, so that the handheld cloud platform has the functions of target recognition and target following. Because of the small size of the device, it can be easily carried to any area, flexibly achieving target recognition and target follow-up in each area.
  • the present invention provides a method for target recognition and target tracking using a handheld pan/tilt, which is applicable to a system for performing target recognition and target tracking using a handheld pan/tilt as shown in Embodiment 1.
  • the method includes :
  • step S1 includes:
  • the facial features of the target to be followed include feature parameters such as the contour of the eye, the distance of the corner of the eye, the distance between the nose and the eye, and the like. It is also necessary to extract the facial features of the object to be identified for each picture containing the object to be identified.
  • step S2 includes:
  • step S23 If the target to be followed is found, the following instruction is sent to the handheld cloud platform 30 by the determining module 20; [0096] S24. If the following target is not found, return to step S13 to re-shoot the object to be identified.
  • the judging module 204 uses the facial features of the object to be followed as the reference value, and performs matching on the feature parameters of the facial feature parameters of the object to be identified, and selects the target to be followed according to the matching degree of the matching. [0097] Specifically, referring to FIG. 6, step S3 includes:
  • S34 Receive the power-off command, and control the motor driving board 305 to stop supplying power to stop the motor from rotating.
  • the target following may be a TLD (Tracking Learning Detection Single Target Long Tracking Algorithm), CMT (Clustering of Static-Adaptive Correspondences for Deformable Object Tracking Dependent Tracking Target Static Adaptive Corresponding Clustering) And methods such as Color Tracking.
  • TLD Track Learning Detection Single Target Long Tracking Algorithm
  • CMT Clustering of Static-Adaptive Correspondences for Deformable Object Tracking Dependent Tracking Target Static Adaptive Corresponding Clustering
  • methods such as Color Tracking.
  • a plurality of objects to be identified 40 are included in the crowd of the image including the object with the recognition object captured by the image capturing apparatus 10, and the face of each object to be identified 40 is made into a face by the feature parameter extraction module.
  • the feature parameters are extracted, and the characteristic parameters such as the contour of the eye, the distance of the corner of the eye, the distance between the nose and the eye are compared by the comparison module, and a matching degree of 0-100% is given.
  • the determination module internally sets a matching degree value, and the matching degree exceeding the specific value means that the matching is successful, and the target is recognized; after the target recognition is successful, the target 50 to be followed is determined, and the target is determined.
  • the module calculates the relative spatial angle of the target to be tracked relative to the center of the screen of the camera device.
  • the determining module sends the following instruction, and the motor is driven by the motor driving board of each motor to rotate the imaging device around each axis, so that the target to be followed is located at the center position of the picture;
  • the target 50 is in the middle of the picture, and a power-off command is issued;
  • the motor drive board 305 stops supplying power, stops the motor from rotating, and completes the identification and tracking of the target.
  • the target to be tracked is located to the left of the center position of the picture of the image capturing apparatus, so as shown in FIG. 7c, only the determining module is required to the third motor 304.
  • the following command is sent, and the third motor 304 is driven by the motor driving plate to rotate the revolving pin 15 degrees around the z-axis to drive the third supporting member to rotate, so that the imaging device rotates the reeling pin 15 degrees around the z-axis; Located at the center of the picture; the third motor 304 stops rotating by the judgment module issuing a power-off command.
  • the camera device is connected with the handheld cloud platform, and the rotation of the handheld cloud platform is controlled by the control system, so that the camera can perform target recognition on multiple regions, and the handheld cloud platform has the functions of target recognition and target following. Because of the small size of the device, it can be easily carried to any area, flexibly achieving target recognition and target follow-up in each area.
  • the system for performing target recognition and target tracking by using the handheld pan/tilt implements the method for performing target recognition and target tracking by using the handheld pan/tilt, and only performs the division of the above functional modules.
  • the above function assignment may be completed by different functional modules as needed, that is, the internal structure of the device is divided into different functional modules to complete all or part of the functions described above.
  • the system for performing target recognition and target tracking by using the handheld pan/tilt is the same as the method for performing target recognition and target tracking by using the handheld pan/tilt. The specific implementation process is described in the method embodiment. Let me repeat.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种利用手持云台进行目标识别和目标跟踪的系统和方法，该系统包括用于拍摄包含待跟随目标和待识别对象的图片的摄像设备；用于比对待跟随目标和待识别对象的脸部特征，并发出跟随指令控制手持云台跟随目标的控制系统；用于根据所述跟随指令在不同方向移动所述摄像设备，使所述待跟随目标保持在图片的中间位置的手持云台，实现了摄像头对多个区域进行目标识别，使手持云台具备了目标识别和目标跟随的功能；由于设备体积小，能被方便地携带到任何区域，灵活实现对各区域内的目标识别和目标跟随。

Description

发明名称：一种利用手持云台进行目标识别和目标跟踪的系统和方 法
技术领域
[0001] 本发明涉及电子技术应用领域， 特别涉及一种利用手持云台进行目标识别和目 标跟踪的系统和方法。
背景技术
[0002] 基于图像的目标识别与跟踪技术是利用成像系统所采集的图像， 自动地提取或 识别相应目标， 并对其进行跟踪。 即通过一系列图像数据实现对目标的识别与 跟踪。 实吋性好、 定位精度高和抗干扰能力强的目标识别与跟踪方法已成为图 像目标识别与跟踪技术的攻关重点， 具有重要的军事、 经济和社会价值。
[0003] 目前部分监控系统已实现目标识别的功能， 但是由于监控系统中的摄像头固定 安装于某个位置， 只能针对特定区域进行目标识别。 而现有的手持云台虽然能 够安装摄像设备， 为稳定拍摄提供辅助， 但是手持云台中不具备目标识别和目 标跟随的功能。
技术问题
[0004] 本发明针对摄像头的目标识别局限于固定区域和手持云台不能实现目标识别和 目标跟随的问题， 提供了一种利用手持云台进行目标识别和目标跟踪的系统和 方法。
问题的解决方案
技术解决方案
[0005] 本发明就上述技术问题而提出的技术方案如下：
[0006] 本发明提供了一种利用手持云台进行目标识别和目标跟踪的系统， 所述系统包 括：
[0007] 摄像设备， 用于拍摄包含待跟随目标或待识别对象的图片；
[0008] 控制系统， 连接所述摄像设备， 用于导入包含待跟随目标的图片信息， 比对待 跟随目标和待识别对象的脸部特征， 并发出跟随指令控制手持云台跟随目标；
[0009] 手持云台， 连接所述摄像设备和控制系统， 用于根据所述跟随指令在不同方向 移动所述摄像设备， 使所述待跟随目标保持在图片的中间位置。
[0010] 根据上述系统， 所述控制系统包括：
[0011] 导入模块， 连接所述摄像设备， 用于导入包含待跟随目标的图片信息；
[0012] 特征参数提取模块， 连接所述导入模块， 用于根据所述图片信息挑选出待跟随 目标的脸部特征；
[0013] 比对模块， 连接所述特征参数提取模块， 用于比对待跟随目标和待识别对象的 脸部特征；
[0014] 判断模块， 连接比对模块， 用于判断所述待跟随目标和待识别对象的脸部特征 是否相符；
[0015] 所述判断模块还用于当所述待跟随目标和待识别对象的脸部特征相符吋， 向所 述手持云台发出跟随指令；
[0016] 所述包含待跟随目标的图片包括已有的图片和所述摄像设备现场拍摄的图片。
[0017] 根据上述系统， 所述手持云台包括：
[0018] 夹持装置， 连接所述摄像设备， 用于夹持和固定所述摄像设备；
[0019] 第一电机， 连接所述夹持装置， 用于控制所述摄像设备绕 X轴转动；
[0020] 第二电机， 连接所述夹持装置， 用于控制所述摄像设备绕 y轴转动；
[0021] 第三电机， 连接所述第一电机， 用于控制所述摄像设备绕 z轴转动；
[0022] 所述判断模块还用于判断待跟随目标是否处于图片的中间位置；
[0023] 所述摄像设备包括摄像机、 具有摄像功能的照相机和具有摄像功能的手机。
[0024] 根据上述系统， 所述第一电机、 第二电机和第三电机的内部各自分别含有一个 电机驱动板， 用于为各自所属电机的转动供电；
[0025] 所述判断模块还用于当待跟随目标处于图片的中间位置吋， 发出断电指令。
[0026] 根据上述系统， 所述摄像设备对所述待识别对象的目标方向拍摄至少一张图片
[0027] 本发明还提供了一种利用手持云台进行目标识别和目标跟踪的方法， 所述方法 包括： [0028] Sl、 导入待跟随目标的图片， 拍摄包含待识别对象的图片；
[0029] S2、 比对待跟随目标和待识别对象的脸部特征， 并发出跟随指令控制手持云台 跟随目标；
[0030] S3、 根据所述跟随指令在不同方向移动所述摄像设备， 使所述待跟随目标保持 在图片的中间位置。
[0031] 根据上述方法， 所述步骤 S1包括：
[0032] Sl l、 导入待跟随目标的图片信息；
[0033] S12、 根据所述图片信息挑选出待跟随目标的脸部特征；
[0034] S13、 通过摄像设备拍摄至少一张包含待识别对象的图片。
[0035] 根据上述方法， 所述步骤 S2包括：
[0036] S21、 比对待跟随目标和待识别对象的脸部特征；
[0037] S22、 判断是否找到待跟随目标；
[0038] S23、 若找到待跟随目标， 则通过所述判断模块向所述手持云台发出跟随指令
[0039] S24、 若未找到跟随目标， 则返回步骤 S13， 重新拍摄待识别对象。
[0040] 根据上述方法， 所述步骤 S3包括：
[0041] S3 接收所述跟随指令；
[0042] S32、 通过电机驱动板启动电机， 使摄像设备绕 X轴、 y轴或 z轴转动， 并判断待 跟随目标是否在图片的中间位置；
[0043] S33、 当所述待跟随目标处于图片的中间位置， 通过判断模块发出断电指令； [0044] S34、 接收所述断电指令， 控制所述电机驱动板停止供电， 使所述电机停止转 动。
发明的有益效果
有益效果
[0045] 本发明实施例提供的技术方案带来的有益效果是：
[0046] 将摄像设备与手持云台连接， 通过控制系统控制手持云台的转动， 实现了摄像 头对多个区域进行目标识别， 使手持云台具备了目标识别和目标跟随的功能； 由于设备体积小， 能被方便地携带到任何区域， 灵活实现对各区域内的目标识 别和目标跟随。
对附图的简要说明
附图说明
[0047] 图 1是本发明实施例一提供的一种利用手持云台进行目标识别和目标跟踪的系 统的结构示意图。
[0048] 图 2是本发明实施例一提供的一种利用手持云台进行目标识别和目标跟踪的系 统较佳实施例的结构示意图。
[0049] 图 3a是本发明实施例一提供的一种利用手持云台进行目标识别和目标跟踪的系 统的手持云台结构的主视图。
[0050] 图 3b是本发明实施例一提供的一种利用手持云台进行目标识别和目标跟踪的系 统的手持云台结构的右视图。
[0051] 图 4是本发明实施例一提供的一种利用手持云台进行目标识别和目标跟踪的系 统的手持云台结构示意图。
[0052] 图 5是本发明实施例二提供的一种利用手持云台进行目标识别和目标跟踪的系 统流程图。
[0053] 图 6是本发明实施例二提供的一种利用手持云台进行目标识别和目标跟踪的系 统流程图。
[0054] 图 7是本发明实施例二提供的一种利用手持云台进行目标识别和目标跟踪的系 统流程图。 本发明的实施方式
[0055] 为了解决摄像设备固定使目标识别的区域有限， 手持云台无法实现目标识别与 目标跟随的问题， 本发明旨在提供一种利用手持云台进行目标识别和目标跟踪 的方法， 其核心思想是： 提出一种利用手持云台进行目标识别和目标跟踪的系 统， 将摄像设备与手持云台连接， 通过控制系统控制手持云台的转动， 实现了 摄像头对多个区域进行目标识别， 使手持云台具备了目标识别和目标跟随的功 能。
[0056] 为了使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明实 施方式作进一步地详细描述。
[0057] 实施例一
[0058] 本发明实施例提供了一种利用手持云台进行目标识别和目标跟踪的系统， 参见 图 1， 该系统包括：
[0059] 摄像设备 10， 用于拍摄包含待跟随目标或待识别对象的图片；
[0060] 控制系统 20， 连接摄像设备 10， 用于导入包含待跟随目标的图片信息， 比对待 跟随目标和待识别对象的脸部特征， 并发出跟随指令控制手持云台跟随目标； [0061] 手持云台 30， 连接摄像设备 10和控制系统 20， 用于根据跟随指令在不同方向移 动摄像设备 10， 使待跟随目标保持在图片的中间位置。
[0062] 具体地， 参见图 2， 控制系统 20包括：
[0063] 导入模块 201， 连接摄像设备 10， 用于导入包含待跟随目标 50的图片信息； [0064] 特征参数提取模块 202， 连接导入模块 201， 用于根据图片信息挑选出待跟随目 标 50的脸部特征；
[0065] 在本实施例中， 包含待跟随目标 50的图片中包含了待跟随目标 50的正脸或者侧 脸， 脸部特征包括眼睛的轮廓、 眼角的距离、 鼻子和眼睛之间的距离等特征参 数。
[0066] 比对模块 203， 连接特征参数提取模块 202， 用于比对待跟随目标 50和待识别对 象 40的脸部特征；
[0067] 判断模块 204， 连接比对模块 203， 用于判断待跟随目标 50和待识别对象 40的脸 部特征是否相符；
[0068] 判断模块 204还用于当待跟随目标 50和待识别对象 40的脸部特征相符吋， 向手 持云台 30发出跟随指令；
[0069] 包含待跟随目标 50的图片包括已有的图片和摄像设备 10现场拍摄的图片。
[0070] 具体地， 参见图 3a， 手持云台 30包括夹持装置 301、 第二电机 303和支撑组件； 其中， 支撑组件包括第二支撑件 3052;
[0071] 第二电机 303通过第二支撑件 3052与夹持装置 301连接， 用于控制摄像设备作水 平轴 X轴方向运行； X轴方向、 y轴方向和 z轴方向构成三维空间立体坐标系。
[0072] 具体地， 参见图 3b， 手持云台还包括第一电机 302、 第三电机 304和手柄筒 306 ； 支撑组件还包括第一支撑件 3051和第三支撑件 3053 ;
[0073] 第三电机 304设置于手柄筒 306上， 用于控制摄像设备作方向轴 z轴方向运动； 第一电机 302通过第三支撑件 3053与第三电机 304连接， 用于控制摄像设备作俯 仰轴 y轴方向运动； 夹持装置 301通过第一支撑件 3051与第一电机连接， 用于夹 持和固定摄像设备。
[0074] 在本实施例中， 第一电机 302、 第二电机 303和第三电机 304均包裹在机壳内， 通过机壳固定设置在支撑组件上；
[0075] 第一电机 302、 第二电机 303和第三电机 304工作在不同的转速下， 分别驱动摄 像设备在 X轴、 y轴和 z轴方向上的单独运动； 而电机的不同转速对应不同扭矩， 这三个不同的扭矩相互作用抵消了地球的重力和重力产生的扭矩， 使摄像设备 1 0保持稳定， 以达到拍摄出清晰图片的效果。
[0076] 具体地， 参见图 4， 第一电机 302、 第二电机 303和第三电机 304的内部各自分别 含有一个电机驱动板， 并且第一电机 302、 第二电机 303和第三电机 304的内部结 构相同； 以第二电机 303为例， 电机驱动板 307通过机壳固定在第二电机 303的内 部， 用于为第二电机 303的转动供电； 夹持装置包括连接第一支撑件 3051的固定 板 3013， 用于将夹持装置固定于支撑组件上； 活动连接于固定板 3013两侧的上 夹板 3011和下夹板 3012， 用于通过灵活调节上夹板 3011与下夹板 3012的距离， 固定各类不同尺寸的摄像设备 10; 固定板 3013、 上夹板 3011和下夹板 3012构成 的夹持装置将摄像设备 10固定在支撑架上， 并通过支撑架分别与第一电机 302、 第二电机 303和第三电机 304相连； 在第一电机 302、 第二电机 303和第三电机 304 的驱动下， 通过转动支撑架带动摄像设备 10的在 X轴、 y轴和 z轴方向上的转动。
[0077] 本实施例中， 摄像设备 10包括摄像机、 具有摄像功能的照相机和具有摄像功能 的手机。
[0078] 在本实施例中， 判断模块 204将待跟随目标 50的脸部特征作为基准值， 与待识 另 IJ对象 40的脸部特征参数进行特征参数匹配， 根据匹配的符合程度， 挑选出待 跟随目标 50。
[0079] 具体地， 参见图 2， 摄像设备 10对待识别对象的目标方向拍摄至少一张图片。
[0080] 在本实施例中， 对目标方向拍摄多张图片， 包含多个待识别对象， 增大匹配成 功的概率。
[0081] 本发明实施例将摄像设备与手持云台连接， 通过控制系统控制手持云台的转动 ， 实现了摄像头对多个区域进行目标识别， 使手持云台具备了目标识别和目标 跟随的功能； 由于设备体积小， 能被方便地携带到任何区域， 灵活实现对各区 域内的目标识别和目标跟随。
[0082] 实施例二
[0083] 本发明提供了一种利用手持云台进行目标识别和目标跟踪的方法， 适用于实施 例一所示的利用手持云台进行目标识别和目标跟踪的系统， 参见图 3， 该方法包 括：
[0084] Sl、 导入待跟随目标的图片， 拍摄包含待识别对象的图片；
[0085] S2、 比对待跟随目标和待识别对象的脸部特征， 并发出跟随指令控制手持云台 30跟随目标；
[0086] S3、 根据跟随指令在不同方向移动摄像设备 10， 使待跟随目标保持在图片的中 间位置。
[0087] 具体地， 参见图 4， 步骤 S1包括：
[0088] Sl l、 导入待跟随目标的图片信息；
[0089] S12、 根据图片信息挑选出待跟随目标的脸部特征；
[0090] S13、 通过摄像设备 10拍摄至少一张包含待识别对象的图片。
[0091] 在本实施例中， 待跟随目标的脸部特征包括眼睛的轮廓、 眼角的距离、 鼻子和 眼睛之间的距离等特征参数。 对每张包含待识别对象的图片也需要提取出待识 别对象的脸部特征。
[0092] 具体地， 参见图 4， 步骤 S2包括：
[0093] S21、 比对待跟随目标和待识别对象的脸部特征；
[0094] S22、 判断是否找到待跟随目标；
[0095] S23、 若找到待跟随目标， 则通过判断模块 20向手持云台 30发出跟随指令； [0096] S24、 若未找到跟随目标， 则返回步骤 S13， 重新拍摄待识别对象。 在本实施例 中， 通过判断模块 204将待跟随目标的脸部特征作为基准值， 与待识别对象的脸 部特征参数进行特征参数匹配， 根据匹配的符合程度， 挑选出待跟随的目标。 [0097] 具体地， 参见图 6， 步骤 S3包括：
[0098] S31、 接收所述跟随指令；
[0099] S32、 通过电机驱动板 305启动电机， 使摄像设备绕 x轴、 y轴或 z轴转动， 并判 断待跟随目标 50是否在图片的中间位置；
[0100] S33、 当所述待跟随目标 50处于图片的中间位置， 通过判断模块发出断电指令
[0101] S34、 接收所述断电指令， 控制所述电机驱动板 305停止供电， 使所述电机停止 转动。
[0102] 在本实施例中， 目标跟随可采用 TLD (TrackingLearningDetection单目标长吋间 跟踪算法) 、 CMT (Clustering of Static-Adaptive Correspondences for Deformable Object Tracking可变性跟踪目标的静态自适应的对应聚类） 和 Color Tracking (颜 色跟踪） 等方法。
[0103] 具体地， 参见图 7a， 在摄像设备 10拍摄的包含带识别对象的图片的人群中， 包 含有多个待识别对象 40， 通过特征参数提取模块对每个待识别对象 40做脸部特 征参数的提取， 再通过比对模块比对眼睛的轮廓、 眼角的距离、 鼻子和眼睛之 间的距离等特征参数， 并给出 0-100%的匹配度。
[0104] 具体地， 参见图 7b， 判断模块内部设定一匹配度数值， 超过这一特定数值的匹 配度即认为匹配成功， 识别到目标； 目标识别成功后， 定位待跟随目标 50， 通 过判断模块计算待跟随目标相对于摄像设备的屏幕中心的相对空间角度。
[0105] 具体地， 参见图 7c， 通过判断模块发送跟随指令， 通过各个电机的电机驱动板 启动电机， 使摄像设备绕各个轴转动， 使待跟随目标位于图片的中心位置； 通 过判断模块 204判断出待跟随目标 50处于图片的中间位置， 发出断电指令； 电机 驱动板 305停止供电， 使电机停止转动， 完成对目标的识别和跟踪。
[0106] 在本实施例中， 如图 7b所示， 定位的待跟随目标位于摄像设备的图片的中心位 置的正左方， 所以如图 7c所示， 只需通过判断模块向第三电机 304发送跟随指令 ， 通过电机驱动板驱动第三电机 304绕 z轴逆吋针旋转 15度， 带动第三支撑件转动 ， 使摄像设备绕 z轴逆吋针旋转 15度； 此吋， 待跟随目标 50位于图片的中心位置 ； 通过判断模块发出断电指令， 第三电机 304停止转动。 [0107] 本发明实施例将摄像设备与手持云台连接， 通过控制系统控制手持云台的转动 ， 实现了摄像头对多个区域进行目标识别， 使手持云台具备了目标识别和目标 跟随的功能； 由于设备体积小， 能被方便地携带到任何区域， 灵活实现对各区 域内的目标识别和目标跟随。
[0108] 上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。
[0109] 需要说明的是： 上述实施例提供的利用手持云台进行目标识别和目标跟踪的系 统在实现利用手持云台进行目标识别和目标跟踪的方法吋， 仅以上述各功能模 块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配由不同 的功能模块完成， 即将设备的内部结构划分成不同的功能模块， 以完成以上描 述的全部或者部分功能。 另外， 上述实施例提供的利用手持云台进行目标识别 和目标跟踪的系统与利用手持云台进行目标识别和目标跟踪的方法实施例属于 同一构思， 其具体实现过程详见方法实施例， 这里不再赘述。
[0110] 以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神 和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护 范围之内。

Claims

权利要求书
[权利要求 1] 一种利用手持云台进行目标识别和目标跟踪的系统， 其特征在于， 所 述系统包括：
摄像设备， 用于拍摄包含待跟随目标或待识别对象的图片； 控制系统， 连接所述摄像设备， 用于导入包含待跟随目标的图片信息 ， 比对待跟随目标和待识别对象的脸部特征， 并发出跟随指令控制手 持云台跟随目标；
手持云台， 连接所述摄像设备和控制系统， 用于根据所述跟随指令在 不同方向移动所述摄像设备， 使所述待跟随目标保持在图片的中间位 置。
[权利要求 2] 根据权利要求 1所述的系统， 其特征在于， 所述控制系统包括：
导入模块， 连接所述摄像设备， 用于导入包含待跟随目标的图片信息 特征参数提取模块， 连接所述导入模块， 用于根据所述图片信息挑选 出待跟随目标的脸部特征；
比对模块， 连接所述特征参数提取模块， 用于比对待跟随目标和待识 别对象的脸部特征；
判断模块， 连接所述比对模块， 用于判断所述待跟随目标和待识别对 象的脸部特征是否相符；
所述判断模块还用于当所述待跟随目标和待识别对象的脸部特征相符 吋， 向所述手持云台发出跟随指令；
所述包含待跟随目标的图片包括已有的图片和所述摄像设备现场拍摄 的图片。
[权利要求 3] 根据权利要求 2所述的系统， 其特征在于， 所述手持云台包括：
夹持装置， 连接所述摄像设备， 用于夹持和固定所述摄像设备； 第一电机， 连接所述夹持装置， 用于控制所述摄像设备绕 X轴转动； 第二电机， 连接所述夹持装置， 用于控制所述摄像设备绕 y轴转动； 第三电机， 连接所述第一电机， 用于控制所述摄像设备绕 z轴转动； 所述判断模块还用于判断待跟随目标是否处于图片的中间位置； 所述摄像设备包括摄像机、 具有摄像功能的照相机和具有摄像功能的 手机。
根据权利要求 3所述的系统， 其特征在于， 所述第一电机、 第二电机 和第三电机的内部各自分别含有一个电机驱动板， 用于为各自所属电 机的转动供电；
所述判断模块还用于当待跟随目标处于图片的中间位置吋， 发出断电 指令。
根据权利要求 3所述的系统， 其特征在于， 所述摄像设备对所述待识 别对象的目标方向拍摄至少一张图片。
一种利用手持云台进行目标识别和目标跟踪的方法， 其特征在于， 所 述方法包括：
51、 导入待跟随目标的图片， 拍摄包含待识别对象的图片；
52、 比对待跟随目标和待识别对象的脸部特征， 并发出跟随指令控制 手持云台跟随目标；
53、 根据所述跟随指令在不同方向移动所述摄像设备， 使所述待跟随 目标保持在图片的中间位置。
根据权利要求 6所述的方法， 其特征在于， 所述步骤 S1包括：
511、 导入待跟随目标的图片信息；
512、 根据所述图片信息挑选出待跟随目标的脸部特征；
513、 通过摄像设备拍摄至少一张包含待识别对象的图片。
根据权利要求 6所述的方法， 其特征在于， 所述步骤 S2包括：
521、 比对待跟随目标和待识别对象的脸部特征；
522、 判断是否找到待跟随目标；
523、 若找到待跟随目标， 则通过所述判断模块向所述手持云台发出 跟随指令；
524、 若未找到跟随目标， 则返回步骤 S13， 重新拍摄待识别对象。 根据权利要求 6所述的方法， 其特征在于， 所述步骤 S3包括： 531、 接收所述跟随指令；
532、 通过电机驱动板启动电机， 使摄像设备绕 X轴、 y轴或 z轴转动， 并判断待跟随目标是否在图片的中间位置；
533、 当所述待跟随目标处于图片的中间位置， 通过判断模块发出断 电指令；
534、 接收所述断电指令， 控制所述电机驱动板停止供电， 使所述电 机停止转动。
PCT/CN2016/107218 2016-09-29 2016-11-25 一种利用手持云台进行目标识别和目标跟踪的系统和方法 WO2018058774A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610863683.2 2016-09-29
CN201610863683.2A CN107888818A (zh) 2016-09-29 2016-09-29 一种利用手持云台进行目标识别和目标跟踪的系统和方法

Publications (1)

Publication Number Publication Date
WO2018058774A1 true WO2018058774A1 (zh) 2018-04-05

Family

ID=61763650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/107218 WO2018058774A1 (zh) 2016-09-29 2016-11-25 一种利用手持云台进行目标识别和目标跟踪的系统和方法

Country Status (2)

Country Link
CN (1) CN107888818A (zh)
WO (1) WO2018058774A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316630A (zh) * 2018-11-28 2020-06-19 深圳市大疆创新科技有限公司 手持云台及其拍摄控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495626B (zh) * 2018-11-14 2021-03-16 高劭源 一种用于便携式移动通讯设备的拍摄辅助装置及系统
CN112154653B (zh) * 2019-08-13 2022-07-29 深圳市大疆创新科技有限公司 基于手持云台的拍摄方法、手持云台及存储介质
WO2021026784A1 (zh) * 2019-08-13 2021-02-18 深圳市大疆创新科技有限公司 跟随拍摄、云台控制方法、拍摄装置、手持云台和拍摄系统
CN113111788B (zh) * 2020-02-17 2023-09-19 天目爱视（北京）科技有限公司 一种具有调整装置的虹膜3d信息获取设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204437648U (zh) * 2015-01-23 2015-07-01 桂林飞宇电子科技有限公司 一种运用手机拍摄的手持三轴云台
CN104883506A (zh) * 2015-06-26 2015-09-02 重庆智韬信息技术中心 基于人脸识别技术实现的自助拍摄方法
CN105736925A (zh) * 2016-02-18 2016-07-06 武汉智能鸟无人机有限公司 一种手持三维全景云台
CN105979133A (zh) * 2015-10-22 2016-09-28 乐视移动智能信息技术（北京）有限公司 一种跟踪拍摄的方法、移动终端和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611155B (zh) * 2015-12-22 2019-01-01 深圳市浩瀚卓越科技有限公司 一种手持云台控制移动终端摄影的方法和手持云台
CN205402146U (zh) * 2016-02-18 2016-07-27 武汉智能鸟无人机有限公司 一种360度旋转的手持云台
CN205447201U (zh) * 2016-02-23 2016-08-10 深圳曼塔智能科技有限公司 可调重心式手持云台
CN205610783U (zh) * 2016-05-03 2016-09-28 深圳火星探索科技有限公司 一种带自动视觉跟踪的自稳定手持拍照摄像云台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204437648U (zh) * 2015-01-23 2015-07-01 桂林飞宇电子科技有限公司 一种运用手机拍摄的手持三轴云台
CN104883506A (zh) * 2015-06-26 2015-09-02 重庆智韬信息技术中心 基于人脸识别技术实现的自助拍摄方法
CN105979133A (zh) * 2015-10-22 2016-09-28 乐视移动智能信息技术（北京）有限公司 一种跟踪拍摄的方法、移动终端和系统
CN105736925A (zh) * 2016-02-18 2016-07-06 武汉智能鸟无人机有限公司 一种手持三维全景云台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316630A (zh) * 2018-11-28 2020-06-19 深圳市大疆创新科技有限公司 手持云台及其拍摄控制方法
US11245855B2 (en) 2018-11-28 2022-02-08 SZ DJI Technology Co., Ltd. Handheld gimbal and shooting control method for handheld gimbal
CN111316630B (zh) * 2018-11-28 2022-03-25 深圳市大疆创新科技有限公司 手持云台及其拍摄控制方法
US11539893B2 (en) 2018-11-28 2022-12-27 SZ DJI Technology Co., Ltd. Handheld gimbal and shooting control method for handheld gimbal

Also Published As

Publication number Publication date
CN107888818A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
WO2018058774A1 (zh) 一种利用手持云台进行目标识别和目标跟踪的系统和方法
CN108000525B (zh) 一种图书管理机器人和基于机器人的图书错放识别方法
US10880470B2 (en) Robotic camera system
AU2011202555B2 (en) Multi-view alignment based on fixed-scale ground plane rectification
US20180043543A1 (en) Robotic Camera System
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
CN110062205A (zh) 运动目标识别、跟踪装置及方法
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
CN109657576B (zh) 图像采集控制方法、装置、存储介质及系统
CN108549413A (zh) 一种云台旋转控制方法、装置及无人飞行器
CN110458025A (zh) 一种基于双目摄像头的人员识别与定位方法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN108243304A (zh) 枪球一体式动态人脸抓拍专用摄像机及动态人脸抓拍方法
CN110910460A (zh) 一种获取位置信息的方法、装置及标定设备
CN106657792B (zh) 共享式观景装置
CN103577789A (zh) 检测方法和装置
CN109191499A (zh) 一种基于运动目标跟踪的机器人跟踪路线更新方法及系统
WO2018121730A1 (zh) 视频监控和人脸识别方法、装置及系统
CN114281100B (zh) 一种不悬停无人机巡检系统及其方法
CN111168691A (zh) 机器人控制方法、控制系统以及机器人
JP2017204795A (ja) 追尾装置
CN109218587A (zh) 一种基于双目摄像头的图像采集方法及系统
CN110751109B (zh) 用于采集人脸图像的设备、方法、装置及介质
CN116320765B (zh) 生成全景图像的方法、装置、设备、介质和程序产品
CN111832542A (zh) 三目视觉识别与定位方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16917519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16917519

Country of ref document: EP

Kind code of ref document: A1