WO2023273427A1 - 复数相机测速方法及测速装置 - Google Patents

复数相机测速方法及测速装置 Download PDF

Info

Publication number
WO2023273427A1
WO2023273427A1 PCT/CN2022/082190 CN2022082190W WO2023273427A1 WO 2023273427 A1 WO2023273427 A1 WO 2023273427A1 CN 2022082190 W CN2022082190 W CN 2022082190W WO 2023273427 A1 WO2023273427 A1 WO 2023273427A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
mobile platform
images
speed
transformation matrix
Prior art date
Application number
PCT/CN2022/082190
Other languages
English (en)
French (fr)
Inventor
张晓林
王磊
杨冬冬
粱泓
李嘉茂
Original Assignee
安徽爱观视觉科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安徽爱观视觉科技有限公司 filed Critical 安徽爱观视觉科技有限公司
Priority to US18/263,583 priority Critical patent/US20240085448A1/en
Priority to JP2023540732A priority patent/JP7580614B2/ja
Publication of WO2023273427A1 publication Critical patent/WO2023273427A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the invention relates to the technical field of speed measurement, in particular to a speed measurement method and a speed measurement device of a plurality of cameras.
  • robots With the continuous development of information electronics, automatic control and other technologies, robots have been more and more involved in people's production and life. Among them, mobile robots with the ability to move, perceive, and handle are widely used in various industries as representatives. Whether it is a sweeping robot for home use, or an AGV (automatically guided vehicle), a smart forklift that is common in industry, or a service robot in a hotel or hospital, it is a concrete manifestation of mobile robot technology.
  • AGV automated guided vehicle
  • the object of the present invention is to provide a speed measurement method and a speed measurement device of multiple cameras, which are accurate in speed measurement and will not be disturbed by the outside world.
  • the present invention provides a method for measuring speed with multiple cameras, comprising the following steps:
  • the S3 specifically includes:
  • S33 Perform registration between the search image and the candidate image. If the obtained registration result is greater than the first threshold, it is determined that the matching is successful, and the position transformation between the search image and the candidate image is calculated. Matrix, and enter S34;
  • the step of obtaining the location information of the mobile platform at the current moment includes:
  • the self-position transformation matrix of the first camera is obtained, and according to the self-position transformation matrix, the relative position of the first camera
  • the weight corresponding to each camera is set according to the registration result of each camera, and the position information of the mobile platform is obtained by calculating the weighted average .
  • the registration method is a 2D image feature matching method
  • the 2D image feature matching method obtains the position transformation matrix of the two images by extracting feature points of the two images and performing fast matching calculation.
  • the registration method is a 2D image frequency domain information matching method
  • the 2D image frequency domain information matching method calculates the rotation, translation and scale factor of the two images through the Fourier-Melling transform algorithm, and then calculates two images The positional transformation matrix of the image.
  • the registration method is a 3D matching method
  • the 3D matching method calculates the pose and velocity of 3 degrees of freedom in space through the 3D point coordinates corresponding to the two images, and then calculates the position transformation matrix of the two images .
  • the position information of the mobile platform at the current moment is directly acquired through a position sensor.
  • step S32 or S33 when performing step S32 or S33, if the search fails or the matching fails, then enter S35, and the S35 specifically includes:
  • the present invention also provides a complex camera speed measuring device, comprising:
  • Mobile platform capable of moving relative to the subject
  • the camera group includes at least two cameras arranged on the mobile platform, and the relative positions between the cameras are fixed;
  • a processor configured to execute the method for measuring speed of multiple cameras as described above.
  • the camera group has a light source that matches the camera, including:
  • a light source with polarized light and a matching camera with a lens capable of transmitting the polarized light can be used.
  • the image shooting time of each camera is synchronized or the shooting time of each camera has a time stamp.
  • the multiple camera speed measuring device further includes a calibration tool provided on the mobile platform, the calibration tool is used to calibrate the relative positional relationship between the cameras and the positional relationship of each camera relative to the mobile platform.
  • the calibration tool is a checkerboard, a laser range finder, a laser radar, a TOF sensor or an encoder.
  • the camera group includes at least one pair of binocular cameras.
  • the camera group includes at least two TOF cameras arranged along the main moving direction of the mobile platform.
  • the camera group includes at least one pair of line scan cameras arranged along the main moving direction of the mobile platform.
  • the camera group further includes at least one global shutter area camera, and the processor can compare the image taken by the global shutter area camera with the image taken by the line scan camera, so as to correct the Images captured by the line scan camera.
  • the processor can, according to the position information of the mobile platform at the current moment, the position information of the previous moment, and the shooting at the current moment and the previous moment Time interval, estimating the speed of the camera group relative to the object to be photographed.
  • the multiple camera speed measurement device further includes at least one laser measuring instrument, which is used to measure the distance between different photographed objects.
  • the laser measuring instrument is a line laser measuring instrument or a cross laser measuring instrument.
  • the invention provides a speed measuring method and a speed measuring device of multiple cameras, which obtain two images with high similarity by processing the registration of images taken by different cameras. Since the two images have the shortest measurement distance and the largest image overlap, the accuracy of the speed information of the mobile platform calculated by the complex camera speed measurement method is higher than that of the subject calculated by continuous image tracking of a single camera. The accuracy of the speed information is higher. Moreover, the multi-camera speed measurement method and the multi-camera speed measurement device provided by the present invention form feedback with the real environment, avoiding the problem of misjudgment caused by the robot's wheels slipping or the wheels being overhead.
  • FIG. 1 is a step diagram of a method for measuring speed with multiple cameras provided by an embodiment of the present invention
  • FIG. 2 is a flow chart of a method for measuring speed with multiple cameras provided by an embodiment of the present invention
  • Fig. 3 is a schematic structural diagram of a complex camera speed measuring device provided by an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of search images and candidate images provided by an embodiment of the present invention.
  • 101-camera group 102-camera; 103-light source; 110-processor; 111-mobile platform;
  • the present invention provides a speed measuring method and a speed measuring device with multiple cameras, by using at least two cameras with fixed relative positions for shooting, and by comparing images between different cameras to obtain high-precision moving speed information.
  • the singular forms “a”, “an” and “the” include plural referents unless the content clearly dictates otherwise.
  • the term “or” is generally employed in its sense including “and/or” unless the content clearly dictates otherwise.
  • the term “several” is generally used in the meaning including “at least one”, unless the content clearly states otherwise.
  • the term “at least two” is generally used in the meaning including “two or more”, unless the content clearly states otherwise.
  • the terms “first”, “second”, and “third” are used for descriptive purposes only, and cannot be interpreted as indicating or implying relative importance or implicitly specifying the quantity of the indicated technical features. Thus, a feature defined as “first”, “second” and “third” may explicitly or implicitly include one or at least two of these features.
  • the core idea of the present invention is to provide a speed measuring method and a speed measuring device with multiple cameras, so as to solve the problems of authenticity and accuracy of the current robot speed measurement.
  • the method for measuring speed with multiple cameras comprises the following steps:
  • the complex camera speed measuring device includes:
  • Mobile platform capable of moving relative to the subject
  • the camera group includes at least two cameras arranged on the mobile platform, and the relative positions between the cameras are fixed;
  • a processor configured to execute the method for measuring speed of multiple cameras as described above.
  • the multi-camera speed measurement method and the multi-camera speed measurement device provided by the present invention form feedback with the real environment, avoiding the problem of misjudgment caused by the robot's wheels slipping or the wheels being overhead.
  • Figure 1 is a step diagram of the method for measuring speed with multiple cameras provided by the embodiment of the present invention
  • Figure 2 is a flowchart of the method for measuring speed with multiple cameras provided by the embodiment of the present invention
  • Figure 3 is the embodiment of the present invention Schematic diagram of the structure of the provided multi-camera velocity measuring device.
  • This embodiment provides a method for measuring speed with multiple cameras, including the following steps:
  • the multiple camera 102 speed measurement device includes:
  • the mobile platform 111 can move relative to the object to be photographed
  • the camera group 101 includes at least two cameras 102 arranged on the mobile platform 111, and the relative positions between the cameras 102 are fixed;
  • the processor 110 is configured to execute the method for measuring speed of multiple cameras 102 as described above.
  • step S1 is executed to calibrate the positions of the cameras 102 of the camera group 101 to obtain the positional relationship between the cameras 102 and the positional relationship between the cameras 102 and the mobile platform 111 .
  • the world coordinate system W can be any point as the origin, and the vehicle body coordinate system C is based on the center of the mobile platform 111 as the origin.
  • the coordinate system used is a right-handed coordinate system, the forward direction toward the mobile platform 111 is the X axis, the rightward direction toward the mobile platform 111 is the Y axis, and the vertical downward direction toward the ground is the Z axis.
  • the moving speed of the mobile platform 111 only considers the translation and rotation of the two-dimensional plane, so the representation of position information only considers the horizontal plane.
  • the positions of the mobile platform 111 and each camera 102 of the camera group 101 are expressed in the world coordinate system W. Wherein, the position of the mobile platform 111 is represented by its physical center. The position of each camera 102 of the camera group 101 is represented by the center of the camera 102 .
  • the position matrix of the mobile platform 111 is expressed as
  • ⁇ ci is the angle of the i-th camera 102 relative to the mobile platform 111
  • ⁇ x ci and ⁇ y ci are the coordinates of the i-th camera 102 in the body coordinate system C of the mobile platform 111 .
  • the relative positional relationship between the cameras 102 and the positional relationship between the cameras 102 relative to the mobile platform 111 can be calibrated by a checkerboard, a laser range finder, a laser radar, a TOF sensor or an encoder.
  • step S2 is executed to acquire the synchronous image sequence of each camera 102 in the camera group 101 and record the time stamp of the synchronously acquired images.
  • step S3 is performed to process the registration of the images captured by the cameras 102 of the camera group 101, and when the obtained registration result of the two images is greater than the first threshold, calculate the position transformation matrix of the two images, And according to the positional relationship between the cameras 102 that took the two images, the position transformation matrix of the two images, and the positional relationship of the camera 102 relative to the mobile platform 111, the position of the mobile platform 111 in the two The position transformation matrix under the shooting time interval of two images, and finally calculate the speed information of the mobile platform 111 according to the position change matrix of the mobile platform 111 and the shooting time interval of the two images.
  • the S3 specifically includes:
  • S33 Perform registration between the search image and the candidate image. If the obtained registration result is greater than the first threshold, it is determined that the registration is successful, and the positions of the search image and the candidate image are calculated. Transform matrix, and enter S33;
  • step S31 is executed to acquire the location information of the mobile platform 111 at the current moment, and make each camera 102 store the search image and the corresponding location information.
  • the step of acquiring the location information of the mobile platform 111 at the current moment specifically includes:
  • the position of the mobile platform 111 can be estimated by each camera 102 of the camera group 101 .
  • an image captured by a certain camera 102 is acquired at time t k
  • the search image of the camera 102 and the previous frame image The registration calculation is performed to obtain the self-position transformation matrix of the camera 102 .
  • the registration method is a 2D image feature matching method
  • the 2D image feature matching method obtains the positions of the two images by extracting the feature points of the two images and performing fast matching calculation transformation matrix represents the position transformation matrix of the i-th camera 102 at time t k-1 and t k .
  • the registration method is a 2D image frequency domain information matching method
  • the 2D image frequency domain information matching method calculates the rotation, translation and scale of the two images through the Fourier-Melling transform algorithm factor, and then obtain the position transformation matrix of the two images
  • the registration method is a 3D matching method.
  • the 3D matching method calculates the pose and velocity of 3 degrees of freedom in space through the 3D point coordinates corresponding to the two images, and then obtains two The position transformation matrix of the image
  • the image data contains depth information, and the i-th camera 102 can be estimated using a 3D matching method current location.
  • the position of the mobile platform 111 at time t k can be determined by the position of the mobile platform 111 at time t k-1 and the position transformation matrix Calculated, the calculation formula is as follows:
  • Each camera 102 stores the search image taken at the current moment and the lookup image The position of the corresponding camera 102 at time t k is
  • the position information of the mobile platform 111 at the current moment can also be obtained directly through a position sensor, and the position sensor includes but is not limited to an encoder, an inertial device or an odometer.
  • the self-position transformation matrix of the first camera 102 is obtained, and according to the self-position transformation matrix, the first When the positional relationship of the camera 102 relative to the mobile platform 111 is calculated to obtain the position information of the mobile platform 111, the weight corresponding to each camera 102 is set according to the registration result of each camera 102, and the weighted average is calculated to obtain the position information of the mobile platform 111.
  • the location information of the mobile platform 111 is described above.
  • the position of a mobile platform 111 can be estimated by using the i-th camera 102 in the camera group 101 through the front and rear frame image registration results and position transformation matrix obtained by formulas (3) and (4)
  • the calculation results obtained by each camera 102 can perform a weighted average, wherein the weight of the weighted average is determined by the registration result of each camera 102 .
  • j is 1, 2, . . . , M.
  • the accuracy of the position of the mobile platform 111 obtained by way of weighted average is higher.
  • step S32 is executed, wherein each camera 102 according to the current location of the camera 102 Candidate images of other cameras 102 at this current location at past moments are found and selected.
  • Each camera 102 of the camera group 101 according to the position at time t k Traversing the positions of all candidate images of other cameras 102 is the position of the lth camera 102 (l ⁇ i) at time t k' .
  • D is the second threshold, that is, a given distance threshold.
  • step S33 is executed to perform registration of the search image and the candidate image.
  • the registration score of , ⁇ is the first threshold, that is, the given scoring threshold.
  • the obtained registration result is greater than the first threshold, it is determined that the matching is successful, and a position transformation matrix between the search image and the candidate image is calculated.
  • step S34 the position transformation matrix of the first camera 102 is calculated according to the positional relationship between the camera 102 of the search image and the candidate image and the position transformation matrix between the search image and the candidate image, Then calculate the position transformation matrix of the mobile platform 111 according to the position transformation matrix of the first camera 102 and the positional relationship between the first camera 102 and the mobile platform, and finally according to the position transformation matrix of the mobile platform 111 and the The speed information of the mobile platform 111 is calculated according to the shooting time interval of the two images.
  • FIG. 4 is a schematic diagram of a search image and a candidate image provided by an embodiment of the present invention, and the positional relationship between the cameras 102 corresponding to the search image and the candidate image is fixed.
  • the search image of the i-th camera 102 can be calculated with its candidate image positional deviation between The relative position relationship P li between the i-th camera 102 and the l-th camera 102 is known (at this time, the position of the l-th camera 102 at time t k' is also known), and then can be calculated according to formula (11)
  • the moving speed V i of the mobile platform 111 calculated by the i-th camera 102 at time t k is expressed as follows:
  • the moving speed V i of the mobile platform 111 is the speed of the camera group 101 relative to the object to be photographed.
  • step S32 or S33 if the search fails or the matching fails, then enter S35, and the S35 specifically includes:
  • step S35 the search fails and enters step S35, otherwise the search succeeds and enters S33 .
  • step S35 the location information of the mobile platform 111 at the current moment.
  • the location information of the mobile platform 111 at the current moment can be obtained according to step S31 Location information at the last moment And the shooting time difference (t k -t k-1 ) between the current moment and the previous moment, and then obtain the position transformation matrix of the mobile platform 111 at two adjacent moments, the specific formula is as follows:
  • two images with high similarity are obtained by processing the registration of images taken by each camera 102. Since the two images have the shortest measurement distance and the largest image overlap, the calculated mobile platform 111 The accuracy of the velocity information of the subject is higher than the accuracy of the velocity information of the subject obtained through continuous image tracking of a single camera 102 .
  • the embodiment of the present invention also provides a complex camera 102 speed measuring device, including:
  • the mobile platform 111 can move relative to the object to be photographed
  • the camera group 101 includes at least two cameras 102 arranged on the mobile platform 111, and the relative positions between the cameras 102 are fixed;
  • the processor 110 is configured to execute the above method for measuring speed with multiple cameras 102 .
  • the camera group 101 is provided with a light source 103 matching the camera 102, including:
  • a polarized light source 103 and a matching camera 102 with a lens capable of transmitting the polarized light are provided.
  • the image shooting time of each camera 102 is synchronized or the shooting time of each camera 102 has a time stamp, and the time stamp can be acquired by the processor 110 in real time, so as to calculate the moving speed.
  • the multiple cameras 102 speed measurement device also includes a calibration tool arranged on the mobile platform 111, and the calibration tool is used to calibrate the relative positional relationship between the cameras 102 and the relative movement of the cameras 102.
  • the location relationship of the center of the platform 111 , the location relationship can be acquired by the processor 110 .
  • the calibration tool is a checkerboard, a laser range finder, a laser radar, a TOF sensor or an encoder.
  • the camera group 101 includes at least one pair of binocular cameras.
  • the binocular camera refers to a binocular camera that includes a common field of view and can obtain a three-dimensional image, so that the camera group 101 can calculate the pose and velocity of the camera group 101 with more than 3 degrees of freedom in space according to the distance of each point in the image.
  • the camera group 101 includes at least two TOF cameras arranged along the main movement direction of the mobile platform 111, so as to ensure that the images used by the front and rear cameras for matching are stereoscopic images, After image matching, higher accuracy can be obtained according to the distance and/or shape of the object to be photographed.
  • the camera group 101 includes at least one pair of line scan cameras arranged along the main moving direction of the mobile platform 111, and comparing the images of each pair of line scan cameras can also be obtained Speed information of the camera group 101.
  • the camera group 101 also includes at least one global shutter area camera, and the processor 110 can compare the image taken by the global shutter area camera with the image taken by the line camera to correct The image captured by the line scan camera.
  • the multiple camera speed measurement device also includes at least one laser measuring instrument, which is used to measure the distance between different photographed objects.
  • the laser measuring instrument is a line laser measuring instrument or a cross laser measuring instrument.
  • the processor 110 can not only obtain high-precision speed information through image comparison of different cameras, but also obtain speed information through successive images of each camera. This information can roughly calculate the available speed of different cameras. The time at which the matched image appears to improve the matching speed.
  • the processor 110 can, according to the position information of the center of the mobile platform 111 at the current moment, the position information of the previous moment, and the current moment and the previous The shooting time difference at a moment is used to estimate the speed of the camera group 101 relative to the object to be photographed.
  • the embodiment of the present invention provides a speed measurement method and a speed measurement device with multiple cameras, by processing the registration of images captured by different cameras to obtain two images with high similarity, because the two images have the shortest measurement distance and the maximum image coincidence degree, so that the accuracy of the speed information of the mobile platform calculated by the multi-camera speed measurement method is higher than the accuracy of the speed information of the photographed object calculated by continuous image tracking of a single camera.
  • the multi-camera speed measurement method and the multi-camera speed measurement device provided by the present invention form feedback with the real environment, avoiding the problem of misjudgment caused by the robot's wheels slipping or the wheels being overhead.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种复数相机测速方法及测速装置，测速方法包括：S1、对设置在一个移动平台上的相对位置固定的相机组的各相机的位置进行标定；S2、获取相机组中各相机的同步图像序列并记录其时间戳；S3、处理相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅图像的位置变换矩阵，并根据拍摄所述两幅图像的相机相对移动平台的位置关系得到移动平台的位置变换矩阵，最后根据位置变换矩阵及两幅图像的拍摄时间间隔算出移动平台的速度信息。通过处理不同相机拍摄的图像的配准来计算移动平台的速度，能够解决单个相机测速时拍摄距离和图像重合度的矛盾，获取高精度的移动速度信息。

Description

复数相机测速方法及测速装置 技术领域
本发明涉及测速技术领域，尤其涉及一种复数相机测速方法及测速装置。
背景技术
随着信息电子、自动控制等技术的不断发展，机器人已经越来越多的参与到人们的生产生活当中。其中，具有移动、感知、搬运等能力的移动机器人作为其中的代表被广泛应用于多种行业。无论是家庭使用的扫地机器人，还是工业常见的AGV(自动导航小车)、智能叉车，或者酒店医院中的服务机器人，都是移动机器人技术的具体表现。
为了对移动机器人进行良好控制，实时获取机器人自身速度成为一个技术难点。在当前应用的技术方案中，大部分移动机器人采用了左右轮测速码盘测速的方式。但是，这种方式本质上没有与真实环境形成反馈。因此，当车轮出现打滑或者车轮被架空的情况下，移动机器人得到的速度并不真实，很容易误判自身的位置和运行状况，最终导致未知的错误。这对机器人运动的安全性和稳定性都带来极大挑战。
发明内容
本发明的目的在于提供一种复数相机测速方法及测速装置，测速精确且不会受外界干扰。
为了达到上述目的，本发明提供了一种复数相机测速方法，包括以下步骤：
S1、对设置在一个移动平台上的相对位置固定的相机组中的各相机的位置进行标定，得到各相机之间的位置关系以及各相机与移动平台的位置关系；
S2、获取所述相机组中各相机的同步图像序列并记录所述同步图像序列的时间戳；
S3、处理所述相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算所述两幅图像的位置变换矩阵，并根据拍摄 所述两幅图像的相机之间的位置关系、拍摄所述两幅图像的相机相对所述移动平台的位置关系及所述两幅图像的位置变换矩阵得到所述移动平台在所述两幅图像的拍摄时间间隔下的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台的速度信息。
可选的，所述S3具体包括：
S31、获取所述移动平台在当前时刻的位置信息，并根据所述移动平台在当前时刻的位置信息及第一相机相对所述移动平台的位置关系计算得到所述第一相机在当前时刻的第一位置；
S32、根据所述第一位置，遍历其他相机拍摄图像时的第二位置，当所述第二位置与所述第一位置的距离小于第二阈值时，则判定为查找成功，将与所述第一位置及所述第二位置对应的拍摄图像分别记为查找图像及候选图像，记录所述查找图像及候选图像的时间戳，并进入S33；
S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为匹配成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S34；
S34、根据所述查找图像与所述候选图像的相机之间的位置关系及所述位置变换矩阵计算得到所述第一相机的位置变换矩阵，然后根据所述第一相机的位置变换矩阵及所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台的速度信息。
可选的，获取所述移动平台在当前时刻的位置信息的步骤包括：
对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息。
可选的，在对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息时，根据每个相机的配准结果设定每个相机对应的权重，并通过加权平均的方式计 算得到所述移动平台的位置信息。
可选的，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算得到两幅图像的位置变换矩阵。
可选的，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而计算得到两幅图像的位置变换矩阵。
可选的，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而计算得到两幅图像的位置变换矩阵。
可选的，通过位置传感器直接获取所述移动平台在当前时刻的位置信息。
可选的，在执行步骤S32或S33时，若查找失败或匹配失败，则进入S35，所述S35具体包括：
获取所述移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间间隔，估算所述相机组相对所述被拍摄对象的速度。
为了达到上述目的，本发明还提供了一种复数相机测速装置，包括：
移动平台，能够相对被拍摄对象移动；
相机组，包括至少两台设置在所述移动平台上的相机，各相机之间的相对位置固定；
处理器，被配置为用于执行如上所述的复数相机测速方法。
可选的，所述相机组具备与所述相机匹配的光源，包括：
近红外光源和与之匹配的具有能够透过所述近红外光源的发射光的波长的镜头的相机；
或者远红外光源和与之匹配的远红外相机；
或者紫外光源和与之匹配的紫外相机；
或者具备偏振光的光源和与之匹配的具有能够透过所述偏振光的镜头的相机。
可选的，各相机的图像拍摄时间同步或者各相机的拍摄时间具有时间戳。
可选的，所述复数相机测速装置还包括设置在所述移动平台上的标定工具，所述标定工具用于标定各相机之间的相对位置关系及各相机相对所述移动平台的位置关系。
可选的，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。
可选的，所述相机组包括至少一对双目相机。
可选的，所述相机组包括至少两台沿所述移动平台的主要运动方向布置的TOF相机。
可选的，所述相机组包括至少一对沿所述移动平台的主要运动方向布置的线阵相机。
可选的，所述相机组还包括至少一台全局快门面阵相机，所述处理器能够将所述全局快门面阵相机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。
可选的，当得到的两幅图像的配准结果小于第一阈值时，所述处理器能够根据移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间间隔，估算所述相机组相对所述被拍摄对象的速度。
可选的，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。
可选的，所述激光测量仪为线激光测量仪或十字激光测量仪。
本发明提供了一种复数相机测速方法及测速装置，其通过处理不同相机拍摄的图像的配准来得到具有高相似度的两幅图像。由于所述两幅图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
图1为本发明实施例提供的复数相机测速方法的步骤图；
图2为本发明实施例提供的复数相机测速方法的流程图；
图3为本发明实施例提供的复数相机测速装置的结构示意图；
图4为本发明实施例提供的查找图像和候选图像的示意图。
附图中：
101-相机组；102-相机；103-光源；110-处理器；111-移动平台；
W-世界坐标系；C-中心坐标系。
具体实施方式
正如背景技术所述，在当前应用的技术方案中，大部分移动机器人采用了左右轮测速码盘测速的方式。但是，这种方式本质上没有与真实环境形成反馈。因此，当车轮出现打滑或者车轮被架空的情况下，移动机器人得到的速度并不真实，很容易误判自身的位置和运行状况，最终导致未知的错误。这对机器人运动的安全性和稳定性都带来极大挑战。
当把相机对准地面通过对地面图像的移动视频来计算出相机的移动速度是已知的非常有效的方法。但是由于测速的精度取决于用于比较运算的两幅图像的拍摄位置距离和图像的重合度，所以如何减小两幅图像的拍摄距离和提高两幅图像的重合度是增强视觉测速性能的重要手段。因为一台相机的可视面积有限，当该相机拍摄的两幅图像的拍摄地点相距较远，两幅图像的重合率就会降低，进而影响视觉测速的准确性。
基于此，本发明提供了一种复数相机测速方法及测速装置，通过采用至少两台相对位置固定的相机进行拍摄，通过比较不同相机之间的图像来获取高精度的移动速度信息。
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未 按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非内容另外明确指出外。如在本发明中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，除非内容另外明确指出外。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。
本发明的核心思想在于提供一种复数相机测速方法及测速装置，解决当前机器人测速的真实性和准确性问题。
所述复数相机测速方法，包括以下步骤：
S1、对设置在一个移动平台上的相对位置固定的相机组的各相机的位置进行标定，得到各相机之间的位置关系以及各相机与移动平台的位置关系；
S2、获取所述相机组中各相机的同步图像序列并记录所述同步图像序列的时间戳；
S3、处理所述相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算所述两幅图像的位置变换矩阵，并根据拍摄所述两幅图像的相机之间的位置关系、拍摄所述两幅图像的相机相对所述移动平台的位置关系及所述两幅图像的位置变换矩阵得到所述移动平台在所述两幅图像的拍摄时间间隔下的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台的速度信息。
作为本发明的另一个方面，所述复数相机测速装置包括：
移动平台，能够相对被拍摄对象移动；
相机组，包括至少两台设置在所述移动平台上的相机，各相机之间的相对位置固定；
处理器，被配置为用于执行如上所述的复数相机测速方法。
如此配置，通过处理各相机拍摄的图像的配准来得到具有高相似度的两幅图像，由于两幅高相似度的图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。
以下参考附图进行描述。
如图1-图3所示，图1为本发明实施例提供的复数相机测速方法的步骤图，图2为本发明实施例提供的复数相机测速方法的流程图，图3为本发明实施例提供的复数相机测速装置的结构示意图。本实施例提供了一种复数相机测速方法，包括以下步骤：
S1、对设置在一个移动平台111上的相对位置固定的相机组101的各相机102的位置进行标定，得到各相机102之间的位置关系以及各相机102与移动平台111之间的位置关系；
S2、获取所述相机组101中各相机102的同步图像序列并记录所述同步图像序列的时间戳；
S3、处理所述相机组101的各相机102拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算所述两幅图像的位置变换矩阵，并根据拍摄所述两幅图像的相机102之间的位置关系、所述两幅图像的位置变换矩阵、拍摄所述两幅图像的相机102相对所述移动平台111的位置关系得到所述移动平台111在所述两幅图像的拍摄时间间隔下的位置变换矩阵，最后根据所述移动平台111的位置变化矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台111的速度信息。
本实施例中，结合图3，所述复数相机102测速装置包括：
移动平台111，能够相对被拍摄对象移动；
相机组101，包括至少两台设置在所述移动平台111上的相机102，各相机102之间的相对位置固定；
处理器110，被配置为用于执行如上所述的复数相机102测速方法。
首先，执行步骤S1，对相机组101的各相机102的位置进行标定，得到各相机102之间的位置关系以及各相机102与移动平台111的位置关系。在进行位置标定时，需要先建立世界坐标系W和移动平台111的车身坐标系C，所述世界坐标系W可以是任一点作为原点，所述车身坐标系C以所述移动平台111的中心作为原点。本实施例中，使用的坐标系为右手坐标系，朝向移动平台111的前进方向为X轴，朝向移动平台111的右边方向为Y轴，竖直向下朝向地面的方向为Z轴。
所述移动平台111的移动速度只考虑二维平面的平移和旋转，故位置信息的表示只考虑水平面。移动平台111和相机组101的每个相机102的位置均在世界坐标系W下表示。其中，移动平台111的位置以其物理中心表示。相机组101的每个相机102的位置以相机102中心表示。
具体的，设t k时刻移动平台111的位置的坐标为c(x，y)，角度为θ,则在世界坐标系W下，所述移动平台111的位置矩阵表示为
Figure PCTCN2022082190-appb-000001
相机组101中的每个相机102相对于移动平台111的位置固定，第i个相机102相对于移动平台111的位置关系可以表示为P ci，其中i＝1，2，…，M，M为相机组101中相机102的数目。
Figure PCTCN2022082190-appb-000002
其中，θ ci是第i个相机102相对于移动平台111的角度、Δx ci和Δy ci是第i个相机102在移动平台111的车身坐标系C下的坐标。
本实施例中，可通过棋盘格、激光测距仪、激光雷达、TOF传感器或编码器来标定各相机102之间的相对位置关系及各相机102相对所述移动平台111的位置关系。
然后执行步骤S2，获取所述相机组101中各相机102的同步图像序列并记录同步获取图像的时间戳。本实施例中，在时刻t k，相机组101的各相机102同步获取图像
Figure PCTCN2022082190-appb-000003
i＝1，2，…，M。其中
Figure PCTCN2022082190-appb-000004
表示t k时刻第i个相机102获取的图像数据，M表示相机组101中的相机102数量。在获取所述同步图像数据的同时获取该同步图像对应的时间戳t k。
接着，执行步骤S3、处理所述相机组101的各相机102拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算所述两幅图像的位置变换矩阵，并根据拍摄所述两幅图像的相机102之间的位置关系、所述两幅图像的位置变换矩阵、所述相机102相对所述移动平台111的位置关系得到所述移动平台111在所述两幅图像的拍摄时间间隔下的位置变换矩阵，最后根据所述移动平台111的位置变化矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台111的速度信息。
进一步的，所述S3具体包括：
S31、获取所述移动平台111在当前时刻的位置信息，并根据所述移动平台111在当前时刻的位置信息及第一相机102相对所述移动平台111的位置关系计算得到所述第一相机102在当前时刻的第一位置；
S32、根据所述第一位置，遍历其他相机102拍摄图像时的第二位置，当所述第二位置与所述第一位置的距离小于第二阈值时，则判定为查找成功，将与所述第一位置及所述第二位置对应的拍摄图像分别记为查找图像及候选图像，记录所述查找图像及候选图像的时间戳，并进入S32；
S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为配准成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S33；
S34、根据所述查找图像与所述候选图像的相机102之间的位置关系及所述位置变换矩阵计算得到所述第一相机102的位置变换矩阵，然后根据所述 第一相机102的位置变换矩阵及所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置变换矩阵，最后根据所述移动平台111的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台111的速度信息。
具体的，在执行完步骤S2之后，接着执行步骤S31，获取所述移动平台111在当前时刻的位置信息，并使每个相机102存储查找图像及对应的位置信息。
进一步的，获取所述移动平台111在当前时刻的位置信息的步骤具体包括：
对所述第一相机102的查找图像和上一帧图像进行配准，得到所述第一相机102的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置信息。
也就是说，移动平台111的位置可以通过相机组101的每个相机102来估计。例如，针对相机组101中每个相机102，在t k时刻获取某一相机102拍摄的图像
Figure PCTCN2022082190-appb-000005
后，对该相机102的查找图像
Figure PCTCN2022082190-appb-000006
和上一帧图像
Figure PCTCN2022082190-appb-000007
进行配准计算，得到该相机102的自身位置变换矩阵。
作为本实施例的第一个优选示例，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算得到两幅图像的位置变换矩阵
Figure PCTCN2022082190-appb-000008
表示第i个相机102在t k-1和t k时刻的位置变换矩阵。
作为本实施例的第二个优选示例，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而获得两幅图像的位置变换矩阵
Figure PCTCN2022082190-appb-000009
作为本实施例的第三个优选示例，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而获得两幅图像的位置变换矩阵
Figure PCTCN2022082190-appb-000010
例如，当第i个相机102是TOF相机102或配置有激光测距仪或单线激光雷达或多线激光光雷达装置时，图像 数据含有深度信息，可以使用3D匹配的方法估计第i个相机102当前的位置。通过两幅图像对应的3D点坐标使用迭代最邻近(ICP)方法计算空间3自由度的位姿变换，或者使用上一时刻图像的3D坐标和当前时刻图像的2D坐标使用PnP算法获得两幅图像的位置变换矩阵
Figure PCTCN2022082190-appb-000011
第i个相机102在t k时刻计算得到的前后帧图像的位置变换矩阵
Figure PCTCN2022082190-appb-000012
转换为移动平台111的位置变换关系
Figure PCTCN2022082190-appb-000013
根据刚体变换有如下位置变换关系：
Figure PCTCN2022082190-appb-000014
由于
Figure PCTCN2022082190-appb-000015
为P ci的逆矩阵，而P ci为已知的第i个相机102相对移动平台111的位置关系，故可通过位置变换矩阵
Figure PCTCN2022082190-appb-000016
直接计算出移动平台111的位置变换矩阵
Figure PCTCN2022082190-appb-000017
t k时刻移动平台111的位置
Figure PCTCN2022082190-appb-000018
可以由移动平台111在t k-1时刻的位置
Figure PCTCN2022082190-appb-000019
和位置变换矩阵
Figure PCTCN2022082190-appb-000020
计算得到，计算公式如下：
Figure PCTCN2022082190-appb-000021
针对每个相机102，根据移动平台111在t k时刻的位置
Figure PCTCN2022082190-appb-000022
和第i个相机102相对移动平台111的位置关系得到该相机102在时刻t k的位置，计算公式如下：
Figure PCTCN2022082190-appb-000023
每个相机102存储当前时刻拍摄的查找图像
Figure PCTCN2022082190-appb-000024
以及该查找图像
Figure PCTCN2022082190-appb-000025
对应的相机102在时刻t k的位置为
Figure PCTCN2022082190-appb-000026
本实施例中，还可以通过位置传感器直接获取所述移动平台111在当前时刻的位置信息，所述位置传感器包括但不限于是编码器、惯性器件或里程计。
更进一步的，在对所述第一相机102的查找图像和上一帧图像进行配准，得到所述第一相机102的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置信息时，根据每个相机102的配准结果设定每个相机102对应的权 重，通过加权平均的方式计算得到所述移动平台111的位置信息。
也就是说，利用相机组101中的第i个相机102通过公式(3)和(4)获得的前后帧图像配准结果和位置变换矩阵可估算出一个移动平台111的位置
Figure PCTCN2022082190-appb-000027
为提高移动平台111的位置的精确度，根据每个相机102获得的计算结果(如，移动平台111的位置
Figure PCTCN2022082190-appb-000028
)可进行加权平均，其中，加权平均的权值由每个相机102的配准结果决定。
如果t k时刻每个相机102的配准结果分别是s i,则每个相机102的对应的
Figure PCTCN2022082190-appb-000029
的权值分别为
Figure PCTCN2022082190-appb-000030
其中，j为1，2，…，M。
则t k时刻移动平台111的位置计算如下：
Figure PCTCN2022082190-appb-000031
通过加权平均的方式得到的移动平台111的位置的精度更高。
在每个相机102存储查找图像及其对应的位置信息后，执行步骤S32，其中，每个相机102根据相机102的当前位置
Figure PCTCN2022082190-appb-000032
查找并选择其他相机102在过去时刻在此当前位置处的候选图像。相机组101的每个相机102根据t k时刻的位置
Figure PCTCN2022082190-appb-000033
遍历其他相机102的所有候选图像的位置
Figure PCTCN2022082190-appb-000034
为第l个相机102(l≠i)在时刻t k′的位置。当距离
Figure PCTCN2022082190-appb-000035
最近的
Figure PCTCN2022082190-appb-000036
满足如下关系：
Figure PCTCN2022082190-appb-000037
其中，D为第二阈值，即给定的距离阈值。
对应的图像
Figure PCTCN2022082190-appb-000038
为第l个相机102的候选图像，记录所述候选图像的时间戳t k′。
查找成功后，执行步骤S33，进行所述查找图像与所述候选图像的配准。
当配准结果满足如下关系：
Figure PCTCN2022082190-appb-000039
其中，
Figure PCTCN2022082190-appb-000040
为查找图像
Figure PCTCN2022082190-appb-000041
和候选图像
Figure PCTCN2022082190-appb-000042
的配准评分，ε为第一阈值，即给定的评分阈值。
若得到的配准结果大于所述第一阈值时，则判定为匹配成功，计算出所述查找图像与所述候选图像的位置变换矩阵。
则根据(4)式可以得到查找图像与候选图像的位置变换矩阵满足下列关系：
Figure PCTCN2022082190-appb-000043
当存在匹配成功的候选图像，则进入步骤S34。在步骤S34中，根据所述查找图像与所述候选图像的相机102之间的位置关系及所述查找图像与所述候选图像的位置变换矩阵计算得到所述第一相机102的位置变换矩阵，然后根据所述第一相机102的位置变换矩阵及所述第一相机102相对所述移动平台的位置关系计算得到所述移动平台111的位置变换矩阵，最后根据移动平台111的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台111的速度信息。
请参照图4，图4为本发明实施例提供的查找图像和候选图像的示意图，所述查找图像和所述候选图像对应的相机102之间的位置关系是固定的。
第i个相机102在时刻t k和t k′的位置变换矩阵
Figure PCTCN2022082190-appb-000044
满足：
Figure PCTCN2022082190-appb-000045
根据公式(10)可计算得到第i个相机102的查找图像
Figure PCTCN2022082190-appb-000046
与其候选图像
Figure PCTCN2022082190-appb-000047
之间的位置偏差
Figure PCTCN2022082190-appb-000048
第i个相机102和第l个相机102之间的相对位置关系P li为已知(此时，第l个相机102在时刻t k′的位置
Figure PCTCN2022082190-appb-000049
也已知)，进而可以根据公式(11)计算得到
Figure PCTCN2022082190-appb-000050
再根据公式(3)
Figure PCTCN2022082190-appb-000051
可以得到根据第i个相机102计算出来的移动平台111在时刻t k和时刻t k′的位置变化。因为t k时刻第i个相机102拍摄的查找图像
Figure PCTCN2022082190-appb-000052
和第l个相机102拍摄的候选图像
Figure PCTCN2022082190-appb-000053
具有最短的测量距离 和最大的图像重合度，使得
Figure PCTCN2022082190-appb-000054
的计算精度比单个相机102的连续图像追踪更高，进而使得
Figure PCTCN2022082190-appb-000055
和
Figure PCTCN2022082190-appb-000056
的计算精度更高。
将
Figure PCTCN2022082190-appb-000057
按照(1)式分解成矩阵的形式，有
Figure PCTCN2022082190-appb-000058
得到t k时刻由第i个相机102计算出来的移动平台111的移动速度V i如下表示：
Figure PCTCN2022082190-appb-000059
所述移动平台111的移动速度V i即所述相机组101相对所述被拍摄对象的速度。
同理，可根据(6)式的配准权值，得到更精确的移动速度，公式如下：
Figure PCTCN2022082190-appb-000060
进一步的，在执行步骤S32或S33时，若查找失败或匹配失败，则进入S35，所述S35具体包括：
获取所述移动平台111在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间间隔(拍摄时间差)，估算所述相机组101相对所述被拍摄对象的速度。
也就是说，如果相机组101中的所有相机102均未查找到候选图像，即没有一个相机102能够找到满足(8)式的候选图像，则查找失败并进入步骤S35，否则查找成功并进入S33。或者，如果所有的候选图像匹配失败，同样进入步骤S35。可根据步骤S31获取所述移动平台111在当前时刻的位置信息
Figure PCTCN2022082190-appb-000061
上一时刻的位置信息
Figure PCTCN2022082190-appb-000062
以及当前时刻和上一时刻的拍摄时间差(t k-t k-1)，进而得到移动平台111在相邻两个时刻的位置变换矩阵，具体公式如下：
Figure PCTCN2022082190-appb-000063
当然，也可以根据公式(3)直接得到
Figure PCTCN2022082190-appb-000064
所述
Figure PCTCN2022082190-appb-000065
及
Figure PCTCN2022082190-appb-000066
还可以根据公式(7)计算获得。
将
Figure PCTCN2022082190-appb-000067
分解成矩阵的形式，有
Figure PCTCN2022082190-appb-000068
最后得到t k时刻移动平台111的移动速度如下表示：
Figure PCTCN2022082190-appb-000069
本发明实施例通过处理各相机102拍摄的图像的配准来得到高相似度的两幅图像，由于两幅所述图像具有最短的测量距离和最大的图像重合度，使得计算得到的移动平台111的速度信息的精度比单个相机102的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。
基于此，请参照图2，本发明实施例还提供了复数相机102测速装置，包括：
移动平台111，能够相对被拍摄对象移动；
相机组101，包括至少两台设置在所述移动平台111上的相机102，各相机102之间的相对位置固定；
处理器110，被配置为用于执行上述复数相机102测速方法。
本实施例中，所述相机组101具备与所述相机102匹配的光源103，包括：
近红外光源103和与之匹配的具有能够透过所述近红外光源103的发射光的波长的镜头的相机102；
或者远红外光源103和与之匹配的远红外相机102；
或者紫外光源103和与之匹配的紫外相机102；
或者具备偏振光的光源103和与之匹配的具有能够透过所述偏振光的镜头的相机102。
本实施例中，各相机102的图像拍摄时间同步或者各相机102的拍摄时间具有时间戳，所述时间戳能够实时地被所述处理器110获取，以便于进行移动速度的计算。
本实施例中，所述复数相机102测速装置还包括设置在所述移动平台111上的标定工具，所述标定工具用于标定各相机102之间的相对位置关系及各相机102相对所述移动平台111中心的位置关系，所述位置关系能够被所述处理器110获取。
进一步的，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。
作为本实施例的第一个优选示例，所述相机组101包括至少一对双目相机。所述双目相机是指双目相机包含共同视野，可以获得三维立体图像，使相机组101可以根据图像中各点的距离计算相机组101的空间3自由度以上的位姿及速度。
作为本实施例的第二个优选示例，所述相机组101包括至少两台沿所述移动平台111的主要运动方向布置的TOF相机，以保证前后两台相机用于匹配的图像是立体图像，使得图像匹配后可以根据拍摄对象的距离及/或形状得到更高的精度。
作为本实施例的第三个优选示例，所述相机组101包括至少一对沿所述移动平台111的主要运动方向布置的线阵相机，每对所述线阵相机的图像进行对比也可以得到相机组101的速度信息。
优选的，所述相机组101还包括至少一台全局快门面阵相机，所述处理器110能够将所述全局快门面阵相机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。
进一步的，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。
更进一步的，所述激光测量仪为线激光测量仪或十字激光测量仪。
本实施例中，所述处理器110不仅可以通过不同相机的图像对比获得高精度速度信息，而且也可以通过每一台相机的前后连续图像获得速度信息，该信息可以粗略算出不同相机拍摄的可用于匹配的图像出现的时间，以提高匹配速度。
本实施例中，当得到的两幅图像的配准结果小于第一阈值时，所述处理器110能够根据移动平台111中心在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述相机组101相对所述被拍摄对象的速度。
综上，本发明实施例提供了一种复数相机测速方法及测速装置，通过处理不同相机拍摄的图像的配准来得到高相似度的两幅图像，由于两幅所述图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。
此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (21)

  1. 一种复数相机测速方法，其特征在于，包括以下步骤：
    S1、对设置在一个移动平台上的相对位置固定的相机组中的各相机的位置进行标定，得到各相机之间的位置关系以及各相机与移动平台的位置关系；
    S2、获取所述相机组中各相机的同步图像序列并记录所述同步图像序列的时间戳；
    S3、处理所述相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算所述两幅图像的位置变换矩阵，并根据拍摄所述两幅图像的相机之间的位置关系、拍摄所述两幅图像的相机相对所述移动平台的位置关系及所述两幅图像的位置变换矩阵得到所述移动平台在所述两幅图像的拍摄时间间隔下的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台的速度信息。
  2. 如权利要求1所述的复数相机测速方法，其特征在于，所述S3包括：
    S31、获取所述移动平台在当前时刻的位置信息，并根据所述移动平台在当前时刻的位置信息及第一相机相对所述移动平台的位置关系计算得到所述第一相机在当前时刻的第一位置；
    S32、根据所述第一位置，遍历其他相机拍摄图像时的第二位置，当所述第二位置与所述第一位置的距离小于第二阈值时，则判定为查找成功，将与所述第一位置及所述第二位置对应的拍摄图像分别记为查找图像及候选图像，记录所述查找图像及候选图像的时间戳，并进入S33；
    S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为配准成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S34；
    S34、根据所述查找图像与所述候选图像的相机之间的位置关系及所述位置变换矩阵计算得到所述第一相机的位置变换矩阵，然后根据所述第一相机的位置变换矩阵及所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，计算出所述移动平台的速度信息。
  3. 如权利要求2所述的复数相机测速方法，其特征在于，获取所述移动平台在当前时刻的位置信息的步骤包括：
    对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息。
  4. 如权利要求3所述的复数相机测速方法，其特征在于，在对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的自身位置变换矩阵，并根据所述自身位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息时，根据每个相机的配准结果设定每个相机对应的权重，并通过加权平均的方式计算得到所述移动平台的位置信息。
  5. 如权利要求1或4所述的复数相机测速方法，其特征在于，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算得到两幅图像的位置变换矩阵。
  6. 如权利要求1或4所述的复数相机测速方法，其特征在于，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而计算得到两幅图像的位置变换矩阵。
  7. 如权利要求1或4所述的复数相机测速方法，其特征在于，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而计算得到两幅图像的位置变换矩阵。
  8. 如权利要求2所述的复数相机测速方法，其特征在于，通过位置传感器直接获取所述移动平台在当前时刻的位置信息。
  9. 如权利要求2所述的复数相机测速方法，其特征在于，在执行步骤S32或S33时，若查找失败或配准失败，则进入S35，所述S35包括：
    获取所述移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述移动平台的速度信息。
  10. 一种复数相机测速装置，其特征在于，包括：
    移动平台，能够相对被拍摄对象移动；
    相机组，包括至少两台设置在所述移动平台上的相机，各相机之间的相对位置固定；
    处理器，被配置为用于执行如权利要求1-8中的任一项所述的复数相机测速方法。
  11. 如权利要求10所述的复数相机测速装置，其特征在于，所述相机组具备与所述相机匹配的光源，包括：
    近红外光源和与之匹配的具有能够透过所述近红外光源的发射光的波长的镜头的相机；
    或者远红外光源和与之匹配的远红外相机；
    或者紫外光源和与之匹配的紫外相机；
    或者具备偏振光的光源和与之匹配的具有能够透过所述偏振光的镜头的相机。
  12. 如权利要求10所述的复数相机测速装置，其特征在于，各相机的图像拍摄时间同步或者各相机的拍摄时间具有时间戳。
  13. 如权利要求10所述的复数相机测速装置，其特征在于，所述复数相机测速装置还包括设置在所述移动平台上的标定工具，所述标定工具用于标定各相机之间的相对位置关系及各相机相对所述移动平台的位置关系。
  14. 如权利要求13所述的复数相机测速装置，其特征在于，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。
  15. 如权利要求10所述的复数相机测速装置，其特征在于，所述相机组包括至少一对双目相机。
  16. 如权利要求10所述的复数相机测速装置，其特征在于，所述相机组包括至少两台沿所述移动平台的主要运动方向布置的TOF相机。
  17. 如权利要求10所述的复数相机测速装置，其特征在于，所述相机组包括至少一对沿所述移动平台的主要运动方向布置的线阵相机。
  18. 如权利要求17所述的复数相机测速装置，其特征在于，所述相机组还包括至少一台全局快门面阵相机，所述处理器能够将所述全局快门面阵相 机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。
  19. 如权利要求10所述的复数相机测速装置，其特征在于，当得到的所述两幅图像的配准结果小于第一阈值时，所述处理器能够根据移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述移动平台的速度信息。
  20. 如权利要求10所述的复数相机测速装置，其特征在于，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。
  21. 如权利要求20所述的复数相机测速装置，其特征在于，所述激光测量仪为线激光测量仪或十字激光测量仪。
PCT/CN2022/082190 2021-06-30 2022-03-22 复数相机测速方法及测速装置 WO2023273427A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/263,583 US20240085448A1 (en) 2021-06-30 2022-03-22 Speed measurement method and apparatus based on multiple cameras
JP2023540732A JP7580614B2 (ja) 2021-06-30 2022-03-22 複数カメラによる速度測定方法及び速度測定装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110748440.5A CN113504385B (zh) 2021-06-30 2021-06-30 复数相机测速方法及测速装置
CN202110748440.5 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023273427A1 true WO2023273427A1 (zh) 2023-01-05

Family

ID=78009851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/082190 WO2023273427A1 (zh) 2021-06-30 2022-03-22 复数相机测速方法及测速装置

Country Status (4)

Country Link
US (1) US20240085448A1 (zh)
JP (1) JP7580614B2 (zh)
CN (1) CN113504385B (zh)
WO (1) WO2023273427A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504385B (zh) * 2021-06-30 2023-07-14 安徽爱观视觉科技有限公司 复数相机测速方法及测速装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
JP2020107938A (ja) * 2018-12-26 2020-07-09 株式会社デンソーアイティーラボラトリ カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
CN113504385A (zh) * 2021-06-30 2021-10-15 上海爱观视觉科技有限公司 复数相机测速方法及测速装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401913B2 (ja) * 1994-05-26 2003-04-28 株式会社デンソー 車両用障害物認識装置
JP2000097968A (ja) 1998-09-25 2000-04-07 Japan Aviation Electronics Industry Ltd 速度計および速度測定方法
JP2007066274A (ja) 2005-08-26 2007-03-15 Tokyo Institute Of Technology 画像認識方式
JP4814669B2 (ja) 2006-03-28 2011-11-16 株式会社デンソーアイティーラボラトリ ３次元座標取得装置
JP2010267114A (ja) 2009-05-15 2010-11-25 Konica Minolta Holdings Inc 画像記憶装置、画像記憶システム、画像記憶方法、およびプログラム
JP2011217233A (ja) 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2013104861A (ja) 2011-11-17 2013-05-30 Hitachi Automotive Systems Ltd 車載カメラ及び車載カメラシステム
CN102519481B (zh) * 2011-12-29 2013-09-04 中国科学院自动化研究所 一种双目视觉里程计实现方法
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
CN104268882A (zh) * 2014-09-29 2015-01-07 深圳市热活力科技有限公司 基于双线阵摄像头的高速运动物体检测与测速方法及系统
JP6485964B2 (ja) * 2015-09-10 2019-03-20 オプティトラック・ジャパン株式会社 モーションキャプチャー方法及びモーションキャプチャーシステム
WO2017145541A1 (ja) 2016-02-23 2017-08-31 株式会社日立製作所 移動体
CN106403924B (zh) 2016-08-24 2019-05-31 智能侠（北京）科技有限公司 基于深度摄像头的机器人快速定位与姿态估计方法
CN106370884B (zh) * 2016-09-09 2019-12-24 成都通甲优博科技有限责任公司 基于双目相机计算机视觉技术的车辆测速方法
JP6932058B2 (ja) 2017-10-11 2021-09-08 日立Astemo株式会社 移動体の位置推定装置及び位置推定方法
CN108426566B (zh) 2018-02-28 2020-09-01 中国计量大学 一种基于多摄像机的移动机器人定位方法
CN110322702B (zh) * 2019-07-08 2020-08-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
JP7213158B2 (ja) 2019-07-09 2023-01-26 株式会社小野測器 状態計測装置及び状態計測方法
CN112381886B (zh) * 2020-11-16 2024-04-09 深圳市洲明科技股份有限公司 基于多相机的三维场景重建方法、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825518A (zh) * 2016-03-31 2016-08-03 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
JP2020107938A (ja) * 2018-12-26 2020-07-09 株式会社デンソーアイティーラボラトリ カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
CN112639883A (zh) * 2020-03-17 2021-04-09 华为技术有限公司 一种相对位姿标定方法及相关装置
CN113504385A (zh) * 2021-06-30 2021-10-15 上海爱观视觉科技有限公司 复数相机测速方法及测速装置

Also Published As

Publication number Publication date
CN113504385B (zh) 2023-07-14
CN113504385A (zh) 2021-10-15
US20240085448A1 (en) 2024-03-14
JP2024501731A (ja) 2024-01-15
JP7580614B2 (ja) 2024-11-11

Similar Documents

Publication Publication Date Title
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN110009682B (zh) 一种基于单目视觉的目标识别定位方法
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
CN109191504A (zh) 一种无人机目标跟踪方法
CN106295512B (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN105286871A (zh) 一种基于视频处理的人体身高测量方法
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
CN106548173A (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
Dos Santos et al. Mapping indoor spaces by adaptive coarse-to-fine registration of RGB-D data
CN103604417A (zh) 物方信息约束的多视影像双向匹配策略
CN114838668B (zh) 一种隧道位移监测方法及系统
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
CN110827353A (zh) 一种基于单目摄像头辅助的机器人定位方法
CN113012224A (zh) 定位初始化方法和相关装置、设备、存储介质
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
WO2023273427A1 (zh) 复数相机测速方法及测速装置
US11514597B1 (en) Single-camera stereoaerophotogrammetry using UAV sensors
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
CN111783849A (zh) 一种室内定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22831258

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023540732

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18263583

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22831258

Country of ref document: EP

Kind code of ref document: A1