WO2021031604A1 - 仿生眼多通道imu与相机硬件时间同步方法和装置 - Google Patents

仿生眼多通道imu与相机硬件时间同步方法和装置 Download PDF

Info

Publication number
WO2021031604A1
WO2021031604A1 PCT/CN2020/086888 CN2020086888W WO2021031604A1 WO 2021031604 A1 WO2021031604 A1 WO 2021031604A1 CN 2020086888 W CN2020086888 W CN 2020086888W WO 2021031604 A1 WO2021031604 A1 WO 2021031604A1
Authority
WO
WIPO (PCT)
Prior art keywords
imu
channel
data
hardware
camera
Prior art date
Application number
PCT/CN2020/086888
Other languages
English (en)
French (fr)
Inventor
黄强
陈晓鹏
华承昊
苟思远
陈学超
高峻峣
余张国
Original Assignee
北京理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京理工大学 filed Critical 北京理工大学
Publication of WO2021031604A1 publication Critical patent/WO2021031604A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Definitions

  • the invention relates to the technical field of multi-sensor fusion sensing, and in particular to a method and device for time synchronization of a bionic eye multi-channel IMU and camera hardware.
  • the existing multi-sensor time synchronization methods are divided into software time synchronization and hardware time synchronization.
  • the method of software time synchronization is limited by the accuracy of the synchronization clock of the computing carrier, and it is often necessary to make the operating system meet the hard real-time requirements, which brings greater difficulties to the program development and function realization in practical applications, and is based on a separate real-time kernel
  • the time synchronization of the software also has restrictions on chip types, and the versatility is not high.
  • the hardware time synchronization method generally uses GNSS (Satellite Navigation System) as the reference for time synchronization, or the time difference data between different sensors is measured, and then the time difference is calibrated and compensated.
  • GNSS Global System for Mobile Communications
  • the GNSS time synchronization method has the disadvantages of high cost (each node needs to install GNSS equipment), limited installation (need to be used in an outdoor unobstructed environment), and susceptibility to weather and environmental changes.
  • GNSS receivers generally have a relatively large size, which is difficult to apply to compact bionic eye systems.
  • a method for time synchronization between a bionic eye multi-channel IMU and camera hardware includes the following steps:
  • the hardware synchronization unit captures the IMU data and outputs the pulse signal synchronously, and marks the time stamp, channel number and serial number of the IMU data.
  • the hardware synchronization unit captures the IMU output pulse signal while dividing it at a fixed frequency and generates The trigger pulse signal triggers the cameras of all channels synchronously, and records the trigger timestamp and serial number of the camera;
  • S5. Use the embedded host computer of the bionic eye control system to receive and verify the new data packet, and read the image data stream collected by the cameras of each channel, analyze the data packet and generate the time stamp of the IMU data packet and the trigger pulse signal. Serial number, take the main channel IMU as the sampling time synchronization reference, calculate the synchronization time compensation of other channel IMU;
  • the IMU data packets and camera data packets after the hardware time synchronization and alignment are released according to channel classification, so as to wait for the call of other function programs of the bionic eye.
  • the setting of the IMU includes initialization, sending configuration commands through a communication interface, determining output specific data according to the functional requirements of the bionic eye, and enabling synchronous output of pulse signals.
  • the setting of the camera includes enabling an external trigger function, setting exposure, gain, and image attributes.
  • the hardware synchronization unit includes a microprocessor for storing, managing and processing data, time stamps and serial numbers, and a crystal oscillator for system time synchronization, and the hardware synchronization unit receives the IMU synchronization pulse as Interrupt the signal and divide the frequency to output the trigger pulse signal.
  • the embedded host computer includes an interface for receiving data from the hardware synchronization unit, an interface for receiving camera data, a logical calculation unit for calculating and publishing multi-channel data, and a memory.
  • this application also provides a device for synchronizing the time of a bionic eye multi-channel IMU and camera hardware, which is characterized in that it includes:
  • the first setting module is used to set the IMU, use the output frequency of the IMU as the period reference for hardware time synchronization and alignment, and make it synchronously output pulse signals when outputting data;
  • the second setting module is used to set the camera, set the relevant attributes of its image acquisition, fix the exposure time, and make it perform image acquisition after receiving an external trigger pulse, and use the output pulse signal from the IMU to trigger the camera Pulse signal;
  • the first processing module is used to capture the IMU data synchronization output pulse signal by the hardware synchronization unit, and mark the time stamp, channel number and serial number of the IMU data.
  • the hardware synchronization unit captures the IMU output pulse signal and presses it at a fixed frequency Divide the frequency and generate a trigger pulse signal to synchronously trigger the cameras of all channels, and record the camera's trigger timestamp and serial number;
  • the second processing module is used to synchronize the time of each channel sensor using the hardware synchronization unit, and uniformly manage the measurement data, time stamp and serial number of each channel, and arrange the sensor data, time stamp and serial number of the same cycle and the same channel in a queue Put them together to generate new data packets and send them to the embedded host computer of the bionic eye control system;
  • the third processing module is used to use the embedded host computer of the bionic eye control system to receive and verify new data packets, and to read the image data streams collected by the cameras of each channel, and to parse the data packets to generate IMU data packets and trigger pulses
  • the time stamp and serial number of the signal take the main channel IMU as the sampling time synchronization reference, and calculate the synchronization time compensation of the other channel IMU;
  • the fourth processing module is used to use the time stamp and serial number of the trigger pulse signal to calculate the real time stamp of the image output in combination with the fixed exposure time, and package it together with the image data into a camera data packet;
  • the fifth processing module is used for distributing the IMU data packets and camera data packets after hardware time synchronization and alignment according to channel classification, so as to wait for the call of other function programs of the bionic eye.
  • the first setting module is further configured to:
  • the settings of the IMU include initialization, sending configuration commands through the communication interface, determining output specific data according to the functional requirements of the bionic eye, and enabling synchronous output pulse signals.
  • the second setting module is further configured to:
  • the settings of the camera include enabling the external trigger function, setting the exposure, gain, and image attributes.
  • the hardware synchronization unit includes a microprocessor for storing, managing and processing data, time stamps and serial numbers, and a crystal oscillator for system time synchronization, and the hardware synchronization unit receives IMU synchronization pulses as interrupt signals, And divide the frequency and output the trigger pulse signal.
  • the present application also provides a computer-readable storage medium on which a computer program is stored.
  • the computer program When the computer program is run by a processor, it executes the above-mentioned bionic eye multi-channel IMU and camera hardware time synchronization method.
  • the hardware time synchronization for the bionic eye multi-channel IMU and camera data acquisition Compared with the single-channel IMU and camera data acquisition and fusion, the multi-channel IMU and camera data acquisition and fusion can recover the sensed data faster and more accurately The depth information of the environment, and each channel IMU and camera can perform real-time pose measurement of the independent movement of each eye.
  • the time difference between IMUs of different channels is compensated by time difference measurement combined with Bayesian estimation, and the accuracy of time synchronization between IMUs of different channels is further improved on the basis of the same IMU sampling frequency.
  • FIG. 1 is a block diagram of a method for time synchronization between a bionic eye multi-channel IMU and camera hardware provided by an embodiment of the present application;
  • FIG. 2 is a program flowchart of a hardware synchronization unit provided by an embodiment of the present application
  • FIG. 3 is a program flowchart of an embedded host computer provided by an embodiment of the present application.
  • FIG. 4 is a timing diagram of a method for time synchronization between a bionic eye multi-channel IMU and camera hardware provided by an embodiment of the present application.
  • the method for time synchronization between the bionic eye multi-channel IMU and camera hardware proposed in the present invention includes the following steps:
  • the hardware synchronization unit captures the IMU data and outputs the pulse signal synchronously, and marks the time stamp, channel number and serial number of the IMU data.
  • the hardware synchronization unit captures the IMU output pulse signal while dividing it at a fixed frequency and generates The trigger pulse signal triggers the cameras of all channels synchronously, and records the trigger timestamp and serial number of the camera;
  • S5. Use the embedded host computer of the bionic eye control system to receive and verify the new data packet, and read the image data stream collected by the cameras of each channel, analyze the data packet and generate the time stamp of the IMU data packet and the trigger pulse signal. Serial number, take the main channel IMU as the sampling time synchronization reference, calculate the synchronization time compensation of other channel IMU;
  • the IMU data packets and camera data packets after the hardware time synchronization and alignment are released according to channel classification, so as to wait for the call of other function programs of the bionic eye.
  • the setting of the IMU includes initialization, sending configuration commands through the communication interface, determining output specific data according to the functional requirements of the bionic eye, and enabling synchronous output pulse signals.
  • the settings of the camera include enabling the external trigger function, setting the exposure, gain, and image attributes.
  • the hardware synchronization unit includes a microprocessor for storing, managing and processing data, time stamps and serial numbers, and a crystal oscillator for system time synchronization.
  • the hardware synchronization unit receives the IMU synchronization pulse as an interrupt signal, and divides the frequency to output the trigger pulse signal.
  • the embedded host computer includes an interface for receiving data from the hardware synchronization unit, an interface for receiving camera data, a logical calculation unit for calculating and publishing multi-channel data, and a memory.
  • the selected IMU is a high-precision miniature sensor, and the available communication interfaces include SPI, I2C, and UART.
  • the IMU can output a pulse signal while collecting data, and the data output frequency is optional.
  • the global shutter CCD industrial camera is selected, the image data transmission interface is a USB interface, the image acquisition mode and image acquisition parameters are optional, and there is an external trigger interface.
  • Select a processor chip with a 16MHz clock crystal oscillator as the microprocessor of the hardware synchronization unit which can enable external interrupt pins, output TTL signals, have multiple UART interfaces for data reception and transmission, and have an interface conversion chip and USB interface.
  • the embedded host computer is selected as the logic calculation and storage unit of the control system.
  • the available communication interfaces include USB2.0, USB 3.0, RS232, UART, CAN, etc.
  • the embedded host computer can store and quickly process data and programs, and it is also a bionic A control platform that realizes multiple functions.
  • the IMU is connected to the hardware synchronization unit through a high baud rate UART interface.
  • the hardware synchronization unit enables the external interrupt pin, uses the IMU data to synchronize the output pulse signal as the interrupt source and converts it into a TTL trigger pulse signal.
  • the camera external trigger interface Connect with the hardware synchronization unit and wait to receive the TTL trigger pulse signal.
  • the 16MHz crystal oscillator is used as the clock crystal oscillator of the hardware synchronization unit system timer.
  • the hardware synchronization unit and the camera are respectively connected with the embedded host computer through the corresponding data transmission interface.
  • the block diagram of the system is shown in Figure 1.
  • IMU settings are performed through the hardware synchronization unit, the UART interface is used to send IMU configuration commands to the IMU, the data synchronization output pulse signal is enabled, and the sampling output frequency, UART baud rate and output data structure of the IMU are set.
  • the sampling output frequency It is 200Hz
  • the UART baud rate is 115200
  • the output data includes IMU measurement data, time stamp and serial number, verification information, etc.
  • the hardware synchronization unit clears the buffer and initializes, enables the external interrupt function, and starts the system timer at the same time.
  • the hardware synchronization unit After receiving the synchronization pulse signal from the IMU, it enters the external interrupt program and marks the time stamp of the IMU data. Channel number and serial number.
  • the camera trigger pulse signal is output according to the set frequency, and the cameras of all channels are triggered synchronously.
  • the camera After the camera receives the trigger signal pulse, it starts image acquisition, enters the exposure phase, and marks the trigger pulse signal.
  • the time stamp and serial number are used as the time stamp and serial number triggered by the camera.
  • the IMU data in the buffer is read, and the buffer data is cleared after sub-channel transfer to ensure that the data in the next cycle is the new measurement data of the IMU.
  • the hardware synchronization unit processes the data, timestamp and serial number of the same cycle and the same channel to generate a data packet with a new data structure, and then transmits the data packet to the embedded upper computer of the control system through the data transmission channel.
  • the embedded host computer After receiving, the embedded host computer performs data packet verification first, and then divides the data packet to perform CRC verification of IMU data to effectively deal with data errors during high-frequency transmission.
  • the data is analyzed, the IMU data and corresponding time stamps are classified according to the channel number, and the IMU data time stamp calculation between different channels, IMU time synchronization compensation calculation, data format conversion, etc. are processed, and the hardware is synchronized and aligned.
  • the IMU data package is released to wait for the call of other functional programs.
  • the program flowchart of the hardware synchronization unit is shown in Figure 2.
  • the embedded host computer simultaneously receives the image and other data obtained by triggering the camera in this period, analyzes the data to obtain the camera trigger time stamp, calculates the time stamp of the camera image, and then generates the camera data packet together with the camera image data, and It is released and waiting for the call of other function programs.
  • the program flowchart of the embedded upper computer is shown as in Fig. 3.
  • the system timing diagram is shown in Figure 4.
  • the time stamp t imu of the IMU and the time stamp t cam of the camera image can be calculated according to the following formula:
  • t sample is the IMU data sampling time
  • T d is the pulse width duration of the IMU synchronous output pulse signal, which is a fixed duration
  • t trigger is the camera trigger time
  • T w is the pulse width duration of the camera trigger pulse signal
  • T e is the camera
  • the exposure time of image acquisition, T w and T e are set camera-related attributes, which are fixed values.
  • the multi-channel IMU is compensated for synchronization time. Because the sampling time error of the IMU at a fixed frequency obeys the normal distribution of expected zero, the IMU of the main channel is used as the sampling time synchronization reference, and the sampling time of the IMU of the other channels is estimated by Bayesian, thereby improving the different channels IMU time synchronization accuracy.
  • the IMU sampling time of the main channel is T 1
  • the sampling time error standard deviation is ⁇ 1.
  • the IMU sampling time and sampling time error standard deviation of the remaining channels are in order, (T 1 , ⁇ 1 ), (T 2 , ⁇ 2 ),..., (T n , ⁇ n ), the sampling time compensation algorithm is as follows:
  • the solution of the present invention can ensure that the time synchronization accuracy of sensor data between the multi-channel IMU and the camera reaches within 0.1 ms.
  • this application also provides a time synchronization device for a bionic eye multi-channel IMU and camera hardware, which is characterized in that it includes:
  • the first setting module is used to set the IMU, use the output frequency of the IMU as the period reference for hardware time synchronization and alignment, and make it synchronously output pulse signals when outputting data;
  • the second setting module is used to set the camera, set the relevant attributes of its image acquisition, fix the exposure time, and make it perform image acquisition after receiving an external trigger pulse, and use the output pulse signal from the IMU to trigger the camera Pulse signal;
  • the first processing module is used to capture the IMU data synchronization output pulse signal by the hardware synchronization unit, and mark the time stamp, channel number and serial number of the IMU data.
  • the hardware synchronization unit captures the IMU output pulse signal and presses it at a fixed frequency Divide the frequency and generate a trigger pulse signal to synchronously trigger the cameras of all channels, and record the camera's trigger timestamp and serial number;
  • the second processing module is used to synchronize the time of each channel sensor using the hardware synchronization unit, and uniformly manage the measurement data, time stamp and serial number of each channel, and arrange the sensor data, time stamp and serial number of the same cycle and the same channel in a queue Put them together to generate new data packets and send them to the embedded host computer of the bionic eye control system;
  • the third processing module is used to use the embedded host computer of the bionic eye control system to receive and verify new data packets, and to read the image data streams collected by the cameras of each channel, and to parse the data packets to generate IMU data packets and trigger pulses
  • the time stamp and serial number of the signal take the main channel IMU as the sampling time synchronization reference, and calculate the synchronization time compensation of the other channel IMU;
  • the fourth processing module is used to use the time stamp and serial number of the trigger pulse signal to calculate the real time stamp of the image output in combination with the fixed exposure time, and package it together with the image data into a camera data packet;
  • the fifth processing module is used for distributing the IMU data packets and camera data packets after hardware time synchronization and alignment according to channel classification, so as to wait for the call of other function programs of the bionic eye.
  • the first setting module is further configured to:
  • the settings of the IMU include initialization, sending configuration commands through the communication interface, determining output specific data according to the functional requirements of the bionic eye, and enabling synchronous output pulse signals.
  • the second setting module is further configured to:
  • the settings of the camera include enabling the external trigger function, setting the exposure, gain, and image attributes.
  • the hardware synchronization unit includes a microprocessor for storing, managing and processing data, time stamps and serial numbers, and a crystal oscillator for system time synchronization, and the hardware synchronization unit receives IMU synchronization pulses as interrupt signals, And divide the frequency and output the trigger pulse signal.
  • this application also provides a computer-readable storage medium on which a computer program is stored.
  • the computer program When the computer program is run by a processor, it executes the above-mentioned bionic eye multi-channel IMU and camera hardware time synchronization method .
  • Computer-readable media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage, Magnetic cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices. According to the definition in this article, computer-readable media does not include transitory media, such as modulated data signals and carrier waves.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • flash memory or other memory technology
  • CD-ROM compact disc
  • DVD digital versatile disc
  • Magnetic cassettes magnetic tape magnetic disk storage or other magnetic storage devices or any other non
  • modules or steps of the present invention can be implemented by a general computing device. They can be concentrated on a single computing device or distributed in a network composed of multiple computing devices. Above, alternatively, they can be implemented with program codes executable by a computing device, so that they can be stored in a storage device for execution by the computing device, or they can be made into individual integrated circuit modules, or they can be Multiple modules or steps are made into a single integrated circuit module to achieve. In this way, the present invention is not limited to any specific combination of hardware and software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

一种仿生眼多通道IMU与相机硬件时间同步方法和装置。该方法包括：对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发。可实现精准硬件同步与对齐，可以更快速、更精确的恢复出仿生眼系统所感知环境的深度信息及仿生眼系统运动时的实时三维位姿信息。

Description

仿生眼多通道IMU与相机硬件时间同步方法和装置 技术领域
本发明涉及多传感器融合感知技术领域，尤其涉及一种仿生眼多通道IMU与相机硬件时间同步方法和装置。
背景技术
要实现对环境的精确感知和环境地图建模以用于定位导航，需要融合多个/多种传感器的测量数据。而多个/多种传感器进行数据融合的前提是对每个传感器数据的同步采集，因此需要对各个传感器进行数据采集的时间同步。
现有的多传感器时间同步方法分为软件时间同步、硬件时间同步。其中，软件时间同步的方式被计算载体同步时钟精度限制，往往需要使操作系统也达到硬实时要求，这给实际应用中的程序开发和功能实现带来了更大的困难，而且基于单独实时内核的软件时间同步对芯片类型也有限制，通用性不高。
硬件时间同步方法则普遍采用GNSS(卫星导航系统)作为时间同步的基准，或测量得到不同传感器间的时差数据，再标定并补偿这个时差。GNSS对时方式具有成本高(每个节点都需要安装GNSS设备)、安装受限制(需要在户外无遮挡的环境中使用)、易受受天气、环境变化影响等缺点。而且，GNSS接收机一般具有较大的尺寸，难以应用于结构紧凑的仿生眼系统。
发明内容
鉴于上述现有技术存在的不足之处，为解决仿生眼系统中多个IMU与多个相机数据的同步采集问题，而提出的一种仿生眼多通道IMU与相机硬 件时间同步方法和装置。
第一方面，本申请提供的一种仿生眼多通道IMU与相机硬件时间同步方法，包括以下步骤：
S1、对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
S2、对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
S4、利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
S6、利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
可选地，所述S1中，对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲 信号。
可选地，所述S2中，对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地，所述S3中，硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。
可选地，所述S5中，嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元，以及存储器。
第二方面，本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，包括：
第一设置模块，用于对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
第二设置模块，用于对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
第一处理模块，用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
第二处理模块，用于利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
第三处理模块，用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生 成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
第四处理模块，用于利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
第五处理模块，用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
可选地，所述第一设置模块，还用于：
对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。
可选地，所述第二设置模块，还用于：
对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地，所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。
第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的仿生眼多通道IMU与相机硬件时间同步方法。
与现有技术相比，本发明的有益效果是：
1、用于仿生眼多通道IMU和相机数据采集的硬件时间同步，相比于单通道IMU和相机数据采集和融合，多通道IMU和相机数据采集和融合可以更快速、更精确的恢复出所感知环境的深度信息，同时每个通道IMU和相机可对每个眼睛的独立运动进行实时位姿测量。
2、对于不同通道IMU之间的时间差，通过时差测量结合贝叶斯估计的方式进行了补偿，在IMU采样频率一致的基础上进一步提高了不同通道 IMU之间的时间同步精度。
3、将IMU和相机等传感器数据的采集与处理分开在硬件同步单元和嵌入式上位机，避免了这两个设备间的时钟晶振不一致导致的时间同步误差问题，同时结合了嵌入式上位机快速处理大量采集数据的优势。
4、通过硬件同步单元及相应的软件，实现了多通道IMU数据与图像帧数据之间的精确对应。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的组成框图；
图2是本申请实施例提供的一种硬件同步单元的程序流程图；
图3是本申请实施例提供的一种嵌入式上位机的程序流程图；
图4是本申请实施例提供的一种仿生眼多通道IMU与相机硬件时间同步方法的时序示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参照图1-4，本发明提出的仿生眼多通道IMU与相机硬件时间同步方法，包括以下步骤：
S1、对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
S2、对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
S4、利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
S6、利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
其中，对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元，以及存储器。
本实施例中，选用的IMU为高精度微型传感器，可用通讯接口包括SPI、I2C和UART，该IMU可在数据采集的同时使能输出一个脉冲信号，数据输出频率可选。
选用全局快门CCD工业相机，图像数据传输接口为USB接口，图像采集模式和图像采集参数可选，有外部触发接口。
选用带有16MHz时钟晶振的处理芯片作为硬件同步单元的微处理器，可使能外部中断引脚，可输出TTL信号，有多个UART接口用于数据的接收与发送，有接口转换芯片和USB接口。
选用嵌入式上位机作为控制系统的逻辑计算与存储单元，可用通讯接口包括USB2.0、USB 3.0、RS232、UART、CAN等，该嵌入式上位机可存储并快速处理数据和程序，同时也是仿生眼实现多种功能的控制平台。
IMU通过高波特率UART接口与硬件同步单元连接，硬件同步单元使能外部中断引脚，使用IMU数据同步输出脉冲信号作为中断源并将其分频转换为TTL触发脉冲信号，相机外部触发接口与硬件同步单元连接，等待接收TTL触发脉冲信号，16MHz晶振作为硬件同步单元系统计时器的时钟晶振，硬件同步单元与相机分别和嵌入式上位机通过对应数据传输接口进行连接。系统的 组成框图如图1所示。
所述实施例具体方案如下：
通过硬件同步单元进行IMU设置，使用UART接口向IMU发送IMU配置指令，使能数据同步输出脉冲信号，设置IMU的采样输出频率、UART波特率和输出数据结构等，本实施例中采样输出频率为200Hz，UART波特率为115200，输出数据包含IMU测量数据、时间戳与序列号、校验信息等。
通过控制系统进行相机初始化，使能外部触发功能，设置相机的曝光时长为固定时长，并设置曝光时长，确保相机对图像的采集时刻始终能够与IMU的某帧采集时刻对齐，设置图像增益、图像等属性，确保图像数据符合仿生眼程序调用的要求。
完成IMU和相机设置后，硬件同步单元清空缓冲区并进行初始化，使能外部中断功能，同时开启系统计时器，接受到来自IMU的同步脉冲信号后进入外部中断程序，标记IMU数据的时间戳、通道号和序列号，同时按照设定的分频输出相机触发脉冲信号，对所有通道的相机进行同步触发，相机在接收到触发信号脉冲后开始进行图像采集，进入曝光阶段，标记触发脉冲信号的时间戳和序列号作为相机触发的时间戳和序列号，退出外部中断程序后读取缓冲区IMU数据，分通道转存后清空缓冲区数据，确保下一周期数据为IMU的新测量数据。
硬件同步单元将相同周期和相同通道的数据、时间戳和序列号进行处理，生成有着新数据结构的数据包，然后通过数据传输通道向控制系统的嵌入式上位机传输该数据包。嵌入式上位机接收后先进行数据包的校验，然后分割数据包进行IMU数据的CRC校验，以有效应对高频传输过程中的数据错误等问题。校验完成后进行数据的解析，按通道号分类转存IMU数据和对应时间戳，进行不同通道间IMU数据时间戳计算、IMU时间同步补偿计算、数据格式转化等处理后，生成硬件同步对齐后IMU数据包并发布出来等待其他功能程序的调用。硬件同步单元程序流程图如图2所示。
嵌入式上位机同时接收到该周期内触发相机所得到的图像等数据，将数据 解析得到相机触发时间戳，进行相机图像的时间戳计算，然后将其与相机图像数据一起生成相机数据包，并发布出来等待其他功能程序的调用。嵌入式上位机程序流程图如图3所示。
系统时序图如图4所示，IMU的时间戳t imu和相机图像的时间戳t cam可按如下公式计算得到：
t imu＝t sample+T d
t cam＝t trigger+T w+T e
其中，t sample是IMU数据采样时刻，T d是IMU同步输出脉冲信号的脉宽时长，为固定时长；t trigger是相机触发时刻，T w是相机触发脉冲信号的脉宽时长，T e是相机图像采集的曝光时长，T w和T e是设定的相机相关属性，为固定值。
所有通道IMU采样频率一致且同步上电的前提下，对多通道IMU进行同步时间补偿。由于IMU在固定频率下其采样时间误差服从期望为0的正态分布的特性，以主通道IMU为采样时间同步基准，对其他通道IMU的采样时间进行了贝叶斯估计，从而提高了不同通道IMU的时间同步精度。
已知主通道IMU采样时间为T 1，其采样时间误差标准差为σ 1，其余各通道IMU采样时间和采样时间误差标准差依次为，(T 1，σ 1)，(T 2，σ 2)，……，(T n，σ n)，采样时间补偿算法如下：
Figure PCTCN2020086888-appb-000001
本发明方案，可确保多通道IMU和相机间传感器数据的时间同步精度达到0.1ms以内。
基于相同的技术构思，本申请还提供了一种仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，包括：
第一设置模块，用于对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
第二设置模块，用于对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
第一处理模块，用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
第二处理模块，用于利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
第三处理模块，用于利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
第四处理模块，用于利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
第五处理模块，用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
可选地，所述第一设置模块，还用于：
对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。
可选地，所述第二设置模块，还用于：
对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
可选地，所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。
基于相同的技术构思，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的仿生眼多通道IMU与相机硬件时间同步方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们 分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

  1. 仿生眼多通道IMU与相机硬件时间同步方法，其特征在于，包括以下步骤：
    S1、对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
    S2、对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
    S3、由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
    S4、利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
    S5、利用仿生眼控制系统的嵌入式上位机进行新数据包的接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
    S6、利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
    S7、将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
  2. 根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法，其特征在于，所述S1中，对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。
  3. 根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法，其特征在于，所述S2中，对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
  4. 根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法，其特征在于，所述S3中，硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。
  5. 根据权利要求1所述的仿生眼多通道IMU与相机硬件时间同步方法，其特征在于，所述S5中，嵌入式上位机包括用于接收所述硬件同步单元的数据、接收相机数据的接口、计算并发布多通道数据的逻辑计算单元，以及存储器。
  6. 一种仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，包括：
    第一设置模块，用于对IMU进行设置，利用IMU的输出频率作为硬件时间同步与对齐的周期基准，并使其在输出数据时同步输出脉冲信号；
    第二设置模块，用于对相机进行设置，设定其图像采集的相关属性、固定曝光时长，并使其在接受外部触发脉冲后进行图像采集，利用来自IMU的输出脉冲信号产生对相机的触发脉冲信号；
    第一处理模块，用于由硬件同步单元捕捉IMU的数据同步输出脉冲信号，标记IMU数据的时间戳、通道号和序列号，硬件同步单元在捕捉到IMU输出脉冲信号的同时将其按固定频率分频，并产生触发脉冲信号对所有通道的相机进行同步触发，记录相机的触发时间戳和序列号；
    第二处理模块，用于利用硬件同步单元进行各通道传感器的时间同步，统一管理各通道测量数据、时间戳和序列号，将相同周期和相同通道的传感器数据、时间戳和序列号按队列方式放在一起生成新的数据包，并发送至仿生眼控制系统的嵌入式上位机；
    第三处理模块，用于利用仿生眼控制系统的嵌入式上位机进行新数据包的 接收与校验，并读取各通道相机采集的图像数据流，解析数据包后生成IMU数据包和触发脉冲信号的时间戳与序列号，以主通道IMU为采样时间同步基准，计算其他通道IMU的同步时间补偿；
    第四处理模块，用于利用触发脉冲信号的时间戳与序列号，结合固定曝光时长进行计算得到图像输出的真实时间戳，与图像数据一起打包成相机数据包；
    第五处理模块，用于将硬件时间同步与对齐后的IMU数据包和相机数据包按通道分类发布出来，以等待仿生眼其他功能程序的调用。
  7. 根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，所述第一设置模块，还用于：
    对IMU的设置包括初始化、通过通讯接口发送配置命令，根据仿生眼的功能需求确定输出特定数据，使能同步输出脉冲信号。
  8. 根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，所述第二设置模块，还用于：
    对相机的设置包括使能外部触发功能、设定曝光、增益、图像属性。
  9. 根据权利要求6所述的仿生眼多通道IMU与相机硬件时间同步装置，其特征在于，所述硬件同步单元包括用于存储、管理和处理数据、时间戳和序列号的微处理器，以及进行系统时间同步的晶振，所述硬件同步单元接收IMU同步脉冲作为中断信号，并分频输出触发脉冲信号。
  10. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行如权利要求1到5任意一项所述的方法。
PCT/CN2020/086888 2019-08-21 2020-04-25 仿生眼多通道imu与相机硬件时间同步方法和装置 WO2021031604A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910777841.6A CN110567453B (zh) 2019-08-21 2019-08-21 仿生眼多通道imu与相机硬件时间同步方法和装置
CN201910777841.6 2019-08-21

Publications (1)

Publication Number Publication Date
WO2021031604A1 true WO2021031604A1 (zh) 2021-02-25

Family

ID=68774203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/086888 WO2021031604A1 (zh) 2019-08-21 2020-04-25 仿生眼多通道imu与相机硬件时间同步方法和装置

Country Status (2)

Country Link
CN (1) CN110567453B (zh)
WO (1) WO2021031604A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567453B (zh) * 2019-08-21 2021-05-25 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
WO2021159338A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
CN111343379A (zh) * 2020-02-25 2020-06-26 华南理工大学 基于fpga的数据高速采集装置及方法
CN113496545B (zh) * 2020-04-08 2022-05-27 阿里巴巴集团控股有限公司 数据处理系统、方法、传感器、移动采集背包及设备
CN111585682B (zh) * 2020-05-09 2022-10-04 森思泰克河北科技有限公司 传感器时间同步方法、装置及终端设备
CN111860604B (zh) * 2020-06-24 2024-02-02 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、系统及计算机存储介质
CN111882607B (zh) * 2020-07-14 2021-05-04 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN112558514B (zh) * 2020-11-17 2022-03-29 中山大学 一种多设备硬件同步方法
CN112865902B (zh) * 2020-12-24 2023-06-23 深兰人工智能(深圳)有限公司 数据采集和时间同步方法、装置、电子设备及存储介质
CN112945228B (zh) * 2021-02-04 2023-04-07 北京眸星科技有限公司 一种多传感器时间同步方法及同步装置
CN113225481B (zh) * 2021-04-30 2023-06-16 深圳市塞防科技有限公司 摄像头图像曝光时间获取系统、车辆和方法
CN113225152B (zh) * 2021-07-08 2021-10-15 浙江华睿科技股份有限公司 一种相机同步的方法、装置及计算机可读介质
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质
CN114449129B (zh) * 2022-01-21 2024-04-09 地平线(上海)人工智能技术有限公司 多传感器时间同步方法和装置、电子设备和存储介质
CN115776366B (zh) * 2022-12-12 2024-03-15 北京自动化控制设备研究所 一种视觉多传感器高精度同步方法和装置
CN117939031A (zh) * 2024-03-20 2024-04-26 深圳市度申科技有限公司 一种多相机同步图像采集卡及其在图像采集中的应用方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949715A (zh) * 2010-08-10 2011-01-19 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和系统
CN103279058A (zh) * 2013-05-04 2013-09-04 北京航空航天大学 一种面向无人机电力巡检用的光纤imu数据采集系统
CN103744372A (zh) * 2013-12-23 2014-04-23 广东电网公司电力科学研究院 无人机电力巡检的多传感器时间同步方法与系统
CN104503306A (zh) * 2014-11-26 2015-04-08 北京航空航天大学 一种多相机同步触发装置及控制方法
CN106470428A (zh) * 2015-08-18 2017-03-01 上海无线通信研究中心 一种并行多通道信道测试设备的精确同步与触发方法
CN107743054A (zh) * 2017-08-25 2018-02-27 杭州德泽机器人科技有限公司 一种多传感器同步对时系统
CN108375383A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 多相机辅助的机载分布式pos柔性基线测量方法和装置
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056284A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 차량을 이용한 도로시설물 정보 추출 시스템 및 그 방법
CN103868513B (zh) * 2014-03-17 2016-09-28 北京航空航天大学 一种分布式pos用数据处理计算机系统
US10012504B2 (en) * 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
CN106027909B (zh) * 2016-07-05 2019-08-13 大连海事大学 一种基于微机电惯性传感器与摄像机的船载视频同步采集系统及方法
CN108629793B (zh) * 2018-03-22 2020-11-10 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度（苏州）科技有限公司 一种多传感器精准时钟同步系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949715A (zh) * 2010-08-10 2011-01-19 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和系统
CN103279058A (zh) * 2013-05-04 2013-09-04 北京航空航天大学 一种面向无人机电力巡检用的光纤imu数据采集系统
CN103744372A (zh) * 2013-12-23 2014-04-23 广东电网公司电力科学研究院 无人机电力巡检的多传感器时间同步方法与系统
CN104503306A (zh) * 2014-11-26 2015-04-08 北京航空航天大学 一种多相机同步触发装置及控制方法
CN106470428A (zh) * 2015-08-18 2017-03-01 上海无线通信研究中心 一种并行多通道信道测试设备的精确同步与触发方法
CN107743054A (zh) * 2017-08-25 2018-02-27 杭州德泽机器人科技有限公司 一种多传感器同步对时系统
CN108375383A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 多相机辅助的机载分布式pos柔性基线测量方法和装置
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置

Also Published As

Publication number Publication date
CN110567453B (zh) 2021-05-25
CN110567453A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
WO2021031604A1 (zh) 仿生眼多通道imu与相机硬件时间同步方法和装置
CN112672415B (zh) 多传感器时间同步方法、装置、系统、电子设备及介质
CN109104259B (zh) 一种多传感器对时同步系统和方法
CN109922260B (zh) 图像传感器和惯性传感器的数据同步方法和同步装置
WO2018077176A1 (zh) 可穿戴设备及在可穿戴设备中确定用户位移的方法
WO2020135382A1 (zh) 多传感器同步授时系统、方法、装置及电子设备
KR101722068B1 (ko) 디바이스의 다수의 센서들로부터 수신된 데이터를 동기화시키는 방법들 및 시스템들
CN111309094A (zh) 一种传感器设备采集数据的同步板卡及方法
WO2023093054A1 (zh) 一种数据处理的方法、装置、系统、设备及存储介质
CN111860604B (zh) 数据融合方法、系统及计算机存储介质
CN111007554A (zh) 数据采集时间同步系统和方法
CN104764442A (zh) 测定轻小型无人机中航测相机曝光时刻的方法及装置
US10938544B2 (en) Method and device of data synchronization and data collection for aerial vehicle and aerial vehicle
WO2017078810A1 (en) Synchronization image data captured from a camera array with non-image data
CN102306160B (zh) 一种提高立体测绘相机图像定位精度的辅助数据处理方法
CN109729278B (zh) 可设定各通道传输速率的远程多传感器同步接收装置
CN112822480B (zh) Vr系统及其定位追踪方法
CN104748730A (zh) 测定无人机中航测相机曝光时刻的装置及方法
CN114964175A (zh) 多传感器数据同步采集装置及采集方法
WO2024021457A1 (zh) 时间同步装置和方法、无人车、路侧单元、车联网系统
CN105319567B (zh) 一种激光陀螺位置姿态系统时间同步方法
CN111405139B (zh) 时间同步方法、系统、视觉里程系统及存储介质
Albrektsen et al. Syncboard-a high accuracy sensor timing board for uav payloads
CN112398559B (zh) 时钟同步方法、装置、系统及存储介质
CN111200698B (zh) 远程多传感器多通道接收方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20854364

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20854364

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25-05-2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20854364

Country of ref document: EP

Kind code of ref document: A1