WO2020107527A1 - 多传感器数据同步系统以及图像数据同步方法 - Google Patents

多传感器数据同步系统以及图像数据同步方法 Download PDF

Info

Publication number
WO2020107527A1
WO2020107527A1 PCT/CN2018/120210 CN2018120210W WO2020107527A1 WO 2020107527 A1 WO2020107527 A1 WO 2020107527A1 CN 2018120210 W CN2018120210 W CN 2018120210W WO 2020107527 A1 WO2020107527 A1 WO 2020107527A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
frame
sensor
bus
image
Prior art date
Application number
PCT/CN2018/120210
Other languages
English (en)
French (fr)
Inventor
邱小波
Original Assignee
惠州市德赛西威智能交通技术研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠州市德赛西威智能交通技术研究院有限公司 filed Critical 惠州市德赛西威智能交通技术研究院有限公司
Publication of WO2020107527A1 publication Critical patent/WO2020107527A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Definitions

  • the present application relates to the field of data acquisition, in particular to a multi-sensor data synchronization system and image data synchronization method.
  • vehicles In the field of autonomous driving, vehicles will be equipped with a variety of sensors to sense and detect complex road environments, such as cameras, millimeter wave radar, and ultrasonic probes.
  • the deep learning method is used to study the autonomous driving algorithm model, which requires massive real road data to train the algorithm model, and whether it is algorithm development or algorithm improvement requires a large amount of data, the product testing and simulation also require massive data. stand by.
  • each sensor Under the existing vehicle conditions, the data generated by each sensor is transmitted to a unified ECU (Electronic Control Unit) via CAN bus protocol for processing, or equipped with its own ECU for processing.
  • ECU Electronic Control Unit
  • the data transmission method and interface of each sensor may be different, and the external host and numerous sensors cannot be directly connected and communicated.
  • each sensor does not necessarily have a clock system, even if an individual sensor has a clock system, it is difficult to achieve relatively accurate timing of the clock system of different sensors. Therefore, the data collected by the host is either not time stamped, or because of the data The delay is large, and there is an error between the recorded time and the actual.
  • the data of multiple sensors cannot be unified on the time stamp, which makes it more difficult for researchers to perform data analysis later.
  • the present application provides a multi-sensor data synchronization system and image data synchronization method, which can achieve time synchronization of data collected by sensors.
  • This application provides a multi-sensor data synchronization system, including:
  • a host an image acquisition device respectively connected to the host, and multiple sensors;
  • the host is used to collect data input by a plurality of the sensors and the image acquisition device;
  • the plurality of sensors includes a first type sensor, a second type sensor, and a third type sensor;
  • the first type sensor is connected to the body CAN bus
  • the second type sensor is connected to the private CAN bus
  • the third type sensor includes a signal terminal and a data terminal, and the signal terminal is connected to the body CAN bus for For outputting frame signals
  • the data terminal is connected to the host through a data line to output data to the host
  • the body CAN bus and the private CAN bus are connected to the host through the same data converter, respectively, so that the input to Data synchronization of the host; wherein the average data volume generated by the first type sensor, the second type sensor and the third type sensor during the working period are the first data amount, the second data amount and the third data respectively Amount, the first data amount, the second data amount, and the third data amount increase sequentially.
  • the data converter is used to merge the data sent by the body CAN bus and the private CAN bus, and convert the merged data from data that meets the CAN protocol to data that meets the Ethernet protocol;
  • the data of the host is converted from data that meets the Ethernet protocol to data that meets the CAN protocol, and is sent to the corresponding body CAN bus or private CAN bus.
  • the third type of sensor is an image acquisition device, and the image acquisition device includes a camera module and a signal processing module that can be connected and communicated with each other;
  • the camera module is connected to the data terminal, and the signal processing module is connected to the body CAN bus through a signal terminal, and is used to generate and output the frame signal to the body CAN bus through the signal terminal.
  • the data line is provided with an adapter, and the adapter is used for switching between the interface of the data terminal and the interface of the host.
  • the adapter is used to transfer between the HDMI interface and the USB interface;
  • the adapter HDMI interface is connected to the output end of the camera module, and the USB interface is connected to the host.
  • the first type of sensor includes one or more combinations of a vehicle speed sensor, a steering wheel angle sensor, a turn signal sensor, an accelerator opening sensor, and a brake sensor.
  • the second type of sensor includes millimeter wave radar.
  • the present application also discloses an image data synchronization method, which is applied to the multi-sensor data synchronization system according to any one of claims 1-7, and the method includes:
  • the obtaining a frame identifier corresponding to the frame image according to the frame image includes:
  • the corresponding frame identifier is obtained based on the frame number.
  • the sending the frame image to the host through a data line includes:
  • the associating the frame image with the frame identifier to obtain the associated frame image includes:
  • the information of the frame identification is saved in a preset area of the frame image.
  • the storing the information of the frame identifier in a preset area of the frame image includes:
  • the method further includes:
  • the connection mode between the host and the multiple sensors used in the multi-sensor data synchronization system can be transmitted through multiple data transmission channels Significantly reduce the delay in data transmission and improve the immediacy of data, connect the signals of multiple sensors to multiple CAN buses, and use the data converter to summarize the data of multiple CAN buses.
  • the host computer carries out data transmission, so that the collected data can be unified with time stamps.
  • FIG. 1 is a schematic structural diagram of a multi-sensor data synchronization system provided by an embodiment of the present application.
  • FIG. 2 is another schematic structural diagram of a multi-sensor data synchronization system provided by an embodiment of the present application.
  • FIG. 3 is an implementation flowchart of an image data synchronization method provided by an embodiment of the present application.
  • FIG. 4 is a flowchart of obtaining a frame identifier provided by an embodiment of the present application.
  • FIG. 5 is an implementation flowchart of saving frame identification information provided by an embodiment of the present application.
  • FIG. 6 is a flowchart of implementing an associated frame image and a time node provided by an embodiment of the present application.
  • FIG. 1 shows the structure of a multi-sensor data synchronization system provided by an embodiment of the present application.
  • the multi-sensor data synchronization system can be used for in-vehicle electronic equipment, and the in-vehicle electronic equipment can realize the collection of automobile environmental parameters through a plurality of sensors 20.
  • the multi-sensor data synchronization system includes a host 10 and multiple sensors 20.
  • the host 10 is used to collect data input by multiple sensors 20.
  • the sensor 20 may include a pressure sensor, an acceleration sensor, an ultrasonic probe, an image sensor, a millimeter wave radar, or the like, and may also be other sensors for acquiring environmental parameters, which will not be exhaustively described here.
  • the host 10 may be a PC (Personal Computer) or other data collection devices, such as a server, a vehicle-mounted driving computer, and so on.
  • PC Personal Computer
  • the average data volume is the first data volume, the second data volume, and the third data volume, respectively, and the first data volume, the second data volume, and the third data volume are sequentially increased.
  • the signal terminals of the first type sensor 21 and the third type sensor 23 are connected to the body CAN bus 31; the second type sensor 22 is connected to the private CAN bus 32; the body CAN bus 31 and the private CAN bus 32 are respectively passed
  • the same data converter 40 is connected to the host 10 to synchronize data input to the host.
  • the first type of sensor 21 may be a sensor 20 with a small amount of data generated after each data collection action is completed, and may include a vehicle speed sensor 20, a steering wheel angle sensor 20, a turn signal sensor 20, an accelerator opening One or more combinations of the degree sensor 20 and the brake sensor 20.
  • the data of the first-type sensors 21 can be directly sent to the host 10 through the body CAN bus 31 without causing data congestion because of the small amount of data happening.
  • the second type of sensor 22 may be a sensor 20 that generates a large amount of data after each data collection action is completed.
  • the second type of sensor 22 may include a millimeter-wave radar.
  • the millimeter-wave radar generates a large amount of data.
  • the private CAN bus 32 can avoid data congestion on the body CAN bus 31.
  • the maximum transmission rate of the traditional CAN bus 30 is 1 Mbit/s.
  • it may be other sensors 20 whose transmission rate meets the transmission conditions of the CAN bus 30.
  • There may be one or more private CAN buses 32, the specific number and type of the connected sensor 20 are not limited herein.
  • the third sensor 23 includes a signal terminal and a data terminal.
  • the data terminal is connected to the host 10 through a data line to output data to the host 10.
  • the signal terminal is used to output a frame signal.
  • the third type sensor 23 may be an image acquisition device, and the image acquisition device includes a camera and a signal processing module connected to the camera for communicating with the acquired data.
  • the camera can be a CMOS camera or a CCD camera, the specific camera type and model can be adjusted according to the actual application.
  • the third type of sensor may also be another sensor with a large amount of data, especially a sensor whose generated data flow exceeds the bandwidth limit of a common CAN bus, such as array radar and other sensing devices.
  • the frame signal is a signal sent at a time, for example, a signal containing a frame of a message, or a pulse signal, etc.
  • the third type of sensor is an image acquisition device
  • the frame signal is obtained when the image acquisition device For a frame of image, the signal corresponding to the frame of image is generated at the same time. That is, one frame of image corresponds to one frame of signal, and the number of frames of this image is equivalent to the number of frame signals.
  • the data cable may be a dedicated serial/parallel data cable, such as an HDMI data cable, a USB data cable, a DVI data cable, or an AV data cable.
  • the specific type is not limited in this application.
  • the image acquisition device is connected to the host 10 through a data line, so that the image or image obtained by the image acquisition device with a large amount of data can be directly transmitted to the host 10 without occupying limited CAN bus 30 resources, improving transmission efficiency .
  • the corresponding frame signal is sent through the signal terminal, and the time stamp of the frame signal transmitted on the CAN bus 30 can be used to determine the sending time of the frame signal. Then, the transmission time of the frame signal is associated with the frame image, so that the host 10 can know the specific transmission time of the frame image through the time stamp of the frame signal, so that the frame image and other data sent via the CAN bus 30 are realized Unity of time stamping.
  • the host 10 may connect the body CAN bus 31 and other private CAN buses 32 through the data converter 40, so that the body CAN bus 31 and other private CAN buses 32 are converted through the data
  • the device 40 aggregates the data into the same line, and uses the CAN protocol to realize that the input data all have corresponding time stamps, so that the data on a plurality of different CAN buses 30 realize the unification of the time stamps.
  • the data converter 40 may include multiple CAN ports, and different CAN buses 30 are connected to the CAN port of the data converter 40 through its own CAN port.
  • the data converter 40 can convert the data satisfying the CAN protocol into a data form that can be read by the host 10 through the internal data conversion function, and transmit it to the host 10 to facilitate the host 10 to receive and save the above data.
  • the connection mode between the host and multiple sensors used in the system, transmitting data through multiple data transmission channels can greatly reduce the data generated during the transmission process Delay, improve the immediacy of data, connect the signals of multiple sensors to multiple CAN buses, and use the data converter to summarize the data of multiple CAN buses and transfer the data with the host to make the collected data
  • the data of the time mark is unified.
  • FIG. 2 shows another structure of the multi-sensor data synchronization system provided by the embodiment of the present application.
  • the multi-sensor data synchronization system includes a host 10, an image acquisition device 23, and an electronic control unit (ECU, Electronic Control Unit).
  • ECU Electronic Control Unit
  • the host 10 is a PC 10.
  • the PC 10 may include a processor, a memory, and related interfaces connected to the processor and the memory, such as a USB interface, a network card interface connected to an Ethernet (Ethernet), and so on.
  • the PC 10 is used to acquire sensor data and image data of a multi-sensor data synchronization system.
  • the image acquisition device 23 includes a camera module 231 and a signal processing module 232.
  • the image acquisition device 23 also includes an SOC for data acquisition and transmission.
  • the camera module 231 includes a camera and related peripheral circuits, which are used for sensitizing external ambient light to obtain frame images.
  • the SOC is used to process the frame image and transmit it to the PC 10 through the data line.
  • an adapter may be provided on the data line at this time.
  • the adapter is used for the interface of the data terminal of the image acquisition device 23 and The interface of the PC 10 is switched.
  • the adapter is an HDMI to USB device 50, which is used to transfer between the HDMI interface and the USB interface.
  • the adapter HDMI interface is connected to the output end of the camera module 231, that is The output end of the SOC is connected, and the USB interface is connected to the PC.
  • the adapter can determine the type of interface that needs to be transferred according to the actual situation, such as the conversion between the HDMI interface, the USB interface, the DVI interface, or the AV interface.
  • the signal processing module of the image acquisition device 23 is connected to the body CAN bus 31 and sends a corresponding frame signal to the body CAN bus 31.
  • the time stamp of the frame signal transmitted on the CAN bus 30 can be used to determine the sending time of the frame signal. Then, the transmission time of the frame signal is associated with the frame image, so that the host 10 can know the specific transmission time of the frame image through the time stamp of the frame signal, so that the frame image and other data sent via the CAN bus 30 are realized Unity of time stamping.
  • the ECU may include one or more combinations of a vehicle speed sensor 20, a steering wheel angle sensor 20, a turn signal sensor 20, an accelerator opening sensor 20, and a brake sensor 20.
  • the sensor 20 in the ECU may be connected to the body CAN bus 31 In the meantime, and use the body CAN bus 31 to transmit the sensor data.
  • the sensor 20 may also include a millimeter-wave radar 22, which is connected to the private CAN bus 32 because of the large amount of data generated to perform data on the millimeter-wave radar 22 through the private CAN bus 32
  • the independent transmission avoids the conflict between the data of the millimeter wave radar 22 and the data of other sensors, and can effectively reduce the data delay.
  • other sensors 20 that may generate a large amount of data can use the private CAN bus 32 for data transmission.
  • the data of the body CAN bus 31 and the private CAN bus 32 need to be connected to the PC 10.
  • the body CAN bus 31 and the private CAN bus 32 can be converted by data
  • the device 40 that is, the CAN-to-Ethernet device 40 is connected to the PC 10, so that the data of each CAN bus is aggregated by the data converter 40 and then transmitted to the PC 10 via Ethernet in a unified manner.
  • the data converter 40 is used to merge the data sent by the body CAN bus 31 and the private CAN bus 32, and convert the merged data from data satisfying the CAN protocol to data satisfying the Ethernet protocol; or The data of the host 10 is converted from data satisfying the Ethernet protocol to data satisfying the CAN protocol, and is transmitted to the corresponding body CAN bus 31 or private CAN bus 32.
  • the data of each CAN bus can be summarized by the data converter 40, and the time mark is uniformly used by the CAN protocol, which solves the problem of inconsistent time marks caused by the use of multiple CAN bus transmission data, and the data converter 40 It can be networked through Ethernet without worrying about the shortage of CAN ports, and has strong scalability.
  • the Ethernet can have a data transmission rate of 100 Mbit/s or more, which can ensure that the delay of the data transmission process of multiple CAN buses is maintained at a low level, and the Ethernet communicates with the PC 10 through protocols such as TCP and UDP. It can be connected to the PC 10 through a network cable connector, so that the PC 10 can communicate with the CAN bus without having a specific interface, and has high compatibility.
  • FIG. 3 shows an implementation process of the image data synchronization method provided by the embodiment of the present application.
  • the image data synchronization method can be applied to the third type of sensor in the multi-sensor data synchronization system provided in any one of the embodiments described in FIGS. 1-2.
  • the third type of sensor is an image acquisition device.
  • the specific description of the multi-sensor data synchronization system can refer to the above embodiments.
  • the image data synchronization method includes:
  • the image acquisition device can use a camera module to obtain a single frame of frame image, the frame image is an image obtained at a preset time, and multiple frame images obtained in a continuous time can form an image.
  • the frame identifier corresponds uniquely to the frame image.
  • the frame identifier may be the time information of the current time when the frame image is obtained, or a frame number formed based on the time information, and the frame signal indicates that the frame image is currently recorded The order of frames in the image.
  • the frame identification may also be based on the image acquisition order. For example, when the camera is started, the frame ID of the obtained first frame image is 1, the frame ID of the obtained second frame image is 2, and so on.
  • the frame signal is a signal conforming to the CAN transmission protocol, so that the frame identification can be converted into a frame signal and then transmitted on the CAN bus of the vehicle body.
  • the signal carries the frame identification information, so that the host can learn the frame identification information according to the frame signal.
  • the image acquisition device may be provided with a CAN interface, and use the CAN interface to connect with the CAN bus of the vehicle body.
  • the image acquisition device may simultaneously send the frame signal corresponding to the frame image to the body CAN bus, and use the body CAN bus and the conversion of the data converter to send To the host.
  • the use of the data line to send the frame image to the host without occupying the resources of the body CAN bus, improve the transmission rate and reduce the data transmission delay of the body CAN bus.
  • the frame image is sent through the CAN bus, the data volume of the image will be too large and it will cause data congestion with other data; if only the data line is used to transmit the frame image, the frame image and other data generation time Marks issues that are not uniform.
  • the image acquisition device transmits the frame image to the host through the data line, it simultaneously sends a frame signal to the CAN bus, because the CAN bus also includes data of other sensors, the frame signal can be obtained by using the CAN protocol.
  • the time stamp makes the acquisition system unify the time stamp between the frame image and other sensor data.
  • the frame signal is simultaneously sent to the body CAN bus, which can not only greatly reduce the delay in the data transmission process, improve the immediacy of the data, but also make the frame image time
  • the time stamps of the tags and other data on the CAN bus of the car body are unified, so as to reduce the difficulty for the researchers to perform data analysis later.
  • FIG. 4 shows a flowchart of obtaining a frame identifier provided by an embodiment of the present application.
  • the obtaining the frame identifier corresponding to the frame image according to the frame image may include:
  • the frame sequence number may be a number, a letter, or other parameters that include a sequence relationship.
  • the frame sequence number may be related to the time sequence in which the frame images are obtained.
  • the frame serial number may be directly used as the frame identification, or the frame identification may be obtained based on the characteristics of the frame serial number through a corresponding mapping relationship, and a specific implementation manner may be determined according to actual conditions.
  • the frame images can be sorted by the frame sequence number based on the order of acquisition time of the frame images, which can reduce the workload of researchers on the frame image analysis process and reduce the chance of analysis errors.
  • FIG. 5 shows an implementation flowchart of saving frame identification information provided by an embodiment of the present application.
  • the associating the frame image with the frame identifier to obtain the associated frame image may include:
  • the preset area may be some pixels in the preset position of the frame image.
  • the information of the frame identification may be sequence information of the frame number, or mark information used to distinguish different frames.
  • the saving of the frame identification information in the preset area of the frame image may include:
  • each color value is a determined parameter, which can be read by the host system.
  • the corresponding target color value can be selected from the storable color values through a preset mapping table according to the sequence number of the frame identification or the mark of the related sequence.
  • the color value M of the Nth frame can be obtained as the target color value through the mapping table.
  • the target pixel may be a pixel or pixels at a preset position in the frame image, and the pixel position may be set in advance by a preset means.
  • each pixel has a corresponding color value corresponding to it.
  • the host can read the color value on the target pixel to Determine the frame ID corresponding to the frame image.
  • the researcher can extract the corresponding frame signal received by the host based on the frame identification to correlate and analyze its time stamp.
  • the frame image can be saved without affecting the image information saved in the frame image as much as possible
  • the frame identification is saved and correlated, so that when researchers analyze the frame image, they can quickly determine the time stamp generated when the frame image is acquired, and improve the efficiency of data analysis.
  • FIG. 6 shows an implementation process of associating frame images and time nodes provided by an embodiment of the present application.
  • the image data synchronization method further includes:
  • the device that receives the data stream transmitted in the CAN bus will mark the time node of the data stream to form a time stamp of the data.
  • the frame signal after obtaining the frame signal, can be extracted at the time node of the data stream of the CAN bus of the vehicle body to determine the relative time of the frame signal relative to other data by the time stamp of the time node , The relative time can show the sequence relationship between the frame signal and other data in the transmission process.
  • the frame identifier carried by the frame signal may be extracted from the parameters of the frame signal. Because the frame signal and the associated frame image are sent to the host at almost the same time, the frame identification of the frame signal will uniquely correspond to a certain frame image of the received multiple frame images, based on which the frame identification can be obtained Target frame image.
  • associating the target frame image with the time node corresponding to the frame signal can enable the researcher to quickly determine the sequence relationship between the frame image and other data obtained by the host, which greatly facilitates the research of the data by the researcher analysis.
  • the program may be stored in a computer-readable storage medium, and the storage medium may include: Read-only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk, etc.
  • the lane traffic state reminding device belongs to the same concept as the lane traffic state reminding method in the above embodiment, and the lane traffic state reminding method can be run on the lane traffic state reminding device to implement
  • the specific implementation process is described in detail in the lane traffic state reminding method embodiment, and any combination can be used to form an optional embodiment of the present application, which will not be repeated here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Small-Scale Networks (AREA)

Abstract

一种多传感器数据同步系统以及图像数据同步方法，所述系统包括主机（10）、与主机连接的多个传感器；主机（10），用于采集多个传感器以及图像获取装置所输入的数据；多个传感器，包括第一类传感器（21）、第二类传感器（22）以及第三类传感器（23）；第一类传感器（21）与车身CAN总线（31）连接，第二类传感器（22）与私有CAN总线（32）连接，第三类传感器（23）包括信号端与数据端，信号端与所述车身CAN总线（31）连接，用于输出帧信号，数据端通过数据线与主机（10）连接，向主机（10）输出数据；车身CAN总线（31）、私有CAN总线（32）分别通过同一数据转换器（40）与主机（10）连接，以使输入到主机（10）的数据同步。该系统可以大幅降低数据在传输过程中所产生的延迟、提高数据的即时性，并且可以使所采集的数据实现时间标记统一。

Description

多传感器数据同步系统以及图像数据同步方法 技术领域
本申请涉及数据采集领域，特别涉及一种多传感器数据同步系统以及图像数据同步方法。
背景技术
在自动驾驶领域，车辆都会安装多种传感器来感知和探测复杂的道路环境，比如摄像头、毫米波雷达、超声波探头等。
而采用深度学习的方法来研究自动驾驶算法模型，需要海量的真实路况数据来训练算法模型，并且不管是算法研发、算法改进需要大量的数据，在产品的测试、模拟仿真也同样需要海量的数据支持。
在现有的车辆条件下，各个传感器产生的数据或通过CAN总线协议传输到统一的ECU(Electronic Control Unit，)进行处理，或配备有各自的ECU进行处理。但是，各个传感器的数据传输方式和接口可能各不相同，外部主机和众多的传感器无法直接连接和通信。同时因为各个传感器不一定有时钟系统，即使个别传感器有时钟系统也很难做到对不同传感器的时钟系统进行相对精确的对时，因此主机采集的各项数据，要么没有时间标记，要么因为数据延时较大、所记录的时间与实际存在误差。多个传感器数据在时间标记上无法实现统一，增加了研究人员后续执行数据分析的难度。
发明内容
本申请提供一种多传感器数据同步系统以及图像数据同步方法，可以使传感器所采集的数据实现时间同步。
本申请提供一种多传感器数据同步系统，包括：
主机、分别与所述主机连接的图像获取装置以及多个传感器；
所述主机，用于采集多个所述传感器以及所述图像获取装置所输入的数据；
所述多个传感器，包括第一类传感器、第二类传感器以及第三类传感器；
所述第一类传感器与车身CAN总线连接，所述第二类传感器与私有CAN总线连接，所述第三类传感器包括信号端与数据端，所述信号端与所述车身CAN总线连接，用于输出帧信号，所述数据端通过数据线与所述主机连接，向所述主机输出数据；所述车身CAN总线、私有CAN总线分别通过同一数据转换器与所述主机连接，以使输入到所述主机的数据同步；其中，所述第一类传感器、第二类传感器以及第三类传感器在工作时段中所产生的平均数据量分别为第一数据量、第二数据量以及第三数据量，所述第一数据量、第二数据量以及第三 数据量依次递增。
可选的，所述数据转换器，用于将所述车身CAN总线以及私有CAN总线发送的数据进行汇合，并将汇合后的数据从满足CAN协议的数据转换成满足以太网协议的数据；将主机的数据从满足以太网协议的数据转换成满足CAN协议的数据，并向对应的车身CAN总线或者私有CAN总线进行发送。
可选的，所述第三类传感器为图像获取装置，所述图像获取装置包括可相互连接通信的摄像头模组以及信号处理模组；
所述摄像头模组与所述数据端连接，所述信号处理模组通过信号端与所述车身CAN总线连接，用于产生并通过所述信号端向所述车身CAN总线输出所述帧信号。
可选的，所述数据线设有转接器，所述转接器用于在所述数据端的接口以及所述主机的接口之间进行转接。
可选的，所述转接器用于HDMI接口与USB接口之间的转接；
所述转接器HDMI接口与所述摄像头模组的输出端连接，所述USB接口与所述主机连接。
可选的，述第一类传感器包括车速传感器、方向盘转角传感器、转向灯传感器、油门开度传感器以及刹车传感器的其中一种或多种组合。
可选的，所述第二类传感器包括毫米波雷达。
本申请还公开了一种图像数据同步方法，应用于权利要求1-7任意一项所述的多传感器数据同步系统，所述方法包括：
获得帧图像，根据所述帧图像获得与所述帧图像对应的帧标识；
根据所述帧标识生成帧信号，所述帧信号携带有所述帧标识；
将所述帧信号向车身CAN总线进行输出，以通过所述车身CAN总线发送所述帧信号给主机，并使所述帧信号与所述车身CAN总线上的其他数据实现时间同步；
将所述帧图像通过数据线发送给主机。
可选的，所述根据所述帧图像获得与所述帧图像对应的帧标识，包括：
根据所述帧图像获得与所述帧图像对应的帧序号，所述帧序号与帧图像的获取时间先后顺序相关；
基于所述帧序号获得对应的帧标识。
可选的，所述将所述帧图像通过数据线发送给主机，包括：
将帧图像与所述帧标识进行关联，获得关联后的帧图像；
将所述关联后的帧图像通过数据线发送给主机。
可选的，所述将帧图像与所述帧标识进行关联，获得关联后的帧图像，包括：
将所述帧标识的信息保存到所述帧图像的预设区域中。
可选的，所述将所述帧标识的信息保存到所述帧图像的预设区域中，包括：
获得与所述帧标识的信息对应的目标颜色值；
获得所述帧图像的预设区域中的目标像素；
将所述目标像素的颜色值切换为所述目标颜色值。
可选的，所述方法还包括：
获得所述帧信号在所述车身CAN总线的数据流的时间节点；
获得所述帧信号所携带的帧标识所关联的目标帧图像；
将所述目标帧图像与所述帧信号对应的时间节点进行关联。
由上可知，本申请实施例中的多传感器数据同步系统、图像数据同步方法，该多传感器数据同步系统所采用的主机、多个传感器之间的连接方式，通过多条数据传输渠道传输数据可以大幅降低数据在传输过程中所产生的延迟、提高数据的即时性，将多个传感器的信号分别接入到多条CAN总线上，并利用数据转换器将多条CAN总线的数据进行汇总后与主机进行数据传输，可以使所采集的数据实现时间标记统一。
附图说明
图1为本申请实施例提供的多传感器数据同步系统的结构示意图。
图2为本申请实施例提供的多传感器数据同步系统的另一结构示意图。
图3为本申请实施例提供的图像数据同步方法的实现流程图。
图4为本申请实施例提供的获得帧标识的实现流程图。
图5为本申请实施例提供的保存帧标识信息的实现流程图。
图6为本申请实施例提供的关联帧图像与时间节点的实现流程图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
请参阅图1，图中示出了本申请实施例提供的多传感器数据同步系统的结构。
该多传感器数据同步系统可用于车载电子设备，该车载电子设备可以通过多个传感器20来实现对汽车环境参数的采集。
该多传感器数据同步系统包括主机10以及多个传感器20。
具体的，该主机10，用于采集多个传感器20所输入的数据。该传感器20可以包括压力传感器、加速度传感器、超声波探头、图像传感器或者毫米波雷达等，还可以是用于获取环境参数的其他传感器，在此不作穷举。该主机10可以是PC(Personal Computer)，还 可以是其他数据采集装置，例如是服务器、车载行车电脑等。
该多个传感器20，包括第一类传感器21、第二类传感器22以及第三类传感器23，该第一类传感器21、第二类传感器22以及第三类传感器23在工作时段中所产生的平均数据量分别为第一数据量、第二数据量以及第三数据量，该第一数据量、第二数据量以及第三数据量依次递增。其中，该第一类传感器21以及该第三类传感器23的信号端与车身CAN总线31连接；该第二类传感器22与私有CAN总线32连接；该车身CAN总线31、私有CAN总线32分别通过同一数据转换器40与所述主机10连接，以使输入到所述主机的数据同步。
在一些实施例中，该第一类传感器21，可以是每次数据采集动作完成后产生的数据量较小的传感器20，可以包括车速传感器20、方向盘转角传感器20、转向灯传感器20、油门开度传感器20以及刹车传感器20的其中一种或多种组合。当多个第一类传感器21接入到车身CAN总线31后，第一类传感器21的数据因为数据量较小的缘故，可以通过车身CAN总线31直接发送给主机10而不会造成数据拥堵的情况。
在一些实施例中，该第二类传感器22，可以是每次数据采集动作完成后产生的数据量较大的传感器20。在该实施例中，该第二类传感器22可以包括毫米波雷达，该毫米波雷达因所产生的数据量较大，通过私有CAN总线32可以避免造成车身CAN总线31的数据拥堵。
当然，传统CAN总线30最高传输速率为1Mbit/s，除了毫米波雷达，还可以是其他传输速率满足CAN总线30传输条件的传感器20。该私有CAN总线32可以有一条或多条，具体的数量以及所接的传感器20类型本申请在此不作限定。
该第三类传感器23，包括信号端与数据端，该数据端通过数据线与主机10连接，向主机10输出数据，该信号端用于输出帧信号。其中，该第三类传感器23可以为图像获取装置，该图像获取装置包括摄像头以及与该摄像头连接通信、用于处于所获得数据的信号处理模组。该摄像头可以是CMOS摄像头或者是CCD摄像头，具体的摄像头种类、型号可以根据实际应用进行调整。
可以理解的，除了图像获取装置，该第三类传感器还可以是其他数据量较大的传感器，特别是所产生的数据流量超出普通CAN总线带宽限制的传感器，例如阵列雷达等传感设备。
其中，该帧信号为单次发送的信号，例如是包含某帧报文的信号，或者是某脉冲信号等，若第三类传感器为图像获取装置时，该帧信号为当图像获取装置获取到一帧图像时，所同时生成的与该帧图像对应的信号。也即一帧图像对应一帧信号，该图像的帧数与帧信号 的数量相当。
在一些实施例中，该数据线可以是专用的串/并口数据线，例如HDMI数据线、USB数据线、DVI数据线或者AV数据线等，具体类型本申请不作限定。该图像获取装置通过数据线与主机10连接，使得该图像获取装置所获得的数据量较大的图像或影像，可以无需占用有限的CAN总线30资源直接与主机10之间进行传输，提高传输效率。
具体的，当该图像获取装置所获取的帧图像传输入主机10后，通过信号端发送相应的帧信号，可以利用帧信号在CAN总线30传输的时间标记来确定帧信号的发送时刻。然后，将帧信号的发送时刻与该帧图像进行关联，使得主机10可以通过帧信号的时间标记来获知该帧图像具体的发送时间，从而使得该帧图像与其他经CAN总线30发送的数据实现时间标记的统一。
另外，主机10为了能获得每个数据具体的时间标记，可以将车身CAN总线31与其他私有CAN总线32通过数据转换器40进行连接，使得车身CAN总线31与其他私有CAN总线32通过该数据转换器40将数据汇总到同一线路中，并利用CAN协议实现所输入的数据均具有相应的时间标记，以使多个不同CAN总线30上的数据实现时间标记的统一。
在一些实施例中，该数据转换器40可以包括多个CAN端口，不同的CAN总线30通过自身的CAN端口与该数据转换器40的CAN端口进行连接。该数据转换器40可以通过内部的数据转换功能，使得满足CAN协议的数据转换成主机10能读取的数据形式，传输到主机10上，以方便主机10对上述数据进行接收、保存。
由上可知，本申请实施例中的多传感器数据同步系统，该系统所采用的主机、多个传感器之间的连接方式，通过多条数据传输渠道传输数据可以大幅降低数据在传输过程中所产生的延迟、提高数据的即时性，将多个传感器的信号分别接入到多条CAN总线上，并利用数据转换器将多条CAN总线的数据进行汇总后与主机进行数据传输，可以使所采集的数据实现时间标记统一。
请参阅图2，图中示出了本申请实施例提供的多传感器数据同步系统的另一结构。
如图2所示，在一个实施例中，该多传感器数据同步系统包括主机10、图像获取装置23以及电子控制单元(ECU，Electronic Control Unit)。
其中，该主机10为PC机10，该PC机10可以包括处理器、存储器以及与该处理器、存储器连接的相关接口，如USB接口、与以太网(Ethernet)连接的网卡接口等。该PC机10用于获取多传感器数据同步系统的传感器数据以及图像数据。
该图像获取装置23包括摄像头模组231以及信号处理模组232，该图像获取装置23还包括用于数据获取、传输的SOC。该摄像头模组231包括摄像头以及相关的外围电路， 用于实现对外部环境光进行感光，以获得帧图像。该SOC用于对该帧图像进行处理，并通过数据线传输到PC机10中。
在这里，因PC机10与图像获取装置23之间可能因为接口问题不能直接连接，此时在数据线上可以设有转接器，该转接器用于在图像获取装置23的数据端的接口以及的PC机10的接口之间进行转接。具体的，在该实施例中转接器为HDMI转USB设备50，用于HDMI接口与USB接口之间的转接，该转接器HDMI接口与摄像头模组231的输出端连接，也即与SOC的输出端连接，该USB接口与PC连接。当然，该转接器可以根据实际情况确定需要转接的接口类型，例如HDMI接口、USB接口、DVI接口或者AV接口之间的转接。
该图像获取装置23的信号处理模块与车身CAN总线31进行连接，向该车身CAN总线31发送相应的帧信号，可以利用帧信号在CAN总线30传输的时间标记来确定帧信号的发送时刻。然后，将帧信号的发送时刻与该帧图像进行关联，使得主机10可以通过帧信号的时间标记来获知该帧图像具体的发送时间，从而使得该帧图像与其他经CAN总线30发送的数据实现时间标记的统一。
该ECU可以包括车速传感器20、方向盘转角传感器20、转向灯传感器20、油门开度传感器20以及刹车传感器20的其中一种或多种组合，该ECU中的传感器20可以接入到车身CAN总线31中，并利用车身CAN总线31对传感器数据进行传输。
可以理解的，除了ECU中的传感器20，其他设置在系统中的传感器20如加速度传感器20、压力传感器20等所产生的数据量较小的传感器20均可接入到该车身CAN总线31中，在此不作列举。
该传感器20还可以包括毫米波雷达22，该毫米波雷达22因为产生的数据量较大，则将其接入到私有CAN总线32中，以通过私有CAN总线32对毫米波雷达22的数据进行独立传输，避免造成毫米波雷达22的数据与其他传感器数据的冲突，能有效降低数据延迟。除了毫米波雷达22，其他可能产生数据量较大的传感器20均可以利用私有CAN总线32进行数据传输。
该车身CAN总线31以及私有CAN总线32的数据均需要与PC机10进行连接，为了提供更好的兼容性，并保证数据的传输速度，该车身CAN总线31以及私有CAN总线32可以通过数据转换器40，也即CAN转Ethernet设备40与PC机10进行连接，以将各CAN总线的数据利用数据转换器40汇总后统一通过以太网传输给PC机10。具体的，该数据转换器40，用于将车身CAN总线31以及私有CAN总线32发送的数据进行汇合，并将汇合后的数据从满足CAN协议的数据转换成满足以太网协议的数据；或者将主机10的数据从满足以太网协议的数据转换成满足CAN协议的数据，并向对应的车身CAN总线31或者私有 CAN总线32进行发送。
各CAN总线的数据可以通过数据转换器40实现数据汇总，统一利用CAN协议对其进行时间标记，解决了因采用多条CAN总线传输数据导致的时间标记不统一的问题，并且该数据转换器40可以通过以太网进行组网，无需担心CAN端口不足的问题，可拓展性强。
该以太网可以有100Mbit/s或以上的的数据传输速率，可以保证多条CAN总线的数据传输过程的延迟维持在较低水平，且以太网通过TCP、UDP等协议与PC机10进行通信，可以通过网线接头与PC机10连接，使得PC机10无需具有特定接口即可与CAN总线进行数据连通，兼容性较高。
由上可知，该多传感器数据同步系统的实现方式使得数据传输更为可靠，延迟低，可兼容不同的主机，并且将多种数据利用数据转接器进行汇总统一，可以解决现有技术中主机所获取到的数据来源不统一导致的时间标记不统一的问题。
请参阅图3，图中示出了本申请实施例提供的图像数据同步方法的实现流程。
其中，该图像数据同步方法，可以应用于如图1-2所述的任意一项实施例提供的多传感器数据同步系统中的第三类传感器，该第三类传感器为图像获取装置。为了避免赘述，该多传感器数据同步系统的具体描述可以参见上述实施例。
该图像数据同步方法，包括：
101、获得帧图像，根据帧图像获得与帧图像对应的帧标识。
其中，该图像获取装置可以利用摄像头模组获得单帧的帧图像，该帧图像为在预设时刻所获取的图像，多张连续时间所获得的帧图像可以组成影像。该帧标识与帧图像之间唯一对应。
在一些实施例中，该帧标识可以是获得该帧图像时所对应的当前时刻的时间信息，或者是基于该时间信息所形成的帧序号，该帧信号指示了该帧图像在当前所记录的影像中的帧顺序。
在另一些实施例中，该帧标识还可以是基于图像的获取顺序。例如，当启动摄像头后，所获得的第一帧图像的帧标识为1，所获得的第二帧图像的帧标识为2，以此类推。
可以理解的，该帧标识的具体设立方式可以根据实际情况而定，本申请不作限定。
102、根据帧标识生成帧信号，所述帧信号携带有帧标识。
其中，帧信号为符合CAN传输协议的信号，以将帧标识转化为帧信号后可以在车身CAN总线中进行传输。
该信号中携带有帧标识的信息，以使主机可以根据该帧信号获知其中的帧标识的信息。
103、将帧信号向车身CAN总线进行输出，以通过车身CAN总线发送帧信号给主机，并使帧信号与车身CAN总线上的其他数据实现时间同步。
其中，该图像获取装置可以设置CAN接口，并利用该CAN接口与车身CAN总线进行连接。
在一些实施例中，当该图像获取装置获取到帧图像后，图像获取装置可以同时将与该帧图像对应的帧信号发送到车身CAN总线中，并利用车身CAN总线以及数据转换器的转换发送到主机上。
104、将帧图像通过数据线发送给主机。
其中，利用数据线将帧图像发送给主机，可以无需占用车身CAN总线的资源，提高传输速率，降低车身CAN总线的数据传输延迟。
若帧图像通过CAN总线发送时，会因图像的数据量过大而造成与其他数据之间产生数据拥堵；而若只利用数据线对帧图像进行传输，则会出现帧图像与其他数据产生时间标记不统一的问题。
因此，该图像获取装置将该帧图像利用数据线传输给主机时，同时向CAN总线发送帧信号，因为在CAN总线中还包括其他传感器的数据，该帧信号利用CAN协议可以获得与其他数据相对的时间标记，使得采集系统完成对该帧图像与其他传感器数据之间的时间标记的统一。
由上可知，当通过图像获取装置获取帧图像时，同时向车身CAN总线发送帧信号，不仅可以大幅降低数据在传输过程中所产生的延迟、提高数据的即时性，还可以使帧图像的时间标记与车身CAN总线的其他数据的时间标记实现统一，以此降低研究人员后续执行数据分析的难度。
请参阅图4，图中示出了本申请实施例提供的获得帧标识的实现流程图。
在一些实施例中，该根据帧图像获得与帧图像对应的帧标识，可以包括：
201、根据帧图像获得与帧图像对应的帧序号，所述帧序号与帧图像的获取时间先后顺序相关。
在一些实施例中，帧序号可以是数字、字母或者是其他包含顺序关系的参数。
具体的，该帧序号可以与获得帧图像的时间先后顺序相关。
202、基于帧序号获得对应的帧标识。
在一些实施例中，可以直接是采用帧序号作为帧标识，也可以通过相应的映射关系基于该帧序号的特征来获得帧标识，具体的实现方式可以根据实际情况而定。
利用上述获得帧标识的实现方式，可以通过该基于帧图像的获取时间先后顺序的帧 序号对帧图像进行排序，可以减少研究人员对帧图像分析过程的工作量，并减少分析出错的机会。
请参阅图5，图中示出了本申请实施例提供的保存帧标识信息的实现流程图。
在一些实施例中，该将帧图像与所述帧标识进行关联，获得关联后的帧图像，可以包括：
将帧标识的信息保存到帧图像的预设区域中。
其中，该预设区域可以是帧图像的预设位置中的某些像素。该帧标识的信息可以是帧序号的序列信息，或者是用于区别不同帧的标记信息。
例如，可以在帧图像的右下角显示一个与该帧图像对应的序号，或者是把帧标识的信息保存到该帧图像的某些像素中。
在一些实施例中，该将帧标识的信息保存到帧图像的预设区域中，可以包括：
301、获得与帧标识的信息对应的目标颜色值。
其中，每一颜色值均为确定的参数，该参数可以被主机系统所读取。
当获取到帧标识的信息后，可以根据帧标识的序号或者是有关顺序的标记，通过预设的映射表来从可保存的颜色值中选取到对应的目标颜色值。
例如，当帧标识的序号显示该帧图像为第N帧，则可以通过映射表获得第N帧的颜色值M作为目标颜色值。
302、获得帧图像的预设区域中的目标像素。
该目标像素可以是帧图像中预设位置的某个或某几个像素，该像素位置可以通过预设手段进行提前设定。
303、将目标像素的颜色值切换为目标颜色值。
在帧图像中，每一像素均有相应的颜色值与之对应，通过将该颜色值改为与帧标识的信息对应的目标颜色值后，主机可以通过读取该目标像素上的颜色值来判定与该帧图像对应的帧标识。
当获取到该帧标识后，研究人员可以基于该帧标识提取出主机所接收到的、与之对应的帧信号来对其时间标记进行关联、分析。
显然，通过将帧标识的信息获得对应的目标颜色值，并将该目标颜色值保存到目标像素中，可以在尽可能不影响帧图像中所保存的图像信息的前提下，对该帧图像的帧标识进行保存、关联，从而使得研究人员在对该帧图像进行分析的时候，可以快速确定该帧图像获取时所产生的时间标记，提高数据的分析效率。
请参阅图6，图中示出了本申请实施例提供的关联帧图像与时间节点的实现流程。
在该实施例中，该图像数据同步方法，还包括：
401、获得帧信号在车身CAN总线的数据流的时间节点。
其中，接收该CAN总线中所传输的数据流的设备，会对其中数据流的时间节点进行标记，以形成数据的时间标记。
在一些实施例中，当获得帧信号后，可以将该帧信号在车身CAN总线的数据流的时间节点进行提取，以通过该时间节点的时间标记来确定该帧信号相对于其他数据的相对时间，该相对时间可以示出该帧信号与其他数据之间在传输过程中的先后关系。
402、获得帧信号所携带的帧标识所关联的目标帧图像。
在一些实施例中，当获得帧信号后，可以从该帧信号的参数中提取出所携带的帧标识。因为帧信号与所关联的帧图像是几乎同时向主机发送，该帧信号的帧标识会与所接收到的多个帧图像的某一帧图像唯一对应，基于该帧标识可以获得与之关联的目标帧图像。
403、将目标帧图像与帧信号对应的时间节点进行关联。
可以理解的，将目标帧图像与帧信号对应的时间节点进行关联，可以使得研究人员快速确定该帧图像相对于主机所获得的其他数据之间的先后关系，大大方便了研究人员对数据的研究分析。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
本申请实施例中，所述车道通行状态提醒设备与上文实施例中的一种车道通行状态提醒方法属于同一构思，在所述车道通行状态提醒设备上可以运行所述车道通行状态提醒方法实施例中提供的任一方法步骤，其具体实现过程详见车道通行状态提醒方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (13)

  1. [援引加入(细则20.6) 17.01.2019]　
    一种多传感器数据同步系统，其特征在于，包括：主机、分别与所述主机连接的图像获取装置以及多个传感器；所述主机，用于采集多个所述传感器以及所述图像获取装置所输入的数据；所述多个传感器，包括第一类传感器、第二类传感器以及第三类传感器；所述第一类传感器与车身CAN总线连接，所述第二类传感器与私有CAN总线连接，所述第三类传感器包括信号端与数据端，所述信号端与所述车身CAN总线连接，用于输出帧信号，所述数据端通过数据线与所述主机连接，向所述主机输出数据；所述车身CAN总线、私有CAN总线分别通过同一数据转换器与所述主机连接，以使输入到所述主机的数据同步其中，所述第一类传感器、第二类传感器以及第三类传感器在工作时段中所产生的平均数据量分别为第一数据量、第二数据量以及第三数据量，所述第一数据量、第二数据量以及第三数据量依次递增。
  2. [援引加入(细则20.6) 17.01.2019]　
    如权利要求1所述的多传感器数据同步系统，其特征在于，所述数据转换器，用于将所述车身CAN总线以及私有CAN总线发送的数据进行汇合，并将汇合后的数据从满足CAN协议的数据转换成满足以太网协议的数据；将主机的数据从满足以太网协议的数据转换成满足CAN协议的数据，并向对应的车身CAN总线或者私有CAN总线进行发送。
  3. [援引加入(细则20.6) 17.01.2019]　
    如权利要求1所述的多传感器数据同步系统，其特征在于，所述第三类传感器为图像获取装置，所述图像获取装置包括可相互连接通信的摄像头模组以及信号处理模组；所述摄像头模组与所述数据端连接，所述信号处理模组通过信号端与所述车身CAN总线连接，用于产生并通过所述信号端向所述车身CAN总线输出所述帧信号。
  4. [援引加入(细则20.6) 17.01.2019]　
    如权利要求3所述的多传感器数据同步系统，其特征在于，所述数据线设有转接器，所述转接器用于在所述数据端的接口以及所述主机的接口之间进行转接。
  5. [援引加入(细则20.6) 17.01.2019]　
    如权利要求4所述的多传感器数据同步系统，其特征在于，所述转接器用于HDMI接口与USB接口之间的转接；所述转接器HDMI接口与所述摄像头模组的输出端连接，所述USB接口与所述主机连接。
  6. [援引加入(细则20.6) 17.01.2019]　
    如权利要求1所述的多传感器数据同步系统，其特征在于，所述第一类传感器包括车速传感器、方向盘转角传感器、转向灯传感器、油门开度传感器以及刹车传感器的其中一种或多种组合。
  7. [援引加入(细则20.6) 17.01.2019]　
    如权利要求1所述的多传感器数据同步系统，其特征在于，所述第二类传感器包括毫米波雷达。
  8. [援引加入(细则20.6) 17.01.2019]　
    —种图像数据同步方法，应用于权利要求1-7任意一项所述的多传感器数据同步系统，所述方法包括： 获得帧图像，根据所述帧图像获得与所述帧图像对应的帧标识；根据所述帧标识生成帧信号，所述帧信号携带有所述帧标识；将所述帧信号向车身CAN总线进行输出，以通过所述车身CAN总线发送所述帧信号给主机，并使所述帧信号与所述车身CAN总线上的其他数据实现时间同步；将所述帧图像通过数据线发送给主机。
  9. [援引加入(细则20.6) 17.01.2019]　
    如权利要求8所述的图像数据同步方法，其特征在于，所述根据所述帧图像获得与所述帧图像对应的帧标识，包括：根据所述帧图像获得与所述帧图像对应的帧序号，所述帧序号与帧图像的获取时间先后顺序相关基于所述帧序号获得对应的帧标识。
  10. [援引加入(细则20.6) 17.01.2019]　
    如权利要求8所述的图像数据同步方法，其特征在于，所述将所述帧图像通过数据线发送给主机，包括：将帧图像与所述帧标识进行关联，获得关联后的帧图像；将所述关联后的帧图像通过数据线发送给主机。
  11. [援引加入(细则20.6) 17.01.2019]　
    如权利要求10所述的图像数据同步方法，其特征在于，所述将帧图像与所述帧标识进行关联，获得关联后的帧图像，包括：将所述帧标识的信息保存到所述帧图像的预设区域中。
  12. [援引加入(细则20.6) 17.01.2019]　
    如权利要求11所述的图像数据同步方法，其特征在于，所述将所述帧标识的信息保存到所述帧图像的预设区域中，包括：获得与所述帧标识的信息对应的目标颜色值；获得所述帧图像的预设区域中的目标像素；将所述目标像素的颜色值切换为所述目标颜色值。
  13. [援引加入(细则20.6) 17.01.2019]　
    如权利要求10所述的图像数据同步方法，其特征在于，所述方法还包括：获得所述帧信号在所述车身CAN总线的数据流的时间节点；获得所述帧信号所携带的帧标识所关联的目标帧图像；将所述目标帧图像与所述帧信号对应的时间节点进行关联。
PCT/CN2018/120210 2018-11-29 2018-12-11 多传感器数据同步系统以及图像数据同步方法 WO2020107527A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811437890.7A CN109547693B (zh) 2018-11-29 2018-11-29 多传感器数据同步系统以及图像数据同步方法
CN201811437890.7 2018-11-29

Publications (1)

Publication Number Publication Date
WO2020107527A1 true WO2020107527A1 (zh) 2020-06-04

Family

ID=65850944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/120210 WO2020107527A1 (zh) 2018-11-29 2018-12-11 多传感器数据同步系统以及图像数据同步方法

Country Status (2)

Country Link
CN (1) CN109547693B (zh)
WO (1) WO2020107527A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI765293B (zh) * 2019-07-08 2022-05-21 聯詠科技股份有限公司 接收裝置、影像紀錄系統以及降低影像紀錄系統之影像延遲的方法
CN111193568A (zh) * 2019-12-19 2020-05-22 北汽福田汽车股份有限公司 时间同步方法、装置、系统、存储介质及车辆
CN113132042A (zh) * 2020-01-15 2021-07-16 宏碁股份有限公司 时间同步方法与时间同步系统
CN111554004B (zh) * 2020-04-26 2021-11-12 东风汽车集团有限公司 一种支持总线数据和视频同步的车载数据采集设备
CN111985772B (zh) * 2020-07-15 2024-02-20 惠州市德赛西威智能交通技术研究院有限公司 一种评价标准协议的鲁棒性与完整度实现方法
CN111897330B (zh) * 2020-07-28 2023-05-26 惠州市德赛西威智能交通技术研究院有限公司 一种不同时域多传感器信息处理方法
CN114095110B (zh) * 2022-01-24 2022-04-08 天津安力信通讯科技有限公司 一种提高频谱数据传输的同步性方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068380A2 (ko) * 2009-12-04 2011-06-09 (주) 알디텍 영상신호와 센서신호의 동기화 시스템 및 방법
CN102652288A (zh) * 2009-12-08 2012-08-29 (株)阿尔迪泰 视频信号和传感器信号的同步化系统及方法
CN103780697A (zh) * 2014-01-23 2014-05-07 广州睿嵌电子技术有限公司 车载电子处理单元公共平台系统及其数据通讯方法
CN103995266A (zh) * 2014-06-05 2014-08-20 南通鸿鹄信息技术有限公司 基于can总线的数据采集系统
CN106443607A (zh) * 2016-10-25 2017-02-22 华域汽车系统股份有限公司 一种车载雷达数据处理算法验证系统
CN107659367A (zh) * 2017-08-30 2018-02-02 安徽江淮汽车集团股份有限公司 多传感单元时间同步方法及系统
CN107743054A (zh) * 2017-08-25 2018-02-27 杭州德泽机器人科技有限公司 一种多传感器同步对时系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684402B1 (en) * 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
JP4032779B2 (ja) * 2002-03-11 2008-01-16 トヨタ自動車株式会社 Ｃａｎ通信システム
KR101007347B1 (ko) * 2009-06-18 2011-01-13 주식회사 세일티앤엔 전방향 영상 획득 시스템 및 방법
CN101841446B (zh) * 2010-05-25 2012-04-25 许继集团有限公司 纵联通道传输装置、光纤差动保护装置及方法
CN103684944A (zh) * 2012-09-10 2014-03-26 西门子信号有限公司 嵌入式网关、采用该网关的铁路监测系统及其方法
CN106131461A (zh) * 2016-06-28 2016-11-16 湖北久之洋红外系统股份有限公司 一种多图像传感器同步控制系统及图像处理模块
CN106292626B (zh) * 2016-08-04 2018-12-07 中国汽车工程研究院股份有限公司 用于新能源汽车测试评价的数据采集装置和方法
CN206114004U (zh) * 2016-10-10 2017-04-19 交通运输部公路科学研究所 一种同步采集和处理车辆驾驶信息以及运行信息的装置
CN108241590B (zh) * 2016-12-27 2021-05-18 中国船舶重工集团公司七五○试验场 一种应用于水下航行器的串行数据总线
CN211656247U (zh) * 2018-11-29 2020-10-09 惠州市德赛西威智能交通技术研究院有限公司 多传感器数据同步系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068380A2 (ko) * 2009-12-04 2011-06-09 (주) 알디텍 영상신호와 센서신호의 동기화 시스템 및 방법
CN102652288A (zh) * 2009-12-08 2012-08-29 (株)阿尔迪泰 视频信号和传感器信号的同步化系统及方法
CN103780697A (zh) * 2014-01-23 2014-05-07 广州睿嵌电子技术有限公司 车载电子处理单元公共平台系统及其数据通讯方法
CN103995266A (zh) * 2014-06-05 2014-08-20 南通鸿鹄信息技术有限公司 基于can总线的数据采集系统
CN106443607A (zh) * 2016-10-25 2017-02-22 华域汽车系统股份有限公司 一种车载雷达数据处理算法验证系统
CN107743054A (zh) * 2017-08-25 2018-02-27 杭州德泽机器人科技有限公司 一种多传感器同步对时系统
CN107659367A (zh) * 2017-08-30 2018-02-02 安徽江淮汽车集团股份有限公司 多传感单元时间同步方法及系统

Also Published As

Publication number Publication date
CN109547693B (zh) 2024-10-18
CN109547693A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
WO2020107527A1 (zh) 多传感器数据同步系统以及图像数据同步方法
CN109743128A (zh) 一种车载多信息同步控制系统及方法
WO2018196655A1 (zh) 一种车载电子处理单元系统公共网络通讯方法
CN110138624A (zh) 车载以太网测试设备、系统及测试方法
CN104620541A (zh) 用于车辆网络的数据记录装置
CN112584092B (zh) 数据采集装置及数据采集系统
CN113341922A (zh) 基于lcm的域控制器故障诊断系统
CN106851183A (zh) 基于fpga的多路视频处理系统及其方法
CN113428096A (zh) 数据采集卡、设备和方法
CN111130674B (zh) 汽车电子控制单元信号同步采集方法、电子设备、服务器及存储介质
CN211656247U (zh) 多传感器数据同步系统
CN114179824B (zh) 一种无人驾驶的计算系统
CN116405145A (zh) 一种适用移动场景的数据交互同步方法及系统
CN112965463B (zh) 远程诊断系统及远程诊断方法
WO2023083271A1 (zh) 数据同步装置及其方法、计算机可读存储介质
CN107809359B (zh) 基于局域网udp协议的汽车系统支持即插即用设备的方法
CN216301005U (zh) 一种驾驶辅助系统的传感器采集设备
CN115396056B (zh) 数据传输方法、装置及相关设备
CN116828281A (zh) 车载摄像头系统数据处理方法、装置、设备及介质
KR20190071465A (ko) 차량 네트워크 시간 동기화 평가 방법
CN210574433U (zh) 一种多接口的驾驶模拟器数据采集装置
Končar et al. Development of automotive video logger HIL device for ADAS/AD algorithms development and testing
CN112019808A (zh) 一种基于MPSoC的车载实时视频信息智能识别装置
WO2020142200A1 (en) Multi-vehicle data logging device
CN116594659B (zh) 一种车载域控制器程序优化系统、方法、装置及车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 20.07.2021.)

122 Ep: pct application non-entry in european phase

Ref document number: 18941697

Country of ref document: EP

Kind code of ref document: A1