WO2021232260A1 - 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质 - Google Patents

用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021232260A1
WO2021232260A1 PCT/CN2020/091144 CN2020091144W WO2021232260A1 WO 2021232260 A1 WO2021232260 A1 WO 2021232260A1 CN 2020091144 W CN2020091144 W CN 2020091144W WO 2021232260 A1 WO2021232260 A1 WO 2021232260A1
Authority
WO
WIPO (PCT)
Prior art keywords
auxiliary device
clock
main
ptp protocol
auxiliary
Prior art date
Application number
PCT/CN2020/091144
Other languages
English (en)
French (fr)
Inventor
吴童童
Original Assignee
深圳元戎启行科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳元戎启行科技有限公司 filed Critical 深圳元戎启行科技有限公司
Priority to PCT/CN2020/091144 priority Critical patent/WO2021232260A1/zh
Priority to CN202080007588.7A priority patent/CN113273105B/zh
Publication of WO2021232260A1 publication Critical patent/WO2021232260A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays

Definitions

  • This application relates to the field of time synchronization, and in particular to a method, a vehicle, a computer device, and a computer-readable storage medium for time synchronization of multiple auxiliary devices in a vehicle.
  • the Precision Timing Protocol is a high-precision time synchronization protocol proposed by the Institute of Electrical and Electronic Engineers (IEEE, Institute of Electrical Engineers) 1588 and IEEE 802.1AS organization.
  • IEEE Institute of Electrical and Electronic Engineers
  • the precise time synchronization protocol is used to accurately synchronize the clocks of various devices mounted on the network.
  • a method, a vehicle, a computer device, and a computer-readable storage medium for time synchronization of auxiliary devices in an autonomous driving vehicle are provided.
  • the technical solutions are as follows.
  • the method for time synchronization of multiple auxiliary devices of an autonomous vehicle includes: determining one auxiliary device of the plurality of auxiliary devices as the main auxiliary device, and using the clock of the main auxiliary device as the main clock;
  • the programmable logic device controls the transmission of PTP protocol messages between the main auxiliary equipment and other auxiliary equipment via the network; based on the transmission of the PTP protocol messages, calculates the clock of the other auxiliary equipment and the main auxiliary equipment The time deviation between the master clocks of the devices; and based on the time deviation, adjusting the clocks of the other auxiliary devices so that the clocks of the other auxiliary devices are synchronized with the master clock.
  • An automatic driving vehicle comprising: a plurality of auxiliary devices each having a clock; a processor configured to determine one auxiliary device of the plurality of auxiliary devices as the main auxiliary device, and use the clock of the main auxiliary device as the main clock And a programmable logic device configured to: control the transmission of PTP protocol messages between the main auxiliary device and the other auxiliary devices via a network; wherein the other auxiliary devices are based on the PTP protocol message Transmit, calculate the time deviation between the clock of the other auxiliary device and the main clock of the main auxiliary device; and based on the time deviation, adjust the clock of the other auxiliary device so that the clock of the other auxiliary device The clock is synchronized with the master clock.
  • the computer device includes a memory and a processor, and the memory stores a computer program.
  • the processor executes the computer program, the following processing is implemented: determining one of the multiple auxiliary devices in the autonomous vehicle as the main Auxiliary equipment, and use the clock of the main auxiliary equipment as the main clock; the programmable logic device controls the transmission of PTP protocol messages between the main auxiliary equipment and the other auxiliary equipment via the network; based on the PTP protocol Calculate the time deviation between the clock of the other auxiliary device and the master clock of the main auxiliary device; and based on the time deviation, adjust the clock of the other auxiliary device so that the The clocks of other auxiliary devices are synchronized with the master clock.
  • a computer-readable storage medium having a computer program stored thereon, where the computer program is executed by a processor to implement the following processing: determine one of the multiple auxiliary devices in the autonomous vehicle as the main auxiliary device, and set The clock of the main auxiliary device is used as the main clock; the transmission of PTP protocol messages between the main auxiliary device and the other auxiliary devices via the network is controlled by a programmable logic device; the transmission of messages based on the PTP protocol Calculate the time deviation between the clock of the other auxiliary device and the main clock of the main auxiliary device; and based on the time deviation, adjust the clock of the other auxiliary device so that the clock of the other auxiliary device Synchronize with the master clock.
  • the auxiliary equipment in the vehicle is controlled through programmable logic devices.
  • the parallel feature can accurately control the processing time of the message in the process of message transmission in the implementation of the PTP protocol, which eliminates the instability in the processing of each execution of the PTP protocol during this period of time, in other words, makes The time for processing the message is the same every time the PTP protocol is executed, so that the calculation of the time deviation between the main clock of the main auxiliary device and the clocks of other auxiliary devices is more accurate, and the number of auxiliary devices is improved.
  • the accuracy of time synchronization between devices is the accuracy of time synchronization between devices.
  • the programmable logic device is used to control the clock of the auxiliary equipment of the vehicle to execute the processing of the PTP protocol to perform time synchronization, which has higher flexibility.
  • Fig. 1 is a schematic diagram of an application environment of a method for time synchronization of multiple auxiliary devices in an autonomous driving vehicle according to an embodiment
  • FIG. 2 is a flowchart of a method for time synchronization of auxiliary equipment of an autonomous driving vehicle according to an embodiment
  • FIG. 3 is a flowchart of a method for time synchronization of auxiliary equipment of an autonomous driving vehicle according to an embodiment
  • Fig. 4 is a schematic diagram of PTP protocol packets transmitted in the network according to the embodiment.
  • Fig. 5 is a schematic diagram of PTP protocol messages being processed in the network according to an embodiment
  • FIG. 6 is a flowchart of a method for time synchronization of auxiliary equipment of an autonomous driving vehicle according to an embodiment
  • Fig. 7 is a structural block diagram of a vehicle according to an embodiment
  • Fig. 8 is a block diagram of a computer device according to an embodiment.
  • the present application provides a method for time synchronization of auxiliary equipment of an autonomous driving vehicle, which can be applied to a variety of application environments. For example, it can be applied to the application environment of automatic driving as shown in FIG. 1.
  • the vehicle 100 includes a plurality of auxiliary equipment, a programmable logic device 130 and a vehicle control device 140.
  • the vehicle may specifically be an autonomous vehicle, such as an unmanned vehicle, or other vehicles with remote driving assistance functions, such as a warehouse forklift, an excavator, and so on.
  • the auxiliary device includes a main auxiliary device 110 and at least one other auxiliary device 120.
  • Auxiliary devices are, for example, multiple sensors for assisting automatic driving functions, such as cameras (including monocular, binocular stereo vision, panoramic vision, and infrared cameras) and range-finding sensors (including radar, lidar, etc.).
  • the programmable logic device 130 may be a Field Programmable Gate Array (FPGA) or other programmable logic device that can implement multiple parallel processing of signals.
  • the vehicle control device 140 may be a processor that controls auxiliary equipment in the vehicle, and is used to obtain data of multiple auxiliary equipment. In order to ensure the reliability of the data of the auxiliary equipment used in the automatic driving function, high-precision synchronization of the time of multiple auxiliary equipment is usually required.
  • auxiliary devices use network synchronization technology based on the PTP protocol to synchronize the clocks between multiple auxiliary devices.
  • one other auxiliary device 120 is illustrated in the application environment.
  • the number of other auxiliary devices 120 is not limited, and may be more other auxiliary devices 120.
  • the main auxiliary device 110 includes a main clock as the clock source of the main auxiliary device 110, and clocks of other auxiliary devices 120 as the clock source of the other auxiliary devices 120.
  • the programmable logic device 130 controls the transmission of PTP protocol packets between the main auxiliary device 110 and the other auxiliary device 120 via the network.
  • the other auxiliary device 120 calculates the time deviation between the clock of the other auxiliary device 120 and the main clock of the main auxiliary device 110 based on the transmission of the PTP protocol message, and adjusts the clock of the other auxiliary device 120 based on the time deviation, so that The clock of the other auxiliary device 120 is synchronized with the main clock of the main auxiliary device 110.
  • a method for time synchronization of multiple auxiliary devices of an autonomous driving vehicle is provided. Taking the method applied to the autonomous driving application environment of FIG. 1 as an example for description, the method includes the following steps.
  • Step 202 Determine one of the plurality of auxiliary devices as the main auxiliary device 110, and use the clock of the main auxiliary device 110 as the main clock.
  • the main auxiliary device 110 and the other auxiliary devices 120 are different auxiliary devices in the vehicle.
  • Step 204 The programmable logic device 130 is used to control the transmission of PTP protocol messages between the main auxiliary device 110 and the other auxiliary devices 120 via the network.
  • Programmable logic device 130 is a general integrated circuit. Its logic function is determined according to the user’s design and programming of the device. The user can design the programmable logic device 130 according to the actual circuit function needs, and can be based on the user at any time. To reprogram or upgrade the desired function, the user only needs to upload a new logic programming file to the programmable logic device 130 through data transmission, and then a new hardware logic can be created in the programmable logic device 130. Therefore, the use of the programmable logic device 130 to implement the function of the hardware circuit has higher flexibility. In addition, because the programmable logic device 130 has the characteristic of multiple parallelism, that is, it can process multiple signals in parallel.
  • the processing of the high-level programming language by the CPU is executed serially.
  • the results returned by the CPU are executed serially. Therefore, in digital signal processing, the programmable logic device 130 is more controllable than a general-purpose CPU for the execution time of instructions, and has greater performance advantages.
  • the PTP protocol is a high-precision time synchronization protocol. By executing time synchronization processing based on the PTP protocol between the auxiliary devices in the network, the time of the clocks of the auxiliary devices in the network can be synchronized.
  • the PTP protocol message is the message transmitted in the network through time synchronization based on the PTP protocol.
  • the network is, for example, Ethernet, or other networks that can be used for PTP protocol message transmission.
  • the PTP protocol message needs to be processed, and the PTP protocol message may also need to be transmitted through network devices such as routers and switches.
  • the processing of the message includes encapsulation and decapsulation of the message, etc. The encapsulation and decapsulation of the message will be described in detail later.
  • Step 206 Calculate the time deviation between the clock of the other auxiliary device 120 and the main clock of the main auxiliary device 110 based on the transmission of the PTP protocol message.
  • the time of sending and receiving the message of the auxiliary device in the network for example, recording the time when the main auxiliary device 110 sends the message of the PTP protocol, and other auxiliary devices.
  • Step 208 Adjust the clock of the other auxiliary device 120 based on the time deviation, so that the clock of the other auxiliary device 120 is synchronized with the master clock.
  • the time offset (offset) between the main clock of the main auxiliary device 110 and the clock of the other auxiliary device 120 is obtained, and the time offset is the offset between the two clocks that requires clock calibration.
  • the time synchronization of the main clock of the main auxiliary device 110 and the clocks of other auxiliary devices 120 is achieved to achieve the purpose of time synchronization between the main clock of the main auxiliary device 110 and the clocks of other auxiliary devices 120.
  • the auxiliary equipment in the vehicle is controlled by the programmable logic device 130. Due to the multi-channel parallel characteristic of the programmable logic device, the execution can be accurately controlled.
  • the time to process the message in the process of message transmission of the PTP protocol which eliminates the instability in each execution of the PTP protocol during this period of time, in other words, makes the time to process the message every time
  • the processing of executing the PTP protocol is the same, so that the calculation of the time deviation between the main clock of the main auxiliary device 110 and the clocks of other auxiliary devices 120 is more accurate, and the accuracy of time synchronization between multiple auxiliary devices is improved.
  • the programmable logic device 130 is used to control the clock of the auxiliary equipment of the vehicle to execute the processing of the PTP protocol to perform time synchronization, which has higher flexibility. sex.
  • the programmable logic device 130 is used to control the steps of transmitting PTP protocol messages between the main auxiliary device 110 and other auxiliary devices 120 via the network, which specifically includes the following .
  • Step 302 Send a PTP protocol synchronization message from the main auxiliary device 110 to the other auxiliary devices 120, and generate a first time stamp T1.
  • Step 304 When the other auxiliary device 120 receives the PTP protocol synchronization message, it generates a second time stamp T2.
  • Step 306 Send the PTP protocol follow message including the first time stamp T1 from the main auxiliary device 110 to the other auxiliary devices 120.
  • Step 308 Send a PTP protocol delay request message from the other auxiliary device 120 to the main auxiliary device 110, and generate a third time stamp T3.
  • Step 310 When the main auxiliary device 110 receives the PTP protocol delay request message, it generates a fourth time stamp T4.
  • Step 312 In response to the PTP protocol delay request message, the main auxiliary device 110 sends a PTP protocol delay request response message including the fourth time stamp T4 to the other auxiliary device 120.
  • the PTP protocol synchronization message may include a transmission time estimation timestamp that estimates the time when the synchronization message is sent.
  • the time stamp is generated by the programmable logic device 130.
  • the programmable logic device generates continuous operation time by continuously generating the PPS second pulse signal, and periodically outputs UTC time stamp information.
  • the transmission time estimation timestamp carried in the PTP protocol synchronization message is only used to estimate the transmission time, and cannot The time when the accurate PTP protocol synchronization message leaves the main clock of the main auxiliary device 110 is carried. Therefore, when the PTP protocol synchronization message leaves the master clock of the master auxiliary device 110, the first time stamp T1 that accurately records the time is generated.
  • the PTP protocol follow message is encapsulated with the first time indicating the precise transmission time of the PTP protocol synchronization message Poke T1.
  • the time when the PTP protocol synchronization message leaves the main clock of the main auxiliary device 110 and the time when it reaches the clock of the other auxiliary device 120, and the time when the PTP protocol delay request message leaves the main clock of the main auxiliary device 110 and the clock of the other auxiliary device 120 The times are marked with time stamps T1, T2, T3, and T4, respectively.
  • the clock of the other auxiliary device 120 obtains the first time stamp T1, the second time stamp T2, the third time stamp T3, and the fourth time stamp T4, and obtains the PTP protocol synchronization message identified by the above time stamps respectively
  • the above-mentioned time stamp may be generated by the programmable logic device 130.
  • the step of calculating the time deviation between the clock of the other auxiliary device and the master clock of the main auxiliary device based on the transmission of the PTP protocol message further includes: based on the first time stamp T1, the second time stamp T2, the third time stamp T3, and the fourth time stamp T4 are used to calculate the time deviation between the clock of the other auxiliary device 120 and the main clock of the main auxiliary device 110.
  • Fig. 4 is a schematic diagram of a PTP protocol message transmitted in a network according to an embodiment.
  • offset represents the time offset between the main clock of the main auxiliary device 110 and the clocks of other auxiliary devices 120. That is, the time deviation value between the two clocks is offset.
  • delay represents the network delay when the PTP protocol message is transmitted in the network, that is, the delay generated when the PTP protocol message is transmitted from one clock to another clock through the network.
  • the clock of the other auxiliary device 120 can calculate the difference between the main clock of the main auxiliary device 110 and the clock of the other auxiliary device 120 through the obtained times t1, t2, t3, and t4 identified by the accurate time stamps T1, T2, T3, and T4.
  • the time difference between the offset and the network delay delay can be used for calculation.
  • the foregoing process of calculating the time offset offset between the main clock of the main auxiliary device 110 and the clock of the other auxiliary device 120 may be performed by the other auxiliary device 120.
  • the other auxiliary device 120 can obtain the time offset offset between the two clocks.
  • the clock of the other auxiliary device 120 can be adjusted and corrected, so that the main clock of the main auxiliary device 110 and the clock of the other auxiliary device 120 are synchronized.
  • the same type of PTP protocol message is sent with the same message processing time.
  • PTP protocol messages include multiple types of PTP protocol messages such as PTP protocol synchronization messages, PTP protocol follow messages, PTP protocol delay request messages, and PTP protocol delay request response messages. Since the PTP protocol synchronization message is periodically sent from the master clock of the main auxiliary device 110 to the clock of the other auxiliary device 120, the transmission process of the PTP protocol message in the network shown in FIG. 4 is performed periodically. A processing of the PTP protocol is to complete the transmission of four types of PTP protocol messages: the PTP protocol synchronization message, the PTP protocol follow message, the PTP protocol delay request message, and the PTP protocol delay request response message.
  • the message processing time of the PTP protocol synchronization message is the same every time the PTP protocol is executed, and the message processing time of the PTP protocol following the message is the same every time the PTP protocol is executed.
  • the message processing time of the PTP protocol delay request message is the same in each execution of the PTP protocol, and the message processing time of the PTP protocol delay request response message is the same in each execution of the PTP protocol of. In other words, in each execution of the PTP protocol, the processing time for the PTP protocol message is the same.
  • FIG. 5 is a schematic diagram of the processing of PTP protocol packets in the network according to the embodiment.
  • the arrow direction in Fig. 5 is an example of the transmission direction of PTP protocol packets in the network.
  • the transmission time of the message in the network namely t2-t1 and t4-t3, includes the time for the message to pass through the router and/or switch in the network, and the processing time of the message.
  • the message processing time refers to the time from processing the message. The process of processing the message will be described in detail below.
  • the message is added to the header and/or the tail to be encapsulated, so as to be transmitted in sequence in the above-mentioned layers.
  • the time for the above-mentioned processing of the same type of PTP protocol message in the transmission process is the same in each PTP protocol transmission, and in each PTP protocol transmission, the PTP protocol is The processing time of the messages is the same.
  • the instability of the message processing time can be eliminated, and only the calculation of the message transmission in the network is required.
  • the time deviation and delay caused by the time passing the router and/or switch in the process improves the accuracy of the overall time synchronization.
  • the message processing time is the transmission time of the PTP protocol message between the MAC layer and the application layer of the network on the main auxiliary device side or the other auxiliary device side.
  • the PTP protocol message passes through the application layer, transport layer, network layer, and link in the network in order on the main auxiliary device 110 side.
  • Layer MAC layer
  • the specific encapsulation processing is, for example, the PTP protocol message in the application layer is filled and sent by the application; the PTP message plus the UDP header is encapsulated into a UDP message in the transport layer; the IPv4 IP header is added to the network layer to encapsulate Into IP packets; encapsulated in the link layer into Ethernet frames for transmission.
  • the PTP protocol message is not limited to encapsulation through UDP and IPv4, and can also be encapsulated through UDP and IPv6, or encapsulated using other known encapsulation methods.
  • the PTP protocol message is transferred to other auxiliary devices 120 through routers and/or switches (that is, transit through the physical layer, link layer, and network layer).
  • the encapsulated PTP protocol packets go through the physical layer, link layer (MAC layer), network layer, transport layer, and application layer in turn, and are decapsulated in each layer, so that other auxiliary devices
  • the device 120 obtains the message of the PTP protocol.
  • the time for encapsulating and de-encapsulating the message is the message processing time.
  • the message processing time is the time for a message of the PTP protocol to be transmitted from the application layer to the MAC layer and from the MAC layer to the application layer in the network.
  • the processing time is the same each time the PTP protocol is executed, and the processing of the packets can be controlled
  • the processing time of the message is the same in each execution of the PTP protocol, that is, the instability of the message processing time is eliminated, and then it is only necessary to calculate that the message passes through the router and/or switch during the transmission in the network
  • the time deviation and delay caused by the time increase the accuracy of the overall time synchronization.
  • the method for time synchronization of auxiliary equipment of an autonomous vehicle further includes:
  • Step 602 Monitor the network media interface.
  • Step 604 When the signal of the network media interface is monitored, the PTP protocol message is transmitted between the main auxiliary device 110 and the other auxiliary device 120 via the network.
  • the network media interface can be a media independent interface (Media Independent Interface, MII) or called a media independent interface, which includes a management interface between the MAC layer and the physical layer, and is used for communication between the MAC layer and the physical layer.
  • the network media interface can detect whether data is being transmitted on the network. Specifically, when the physical layer sends data, or when the physical layer receives data transmitted from the MAC, the network media interface generates an interface signal.
  • the programmable logic device 130 detects the signal of the network media interface, it performs PTP protocol transmission, that is, the PTP protocol message is transmitted between the main auxiliary device 110 and other auxiliary devices 120 via the network.
  • the network media interface can be MII, RMII, SMII or GMII, etc.
  • the method further includes modifying the hardware logic of the programmable logic device 130 based on the number of auxiliary devices.
  • the number of other auxiliary devices 120 is not limited, and there may be more other auxiliary devices 120. Therefore, the user can change the number of other auxiliary devices 120.
  • the hardware logic of the programmable logic device 130 can be modified based on the number of auxiliary devices. That is, when the number of other auxiliary devices 120 increases or decreases, the function of the programmable logic device 130 can be adaptively modified to enable it to control a greater or lesser number of auxiliary devices.
  • the solution according to the embodiment of the present application can control auxiliary equipment by adjusting the function of the programmable logic device 130, without the need to re-develop and replace the chip, and the solution is more flexible .
  • the auxiliary device includes a ranging sensor and a camera.
  • the main auxiliary device 110 and the other auxiliary devices 120 may be multiple sensors mounted in the vehicle, such as a distance measuring sensor and a camera. These sensors may be multiple sensors for assisting automatic driving, or multiple sensors for remote assisting driving functions.
  • a precise time synchronization protocol to synchronize the clocks of multiple sensors mounted in the vehicle with high precision to ensure that multiple sensors can provide data at the same time.
  • a plurality of sensors mounted in a vehicle are synchronized with a high-precision PTP protocol time based on a programmable logic device, and the time synchronization accuracy is higher.
  • an autonomous driving vehicle 700 which includes a plurality of auxiliary devices, a programmable logic device 730 and a processor 750.
  • Multiple auxiliary devices each have a clock.
  • the processor 750 is configured to determine one of the plurality of auxiliary devices as the main auxiliary device 710, and use the clock of the main auxiliary device 710 as the main clock;
  • the programmable logic device 730 is configured to control the main auxiliary device 710
  • the device 710 and other auxiliary devices 720 transmit PTP protocol packets via the network.
  • the other auxiliary device 720 is configured to transmit messages based on the PTP protocol, calculate the time deviation between the clock of the other auxiliary device 720 and the main clock of the main auxiliary device 710, and based on the time deviation, perform the clock of the other auxiliary device 720 Adjust so that the clocks of other auxiliary devices 720 are synchronized with the main clock.
  • the auxiliary equipment in the vehicle is controlled by programmable logic devices. Due to the multi-channel parallel characteristics of the programmable logic devices, it is possible to accurately control the pair of messages in the message transmission process of the PTP protocol.
  • the processing time that is, the instability of this period of time in the processing of each execution of the PTP protocol is eliminated, in other words, the processing time of the message is the same in the processing of each execution of the PTP protocol, thus
  • the calculation of the time deviation between the main clock of the main auxiliary device and the clocks of other auxiliary devices is made more accurate, and the accuracy of time synchronization between multiple auxiliary devices is improved.
  • the clock of the auxiliary equipment of the vehicle based on the programmable logic device to control the clock of the vehicle to execute the PTP protocol to perform time synchronization has higher flexibility.
  • the vehicle 700 further includes a vehicle control device 740.
  • the vehicle control device 740 may be a processor that controls the main auxiliary device 710 and other auxiliary devices 720 in the vehicle, and is used to obtain data of the main auxiliary device 710 and other auxiliary devices 720.
  • the programmable logic device 730 is connected to the processor 750 through a bus, and the working state of the programmable logic device 730 is controlled through the processor 750.
  • only one other auxiliary device 720 is shown in FIG. 7, but it should be understood that the vehicle 700 may include more other auxiliary devices 720.
  • the programmable logic device 730 is further configured to: send a PTP protocol synchronization message from the main auxiliary device 710 to the other auxiliary device 720, and generate a first time stamp; when the other auxiliary device 720 receives the PTP protocol synchronization message When sending a message, generate a second time stamp; send a PTP protocol follow message including the first time stamp from the main auxiliary device 710 to other auxiliary devices 720; send a PTP protocol delay request message from the other auxiliary device 720 to the main auxiliary device, And generate a third timestamp; when the main auxiliary device 710 receives the PTP protocol delay request message, it generates a fourth timestamp; and in response to the PTP protocol delay request message, the main auxiliary device 710 sends to other auxiliary devices 720 including The PTP protocol of the fourth time stamp delays the request response message.
  • the other auxiliary device 720 is further configured to calculate the clock of the other auxiliary device 720 and the master clock of the main auxiliary device based on the first time stamp, the second time stamp, the third time stamp, and the fourth time stamp. The time deviation between.
  • the programmable logic device 730 is further configured to send the same type of PTP protocol message with the same message processing time during the process of transmitting the PTP protocol message.
  • the message processing time is the transmission time of the PTP protocol message between the MAC layer and the application layer of the network on the main auxiliary device 710 side or the other auxiliary device side 720.
  • the programmable logic device is further configured to: monitor the network media interface; and when the signal of the network media interface is monitored, control the transmission of the PTP protocol between the main auxiliary device 710 and other auxiliary devices 720 via the network. Message.
  • the hardware logic of the programmable logic device 730 can be modified based on the number of auxiliary devices.
  • the auxiliary device includes a ranging sensor and a camera.
  • a computer device is provided.
  • the computer device may be a terminal, and its internal structure diagram may be as shown in FIG. 8.
  • the computer equipment includes a processor, a memory, a network interface, a display screen and an input device connected through a system bus.
  • the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system and a computer program.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the display screen of the computer equipment can be a liquid crystal display screen or an electronic ink display screen
  • the input device of the computer equipment can be a touch layer covered on the display screen, or it can be a button, a trackball or a touchpad set on the housing of the computer equipment , It can also be an external keyboard, touchpad, or mouse.
  • FIG. 8 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
  • the specific computer device may Including more or fewer parts than shown in the figure, or combining some parts, or having a different arrangement of parts.
  • a computer device that includes a memory and one or more processors.
  • the memory stores computer-readable instructions.
  • the one or more processors execute each of the foregoing method implementations. The steps in the example.
  • One or more non-volatile computer-readable storage media storing computer-readable instructions.
  • the computer-readable instructions are executed by one or more processors, the one or more processors execute the steps in each of the foregoing method embodiments. step.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

一种用于对自动驾驶车辆中的多个辅助设备进行时间同步的方法、车辆、计算机设备和计算机可读存储介质，该方法包括：确定多个辅助设备中的一个辅助设备作为主辅助设备，并将主辅助设备的时钟作为主时钟（202）；通过可编程逻辑器件控制在主辅助设备和其他辅助设备之间经由网络传输PTP协议报文（204）；基于PTP协议报文的传输，计算其他辅助设备的时钟与主辅助设备的主时钟之间的时间偏差（206）；以及基于时间偏差对其他辅助设备的时钟进行调整，使得其他辅助设备的时钟与主时钟同步（208）。

Description

用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质 技术领域
本申请涉及时间同步领域，尤其是涉及用于对车辆中的多个辅助设备进行时间同步的方法、车辆、计算机设备和计算机可读存储介质。
背景技术
精确时间同步协议(Precision Timing Protocol，PTP)是电子电气工程师协会(IEEE，Institute of Electrical and Electronics Engineers)1588及IEEE 802.1AS组织提出的一种高精度时间同步协议。精确时间同步协议用于对搭载在网络中的各个装置的时钟进行精确同步。具体地，例如在自动驾驶领域中，需要利用精确时间同步协议对搭载在车辆内的多个传感器的时钟进行高精度同步，以确保多个传感器能够提供同一时刻的数据，从而确保传感器数据的高可靠性，使得在自动驾驶中能够及时准确地对各种环境因素进行识别和判断。在传统方式中，通常使用个人电脑(Personal Computer，PC)或微控制单元(Micro Control Unit，MCU)软件系统的软件方案或者利用芯片来实现精确时间同步协议的网络同步技术。但是，通过软件进行时钟同步的同步精度不高，而通过芯片进行时钟同步的方案不够灵活。
发明内容
根据本申请的各个实施例，提供了用于对自动驾驶车辆中的辅助设备进行时间同步的方法、车辆、计算机设备和计算机可读存储介质，技术方案如下。
用于对自动驾驶车辆的多个辅助设备进行时间同步的方法，包括：确定所述多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；通过可编程逻辑器件控制在所述主辅助设备和其他辅助设备之间经由网络传输PTP协议的报文；基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
自动驾驶车辆，其包括：多个辅助设备，各自具有时钟；处理器，配置为确定所述多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟； 以及可编程逻辑器件，配置为：控制在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文；其中，所述其他辅助设备基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；并基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现如下处理：确定自动驾驶车辆中的多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；通过可编程逻辑器件控制在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文；基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下处理：确定自动驾驶车辆中的多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；通过可编程逻辑器件控制在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文；基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
根据上述用于对自动驾驶车辆的辅助设备进行时间同步的方法、车辆、计算机设备和计算机可读存储介质，通过可编程逻辑器件对车辆中的辅助设备进行控制，由于可编程逻辑器件的多路并行的特性，能够准确地控制在执行PTP协议的报文传输过程中的对报文进行处理的时间，即排除了这一段时间在每次执行PTP协议的处理中的不稳定性，换言之，使得对报文进行处理的时间在每次执行PTP协议的处理中都是相同的，从而使得主辅助设备的主时钟与其他辅助设备的时钟之间的时间偏差的计算更准确，提高了多个辅助设备之间的时间同步精度。因此，在自动驾驶车辆中，能够提供多个辅助设备的同一时刻的数据，为自动驾驶提供更可靠的辅助设备的数据，提高了自动驾驶的性能。此外，由于可编程逻辑器件的功能可以根据实际需求而做出改变，因此，基于可编程逻辑器件来控制车辆的辅助设备的时钟执行PTP协议的处理从而进行时间同步，具有更高的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是根据实施例的用于对自动驾驶车辆中的多个辅助设备进行时间同步的方法的应用环境示意图；
图2是根据实施例的用于对自动驾驶车辆的辅助设备进行时间同步的方法的流程图；
图3是根据实施例的用于对自动驾驶车辆的辅助设备进行时间同步的方法的流程图；
图4是根据实施例的PTP协议的报文在网络中传输的示意图；
图5是根据实施例的PTP协议的报文在网络中进行处理的示意图；
图6是根据实施例的用于对自动驾驶车辆的辅助设备进行时间同步的方法的流程图；
图7是根据实施例的车辆的结构框图；
图8是根据实施例的计算机设备的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供用于对自动驾驶车辆的辅助设备进行时间同步的方法，可以应用于多种应用环境中。例如，可以应用于如图1所示的自动驾驶的应用环境中。如图1所示，在该应用环境中，车辆100包括多个辅助设备、可编程逻辑器件130和车辆控制装置140。车辆具体可以是自动驾驶车辆，例如无人驾驶车辆，或其他具有远程辅助驾驶功能的车辆，例如仓库叉车，挖土机等。辅助设备包括主辅助设备110和至少一个其他辅助设备120。辅助设备例如是是用于辅助自动驾驶功能的多个传感器，例如摄像机(包括单目、双目立体视觉、全景视觉及红外摄相机)和测距传感器(包括雷达、激光雷达等)等。可编程逻辑器件130可以是现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)或其他能够实现对信号进行多路并行处理的可编程逻辑器件。车辆控制装置140可以是对车辆中的辅助设备进行控制的处理器，用于获取多个辅助设备的数据。为了保证在自动驾驶功能中使用的辅助设备的数据的可靠性，通常要求多个辅助设备的时间的高精度同步。因此，多个辅助设备之间利用基于PTP协议的网络同步技术来使得多个辅助设备之间的时钟同 步。为了描述简洁，该应用环境中例示了一个其他辅助设备120，然而，其他辅助设备120的数量不受限制，并且可以是更多个其他辅助设备120。
在一个实施例中，主辅助设备110包括主时钟作为主辅助设备110的时钟源，其他辅助设备120的时钟作为其他辅助设备120的时钟源。在进行主辅助设备110和其他辅助设备120之间的时间同步时，通过可编程逻辑器件130控制在所述主辅助设备110和所述其他辅助设备120之间经由网络传输PTP协议的报文。其他辅助设备120基于PTP协议的报文的传输，计算其他辅助设备120的时钟与所述主辅助设备110的主时钟之间的时间偏差，并基于该时间偏差调整其他辅助设备120的时钟，使得其他辅助设备120的时钟与主辅助设备110的主时钟同步。
在其中一个实施例中，如图2所示，提供了用于对自动驾驶车辆的多个辅助设备进行时间同步的方法。以该方法应用于图1的自动驾驶应用环境为例进行说明，包括以下步骤。
步骤202：确定多个辅助设备中的一个辅助设备作为主辅助设备110，并将主辅助设备110的时钟作为主时钟。
其中，主辅助设备110和其他辅助设备120分别是车辆中的不同的辅助设备。
步骤204：通过可编程逻辑器件130控制在主辅助设备110和其他辅助设备120之间经由网络传输PTP协议的报文。
可编程逻辑器件130是一种通用的集成电路，它的逻辑功能按照用户对器件的设计和编程来确定，用户可以根据实际电路的功能需要对可编程逻辑器件130进行设计，并且可以随时根据用户期望的功能而重新编程或进行升级，用户只需要通过数据传输将新的逻辑编程文件上载到可编程逻辑器件130，就可以在可编程逻辑器件130中创建新的硬件逻辑。因此，使用可编程逻辑器件130实现硬件电路的功能具有较高的灵活性。此外，由于可编程逻辑器件130具有多路并行的特性，即能够并行地对多路信号进行处理。相比于通用的CPU，CPU对高级程序语言的处理是串行顺序执行的，为了对应高级程序语言的执行顺序，CPU返回的结果是串行执行。因此，在数字信号处理中，可编程逻辑器件130相比于通用的CPU对指令执行的时间更加可控，具有更大的性能优势。
PTP协议是一种高精度的时间同步协议。通过在网络中的辅助设备之间执行基于PTP协议的时间同步处理，能够使网络中的辅助设备的时钟的时间同步。PTP协议的报文是通过基于PTP协议进行时间同步时在网络中传输的报文。网络例如是以太网，或其他可用于PTP协议的报文传输的网络。
在一个实施例中，在PTP协议的报文在网络中传输的过程中，即在PTP协议的报文 从主辅助设备110发送到其他辅助设备120，以及从其他辅助设备120发送到主辅助设备110的过程中，需要对PTP协议的报文进行处理，并且还可能需要经过路由器和交换机等网络装置对PTP协议的报文进行传递。其中，对报文进行的处理包括对报文进行封装和解封装等，对报文进行封装和解封装将在后文详细描述。
步骤206：基于PTP协议的报文的传输，计算其他辅助设备120的时钟与主辅助设备110的主时钟之间的时间偏差。
在执行PTP协议的报文的传输过程中，需要记录在网络中的辅助设备的对报文发送的时间及接收的时间，例如，记录主辅助设备110发送PTP协议的报文的时间、其他辅助设备120接收PTP协议的报文的时间、其他辅助设备120发送PTP协议的报文的时间以及主辅助设备110接收PTP协议的报文的时间。通过利用上述时间进行计算，能够得到其他辅助设备120的时钟与主辅助设备110的主时钟之间的时间偏差。
步骤208：基于时间偏差对其他辅助设备120的时钟进行调整，使得其他辅助设备120的时钟与主时钟同步。
通过步骤206的计算得到主辅助设备110的主时钟与其他辅助设备120的时钟之间的时间偏差(offset)，该时间偏差即为两个时钟之间需要进行时钟校准的偏差。通过调整该偏差，使得主辅助设备110的主时钟和其他辅助设备120的时钟的时间同步，达到对主辅助设备110的主时钟和其他辅助设备120的时钟进行时间同步的目的。
根据上述用于对自动驾驶车辆的辅助设备进行时间同步的方法，通过可编程逻辑器件130对车辆中的辅助设备进行控制，由于可编程逻辑器件的多路并行的特性，能够准确地控制在执行PTP协议的报文传输过程中的对报文进行处理的时间，即排除了这一段时间在每次执行PTP协议的处理中的不稳定性，换言之，使得对报文进行处理的时间在每次执行PTP协议的处理中都是相同的，从而使得主辅助设备110的主时钟与其他辅助设备120的时钟之间的时间偏差的计算更准确，提高了多个辅助设备之间的时间同步精度。因此，在自动驾驶车辆中，能够提供多个辅助设备的同一时刻的数据，为自动驾驶提供更可靠的辅助设备的数据，提高了自动驾驶的性能。此外，由于可编程逻辑器件130的功能可以根据实际需求而做出改变，因此，基于可编程逻辑器件130来控制车辆的辅助设备的时钟执行PTP协议的处理从而进行时间同步，具有更高的灵活性。
在其中一个实施例中，如图3和图4所示，通过可编程逻辑器件130控制在主辅助设备110和其他辅助设备120之间经由网络传输PTP协议的报文的步骤，具体包括以下内容。
步骤302：从主辅助设备110向其他辅助设备120发送PTP协议同步报文，并生成第 一时间戳T1。
步骤304：当其他辅助设备120接收到PTP协议同步报文时，生成第二时间戳T2。
步骤306：从主辅助设备110向其他辅助设备120发送包括第一时间戳T1的PTP协议跟随报文。
步骤308：从其他辅助设备120向主辅助设备110发送PTP协议延迟请求报文，并生成第三时间戳T3。
步骤310：当主辅助设备110接收到PTP协议延迟请求报文时，生成第四时间戳T4。
步骤312：响应于PTP协议延迟请求报文，而从主辅助设备110向其他辅助设备120发送包括第四时间戳T4的PTP协议延迟请求响应报文。
其中，在步骤302中，当从主辅助设备110向其他辅助设备120发送PTP协议同步报文时，PTP协议同步报文可以包括估计发送该同步报文的时刻的发送时刻估计时间戳。其中，时间戳由可编程逻辑器件130生成。可编程逻辑器件通过连续地生成PPS秒脉冲信号而生成持续运行的时间，并定期地输出UTC时间戳信息。由于PTP协议同步报文周期性地从主辅助设备110的主时钟发送给其他辅助设备120的时钟，因此PTP协议同步报文所携带的发送时刻估计时间戳仅用于估计发送的时间，而不能携带精确的PTP协议同步报文离开主辅助设备110的主时钟的时间。因此，在PTP协议同步报文离开主辅助设备110的主时钟时，生成精确记录该时刻的第一时间戳T1。然后，在随后从主辅助设备110的主时钟向其他辅助设备120的时钟发送PTP协议跟随报文时，在PTP协议跟随报文中封装有表示PTP协议同步报文的精确发送时间的第一时间戳T1。PTP协议同步报文离开主辅助设备110的主时钟的时间和到达其他辅助设备120的时钟的时间以及PTP协议延迟请求报文离开主辅助设备110的主时钟的时间和到达其他辅助设备120的时钟的时间被分别标上时间戳T1、T2、T3、T4。通过上述步骤，其他辅助设备120的时钟得到第一时间戳T1、第二时间戳T2、第三时间戳T3和第四时间戳T4，并且得到分别由上述时间戳所标识的PTP协议同步报文的发送时间t1、PTP协议同步报文的接收时间t2、PTP协议延迟请求报文的发送时间t3和PTP协议延迟请求报文的接收时间t4。上述时间戳可以由可编程逻辑器件130生成。
在其中一个实施例中，基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差的步骤还包括：基于第一时间戳T1、第二时间戳T2、第三时间戳T3和第四时间戳T4，计算其他辅助设备120的时钟与主辅助设备110的主时钟之间的时间偏差。
图4是根据实施例的PTP协议的报文在网络中传输的示意图。在图4中，offset表示主辅助设备110的主时钟和其他辅助设备120的时钟之间的时间偏差。即，两个时钟之间的时间偏离值就是offset。此外，在图4中，delay表示PTP协议的报文在网络中传输时的网络延时，即PTP协议的报文从一个时钟经过网络传输到另一个时钟时所产生的延时。其他辅助设备120的时钟可以通过所得到的由精确时间戳T1、T2、T3、T4所标识的时间t1、t2、t3、t4，计算主辅助设备110的主时钟和其他辅助设备120的时钟之间的时间偏差offset以及网络延时delay。具体可以采用以下式(1)和式(2)计算。
Figure PCTCN2020091144-appb-000001
Figure PCTCN2020091144-appb-000002
上述计算主辅助设备110的主时钟和其他辅助设备120的时钟之间的时间偏差offset的过程可以由其他辅助设备120执行。由此，其他辅助设备120可以得到两个时钟之间的时间偏差offset。其他辅助设备120得到两个时钟之间的时间偏差offset之后，就可以对其他辅助设备120的时钟进行调整和修正，从而使得主辅助设备110的主时钟和其他辅助设备120的时钟同步。
在其中一个实施例中，在传输PTP协议的报文的过程中，以相同的报文处理时间发送同一类型的PTP协议的报文。
如上所述，PTP协议的报文包括PTP协议同步报文、PTP协议跟随报文、PTP协议延迟请求报文和PTP协议延迟请求响应报文等多个类型的PTP协议的报文。由于PTP协议同步报文周期性地从主辅助设备110的主时钟发送给其他辅助设备120的时钟，因此图4所示的PTP协议的报文在网络中的传输过程是周期性地进行的。一次PTP协议的处理即为完成一次PTP协议同步报文、PTP协议跟随报文、PTP协议延迟请求报文和PTP协议延迟请求响应报文这四个类型的PTP协议的报文的传输的处理。在该实施例中，PTP协议同步报文的报文处理时间在每次执行PTP协议的处理中是相同的，PTP协议跟随报文的报文处理时间在每次执行PTP协议的处理中是相同的，PTP协议延迟请求报文的报文处理时间在每次执行PTP协议的处理中是相同的，并且PTP协议延迟请求响应报文的报文处理时间在每次执行PTP协议的处理中是相同的。换句话说，在每次执行PTP协议的处理中，对PTP协议的报文进行处理时间是相同的。
请继续参见图5，图5是根据实施例的PTP协议的报文在网络中的处理的示意图。图5中的箭头方向为PTP协议的报文在网络中的传输方向的示例。报文在网络中的传输时间， 即t2-t1和t4-t3，包括报文在网络中传输经过路由器和/或交换机的时间，以及报文处理时间。报文处理时间是指从对报文进行处理的时间。以下将详细描述对报文进行处理的过程。当PTP协议的报文从主辅助设备110传递到其他辅助设备120的过程中，报文经过网络中的应用层、运输层、网络层、MAC层和物理层。在上述网络的各个层中，报文被加入首部和/或尾部而被封装，从而在上述各个层中依次传输。在该实施例中，同一类型的PTP协议的报文在传输过程中的进行上述处理的时间在每次PTP协议的传输中是相同的，并且，在每次PTP协议的传输中，对PTP协议的报文的处理时间是相同的。
在传输PTP协议的报文的过程中，通过以相同的报文处理时间发送同一类型的PTP协议的报文，能够排除报文处理时间的不稳定性，进而只需要计算报文在网络中传输的过程中经过路由器和/或交换机的时间所导致的时间偏差和延迟，提高了整体的时间同步的精度。
在其中一个实施例中，报文处理时间是PTP协议的报文在所述主辅助设备侧或所述其他辅助设备侧的网络的MAC层和应用层之间的传输时间。
继续参见图5，当PTP协议的报文从主辅助设备传递到其他辅助设备120时，PTP协议的报文在主辅助设备110侧依次经过网络中的应用层、运输层、网络层、链路层(MAC层)，并且在各个层中被封装。具体的封装处理例如是，在应用层中PTP协议的报文被应用程序填充后发送；在运输层将PTP报文加UDP报头被封装成UDP报文；在网络层加入IPv4的IP报头，封装成IP报文；在链路层中封装成以太帧传输。但应当理解的是，PTP协议的报文不限于经过UDP和IPv4进行封装，还可以经过UDP和IPv6进行封装，或使用其它已知的封装方式进行封装。此后，PTP协议的报文经过路由器和/或交换机(即经过物理层、链路层和网络层的中转)传递到其他辅助设备120。在其他辅助设备120侧，经封装的PTP协议的报文依次经过物理层、链路层(MAC层)、网络层、运输层和应用层，并且在各个层中被解封装，从而，其他辅助设备120得到PTP协议的报文。具体地，对报文进行封装和解封装的时间即为报文处理时间。
在该实施例中，报文处理时间是PTP协议的报文在网络中从应用层传输到MAC层以及从MAC层传输到应用层的时间。通过控制同一类型的PTP协议的报文在网络中从应用层传输到MAC层以及从MAC层传输到应用层的时间在每次执行PTP协议的处理中是相同的，能够控制对报文进行处理的报文处理时间的在每次执行PTP协议的处理中是相同的，即排除了报文处理时间的不稳定性，进而只需要计算报文在网络中传输的过程中经过路由器和/或交换机的时间所导致的时间偏差和延迟，提高了整体的时间同步的精度。
在其中一个实施例中，参见图6，用于对自动驾驶车辆的辅助设备进行时间同步的方法还包括：
步骤602：监测网络媒体接口。
步骤604：当监测到所述网络媒体接口的信号时，在主辅助设备110和其他辅助设备120之间经由网络传输PTP协议的报文。
网络媒体接口可以是介质无关接口(Media Independent Interface，MII)或称为媒体独立接口，它包括MAC层和物理层之间的管理接口，用于MAC层和物理层之间的通信。该网络媒体接口可以检测网络上是否有数据在传送。具体地，当物理层发送数据时，或当物理层接收从MAC传送的数据时，该网络媒体接口生成接口信号。当可编程逻辑器件130监测到该网络媒体接口的信号时，进行PTP协议的传输，即，在主辅助设备110和其他辅助设备120之间经由网络传输PTP协议的报文。其中，网络媒体接口可以是MII、RMII、SMII或GMII等。
在其中一个实施例中，该方法还包括，基于所述辅助设备的数量而对可编程逻辑器件130的硬件逻辑做出修改。
如上所述，其他辅助设备120的数量不受限制，并且可以具有更多个其他辅助设备120。因此，用户可以改变其他辅助设备120的数量。在该实施例中，可以基于辅助设备的数量而对可编程逻辑器件130的硬件逻辑做出修改。即，当其他辅助设备120的数量增多或减少时，可以适应性地修改可编程逻辑器件130的功能，使其能够控制更多或更少数量的辅助设备。相比于使用芯片对PTP协议的传输进行控制的方案，根据本申请实施例的方案能够通过调整可编程逻辑器件130的功能而对辅助设备进行控制，不需要重新开发和更换芯片，方案更加灵活。
在其中一个实施例中，辅助设备包括测距传感器和摄像机。
具体地，主辅助设备110和其他辅助设备120可以分别是搭载在车辆内的多个传感器，例如测距传感器和摄像机。这些传感器可以是用于辅助自动驾驶的多个传感器，或用于远程辅助驾驶功能的多个传感器。在自动驾驶或驾驶辅助的领域中，需要利用精确时间同步协议对搭载在车辆内的多个传感器的时钟进行高精度同步，以确保多个传感器能够提供同一时刻的数据。通过本申请的技术方案，基于可编程逻辑器件对搭载在车辆内的多个传感器进行高精度的PTP协议时间同步，时间同步精度更高。
参见图7，在其中一个实施例中，提供了一种自动驾驶车辆700，其包括多个辅助设备、可编程逻辑器件730和处理器750。多个辅助设备各自具有时钟。其中，处理器750 配置为确定所述多个辅助设备中的一个辅助设备作为主辅助设备710，并且将所述主辅助设备710的时钟作为主时钟；可编程逻辑器件730配置为控制在主辅助设备710和其他辅助设备720之间经由网络传输PTP协议的报文。其他辅助设备720配置为基于PTP协议的报文的传输，计算其他辅助设备720的时钟与主辅助设备710的主时钟之间的时间偏差，并基于该时间偏差，对其他辅助设备720的时钟进行调整，使得其他辅助设备720的时钟与主时钟同步。
根据上述自动驾驶车辆，通过可编程逻辑器件对车辆中的辅助设备进行控制，由于可编程逻辑器件的多路并行的特性，能够准确地控制在执行PTP协议的报文传输过程中的对报文进行处理的时间，即排除了这一段时间在每次执行PTP协议的处理中的不稳定性，换言之，使得对报文进行处理的时间在每次执行PTP协议的处理中都是相同的，从而使得主辅助设备的主时钟与其他辅助设备的时钟之间的时间偏差的计算更准确，提高了多个辅助设备之间的时间同步精度。因此，在自动驾驶车辆中，能够提供多个辅助设备的同一时刻的数据，为自动驾驶提供更可靠的辅助设备的数据，提高了自动驾驶的性能。此外，由于可编程逻辑器件的功能可以根据实际需求而做出改变，因此，基于可编程逻辑器件来控制车辆的辅助设备的时钟执行PTP协议从而进行时间同步，具有更高的灵活性。
在其中一个实施例中，车辆700还包括车辆控制装置740。车辆控制装置740可以是控制车辆中的主辅助设备710和其他辅助设备720的处理器，用于获取主辅助设备710和其他辅助设备720的数据。可编程逻辑器件730通过总线连接到处理器750，通过处理器750控制可编程逻辑器件730的工作状态。为了描述简洁，图7中仅示出了一个其他辅助设备720，但应当理解的是，车辆700可以包括更多个其他辅助设备720。
在其中一个实施例中，可编程逻辑器件730还配置为：从主辅助设备710向其他辅助设备720发送PTP协议同步报文，并生成第一时间戳；当其他辅助设备720接收到PTP协议同步报文时，生成第二时间戳；从主辅助设备710向其他辅助设备720发送包括第一时间戳的PTP协议跟随报文；从其他辅助设备720向主辅助设备发送PTP协议延迟请求报文，并生成第三时间戳；当主辅助设备710接收到PTP协议延迟请求报文时，生成第四时间戳；以及响应于PTP协议延迟请求报文，而从主辅助设备710向其他辅助设备720发送包括第四时间戳的PTP协议延迟请求响应报文。
在其中一个实施例中，其他辅助设备720还配置为：基于第一时间戳、第二时间戳、第三时间戳和第四时间戳，计算其他辅助设备720的时钟与主辅助设备的主时钟之间的时间偏差。
在其中一个实施例中，可编程逻辑器件730还配置为：在传输PTP协议的报文的过程中，以相同的报文处理时间，发送同一类型的PTP协议的报文。
在其中一个实施例中，报文处理时间是PTP协议的报文在主辅助设备710侧或其他辅助设备侧720的网络的MAC层和应用层之间的传输时间。
在其中一个实施例中，可编程逻辑器件还配置为：监测网络媒体接口；以及当监测到网络媒体接口的信号时，控制在主辅助设备710和其他辅助设备720之间经由网络传输PTP协议的报文。
在其中一个实施例中，可编程逻辑器件730的硬件逻辑能够基于辅助设备的数量而被修改。
在其中一个实施例中，辅助设备包括测距传感器和摄像机。
关于对本实施例的车辆的具体限定可以参见上文中对于用于对自动驾驶车辆的辅助设备进行时间同步的方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述各个方法实施例中的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机设备，包括存储器及一个或多个处理器，存储器中储存有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各个方法实施例中的步骤。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过 计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

  1. 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法，包括：
    确定所述多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；
    通过可编程逻辑器件控制在所述主辅助设备和其他辅助设备之间经由网络传输PTP协议的报文；
    基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及
    基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
  2. 根据权利要求1所述的方法，其中，通过可编程逻辑器件控制在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文，包括：
    从所述主辅助设备向所述其他辅助设备发送PTP协议同步报文，并生成第一时间戳；
    当所述其他辅助设备接收到所述PTP协议同步报文时，生成第二时间戳；
    从所述主辅助设备向所述其他辅助设备发送包括所述第一时间戳的PTP协议跟随报文；
    从所述其他辅助设备向所述主辅助设备发送PTP协议延迟请求报文，并生成第三时间戳；
    当所述主辅助设备接收到所述PTP协议延迟请求报文时，生成第四时间戳；以及
    响应于所述PTP协议延迟请求报文，而从所述主辅助设备向所述其他辅助设备发送包括所述第四时间戳的PTP协议延迟请求响应报文。
  3. 根据权利要求2所述的方法，其中，基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差，包括：
    基于所述第一时间戳、所述第二时间戳、所述第三时间戳和所述第四时间戳，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差。
  4. 根据权利要求1所述的方法，其中，在传输PTP协议的报文的过程中，以相同的报文处理时间，发送同一类型的PTP协议的报文。
  5. 根据权利要求4所述的方法，其中，所述报文处理时间是PTP协议的报文在所述主辅 助设备侧或所述其他辅助设备侧的网络的MAC层和应用层之间的传输时间。
  6. 根据权利要求1所述的方法，还包括：
    监测网络媒体接口；以及
    当监测到所述网络媒体接口的信号时，在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文。
  7. 根据权利要求1所述的方法，还包括，基于所述辅助设备的数量对所述可编程逻辑器件的硬件逻辑做出修改。
  8. 根据权利要求1所述的方法，其中，所述辅助设备包括测距传感器和摄像机。
  9. 自动驾驶车辆，其包括：
    多个辅助设备，各自具有时钟；
    处理器，配置为确定所述多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；以及
    可编程逻辑器件，配置为控制在所述主辅助设备和其他辅助设备之间经由网络传输PTP协议的报文；
    其中，所述其他辅助设备配置为基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；并基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
  10. 根据权利要求9所述的自动驾驶车辆，其中，所述可编程逻辑器件还配置为：
    从所述主辅助设备向所述其他辅助设备发送PTP协议同步报文，并生成第一时间戳；
    当所述其他辅助设备接收到所述PTP协议同步报文时，生成第二时间戳；
    从所述主辅助设备向所述其他辅助设备发送包括所述第一时间戳的PTP协议跟随报文；
    从所述其他辅助设备向所述主辅助设备发送PTP协议延迟请求报文，并生成第三时间戳；
    当所述主辅助设备接收到所述PTP协议延迟请求报文时，生成第四时间戳；以及
    响应于所述PTP协议延迟请求报文，而从所述主辅助设备向所述其他辅助设备发送包括所述第四时间戳的PTP协议延迟请求响应报文。
  11. 根据权利要求10所述的自动驾驶车辆，其中，所述其他辅助设备还配置为：
    基于所述第一时间戳、所述第二时间戳、所述第三时间戳和所述第四时间戳，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差。
  12. 根据权利要求9所述的自动驾驶车辆，其中，所述可编程逻辑器件还配置为：
    在传输PTP协议的报文的过程中，以相同的报文处理时间，发送同一类型的PTP协议的报文。
  13. 根据权利要求12所述的自动驾驶车辆，其中，所述报文处理时间是PTP协议的报文在所述主辅助设备侧或所述其他辅助设备侧的网络的MAC层和应用层之间的传输时间。
  14. 根据权利要求9所述的自动驾驶车辆，其中，所述可编程逻辑器件还配置为：
    监测网络媒体接口；以及
    当监测到所述网络媒体接口的信号时，控制在所述主辅助设备和所述其他辅助设备之间经由网络传输PTP协议的报文。
  15. 根据权利要求9所述的自动驾驶车辆，其中，所述可编程逻辑器件的硬件逻辑能够基于所述辅助设备的数量而被修改。
  16. 根据权利要求9所述的自动驾驶车辆，其中，所述辅助设备包括测距传感器和摄像机。
  17. 计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现如下处理：
    确定自动驾驶车辆中的多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；
    通过可编程逻辑器件控制在所述主辅助设备和其他辅助设备之间经由网络传输PTP协议的报文；
    基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及
    基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
  18. 计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下处理：
    确定自动驾驶车辆中的多个辅助设备中的一个辅助设备作为主辅助设备，并且将所述主辅助设备的时钟作为主时钟；
    通过可编程逻辑器件控制在所述主辅助设备和其他辅助设备之间经由网络传输PTP协议的报文；
    基于所述PTP协议的报文的传输，计算所述其他辅助设备的时钟与所述主辅助设备的主时钟之间的时间偏差；以及
    基于所述时间偏差，对所述其他辅助设备的时钟进行调整，使得所述其他辅助设备的时钟与所述主时钟同步。
PCT/CN2020/091144 2020-05-20 2020-05-20 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质 WO2021232260A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/091144 WO2021232260A1 (zh) 2020-05-20 2020-05-20 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质
CN202080007588.7A CN113273105B (zh) 2020-05-20 2020-05-20 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/091144 WO2021232260A1 (zh) 2020-05-20 2020-05-20 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
WO2021232260A1 true WO2021232260A1 (zh) 2021-11-25

Family

ID=77227970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/091144 WO2021232260A1 (zh) 2020-05-20 2020-05-20 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113273105B (zh)
WO (1) WO2021232260A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047938A (zh) * 2022-08-12 2022-09-13 浙江大学 时钟同步方法、系统、电子设备及计算机可读存储介质
CN116032412A (zh) * 2023-03-28 2023-04-28 之江实验室 多相机跨平台时间同步方法、装置、系统及电子设备
CN116054987A (zh) * 2022-10-12 2023-05-02 哈尔滨市科佳通用机电股份有限公司 一种车载设备的校时方法及存储介质
CN116938378A (zh) * 2023-09-14 2023-10-24 西安羚控电子科技有限公司 基于反射内存网络的时钟同步精度测量方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821074B (zh) * 2021-09-06 2023-09-08 北京车和家信息技术有限公司 一种时间同步方法、装置、电子设备和存储介质
CN113839732A (zh) * 2021-09-18 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 时钟同步方法、装置及设备
CN113904959B (zh) * 2021-11-02 2023-04-07 广州小鹏自动驾驶科技有限公司 一种时延分析方法、装置、车辆、存储介质
CN115276867A (zh) * 2022-06-16 2022-11-01 中国第一汽车股份有限公司 一种基于tsn时间敏感网络通信技术的雷达数据传输方法、装置及其车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123792A (en) * 2009-12-23 2011-07-01 Ind Tech Res Inst Network slave node and time synchronization method in network applying the same
CN109462454A (zh) * 2018-12-31 2019-03-12 武汉环宇智行科技有限公司 基于ptp协议的汽车传感器时间同步方法及系统
CN110351823A (zh) * 2018-04-03 2019-10-18 华为技术有限公司 通信的方法和装置
CN110401505A (zh) * 2019-07-19 2019-11-01 深圳大学 一种无线网络精确时间同步方法
US20200028666A1 (en) * 2018-07-20 2020-01-23 Integrated Device Technology, Inc. Minimizing timestamp error in ptp systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208580B1 (ko) * 2018-02-09 2021-01-28 한국전자통신연구원 무인 이동체, 무인 이동체들 사이의 시간 동기화 지원 장치 및 그 방법
CN110225544A (zh) * 2019-06-27 2019-09-10 合肥更鼓电子科技有限公司 一种基于光纤网络的移动通信基站高精度时间同步方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123792A (en) * 2009-12-23 2011-07-01 Ind Tech Res Inst Network slave node and time synchronization method in network applying the same
CN110351823A (zh) * 2018-04-03 2019-10-18 华为技术有限公司 通信的方法和装置
US20200028666A1 (en) * 2018-07-20 2020-01-23 Integrated Device Technology, Inc. Minimizing timestamp error in ptp systems
CN109462454A (zh) * 2018-12-31 2019-03-12 武汉环宇智行科技有限公司 基于ptp协议的汽车传感器时间同步方法及系统
CN110401505A (zh) * 2019-07-19 2019-11-01 深圳大学 一种无线网络精确时间同步方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047938A (zh) * 2022-08-12 2022-09-13 浙江大学 时钟同步方法、系统、电子设备及计算机可读存储介质
CN115047938B (zh) * 2022-08-12 2022-11-04 浙江大学 时钟同步方法、系统、电子设备及计算机可读存储介质
CN116054987A (zh) * 2022-10-12 2023-05-02 哈尔滨市科佳通用机电股份有限公司 一种车载设备的校时方法及存储介质
CN116054987B (zh) * 2022-10-12 2023-12-15 哈尔滨市科佳通用机电股份有限公司 一种车载设备的校时方法及存储介质
CN116032412A (zh) * 2023-03-28 2023-04-28 之江实验室 多相机跨平台时间同步方法、装置、系统及电子设备
CN116938378A (zh) * 2023-09-14 2023-10-24 西安羚控电子科技有限公司 基于反射内存网络的时钟同步精度测量方法及装置
CN116938378B (zh) * 2023-09-14 2024-01-09 西安羚控电子科技有限公司 基于反射内存网络的时钟同步精度测量方法及装置

Also Published As

Publication number Publication date
CN113273105B (zh) 2023-09-12
CN113273105A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2021232260A1 (zh) 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质
KR102652569B1 (ko) 비용 최적화된 환경들에서 phy 레벨 하드웨어 타임스탬핑 및 시간 동기화의 수행
CN111555834B (zh) 基于ieee1588协议的无线网络的时钟同步方法及系统
US8879586B2 (en) Inband timestamping
US9960871B1 (en) Method and apparatus for securing clock synchronization in a network
US8913514B2 (en) Communication control unit and communication control system
US11316605B2 (en) Method, device, and computer program for improving synchronization of clocks in devices linked according to a daisy-chain topology
US20180013508A1 (en) System and method of synchronizing a distributed clock in a packet-compatible network
US11979481B2 (en) Time synchronisation
JP5518191B2 (ja) 光伝送網が時刻同期プロトコルをキャリングする方法及びシステム
US20200344333A1 (en) Computer network packet transmission timing
US10592552B1 (en) Determining real-time timestamps for robotic sensor data
JP5127482B2 (ja) タイミング同期方法、同期装置、同期システム及び同期プログラム
US11349587B2 (en) Generating a timestamp
CN110176973B (zh) 时钟同步的方法、系统、计算机设备和存储介质
US20220248353A1 (en) Synchronization method and device
Gutiérrez et al. Time synchronization in modular collaborative robots
WO2018166418A1 (zh) 一种网络校时方法及装置
WO2020119821A1 (zh) 延时抖动补偿方法、装置及计算机存储介质
US20230259157A1 (en) Communication system, communication device, communication method, control circuit, and storage medium
US20170117980A1 (en) Time synchronization for network device
US11757614B2 (en) Accurate timestamp correction
WO2022227318A1 (zh) 时间同步方法、装置、计算机设备和存储介质
CN110691407A (zh) 处理测量报文的方法和设备
CN113887557A (zh) 一种多传感器数据融合的方法、系统、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20936671

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/04/2023)