WO2019047607A1 - 一种端到端自动驾驶系统的数据处理方法及装置 - Google Patents

一种端到端自动驾驶系统的数据处理方法及装置 Download PDF

Info

Publication number
WO2019047607A1
WO2019047607A1 PCT/CN2018/094494 CN2018094494W WO2019047607A1 WO 2019047607 A1 WO2019047607 A1 WO 2019047607A1 CN 2018094494 W CN2018094494 W CN 2018094494W WO 2019047607 A1 WO2019047607 A1 WO 2019047607A1
Authority
WO
WIPO (PCT)
Prior art keywords
navigation system
data
time
predetermined
predetermined navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/094494
Other languages
English (en)
French (fr)
Inventor
闫泳杉
郁浩
郑超
唐坤
张云飞
姜雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of WO2019047607A1 publication Critical patent/WO2019047607A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Definitions

  • the present invention relates to the field of computers, and in particular, to a data processing method and apparatus for an end-to-end automatic driving system.
  • an automatic driving system generally uses a model established by data acquired in real time in front, output steering angle, and speed to perform deep learning. The more data collected, the more favorable the generated model is for deep learning. Since the number of images collected in real time in front of the automatic driving system is large and difficult to store in a limited storage space, the development of deep learning in the field of automatic driving is limited.
  • One of the technical problems solved by the present invention is that the number of images collected in real time in front of the existing automatic driving system is large and difficult to store in a limited storage space.
  • a data processing method for an end-to-end automatic driving system including:
  • the coordinated world time of the predetermined navigation system, the Gaussian projection corresponding to the speed value extracted by the predetermined navigation system, and the curvature value corresponding to the GPS data extracted by the predetermined navigation system are stored in the HDF5 file.
  • a data processing apparatus for an end-to-end automatic driving system including:
  • the present embodiment can store a large amount of data with less storage space. In order to establish a better automatic driving data model, and thus improve the learning efficiency of deep learning in the field of automatic driving.
  • FIG. 1 is a flow chart showing a data processing method of an end-to-end automatic driving system in accordance with an embodiment of the present invention.
  • FIG. 2 is a flow chart showing a data processing method of the end-to-end automatic driving system according to Embodiment 1 of the present invention.
  • FIG. 3 is a flow chart showing a data processing method of the end-to-end automatic driving system according to Embodiment 2 of the present invention.
  • FIG. 4 is a block diagram of a data processing apparatus of an end-to-end automatic driving system in accordance with an embodiment of the present invention.
  • Fig. 5 is a block diagram showing the data processing apparatus of the end-to-end automatic driving system proposed in the third embodiment of the present invention.
  • Fig. 6 is a block diagram showing a data processing apparatus of the end-to-end automatic driving system proposed in the fourth embodiment of the present invention.
  • Computer device also referred to as “computer” in the context, is meant an intelligent electronic device that can perform predetermined processing, such as numerical calculations and/or logical calculations, by running a predetermined program or instruction, which can include a processor and The memory is executed by the processor to execute a predetermined process pre-stored in the memory to execute a predetermined process, or is executed by hardware such as an ASIC, an FPGA, a DSP, or the like, or a combination of the two.
  • Computer devices include, but are not limited to, servers, personal computers, notebook computers, tablets, smart phones, and the like.
  • the computer device includes a user device and a network device.
  • the user equipment includes, but is not limited to, a computer, a smart phone, a PDA, etc.
  • the network device includes but is not limited to a single network server, a server group composed of multiple network servers, or a cloud computing based computer Or a cloud composed of a network server, wherein cloud computing is a type of distributed computing, a super virtual computer composed of a group of loosely coupled computers.
  • the computer device can be operated separately to implement the present invention, and can also access the network and implement the present invention by interacting with other computer devices in the network.
  • the network in which the computer device is located includes, but is not limited to, the Internet, a wide area network, a metropolitan area network, a local area network, a VPN network, and the like.
  • the user equipment, the network equipment, the network, and the like are merely examples, and other existing or future possible computer equipment or networks, such as those applicable to the present invention, are also included in the scope of the present invention. It is included here by reference.
  • FIG. 1 is a flow chart of a data processing method of an end-to-end automatic driving system in accordance with one embodiment of the present invention.
  • the data processing method of the end-to-end automatic driving system described in this embodiment includes the following steps:
  • step S110 the resolution of the original image data is first scaled down to ensure that the data model can be trained normally in a limited storage space.
  • the original image data is scaled down by 1/3, and the reduced image data can be stored in the HDF5 file with the suffix of .h5.
  • multiple image files can also be stored in an HDF5 file, reducing network I/O traffic.
  • the image acquisition time in the HDF5 file and the time interval in the predetermined time array may be used as the coordinated world time to satisfy the time accuracy.
  • the image RGB data corresponding to the image acquisition time can also be written into the HDF5 file.
  • the attitude data may first be read from the ieout data outputted by the high-precision collection vehicle, and the readable attitude data includes, but is not limited to, GPS week, weekly seconds, speed value, and GPS data.
  • the GPS week and the intra-week second can be converted into Coordinated World Time (UTC Time), and the positive east speed value, the north direction speed value, the elevation (H-Ell) value, and the vertical direction in the extracted speed value.
  • the heading values are converted to Gaussian projections, and the GPS data is obtained by the difference calculation to obtain the curvature.
  • the above-mentioned coordinated world time, Gaussian projection and curvature values are written into the HDF5 file.
  • the embodiment may further construct a data model according to the image transformed image data, the coordinated world time, the Gaussian projection, and the curvature value.
  • the data model is an end-to-end data model that provides effective deep learning material for automated driving systems.
  • the reduced resolution image, the coordinated world time of the navigation system, the Gaussian projection corresponding to the velocity value, and the curvature value corresponding to the GPS data are all stored in the HDF5 file, thereby enabling less
  • the storage space stores a large amount of data to create a better autopilot data model, which in turn improves the learning efficiency of deep learning in the field of autonomous driving.
  • the images acquired by the high precision collection vehicle are stored in the HDF5 file for use by the machine learning and control software.
  • This method will cause the HDF5 file storing images to occupy more storage space, and will significantly increase the overhead of network I/O, so the traditional data processing method is not conducive to deep learning of the automatic driving system.
  • this embodiment proposes another data processing method of the end-to-end automatic driving system, as shown in FIG. 2, comprising the following steps:
  • the resolution of the original image data is scaled down by 1/3 to ensure that the data model can be trained normally in a limited storage space.
  • the reduced image data can be stored in an HDF5 file with the .h5 extension. And multiple image files can also be stored in an HDF5 file, reducing network I/O traffic.
  • the content to be converted includes GPS week and week seconds, as shown in the following table:
  • the speed value may include a positive east speed value, a northward speed value, an elevation value, and an angle value with a vertical direction, and the specific values are as follows:
  • Gaussian projection of the above four sets of data can be done through the transform function in the Python module.
  • the basic principle of Gaussian projection calculation using Python module is to calculate from latitude and longitude coordinates to projected coordinates. Gaussian projection needs to determine the central longitude and projection ellipsoid parameter information after projection. Since the Python module is based on the scripting language, the Gaussian projection calculation in Python uses the basic function provided by it, that is, the transform function can complete the calculation.
  • the curvature of the GPS data can be calculated by the following calculation formula:
  • x' denotes the first derivative of y with respect to x
  • x ⁇ denotes the second derivative of y with respect to x
  • x' denotes the first derivative of x with respect to y
  • x ⁇ denotes the second derivative of x with respect to y
  • S250 Write the coordinated world time value, the Gaussian projection value, and the curvature value into the HDF5 file.
  • the above calculations can obtain four sets of coordinated world time values, Gaussian projection values and curvature values, which can be written into one HDF5 file, and more posture data can also be written into an HDF5 file, which can significantly reduce the storage occupied by the posture data. Space, therefore, can improve the depth learning efficiency of the automatic driving system.
  • the images acquired by the high precision collection vehicle are stored in the HDF5 file for use by the machine learning and control software.
  • This method will cause the HDF5 file to store images to occupy more storage space, and will obviously increase the overhead of network I/O.
  • Image storage will also result in too many stored files, which is not conducive to editing and management, so the traditional data processing method Not conducive to deep learning of the automatic driving system.
  • this embodiment proposes a data processing method for an end-to-end automatic driving system, which is combined with FIG. 3, and includes the following steps:
  • the resolution of the original image is usually 960*640, which ensures that the data model can be trained normally in a limited storage space.
  • Each image can be adjusted to a resolution of 320*320, and then the adjusted image is written to .h5.
  • the HDF5 file with the suffix name.
  • the time between the image acquisition time and the time array [0.0, 125.0, 250.0, 375.0, 500.0, 625.0, 750.0, 875.0, 1000.0] in the HDF5 file can be used as the coordinated world time, and the image at that time can be written at the same time.
  • RGB data The time between the image acquisition time and the time array [0.0, 125.0, 250.0, 375.0, 500.0, 625.0, 750.0, 875.0, 1000.0] in the HDF5 file can be used as the coordinated world time, and the image at that time can be written at the same time.
  • the conversion process includes converting the GPS week and the intra-week second into the coordinated world time, and converting the positive east velocity value, the northward velocity value, the elevation value, and the vertical angle value into the Gaussian projection among the extracted velocity values. And the GPS data is obtained by the difference calculation to obtain the curvature. Finally, the above-mentioned coordinated world time value, Gaussian projection value and curvature value are written into an HDF5 file.
  • the storage space occupied by 8 thousand image data is about 16 GB
  • the storage space occupied by HDF5 storing 100,000 image data is only 15 GB.
  • the image file stored in HDF5 format not only occupies storage. Smaller space and fewer files are stored, which is not only easy to edit and manage, but also has low network I/O overhead.
  • the data collected from the high-precision acquisition vehicle is image-transformed to obtain image data, and then the above-mentioned coordinated world time value, Gaussian projection value and curvature value are used to construct the data model, and the end-to-end data model is modeled.
  • the data model is an end-to-end data model that provides effective deep learning material for automated driving systems.
  • FIG. 4 is a block diagram of a data processing apparatus of an end-to-end automatic driving system in accordance with one embodiment of the present invention.
  • the data processing device (hereinafter referred to as “data processing device") of the end-to-end automatic driving system according to this embodiment includes the following devices:
  • image conversion device for converting a plurality of real-time acquired images into a predetermined resolution and storing them in an HDF5 file
  • Means for storing a coordinated world time of a predetermined navigation system, a Gaussian projection corresponding to a speed value extracted from the predetermined navigation system, and a curvature value corresponding to GPS data extracted from the predetermined navigation system in the HDF5 file ( Hereinafter referred to as "data storage device” 420.
  • the resolution of the original image data is first scaled down by the image transforming device 410 to ensure that the data model can be trained normally in a limited storage space.
  • the original image data is reduced by a ratio of 1/3 by the image conversion device 410, and the reduced image data may be stored in the HDF5 file with the suffix of .h5.
  • multiple image files can also be stored in an HDF5 file, reducing network I/O traffic.
  • the image acquisition time in the HDF5 file and the time closest to the predetermined time array may be used as the coordinated world time by the image conversion device 410.
  • the image RGB data at the time corresponding to the image capturing time can be written into the HDF5 file by the image converting device 410.
  • the gesture data can then be read from the ieout data output from the high-precision collection vehicle by the data storage device 420, including but not limited to GPS weeks, weekly seconds, speed values, and GPS data.
  • the data storage device 420 can convert the GPS week and the weekly seconds into a coordinated world time (UTC Time), and the forward east speed value, the north direction speed value, and the elevation (H-Ell) value in the extracted speed value. Both the heading and the vertical direction are converted to a Gaussian projection, and the GPS data is obtained by a difference operation to obtain a curvature. Finally, the above-described coordinated world time, Gaussian projection and curvature values are written into the HDF5 file by the data storage device 420.
  • UTC Time coordinated world time
  • H-Ell elevation
  • the data model may be constructed by the model construction device according to the image transformed image data, the coordinated world time, the Gaussian projection, and the curvature value.
  • the data model is an end-to-end data model that provides effective deep learning material for automated driving systems.
  • the reduced resolution image, the coordinated world time of the navigation system, the Gaussian projection corresponding to the velocity value, and the curvature value corresponding to the GPS data are all stored in the HDF5 file, thereby enabling less
  • the storage space stores a large amount of data to create a better autopilot data model, which in turn improves the learning efficiency of deep learning in the field of autonomous driving.
  • the images acquired by the high precision collection vehicle are stored in the HDF5 file for use by the machine learning and control software.
  • This method will cause the HDF5 file storing images to occupy more storage space, and will significantly increase the overhead of network I/O, so the traditional data processing method is not conducive to deep learning of the automatic driving system.
  • the present embodiment proposes another data processing apparatus of the end-to-end automatic driving system, as shown in FIG. 5, including the following apparatus:
  • a device for converting a plurality of real-time acquired images into a predetermined resolution and storing them in an HDF5 file;
  • time conversion device Means for converting GPS standard time into coordinated world time (hereinafter referred to as "time conversion device") 520;
  • Means for converting the extracted velocity value into a Gaussian projection (hereinafter referred to as "projection conversion device") 530;
  • difference operation device Means for obtaining the curvature of the GPS data by the difference operation (hereinafter referred to as “difference operation device”) 540;
  • a device (hereinafter referred to as "data writing device") 550 for writing the coordinated world time value, the Gaussian projection value, and the curvature value into the HDF5 file.
  • the resolution of the original image data is scaled by a scale of 1/3 by the transform storage device 510 to ensure that the data model can be trained normally in a limited storage space.
  • the reduced image data can be stored in an HDF5 file with the .h5 extension. And multiple image files can also be stored in an HDF5 file, reducing network I/O traffic.
  • the content to be converted includes the GPS week and the week second, as shown in the following table:
  • the speed value may include a positive east speed value, a northward speed value, an elevation value, and an angle value with a vertical direction, and the specific values are as follows:
  • Gaussian projection of the above four sets of data through the projection conversion device 530 can be accomplished by a transform function in the Python module.
  • the basic principle of Gaussian projection calculation using Python module is to calculate from latitude and longitude coordinates to projected coordinates. Gaussian projection needs to determine the central longitude and projection ellipsoid parameter information after projection. Since the Python module is based on the scripting language, the Gaussian projection calculation in Python uses the basic function provided by it, that is, the transform function can complete the calculation.
  • the curvature of the GPS data can be calculated by the difference operation means 540 by the following calculation formula:
  • x' denotes the first derivative of y with respect to x
  • x ⁇ denotes the second derivative of y with respect to x
  • x ⁇ denotes the first derivative of x with respect to y
  • x ⁇ denotes the second derivative of x with respect to y
  • the above calculation obtains four sets of coordinated world time values, Gaussian projection values and curvature values which can be written into an HDF5 file by the data writing device 550, and more posture data can also be written into an HDF5 file, which can be significantly reduced.
  • the storage space occupied by the small gesture data can improve the deep learning efficiency of the automatic driving system.
  • the images acquired by the high precision collection vehicle are stored in the HDF5 file for use by the machine learning and control software.
  • This method will cause the HDF5 file to store images to occupy more storage space, and will obviously increase the overhead of network I/O.
  • Image storage will also result in too many stored files, which is not conducive to editing and management, so the traditional data processing method Not conducive to deep learning of the automatic driving system.
  • the present embodiment proposes a data processing apparatus for an end-to-end automatic driving system, as shown in FIG. 6, comprising the following means:
  • Adjustment collection device Means for adjusting the original image acquired in real time
  • data conversion device a device (hereinafter referred to as "data conversion device") 620 for converting the read posture data into HDF5 file after conversion processing
  • model construction device A device for constructing a data model (hereinafter referred to as "model construction device”) 630.
  • the resolution of the original image is usually 960*640, which ensures that the data model can be trained normally in a limited storage space.
  • Each image can be adjusted to a resolution of 320*320 by adjusting the acquisition device 610, and then the acquisition device 610 is adjusted.
  • the adjusted image is written to the HDF5 file with the .h5 extension.
  • the time between the image acquisition time in the HDF5 file and the time array [0.0, 125.0, 250.0, 375.0, 500.0, 625.0, 750.0, 875.0, 1000.0] can be adjusted by the acquisition device 610 as the coordinated world time, and simultaneously written. Enter the image RGB data at that moment.
  • the GPS week and the intra-week second are converted into the coordinated world time by the data conversion device 620, and the positive east velocity value, the northward velocity value, the elevation value, and the angle value with the vertical direction among the extracted velocity values are converted into Gaussian projection, and the GPS data is obtained by the difference operation to obtain the curvature. Finally, the above-mentioned coordinated world time value, Gaussian projection value and curvature value are written into an HDF5 file.
  • the storage space occupied by 8 thousand image data is about 16 GB
  • the storage space occupied by HDF5 storing 100,000 image data is only 15 GB.
  • the image file stored in HDF5 format not only occupies storage. Smaller space and fewer files are stored, which is not only easy to edit and manage, but also has low network I/O overhead.
  • the data collected from the high-precision acquisition vehicle is image-transformed to obtain image data, and then the model construction device 630 constructs the data model by using the above-mentioned coordinated world time value, Gaussian projection value and curvature value to complete the modeling of the end-to-end data model.
  • the data model is an end-to-end data model that provides effective deep learning material for automated driving systems.
  • the present invention can be implemented in software and/or a combination of software and hardware.
  • the various devices of the present invention can be implemented using an application specific integrated circuit (ASIC) or any other similar hardware device.
  • the software program of the present invention may be executed by a processor to implement the steps or functions described above.
  • the software program (including related data structures) of the present invention can be stored in a computer readable recording medium such as a RAM memory, a magnetic or optical drive or a floppy disk and the like.
  • some of the steps or functions of the present invention may be implemented in hardware, for example, as a circuit that cooperates with a processor to perform various steps or functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种端到端自动驾驶系统的数据处理方法及装置，其中的方法包括：将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中本发明通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。

Description

一种端到端自动驾驶系统的数据处理方法及装置
本专利申请要求于2017年9月5日提交的、申请号为201710792451.7、申请人为百度在线网络技术(北京)有限公司、发明名称为“一种端到端自动驾驶系统的数据处理方法及装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本申请中。
技术领域
本发明涉及计算机领域，尤其涉及一种端到端自动驾驶系统的数据处理方法及装置。
背景技术
随着深度学习的迅速发展以及人工智能的深入研究，汽车工业发生了革命性的变化，通过端到端的深度学习实现自动驾驶便是自动驾驶领域的一个主要研究方向。在现有技术中，自动驾驶系统通常采用通过前方实时采集的图像、输出转向角和速度等数据建立的模型进行深度学习。采集的数据越多，则生成的模型越有利于深度学习。由于自动驾驶系统的前方实时采集的图像数量较多且难以存储在有限的存储空间中，从而限制了深度学习在自动驾驶领域的发展。
发明内容
本发明解决的技术问题之一是现有的自动驾驶系统的前方实时采集的图像数量较多且难以存储在有限的存储空间中。
根据本发明一方面的一个实施例，提供了一种端到端自动驾驶系统的数据处理方法，包括：
将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；
将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对 应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中。
根据本发明另一方面的一个实施例，提供了一种端到端自动驾驶系统的数据处理装置，包括：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置；
将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置。
由于本实施例将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了根据本发明一实施例中的端到端自动驾驶系统的数据处理方法的流程图。
图2示出了本发明的实施例一提出的端到端自动驾驶系统的数据处理方法的流程图。
图3示出了本发明的实施例二提出的端到端自动驾驶系统的数据处理方法的流程图。
图4示出了根据本发明一实施例中的端到端自动驾驶系统的数据处理装置的框图。
图5示出了本发明的实施例三提出的端到端自动驾驶系统的数据处理 装置的框图。
图6示出了本发明的实施例四提出的端到端自动驾驶系统的数据处理装置的框图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺 序来执行。
下面结合附图对本发明作进一步详细描述。
图1是根据本发明一个实施例的端到端自动驾驶系统的数据处理方法的流程图。
结合图1中所示，本实施例所述的端到端自动驾驶系统的数据处理方法包括如下步骤：
S110、将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；
S120、将预定导航系统的协调世界时间、从该预定导航系统提取的速度值对应的高斯投影以及从该预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中。
下面对各步骤做进一步详细介绍。
步骤S110中，首先将原始图像数据的分辨率按比例缩小，以保证数据模型能够在有限的存储空间中正常训练。在本实施例中包括但不限于将原始图像数据按照1/3的比例缩小，缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
可选的，在将缩小后的图像数据存储在HDF5文件中后，还可将该HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间，以满足时间的准确性。并且，还可将该图像采集时间对应时刻的图像RGB数据写入该HDF5文件。
步骤S120中，首先可以从高精采集车中输出的ieout数据中读取姿态数据，可读取的姿态数据包括但不限于GPS周、周内秒、速度值以及GPS数据。
其中，可将GPS周和周内秒转换为协调世界时间(UTC Time)，将提取的速度值中的正东向速度值、正北向速度值、高程(H-Ell)值和与竖直方向的夹角(Heading)值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间、高斯投影和曲率值写入HDF5文件 中。
可选的，本实施例还可根据上述经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
采用本实施例提出的技术方案，通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
实施例一
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
因此，本实施例提出了又一种端到端自动驾驶系统的数据处理方法，结合图2中所示，包括如下步骤：
S210、将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中。
将原始图像数据的分辨率按1/3的比例缩小，以保证数据模型能够在有限的存储空间中正常训练。缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
S220、将GPS标准时间转换为协调世界时间。
在读取GPS标准时间后可转换为协调世界时间，需要转换的内容包括GPS周和周内秒，如下表所示：
Figure PCTCN2018094494-appb-000001
由于GPS标准时间的基准是1980年1月6日0点与协调世界时刻相一致，以后按原子时秒长累积计时，因此将上述四组时间转换后的协调世界时间值如下表所示：
Figure PCTCN2018094494-appb-000002
S230、将提取的速度值转换为高斯投影。
其中，速度值可以包括正东向速度值、正北向速度值、高程值和与竖直方向的夹角值，具体数值如下表所示：
Figure PCTCN2018094494-appb-000003
将上述四组数据进行高斯投影可通过Python模块中的transform函数完成。采用Python模块进行高斯投影计算的基本原则为从经纬度坐标计算到投影坐标。高斯投影需要确定投影后的中央经度及投影椭球参数信息，由于Python模块基于脚本语言，因此在Python中实现高斯投影计算使用的是其提供的基本函数，即transform函数即可完成计算。
S240、通过差值运算获得GPS数据的曲率。
GPS数据的曲率可通过以下计算式计算获得：
Figure PCTCN2018094494-appb-000004
其中，x`表示y关于x的一阶导数，x``表示y关于x的二阶导数，x`表 示x关于y的一阶导数，x``表示x关于y的二阶导数。
S250、将协调世界时间值、高斯投影值和曲率值写入HDF5文件中。
上述计算获得四组协调世界时间值、高斯投影值和曲率值都可写入一个HDF5文件中，并且更多的姿态数据也都能写入一个HDF5文件中，能够显著减小姿态数据占用的存储空间，因此可以提高自动驾驶系统的深度学习效率。
实施例二
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，图像存储还会导致存储的文件过多，不利于编辑和管理，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
虽然可以通过压缩图像的方式减小占用的存储空间，但是当需要读取这些文件时，还需要额外的解压缩过程，难以提高深度学习的效率。因此，本实施例提出了一种端到端自动驾驶系统的数据处理方法，结合图3中所示，包括如下步骤：
S310、调整实时采集的原始图像。
原始图像的分辨率通常为960*640，保证数据模型能够在有限的存储空间中正常训练，可将每张图像调整为320*320的分辨率，然后再将调整后的图像写入以.h5为后缀名的HDF5文件中。
其中，可将HDF5文件中的图像采集时间与时间数组[0.0,125.0,250.0,375.0,500.0,625.0,750.0,875.0,1000.0]中间隔最近的时间作为协调世界时间，同时写入该时刻的图像RGB数据。
S320、将读取的姿态数据进行转换处理后写入HDF5文件中。
转换处理包括将GPS周和周内秒转换为协调世界时间，将提取的速度值中的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间值、高斯投影值和曲率值写入一个HDF5文件中。
当采用传统的ZIP方式压缩图像文件时，8千张图像数据占用的存储空 间约为16GB，而采用HDF5存储10万张图像数据占用的存储空间仅为15GB，采用HDF5格式存储的图像文件不仅占用存储空间较小，存储的文件数量较少，不仅利于编辑和管理，而且网络I/O开销也较低。
S330、构造数据模型。
从高精采集车采集的数据经过图像变换后获得图像数据，再将上述的协调世界时间值、高斯投影值以及曲率值构造数据模型，完成了端到端数据模型的建模。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
图4是根据本发明一个实施例的端到端自动驾驶系统的数据处理装置的框图。
结合图4中所示，本实施例所述的端到端自动驾驶系统的数据处理装置(以下简称“数据处理装置”)，包括如下装置：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置(以下简称“图像变换装置”)410；
用于将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置(以下简称“数据存储装置”)420。
下面对各装置做进一步详细介绍。
首先通过图像变换装置410将原始图像数据的分辨率按比例缩小，以保证数据模型能够在有限的存储空间中正常训练。在本实施例中包括但不限于通过图像变换装置410将原始图像数据按照1/3的比例缩小，缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
可选的，在将缩小后的图像数据存储在HDF5文件中后，还可通过图像变换装置410将该HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间，以满足时间的准确性。并且，还可通过图像变换装置410将该图像采集时间对应时刻的图像RGB数据写入该HDF5文件。
然后可以通过数据存储装置420从高精采集车中输出的ieout数据中读取姿态数据，可读取的姿态数据包括但不限于GPS周、周内秒、速度值以及GPS数据。
其中，可通过数据存储装置420将GPS周和周内秒转换为协调世界时间(UTC Time)，将提取的速度值中的正东向速度值、正北向速度值、高程(H-Ell)值和与竖直方向的夹角(Heading)值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后通过数据存储装置420将上述的协调世界时间、高斯投影和曲率值写入HDF5文件中。
可选的，本实施例还可通过模型构造装置根据上述经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
采用本实施例提出的技术方案，通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
实施例三
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
因此，本实施例提出了又一种端到端自动驾驶系统的数据处理装置，结合图5中所示，包括如下装置：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置(以下简称“变换存储装置”)510；
用于将GPS标准时间转换为协调世界时间的装置(以下简称“时间转换装置”)520；
用于将提取的速度值转换为高斯投影的装置(以下简称“投影转换装置”)530；
用于通过差值运算获得GPS数据的曲率的装置(以下简称“差值运算装置”)540；
用于将协调世界时间值、高斯投影值和曲率值写入HDF5文件中的装置(以下简称“数据写入装置”)550。
通过变换存储装置510将原始图像数据的分辨率按1/3的比例缩小，以保证数据模型能够在有限的存储空间中正常训练。缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
在通过时间转换装置520将读取的GPS标准时间转换为协调世界时间的过程中，需要转换的内容包括GPS周和周内秒，如下表所示：
Figure PCTCN2018094494-appb-000005
由于GPS标准时间的基准是1980年1月6日0点与协调世界时刻相一致，以后按原子时秒长累积计时，因此将上述四组时间转换后的协调世界时间值如下表所示：
Figure PCTCN2018094494-appb-000006
其中，速度值可以包括正东向速度值、正北向速度值、高程值和与竖直方向的夹角值，具体数值如下表所示：
Figure PCTCN2018094494-appb-000007
Figure PCTCN2018094494-appb-000008
将上述四组数据通过投影转换装置530进行高斯投影可通过Python模块中的transform函数完成。采用Python模块进行高斯投影计算的基本原则为从经纬度坐标计算到投影坐标。高斯投影需要确定投影后的中央经度及投影椭球参数信息，由于Python模块基于脚本语言，因此在Python中实现高斯投影计算使用的是其提供的基本函数，即transform函数即可完成计算。
GPS数据的曲率可由差值运算装置540通过以下计算式计算获得：
Figure PCTCN2018094494-appb-000009
其中，x`表示y关于x的一阶导数，x``表示y关于x的二阶导数，x`表示x关于y的一阶导数，x``表示x关于y的二阶导数。
上述计算获得四组协调世界时间值、高斯投影值和曲率值都可通过数据写入装置550写入一个HDF5文件中，并且更多的姿态数据也都能写入一个HDF5文件中，能够显著减小姿态数据占用的存储空间，因此可以提高自动驾驶系统的深度学习效率。
实施例四
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，图像存储还会导致存储的文件过多，不利于编辑和管理，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
虽然可以通过压缩图像的方式减小占用的存储空间，但是当需要读取这些文件时，还需要额外的解压缩过程，难以提高深度学习的效率。因此，本实施例提出了一种端到端自动驾驶系统的数据处理装置，结合图6中所示，包括如下装置：
用于调整实时采集的原始图像的装置(以下简称“调整采集装置”)610；
用于将读取的姿态数据进行转换处理后写入HDF5文件中的装置(以下简称“数据转换装置”)620；
用于构造数据模型的装置(以下简称“模型构造装置”)630。
原始图像的分辨率通常为960*640，保证数据模型能够在有限的存储空间中正常训练，可通过调整采集装置610将每张图像调整为320*320的分辨率，然后再通过调整采集装置610将调整后的图像写入以.h5为后缀名的HDF5文件中。
其中，可通过调整采集装置610将HDF5文件中的图像采集时间与时间数组[0.0,125.0,250.0,375.0,500.0,625.0,750.0,875.0,1000.0]中间隔最近的时间作为协调世界时间，同时写入该时刻的图像RGB数据。
通过数据转换装置620将GPS周和周内秒转换为协调世界时间，将提取的速度值中的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间值、高斯投影值和曲率值写入一个HDF5文件中。
当采用传统的ZIP方式压缩图像文件时，8千张图像数据占用的存储空间约为16GB，而采用HDF5存储10万张图像数据占用的存储空间仅为15GB，采用HDF5格式存储的图像文件不仅占用存储空间较小，存储的文件数量较少，不仅利于编辑和管理，而且网络I/O开销也较低。
从高精采集车采集的数据经过图像变换后获得图像数据，再通过模型构造装置630将上述的协调世界时间值、高斯投影值以及曲率值构造数据模型，完成了端到端数据模型的建模。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬 件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
虽然前面特别示出并且描述了示例性实施例，但是本领域技术人员将会理解的是，在不背离权利要求书的精神和范围的情况下，在其形式和细节方面可以有所变化。这里所寻求的保护在所附权利要求书中做了阐述。

Claims (17)

  1. 一种端到端自动驾驶系统的数据处理方法，包括：
    将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；
    将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中。
  2. 根据权利要求1所述的方法，将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的步骤包括：
    将所述HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间。
  3. 根据权利要求2所述的方法，将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的步骤还包括：
    将所述图像采集时间对应时刻的图像RGB数据写入所述HDF5文件。
  4. 根据权利要求1所述的方法，确定所述预定导航系统的协调世界时间的步骤包括：
    将所述预定导航系统的GPS周和周内秒转换为协调世界时间。
  5. 根据权利要求1所述的方法，确定所述预定导航系统提取的速度值对应的高斯投影的步骤包括：
    将从所述预定导航系统中提取的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影。
  6. 根据权利要求1所述的方法，确定所述预定导航系统提取的GPS数据对应的曲率值的步骤包括：
    将所述GPS数据通过差值运算获得曲率值。
  7. 根据权利要求1至6任意一项所述的方法，所述方法还包括：
    根据经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型。
  8. 一种端到端自动驾驶系统的数据处理装置，包括：
    用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置；
    用于将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置。
  9. 根据权利要求8所述的装置，在所述用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置中包括：
    用于将所述HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间的装置。
  10. 根据权利要求9所述的装置，在所述用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置中还包括：
    用于以预定的周期和分区规则对所述数据信息进行数据持久化处理的装置。
  11. 根据权利要求9所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置中包括：
    用于将所述预定导航系统的GPS周和周内秒转换为协调世界时间的装置。
  12. 根据权利要求9所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置还包括：
    用于将从所述预定导航系统中提取的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影的装置。
  13. 根据权利要求9所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置还包括：
    用于将所述GPS数据通过差值运算获得曲率值的装置。
  14. 根据权利要求8至13任意一项所述的装置，所述装置还包括：
    用于根据经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型的装置。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至7中任一项所述的方法被执行。
  16. 一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如权利要求1至7中任一项所述的方法被执行。
  17. 一种计算机设备，所述计算机设备包括：
    一个或多个处理器；
    存储器，用于存储一个或多个计算机程序；
    当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
PCT/CN2018/094494 2017-09-05 2018-07-04 一种端到端自动驾驶系统的数据处理方法及装置 Ceased WO2019047607A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710792451.7 2017-09-05
CN201710792451.7A CN107808360B (zh) 2017-09-05 2017-09-05 一种端到端自动驾驶系统的数据处理方法及装置

Publications (1)

Publication Number Publication Date
WO2019047607A1 true WO2019047607A1 (zh) 2019-03-14

Family

ID=61569865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/094494 Ceased WO2019047607A1 (zh) 2017-09-05 2018-07-04 一种端到端自动驾驶系统的数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN107808360B (zh)
WO (1) WO2019047607A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808360B (zh) * 2017-09-05 2020-08-04 百度在线网络技术（北京）有限公司 一种端到端自动驾驶系统的数据处理方法及装置
CN108897313A (zh) * 2018-05-23 2018-11-27 清华大学 一种分层式端到端车辆自动驾驶系统构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016108A1 (en) * 2006-07-17 2008-01-17 The Mathworks, Inc. Storing and loading data in an array-based computing environment
CN107010063A (zh) * 2015-10-21 2017-08-04 福特全球技术公司 基于感知的速度限制估算和学习
CN107808360A (zh) * 2017-09-05 2018-03-16 百度在线网络技术（北京）有限公司 一种端到端自动驾驶系统的数据处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959343B (zh) * 2005-10-31 2011-02-16 北京师范大学 机载多角度成像测高技术
CN105718859B (zh) * 2016-01-15 2019-05-03 武汉光庭科技有限公司 自动驾驶中一种结合图形处理器进行限速牌检测的方法
CN106060382A (zh) * 2016-05-27 2016-10-26 北京金山安全软件有限公司 一种图像处理方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016108A1 (en) * 2006-07-17 2008-01-17 The Mathworks, Inc. Storing and loading data in an array-based computing environment
CN107010063A (zh) * 2015-10-21 2017-08-04 福特全球技术公司 基于感知的速度限制估算和学习
CN107808360A (zh) * 2017-09-05 2018-03-16 百度在线网络技术（北京）有限公司 一种端到端自动驾驶系统的数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEN, WEICHAO ET AL.: "HDF5 Performance Optimization for Numerical Simulation Data", JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT, 15 February 2012 (2012-02-15), pages 314 - 318, ISSN: 1000-1239 *

Also Published As

Publication number Publication date
CN107808360B (zh) 2020-08-04
CN107808360A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN110160502B (zh) 地图要素提取方法、装置及服务器
Li et al. Camera localization for augmented reality and indoor positioning: a vision-based 3D feature database approach
CN112307940A (zh) 模型训练方法、人体姿态检测方法、装置、设备及介质
CN103875024B (zh) 摄影机导航系统及方法
CN113077516B (zh) 一种位姿确定方法及相关设备
CN114281885B (zh) 一种支持场景仿真的机动对象移动轨迹构建方法及系统
CN111829532A (zh) 一种飞行器重定位系统和重定位方法
AU2020375559A1 (en) Systems and methods for generating annotations of structured, static objects in aerial imagery using geometric transfer learning and probabilistic localization
CN114419155B (zh) 一种基于激光雷达辅助的视觉建图方法
CN112686953B (zh) 基于逆深度参数的视觉定位方法、装置、电子设备
CN111829535A (zh) 生成离线地图的方法、装置、电子设备和存储介质
WO2014026021A1 (en) Systems and methods for image-based searching
CN115578433A (zh) 图像处理方法、装置、电子设备及存储介质
CN114565768A (zh) 图像分割方法及装置
CN111914595A (zh) 一种基于彩色图像的人手三维姿态估计方法和装置
CN116051832A (zh) 车辆的三维标注方法和装置
CN114119973A (zh) 一种基于图像语义分割网络的空间距离预测方法及系统
WO2023101662A1 (en) Methods and systems for implementing visual-inertial odometry based on parallel simd processing
CN112162561A (zh) 一种地图构建优化方法、装置、介质及设备
CN107808360B (zh) 一种端到端自动驾驶系统的数据处理方法及装置
CN112668464A (zh) 一种融合场景匹配的中文手语翻译模型构建方法及装置
CN104318540B (zh) 一种利用cpu与gpu协同的航空影像在线拼接方法
Liu et al. Unsupervised depth estimation for ship target based on single view UAV image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18854482

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05.08.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18854482

Country of ref document: EP

Kind code of ref document: A1