WO2021057344A1

WO2021057344A1 - 一种数据呈现的方法及终端设备

Info

Publication number: WO2021057344A1
Application number: PCT/CN2020/110135
Authority: WO
Inventors: 胡月; 孙喆; 曾侃; 董明杰
Original assignee: 华为技术有限公司
Priority date: 2019-09-25
Filing date: 2020-08-20
Publication date: 2021-04-01
Also published as: CN110789533A; US20220215639A1; EP4029750A4; CN110789533B; EP4029750A1

Abstract

本申请公开了一种数据呈现的方法，该方法应用于自动驾驶技术领域。该方法包括：获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息；根据自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息确定与自动驾驶装置相关的第一点云数据，以及确定第一点云数据的呈现方式，第一点云数据为通过多个点的形式表示的数据；以呈现方式呈现第一点云数据。本申请实施例可以根据驾驶信息或/和用户需求信息自适应呈现与自动驾驶装置相关的点云数据，不需要呈现全部的数据，降低了数据处理的复杂度。

Description

一种数据呈现的方法及终端设备

本申请要求于2019年9月25日提交中国专利局、申请号为201910916213.1、发明名称为“一种数据呈现的方法及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种数据呈现的方法及终端设备。

背景技术

自动驾驶汽车设置有感知系统，会感知所处的环境，也会在车载终端上显示感知系统所感知到的信息。

目前能自动驾驶对于周围环境的感知主要有激光雷达、三角测距、结构光、立体视觉等方式。以激光雷达为例，激光雷达采用非接触、主动测量的方式直接获取被扫描地面和物体的三维表面数据，受外界环境影响很小，具有分辨率高、抗干扰能力强以及测距精度高等优点，能够用来精准地建立场景的三维点云图，并进一步进行场景中的目标识别，以检测障碍物，为无人驾驶汽车的感知系统提供了极为丰富的环境信息。

车载终端会对激光雷达所采集到的所有信息进行处理并在车载终端上呈现，这无疑存在着较大的计算开销。

发明内容

本申请实施例提供一种数据呈现的方法，可以根据驾驶信息或/和用户需求信息自适应呈现与自动驾驶装置相关的点云数据。

本申请第一方面提供一种数据呈现的方法，可以包括：获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息；根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式，所述第一点云数据为通过多个点的形式表示的数据；以所述呈现方式呈现所述第一点云数据。

该第一方面中，获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息可以描述为获取自动驾驶装置的行驶信息和用户对数据呈现的需求信息中的至少一种。对应地，根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式，可以描述为根据所述自动驾驶装置的行驶信息和所述用户对数据呈现的需求信息中的至少一种确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式。自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息包含三种情况，分别为：A：自动驾驶装置的行驶信息；B：用户对数据呈现的需求信息；C：自动驾驶装置的行驶信息和用户对数据呈现的需求信息。若获取步骤中获取了自动驾驶装置的行驶信息，则确定第一点云数据时就根据自动驾驶装置的行驶信息确定第一点云数据；若获取步骤中获取了用户对数据呈现的需求信息，则确定第一点云数据时就根据用户对数据呈现的需求信息确定第一点云数据；若获取步骤中获取了自动驾驶装置的行驶信息和用户对数据呈现的需求信息，则确定第一点云数据时就根据自动驾驶装置的行驶信息和用户对数据呈现的需求信息确定第一点云数据。同理，确定第一点云数据的呈现方式也是如此。该第一方面中，可以根据驾驶信息或/和用户需求信息自适应呈现与自动驾驶装置相关的点云数据，不需要呈现全部的数据，降低了数据处理的复杂度。

在第一方面一种可能的实现方式中，该方法还可以包括：

从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

上述步骤：根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，可以包括：

根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息对所述第一数据和所述第一环境数据做筛选，以得到待呈现的所述自动驾驶装置的第二数据以及所述自动驾驶装置周围的第二环境数据；

将所述第二数据和所述第二环境数据转换为第一点云数据。

该种可能的实现方式中，数据采集装置可以是激光雷达、三角测距传感器、结构光传感器、立体视觉传感器中的一种或者是两种或多种的结合。第一数据指的是自动驾驶装置自身的数据，以自动驾驶装置是汽车为例，该第一数据可以是汽车的车体数据或车内的场景数据等。第一环境数据可以是自动驾驶装置周围的路面数据、其他车辆数据、行人数据或者建筑物数据等。该种可能的实现方式中，对采集到的数据先做筛选，可以减少转换为点云数据的数据量，从而降低了数据的计算量。

在第一方面一种可能的实现方式中，该方法还可以包括：

将所述第一数据和所述第一环境数据转换为第二点云数据；

根据所述自动驾驶装置的行驶信息和所述用户对数据呈现的需求信息对所述第二点云数据做筛选，以得到待呈现的第一点云数据。

该种可能的实现方式相对于上一种可能的实现方式只是云数据转换的时机不同，其他内容都可以参阅上一种可能的实现方式进行理解。

在第一方面一种可能的实现方式中，所述行驶信息包括以下至少一项：行驶位置、行驶速度、所述自动驾驶装置所处的车道、天气信息或环境光信息；

所述用户对数据呈现的需求信息包括以下至少一项：呈现视角、呈现时的结合对象或操作指令；

所述呈现方式的信息中包括点云的密度，或者点云的密度与以下信息中至少一项的组合：点云的大小、点云中需要呈现的对象、点云的颜色或叠加预警信息。

在第一方面一种可能的实现方式中，当所述行驶信息包括所述行驶位置时，上述步骤：确定所述第一点云数据的呈现方式，可以包括：

根据所述行驶位置确定所述自动驾驶装置所处的场景，所述场景包括高速公路、城市街道、郊区、山路或沙漠；

根据所述自动驾驶装置所处的场景确定所述第一点云数据的呈现方式；

对应地，所述以所述呈现方式呈现所述第一点云数据，可以包括：

按照所述自动驾驶装置所处的场景以不同的密度呈现所述第一点云数据，所述城市街道对应的点云的密度大于所述高速公路、所述郊区、所述山路或所述沙漠对应的点云的密度。

该种可能的实现方式中，以不同的密度呈现的点云数据可以根据密度的情况称为低密度点云或高密度点云，当然不限于这两种，针对点云还可以有更多的称呼。低密度点云与高密度点云是相对的，低密度点云中点云的点数量较少，点与点之前的间距也较大，也可以称为稀疏点云。高密度点云中点云的点数量较多，比较密集，也可以称为密集点云。采用不同密度的点云呈现不同场景的数据在满足安全性需要的前提下，可以尽量减少数据处理的复杂度。

在第一方面一种可能的实现方式中，当所述行驶信息包括所述行驶速度时，上述步骤：确定所述第一点云数据的呈现方式，可以包括：

根据所述自动驾驶装置的行驶速度确定所述第一点云数据的呈现方式；

当所述行驶速度低于速度阈值时，采用第一密度呈现所述第一点云数据，当所述行驶速度高于所述速度阈值时，采用第二密度呈现所述第一点云数据，所述第一密度大于所述第二密度。

该种可能的实现方式中，速度阈值可以是一个也可以是多个，以多个为例，可以设置多个档位的速度阈值，不同档位的速度阈值对应的点云密度不同，例如：30km/h是第一档位，50km/h是第二档位，90km/h是第三档位，当速度是在30km/h以下时采用较高密度的点云形式呈现点云数据。当速度在30km/h至50km/h时，采用中等密度的点云形式呈现点云数据。当速度在50km/h至90km/h时，采用低密度的点云形式呈现点云数据。当速度是在90km/h以上时采用更低密度的点云形式呈现点云数据。上述不同档位对应的点云数据的密度越来越小。该种可能的实现方式根据行驶速度不同而采用不同的点云呈现方式，在保证安全性减少计算量的同时，还提升了用户的用车体验。

在第一方面一种可能的实现方式中，当所述用户对数据呈现的需求信息包括所述呈现视角时，上述步骤：确定所述第一点云数据的呈现方式，可以包括：

根据所述呈现视角确定所述第一点云数据的呈现方式，所述呈现视角包括上帝视角或驾驶员视角；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

当所述呈现视角为上帝视角时，从所述上帝视角呈现所述第一点云数据；

当所述呈现视角为驾驶员视角时，从所述驾驶员视角呈现所述第一点云数据。

该种可能的实现方式中，针对用户选择的视角不同，来描述点云呈现方式。上帝视角可以更全面的显示整体的信息。驾驶员视角可以更符合驾驶员的直观感受。不同的视角的呈现方式不同，可以适配不同用户的不同显示习惯。

在第一方面一种可能的实现方式中，当所述用户对数据呈现的需求信息包括所述呈现时的结合对象时，上述步骤：确定所述第一点云数据的呈现方式，可以包括：

根据所述呈现时的结合对象确定所述第一点云数据的呈现方式，所述呈现时的结合对象包括高精度地图、平视显示器(head up display，HUD)或增强现实(augmented reality，AR)；

当所述呈现时的结合对象为高精度地图时，将所述第一点云数据结合到所述高精度地图中呈现；

当所述呈现时的结合对象为HUD时，将所述第一点云数据投影到所述自动驾驶装置的风挡玻璃上的第一区域呈现，所述第一区域的面积小于所述风挡玻璃的面积；

当所述呈现时的结合对象为AR时，将所述第一点云数据投影到所述自动驾驶装置的整块风挡玻璃上呈现。

该种可能的实现方式中，在点云数据呈现时可以结合高精度地图、HUD或者AR场景进行呈现，增加了点云呈现的灵活性。

在第一方面一种可能的实现方式中，当所述用户对数据呈现的需求信息包括所述操作指令时，所述确定所述第一点云数据的呈现方式，包括：

根据所述操作指令确定所述第一点云数据的呈现方式，所述操作指令包括转向、变道或倒车，所述呈现方式包括叠加预警信息；

呈现叠加有所述操作指令对应的预警信息的所述第一点云数据。

该种可能的实现方式中，预警信息可以通过颜色，如红色预警，也可以通过声音报警。

该种可能的实现方式中，在转向、变道或倒车等不同操作指令下，可以通过不同的方式进行报警提示，提高点云呈现对自动驾驶的辅助作用，进一步提升驾驶的安全性。

本申请第二方面提供一种终端设备，该终端设备具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，例如：接收单元、处理单元和发送单元。

本申请第三方面提供一种终端设备，该终端设备包括至少一个处理器、存储器、通信端口、显示器以及存储在存储器中并可在处理器上运行的计算机执行指令，当所述计算机执行指令被所述处理器执行时，所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。该终端设备可以是车载设备，该车载设备可以预置在车体上，可以与车是一体的，或可插拔的，或通过其它方式与车体连接。

本申请第四方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当所述计算机执行指令被处理器执行时，所述处理器执行如上述第一方面或第一方面任意一种可能的实现方式所述的方法。

本申请第五方面提供一种存储一个或多个计算机执行指令的计算机程序产品(或称计算机程序)，当所述计算机执行指令被所述处理器执行时，所述处理器执行上述第一方面或第一方面任意一种可能实现方式的方法。

本申请第六方面提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中，芯片系统还可以包括存储器，存储器，用于保存终端设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

其中，第二至第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。

本申请实施例可以根据驾驶信息或/和用户需求信息自适应呈现与自动驾驶装置相关的点云数据，不需要呈现全部的数据，降低了数据处理的复杂度。

附图说明

图1是本申请实施例提供的具有自动驾驶功能的自动驾驶装置的功能框图；

图2是本申请实施例提供的一种自动驾驶系统的结构示意图；

图3是本申请实施例提供的自动驾驶系统的一实施例示意图；

图4是本申请实施例提供的点云数据呈现的一界面图；

图5是本申请实施例提供的数据呈现的方法的一实施例示意图；

图6是本申请实施例提供的激光雷达的数据转换的一示意图；

图7是本申请实施例提供的点云数据呈现的另一界面图；

图8是本申请实施例提供的点云数据呈现的另一界面图；

图9A至9C分别是本申请实施例提供的点云数据呈现的另一界面图；

图10是本申请实施例提供的驾驶员视角的一界面示意图；

图11是本申请实施例提供的点云数据呈现的另一界面图；

图12是本申请实施例提供的点云数据呈现的另一界面图；

图13是本申请实施例提供的终端设备的一实施例示意图；

图14是本申请实施例提供的终端设备的另一实施例示意图。

具体实施方式

下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种数据呈现的方法，可以根据驾驶信息或/和用户需求信息自适应呈现与车辆相关的点云数据，降低了计算量。以下分别进行详细说明。

随着互联网以及定位技术的发展，自动驾驶技术也得到了快速的发展。自动驾驶装置可以称为智能装置，例如：自动驾驶车辆也称智能汽车。智能汽车可以基于车联网(internet of vehicle，IOV)实现自动驾驶。车联网是指车与车、车与路、车与人、车与传感设备等交互，从而实现车辆与公众网络通信的动态移动通信系统。它可以通过车与车、车与人、车与路互联互通实现信息共享，收集车辆、道路和环境的信息，并在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，根据不同的功能需求对车辆进行有效的引导与监管，以及提供专业的多媒体与移动互联网应用服务。

下面结合图1和图2对自动驾驶装置进行介绍。

图1是本申请实施例提供的具有自动驾驶功能的自动驾驶装置100的功能框图。在一个实施例中，将自动驾驶装置100配置为完全或部分地自动驾驶模式。例如，自动驾驶装置100可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定自动驾驶装置及其周边环境的当前状态，确定周边环境中的至少一个其他自动驾驶装置的可能行为，并确定该其他自动驾驶装置执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制自动驾驶装置100。在自动驾驶装置100处于自动驾驶模式中时，可以将自动驾驶装置100置为在没有和人交互的情况下操作。

自动驾驶装置100可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地，自动驾驶装置100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，自动驾驶装置100的每个子系统和元件可以通过有线或者无线互连。

行进系统102可包括为自动驾驶装置100提供动力运动的组件。在一个实施例中，行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如气油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。

能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为自动驾驶装置100的其他系统提供能量。

传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。

传感器系统104可包括感测关于自动驾驶装置100周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是全球定位系统(global positioning system，GPS)系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括被监视自动驾驶装置100的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主自动驾驶装置100的安全操作的关键功能。

定位系统122可用于估计自动驾驶装置100的地理位置。IMU 124用于基于惯性加速度来感测自动驾驶装置100的位置和朝向变化。在一个实施例中，IMU 124可以是加速度计和陀螺仪的组合。

雷达126可利用无线电信号来感测自动驾驶装置100的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达126还可用于感测物体的速度和/或前进方向。

激光测距仪128可利用激光来感测自动驾驶装置100所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。

相机130可用于捕捉自动驾驶装置100的周边环境的多个图像。相机130可以是静态相机或视频相机。

控制系统106为控制自动驾驶装置100及其组件的操作。控制系统106可包括各种元件，其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物规避系统144。

转向系统132可操作来调整自动驾驶装置100的前进方向。例如在一个实施例中可以为方向盘系统。

油门134用于控制引擎118的操作速度并进而控制自动驾驶装置100的速度。

制动单元136用于控制自动驾驶装置100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制自动驾驶装置100的速度。

计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别自动驾驶装置100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(structure from motion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。

路线控制系统142用于确定自动驾驶装置100的行驶路线。在一些实施例中，路线控制系统142可结合来自传感器138、定位系统122和一个或多个预定地图的数据以为自动驾驶装置100确定行驶路线。

障碍物规避系统144用于识别、评估和避免或者以其他方式越过自动驾驶装置100的环境中的潜在障碍物。

当然，在一个实例中，控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。

自动驾驶装置100通过外围设备108与外部传感器、其他自动驾驶装置、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。

在一些实施例中，外围设备108提供自动驾驶装置100的用户与用户接口116交互的手段。例如，车载电脑148可向自动驾驶装置100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中，外围设备108可提供用于自动驾驶装置100与位于车内的其它设备通信的手段。例如，麦克风150可从自动驾驶装置100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可向自动驾驶装置100的用户输出音频。

无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统146可使用3G蜂窝通信，例如码分多址(code division multiple access，CDMA)、EVD0、全球移动通信系统(global system for mobile communications，GSM)/是通用分组无线服务技术(general packet radio service，GPRS)，或者4G蜂窝通信，例如长期演进(long term evolution，LTE)，或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种自动驾驶装置通信系统，例如，无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括自动驾驶装置和/或路边台站之间的公共和/或私有数据通信。

电源110可向自动驾驶装置100的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为自动驾驶装置100的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。

自动驾驶装置100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113，处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制自动驾驶装置100的个体组件或子系统的多个计算设备。

处理器113可以是任何常规的处理器，诸如商业可获得的中央处理器(central processing unit，CPU)。替选地，该处理器可以是诸如专用集成电路(application specific integrated circuits,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机110的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机110的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。

在此处所描述的各个方面中，处理器可以位于远离该自动驾驶装置并且与该自动驾驶装置进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于自动驾驶装置内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。

在一些实施例中，存储器114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行自动驾驶装置100的各种功能，包括以上描述的那些功能。存储器114也可包含额外的指令，包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。

除了指令115以外，存储器114还可存储数据，例如道路地图、路线信息，自动驾驶装置的位置、方向、速度以及其它这样的自动驾驶装置数据，以及其他信息。这种信息可在自动驾驶装置100在自主、半自主和/或手动模式中操作期间被自动驾驶装置100和计算机系统112使用。

用户接口116，用于向自动驾驶装置100的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、车车载电脑148、麦克风150和扬声器152。

计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制自动驾驶装置100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物规避系统144检测到的障碍物。在一些实施例中，计算机系统112可操作来对自动驾驶装置100及其子系统的许多方面提供控制。

可选地，上述这些组件中的一个或多个可与自动驾驶装置100分开安装或关联。例如，存储器114可以部分或完全地与自动驾驶装置100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。

可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。

在道路行进的自动驾驶汽车，如上面的自动驾驶装置100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它自动驾驶装置、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与自动驾驶装置的间距等，可以用来确定自动驾驶汽车所要调整的速度。

可选地，自动驾驶汽车自动驾驶装置100或者与自动驾驶装置100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、存储器114)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。自动驾驶装置100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定自动驾驶装置将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定自动驾驶装置100的速度，诸如，自动驾驶装置100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。

除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改自动驾驶装置100的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。

上述自动驾驶装置100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场自动驾驶装置、施工设备、电车、高尔夫球车、火车和手推车等，本申请实施例不做特别的限定。

图1介绍了自动驾驶装置100的功能框图，下面介绍自动驾驶装置100中的自动驾驶系统。图2为本申请实施例提供的一种自动驾驶系统的结构示意图。图1和图2是从不同的角度来描述自动驾驶装置100，例如图2中的计算机系统101为图1中的计算机系统112。

如图2所示，计算机系统101包括处理器103，处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器，其中，每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)107，显示适配器107可以驱动显示器109，显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出(I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信，比如输入设备117(如：键盘，鼠标，触摸屏等)，多媒体盘(media tray)121，例如CD-ROM，多媒体接口等。收发器123(可以发送和/或接受无线电通信信号)，摄像头155(可以捕捉景田和动态数字视频图像)和外部USB接口125。可选的，和I/O接口115相连接的接口可以是USB接口。

其中，处理器103可以是任何传统处理器，包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选的，处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选的，处理器103可以是神经网络处理器(neural-network processing unit，NPU)或者是神经网络处理器和上述传统处理器的组合。可选的,处理器103挂载有一个神经网络处理器。

计算机系统101可以通过网络接口129和软件部署服务器149通信。网络接口129是硬件网络接口，比如，网卡。网络127可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(VPN)。可选的，网络127还可以是无线网络，比如WiFi网络，蜂窝网络等。

硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括计算机系统101的操作系统137和应用程序143。

操作系统包括壳(Shell)139和内核(kernel)141。壳139是介于使用者和操作系统之内核(kernel)间的一个接口。壳139是操作系统最外面的一层。壳139管理使用者与操作系统之间的交互：等待使用者的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。

内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、IO管理等等。

应用程序141包括自动驾驶相关程序，比如，管理自动驾驶装置和路上障碍物交互的程序，控制自动驾驶装置的行车路线或者速度的程序，控制自动驾驶装置100和路上其他自动驾驶装置交互的程序。应用程序141也存在于软件部署服务器(deploying server)149的系统上。在一个实施例中，在需要执行应用程序141时，计算机系统101可以从软件部署服务器149下载应用程序141。

传感器153和计算机系统101关联。传感器153用于探测计算机系统101周围的环境。举例来说，传感器153可以探测动物，汽车，障碍物和人行横道等，进一步传感器还可以探测上述动物，汽车，障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选的，如果计算机系统101位于自动驾驶装置上，传感器可以是摄像头，红外线感应器，化学检测器，麦克风等。传感器153在激活时按照预设间隔感测信息并实时或接近实时地将所感测的信息提供给计算机系统101。

计算机系统101，用于根据传感器153采集的传感器数据，确定自动驾驶装置100的行驶状态，以及根据该行驶状态和当前的驾驶任务确定自动驾驶转置100所需执行的驾驶操作，并向控制系统106(图1)发送该驾驶操作对应的控制指令。自动驾驶装置100的行驶状态可以包括自动驾驶装置100自身的行驶状况，例如车头方向、速度、位置、加速度等，也包括自动驾驶装置100周边环境的状态，例如障碍物的位置、其他车辆的位置和速度、人行横道的位置、交通灯的信号等。计算机系统101可以包括由处理器103实现的任务抽象网络和共享策略网络。具体的，处理器103确定当前的自动驾驶任务；处理器103将该自动驾驶任务的至少一组历史路径输入到任务抽象网络做特征提取，得到表征该自动驾驶任务的特征的任务特征向量；处理器103根据传感器153采集的传感器数据，确定表征自动驾驶装置的当前行驶状态的状态向量；处理器103将该任务特征向量和该状态向量输入到共享策略网络做处理，得到该自动驾驶装置当前所需执行的驾驶操作；处理器103通过控制系统执行该驾驶操作；处理器103重复之前确定和执行驾驶操作的步骤，直到完成该自动驾驶任务。

可选的，在本文所述的各种实施例中，计算机系统101可位于远离自动驾驶装置的地方，并且可与自动驾驶装置进行无线通信。收发器123可将自动驾驶任务、传感器153采集的传感器数据和其他数据发送给计算机系统101；还可以接收计算机系统101发送的控制指令。自动驾驶装置可执行收发器接收的来自计算机系统101的控制指令，并执行相应的驾驶操作。在其它方面，本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行，其它由远程处理器执行，包括采取执行单个操纵所需的动作。

自动驾驶装置在自动驾驶过程中会涉及到大量数据处理的过程，数据处理的过程通常需要云服务器来完成，自动驾驶过程中也需要参考路端交通系统中设备的指示来行驶。可见，自动驾驶装置需要依赖例如图3所示的自动驾驶系统才能实现自动驾驶。如3所示的自动驾驶系统中，云服务器与自动驾驶车辆通过网络通信，自动驾驶车辆与路端交通系统通信。在自动驾驶过程中，自动驾驶车辆上的数据采集装置采集周围环境信息(例如：路端交通信息中的红灯信息、周围其他车辆的信息等)以及车辆自身的信息上报给云服务器，云服务器对上报的数据进行处理后，向自动驾驶车辆发出行驶指示信息。

为了保障自动驾驶的安全性，自动驾驶装置上还可以通过人机交互界面向用户呈现该总动驾驶装置周围环境的情况。本申请实施例提供了一种数据呈现的方法，可以根据驾驶信息或/和用户需求信息自适应呈现与自动驾驶装置相关的点云数据。自动驾驶车辆在自动驾驶过程中呈现的点云数据的示例可以参阅图4进行立即。用于呈现点云数据的设备可以是自动驾驶装置上的终端设备，例如汽车上的车载终端、飞机上的机载终端。

如图5，本申请实施例提供的数据呈现的方法的一实施例可以包括：

201、获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息。

自动驾驶装置的行驶信息可以包括以下至少一项：行驶位置、行驶速度、所述自动驾驶装置所处的车道、天气信息或环境光信息。

用户对数据呈现的需求信息可以包括以下至少一项：呈现视角、呈现时的结合对象或操作指令。

202、根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式。

所述第一点云数据为通过多个点的形式表示的数据。

203、以所述呈现方式呈现所述第一点云数据。

本申请实施例中，自动驾驶装置在自动驾驶时会根据行驶信息和/或用户对数据呈现的需求信息自适应呈现相应的点云数据，不会将检测到的所有数据都呈现出来，降低了数据处理和数据呈现的复杂度。

上述步骤201之前或之后，该方法还包括：从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据。

数据采集装置可以是激光雷达、三角测距传感器、结构光传感器、立体视觉传感器中的一种或者是两种或多种的结合。

其中，激光雷达是通过发射激光脉冲并测量激光传输时间计算传感器到目标表面的距离，其作用距离可达数公里。典型的激光雷达又分为扫描式与面阵式激光雷达两类。

三角测距传感器是通过激光发射器将一束激光发射到物体表面上，并采用相机记录光斑的位置，通过解算激光发射器、光斑以及相机三者构成的三角形，可以获得物体表面上光斑的三维坐标。

结构光传感器是将一个具有固定模式的光斑投影到物体表面，通过测量光斑模式的形变从而解算出表面点的位置信息。

立体视觉传感器是采用两个或更多相机获取同一个物体的二维图像，通过寻找两幅图像间的对应点解算出其空间坐标。

第一数据指的是自动驾驶装置自身的数据，以自动驾驶装置是汽车为例，该第一数据可以是汽车的车体数据或车内的场景数据等。第一环境数据可以是自动驾驶装置周围的路面数据、其他车辆数据、行人数据或者建筑物数据等。

本申请实施例中会结合自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息做筛选，该筛选可以是在采集到的数据还未转换为云数据之前就做筛选，也可以是在采集到的数据都转换为云数据之后再做筛选，下面分别进行介绍。

1、采集到的数据还未转换为云数据之前就做筛选。

上述步骤202可以包括：

将所述第二数据和所述第二环境数据转换为第一点云数据。

该种实施例中，对采集到的数据先做筛选，可以减少转换为点云数据的数据量，从而降低了数据的计算量。

2、采集到的数据都转换为云数据之后再做筛选。

上述步骤202可以包括：

将所述第一数据和所述第一环境数据转换为第二点云数据；

无论是上述先筛选还是后筛选的方式，点云数据的转换过程都是相同的，下面对将采集到的数据转换为点云数据的过程进行介绍。

以激光雷达为例，激光坐标系如图6所示，X轴过激光雷达的中心点指向正前方，Y轴过中心点水平沿着激光雷达平面与轴垂直，Z轴过中心点与X,Y轴所形成的平面垂直。经过激光雷达处理，直接获得每个激光点到对应激光器的距离S、水平方向角度δ、竖直方向角度β以及反射强度等信息。根据角度δ、β和距离S，可以计算出每个激光点的坐标(x,y,z)，从而完成从一个采集到的数据到一个点云数据的转换。

本申请实施例中，在确定第一点云数据的呈现方式时可以通过行驶信息来确定，也可以通过用户对数据呈现的需求信息来确定，下面分别进行介绍。

1、当所述行驶信息包括所述行驶位置时，所述确定所述第一点云数据的呈现方式，可以包括：

该实施例中，以自动驾驶装置是自动驾驶车辆为例，可以结合行驶位置和定位技术确定出自动驾驶车辆所处的场景，这样就可以结合不同的场景做不同的呈现。以不同的密度呈现的点云数据可以根据密度的情况称为低密度点云或高密度点云，当然不限于这两种，针对点云还可以有更多的称呼。

例如：高速公路场景，因为路线相对固定且一般高速公路没有穿梭的行人，主要是车辆和车道信息，高速公路两边的房屋树木对驾驶不会产生影响，所以不需要精确显示高速公路两边的景物，为了减少高速行进的车辆对于周边信息采集的复杂度，其他的车辆信息也可以采用低密度点云进行呈现。低密度点云的呈现形式可以结合图7进行理解。

在城市街道，尤其是市内拥堵行车场景，由于人流穿梭，需要将本车辆相关的一些运动的行人呈现出来，并且在该场景下，信息越细腻越有利于驾驶安全，因此可采用高密度点云呈现。高密度点云的呈现形式可以结合图8进行理解。

低密度点云与高密度点云是相对的，低密度点云中点云的点数量较少，点与点之前的间距也较大，也可以称为稀疏点云。高密度点云中点云的点数量较多，比较密集，也可以称为密集点云。

其他场景中，例如：郊区、山路或沙漠场景都可以参阅高速公路的场景，采用低密度点云的方式呈现各场景的点云数据。由此可见，该实施例中，采用不同密度的点云呈现不同场景的点云数据在满足安全性需要的前提下，可以尽量减少数据处理的复杂度。

2、当所述行驶信息包括所述行驶速度时，所述确定所述第一点云数据的呈现方式，可以包括：

当所述行驶速度低于速度阈值时，采用第一密度呈现所述第一点云数据，当所述行驶速度高于所述速度阈值时，采用第二密度呈现所述第一点云数据，所述第一密度小于所述第二密度。

该实施例中，在车辆启动阶段，因为车辆还没开始行驶，没有安全提示的必要，因此点云信息可以不做呈现，如图9A所示。随着车辆启动后的加速，点云数据开始呈现，在行驶速度较小时车辆变动的不快，车辆自动行驶涉及到的计算量小，对周围的情况精确显示也不会影响安全，但速度较大时，因为车辆变动较快，车辆自动行驶涉及到的计算量较大，如果再对周围的情况精确显示可能会影响到安全。所以在速度阈值以下，例如速度阈值为30km/h，则如图9B所示，在行驶速度在30km/h以下时采用高密度点云对周边事物以及动态情况进行呈现。当行驶速度越来越快，则如图9C所示，超过30km/h时，则可以采用低密度点云对周边事物以及动态情况进行呈现。

当然，此处也不限于只有一个速度阈值，可以设置多个档位的速度阈值，不同档位的速度阈值对应的点云密度不同，例如：30km/h是第一档位，50km/h是第二档位，90km/h是第三档位，当速度是在30km/h以下时采用较高密度的点云形式呈现点云数据。当速度在30km/h至50km/h时，采用中等密度的点云形式呈现点云数据。当速度在50km/h至90km/h时，采用低密度的点云形式呈现点云数据。当速度是在90km/h以上时采用更低密度的点云形式呈现点云数据。上述不同档位对应的点云数据的密度越来越小。

本实施例根据行驶速度不同而采用不同的点云呈现方式，在保证安全性减少计算量的同时，还提升了用户的用车体验。

3、当所述用户对数据呈现的需求信息包括所述呈现视角时，所述确定所述第一点云数据的呈现方式，可以包括：

该实施例中，针对用户选择的视角不同，来描述点云呈现方式。图9A至图9C都是从上帝视角给出的呈现方式。上帝视角可以更全面的显示整体的信息。在实际生活中，有些用户更适应驾驶员视角的呈现。如图10所示，从驾驶员视角所呈现的点云数据。

本申请实施例中，不同的视角的呈现方式不同，可以适配不同用户的不同显示习惯。

4、当所述用户对数据呈现的需求信息包括所述呈现时的结合对象时，所述确定所述第一点云数据的呈现方式，可以包括：

该实施例中，在点云数据呈现时可以结合高精度地图、HUD或者AR场景进行呈现，增加了点云呈现的灵活性。

5、当所述用户对数据呈现的需求信息包括所述操作指令时，所述确定所述第一点云数据的呈现方式，可以包括：

该实施例中，预警信息可以通过颜色，如红色预警，也可以通过声音报警。

车辆行驶过程中，会遇到需要变道的情况，变道时可以根据当前车辆的行驶速度，以及目标变更车道上前车后车的行驶速度，对要变道的车辆呈现相关预警信息。例如图11所示，当目标变更车道上后车的行驶速度较快，与变道车辆的变道速度有冲突时，则在当前车辆的对应的一侧呈现出预警的点云信息，该预警的点云信息，可以是采用带有颜色的点云呈现，例如红色，也可以是带有闪动提醒功能的预警提示点云呈现。

停车泊车场景下的预警提示，是当自动驾驶车进行倒车过程中，对于在车辆倒车影响范围内的感知到的事物进行呈现的同时，结合当前自动驾驶车的倒车速度，倒车角度，通过点云呈现出有危险的事物，起到提醒的作用，如图12所示，在停车泊车的场景下，显示可泊车车位的信息。

本申请实施例提供的点云呈现预警信息的方法，提高点云呈现对自动驾驶的辅助作用，进一步提升驾驶的安全性。

本申请实施例分别结合行驶位置、行驶速度、呈现视角、呈现时的结合对象以及操作指令等方面对点云数据的确定以及呈现做了介绍，需要说明的是，行驶位置、行驶速度、呈现视角、呈现时的结合对象以及操作指令是可以结合来确定点云数据以及呈现方式的，而且，其他的自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息也是可以独自或者结合上述行驶位置、行驶速度、呈现视角、呈现时的结合对象以及操作指令来确定点云数据以及呈现方式的，本申请实施例中不做一一列举。

本申请实施例根据用户的不同需求和行驶状况来适应点云的呈现机制，让用户在不同的场景下都能够适应外界环境的呈现内容。点云可在用户视觉能力弱的场景下，起到关键的辅助作用。因此对智能驾驶会起到重要作用。

本申请实施例提供的点云数据呈现的方法，不仅可以应用于自动驾驶领域，还可应用于如平安城市、安防、助老助残等需要进行目标识别、障碍物检测等需要呈现的场景中。

以上描述了数据呈现的方法，下面结合附图介绍本申请实施例提供的终端设备。

如图13所示，本申请实施例提供的终端设备30的一实施例可以包括：

处理单元301，用于获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息，根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式，所述第一点云数据为通过多个点的形式表示的数据；

呈现单元302，用于以所述呈现方式呈现所述第一点云数据。

一种可选的实施例中，

接收单元303，用于从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述处理单元301用于：

将所述第二数据和所述第二环境数据转换为第一点云数据。

一种可选的实施例中，所述终端设备30还包括：

所述处理单元301用于：

将所述第一数据和所述第一环境数据转换为第二点云数据；

一种可选的实施例中，所述行驶信息包括以下至少一项：行驶位置、行驶速度、所述自动驾驶装置所处的车道、天气信息或环境光信息；

一种可选的实施例中，当所述行驶信息包括所述行驶位置时，

所述处理单元301用于：

所述呈现单元302，用于按照所述自动驾驶装置所处的场景以不同的密度呈现所述第一点云数据，所述城市街道对应的点云的密度大于所述高速公路、所述郊区、所述山路或所述沙漠对应的点云的密度。

一种可选的实施例中，当所述行驶信息包括所述行驶速度时，

所述处理单元301，用于根据所述自动驾驶装置的行驶速度确定所述第一点云数据的呈现方式；

所述呈现单元302，用于当所述行驶速度低于速度阈值时，采用第一密度呈现所述第一点云数据，当所述行驶速度高于所述速度阈值时，采用第二密度呈现所述第一点云数据，所述第一密度大于所述第二密度。

一种可选的实施例中，当所述用户对数据呈现的需求信息包括所述呈现视角时，

所述处理单元301，用于根据所述呈现视角确定所述第一点云数据的呈现方式，所述呈现视角包括上帝视角或驾驶员视角；

所述呈现单元302用于：

一种可选的实施例中，当所述用户对数据呈现的需求信息包括所述呈现时的结合对象时，

所述处理单元301，用于根据所述呈现时的结合对象确定所述第一点云数据的呈现方式，所述呈现时的结合对象包括高精度地图、平视显示器HUD或增强现实AR；

所述呈现单元302用于：

一种可选的实施例中，一种可选的实施例中，

所述处理单元301，用于根据所述操作指令确定所述第一点云数据的呈现方式，所述操作指令包括转向、变道或倒车，所述呈现方式包括叠加预警信息；

所述呈现单元302，用于呈现叠加有所述操作指令对应的预警信息的所述第一点云数据。

需要说明的是，上述终端设备30的各模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

如图14所示，为本申请实施例的又一种设备的结构示意图，该设备为终端设备40，该终端设备40可以包括：处理器401(例如CPU)、存储器402、显示器404和投影设备403；显示器404和投影设备403耦合至处理器401，处理器401控制显示器404的发送动作和投影设备403的接收动作。存储器402可能包含高速RAM存储器，也可能还包括非易失性存储器NVM，例如至少一个磁盘存储器，存储器402中可以存储各种指令，以用于完成各种处理功能以及实现本申请实施例的方法步骤。可选的，本申请实施例涉及的终端设备还可以包括：电源405、以及通信端口406中的一个或多个，图14中所描述的各器件可以是通过通信总线连接，也可以是通过其他连接方式连接，对此，本申请实施例中不做限定。通信总线用于实现元件之间的通信连接。上述通信端口406用于实现终端设备与其他外设之间进行连接通信。

在一些实施例中，终端设备中的处理器401可以执行图13中处理单元301执行的动作，终端设备中的通信端口406可以执行图13中接收单元303执行的动作，终端设备中的显示器404和投影设备403可以执行图13中呈现单元302执行的动作，其实现原理和技术效果类似，在此不再赘述。

本申请还提供了一种芯片系统，该芯片系统包括处理器，用于支持上述终端设备实现其所涉及的功能，例如，例如接收或处理上述方法实施例中所涉及的数据。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终端设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

在本申请的另一实施例中，还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当设备的至少一个处理器执行该计算机执行指令时，设备执行上述图5至图12部分实施例所描述的方法。

在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机执行指令，该计算机执行指令存储在计算机可读存储介质中；设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令，至少一个处理器执行该计算机执行指令使得设备执行上述图5至图12部分实施例所描述的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims

一种数据呈现的方法，其特征在于，包括：

获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息；

根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式，所述第一点云数据为通过多个点的形式表示的数据；

以所述呈现方式呈现所述第一点云数据。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，包括：

根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息对所述第一数据和所述第一环境数据做筛选，以得到待呈现的所述自动驾驶装置的第二数据以及所述自动驾驶装置周围的第二环境数据；

将所述第二数据和所述第二环境数据转换为第一点云数据。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，包括：

将所述第一数据和所述第一环境数据转换为第二点云数据；

根据所述自动驾驶装置的行驶信息和所述用户对数据呈现的需求信息对所述第二点云数据做筛选，以得到待呈现的第一点云数据。
根据权利要求1-3任一项所述的方法，其特征在于，所述行驶信息包括以下至少一项：行驶位置、行驶速度、所述自动驾驶装置所处的车道、天气信息或环境光信息；

所述用户对数据呈现的需求信息包括以下至少一项：呈现视角、呈现时的结合对象或操作指令；

所述呈现方式的信息中包括点云的密度，或者点云的密度与以下信息中至少一项的组合：点云的大小、点云中需要呈现的对象、点云的颜色或叠加预警信息。
根据权利要求4所述的方法，其特征在于，当所述行驶信息包括所述行驶位置时，所述确定所述第一点云数据的呈现方式，包括：

根据所述行驶位置确定所述自动驾驶装置所处的场景，所述场景包括高速公路、城市街道、郊区、山路或沙漠；

根据所述自动驾驶装置所处的场景确定所述第一点云数据的呈现方式；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

按照所述自动驾驶装置所处的场景以不同的密度呈现所述第一点云数据，所述城市街道对应的点云的密度大于所述高速公路、所述郊区、所述山路或所述沙漠对应的点云的密度。
根据权利要求4所述的方法，其特征在于，当所述行驶信息包括所述行驶速度时，所述确定所述第一点云数据的呈现方式，包括：

根据所述自动驾驶装置的行驶速度确定所述第一点云数据的呈现方式；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

当所述行驶速度低于速度阈值时，采用第一密度呈现所述第一点云数据，当所述行驶速度高于所述速度阈值时，采用第二密度呈现所述第一点云数据，所述第一密度大于所述第二密度。
根据权利要求4所述的方法，其特征在于，当所述用户对数据呈现的需求信息包括所述呈现视角时，所述确定所述第一点云数据的呈现方式，包括：

根据所述呈现视角确定所述第一点云数据的呈现方式，所述呈现视角包括上帝视角或驾驶员视角；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

当所述呈现视角为上帝视角时，从所述上帝视角呈现所述第一点云数据；

当所述呈现视角为驾驶员视角时，从所述驾驶员视角呈现所述第一点云数据。
根据权利要求4所述的方法，其特征在于，当所述用户对数据呈现的需求信息包括所述呈现时的结合对象时，所述确定所述第一点云数据的呈现方式，包括：

根据所述呈现时的结合对象确定所述第一点云数据的呈现方式，所述呈现时的结合对象包括高精度地图、平视显示器HUD或增强现实AR；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

当所述呈现时的结合对象为高精度地图时，将所述第一点云数据结合到所述高精度地图中呈现；

当所述呈现时的结合对象为HUD时，将所述第一点云数据投影到所述自动驾驶装置的风挡玻璃上的第一区域呈现，所述第一区域的面积小于所述风挡玻璃的面积；

当所述呈现时的结合对象为AR时，将所述第一点云数据投影到所述自动驾驶装置的整块风挡玻璃上呈现。
根据权利要求4所述的方法，其特征在于，当所述用户对数据呈现的需求信息包括所述操作指令时，所述确定所述第一点云数据的呈现方式，包括：

根据所述操作指令确定所述第一点云数据的呈现方式，所述操作指令包括转向、变道或倒车，所述呈现方式包括叠加预警信息；

对应地，所述以所述呈现方式呈现所述第一点云数据，包括：

呈现叠加有所述操作指令对应的预警信息的所述第一点云数据。
一种终端设备，包括通信端口、处理器、存储器和显示器，所述处理器与所述存储器耦合，其特征在于，所述存储器，用于存储程序；

所述处理器用于：

获取自动驾驶装置的行驶信息和/或用户对数据呈现的需求信息；

根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息确定与所述自动驾驶装置相关的第一点云数据，以及确定所述第一点云数据的呈现方式，所述第一点云数据为通过多个点的形式表示的数据；

所述显示器，用于以所述呈现方式呈现所述第一点云数据。
根据权利要求10所述的终端设备，其特征在于，

所述通信端口，用于从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述处理器用于：

根据所述自动驾驶装置的行驶信息和/或所述用户对数据呈现的需求信息对所述第一数据和所述第一环境数据做筛选，以得到待呈现的所述自动驾驶装置的第二数据以及所述自动驾驶装置周围的第二环境数据；

将所述第二数据和所述第二环境数据转换为第一点云数据。
根据权利要求10所述的终端设备，其特征在于，

所述通信端口，用于从数据采集装置接收所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述处理器用于：

将所述第一数据和所述第一环境数据转换为第二点云数据；

根据所述自动驾驶装置的行驶信息和所述用户对数据呈现的需求信息对所述第二点云数据做筛选，以得到待呈现的第一点云数据。
根据权利要求10-12任一项所述的终端设备，其特征在于，所述行驶信息包括以下至少一项：行驶位置、行驶速度、所述自动驾驶装置所处的车道、天气信息或环境光信息；

所述用户对数据呈现的需求信息包括以下至少一项：呈现视角、呈现时的结合对象或操作指令；

所述呈现方式的信息中包括点云的密度，或者点云的密度与以下信息中至少一项的组合：点云的大小、点云中需要呈现的对象、点云的颜色或叠加预警信息。
根据权利要求13所述的终端设备，其特征在于，当所述行驶信息包括所述行驶位置时，

所述处理器用于：

根据所述行驶位置确定所述自动驾驶装置所处的场景，所述场景包括高速公路、城市街道、郊区、山路或沙漠；

根据所述自动驾驶装置所处的场景确定所述第一点云数据的呈现方式；

所述显示器，用于按照所述自动驾驶装置所处的场景以不同的密度呈现所述第一点云数据，所述城市街道对应的点云的密度大于所述高速公路、所述郊区、所述山路或所述沙漠对应的点云的密度。
根据权利要求13所述的终端设备，其特征在于，当所述行驶信息包括所述行驶速度时，

所述处理器，用于根据所述自动驾驶装置的行驶速度确定所述第一点云数据的呈现方式；

所述显示器，用于当所述行驶速度低于速度阈值时，采用第一密度呈现所述第一点云数据，当所述行驶速度高于所述速度阈值时，采用第二密度呈现所述第一点云数据，所述第一密度大于所述第二密度。
根据权利要求13所述的终端设备，其特征在于，当所述用户对数据呈现的需求信息包括所述呈现视角时，

所述处理器，用于根据所述呈现视角确定所述第一点云数据的呈现方式，所述呈现视角包括上帝视角或驾驶员视角；

所述显示器用于：

当所述呈现视角为上帝视角时，从所述上帝视角呈现所述第一点云数据；

当所述呈现视角为驾驶员视角时，从所述驾驶员视角呈现所述第一点云数据。
根据权利要求13所述的终端设备，其特征在于，当所述用户对数据呈现的需求信息包括所述呈现时的结合对象时，所述终端设备还包括投影设备，

所述处理器，用于根据所述呈现时的结合对象确定所述第一点云数据的呈现方式，所述呈现时的结合对象包括高精度地图、平视显示器HUD或增强现实AR；

所述显示器用于：当所述呈现时的结合对象为高精度地图时，将所述第一点云数据结合到所述高精度地图中呈现；

所述投影设备用于：

当所述呈现时的结合对象为HUD时，将所述第一点云数据投影到所述自动驾驶装置的风挡玻璃上的第一区域呈现，所述第一区域的面积小于所述风挡玻璃的面积；

当所述呈现时的结合对象为AR时，将所述第一点云数据投影到所述自动驾驶装置的整块风挡玻璃上呈现。
根据权利要求13所述的终端设备，其特征在于，当所述用户对数据呈现的需求信息包括所述操作指令时，

所述处理器，用于根据所述操作指令确定所述第一点云数据的呈现方式，所述操作指令包括转向、变道或倒车，所述呈现方式包括叠加预警信息；

所述显示器，用于呈现叠加有所述操作指令对应的预警信息的所述第一点云数据。
一种自动驾驶装置，其特征在于，包括：数据采集装置和终端设备，所述数据采集装置和所述终端设备通信；

所述数据采集装置用于采集所述自动驾驶装置的第一数据以及所述自动驾驶装置周围的第一环境数据；

所述终端设备为上述权利要求10-18任一所述的终端设备。
一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至9中任一项所述的方法。