WO2021237625A1

WO2021237625A1 - 一种图像处理方法、头戴式显示设备及存储介质

Info

Publication number: WO2021237625A1
Application number: PCT/CN2020/093055
Authority: WO
Inventors: 刘怀宇; 吴一凡
Original assignee: 深圳市大疆创新科技有限公司
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2021-12-02
Also published as: CN113853781A

Abstract

本发明实施例提供了一种图像处理方法、头戴式显示设备及存储介质，其中，该方法包括获取无人飞行器的飞行状态信息；获取头戴式显示设备上的运动传感器采集到的姿态信息；获取第二视角图像，其中，第二视角图像是根据姿态信息从无人飞行器的拍摄装置采集到的第一视角图像中确定的；将飞行状态信息叠加到第二视角图像中，以获取目标视角图像；显示所述目标视角图像。通过这种实施方式，可以为用户营造出置身于无人飞行器驾驶舱中的体验，有助于用户更好地远程操控无人飞行器。

Description

一种图像处理方法、头戴式显示设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、头戴式显示设备及存储介质。

背景技术

无人飞行器通常是由地面操作人员，通过无线通信链路进行远程操控，其中，远程操控方式主要有两种：一种是无人飞行器在用户的视觉范围内，用户通过观察无人飞行器的位置、速度、姿态等对其进行操控，这种操作方式无法以无人飞行器的视角来进行观察，操作难度校大，距离受限；另一种是用户通过无人飞行器上挂载的拍摄装置如相机，将图像信号传输到地面站，地面站通过显示设备显示图像，用户通过观察显示设备上的图像对无人飞行器进行操作，这种方式虽然以无人飞行器的视角进行观察操作，但与在无人飞行器上的操作体验差距较大，达不到在飞行器座舱内操控的真实体验感。

发明内容

本发明实施例提供了一种图像处理方法、头戴式显示设备及存储介质，可以为用户营造出置身于无人飞行器驾驶舱中的体验，有助于用户更好地远程操控无人飞行器。

第一方面，本发明实施例提供了一种图像处理方法，应用于头戴式显示设备，所述头戴式显示设备与无人飞行器无线通信连接，所述方法包括：

获取所述无人飞行器的飞行状态信息；

获取所述头戴式显示设备上的运动传感器采集到的姿态信息；

获取第二视角图像，其中，所述第二视角图像是根据所述姿态信息从所述无人飞行器的拍摄装置采集到的第一视角图像中确定的；

将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像；

显示所述目标视角图像。

第二方面，本发明实施例提供了一种头戴式显示设备，所述头戴式显示设备与无人飞行器无线通信连接，所述设备包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：

获取所述无人飞行器的飞行状态信息；

显示所述目标视角图像。

第三方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的方法。

本发明实施例中，头戴式显示设备可以获取头戴式显示设备上的运动传感器采集到的姿态信息，并根据姿态信息从无人飞行器的拍摄装置采集到的第一视角图像中确定出第二视角图像，以及将获取到的无人飞行器的飞行状态信息叠加到第二视角图像中，以获取目标视角图像，并显示该目标视角图像。通过这种头戴式显示设备显示目标视角图像的方式，可以为用户营造出置身于无人飞行器驾驶舱中的体验，有助于用户更好地远程操控无人飞行器。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理系统的结构示意图；

图2是本发明实施例提供的一种图像处理方法的流程示意图；

图3是本发明实施例提供的一种目标视角图像的示意图；

图4是本发明实施例提供的另一种图像处理方法的流程示意图；

图5是本发明实施例提供的一种头戴式显示设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本发明实施例中提供的图像处理方法可以由图像处理系统中的头戴式显示设备执行，所述图像处理系统可以包括头戴式显示设备、无人飞行器以及控制终端。在某些实施例中，所述头戴式显示设备可以在空间上独立于无人飞行器；在某些实施例中，所述头戴式显示设备可以与无人飞行器无线通信连接；在某些实施例中，所述头戴式显示设备包括运动传感器，所述运动传感器用于采集头戴式显示设备的姿态信息。在某些实施例中，所述无人飞行器可以为无人机。在某些实施例中，所述控制终端可以为用于控制无人机飞行器飞行的终端设备，如遥控器等。在某些实施例中，所述图像处理方法还可以应用于无人车、无人船等其他可移动设备。

本发明实施例提供的图像处理方法可以通过头戴式显示设备获取无人机飞行器上的拍摄装置采集到的无人飞行器所处环境的第一视角图像，并根据头戴式显示设备上的运动传感器采集到的姿态信息，从第一视角图像中确定出第二视角图像，以及获取无人飞行器的飞行状态信息，并将该飞行状态信息叠加到该第二视角图像中，以获取目标视角图像，从而通过头戴式显示设备的显示界面显示该目标视角图像。通过头戴式显示设备显示该目标视角图像，用户不仅可以无人飞行器的视角根据目标视角图像通过控制终端向无人飞行器发送遥控指令，以更好地操控无人飞行器，还可以给用户营造出置身于无人飞行器驾驶舱中的体验。

下面结合图1对本发明实施例提供的图像处理系统进行示意性说明。

请参见图1，图1是本发明实施例提供的一种图像处理系统的结构示意图。所述图像处理系统包括：无人飞行器11、头戴式显示设备12和控制终端13。在某些实施例中，头戴式显示设备12可以通过无线通信连接方式与无人飞行器11建立通信连接。在某些实施例中，所述控制终端13与无人飞行器11建立通信连接。在某些实施例中，无人飞行器11和头戴式显示设备12彼此独立，例如，头戴式显示设备12可以戴在操作无人飞行器的用户的头上。在某些实施例中，所述无人飞行器11包括动力系统111，所述动力系统111用于为无人飞行器11提供移动的动力，所述动力11系统可以包括电机。在某些实施例中，所述无人机飞行器11上包括拍摄装置112，所述拍摄装置112用于采集无人飞行器11所处周围环境的图像。

本发明实施例中，头戴式显示设备12可以获取无人机飞行器11上的拍摄装置112采集到的第一视角图像，并根据头戴式显示设备12上的运动传感器采集到的姿态信息，从该第一视角图像中确定出第二视角图像，以及获取无人飞行器11的飞行状态信息，并将该飞行状态信息叠加到该第二视角图像中，以获取目标视角图像，并通过头戴式显示设备12的显示界面显示该目标视角图像。通过头戴式显示设备12显示该目标视角图像，可以给用户营造出置身于无人飞行器驾驶舱中的体验，用户可以根据该目标视角图像通过控制终端13向无人飞行器11发送遥控指令，有助于用户更好地操控无人飞行器11。

下面结合附图2-附图4对本发明实施例提供的图像处理方法进行示意性说明。

具体请参见图2，图2是本发明实施例提供的一种图像处理方法的流程示意图，所述方法可以应用于头戴式显示设备，所述头戴式显示设备与无人飞行器无线通信连接，其中，头戴式显示设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。

S201：获取无人飞行器的飞行状态信息。

本发明实施例中，头戴式显示设备可以获取无人飞行器的飞行状态信息。

在一个实施例中，所述飞行状态信息包括以下至少一种：飞行速度、位置、电量、航向、与控制终端或者所述头戴式显示设备的无线连接状态和卫星信号的接收状态。

通过获取无人飞行器的这些飞行状态信息，有助于后续供用户查看无人飞行器的飞行状态，以及有助于后续生成显示飞行状态信息的仪表图像。

S202：获取头戴式显示设备上的运动传感器采集到的姿态信息。

本发明实施例中，头戴式显示设备可以获取头戴式显示设备上的运动传感器采集到的姿态信息。在某些实施例中，所述姿态信息包括所述头戴式显示设备的姿态。

通过获取头戴式显示设备上的运动传感器采集到的姿态信息，有助于后续根据该姿态信息从无人飞行器的拍摄装置采集到的第一视角图像中确定出第二视角图像。

S203：获取第二视角图像，其中，所述第二视角图像是根据所述姿态信息从所述无人飞行器的拍摄装置采集到的第一视角图像中确定的。

本发明实施例中，头戴式显示设备可以根据所述姿态信息从无人飞行器的拍摄装置采集到的第一视角图像中获取第二视角图像。在某些实施例中，所述拍摄装置包括大广角相机、鱼眼相机、全景相机中的任意一种或多种。在某些实施例中，所述第一视角图像包括但不限于大广角图像、鱼眼图像、全景图像中的任意一种或多种。在某些情况中，所述拍摄装置通过云台承载在所述无人飞行器的机身上；在某些情况中，所述拍摄装置是固定连接在所述无人飞行器的机身上。

在某些实施例中，所述第一视角图像是无人飞行器上拍摄装置以无人飞行器的视角拍摄得到的图像。在某些实施例中，所述第二视角图像是以头戴式显示设备的姿态对第一视角图像进行调整得到的图像。可见，通过以头戴式显示设备的姿态对无人飞行器的视角拍摄得到的第一视角图像进行调整得到第二视角图像，有助于用户观察到的第二视角图像根据头戴式显示设备的姿态的变化而变化，提升用户在虚拟坐舱中的真实体验感。

在一个实施例中，头戴式显示设备在获取第二视角图像时，可以获取所述无人飞行器发送的第一视角图像，并根据所述姿态信息从所述第一视角图像中确定第二视角图像。

在一个实施例中，头戴式显示设备可以根据预设的姿态信息与视角的对应关系，确定与获取到的头戴式显示设备上的运动传感器采集到的姿态信息对应的目标视角，并根据该目标视角从第一视角图像中确定出该目标视角对应的第二视角图像。

例如，假设头戴式显示设备根据预设的姿态信息与视角的对应关系，确定出与获取到的头戴式显示设备上的运动传感器采集到的姿态信息对应的目标视角为沿头戴式显示设备机身正面逆时针旋转45度后的视角，并从第一视角图像中确定出与沿头戴式显示设备机身正面逆时针旋转45度后的视角对应的第二视角图像。

在一个实施例中，头戴式显示设备在获取第二视角图像时，可以将所述姿态信息发送给所述无人飞行器，以使所述无人飞行器根据所述姿态信息从所述第一视角图像中确定出所述第二视角图像，头戴式显示设备可以接收所述无人飞行器发送的所述第二视角图像。

在一个实施例中，头戴式显示设备可以将所述姿态信息发送给所述无人飞行器，以使所述无人飞行器可以根据所述姿态信息调整拍摄装置的姿态，以从所述第一视角图像中确定出所述第二视角图像，并将确定的第二视角图像发送给头戴式显示设备。

可见，头戴式显示设备不仅可以根据姿态信息从第一视角图像中确定出第二视角图像，也可以将姿态信息发送给无人飞行器，以使无人飞行器根据姿态信息从第一视角图像中确定出第二视角图像。通过这种方式，可以在头戴式显示设备无法确定第二视角图像的情况下，还可以通过无人飞行器获取到第二视角图像，实现了确定第二视角图像的方式的灵活性，提高了确定第二视角图像的有效性。

S204：将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像。

本发明实施例中，头戴式显示设备可以将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像。

在一个实施例中，头戴式显示设备在将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像时，可以确定所述飞行状态信息在所述第二视角图像中的叠加位置，并根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像。

在一个实施例中，头戴式显示设备在根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像时，可以生成显示所述飞行状态信息的仪表图像，并根据所述叠加位置将所述仪表图像与所述第二视角图像进行叠加处理，以获取所述目标视角图像。

在某些实施例中，所述仪表图像可以包括多个显示不同飞行状态信息的图标。在一个示例中，所述仪表图像中包括用于显示飞行速度的图标、用于显示位置的图标、用于显示电量的图标、用于显示航向的图标等。

以图3为例进行说明，图3是本发明实施例提供的一种目标视角图像的示意图，假设确定飞行状态信息在第二视角图像31中的叠加位置32，则头戴式显示设备可以生成显示所述飞行状态信息的仪表图像33，并根据所述叠加位置32将所述仪表图像33与所述第二视角图像31进行叠加处理，以获取所述目标视角图像34，其中，仪表图像33中包括速度图标331、电量图标332、航向图标333等。

在一个实施例中，头戴式显示设备在确定所述飞行状态信息在所述第二视角图像中的叠加位置时，可以获取在所述头戴式显示设备上接收到的位置选取操作，并确定所述位置选取操作所指示的位置为所述飞行状态信息在所述第二视角图像中的叠加位置。在某些实施例中，所述位置选取操作可以为框选操作、点击操作、滑动操作、按压操作等。通过这种实施方式，可以实现根据用户需求在第二视角图像中选取叠加位置。

在一个实施例中，所述头戴式显示设备中可以包括语音识别装置，头戴式显示设备在确定所述飞行状态信息在所述第二视角图像中的叠加位置时，可以获取头戴式显示设备中的语音识别装置识别到的用户的语音信息，并根据所述语音信息识别出对应的语义，以将该语义所指示的位置确定为所述飞行状态信息在所述第二视角图像中的叠加位置。通过这种实施方式，满足了用户对确定叠加位置的智能化和自动化需求。

可见，通过位置选取操作或识别语音信息等方式可以确定出飞行状态信息在第二视角图像中的叠加位置，提高了在第二视角图像中确定叠加位置的灵活性和用户体验。

在一个实施例中，头戴式显示设备在第二视角图像中确定叠加位置时，还可以获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息，并根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸。在某些实施例中，所述运动信息包括：速度、加速度、距离中的一种或多种。

在一个实施例中，头戴式显示设备在根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸时，可以根据采集到的沿第一方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第一尺寸。在某些实施例中，所述第一方向为头戴式显示设备的机身正面的朝向。

在一个实施例中，头戴式显示设备在根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸时，可以根据采集到的沿第二方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第二尺寸，其中，第二方向背离第一方向，第二尺寸小于第一尺寸。

在一个示例中，如果头戴式显示设备获取到头戴式显示设备上的运动传感器采集到的沿头戴式显示设备的机身正面的朝向的平移运动的距离为S1，则头戴式显示设备可以根据沿头戴式显示设备的机身正面的朝向的平移运动的距离S1确定所述飞行状态信息占据的区域的尺寸为T1。如果头戴式显示设备获取到头戴式显示设备上的运动传感器采集到的沿背离头戴式显示设备的机身正面的朝向的平移运动的距离为S2，则头戴式显示设备可以根据沿头戴式显示设备的机身正面的朝向的平移运动的距离S2确定所述飞行状态信息占据的区域的尺寸为T2，其中，T2小于T1。

可见，通过获取头戴式显示设备上的运动传感器采集到的平移运动的运动信息，可以确定出飞行状态信息占据的区域尺寸，从而有助于根据飞行状态信息占据的区域尺寸确定出飞行状态信息在第二视角图像中的叠加位置所占的区域尺寸。

在一个实施例中，如果头戴式显示设备生成显示所述飞行状态信息的仪表图像，则头戴式显示设备可以根据运动传感器采集到的平移运动的运动信息，确定叠加到第二视角图像中的仪表图像占据的区域的尺寸。以图3为例进行说明，头戴式显示设备生成了显示飞行状态信息的仪表图像33，则头戴式显示设备可以根据运动传感器采集到的平移运动的运动信息，确定叠加到第二视角图像31中的仪表图像33占据的区域的尺寸。

可见，通过获取头戴式显示设备上的运动传感器采集到的平移运动的运动信息，可以确定出显示飞行状态信息的仪表图像占据的区域尺寸，从而有助于根据仪表图像占据的区域尺寸确定出仪表图像在第二视角图像中的叠加位置所占的区域尺寸。

S205：显示所述目标视角图像。

本发明实施例中，头戴式显示设备可以将确定的目标视角图像显示在所述头戴式显示设备的显示界面上。

通过显示该目标视角图像，有助于供头戴该头戴式显示设备的用户以置身于无人飞行器的虚拟驾驶坐舱的体验感观察无人飞行器的周围环境，有助于用户更好地通过控制终端控制无人飞行器的飞行。

在一个实施例中，所述头戴式显示设备包括用于对所述头戴式显示设备周围的环境进行拍摄的拍摄装置，头戴式显示设备当获取到第一显示指令时，可以显示所述头戴式显示设备的拍摄装置采集到的图像。在一个实施例中，所述头戴式显示设备当获取到第二显示指令时，可以显示所述目标视角图像。

在一个实施例中，所述头戴式显示设备当检测到用户的第一显示操作时，可以确定获取到所述第一显示指令；当检测到用户的第二显示操作时，可以确定获取到所述第二显示指令。

在一些实施例中，所述头戴式显示设备上可以包括第一显示控件和第二显示控件，所述第一显示操作可以包括用户对所第一显示控件的选取操作，所述第二显示操作可以包括用户对所述第二显示控件的选取操作。

例如，当头戴式显示设备检测到用户对第一显示控件的选取操作时，获取到第一显示指令，并显示所述头戴式显示设备的拍摄装置采集到的图像；当头戴式显示设备检测到用户对第二显示控件的选取操作时，获取到第二显示指令，并显示所述目标视角图像。

可见，通过这种实施方式，可以根据用户操作切换头戴式显示设备显示的图像，有助于协助用户更好地控制无人飞行器。

在一个实施例中，所述头戴式显示设备可以获取所述无人飞行器所处的工作状态，并根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令。

在一个实施例中，所述头戴式显示设备在根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令时，当所述工作状态为巡航状态时，可以确定获取到所述第二显示指令；当所述工作状态为起飞或者降落状态时，可以确定获取到所述第一显示指令。

例如，当头戴式显示设备获取到无人飞行器的工作状态为巡航状态时，可以确定获取到第二显示指令，并显示确定的目标视角图像；当头戴式显示设备获取到无人飞行器的工作状态为起飞或者降落状态时，可以确定获取到第一显示指令，并显示所述头戴式显示设备的拍摄装置采集到的图像。

可见，通过这种根据无人飞行器的工作状态自动确定获取到的显示指令的实施方式，可以提高头戴式显示设备在目标视角图像和头戴式显示设备的拍摄装置采集到的图像之间切换显示的效率，有助于避免无人飞行器在起飞或降落的过程中，由于用户无法观察到头戴式显示设备的拍摄装置采集到的图像对无人飞行器的过度操控而导致碰撞等安全问题。

在一个实施例中，所述头戴式显示设备可以获取所述无人飞行器与所述头戴式显示设备之间的第二距离，并根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令。

在一个实施例中，所述头戴式显示设备在根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令时，当所述第二距离小于或等于预设的第二距离阈值时，可以确定获取到所述第一显示指令；当所述第二距离大于预设的第二距离阈值时，可以确定获取到所述第二显示指令。

可见，通过无人飞行器与头戴式显示设备之间的距离来确定是否获取到第一显示指令和第二显示指令，有助于避免无人飞行器与头戴式显示设备之间的距离较近的情况下，由于用户无法观察到头戴式显示设备的拍摄装置采集到的周围环境图像对无人飞行器进行控制，给无人飞行器造成安全隐患的问题。

具体请参见图4，图4是本发明实施例提供的另一种图像处理方法的流程示意图，所述方法可以应用于头戴式显示设备，所述头戴式显示设备与无人飞行器无线通信连接，其中，头戴式显示设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。

S401：获取无人飞行器的飞行状态信息。

本发明实施例中，头戴式显示设备可以获取无人飞行器的飞行状态信息。所述飞行状态信息的解释如前所述，此处不再赘述。

S402：获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息。

本发明实施例中，头戴式显示设备可以获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息。在某些实施例中，所述运动信息包括：速度、加速度、距离中的一种或多种。

S403：将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集所述第一视角图像。

本发明实施例中，头戴式显示设备可以将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集所述第一视角图像。在某些实施例中，所述变焦包括光学变焦和数码变焦中的至少一种。

在一个实施例中，头戴式显示设备在将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，可以将采集到的沿第一方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置放大变焦。在某些实施例中，所述第一方向为头戴式显示设备的机身正面的朝向。

例如，假设头戴式显示设备获取到头戴式显示设备上的运动传感器采集到的沿头戴式显示设备的机身正面的朝向平移运动的速度V1，则头戴式显示设备可以将采集到的沿头戴式显示设备的机身正面的朝向平移运动的速度V1发送给所述无人飞行器，以使所述无人飞行器可以根据预设的速度与放大变焦的倍数的对应关系，确定与所述速度V1对应的放大倍数，并根据确定的放大倍数控制所述拍摄装置放大变焦。

在一个实施例中，头戴式显示设备在将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，可以将采集到的第二方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置缩小变焦，其中，第二方向背离第一方向。

例如，假设头戴式显示设备获取到头戴式显示设备上的运动传感器采集到的沿背离头戴式显示设备的机身正面的朝向平移运动的速度V2，则头戴式显示设备可以将采集到的沿背离头戴式显示设备的机身正面的朝向平移运动的速度V2发送给所述无人飞行器，以使所述无人飞行器可以根据预设的速度与缩小变焦的倍数的对应关系，确定与所述速度V2对应的缩小倍数，并根据确定的缩小倍数控制所述拍摄装置缩小变焦。

可见，通过这种实施方式，可以实现将头戴式显示设备平移运动的运动信息发送给无人飞行器，以使无人飞行器控制拍摄装置放大变焦或缩小对焦，从而获取到变焦后的第一视角图像，实现了图像跟随头戴式显示设备的运动信息的变化而变化，有助于进一步提升用户置身于无人飞行器驾驶舱的体验。

S404：获取所述头戴式显示设备上的运动传感器采集到的姿态信息。

S405：获取第二视角图像，其中，所述第二视角图像是根据所述姿态信息从所述无人飞行器的拍摄装置采集到的第一视角图像中确定的。

本发明实施例中，头戴式显示设备可以根据所述姿态信息从无人飞行器的拍摄装置采集到的第一视角图像中获取第二视角图像。具体实施例如前所述，此处不再赘述。

S406：将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像。

本发明实施例中，头戴式显示设备可以将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像。具体实施例如前所述，此处不再赘述。

S407：显示所述目标视角图像。

本发明实施例中，头戴式显示设备可以显示所述目标视角图像。通过显示该目标视角图像，有助于供头戴该头戴式显示设备的用户以置身于无人飞行器的虚拟驾驶坐舱的体验感观察无人飞行器的周围环境，有助于用户更好地通过控制终端控制无人飞行器的飞行。

本发明实施例中，头戴式显示设备可以获取头戴式显示设备上的运动传感器采集到的平移运动的运动信息，并将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集第一视角图像，以及根据获取到的头戴式显示设备上的运动传感器采集到的姿态信息从该第一视角图像中确定第二视角图像，将获取到的无人飞行器的飞行状态信息叠加到第二视角图像中，以获取目标视角图像，并显示该目标视角图像。通过这种将头戴式显示设备上的运动传感器采集到的平移运动的运动信息发送给无人飞行器的方式，可以使得无人飞行器根据该运动信息控制无人飞行器上的拍摄装置进行变焦，实现了图像的焦距跟随头戴式显示设备的运动信息的变化而变化，有助于进一步提升用户置身于无人飞行器驾驶舱中的体验。

请参见图5，图5是本发明实施例提供的一种头戴式显示设备的结构示意图，所述头戴式显示设备与无人飞行器无线通信连接，所述设备包括存储器501、处理器502和数据接口503；

所述存储器501可以包括易失性存储器(volatile memory)；存储器501也可以包括非易失性存储器(non-volatile memory)；存储器501还可以包括上述种类的存储器的组合。所述处理器502可以是中央处理器(central processing unit，CPU)。所述处理器502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。

所述处理器502，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：

获取所述无人飞行器的飞行状态信息；

显示所述目标视角图像。

进一步地，所述处理器502获取第二视角图像时，具体用于：

获取所述无人飞行器发送的所述第一视角图像；

根据所述姿态信息从所述第一视角图像中确定所述第二视角图像；或者，

将所述姿态信息发送给所述无人飞行器，以使所述无人飞行器根据所述姿态信息从所述第一视角图像中确定出所述第二视角图像；

接收所述无人飞行器发送的所述第二视角图像。

进一步地，所述处理器502将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像时，具体用于：

确定所述飞行状态信息在所述第二视角图像中的叠加位置；

根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像。

进一步地，所述处理器502根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像时，具体用于：

生成显示所述飞行状态信息的仪表图像；

根据所述叠加位置将所述仪表图像与所述第二视角图像进行叠加处理，以获取所述目标视角图像。

进一步地，所述处理器502确定所述飞行状态信息在所述第二视角图像中的叠加位置时，具体用于：

获取在所述头戴式显示设备上接收到的位置选取操作；

确定所述位置选取操作所指示的位置为所述飞行状态信息在所述第二视角图像中的叠加位置。

进一步地，所述处理器502还用于：

获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息；

根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸。

进一步地，所述处理器502根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸时，具体用于：

根据采集到的沿第一方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第一尺寸；

根据采集到的沿第二方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第二尺寸，其中，第二方向背离第一方向，第二尺寸小于第一尺寸。

进一步地，所述处理器502还用于：

将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集所述第一视角图像。

进一步地，所述所述控制所述拍摄装置变焦，包括：

控制拍摄装置进行放大变焦和/或缩小变焦。

进一步地，所述处理器502将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，具体用于：

将采集到的沿第一方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置放大变焦；

将采集到的第二方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置缩小变焦，其中，第二方向背离第一方向。

进一步地，所述第一方向为头戴式显示设备的机身正面的朝向。

进一步地，所述运动信息包括：速度、加速度、距离中的一种或多种。

进一步地，所述变焦包括光学变焦和数码变焦中的至少一种。

进一步地，所述处理器502将所述运动信息发送给所述无人飞行器时，具体用于：

响应于获取到变焦开启指令，将所述运动信息发送给所述无人飞行器。

进一步地，所述处理器502还用于：

确定当前时刻的第二视角图像中的目标对象与所述拍摄装置或者所述无人飞行器之间的第一距离；

所述处理器502将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，具体用于：

当所述第一距离小于或等于预设的第一距离阈值时，将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦。

进一步地，所述头戴式显示设备包括用于对所述头戴式显示设备周围的环境进行拍摄的拍摄装置，所述处理器502还用于：

当获取到第一显示指令时，显示所述头戴式显示设备的拍摄装置采集到的图像；

所述处理器502显示所述目标视角图像时，具体用于：

当获取到第二显示指令时，显示所述目标视角图像。

进一步地，所述处理器502还用于：

当检测到用户的第一显示操作时，确定获取到所述第一显示指令；

当检测到用户的第二显示操作时，确定获取到所述第二显示指令。

进一步地，所述处理器502还用于：

获取所述无人飞行器所处的工作状态；

根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令。

进一步地，所述处理器502根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令时，具体用于：

当所述工作状态为巡航状态时，确定获取到所述第二显示指令；

当所述工作状态为起飞或者降落状态时，确定获取到所述第一显示指令。

进一步地，所述处理器502还用于：

获取所述无人飞行器与所述头戴式显示设备之间的第二距离；

根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令。

进一步地，所述处理器502根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令时，具体用于：

当所述第二距离小于或等于预设的第二距离阈值时，确定获取到所述第一显示指令；

当所述第二距离大于预设的第二距离阈值时，确定获取到所述第二显示指令。

进一步地，所述飞行状态信息包括以下至少一种：飞行速度、位置、电量、航向、与控制终端或者所述头戴式显示设备的无线连接状态和卫星信号的接收状态。

进一步地，所述拍摄装置包括大广角相机、鱼眼相机、全景相机中的任意一种或多种。

本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中描述的方法，也可实现本发明所对应实施例的设备，在此不再赘述。

所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述头戴式显示设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

一种图像处理方法，其特征在于，应用于头戴式显示设备，所述头戴式显示设备与无人飞行器无线通信连接，所述方法包括：

获取所述无人飞行器的飞行状态信息；

获取所述头戴式显示设备上的运动传感器采集到的姿态信息；

获取第二视角图像，其中，所述第二视角图像是根据所述姿态信息从所述无人飞行器的拍摄装置采集到的第一视角图像中确定的；

将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像；

显示所述目标视角图像。
根据权利要求1所述的方法，其特征在于，所述获取第二视角图像，包括：

获取所述无人飞行器发送的所述第一视角图像；

根据所述姿态信息从所述第一视角图像中确定所述第二视角图像；或者，

将所述姿态信息发送给所述无人飞行器，以使所述无人飞行器根据所述姿态信息从所述第一视角图像中确定出所述第二视角图像；

接收所述无人飞行器发送的所述第二视角图像。
根据权利要求1所述的方法，其特征在于，所述将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像，包括：

确定所述飞行状态信息在所述第二视角图像中的叠加位置；

根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像。
根据权利要求3所述的方法，其特征在于，所述根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像，包括：

生成显示所述飞行状态信息的仪表图像；

根据所述叠加位置将所述仪表图像与所述第二视角图像进行叠加处理，以获取所述目标视角图像。
根据权利要求3所述的方法，其特征在于，所述确定所述飞行状态信息在所述第二视角图像中的叠加位置，包括：

获取在所述头戴式显示设备上接收到的位置选取操作；

确定所述位置选取操作所指示的位置为所述飞行状态信息在所述第二视角图像中的叠加位置。
根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息；

根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸。
根据权利要求6所述的方法，其特征在于，所述根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸，包括：

根据采集到的沿第一方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第一尺寸；

根据采集到的沿第二方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第二尺寸，其中，第二方向背离第一方向，第二尺寸小于第一尺寸。
根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息；

将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集所述第一视角图像。
根据权利要求8所述的方法，其特征在于，所述控制所述拍摄装置变焦，包括：

控制拍摄装置进行放大变焦和/或缩小变焦。
根据权利要求9所述的方法，其特征在于，所述将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，包括：

将采集到的沿第一方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置放大变焦；

将采集到的第二方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置缩小变焦，其中，第二方向背离第一方向。
根据权利要求10所述的方法，其特征在于，所述第一方向为头戴式显示设备的机身正面的朝向。
根据权利要求6或10所述的方法，其特征在于，所述运动信息包括：速度、加速度、距离中的一种或多种。
根据权利要求10所述的方法，其特征在于，所述变焦包括光学变焦和数码变焦中的至少一种。
根据权利要求8所述的方法，其特征在于，所述将所述运动信息发送给所述无人飞行器，包括：

响应于获取到变焦开启指令，将所述运动信息发送给所述无人飞行器。
根据权利要求8-14任一项所述的方法，其特征在于，所述方法还包括：

确定当前时刻的第二视角图像中的目标对象与所述拍摄装置或者所述无人飞行器之间的第一距离；

所述将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，包括：

当所述第一距离小于或等于预设的第一距离阈值时，将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦。
根据权利要求1-15任一项所述的方法，其特征在于，所述头戴式显示设备包括用于对所述头戴式显示设备周围的环境进行拍摄的拍摄装置，所述方法还包括：

当获取到第一显示指令时，显示所述头戴式显示设备的拍摄装置采集到的图像；

所述显示所述目标视角图像，包括：

当获取到第二显示指令时，显示所述目标视角图像。
根据权利要求16所述的方法，其特征在于，所述方法还包括：

当检测到用户的第一显示操作时，确定获取到所述第一显示指令；

当检测到用户的第二显示操作时，确定获取到所述第二显示指令。
根据权利要求16所述的方法，其特征在于，所述方法还包括：

获取所述无人飞行器所处的工作状态；

根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令。
根据权利要求18所述的方法，其特征在于，所述根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令，包括：

当所述工作状态为巡航状态时，确定获取到所述第二显示指令；

当所述工作状态为起飞或者降落状态时，确定获取到所述第一显示指令。
根据权利要求16所述的方法，其特征在于，所述方法还包括：

获取所述无人飞行器与所述头戴式显示设备之间的第二距离；

根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令。
根据权利要求20所述的方法，其特征在于，所述根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令，包括：

当所述第二距离小于或等于预设的第二距离阈值时，确定获取到所述第一显示指令；

当所述第二距离大于预设的第二距离阈值时，确定获取到所述第二显示指令。
根据权利要求1所述的方法，其特征在于，

所述飞行状态信息包括以下至少一种：飞行速度、位置、电量、航向、与控制终端或者所述头戴式显示设备的无线连接状态和卫星信号的接收状态。
根据权利要求1所述的方法，其特征在于，所述拍摄装置包括大广角相机、鱼眼相机、全景相机中的任意一种或多种。
一种头戴式显示设备，其特征在于，所述头戴式显示设备与无人飞行器无线通信连接，所述设备包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：

获取所述无人飞行器的飞行状态信息；

获取所述头戴式显示设备上的运动传感器采集到的姿态信息；

获取第二视角图像，其中，所述第二视角图像是根据所述姿态信息从所述无人飞行器的拍摄装置采集到的第一视角图像中确定的；

将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像；

显示所述目标视角图像。
根据权利要求24所述的设备，其特征在于，所述处理器获取第二视角图像时，具体用于：

获取所述无人飞行器发送的所述第一视角图像；

根据所述姿态信息从所述第一视角图像中确定所述第二视角图像；或者，

将所述姿态信息发送给所述无人飞行器，以使所述无人飞行器根据所述姿态信息从所述第一视角图像中确定出所述第二视角图像；

接收所述无人飞行器发送的所述第二视角图像。
根据权利要求24所述的设备，其特征在于，所述处理器将所述飞行状态信息叠加到所述第二视角图像中，以获取目标视角图像时，具体用于：

确定所述飞行状态信息在所述第二视角图像中的叠加位置；

根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像。
根据权利要求26所述的设备，其特征在于，所述处理器根据所述叠加位置将所述飞行状态信息与所述第二视角图像进行叠加处理，以获取所述目标视角图像时，具体用于：

生成显示所述飞行状态信息的仪表图像；

根据所述叠加位置将所述仪表图像与所述第二视角图像进行叠加处理，以获取所述目标视角图像。
根据权利要求26所述的设备，其特征在于，所述处理器确定所述飞行状态信息在所述第二视角图像中的叠加位置时，具体用于：

获取在所述头戴式显示设备上接收到的位置选取操作；

确定所述位置选取操作所指示的位置为所述飞行状态信息在所述第二视角图像中的叠加位置。
根据权利要求24-28任一项所述的设备，其特征在于，所述处理器还用于：

获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息；

根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸。
根据权利要求29所述的设备，其特征在于，所述处理器根据所述运动信息确定叠加到所述第二视角图像中的所述飞行状态信息占据的区域的尺寸时，具体用于：

根据采集到的沿第一方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第一尺寸；

根据采集到的沿第二方向的平移运动的运动信息，确定所述飞行状态信息占据的区域的尺寸为第二尺寸，其中，第二方向背离第一方向，第二尺寸小于第一尺寸。
根据权利要求24-30任一项所述的设备，其特征在于，所述处理器还用于：

获取所述头戴式显示设备上的运动传感器采集到的平移运动的运动信息；

将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦，以采集所述第一视角图像。
根据权利要求31所述的设备，其特征在于，所述控制所述拍摄装置变焦，包括：

控制拍摄装置进行放大变焦和/或缩小变焦。
根据权利要求32所述的设备，其特征在于，所述处理器将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，具体用于：

将采集到的沿第一方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置放大变焦；

将采集到的第二方向的平移运动的运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置缩小变焦，其中，第二方向背离第一方向。
根据权利要求33所述的设备，其特征在于，所述第一方向为头戴式显示设备的机身正面的朝向。
根据权利要求29或33所述的设备，其特征在于，所述运动信息包括：速度、加速度、距离中的一种或多种。
根据权利要求33所述的设备，其特征在于，所述变焦包括光学变焦和数码变焦中的至少一种。
根据权利要求31所述的设备，其特征在于，所述处理器将所述运动信息发送给所述无人飞行器时，具体用于：

响应于获取到变焦开启指令，将所述运动信息发送给所述无人飞行器。
根据权利要求31-37任一项所述的设备，其特征在于，所述处理器还用于：

确定当前时刻的第二视角图像中的目标对象与所述拍摄装置或者所述无人飞行器之间的第一距离；

所述处理器将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦时，具体用于：

当所述第一距离小于或等于预设的第一距离阈值时，将所述运动信息发送给所述无人飞行器，以使所述无人飞行器根据所述运动信息控制所述拍摄装置变焦。
根据权利要求24-38任一项所述的设备，其特征在于，所述头戴式显示设备包括用于对所述头戴式显示设备周围的环境进行拍摄的拍摄装置，所述处理器还用于：

当获取到第一显示指令时，显示所述头戴式显示设备的拍摄装置采集到的图像；

所述处理器显示所述目标视角图像时，具体用于：

当获取到第二显示指令时，显示所述目标视角图像。
根据权利要求39所述的设备，其特征在于，所述处理器还用于：

当检测到用户的第一显示操作时，确定获取到所述第一显示指令；

当检测到用户的第二显示操作时，确定获取到所述第二显示指令。
根据权利要求39所述的设备，其特征在于，所述处理器还用于：

获取所述无人飞行器所处的工作状态；

根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令。
根据权利要求41所述的设备，其特征在于，所述处理器根据所述工作状态确定是否获取到所述第一显示指令和所述第二显示指令时，具体用于：

当所述工作状态为巡航状态时，确定获取到所述第二显示指令；

当所述工作状态为起飞或者降落状态时，确定获取到所述第一显示指令。
根据权利要求39所述的设备，其特征在于，所述处理器还用于：

获取所述无人飞行器与所述头戴式显示设备之间的第二距离；

根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令。
根据权利要求43所述的设备，其特征在于，所述处理器根据所述第二距离确定是否获取到所述第一显示指令和所述第二显示指令时，具体用于：

当所述第二距离小于或等于预设的第二距离阈值时，确定获取到所述第一显示指令；

当所述第二距离大于预设的第二距离阈值时，确定获取到所述第二显示指令。
根据权利要求24所述的设备，其特征在于，

所述飞行状态信息包括以下至少一种：飞行速度、位置、电量、航向、与控制终端或者所述头戴式显示设备的无线连接状态和卫星信号的接收状态。
根据权利要求24所述的设备，其特征在于，所述拍摄装置包括大广角相机、鱼眼相机、全景相机中的任意一种或多种。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至23任一项所述方法。