WO2022217557A1 - 可移动平台的图像传输方法、可移动平台及可读存储介质 - Google Patents
可移动平台的图像传输方法、可移动平台及可读存储介质 Download PDFInfo
- Publication number
- WO2022217557A1 WO2022217557A1 PCT/CN2021/087602 CN2021087602W WO2022217557A1 WO 2022217557 A1 WO2022217557 A1 WO 2022217557A1 CN 2021087602 W CN2021087602 W CN 2021087602W WO 2022217557 A1 WO2022217557 A1 WO 2022217557A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- image
- encoding
- movable platform
- processor
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000013139 quantization Methods 0.000 claims description 111
- 238000004891 communication Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000002304 esc Anatomy 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
Abstract
一种可移动平台的图像传输方法、可移动平台及可读存储介质,该方法包括:获取目标图像数据,目标图像数据是可移动平台对采集到的实时图像进行编码得到的(S101);在目标图像数据中添加相应的画质标识信息(S102);将携带有画质标识信息的目标图像数据发送给终端设备(S103)。该方法能够保证终端设备显示的图像的画质,便于用户基于画质好的图像来准确控制可移动平台,提高了用户体验和可移动平台的安全性。
Description
本申请涉及图像传输领域,尤其涉及一种可移动平台的图像传输方法、可移动平台及可读存储介质。
目前,可移动平台可以通过无线通信方式将拍摄得到的图像实时传输至终端设备,由终端设备显示传输的图像。然而,在可移动平台与终端设备之间的图传链路质量不好的情况下,图传码流的画质会受到影响,不便于用户准确的控制可移动平台。此外,可移动平台在进行实时图像传输的同时,还会处理其余的任务,例如,录像任务和目标检测任务等,在可移动平台仅有单一图像处理平台的情况下,会导致延时抖动,用户体验不好。
发明内容
基于此,本申请实施例提供了一种可移动平台的图像传输方法、可移动平台及可读存储介质。
第一方面,本申请实施例提供了一种可移动平台的图像传输方法,包括:
获取目标图像数据,所述目标图像数据是所述可移动平台对采集到的实时图像进行编码得到的;
在所述目标图像数据中添加相应的画质标识信息,所述画质标识信息包括第一标识信息或第二标识信息,所述第一标识信息用于表示所述目标图像数据对应的画质不满足预设条件,所述第二标识信息用于表示所述目标图像数据对应的画质满足预设条件;
将携带有所述画质标识信息的目标图像数据发送给终端设备,以供所述终端设备从接收到的目标图像数据中提取所述画质标识信息,若所述画质标识信息为所述第一标识信息,则不显示解码所述目标图像数据得到的图像,若所述画质标识信息为所述第二标识信息,则显示解码所述目标图像数据得到的图像。
本申请实施例提供的图像传输方法,通过在编码得到的目标图像数据中添加第一标识信息或第二标识信息,从而表示目标图像数据对应的画质是满足预设条件,还是不满足预设条件,并将携带有第一标识信息或第二标识信息的目标图像数据发送给终端设备,使得终端设备在检测到目标图像数据携带有第一 标识信息时,不显示解码目标图像数据得到的图像,而在检测到目标图像数据携带有第二标识信息时,显示解码目标图像数据得到的图像,可以保证终端设备显示的图像的画质,便于用户基于画质好的图像来准确控制可移动平台,提高了用户体验和可移动平台的安全性。
第二方面,本申请实施例还提供了一种可移动平台的图像传输方法,包括:
获取第一图像数据,所述第一图像数据由所述可移动平台中的第一图像处理器对采集到的实时图像进行编码得到的;
向与所述可移动平台通信连接的终端设备发送所述第一图像数据;
获取所述第一图像处理器的剩余计算资源;
若所述剩余计算资源小于预设计算资源,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对采集到的实时图像进行编码得到的。
本申请实施例提供的图像传输方法,在由第一图像处理器对采集到的图像进行编码的情况下,获取第一图像处理器编码得到的第一图像数据,并向终端设备发送第一图像数据,然后获取第一图像处理器的剩余计算资源,若该剩余计算资源小于预设计算资源,则获取通信处理器编码得到的第二图像数据,并向终端设备发送第二图像数据,进而将编码的处理器由第一图像处理器切换为了通信处理器,可以保证第一图像处理器的正常运行,也可以保证编码得到的图像数据的延时和画质,使得终端设备显示的图像的延时和画质能够满足用户的需求,便于用户准确的控制可移动平台,提高了用户体验和可移动平台的安全性。
第三方面,本申请实施例还提供了一种可移动平台,包括拍摄装置、存储器、一个或多个处理器;
所述拍摄装置用于采集实时图像;
所述存储器用于存储计算机程序;
所述一个或多个处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现以下步骤:
获取目标图像数据,所述目标图像数据是所述可移动平台对所述拍摄装置采集到的实时图像进行编码得到的;
在所述目标图像数据中添加相应的画质标识信息,所述画质标识信息包括第一标识信息或第二标识信息,所述第一标识信息用于表示所述目标图像数据对应的画质不满足预设条件,所述第二标识信息用于表示所述目标图像数据对 应的画质满足预设条件;
将携带有所述画质标识信息的目标图像数据发送给终端设备,以供所述终端设备从接收到的目标图像数据中提取所述画质标识信息,若所述画质标识信息为所述第一标识信息,则不显示解码所述目标图像数据得到的图像,若所述画质标识信息为所述第二标识信息,则显示解码所述目标图像数据得到的图像。
第四方面,本申请实施例还提供了一种可移动平台,包括拍摄装置、存储器、一个或多个处理器;
所述拍摄装置用于采集实时图像;
所述存储器用于存储计算机程序;
所述一个或多个处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现以下步骤:
获取第一图像数据,所述第一图像数据由所述可移动平台中的第一图像处理器对所述拍摄装置采集到的实时图像进行编码得到的;
向与所述可移动平台通信连接的终端设备发送所述第一图像数据;
获取所述第一图像处理器的剩余计算资源;
若所述剩余计算资源小于预设计算资源,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对所述拍摄装置采集到的实时图像进行编码得到的。
第五方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上所述的可移动平台的图像传输方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的图像传输方法的一场景示意图;
图2是本申请实施例的可移动平台中的各组件之间的一连接示意图;
图3是本申请实施例的可移动平台中的各组件之间的另一连接示意图;
图4是本申请实施例的可移动平台中的各组件之间的又一连接示意图;
图5是本申请实施例提供的一种可移动平台的图像传输方法的步骤示意流程图;
图6是本申请实施例提供的另一种可移动平台的图像传输方法的步骤示意流程图;
图7是本申请实施例提供的一种可移动平台的结构示意性框图;
图8是本申请实施例提供的一种可移动平台的结构示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
目前,可移动平台可以通过无线通信方式将拍摄得到的图像实时传输至终端设备,由终端设备显示传输的图像,使得用户能够基于显示的图像实时的知晓障碍物的位置,便于用户控制可移动平台避开障碍物。然而,可移动平台在处理图传任务的同时,还会处理其余的任务,例如,录像任务和目标检测任务等,在这种情况下,会导致图像数据出现延时抖动,另外,在可移动平台与终端设备之间的图传链路的信道质量不好的情况下,图像数据的画质也会受到影响,进而影响终端设备显示的图像的画质和延时,不便于用户准确的控制可移动平台,用户体验不好。
为解决上述问题,本申请实施例提供了一种可移动平台的图像传输方法、可移动平台及可读存储介质,该图像传输方法通过在编码得到的目标图像数据中添加第一标识信息或第二标识信息,从而表示目标图像数据对应的画质是满足预设条件,还是不满足预设条件,并将携带有第一标识信息或第二标识信息的目标图像数据发送给终端设备,使得终端设备在检测到目标图像数据携带有第一标识信息时,不显示解码目标图像数据得到的图像,而在检测到目标图像 数据携带有第二标识信息时,显示解码目标图像数据得到的图像,可以保证终端设备显示的图像的画质,便于用户基于画质好的图像来准确控制可移动平台,提高了用户体验和可移动平台的安全性。
请参阅图1,图1是实施本申请实施例提供的图像传输方法的一场景示意图。如图1所示,该场景包括可移动平台100和终端设备200,可移动平台与终端设备200通信连接,可移动平台100包括平台本体110、动力系统120、拍摄装置130和控制系统(图1未示出),动力系统120和拍摄装置130设于平台本体110上,控制系统设于平台本体110内。
其中,动力系统120用于为可移动平台100提供移动动力,拍摄装置130可以耦合搭载在可移动平台100的云台上,也可以一体设置在可移动平台100的平台本体110上,用于采集实时图像,拍摄装置130具体可以包括一个摄像头,即单目拍摄方案;也可以包括两个摄像头,即双目拍摄方案。当然,拍摄装置130的数量也可以为一个或以上,在拍摄装置130包括多个时,可以分布在平台本体110的多个位置,多个拍摄装置130之间可以独立工作,也可以联动工作。
其中,动力系统120可以包括一个或多个螺旋桨121、与一个或多个螺旋桨相对应的一个或多个电机122、一个或多个电子调速器(简称为电调)。电机122连接在电子调速器与螺旋桨121之间,电机122和螺旋桨121设置在可移动平台100的平台本体110上;电子调速器用于接收控制装置产生的驱动信号,并根据驱动信号提供驱动电流给电机122,以控制电机122的转速。电机122用于驱动螺旋桨121旋转,从而为可移动平台100的移动提供动力,该动力使得可移动平台100能够实现一个或多个自由度的运动。在某些实施例中,可移动平台100可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解,电机122可以是直流电机,也可以交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。
其中,控制系统可以包括一个或多个处理器和传感系统。传感系统可以用于测量无人机的位姿信息和运动信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等其中,位姿信息即可移动平台100在空间的位置信息和姿态信息。传感系统例如可以包括陀螺仪、超声波传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。一个或多个处理器用于控制可移 动平台100的运动,例如,可以根据传感系统测量的位姿信息和/或位姿信息控制可移动平台100的运动。应理解,一个或多个处理器可以按照预先编好的程序指令自动对可移动平台100进行控制。
在一实施例中,一个或多个处理器用于获取目标图像数据,该目标图像数据是可移动平台100对采集到的实时图像进行编码得到的;在该目标图像数据中添加相应的画质标识信息,该画质标识信息包括第一标识信息或第二标识信息,第一标识信息用于表示目标图像数据对应的画质不满足预设条件,第二标识信息用于表示目标图像数据对应的画质满足预设条件;将携带有画质标识信息的目标图像数据发送给终端设备,以供终端设备200从接收到的目标图像数据中提取画质标识信息,若画质标识信息为第一标识信息,则不显示解码目标图像数据得到的图像,若画质标识信息为第二标识信息,则显示解码目标图像数据得到的图像。
其中,终端设备200与显示装置210通信连接,显示装置210用于显示对可移动平台发送的图像数据进行解码得到的图像。需要说明的是,显示装置210包括设置在终端设备200上的显示屏或者独立于终端设备200的显示器,独立于终端设备200的显示器可以包括手机、平板电脑或者个人电脑等,或者也可以是带有显示屏的其他电子设备。其中,该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
请参阅图2,图2是本申请实施例的可移动平台中的各组件之间的一连接示意图。如图2所示,拍摄装置130与第一图像处理器140连接,第一图像处理器140与通信处理器150和存储器160连接,第一图像处理器140包括预处理模块141和第一编码器142,通信处理器150包括第二编码器151。通过位于通信处理器150中的第二编码器151来对图像进行编码,可以减少核间延时,进而降低图像传输的延时,而先通过预处理模块141对图像进行预处理,再通过第一编码器142对预处理后的图像进行编码,可以提高图像数据的画质。
其中,第一图像处理器140用于获取拍摄装置130采集到的实时图像,并通过预处理模块141对该实时图像进行预处理,然后将预处理后的实时图像发送给存储器160进行存储,并将预处理后的实时图像发送给第一编码器142,通过第一编码器142对预处理后的实时图像进行编码,得到第一图像数据,并将第一图像数据发送给通信处理器150,第一图像处理器140还用于将拍摄装置130采集到的实时图像逐行的发送给通信处理器150,通信处理器150通过第二编码器151对该实时图像进行编码,得到第二图像数据。预处理包括图像 渲染、图像降噪、图像亮度调整和焦点修正中的至少一项。
在一实施例中,第一图像处理器140包括第一接口和第二接口,第一图像处理器140通过第一接口将第一编码器142生成的第一图像数据发送给通信处理器150,通过第二接口将拍摄装置130采集到的实时图像逐行的发送给通信处理器150。其中,第一接口包括通用串行总线(Universal Serial Bus,USB)接口,第二接口包括通用串行总线(Universal Serial Bus,USB)接口和移动产业处理器接口(Mobile Industry Processor Interface,MIPI)中的任一项。通过MIPI接口可以实现图像的逐行传输。
可以理解的是,通信处理器150也可以直接获取拍摄装置130采集到的实时图像,例如拍摄装置130设置有MIPI接口,拍摄装置130直接通过该MIPI接口将采集到的实时图像逐行的发送给通信处理器150。
请参阅图3,图3是本申请实施例的可移动平台中的各组件之间的另一连接示意图。如图3所示,第一图像处理器140通过预处理模块141对拍摄装置130采集到的实时图像进行预处理,并将预处理后的实时图像发送给通信处理器150,通信处理器150通过第二编码器151对预处理后的实时图像进行编码,以生成第二图像数据,第一图像处理器140通过第三编码器143对预处理后的实时图像进行编码,得到录像码流,并将录像码流传输给存储器160进行存储。
在一实施例中,第一图像处理器140在通过第一编码器141编码生成第一图像数据的过程中,还可以通过第三编码器143编码生成录像码流,也可以基于拍摄装置采集的实时图像控制可移动平台跟踪拍摄目标对象,由于第一图像处理器140的计算资源是有限的,在同时编码生成第一图像数据、录像码流和控制可移动平台跟踪拍摄目标对象时,会导致第一图像处理器140的处理负荷超过极限,因此,在第一图像处理器140的剩余计算资源不足时,可以通过第一图像处理器140继续的编码生成录像码流和/或控制可移动平台跟踪拍摄目标对象,而通过通信处理器150编码生成第二图像数据,从而可以解决第一图像处理器140的处理负荷超过极限的问题,保证图像传输的低延时、稳定性和画质,也可以保证录像码流的规格。
在一实施例中,第一图像处理器140在同时编码生成第一图像数据、录像码流和控制可移动平台跟踪拍摄目标对象时,由于第一图像处理器140的计算资源的复用,容易导致第一图像处理器140编码的第一图像数据的延时增加和抖动的问题,由于通信处理器150不涉及对录像码流和跟踪拍摄的处理,通信处理器150生成的第二图像数据的延时较低,且抖动较少,因此,在用户选择 低延迟图传编码方式时,将编码的第一图像处理器140切换为通信处理器150,即通过第一图像处理器140编码生成录像码流和/或控制可移动平台跟踪拍摄目标对象,而通过通信处理器150编码生成第二图像数据,保证图像传输的低延时、稳定性和画质,也可以保证录像码流的规格。
请参阅图4,图4是本申请实施例的可移动平台中的各组件之间的又一连接示意图。如图4所示,拍摄装置130与第一图像处理器140连接,第一图像处理器140与第二图像处理器170、通信处理器150和存储器160连接,第二图像处理器170与通信处理器150连接,第一图像处理器140包括预处理模块141、第一编码器142,第二图像处理器170包括第二编码器171。
其中,第一图像处理器140用于将拍摄装置130采集到的实时图像发送给第二图像处理器170,并对拍摄装置130采集到的实时图像进行预处理;第一图像处理器140还用于通过第一编码器142对预处理后的实时图像进行编码,以生成第一图像数据,并将第一图像数据发送给通信处理器150;第二图像处理器170用于通过第二编码器171对接收到的实时图像进行编码,以生成第二图像数据,并将第二图像数据发送给通信处理器150;通信处理器150用于获取第一图像处理器140发送的所述第一图像数据和第二图像处理器170发送的第二图像数据。
可以理解的是,第二编码器171也可以直接获取拍摄装置130采集到的实时图像,例如拍摄装置130设置有MIPI接口,拍摄装置130直接通过该MIPI接口将采集到的实时图像逐行的发送给第二编码器171。
其中,可移动平台100包括无人机、无人船、可移动机器人、智能驾驶汽车等,无人机可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然,也可以是固定翼无人机,还可以是旋翼型与固定翼无人机的组合,在此不作限定。终端设备200可以包括但不限于:智能电话/手机、平板电脑、个人数字助理(PDA)、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如,手表、眼镜、手套、头饰(例如,帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。该终端设备可以是手持终端,终端设备可以是便携式的。该终端设备可以由人类用户携带。在一些情况下,终端设备可以远离人类用户,并且用户可以使用无线和/或有线通信来控制终端设备。
以下,将结合图1、2、3、4中的场景对本申请的实施例提供的可移动平台的图像传输方法进行详细介绍。需知,图1、2、3、4中的场景仅用于解释本申请实施例提供的可移动平台的图像传输方法,但并不构成对本申请实施例提供的可移动平台的图像传输方法应用场景的限定。
请参阅图5,图5是本申请实施例提供的一种可移动平台的图像传输方法的步骤示意流程图。
如图5所示,该可移动平台的图像传输方法可以包括步骤S101至步骤S103。
步骤S101、获取目标图像数据,目标图像数据是可移动平台对采集到的实时图像进行编码得到的。
其中,目标图像数据可以包括第一目标图像数据或第二目标图像数据,第一目标图像数据是基于预设编码码率对可移动平台采集到的实时图像进行帧间编码得到的,第二目标图像数据是基于预设编码码率对可移动平台采集到的实时图像进行帧内编码得到的。该预设编码码率可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,获取终端设备发送的反馈信息,该反馈信息用于指示可移动平台对实时图像的编码方式,该编码方式包括帧间编码或帧内编码;若该反馈信息为正确反馈信息,则获取第一目标图像数据,第一目标图像数据是基于预设编码码率对采集到的实时图像进行帧间编码得到的。其中,正确反馈信息用于指示可移动平台与终端设备之间的图像传输没有丢包或没有发生错误,可以通过帧间编码的方式对图像进行编码。通过在可移动平台与终端设备之间的图像传输正常的情况下,基于设置的编码码率对图像进行帧间编码,保证编码得到的图像的画质稳定性,使得终端设备可以流畅稳定的显示可移动平台传输的图像,提高用户体验。
在一实施例中,若该反馈信息为错误反馈信息,则获取候选图像数据,该候选图像数据是基于帧内编码算法对采集到的实时图像进行帧内编码得到的;若该候选图像数据的编码码率位于预设编码码率范围,则将该候选图像数据确定为第二目标图像数据;若该候选图像数据的编码码率不位于预设编码码率范围,则根据候选图像数据的编码码率和量化参数,确定目标量化参数;获取第二目标图像数据,第二目标图像数据是基于目标量化参数对采集到的实时图像进行帧内编码得到的。其中,错误反馈信息用于指示可移动平台与终端设备之间的图像传输发生丢包或出现错误,需要发送容错帧来恢复图传,也即需要基于帧内编码算法对图像进行编码。
通过在可移动平台与终端设备之间的图像传输发生丢包或出现错误时,首先通过对采集到的实时图像进行第一次帧内编码,得到候选图像数据,如果候选图像数据的编码码率不位于预设编码码率范围,则基于候选图像数据的编码码率和量化参数,调整第二次帧内编码所使用的目标量化参数,并基于该目标量化参数对对采集到的实时图像进行帧内编码得到第二目标图像数据,通过两次帧内编码,可以保证编码后的图像数据的编码码率的稳定性,避免不同内容的编码出来的图像数据不会与预期值相差较大,减少丢包的概率,可以使得图传尽快的恢复。
在一实施例中,预设编码码率范围是根据预设编码码率确定的。示例性的,预设编码码率范围包括第一端点码率和第二端点码率,第一端点码率小于第二端点码率,第一端点码率与预设编码码率之间的偏差大于或等于第一偏差,第二端点码率与预设编码码率之间的偏差小于或等于第二偏差。例如,预设编码码率为N bps,第一端点码率为N
1bps,第二端点码率为N
2bps,N
1=N,N
2=2*N,也即帧内编码时的编码码率控制在帧间编码时的编码码率的两倍以内。通过控制帧内编码时的编码码率与帧间编码时的编码码率之间的偏差,可以保证编码后的图像的画质稳定性,使得终端设备可以流畅稳定的显示可移动平台传输的图像,提高用户体验。
在一实施例中,该候选图像数据是基于可移动平台编码上一行图像或上一帧图像所使用的平均量化参数对采集到的实时图像进行帧内编码得到的,也即在进行帧间编码时,获取可移动平台编码上一行图像或上一帧图像所使用的平均量化参数,再根据该平均量化参数对采集到的实时图像进行帧内编码得到候选图像数据。通过参考可移动平台编码上一行图像或上一帧图像所使用的平均量化参数来编码实时图像,可以使得编码后的图像数据的编码码率更快的接近预设编码码率。
在一实施例中,根据候选图像数据的编码码率和量化参数,确定目标量化参数的方式可以为:若该候选图像数据的编码码率小于预设编码码率范围的第一端点码率,则调低该量化参数,得到目标量化参数;若该候选图像数据的编码码率大于预设编码码率范围的第二端点码率,则调高该量化参数,得到目标量化参数。通过调低量化参数,可以使得后续基于调低的量化参数编码图像得到的图像数据的编码码率接近或者达到第一端点码率,而通过调高量化参数,可以使得后续基于调高的量化参数编码图像得到的图像数据的编码码率接近或者达到第二端点码率,减少编码后的图像数据的编码码率之间的偏差,保证编 码后的图像的画质稳定性,使得终端设备可以流畅稳定的显示可移动平台传输的图像,提高用户体验。
步骤S102、在目标图像数据中添加相应的画质标识信息。
其中,该画质标识信息包括第一标识信息或第二标识信息,第一标识信息用于表示目标图像数据对应的画质不满足预设条件,第二标识信息用于表示目标图像数据对应的画质满足预设条件,预设条件包括目标图像数据的量化参数小于或等于量化参数阈值、目标图像数据的压缩率小于或等于压缩率阈值、目标图像数据的编码码率大于编码码率阈值、目标图像数据对应的分辨率大于分辨率阈值中的至少一项。
在一实施例中,根据目标图像数据的量化参数在目标图像数据中添加相应的画质标识信息。示例性的,获取量化参数阈值,若目标图像数据的量化参数大于量化参数阈值,则在目标图像数据中添加第一标识信息,若目标图像数据的量化参数小于或等于量化参数阈值,则在目标图像数据中添加第二标识信息。其中,该量化参数阈值可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,根据目标图像数据的编码码率在目标图像数据中添加相应的画质标识信息。示例性的,获取编码码率阈值,若目标图像数据的编码码率大于编码码率阈值,则在目标图像数据中添加第一标识信息,若目标图像数据的编码码率小于或等于编码码率阈值,则在目标图像数据中添加第二标识信息。其中,该编码码率阈值可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,根据目标图像数据的分辨率在目标图像数据中添加相应的画质标识信息。示例性的,获取分辨率阈值,若目标图像数据的分辨率大于分辨率阈值,则在目标图像数据中添加第一标识信息,若目标图像数据的分辨率小于或等于分辨率阈值,则在目标图像数据中添加第二标识信息。其中,该分辨率阈值可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,确定目标图像数据对应的编码类型信息,并根据该编码类型信息确定量化参数阈值。其中,不同编码类型信息对应的量化参数阈值不同,该编码类型信息包括第一编码类型信息或第二编码类型信息,第一编码类型信息用于表示目标图像数据是基于帧内编码算法得到的,第二编码类型信息用于表示目标图像数据是基于帧间编码算法得到的,第一编码类型信息对应的量化参数阈值与第二编码类型信息对应的量化参数阈值不同。可选的,第一编码类 型信息对应的量化参数阈值大于第二编码类型信息对应的量化参数阈值。
在一实施例中,确定目标图像数据对应的编码类型信息;若该编码类型信息为第一编码类型信息,则在该目标图像数据中添加相应的画质标识信息;若该编码类型信息为第二编码类型信息,则获取历史帧号和目标图像数据的当前帧号,该历史帧号为上一次出现编码类型信息为第一编码类型信息的编码后的图像数据的帧号;若当前帧号与历史帧号之间的帧号间隔小于或等于预设帧号间隔,则在该目标图像数据中添加相应的画质标识信息。其中,预设帧号间隔可基于实际情况进行设置,本申请实施例对此不做具体限定。
一般情况下,在可移动平台与终端设备之间的图像传输异常时,会对图像进行帧内编码,得到容错帧,然后基于容错帧来恢复图像传输,容错帧的画质较大概率偏低,且在恢复图像传输后,编码得到的多帧图像的画质也大概率偏低,因此,通过在确定目标图像数据为基于帧内编码得到的图像数据时,在该目标图像数据中添加相应的画质标识信息,而在确定目标图像数据为基于帧间编码得到的图像数据时,根据目标图像数据的当前帧号和历史帧号来选择性的在该目标图像数据中添加相应的画质标识信息,可以使得终端设备在接收到携带有画质标识信息的目标图像数据时,基于画质标识信息选择性的显示或不显示解码目标图像数据得到的图像,可以保证终端设备显示的图像的画质稳定,使得用户能够观看清晰的图像,便于用户控制可移动平台。
步骤S103、将携带有画质标识信息的目标图像数据发送给终端设备。
终端设备在接收到携带有画质标识信息的目标图像数据时,从接收到的目标图像数据中提取该画质标识信息,若该画质标识信息为第一标识信息,则可以表示解码目标图像数据得到的图像的画质不满足预设条件,因此,不显示解码目标图像数据得到的图像,若该画质标识信息为第二标识信息,则可以表示解码目标图像数据得到的图像的画质满足预设条件,则显示解码目标图像数据得到的图像,可以保证终端设备显示的图像的画质,使得用户能够观看清晰的图像,便于用户控制可移动平台。
在一实施例中,终端设备从接收到的目标图像数据中提取该画质标识信息,若该画质标识信息为第一标识信息,则获取终端设备连续不显示图像的帧数,若终端设备连续不显示图像的帧数大于或等于预设帧数,则显示解码目标图像数据得到的图像,若终端设备连续不显示图像的帧数小于预设帧数,则不显示解码目标图像数据得到的图像。其中,预设帧数可基于实际情况进行设置,本申请实施例对此不做具体限定,例如,预设帧数为3帧、5帧、8帧、10帧等。 通过在终端设备连续不显示图像的帧数大于或等于设定的帧数时,显示解码目标图像数据得到的图像,减少终端设备的卡顿时间。
在一实施例中,目标图像数据包括第一图像数据或第二图像数据,可移动平台包括拍摄装置、第一图像处理器和通信处理器,拍摄装置与第一图像处理器连接,第一图像处理器与通信处理器连接。其中,第一图像处理器包括第一编码器,第一编码器用于编码生成第一图像数据,通信处理器包括第二编码器,第二编码器用于编码生成第二图像数据。第一图像处理器包括第一接口和第二接口,第一接口用于将第一图像数据发送给通信处理器,第二接口用于将可移动平台采集到的实时图像发送给通信处理器。可选的,第一接口包括通用串行总线USB接口,第二接口包括通用串行总线USB接口和移动产业处理器MIPI接口中的任一项。
在一实施例中,获取第一图像数据,该第一图像数据是由可移动平台中的第一图像处理器对实时图像进行编码得到的;在第一图像数据中添加相应的画质标识信息;将携带有画质标识信息的第一图像数据发送给终端设备;若检测到触发的编码切换指令,则获取第二图像数据,第二图像数据是由可移动平台中的通信处理器对实时图像进行编码得到的;在第二图像数据中添加相应的画面标识信息;将携带有画质标识信息的第二图像数据发送给终端设备。通过提供两个具备编码功能的处理器,使得编码图像传输的处理器可以基于需要进行切换,可以满足用户对图像传输的延时和画质的需求,极大的提高了用户体验。
在一实施例中,获取第一图像处理器的剩余计算资源;若剩余计算资源小于预设计算资源,则生成编码切换指令。其中,预设计算资源可基于实际情况进行设置,本申请实施例对此不做具体限定。第一图像处理器为默认对实时图像进行编码的处理器,但第一图像处理器在编码生成第一图像数据的同时,还需要编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,在第一图像处理器的计算资源足够的情况下,可以由第一图像处理器对实时图像进行编码生成第一图像数据。
由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,会导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在第一图像处理器的剩余计算资源小于预设计算资源时,生成编码切换指令,从而将图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,而由第一图像处理器继续编码生 成录像码流和/或处理与跟踪拍摄相关的图像处理任务,这样既可以保证图像传输的低延时、稳定性和画质,又可以保证录像码流的高规格和跟踪拍摄的稳定性,极大的提高了用户体验。
在一实施例中,若检测到终端设备发送的录像指令或跟踪拍摄指令,则生成编码切换指令。其中,由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,会导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在检测到录像指令或跟踪拍摄指令时,生成编码切换指令,从而提前的将图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,这样不会引起第一图像处理器的处理负荷超过极限,同时能够一边图像传输的低延时、稳定性和画质,另一边也可以保证录像码流的高规格和跟踪拍摄的稳定性。
在一实施例中,若获取到终端设备发送的低延时标识,则生成编码切换指令,该低延时标识是根据用户在人机交互页面中的操作生成的,用于指示可移动平台向终端设备发送延时满足预设延时条件的图像数据。其中,预设延时条件可基于实际情况进行设置,本申请实施例对此不做具体限定。通过在检测到需要向终端设备发送延时满足预设延时条件的图像数据时,生成编码切换指令,从而将图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,由于图像传输的编码任务是直接由通信处理器来完成的,减少了核间传输延时,进而可以保证图像传输的低延时。
在一实施例中,在获取到第一图像数据和第二图像数据时,指示第一图像处理器停止编码生成第一图像数据。由于图像传输的编码任务的处理器切换是需要时间的,因此,在检测到编码切换指令时,第一图像处理器继续编码生成第一图像数据,同时第二图像处理器开始编码生成第二图像数据,然后在获取到第一图像数据和第二图像数据时,则指示第一图像处理器停止编码生成第一图像数据,从而无缝的完成编码切换。
在一实施例中,第一图像处理器还包括预处理模块和第三编码器,预处理模块与第三编码器连接,预处理模块用于对可移动平台采集的实时图像进行预处理,预处理包括图像渲染、亮度调整和焦点修正中的至少一项;第三编码器用于对预处理后的实时图像进行编码得到录像码流,第一编码器还用于对预处理后的实时图像进行编码得到第一图像数据。通过对可移动平台采集的实时图像进行预处理,再对预处理后的图像进行编码生成第一图像数据,可以提高第 一图像数据的画质。
在一实施例中,获取第一图像数据,该第一图像数据是由可移动平台中的第一图像处理器对实时图像进行编码得到的;在第一图像数据中添加相应的画质标识信息;将携带有画质标识信息的第一图像数据发送给终端设备;若检测到触发的编码切换指令,则获取第二图像数据,第二图像数据是由可移动平台中的第二图像处理器对实时图像进行编码得到的;在第二图像数据中添加相应的画面标识信息;将携带有画质标识信息的第二图像数据发送给终端设备。通过提供两个具备编码功能的处理器,使得编码图像传输的处理器可以基于需要进行切换,可以满足用户对图像传输的延时和画质的需求,极大的提高了用户体验。
可以理解的是,由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在第一图像处理器的剩余计算资源小于预设计算资源时,生成编码切换指令,从而将图像传输的编码任务由第一图像处理器切换到第二图像处理器进行处理,而由第一图像处理器继续编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,这样既可以保证图像传输的低延时、稳定性和画质,又可以保证录像码流的高规格和跟踪拍摄的稳定性,极大的提高了用户体验。
可以理解的是,由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在检测到录像指令或跟踪拍摄指令时,生成编码切换指令,从而提前的将图像传输的编码任务由第一图像处理器切换到第二图像处理器进行处理,这样不会引起第一图像处理器的处理负荷超过极限,同时能够一边图像传输的低延时、稳定性和画质,另一边也可以保证录像码流的高规格和跟踪拍摄的稳定性。
在一实施例中,可移动平台的拍摄装置与第一图像处理器连接,第一图像处理器分别与第二图像处理器和通信处理器连接,第一图像处理器包括第一编码器,第二图像处理器包括第二编码器;第一图像处理器用于将拍摄装置采集到的实时图像发送给第二编码器,并对拍摄装置采集到的实时图像进行预处理;第一编码器用于对预处理后的实时图像进行编码,以生成第一图像数据,并将 第一图像数据发送给通信处理器;第二编码器用于对接收到的实时图像进行编码,以生成第二图像数据,并将第二图像数据发送给通信处理器。
在一实施例中,第一图像数据对应的分辨率高于第二图像数据对应的分辨率。第二图像数据对应的延时低于第一图像数据对应的延时。第二图像数据的压缩率小于第一图像数据的压缩率。第二图像数据的数据量大于第一图像数据的数据量。第二图像数据的帧率大于第一图像数据的帧率。
可以理解的是,上述步骤可以部分由第一图像处理器执行、部分由通信处理器执行,也可以由第一图像处理器或通信处理器单独执行,也可以由除了第一图像处理器和通信处理器之外的处理器参与执行,本申请实施例对此不做具体限定。
上述实施例提供的图像传输方法,通过在编码得到的目标图像数据中添加第一标识信息或第二标识信息,从而表示目标图像数据对应的画质是满足预设条件,还是不满足预设条件,并将携带有第一标识信息或第二标识信息的目标图像数据发送给终端设备,使得终端设备在检测到目标图像数据携带有第一标识信息时,不显示解码目标图像数据得到的图像,而在检测到目标图像数据携带有第二标识信息时,显示解码目标图像数据得到的图像,可以保证终端设备显示的图像的画质,便于用户基于画质好的图像来准确控制可移动平台,提高了用户体验和可移动平台的安全性。
请参阅图6,图6是本申请实施例提供的另一种可移动平台的图像传输方法的步骤示意流程图。
如图6所示,该可移动平台的图像传输方法包括步骤S201至S204。
步骤S201、获取第一图像数据,第一图像数据由可移动平台中的第一图像处理器对采集到的实时图像进行编码得到的;
步骤S202、向与可移动平台通信连接的终端设备发送第一图像数据;
步骤S203、获取第一图像处理器的剩余计算资源;
步骤S204、若剩余计算资源小于预设计算资源,则获取第二图像数据,并向终端设备发送第二图像数据,第二图像数据是由可移动平台中的通信处理器对采集到的实时图像进行编码得到的。
其中,第一图像处理器为默认对实时图像进行编码的处理器,但第一图像处理器在编码生成第一图像数据的同时,还需要编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,在第一图像处理器的计算资源足够的情况下,可以由第一图像处理器对实时图像进行编码生成第一图像数据,即若第一图像 处理器的剩余计算资源大于或等于预设计算资源,则继续获取第一图像数据,并向终端设备发送第一图像数据。
由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在第一图像处理器的剩余计算资源小于预设计算资源时,将图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,而由第一图像处理器继续编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,这样既可以保证图像传输的低延时、稳定性和画质,又可以保证录像码流的高规格和跟踪拍摄的稳定性,提高了用户体验。
在一实施例中,获取第一图像处理器的剩余计算资源的方式可以为:获取终端设备发送的录像指令或跟踪拍摄指令;在检测到第一图像处理器响应录像指令或跟踪拍摄指令后,获取第一图像处理器的剩余计算资源。通过在第一图像处理器响应录像指令或跟踪拍摄指令后,再获取第一图像处理器的剩余计算资源,可以保证获取到的第一图像处理器的剩余计算资源的准确性。
在一实施例中,获取第一图像数据,第一图像数据由可移动平台中的第一图像处理器对采集到的实时图像进行编码得到的;向与可移动平台通信连接的终端设备发送第一图像数据;若获取到终端设备发送的低延时标识,则获取第二图像数据,并向终端设备发送第二图像数据,低延时标识是根据用户在人机交互页面中的操作生成的,用于指示可移动平台向终端设备发送延时满足预设延时条件的图像数据。通过在检测到需要向终端设备发送延时满足预设延时条件的图像数据时,将图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,由于图像传输的编码任务是直接由通信处理器来完成的,减少了核间传输延时,进而可以保证图像传输的低延时。
在一实施例中,获取第一图像数据,第一图像数据由可移动平台中的第一图像处理器对采集到的实时图像进行编码得到的;向与可移动平台通信连接的终端设备发送第一图像数据;若检测到终端设备发送的录像指令或跟踪拍摄指令,则获取第二图像数据,并向终端设备发送第二图像数据。由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在检测到录像指令或跟踪拍摄指令时,提前的将 图像传输的编码任务由第一图像处理器切换到通信处理器进行处理,这样不会引起第一图像处理器的处理负荷超过极限,同时能够一边图像传输的低延时、稳定性和画质,另一边也可以保证录像码流的高规格和跟踪拍摄的稳定性。
在一实施例中,在获取到第一图像数据和第二图像数据时,指示第一图像处理器停止编码生成第一图像数据。由于图像传输的编码任务的处理器切换是需要时间的,因此,在检测到编码切换指令时,第一图像处理器继续编码生成第一图像数据,同时第二图像处理器开始编码生成第二图像数据,然后在获取到第一图像数据和第二图像数据时,则指示第一图像处理器停止编码生成第一图像数据,从而无缝的完成编码切换。
在一实施例中,第一图像处理器还包括预处理模块和第三编码器,预处理模块与第三编码器连接,预处理模块用于对可移动平台采集的实时图像进行预处理,预处理包括图像渲染、亮度调整和焦点修正中的至少一项;第三编码器用于对预处理后的实时图像进行编码得到录像码流,第一编码器还用于对预处理后的实时图像进行编码得到第一图像数据。通过对可移动平台采集的实时图像进行预处理,再对预处理后的图像进行编码生成第一图像数据,可以提高第一图像数据的画质。
在一实施例中,第二图像数据是由可移动平台中的第二图像处理器对采集到的实时图像进行编码得到的。可以理解的是,由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在第一图像处理器的剩余计算资源小于预设计算资源时,将图像传输的编码任务由第一图像处理器切换到第二图像处理器进行处理,而由第一图像处理器继续编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,这样既可以保证图像传输的低延时、稳定性和画质,又可以保证录像码流的高规格和跟踪拍摄的稳定性,极大的提高了用户体验。
可以理解的是,由于第一图像处理器在编码生成第一图像数据的同时,还分时复用的编码生成录像码流和/或处理与跟踪拍摄相关的图像处理任务,会导致第一图像处理器的处理负荷超过极限,进而导致图像传输的延时增加和抖动,也没有办法保证录像码流的高规格和跟踪拍摄的稳定性,因此,在检测到录像指令或跟踪拍摄指令时,提前的将图像传输的编码任务由第一图像处理器切换到第二图像处理器进行处理,这样不会引起第一图像处理器的处理负荷超过极 限,同时能够一边图像传输的低延时、稳定性和画质,另一边也可以保证录像码流的高规格和跟踪拍摄的稳定性。
可以理解的是,上述步骤可以部分由第一图像处理器执行、部分由通信处理器执行,也可以由第一图像处理器或通信处理器单独执行,也可以由除了第一图像处理器和通信处理器之外的处理器参与执行,本申请实施例对此不做具体限定。
上述实施例提供的可移动平台的图像传输方法,在由第一图像处理器对采集到的图像进行编码的情况下,获取第一图像处理器编码得到的第一图像数据,并向终端设备发送第一图像数据,然后获取第一图像处理器的剩余计算资源,若该剩余计算资源小于预设计算资源,则获取通信处理器编码得到的第二图像数据,并向终端设备发送第二图像数据,进而将编码的处理器由第一图像处理器切换为了通信处理器,可以保证第一图像处理器的正常运行,也可以保证编码得到的图像数据的延时和画质,使得终端设备显示的图像的延时和画质能够满足用户的需求,便于用户准确的控制可移动平台,提高了用户体验和可移动平台的安全性。
请参阅图7,图7是本申请实施例提供的一种可移动平台的结构示意性框图。
如图7所示,该可移动平台300包括拍摄装置310、存储器320、一个或多个处理器330,拍摄装置310、存储器320、一个或多个处理器330通过总线340连接,该总线340比如为I2C(Inter-integrated Circuit)总线。
具体地,拍摄装置310用于采集实时图像。
具体地,存储器320用于存储计算机程序,存储器320可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
具体地,处理器330可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
其中,所述一个或多个处理器330用于运行存储在存储器320中的计算机程序,并在执行所述计算机程序时实现以下步骤:
获取目标图像数据,所述目标图像数据是所述可移动平台对所述拍摄装置采集到的实时图像进行编码得到的;
在所述目标图像数据中添加相应的画质标识信息,所述画质标识信息包括第一标识信息或第二标识信息,所述第一标识信息用于表示所述目标图像数据 对应的画质不满足预设条件,所述第二标识信息用于表示所述目标图像数据对应的画质满足预设条件;
将携带有所述画质标识信息的目标图像数据发送给终端设备,以供所述终端设备从接收到的目标图像数据中提取所述画质标识信息,若所述画质标识信息为所述第一标识信息,则不显示解码所述目标图像数据得到的图像,若所述画质标识信息为所述第二标识信息,则显示解码所述目标图像数据得到的图像。
在一实施例中,所述一个或多个处理器在实现获取目标图像数据时,用于实现:
获取所述终端设备发送的反馈信息,所述反馈信息用于指示所述可移动平台对所述实时图像的编码方式;
若所述反馈信息为正确反馈信息,则获取第一目标图像数据,所述第一目标图像数据是基于预设编码码率对采集到的实时图像进行帧间编码得到的。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
若所述反馈信息为错误反馈信息,则获取候选图像数据,所述候选图像数据是基于帧内编码算法对采集到的实时图像进行帧内编码得到的;
若所述候选图像数据的编码码率不位于预设编码码率范围,则根据所述候选图像数据的编码码率和量化参数,确定目标量化参数;
获取第二目标图像数据,所述第二目标图像数据是基于所述目标量化参数对采集到的实时图像进行帧内编码得到的。
在一实施例中,所述预设编码码率范围是根据所述预设编码码率确定的。
在一实施例中,所述预设编码码率范围包括第一端点码率和第二端点码率,所述第一端点码率小于所述第二端点码率,所述第一端点码率与所述预设编码码率之间的偏差大于或等于第一偏差,所述第二端点码率与所述预设编码码率之间的偏差小于或等于第二偏差。
在一实施例中,所述候选图像数据是基于所述可移动平台编码上一行图像或上一帧图像所使用的平均量化参数对采集到的实时图像进行帧内编码得到的。
在一实施例中,所述一个或多个处理器在实现根据所述候选图像数据的编码码率和量化参数,确定目标量化参数时,用于实现:
若所述候选图像数据的编码码率小于所述预设编码码率范围的第一端点码率,则调低所述量化参数,得到目标量化参数。
在一实施例中,所述一个或多个处理器在实现根据所述候选图像数据的编码码率和量化参数,确定目标量化参数时,用于实现:
若所述候选图像数据的编码码率大于所述预设编码码率范围的第二端点码率,则调高所述量化参数,得到目标量化参数。
在一实施例中,所述一个或多个处理器在实现在所述目标图像数据中添加相应的画质标识信息时,用于实现:
根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息。
在一实施例中,所述一个或多个处理器在实现根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息时,用于实现:
获取量化参数阈值;
若所述目标图像数据的量化参数大于所述量化参数阈值,则在所述目标图像数据中添加所述第一标识信息;
若所述目标图像数据的量化参数小于或等于所述量化参数阈值,则在所述目标图像数据中添加所述第二标识信息。
在一实施例中,所述一个或多个处理器在实现获取量化参数阈值时,用于实现:
确定所述目标图像数据对应的编码类型信息,并根据所述编码类型信息确定量化参数阈值。
在一实施例中,不同所述编码类型信息对应的所述量化参数阈值不同。
在一实施例中,所述编码类型信息包括第一编码类型信息或第二编码类型信息,所述第一编码类型信息用于表示所述目标图像数据是基于帧内编码算法得到的,所述第二编码类型信息用于表示所述目标图像数据是基于帧间编码算法得到的,所述第一编码类型信息对应的量化参数阈值与所述第二编码类型信息对应的量化参数阈值不同。
在一实施例中,所述第一编码类型信息对应的量化参数阈值大于所述第二编码类型信息对应的量化参数阈值。
在一实施例中,所述目标图像数据包括第一图像数据或第二图像数据,所述一个或多个处理器在实现获取目标图像数据时,用于实现:
若未检测到编码切换指令,则获取所述第一图像数据,所述第一图像数据是由所述可移动平台中的第一图像处理器对所述实时图像进行编码得到的。
在一实施例中,所述一个或多个处理器在实现获取目标图像数据时,用于实现:
若检测到触发的编码切换指令,则获取所述第二图像数据,所述第二图像 数据是由所述可移动平台中的通信处理器对所述实时图像进行编码得到的。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
获取所述第一图像处理器的剩余计算资源;
若所述剩余计算资源小于预设计算资源,则生成所述编码切换指令。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
若检测到所述终端设备发送的录像指令或跟踪拍摄指令,则生成所述编码切换指令。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
若获取到所述终端设备发送的低延时标识,则生成所述编码切换指令,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
可以理解的是,上述步骤可以部分由第一图像处理器执行、部分由通信处理器执行,也可以由第一图像处理器或通信处理器单独执行,也可以由除了第一图像处理器和通信处理器之外的处理器参与执行,本申请实施例对此不做具体限定。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的可移动平台的具体工作过程,可以参考前述可移动平台的图像传输方法实施例中的对应过程,在此不再赘述。
请参阅图8,图8是本申请实施例提供的另一种可移动平台的结构示意性框图。
如图8所示,该可移动平台400包括拍摄装置410、存储器420、一个或多个处理器430,拍摄装置410、存储器420、一个或多个处理器430通过总线440连接,该总线440比如为I2C(Inter-integrated Circuit)总线。
具体地,拍摄装置410用于采集实时图像。
具体地,存储器420用于存储计算机程序,存储器420可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
具体地,处理器430可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
其中,所述一个或多个处理器430用于运行存储在存储器420中的计算机程序,并在执行所述计算机程序时实现以下步骤:
获取第一图像数据,所述第一图像数据由所述可移动平台中的第一图像处理器对所述拍摄装置采集到的实时图像进行编码得到的;
向与所述可移动平台通信连接的终端设备发送所述第一图像数据;
获取所述第一图像处理器的剩余计算资源;
若所述剩余计算资源小于预设计算资源,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对所述拍摄装置采集到的实时图像进行编码得到的。
在一实施例中,所述一个或多个处理器在获取所述第一图像处理器的剩余计算资源时,用于实现:
获取所述终端设备发送的录像指令或跟踪拍摄指令;
在检测到所述第一图像处理器响应所述录像指令或跟踪拍摄指令后,获取所述第一图像处理器的剩余计算资源。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
若获取到所述终端设备发送的低延时标识,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
在一实施例中,所述一个或多个处理器还用于实现以下步骤:
在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
在一实施例中,所述第二图像数据是由所述可移动平台的第二图像处理器对采集到的实时图像进行编码得到的。
在一实施例中,所述第一图像数据对应的分辨率高于所述第二图像数据对应的分辨率。
在一实施例中,所述第二图像数据对应的延时低于所述第一图像数据对应的延时。
在一实施例中,所述第二图像数据的压缩率小于所述第一图像数据的压缩率。
在一实施例中,所述第二图像数据的数据量大于所述第一图像数据的数据量。
在一实施例中,所述第二图像数据的帧率大于所述第一图像数据的帧率。
可以理解的是,上述步骤可以部分由第一图像处理器执行、部分由通信处理器执行,也可以由第一图像处理器或通信处理器单独执行,也可以由除了第一图像处理器和通信处理器之外的处理器参与执行,本申请实施例对此不做具体限定。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的可移动平台的具体工作过程,可以参考前述可移动平台的图像传输方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现上述实施例提供的可移动平台的图像传输方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的可移动平台的内部存储单元,例如所述可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台的外部存储设备,例如所述可移动平台上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (75)
- 一种可移动平台的图像传输方法,其特征在于,包括:获取目标图像数据,所述目标图像数据是所述可移动平台对采集到的实时图像进行编码得到的;在所述目标图像数据中添加相应的画质标识信息,所述画质标识信息包括第一标识信息或第二标识信息,所述第一标识信息用于表示所述目标图像数据对应的画质不满足预设条件,所述第二标识信息用于表示所述目标图像数据对应的画质满足预设条件;将携带有所述画质标识信息的目标图像数据发送给终端设备,以供所述终端设备从接收到的目标图像数据中提取所述画质标识信息,若所述画质标识信息为所述第一标识信息,则不显示解码所述目标图像数据得到的图像,若所述画质标识信息为所述第二标识信息,则显示解码所述目标图像数据得到的图像。
- 根据权利要求1所述的图像传输方法,其特征在于,所述获取目标图像数据,包括:获取所述终端设备发送的反馈信息,所述反馈信息用于指示所述可移动平台对所述实时图像的编码方式;若所述反馈信息为正确反馈信息,则获取第一目标图像数据,所述第一目标图像数据是基于预设编码码率对采集到的实时图像进行帧间编码得到的。
- 根据权利要求2所述的图像传输方法,其特征在于,所述方法还包括:若所述反馈信息为错误反馈信息,则获取候选图像数据,所述候选图像数据是基于帧内编码算法对采集到的实时图像进行帧内编码得到的;若所述候选图像数据的编码码率不位于预设编码码率范围,则根据所述候选图像数据的编码码率和量化参数,确定目标量化参数;获取第二目标图像数据,所述第二目标图像数据是基于所述目标量化参数对采集到的实时图像进行帧内编码得到的。
- 根据权利要求3所述的图像传输方法,其特征在于,所述预设编码码率范围是根据所述预设编码码率确定的。
- 根据权利要求4所述的图像传输方法,其特征在于,所述预设编码码率范围包括第一端点码率和第二端点码率,所述第一端点码率小于所述第二端点码率,所述第一端点码率与所述预设编码码率之间的偏差大于或等于第一偏差,所述第二端点码率与所述预设编码码率之间的偏差小于或等于第二偏差。
- 根据权利要求3所述的图像传输方法,其特征在于,所述候选图像数据是基于所述可移动平台编码上一行图像或上一帧图像所使用的平均量化参数对采集到的实时图像进行帧内编码得到的。
- 根据权利要求3所述的图像传输方法,其特征在于,所述根据所述候选图像数据的编码码率和量化参数,确定目标量化参数,包括:若所述候选图像数据的编码码率小于所述预设编码码率范围的第一端点码率,则调低所述量化参数,得到目标量化参数。
- 根据权利要求7所述的图像传输方法,其特征在于,所述根据所述候选图像数据的编码码率和量化参数,确定目标量化参数,包括:若所述候选图像数据的编码码率大于所述预设编码码率范围的第二端点码率,则调高所述量化参数,得到目标量化参数。
- 根据权利要求1-8中任一项所述的图像传输方法,其特征在于,所述在所述目标图像数据中添加相应的画质标识信息,包括:根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息。
- 根据权利要求9所述的图像传输方法,其特征在于,所述根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息,包括:获取量化参数阈值;若所述目标图像数据的量化参数大于所述量化参数阈值,则在所述目标图像数据中添加所述第一标识信息;若所述目标图像数据的量化参数小于或等于所述量化参数阈值,则在所述目标图像数据中添加所述第二标识信息。
- 根据权利要求10所述的图像传输方法,其特征在于,所述获取量化参数阈值,包括:确定所述目标图像数据对应的编码类型信息,并根据所述编码类型信息确定量化参数阈值。
- 根据权利要求11所述的图像传输方法,其特征在于,不同所述编码类型信息对应的所述量化参数阈值不同。
- 根据权利要求11所述的图像传输方法,其特征在于,所述编码类型信息包括第一编码类型信息或第二编码类型信息,所述第一编码类型信息用于表示所述目标图像数据是基于帧内编码算法得到的,所述第二编码类型信息用于表示所述目标图像数据是基于帧间编码算法得到的,所述第一编码类型信息对 应的量化参数阈值与所述第二编码类型信息对应的量化参数阈值不同。
- 根据权利要求13所述的图像传输方法,其特征在于,所述第一编码类型信息对应的量化参数阈值大于所述第二编码类型信息对应的量化参数阈值。
- 根据权利要求1-8中任一项所述的图像传输方法,其特征在于,所述目标图像数据包括第一图像数据或第二图像数据,所述获取目标图像数据,包括:获取所述第一图像数据,所述第一图像数据是由所述可移动平台中的第一图像处理器对所述实时图像进行编码得到的。
- 根据权利要求15所述的图像传输方法,其特征在于,所述获取目标图像数据,包括:若检测到触发的编码切换指令,则获取所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对所述实时图像进行编码得到的。
- 根据权利要求15所述的图像传输方法,其特征在于,所述方法还包括:获取所述第一图像处理器的剩余计算资源;若所述剩余计算资源小于预设计算资源,则生成所述编码切换指令。
- 根据权利要求15所述的图像传输方法,其特征在于,所述方法还包括:若检测到所述终端设备发送的录像指令或跟踪拍摄指令,则生成所述编码切换指令。
- 根据权利要求15所述的图像传输方法,其特征在于,所述方法还包括:若获取到所述终端设备发送的低延时标识,则生成所述编码切换指令,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
- 根据权利要求16所述的图像传输方法,其特征在于,所述方法还包括:在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第一图像处理器包括第一编码器,所述第一编码器用于编码生成所述第一图像数据,所述通信处理器包括第二编码器,所述第二编码器用于编码生成所述第二图像数据;所述第一图像处理器包括第一接口和第二接口,所述第一接口用于将所述第一图像数据发送给所述通信处理器,所述第二接口用于将所述可移动平台采集到的实时图像发送给所述通信处理器。
- 根据权利要求21所述的图像传输方法,其特征在于,所述第一接口包 括通用串行总线USB接口,所述第二接口包括通用串行总线USB接口和移动产业处理器MIPI接口中的任一项。
- 根据权利要求21所述的图像传输方法,其特征在于,所述第一图像处理器还包括预处理模块和第三编码器,所述预处理模块与所述第三编码器连接,所述预处理模块用于对所述可移动平台采集的实时图像进行预处理,所述预处理包括图像渲染、亮度调整和焦点修正中的至少一项;所述第三编码器用于对预处理后的实时图像进行编码得到录像码流,所述第一编码器还用于对预处理后的实时图像进行编码得到所述第一图像数据。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第二图像数据是由所述可移动平台中的第二图像处理器对所述实时图像进行编码得到的。
- 根据权利要求24所述的图像传输方法,其特征在于,所述可移动平台的拍摄装置与所述第一图像处理器连接,所述第一图像处理器分别与所述第二图像处理器和所述通信处理器连接,所述第一图像处理器包括第一编码器,所述第二图像处理器包括第二编码器;所述第一图像处理器用于将所述拍摄装置采集到的实时图像发送给所述第二编码器,并对所述拍摄装置采集到的实时图像进行预处理;所述第一编码器用于对预处理后的实时图像进行编码,以生成所述第一图像数据,并将所述第一图像数据发送给所述通信处理器;所述第二编码器用于对接收到的所述实时图像进行编码,以生成所述第二图像数据,并将所述第二图像数据发送给所述通信处理器。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第一图像数据对应的分辨率高于所述第二图像数据对应的分辨率。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第二图像数据对应的延时低于所述第一图像数据对应的延时。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第二图像数据的压缩率小于所述第一图像数据的压缩率。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第二图像数据的数据量大于所述第一图像数据的数据量。
- 根据权利要求16所述的图像传输方法,其特征在于,所述第二图像数据的帧率大于所述第一图像数据的帧率。
- 一种可移动平台的图像传输方法,其特征在于,包括:获取第一图像数据,所述第一图像数据由所述可移动平台中的第一图像处 理器对采集到的实时图像进行编码得到的;向与所述可移动平台通信连接的终端设备发送所述第一图像数据;获取所述第一图像处理器的剩余计算资源;若所述剩余计算资源小于预设计算资源,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对采集到的实时图像进行编码得到的。
- 根据权利要求31所述的图像传输方法,其特征在于,所述获取所述第一图像处理器的剩余计算资源,包括:获取所述终端设备发送的录像指令或跟踪拍摄指令;在检测到所述第一图像处理器响应所述录像指令或跟踪拍摄指令后,获取所述第一图像处理器的剩余计算资源。
- 根据权利要求31所述的图像传输方法,其特征在于,所述方法还包括:若获取到所述终端设备发送的低延时标识,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
- 根据权利要求31所述的图像传输方法,其特征在于,所述方法还包括:在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第一图像处理器包括第一编码器,所述第一编码器用于编码生成所述第一图像数据,所述通信处理器包括第二编码器,所述第二编码器用于编码生成所述第二图像数据;所述第一图像处理器包括第一接口和第二接口,所述第一接口用于将所述第一图像数据发送给所述通信处理器,所述第二接口用于将所述可移动平台采集到的实时图像发送给所述通信处理器。
- 根据权利要求35所述的图像传输方法,其特征在于,所述第一接口包括通用串行总线USB接口,所述第二接口包括通用串行总线USB接口和移动产业处理器MIPI接口中的任一项。
- 根据权利要求35所述的图像传输方法,其特征在于,所述第一图像处理器还包括预处理模块和第三编码器,所述预处理模块与所述第三编码器连接,所述预处理模块用于对所可移动平台采集的实时图像进行预处理,所述预处理包括图像渲染、图像降噪、亮度调整和焦点修正中的至少一项;所述第三编码器用于对预处理后的实时图像进行编码得到录像码流,所述第一编码器还用于对预处理后的实时图像进行编码得到所述第一图像数据。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第二图像数据是由所述可移动平台的第二图像处理器对采集到的实时图像进行编码得到的。
- 根据权利要求38所述的图像传输方法,其特征在于,所述可移动平台的拍摄装置与所述第一图像处理器连接,所述第一图像处理器分别与所述第二图像处理器和所述通信处理器连接,所述第一图像处理器包括第一编码器,所述第二图像处理器包括第二编码器;所述第一图像处理器用于将所述拍摄装置采集到的实时图像发送给所述第二图像处理器,并对所述拍摄装置采集到的实时图像进行预处理;所述第一编码器用于对预处理后的实时图像进行编码,以生成所述第一图像数据,并将所述第一图像数据发送给所述通信处理器;所述第二编码器用于对接收到的所述实时图像进行编码,以生成所述第二图像数据,并将所述第二图像数据发送给所述通信处理器。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第一图像数据对应的分辨率高于所述第二图像数据对应的分辨率。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第二图像数据对应的延时低于所述第一图像数据对应的延时。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第二图像数据的压缩率小于所述第一图像数据的压缩率。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第二图像数据的数据量大于所述第一图像数据的数据量。
- 根据权利要求31所述的图像传输方法,其特征在于,所述第二图像数据的帧率大于所述第一图像数据的帧率。
- 一种可移动平台,其特征在于,包括拍摄装置、存储器、一个或多个处理器;所述拍摄装置用于采集实时图像;所述存储器用于存储计算机程序;所述一个或多个处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现以下步骤:获取目标图像数据,所述目标图像数据是所述可移动平台对所述拍摄装置采集到的实时图像进行编码得到的;在所述目标图像数据中添加相应的画质标识信息,所述画质标识信息包括第一标识信息或第二标识信息,所述第一标识信息用于表示所述目标图像数据对应的画质不满足预设条件,所述第二标识信息用于表示所述目标图像数据对应的画质满足预设条件;将携带有所述画质标识信息的目标图像数据发送给终端设备,以供所述终端设备从接收到的目标图像数据中提取所述画质标识信息,若所述画质标识信息为所述第一标识信息,则不显示解码所述目标图像数据得到的图像,若所述画质标识信息为所述第二标识信息,则显示解码所述目标图像数据得到的图像。
- 根据权利要求45所述的可移动平台,其特征在于,所述一个或多个处理器在实现获取目标图像数据时,用于实现:获取所述终端设备发送的反馈信息,所述反馈信息用于指示所述可移动平台对所述实时图像的编码方式;若所述反馈信息为正确反馈信息,则获取第一目标图像数据,所述第一目标图像数据是基于预设编码码率对采集到的实时图像进行帧间编码得到的。
- 根据权利要求46所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:若所述反馈信息为错误反馈信息,则获取候选图像数据,所述候选图像数据是基于帧内编码算法对采集到的实时图像进行帧内编码得到的;若所述候选图像数据的编码码率不位于预设编码码率范围,则根据所述候选图像数据的编码码率和量化参数,确定目标量化参数;获取第二目标图像数据,所述第二目标图像数据是基于所述目标量化参数对采集到的实时图像进行帧内编码得到的。
- 根据权利要求47所述的可移动平台,其特征在于,所述预设编码码率范围是根据所述预设编码码率确定的。
- 根据权利要求48所述的可移动平台,其特征在于,所述预设编码码率范围包括第一端点码率和第二端点码率,所述第一端点码率小于所述第二端点码率,所述第一端点码率与所述预设编码码率之间的偏差大于或等于第一偏差,所述第二端点码率与所述预设编码码率之间的偏差小于或等于第二偏差。
- 根据权利要求47所述的可移动平台,其特征在于,所述候选图像数据是基于所述可移动平台编码上一行图像或上一帧图像所使用的平均量化参数对采集到的实时图像进行帧内编码得到的。
- 根据权利要求47所述的可移动平台,其特征在于,所述一个或多个处 理器在实现根据所述候选图像数据的编码码率和量化参数,确定目标量化参数时,用于实现:若所述候选图像数据的编码码率小于所述预设编码码率范围的第一端点码率,则调低所述量化参数,得到目标量化参数。
- 根据权利要求51所述的可移动平台,其特征在于,所述一个或多个处理器在实现根据所述候选图像数据的编码码率和量化参数,确定目标量化参数时,用于实现:若所述候选图像数据的编码码率大于所述预设编码码率范围的第二端点码率,则调高所述量化参数,得到目标量化参数。
- 根据权利要求45-52中任一项所述的可移动平台,其特征在于,所述一个或多个处理器在实现在所述目标图像数据中添加相应的画质标识信息时,用于实现:根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息。
- 根据权利要求53所述的可移动平台,其特征在于,所述一个或多个处理器在实现根据所述目标图像数据的量化参数在所述目标图像数据中添加相应的画质标识信息时,用于实现:获取量化参数阈值;若所述目标图像数据的量化参数大于所述量化参数阈值,则在所述目标图像数据中添加所述第一标识信息;若所述目标图像数据的量化参数小于或等于所述量化参数阈值,则在所述目标图像数据中添加所述第二标识信息。
- 根据权利要求54所述的可移动平台,其特征在于,所述一个或多个处理器在实现获取量化参数阈值时,用于实现:确定所述目标图像数据对应的编码类型信息,并根据所述编码类型信息确定量化参数阈值。
- 根据权利要求55所述的可移动平台,其特征在于,不同所述编码类型信息对应的所述量化参数阈值不同。
- 根据权利要求55所述的可移动平台,其特征在于,所述编码类型信息包括第一编码类型信息或第二编码类型信息,所述第一编码类型信息用于表示所述目标图像数据是基于帧内编码算法得到的,所述第二编码类型信息用于表示所述目标图像数据是基于帧间编码算法得到的,所述第一编码类型信息对应 的量化参数阈值与所述第二编码类型信息对应的量化参数阈值不同。
- 根据权利要求57所述的可移动平台,其特征在于,所述第一编码类型信息对应的量化参数阈值大于所述第二编码类型信息对应的量化参数阈值。
- 根据权利要求45-52中任一项所述的可移动平台,其特征在于,所述目标图像数据包括第一图像数据或第二图像数据,所述一个或多个处理器在实现获取目标图像数据时,用于实现:若未检测到编码切换指令,则获取所述第一图像数据,所述第一图像数据是由所述可移动平台中的第一图像处理器对所述实时图像进行编码得到的。
- 根据权利要求59所述的可移动平台,其特征在于,所述一个或多个处理器在实现获取目标图像数据时,用于实现:若检测到触发的编码切换指令,则获取所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对所述实时图像进行编码得到的。
- 根据权利要求60所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:获取所述第一图像处理器的剩余计算资源;若所述剩余计算资源小于预设计算资源,则生成所述编码切换指令。
- 根据权利要求60所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:若检测到所述终端设备发送的录像指令或跟踪拍摄指令,则生成所述编码切换指令。
- 根据权利要求60所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:若获取到所述终端设备发送的低延时标识,则生成所述编码切换指令,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
- 根据权利要求60所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
- 一种可移动平台,其特征在于,包括拍摄装置、存储器、一个或多个处理器;所述拍摄装置用于采集实时图像;所述存储器用于存储计算机程序;所述一个或多个处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现以下步骤:获取第一图像数据,所述第一图像数据由所述可移动平台中的第一图像处理器对所述拍摄装置采集到的实时图像进行编码得到的;向与所述可移动平台通信连接的终端设备发送所述第一图像数据;获取所述第一图像处理器的剩余计算资源;若所述剩余计算资源小于预设计算资源,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述第二图像数据是由所述可移动平台中的通信处理器对所述拍摄装置采集到的实时图像进行编码得到的。
- 根据权利要求65所述的可移动平台,其特征在于,所述一个或多个处理器在获取所述第一图像处理器的剩余计算资源时,用于实现:获取所述终端设备发送的录像指令或跟踪拍摄指令;在检测到所述第一图像处理器响应所述录像指令或跟踪拍摄指令后,获取所述第一图像处理器的剩余计算资源。
- 根据权利要求65所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:若获取到所述终端设备发送的低延时标识,则获取第二图像数据,并向所述终端设备发送所述第二图像数据,所述低延时标识是根据用户在人机交互页面中的操作生成的,用于指示所述可移动平台向所述终端设备发送延时满足预设延时条件的图像数据。
- 根据权利要求65所述的可移动平台,其特征在于,所述一个或多个处理器还用于实现以下步骤:在获取到所述第一图像数据和所述第二图像数据时,指示所述第一图像处理器停止编码生成所述第一图像数据。
- 根据权利要求65所述的可移动平台,其特征在于,所述第二图像数据是由所述可移动平台的第二图像处理器对采集到的实时图像进行编码得到的。
- 根据权利要求65所述的可移动平台,其特征在于,所述第一图像数据对应的分辨率高于所述第二图像数据对应的分辨率。
- 根据权利要求65所述的可移动平台,其特征在于,所述第二图像数据对应的延时低于所述第一图像数据对应的延时。
- 根据权利要求65所述的可移动平台,其特征在于,所述第二图像数据 的压缩率小于所述第一图像数据的压缩率。
- 根据权利要求65所述的可移动平台,其特征在于,所述第二图像数据的数据量大于所述第一图像数据的数据量。
- 根据权利要求65所述的可移动平台,其特征在于,所述第二图像数据的帧率大于所述第一图像数据的帧率。
- 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-44中任一项所述的可移动平台的图像传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/087602 WO2022217557A1 (zh) | 2021-04-15 | 2021-04-15 | 可移动平台的图像传输方法、可移动平台及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/087602 WO2022217557A1 (zh) | 2021-04-15 | 2021-04-15 | 可移动平台的图像传输方法、可移动平台及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022217557A1 true WO2022217557A1 (zh) | 2022-10-20 |
Family
ID=83640012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/087602 WO2022217557A1 (zh) | 2021-04-15 | 2021-04-15 | 可移动平台的图像传输方法、可移动平台及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2022217557A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1855793A (zh) * | 2005-04-19 | 2006-11-01 | 华为技术有限公司 | 一种视音频编码速度的控制方法 |
CN101998051A (zh) * | 2009-08-07 | 2011-03-30 | 三洋电机株式会社 | 图像显示控制装置、图像处理装置及搭载其的摄像装置 |
US20140099039A1 (en) * | 2012-10-05 | 2014-04-10 | Sony Corporation | Image processing device, image processing method, and image processing system |
CN105744329A (zh) * | 2016-03-31 | 2016-07-06 | 北京小米移动软件有限公司 | 一种显示图像数据的方法和装置 |
CN112585965A (zh) * | 2019-11-29 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、系统和存储介质 |
-
2021
- 2021-04-15 WO PCT/CN2021/087602 patent/WO2022217557A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1855793A (zh) * | 2005-04-19 | 2006-11-01 | 华为技术有限公司 | 一种视音频编码速度的控制方法 |
CN101998051A (zh) * | 2009-08-07 | 2011-03-30 | 三洋电机株式会社 | 图像显示控制装置、图像处理装置及搭载其的摄像装置 |
US20140099039A1 (en) * | 2012-10-05 | 2014-04-10 | Sony Corporation | Image processing device, image processing method, and image processing system |
CN105744329A (zh) * | 2016-03-31 | 2016-07-06 | 北京小米移动软件有限公司 | 一种显示图像数据的方法和装置 |
CN112585965A (zh) * | 2019-11-29 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 图像传输方法、设备、可移动平台、系统和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schneider et al. | Augmented reality based on edge computing using the example of remote live support | |
US10157477B2 (en) | Robust head pose estimation with a depth camera | |
US20200346753A1 (en) | Uav control method, device and uav | |
US10755438B2 (en) | Robust head pose estimation with a depth camera | |
US10999480B2 (en) | Methods for camera movement compensation | |
WO2019242553A1 (zh) | 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备 | |
EP3475785A1 (en) | Systems and methods for processing image data based on region-of-interest (roi) of a user | |
WO2018098867A1 (zh) | 摄像装置及其图像处理方法、虚拟现实设备 | |
WO2021237616A1 (zh) | 图像传输方法、可移动平台及计算机可读存储介质 | |
US10866492B2 (en) | Method and system for controlling tracking photographing of stabilizer | |
JP2020003898A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2022041014A1 (zh) | 云台及其控制方法、设备,拍摄装置、系统和存储介质 | |
WO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3840371A1 (en) | Image display method, device, and system | |
JP6533761B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
WO2022217557A1 (zh) | 可移动平台的图像传输方法、可移动平台及可读存储介质 | |
WO2021248287A1 (zh) | 云台控制方法、手持云台及计算机可读存储介质 | |
JP2023502552A (ja) | ウェアラブルデバイス、インテリジェントガイド方法及び装置、ガイドシステム、記憶媒体 | |
WO2017199859A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
WO2022140971A1 (zh) | 图像传输方法、装置、平台、设备及计算机可读存储介质 | |
US20210312658A1 (en) | Information processing apparatus, information processing method, and program | |
WO2022217555A1 (zh) | 无人机的图像传输方法、无人机及计算机可读存储介质 | |
WO2022174431A1 (zh) | 图像传输方法、可移动平台、设备及计算机可读存储介质 | |
WO2022021028A1 (zh) | 目标检测方法、装置、无人机及计算机可读存储介质 | |
WO2022082440A1 (zh) | 确定目标跟随策略的方法、装置、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21936438 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21936438 Country of ref document: EP Kind code of ref document: A1 |