WO2019205782A1 - 图像的分辨率处理方法、系统、装置、存储介质及设备 - Google Patents
图像的分辨率处理方法、系统、装置、存储介质及设备 Download PDFInfo
- Publication number
- WO2019205782A1 WO2019205782A1 PCT/CN2019/075519 CN2019075519W WO2019205782A1 WO 2019205782 A1 WO2019205782 A1 WO 2019205782A1 CN 2019075519 W CN2019075519 W CN 2019075519W WO 2019205782 A1 WO2019205782 A1 WO 2019205782A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- resolution
- value
- image processing
- motion
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 234
- 238000012545 processing Methods 0.000 claims description 218
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 24
- 230000001133 acceleration Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- 238000012805 post-processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000000116 mitigating effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4092—Image resolution transcoding, e.g. client/server architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G06T5/73—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0414—Vertical resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0421—Horizontal resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种图像的分辨率处理方法,包括:获取显示装置的运动信息;根据所述运动信息确定显示装置的运动方向和速率信息;根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
Description
本申请要求于2018年04月27日提交中国专利局,申请号为201810392834.X、发明名称为“图像的分辨率处理方法、图像处理装置及系统、存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及图像处理技术领域,尤其涉及一种图像的分辨率处理方法、、系统、装置、存储介质及设备。
随着电子技术和计算机技术的发展,人们可以根据需要获取各种图像、制作各种图像、处理并显示各种图像,满足用户的图像视觉需求,例如,在虚拟现实(Virtual Reality,VR)或增强现实(Augmented Reality,AR)等领域,会涉及到一些特殊图像的制作,渲染等相关图像处理,可以最终在VR/AR眼镜、头盔等显示装置上显示处理得到的图像,给用户带来非常好的视觉体验。
在VR/AR等系统中,在进行画面显示时,例如游戏画面显示时,一般需要维持高于某个画面刷新率阈值,例如90fps(帧每秒)的画面刷新率,维持该刷新率是保证用户图像视觉体验的一个重要指标。因此,如何保证一定的刷新率成为研究的热点问题。
发明内容
本申请实施例提供一种图像的分辨率处理方法、系统、装置、存储介质及设备。
一种图像的分辨率处理方法,包括:
获取显示装置的运动信息;
根据所述运动信息确定显示装置的运动方向和速率信息;
根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;
根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及
生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
一种图像的分辨率处理系统,包括:图像处理设备和显示装置,其中:
所述图像处理设备,用于获取显示装置的运动信息;根据所述运动信息确定显示装置的运动方向和速率信息;根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;根据所述速率信息和所述显示装置的标准分辨率,确定目标值;生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值,并根据待显示图像输出目标图像;
所述显示装置,用于向所述图像处理设备发送运动信息,并用于在接收到所述目标图像后,显示所述目标图像。
一种图像的分辨率处理装置,所述装置包括:
获取模块,用于获取显示装置的运动信息,并根据所述运动信息确定显示装置的运动方向和速率信息;
确定模块,用于根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;
计算模块,用于根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及
生成模块,用于生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
一种非易失性的计算机可读存储介质,存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
获取显示装置的运动信息;
根据所述运动信息确定显示装置的运动方向和速率信息;
根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;
根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及
生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
一种图像处理设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行以下步骤:
获取显示装置的运动信息;
根据所述运动信息确定显示装置的运动方向和速率信息;
根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;
根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及
生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例的图像处理流程的示意图;
图2是本申请实施例的一种图像的分辨率处理方法的流程示意图;
图3是本申请实施例的一种目标值的计算方法示意图;
图4是本申请实施例的分辨倍率确定规则的示意图;
图5是本申请实施例的一种计算目标值的示意图;
图6是本申请实施例的另一种目标值的计算方法示意图;
图7是本申请实施例的调控值与处理时长的关系的示意图;
图8是本申请实施例的再一种计算目标值的示意图;
图9是本申请实施例的图像对比示意图;
图10a是本申请实施例的另一种图像的分辨率处理方法的流程示意图;
图10b是本申请实施例的一种基于刷新率的图像处理示意图;
图10c是本申请实施例的另一种基于刷新率的图像处理示意图;
图11是本申请实施例的再一种图像的分辨率处理方法的流程示意图;
图12是本申请实施例的再一种图像的分辨率处理方法的流程示意图;
图13是本申请实施例的一种图像的分辨率处理系统的结构示意图;
图14是本申请实施例的一种图像处理设备的结构示意图;
图15是本申请实施例的一种图像的分辨率处理装置的结构示意图。
为了确保一定的图像刷新率,进而在一定程度上保证用户的图像视觉体验,通过研究用户对头戴式的显示装置中图像的观看舒适度,发现当用户的整个身体或者头部处于静止或低速运动状态时,人眼对于图像的精细结构的注意力会大于刷新率表现,也就是说,运动轻微时,用户会更关注图像的分辨率,更关注图像是否清晰。相反的,当整个身体或者头部快速移动时,通过人眼实际无法看清场景图像中的细节,但对于画面的流畅感,也就是图像刷新率更为敏锐,也就是说,运动较为剧烈时,可提高刷新率,而可以降低分辨率。因此,本申请实施例在生成待显示图像的过程中导入运动信息(例如位移速度、位移加速度、运动角度、运动角速度、运动角加速度等信息)作为分辨率值调控的依据,在快速运动时降低运动方向上的分辨率值,可以使得最终生成的待显示图像产生一定程度的模糊,而产生的模糊较接近于视觉暂留的效果。
本申请实施例可以在用户通过一个AR眼镜、VR头盔等类型的显示装置显示各类图像的过程中,在待显示图像的生成过程中,通过监控用户的运动状态,动态地调整图像分辨率,以原有的标准分辨率为基准,降低到目标分辨率,按照目标分辨率来生成待显示图像。通过对图像分辨率的调整,具体将标准分辨率中的横向分辨率对象和/或纵向分辨率对象上的值进行调整,降低相应的数值,从而降低图片渲染的运算量,以此换取更高的图像刷新率,确保用户在使用VR眼镜等显示装置处于观看图像、玩游戏等场景时,图像处理设备能够及时完成图像的渲染等处理工作,确保图像的流畅度并提高用户的沉浸感,用户即使在移动过程中也不会感到头晕等不适。
请参见图1和图2,图1是本申请实施例的图像处理流程的示意图,图像处理流程包括图像处理阶段和图像后处理阶段。图像处理阶段主要包括对图像的渲染等处理,生成待显示图像。图像后处理主要是将待显示图像处理成可供显示装置显示的图像。例如在VR应用场景下,图像处理阶段主要是基于游戏引擎等处理得到待显示的游戏画面,而图像后处理则是将待显示图像处理成可以在VR眼镜中正确显示的游戏画面。图2是本申请实施例的一种图像的分辨率处理方法的流程示意图。下面结合图1和图2对本申请实施例的图像处理流程进行详细描述。
图1中所提及的内容数据是指原始图像内容、游戏内容等数据,而控制器则可以是用于对图像、游戏对象进行控制的按键控制器等,控制器通过发出控制指令来控制图像的播放方式或者游戏中某个对象的运动。图像处理设备通过渲染引擎来进行图像处理,渲染引擎例如可以是各类游戏引擎。一方面,通过渲染引擎将内容数据和控制器发出的指令结合起来进行逻辑、操控、画面渲染等基础处理,另一方面,基于显示装置的运动方向来进行目标对象的确认、目标值的计算。最后,图像处理设备综合所述基础处理的结果和计算得到的目标值,生成待显示图像,所述待显示图像在目标对象(横向分辨率对象和/或纵向分辨率对象)上的值为该目标值。在本申请实施例中,定义了图像分辨率包括两个对象,该两个对象为横向分辨率对象、和纵向分辨率对象,不同的图像分辨率下两个对象具有各自的数值,例如:当标准分辨率为1920*1080时,则可以认为该标准分辨率所对应的横向分辨率对象的值为 1920,纵向分辨率对象的值为1080。
在一个实施例中,图像处理阶段得到待显示图像后,由应用系统软件将待显示图像进行加工处理,得到在头戴显示设备上可以直接显示的应用图像,由头戴显示设备的显示模块直接显示,该显示模块可以采用显示屏直接显示应用图像,或者是投影装置投影显示等其他显示方式。
在一个实施例中,图像的分辨率处理方法包括以下步骤:
S201,获取显示装置的运动信息,并根据运动信息确定显示装置的运动方向和速率信息。
S202,根据运动方向,确定需要进行值调整的目标对象,目标对象为横向分辨率对象或者纵向分辨率对象。
S203,根据速率信息和显示装置的标准分辨率,确定目标值。
S204,生成待显示图像,待显示图像的图像分辨率中目标对象的值等于目标值。
在一个实施例中,图像处理设备基于运动方向来进行目标值计算的过程中,首先在步骤S201中获取显示装置的运动信息,并根据运动信息确定显示装置的运动方向和速率信息。在一个实施例中,图像处理设备可以利用图1所示的追踪系统来确定显示装置当前的运动方向,具体可以通过设置在显示装置上的加速度传感器、陀螺仪等传感器来检测显示装置的运动信息,这些运动信息例如可以是显示装置的三轴转动状态信息(包含角度/角速度/角加速度),和/或位置状态信息(包含位置/速度/加速度)等,可以基于这些运动信息来确定显示装置当前的运动方向。当然,运动信息中也可以直接包括运动方向。
在步骤S202中根据显示装置的运动方向,图像处理设备确定出需要进行值调整的目标对象,该目标对象为横向分辨率对象或者纵向分辨率对象。如上述,运动方向是根据运动信息确定的,也就是说,可以根据需要降低横向分辨率对象的值,或者降低纵向分辨率对象的值,或者两个值都降低。图像处理设备可以预先设置运动方向与像素坐标系中坐标轴的映射关系。在一个实施例中,图像处理设备可以将在水平方向上运动时的运动方向对应于像素坐标系中的横坐标,也就是说,在水平方向上的运动可以降低横向分辨率对 象的值;将在竖直方向上运动时的运动方向对应于像素坐标系中的纵坐标,也就是说,在竖直方向上的运动可以降低纵向分辨率对象的值。而对于斜向上或者斜向下等运动,可以将该运动拆分成水平和竖直运动的两个分量,在水平方向上的分量的运动方向可以对应降低横向分辨率对象,在竖直方向上的分量的运动方向可以对应降低纵向分辨率对象。
在一个实施例中,在确定了目标对象后,图像处理设备可进一步地根据显示装置的运动信息确定出显示装置的速率信息。在一个实施例中,该运动信息包括显示装置当前的角速度信息、角加速度信息、位移速度信息、位移加速度信息等。该运动信息可以通过从加速度传感器、和/或陀螺仪等运动传感器上获取三个轴向上感测到的运动数据来确定。
在得到运动信息后,在步骤S203中图像处理设备根据显示装置的速率信息和显示装置的标准分辨率,确定目标值,速率信息也是根据运动信息确定的。标准分辨率是指在渲染引擎中预先配置的分辨率,如果不考虑显示装置的运动,渲染引擎会按照该标准分辨率进行图像处理,得到具有该标准分辨率的待显示图像。一般情况下,将显示装置的分辨率作为标准分辨率,例如,如果显示装置的分辨率为1920*1080,则标准分辨率即为1920*1080。在得到目标值后,即可基于目标值在S204中生成待显示图像,该待显示图像的图像分辨率中目标对象的值为目标值。也就是说,如果显示装置为水平方向上的运动,则后续调整标准分辨率在横向分辨率对象上的值,如果在竖直方向上运动,则后续调整标准分辨率在纵向分辨率对象上的值,例如,原本应该输出分辨率为1080×1200(此分辨率是指标准分辨率)的待显示图像,如果检测到水平方向上的运动,则可能输出583×1200的待显示图像,即横向分辨率对象上的值从1080调整为目标值583,而如果检测到竖直方向上的运动,则输出1080×1080的待显示图像,即纵向分辨率对象上的值从1200调整为目标值1080,如果用户在水平方向上和竖直方向上均有运动分量存在,则可输出583×1080的待显示图像。也就是说,目标值低于标准分辨率中目标对象的值,是根据标准分辨率中目标对象的值乘以分辨倍率确定目标值,分辨倍率为大于最低阈值而不大于1的数值,最低阈值例如可以是0.4、或0.5。
在一个实施例中,计算得到待显示图像的图像分辨率的目标值可以由图 1中的状态监控模块来实现,状态监控模块根据整个图像处理过程的处理状态信息、显示装置的运动信息及标准分辨率等信息,通过运动状态对视觉影响的算法,最终输出优化的渲染格式指示信息,该渲染格式指示信息包括一个或者两个目标对象上的目标值,LoD(Level of Details,是一种降低3D对象复杂度的方法)分阶几何精细度调控数值等等。状态监控模块可以是产品中的专用的一个硬件模块,也可以是由处理器基于计算机程序指令实现的一个功能模块。
在一个实施例中,图像处理过程的处理状态信息包括当前的处理时长、当前的渲染分辨率(即标准分辨率)等信息。该状态监控模块将渲染格式指示信息发送给渲染引擎,由渲染引擎以此调控待显示图像的图像分辨率。也就是说,在一个实施例中,上述的S201至S203由图像处理设备中专门配置的状态监控模块来执行,S204则由图像处理设备中的渲染引擎来实现。在一个实施例中,状态监控模块和渲染引擎可以均设置在一个图像处理设备中,图像处理设备例如可以VR主机设备或AR主机设备。也可以是一台具备主机功能和显示功能的可穿戴设备中的部分重要结构,也就是说该可穿戴设备可以包括图像处理设备和显示装置。图1中示出的状态监控模块位于图像后处理阶段,主要是指该状态监控模块是一个应用层面的功能,或者说是应用系统软件中的一部分。在另一个实施例中,可以不存在状态监控模块,状态监控模块的相应功能直接配置到渲染引擎中。
上述提及的LoD方法主要用于降低某些模型的几何精细度,以换取图像刷新率,也就是说,在将标准分辨率的目标对象的值调整至目标值后(或者在调整的同时),可以进一步地确定出目标图像对象,按照几何精细度调整规则对目标图像对象的几何精细度进行调整。其中,确定的目标图像对象是指在需要最终输出的待显示图像中的图像面积低于面积阈值的图像对象。在一个实施例中,几何精细度的调整过程包括:每个待渲染对象(图像对象)预先配置了多组不同几何精细度的模型,或是几何精细度的动态控制规则。在每次渲染发生时,会计算出待渲染对象在待显示图像中所占的图像面积,根据所占图像面积确定对应几何精细度的模型或者选择几何精细度的动态控制规则来控制带渲染图像的几何精细度。由于在调整至目标值的待显示图像中, 待渲染图像的目标分辨率在变化,这个占用面积也会跟着变化,一旦某个图像对象的占用面积低于设计的阀值,例如占用面积画素小于物体几何精细度的1/4(球面积为投影面积的四倍),则在图像对象即为目标图像对象,在渲染时就对目标图像对象直接使用较低一阶几何精细度的模型,藉此降低渲染所需的运算。
在另一个实施例中,根据由运动信息确定的显示装置的速率信息和显示装置的标准分辨率,确定目标值的步骤也可以简单地由渲染引擎来实现,在追踪系统得到相关的运动信息后,渲染引擎可以基于运动信息得到运动方向和运动的速率信息反馈给渲染引擎,由渲染引擎根据标准分辨率来最终计算得到目标值。渲染引擎还可以完成包括上述提到的几何精细度的调整处理。也就是说,在一个实施例中,上述的S201至S204均可以由图像处理设备的渲染引擎来实现。在一个实施例中,图像处理设备例如可以VR主机设备或AR主机设备,也可以是一台具备主机功能和显示功能的可穿戴设备的重要组成部分,也就是说该可穿戴设备可以包括图像处理设备和显示装置。
在一个实施例中,如图3所示,是本申请实施例的一种目标值的计算方法示意图,上述提及的步骤S203,也就是根据显示装置的速率信息和显示装置的标准分辨率,确定目标值,速率信息是根据运动信息确定的的步骤具体包括以下步骤S301,采用分辨倍率确定规则,确定运动信息对应的分辨倍率。S302,根据标准分辨率的目标对象的值和分辨倍率,得到目标值。
在研究过程中进一步发现,运动速度与视觉上可接受的模糊程度呈现正比关系,所以,在本申请实施例中,运动速度与模糊程度的关系可以一个斜率来表示,分辨倍率确定规则可以根据该斜率来确定。同时,考虑到在轻微的运动时人眼对于物体会有追踪的动作,在本申请实施例中确定低速运动时不会降低分辨率,设置分辨倍率确定规则时也会参考低速率不降低分辨率的情况。另外,图像取样率过低时会产生格状噪声,容易被用户观察到,因此,设置分辨倍率确定规则时也需要避免图像取样率过低的情况。综上所述,实际的调整方式可以如图4所示,图4是本申请一个实施例的分辨倍率确定规则的示意图。具体的启动运动数值(例如运动速度值、角速度值、和角加速度值等)和斜率因图像处理设备的系统性能会有所不同。在一个实施例中, 为了避免图像取样率过低的情况,分辨率值的最小降低量在实测中约为0.4~0.5倍,即最小的分辨倍率应该为0.4~0.5之间的一个数值。也就是说,分辨倍率确定规则中定义了如果速率信息对应的运动数值小于第一阈值,则确定运动信息对应的分辨倍率为第一固定倍率;如果速率信息对应的运动数值大于第一阈值,则确定速率信息对应的分辨倍率a=kb,k为斜率,b为速率信息对应的运动数值(例如速度值);并且,分辨倍率确定规则中还定义了分辨倍率不小于第二固定倍率。
针对不同性能的图像处理设备,可以通过对该图像处理设备人工实际测量的方式,来测量在不同运动数值下的分辨倍率,以此人工标定该图像处理设备的第一阈值(即图4中的启动数值)、第二固定倍率(第二固定倍率例如可以是上述提到的0.4~0.5倍的倍率),第一固定倍率例如可以为1,即不会调低分辨率值。而斜率k则可以基于第一阈值和产生第二固定倍率时的运动信息所对应的数值之间的实测得到的多个坐标点(运动数值,分辨倍率),通过直线拟合等数学计算方式来计算得到。可以在保证参考刷新率(例如90fps)为基础的情况下,针对多个用户在测试时对运动中图像模糊的接受程度,来综合得到多个坐标点。
在一个实施例中,可以直接人工测试得到某个图像处理设备在各种运动数值(或者运动数值范围)下的分辨倍率,建立运动数值(或者运动数值范围)和分辨倍率的映射关系,例如映射表,后续在执行上述的S301时,可以直接基于该映射关系,确定与运动信息对应的运动数值映射的分辨倍率。
如图5所示,为一个实施例中计算目标值的示意图,记对应于水平方向运动信息的X方向(对应横向分辨率对象)的分辨倍率为Xf,记对应于竖直方向运动信息的Y方向(对应纵向分辨率对象)的分辨倍率为Yf。X方向的目标值等于标准分辨率中X方向的值乘以Xf,Y方向的目标值等于标准分辨率中Y方向的值乘以Yf。当X方向和Y方向均存在运动时,最终得到的目标值与标准分辨率之间的关系可以如图5所示。
在一个实施例中,再请参见图6,是本申请另一个实施例中目标值的计算方法示意图。上述提及的步骤S203,也就是根据显示装置的速率信息和显示装置的标准分辨率,确定目标值的步骤具体包括:S601,采用调控值确定 规则,确定当前的图像处理性能参数包括的图像更新时长对应的调控值。S602,采用分辨倍率确定规则,确定运动信息对应的分辨倍率。及S603,根据标准分辨率的目标对象的值和调控值、分辨倍率,得到目标值。其中,S602的具体实现可参考图4和图5对应实施例的描述。
在本申请实施例中,对于S601中提到的调控值,可以是根据当前渲染处理所花费的时长产生的,记为Gf,这个量值在渲染时间很短(例如远低于11ms)时可以大于1.0,以便进行超取样处理,提高分辨率增进画面细节,渲染时间较长时则根据超出的量进行缩减,以降低分辨率。调控值Gf与处理时长的关系可参考图7所示。也就是说,在S601中提到的调控值确定规则中定义了如果当前的图像处理性能参数包括的图像更新时长小于第一时长阈值,则确定调控值为第一固定调控值;并且,调控值不小于第二固定调控值。在一个实施例中,图7所示的调控值Gf和处理时长之间的关系也可以由人工测定的方式,对不同性能的图像处理设备进行标记,基于直线拟合等方式来确定图7中的斜率k1和斜率k2。如图7所示,第一固定调控值为1.2,第二固定调控值为0.7,第一时长阈值为小于11ms的一个时长值,例如可以是6ms,其中,经过实测发现,一般情况下,只要能够维持90fps(帧每秒)的刷新率,即可保证图像显示的流畅,而11ms约等于1/90。在其他实施例中,第一时长阈值还可以为其他值,例如,如果刷新率要求为60fps,则第一时长阈值可以16.6ms,或者诸如16ms等相近的数值。在一个实施例中,处理时长可以是指上述提及的图像处理阶段和图像后处理阶段两个阶段完成一帧图像处理的总时长,可以认为是GPU完成一个完整的可直接显示的图像所花费的时长。可以通过向GPU查询运作状态来记录每一帧图像从开始渲染到最终完成所花费的时间,得到处理时长。当然,在其他实施例中,也可由测试用户来定义一段时间作为处理时长,以便于更好更准确地确定出调控值Gf。
如图8所示,为再一个实施例中目标值的计算方法示意图,记对应于水平方向运动信息的X方向(对应横向分辨率对象)的分辨倍率为Xf,记对应于竖直方向运动信息的Y方向(对应纵向分辨率对象)的分辨倍率为Yf。X方向的目标值等于标准分辨率中X方向的值乘以Xf以及Gf,Y方向的目标值等于标准分辨率Y方向的值乘以Yf以及Gf。当X方向和Y方向均存在运 动时,最终得到的目标值与标准分辨率之间的关系可以如图8所示。
举例来说,在一个标准分辨率为1080×1200的图像处理设备中,当该图像处理设备的处理时长需要13ms时,对应的调控值Gf对应值为0.9。此时X方向正在进行快速转头的动作,X方向的速度对应的分辨倍率Xf为0.6。Y方向属于慢速运动,分辨倍率为1.0。在此状况下,可以计算得到X方向的目标值=1080×0.6×0.9=583(可以按照四舍五入的方式取整),X方向的目标值=1200×1×0.9=1080。因此,建议的目标值则是583x1080,降低了51.4%的画素运算量。降低分辨率即可大幅降低渲染负载,维持画面流畅度。
对于得到的图像分辨率在目标对象上为目标值的待显示图像,在显示装置显示待显示图像前,可以根据显示装置的显示分辨率、待显示图像的分辨率,对待显示图像进行放大处理,将放大处理后的待显示图像输出给显示装置显示,以在显示装置上全屏显示待显示图像。在一个实施例中,可以指定渲染目标(Render Target)的大小为显示装置的屏幕分辨率大小,GPU便可自动渲染出放大的结果。
如图9所示,图像901是原本应当输出的具有标准分辨率的待显示图像,但是经过图像的分辨率值处理后,实际输出的是图像902,即在X方向上横像分辨率对象的值被调整至相应目标值的待显示图像,在输出到显示装置最终显示之前,也就是上述提及的图像后处理阶段中,会基于显示装置的实际显示分辨率,对图像902进行放大处理,最终输出图像903在显示装置上显示,图像903在X方向上存在一定的模糊。降低分辨率值后进行放大处理会造成图像模糊,图像模糊的型态与降低分辨率值的方向有关,例如缩小X方向(即横向分辨率对象)的值会造成放大后图像的横向模糊,缩小Y方向(即纵向分辨率对象)的值则会造成放大后图像纵向模糊。
本申请实施例通过在已知的运动方向上进行降低分辨率值处理,放大后产生的模糊效果便会与运动方向重合,符合视觉上的效果,但能够有效提高图像的刷新率,在一定程度上减轻了模糊所造成的画面质量带来的不利影响。
再请参见图10a,是本申请实施例的一种图像的分辨率处理方法的流程示意图,本申请实施例的方法可以由图像处理设备来执行,该图像处理设备具体可以通过计算机设备实现或由计算机设备中的部分重要结构所构成。例如 该图像处理设备可以是VR主机设备或AR主机设备,该图像处理设备也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的,本申请实施例的方法包括如下步骤。
S1001:获取当前的图像处理性能参数。其中,图像处理性能参数是指用于衡量图像处理设备当前对待显示图像的生成能力的参数,包括当前图像处理设备的图像刷新率、单帧图像的图像更新时长、和图像处理资源占用率例如GPU的占有率。
S1002:当图像处理性能参数满足分辨率调整条件时,则获取显示装置当前的运动信息。其中,图像处理性能参数满足分辨率调整条件包括:图像处理性能参数包括的图像刷新率小于预设的速率阈值;图像处理性能参数包括的图像更新时长大于预设的时长阈值;图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值中的任意一种情况或多种情况。也就是说,如果图像刷新率较高,例如均不小于90fps,则不需要降低图像分辨率,按照正常处理方式基于标准分辨率进行图像渲染等图像处理即可;如果图像更新时长较短,则不需要降低图像分辨率,按照正常处理方式基于标准分辨率进行图像渲染等图像处理即可;如果GPU等图像处理资源的占用率较高,例如GPU占用率高达98%,极有可能导致后续无法正常进行图像处理,使得刷新率降低或者图像处理时长较长,这种情况下,需要降低图像分辨率,图像处理资源的占用率可以作为一个次要条件来衡量是否降低图像处理时所使用的分辨率。
S1003:根据显示装置的运动方向,确定出需要进行值调整的目标对象,运动方向是根据运动信息确定的,目标对象为横向分辨率对象或者纵向分辨率对象。
S1004:根据显示装置的速率信息和显示装置的标准分辨率,确定目标值,速率信息是根据运动信息确定的。
S1005:生成待显示图像,待显示图像的图像分辨率中目标对象的值为目标值。
本申请实施例中,S1002至S1005各个步骤的具体实现可参考上述各实施例中相关内容的描述。
在一个实施例中,以图像处理性能参数为图像刷新率,且预设的速率阈值为90fps为例,如图10b所示,如果性能监控判断当前的图像刷新率大于(或等于)90fps,则图像处理设备的GPU会输出标准分辨率的渲染图像1011。如图10c所示,如果性能监控判断当前的图像刷新率小于90fps,则需要基于上述提及的S1002到S1005等相关步骤来进行调整,得到X坐标方向和/或Y坐标方向上对应的分辨率对象的值为对应的目标值的渲染图像1012。
再请参见图11,是本申请实施例的再一种图像的分辨率处理方法的流程示意图,本申请实施例的方法可以有图像处理设备来执行,该图像处理设备具体可以通过计算机设备实现或由计算机设备中的部分重要结构所构成。例如该图像处理设备可以是VR主机设备或AR主机设备,该图像处理设备也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的,本申请实施例的方法包括如下步骤。
S1101:判断运动信息是否满足运动条件。运动信息主要包括上述提到的显示装置的三轴转动状态信息(包含角度/角速度/角加速度),和/或位置状态信息(包含位置/速度/加速度)等信息。如果判断结果为是,运动信息满足运动条件,则触发执行下述的S1102,如果为否,则继续执行S1101。运动信息满足运动条件包括:由运动信息确定的显示装置的速率信息所指示的运动数值大于预设的速度阈值。在显示装置的运动数值大于速度阈值的情况下,例如运动加速度值大于加速度阈值、角加速度值大于角加速度阈值等等情况下,也可以考虑降低图像处理时所使用的图像分辨率,这样可以减小GPU等图像处理资源的处理压力,可以在一定程度上节省能耗,提供图像处理设备更长的续航能力。
S1102:根据显示装置的运动方向,确定出需要进行值调整的目标对象,运动方向是根据运动信息确定的,目标对象为横向分辨率对象或者纵向分辨率对象。
S1103:根据显示装置的速率信息和显示装置的标准分辨率,确定目标值,速率信息是根据运动信息确定的。
S1104:生成待显示图像,待显示图像的图像分辨率中目标对象的值为目标值。
本申请实施例中,S1102至S1104各个步骤的具体实现可参考上述各实施例中相关内容的描述。
可以理解的是,在其他的实施例中,可以基于图像处理性能参数和运动信息,综合考虑是否降低图像分辨率。在一个实施例中,获取当前的图像处理性能参数;如果图像处理性能参数满足分辨率调整条件,则进一步确定显示装置的运动信息,判断运动信息是否满足运动条件;如果运动信息满足运动条件,则触发执行后续的S1102到S1104。
在一个实施例中,如图12所示,是本申请实施例的再一种图像的分辨率处理方法的流程示意图,本申请实施例的方法可以由图像处理设备来执行,该图像处理设备具体可以通过计算机设备实现或由计算机设备中的部分重要结构所构成。例如该图像处理设备可以是VR主机设备或AR主机设备,该图像处理设备也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的,本申请实施例的方法包括如下步骤。
S1201:初始化处理,包括整个图像处理设备的系统初始化处理。
S1202:监控图像处理性能和显示装置的运动状态,获取图像处理性能参数和显示装置的运动信息。主要从GPU确定图像刷新率等性能参数,以及显示装置的运动加速度等数据,以此进行下述S1203的判断。
S1203:判断图像处理性能参数是否满足分辨率调整条件。例如刷新率是否大于90fps等条件。如果判断为否,不满足分辨率调整条件,则执行S1204,以便于按照最佳的画质渲染设置输出最佳的待显示图像。如果判断为是,即满足分辨率调整条件,则执行下述S1205。
S1204:根据设置的标准分辨率处理得到待显示图像。
S1205:判断运动信息是否满足运动条件,即判断用户是否为快速运动,例如运动信息包括的加速度大于预设的加速度阈值,或角加速度大于预设的角加速度阈值等条件。如果判断为否,不满足运动条件,也可以按照最佳的画质渲染设置输出最佳的待显示图像,直接基于标准分辨率处理得到待显示图像。或者在不满足运动条件时,按照较缓和的全局分辨率进行分辨率调整设置,也可以执行下述的S1206。而如果满足运动条件,表明显示装置的运动较为剧烈,则执行下述的S1207。
S1206:按照缓和分辨率调整规则,对标准分辨率进行调整得到缓和分辨率,并生成待显示图像,生成的该待显示图像的分辨率为缓和分辨率,缓和分辨率与上述提及的目标值不相同。在一个实施例中,如果检测到运动信息不满足运动条件,和/或图像处理性能参数不满足分辨率调整条件,也可以执行较缓和的分辨率调整规则,具体步骤可以包括:获取在横向分辨率对象和纵向分辨率对象上进行值调整的目标倍率,根据目标倍率计算得到横向分辨率对象的第一分辨率值,和纵向分辨率对象上的第二分辨率值,生成待显示图像,待显示图像在横向分辨率对象上为第一分辨率值、在纵向分辨率对象上为第二分辨率值。目标倍率为预设的值,为一使标准分辨率的变化很轻微值,例如为0.9,那么第一分辨率值和第二分辨率值实际分别为标准分辨率×0.9,例如上述1080*1200的标准分辨率,分别乘以0.9后的缓和分辨率为:972*1080。
S1207:根据由运动信息确定的显示装置的运动方向,确定出需要进行值调整的目标对象,目标对象为横向分辨率对象或者纵向分辨率对象。
S1208:根据由运动信息确定的速率信息和显示装置的标准分辨率,确定目标值。
S1209:生成待显示图像,待显示图像的图像分辨率中目标对象的值等于目标值。
本申请实施例中,S1207至S1209各个步骤的具体实现可参考上述各实施例中相关内容的描述。
在一个实施例中,也可以先判断运动信息是否满足运动条件;如果运动信息满足运动条件,则进一步获取当前的图像处理性能参数;如果图像处理性能参数满足分辨率调整条件,则触发执行根据由运动信息确定的显示装置的运动方向,确定出需要进行值调整的目标对象,以便于执行后续步骤得到待显示图像。
在一个实施例中,在生成待显示图像之后,即:执行了上述的S204、或者执行了上述的S1005、或者执行了上述的S1104之后,如果检测到运动信息不满足运动条件,和/或图像处理性能参数不满足分辨率调整条件,则可以继续执行根据由运动信息确定的显示装置的运动方向,确定出需要进行值调 整的目标对象等步骤以便于得到新的目标值并生成新的待显示图像,并在持续检测到在生成N帧待显示图像的过程中,运动信息均不满足运动条件和/或图像处理性能参数均不满足分辨率调整条件,则停止执行根据由运动信息确定的显示装置的运动方向,确定出需要进行值调整的目标对象等步骤,不再执行获取目标值的步骤,即不进行分辨率调整,得到图像分辨率为标准分辨率的待显示图像。N可以根据需要设置为3~5的数值。
请参见图13,是本申请实施例的一种图像的分辨率处理系统的结构示意图,系统包括图像处理设备和显示装置,在一个实施例中,图像处理设备可通过计算机设备实现,图像处理设备具体可以是AR主机、或VR主机等设备,图13中以VR主机作为图像处理设备进行示例,显示装置则对应地可以为用于显示诸如游戏画面图像、CG图像、高清图像等AR眼镜、或VR头盔等显示设备,图13中以VR头盔作为显示设备进行示例。在图像处理设备中进行图像的渲染等处理,并输出图像,在显示装置中显示图像。图13所示的实施例主要体现了图像处理设备和显示装置分离的图像处理场景。图像处理设备能够通过上述各个实施例中描述的相关步骤进行图像处理,最终得到最终可供显示装置显示的待显示图像,并将其作为目标图像输出,显示装置直接显示由图像处理设备输出的目标图像。在图13中,所示的网络仅为示例,在一些实施例中,VR主机和VR头盔之间还可以通过其他方式相连,例如直接通过数据线进行有线连接。
在一个实施例中,图像的分辨率处理系统包括图像处理设备和显示装置,其中:图像处理设备,用于获取显示装置的运动信息;根据运动信息确定显示装置的运动方向和速率信息;根据运动方向确定需要进行值调整的目标对象,目标对象为横向分辨率对象或者纵向分辨率对象;根据速率信息和显示装置的标准分辨率,确定目标值;生成待显示图像,待显示图像的图像分辨率中目标对象的值等于目标值,并根据待显示图像输出目标图像;显示装置,用于向图像处理设备发送运动信息,并用于在接收到目标图像后,显示目标图像。
在一个实施例中,显示装置还用于当检测到显示目标图像的图像刷新率小于预设的速率阈值,和/或检测到采集到的运动信息满足运动条件时,向图 像处理设备发送运动信息。
在一个实施例中,如图14所示,图像处理设备1400可以包括用户接口1401、处理器1402、存储装置1403以及输出接口1404,当然该图像处理设备1400还可以包括用于为设备提供电源的供电模块、用于从互联网上下载包括各种图像的数据(例如游戏数据)等功能模块。图像处理设备1400还可以根据提供音箱接口、麦克风接口等接口模块。
用户接口1401可以包括一些物理按键或者触摸按键等构成的接口模块,能够接收用户的操作,该用户接口1401还可以包括一些能够向用户提示诸如图像处理设备1400的工作状态等信息的显示屏等结构。
存储装置1403可以包括易失性存储器(volatile memory),如随机存取存储器(random-access memory,RAM);存储装置1403也可以包括非易失性存储器(non-volatile memory),如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置1403还可以包括上述种类的存储器的组合。
处理器1402可以是中央处理器1402(central processing unit,CPU)。处理器1402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)等。处理器1402也可以为上述结构的组合。
在一个实施例中,存储装置1403还用于存储计算机程序指令。处理器1402可以调用计算机程序指令,可以实现上述涉及到各种方法及步骤。
处理器1402,调用存储装置1403中存储的计算机程序指令,用于获取显示装置的运动信息;根据运动信息确定显示装置的运动方向和速率信息;根据运动方向确定需要进行值调整的目标对象,目标对象为横向分辨率对象或者纵向分辨率对象;根据速率信息和显示装置的标准分辨率,确定目标值;及生成待显示图像,待显示图像的图像分辨率中目标对象的值等于目标值。生成的显示图像可以通过输出接口1404输出,以便于显示装置显示这些图像。当然,在其他实施例中,如果图像处理设备1400直接还包括显示屏,则 处理器1402生成的待显示图像通过输出接口1404发送给显示屏,由显示屏直接显示。
在一个实施例中,处理器1402,在用于获取显示装置的运动信息之前,还用于获取当前的图像处理性能参数;如果图像处理性能参数满足分辨率调整条件,则触发执行获取显示装置的运动信息;图像处理性能参数满足分辨率调整条件包括以下情况中的至少一种:图像处理性能参数包括的图像刷新率小于预设的速率阈值;图像处理性能参数包括的图像更新时长大于预设的时长阈值;及图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
在一个实施例中,处理器1402还用于当运动信息满足运动条件时,则触发执行根据显示装置的运动方向,确定出需要进行值调整的目标对象;运动信息满足运动条件包括:由运动信息确定的显示装置的速率信息所指示的运动数值大于预设的速度阈值。
在一个实施例中,处理器1402还用于采用分辨倍率确定规则,确定运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和分辨倍率,得到目标值。
在一个实施例中,处理器1402还用于采用调控值确定规则,确定当前的图像处理性能参数包括的图像更新时长对应的调控值;采用分辨倍率确定规则,确定运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和调控值、分辨倍率,得到目标值。
在一个实施例中,分辨倍率确定规则包括当显示装置的速率信息对应的运动数值小于第一阈值时,则确定运动信息对应的分辨倍率为第一固定倍率;并且,分辨倍率不小于第二固定倍率。
在一个实施例中,调控值确定规则包括当当前的图像处理性能参数包括的图像更新时长小于第一时长阈值时,则确定调控值为第一固定调控值;并且,调控值不小于第二固定调控值。
在一个实施例中,处理器1402,调用存储装置1403中存储的计算机程序指令,还用于从生成的待显示图像中确定出目标图像对象,按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
在一个实施例中,处理器1402,调用存储装置1403中存储的计算机程序指令,还用于根据显示装置的显示分辨率值、待显示图像的分辨率值,对待显示图像进行放大处理;及将放大处理后的待显示图像输出至显示装置以进行显示。
本申请实施例的处理器1402的具体功能实现可参考上述各个实施例中相关内容的描述,在此不赘述。
本申请实施例可以在检测到用户运动时,根据运动方向来调整图像坐标系中X轴向或者Y轴向的分辨率值,通过改变图像渲染等处理过程中,图像的分辨率值的方式来保证一定的刷新率,可以维持头戴式显示装置等设备显示画面的稳定性。
请参见图15所示,是本申请实施例的一种图像的分辨率处理装置1500的结构示意图,本申请实施例的装置可以根据需要设置在VR主机、AR主机等设备中,本申请实施例的装置还可以设置在能够提供主机功能的智能手机、平板电脑、智能可穿戴设备等设备中,本申请实施例的装置包括如下模块。
获取模块1501,用于获取显示装置的运动信息,并根据运动信息确定显示装置的运动方向和速率信息。确定模块1502,用于根据运动方向确定需要进行值调整的目标对象,目标对象为横向分辨率对象或者纵向分辨率对象。计算模块1503,用于根据速率信息和显示装置的标准分辨率,确定目标值。生成模块1504,用于生成待显示图像,待显示图像的图像分辨率中目标对象的值等于目标值。
在一个实施例中,图像的分辨率处理装置1500还包括:第一触发模块1505,第一触发模块1505,用于获取当前的图像处理性能参数;当图像处理性能参数满足分辨率调整条件时,则触发获取模块1501执行获取显示装置的运动信息;图像处理性能参数满足分辨率调整条件包括以下情况中的至少一种:图像处理性能参数包括的图像刷新率小于预设的速率阈值;图像处理性能参数包括的图像更新时长大于预设的时长阈值;图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
在一个实施例中,图像的分辨率处理装置1500还包括:第二触发模块1506,第二触发模块1506,用于当运动信息满足运动条件时,则触发获取模 块1501执行根据由运动信息确定的显示装置的运动方向,确定出需要进行值调整的目标对象;运动信息满足运动条件包括:由运动信息确定的显示装置的速率信息所指示的运动数值大于预设的速度阈值。
在一个实施例中,第一触发模块1505和第二触发模块1506的触发功能可以由同一个触发模块来实现。
在一个实施例中,计算模块1503,具体用于采用分辨倍率确定规则,确定运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和分辨倍率,得到目标值。
在一个实施例中,计算模块1503,具体用于采用调控值确定规则,确定当前的图像处理性能参数包括的图像更新时长对应的调控值;采用分辨倍率确定规则,确定运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和调控值、分辨倍率,得到目标值。
在一个实施例中,分辨倍率确定规则包括当显示装置的速率信息对应的运动数值小于第一阈值时,则确定运动信息对应的分辨倍率为第一固定倍率;并且,分辨倍率不小于第二固定倍率。
在一个实施例中,调控值确定规则包括当当前的图像处理性能参数包括的图像更新时长小于第一时长阈值时,则确定调控值为第一固定调控值;并且,调控值不小于第二固定调控值。
在一个实施例中,图像的分辨率处理装置1500还可以包括:调整模块1507,调整模块1507,用于从生成的待显示图像中确定出目标图像对象,按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
在一个实施例中,图像的分辨率处理装置1500还可以包括:缩放模块1508,缩放模块1508,用于根据显示装置的显示分辨率值、待显示图像的分辨率值,对待显示图像进行放大处理;及将放大处理后的待显示图像输出至显示装置以进行显示。
在一个实施例中,调整模块1507和缩放模块1508的具体功能可以由一个处理模块来实现。在一个实施例中,生成模块1504输出的待显示图像也可以直接发送给缩放模块1508,由缩放模块1508直接进行缩放处理而不需要按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
本申请实施例的图像的分辨率处理装置的各个功能模块的具体功能实现可参考上述各个实施例中相关内容的描述,在此不赘述。
本申请实施例可以在检测到用户运动时,根据运动方向来调整图像坐标系中X轴向或者Y轴向的分辨率值,通过改变图像渲染等处理过程中,图像的分辨率值的方式来保证一定的刷新率,可以维持头戴式显示装置等设备显示画面的稳定性。
在一个实施例中,本申请提供的图像的分辨率处理装置可以实现为一种计算机程序的形式,计算机程序可在如图14所示的图像处理设备上运行。图像处理设备的存储器中可存储组成该图像的分辨率处理装置的各个程序模块,比如,图15所示的获取模块、确定模块、计算模块和生成模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像的分辨率处理方法中的步骤。
例如,图14所示的图像处理设备可以通过如图15所示的图像的分辨率处理装置中的获取模块执行步骤S201。图像处理设备可通过确定模块执行步骤S202。图像处理设备可通过计算模块执行步骤S203。图像处理设备可通过生成模块执行步骤S204。
在一个实施例中,提供了一种图像处理设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像的分辨率处理方法的步骤。此处图像的分辨率处理方法的步骤可以是上述各个实施例的图像的分辨率处理方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像的分辨率处理方法的步骤。此处图像的分辨率处理方法的步骤可以是上述各个实施例的图像的分辨率处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。 以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (20)
- 一种图像的分辨率处理方法,由图像处理设备执行,所述方法包括:获取显示装置的运动信息;根据所述运动信息确定显示装置的运动方向和速率信息;根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
- 如权利要求1所述的方法,其特征在于,所述获取显示装置的运动信息包括:获取当前的图像处理性能参数;及当所述图像处理性能参数满足分辨率调整条件时,则触发执行所述获取显示装置的运动信息的步骤;所述图像处理性能参数满足分辨率调整条件包括以下情况中的至少一种:所述图像处理性能参数包括的图像刷新率小于预设的速率阈值;所述图像处理性能参数包括的图像更新时长大于预设的时长阈值;及所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
- 如权利要求1所述的方法,其特征在于,所述根据所述运动方向,确定需要进行值调整的目标对象,包括:当所述运动信息满足运动条件时,则触发执行所述根据所述运动方向,确定需要进行值调整的目标对象的步骤;所述运动信息满足运动条件包括:由所述运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。
- 如权利要求1所述的方法,其特征在于,所述根据所述速率信息和所述显示装置的标准分辨率,确定目标值,包括:采用分辨倍率确定规则,确定所述运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和所述分辨倍率,得到目标值。
- 如权利要求1所述的方法,其特征在于,所述根据所述速率信息和所述显示装置的标准分辨率,确定目标值,包括:采用调控值确定规则,确定当前的图像处理性能参数包括的图像更新时长对应的调控值;采用分辨倍率确定规则,确定所述运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率,得到目标值。
- 如权利要求4或5所述的方法,其特征在于,所述分辨倍率确定规则包括当所述显示装置的速率信息对应的运动数值小于第一阈值时,则确定所述运动信息对应的分辨倍率为第一固定倍率;并且,所述分辨倍率不小于第二固定倍率。
- 如权利要求5所述的方法,其特征在于,所述调控值确定规则包括当当前的图像处理性能参数包括的图像更新时长小于第一时长阈值时,则确定调控值为第一固定调控值;并且,所述调控值不小于第二固定调控值。
- 如权利要求1所述的方法,其特征在于,所述方法还包括:从生成的所述待显示图像中确定出目标图像对象,按照几何精细度调整规则对所述目标图像对象的几何精细度进行调整。
- 如权利要求1所述的方法,其特征在于,所述方法还包括:根据所述显示装置的显示分辨率值、待显示图像的分辨率值,对待显示图像进行放大处理;及将放大处理后的待显示图像输出至所述显示装置以进行显示。
- 一种图像的分辨率处理系统,其特征在于,包括:图像处理设备和显示装置,其中:所述图像处理设备,用于获取显示装置的运动信息;根据所述运动信息确定显示装置的运动方向和速率信息;根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;根据所述速率信息和所述显示装置的标准分辨率,确定目标值;生成待显示图像, 所述待显示图像的图像分辨率中目标对象的值等于所述目标值,并根据待显示图像输出目标图像;所述显示装置,用于向所述图像处理设备发送运动信息,并用于在接收到所述目标图像后,显示所述目标图像。
- 如权利要求10所述的系统,其特征在于,所述显示装置还用于当检测到显示目标图像的图像刷新率小于预设的速率阈值,和/或检测到采集到的运动信息满足运动条件时,向所述图像处理设备发送运动信息。
- 一种图像的分辨率处理装置,所述装置包括:获取模块,用于获取显示装置的运动信息,并根据所述运动信息确定显示装置的运动方向和速率信息;确定模块,用于根据所述运动方向确定需要进行值调整的目标对象,所述目标对象为横向分辨率对象或者纵向分辨率对象;计算模块,用于根据所述速率信息和所述显示装置的标准分辨率,确定目标值;及生成模块,用于生成待显示图像,所述待显示图像的图像分辨率中目标对象的值等于所述目标值。
- 如权利要求12所述的装置,其特征在于,所述装置还包括第一触发模块,用于获取当前的图像处理性能参数;及当所述图像处理性能参数满足分辨率调整条件时,则触发执行所述获取显示装置的运动信息的步骤;所述图像处理性能参数满足分辨率调整条件包括以下情况中的至少一种:所述图像处理性能参数包括的图像刷新率小于预设的速率阈值;所述图像处理性能参数包括的图像更新时长大于预设的时长阈值;及所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
- 如权利要求12所述的装置,其特征在于,所述装置还包括第二触发模块,用于当所述运动信息满足运动条件时,则触发执行所述根据所述显示装置的运动方向,确定出需要进行值调整的目标对象的步骤;所述运动信息满足运动条件包括:由所述运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。
- 如权利要求12所述的装置,其特征在于,所述计算模块还用于采用分辨倍率确定规则,确定所述运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和所述分辨倍率,得到目标值。
- 如权利要求12所述的装置,其特征在于,所述计算模块还用于采用调控值确定规则,确定当前的图像处理性能参数包括的图像更新时长对应的调控值;采用分辨倍率确定规则,确定所述运动信息对应的分辨倍率;及根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率,得到目标值。
- 如权利要求12所述的装置,其特征在于,所述装置还包括:调整模块,用于从生成的所述待显示图像中确定出目标图像对象,按照几何精细度调整规则对所述目标图像对象的几何精细度进行调整。
- 如权利要求12所述的装置,其特征在于,所述装置还包括:缩放模块,用于根据所述显示装置的显示分辨率值、待显示图像的分辨率值,对待显示图像进行放大处理;及将放大处理后的待显示图像输出至所述显示装置以进行显示。
- 一种非易失性的计算机可读存储介质,存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至9中任一项所述的方法的步骤。
- 一种图像处理设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19792700.7A EP3786878A4 (en) | 2018-04-27 | 2019-02-20 | METHOD, SYSTEM AND APPARATUS FOR IMAGE RESOLUTION PROCESSING AND METHOD OF INFORMATION AND DEVICE |
US16/918,175 US11244427B2 (en) | 2018-04-27 | 2020-07-01 | Image resolution processing method, system, and apparatus, storage medium, and device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810392834.X | 2018-04-27 | ||
CN201810392834.XA CN108596834B (zh) | 2018-04-27 | 2018-04-27 | 图像的分辨率处理方法、图像处理装置及系统、存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/918,175 Continuation US11244427B2 (en) | 2018-04-27 | 2020-07-01 | Image resolution processing method, system, and apparatus, storage medium, and device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019205782A1 true WO2019205782A1 (zh) | 2019-10-31 |
Family
ID=63610098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2019/075519 WO2019205782A1 (zh) | 2018-04-27 | 2019-02-20 | 图像的分辨率处理方法、系统、装置、存储介质及设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11244427B2 (zh) |
EP (1) | EP3786878A4 (zh) |
CN (1) | CN108596834B (zh) |
WO (1) | WO2019205782A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114691251A (zh) * | 2020-12-28 | 2022-07-01 | 深圳Tcl新技术有限公司 | 显示控制方法、装置、终端设备及计算机可读存储介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596834B (zh) * | 2018-04-27 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 图像的分辨率处理方法、图像处理装置及系统、存储介质 |
CN109473082A (zh) * | 2019-01-08 | 2019-03-15 | 京东方科技集团股份有限公司 | 一种显示屏刷新率的调整方法、装置及虚拟现实设备 |
JP6992769B2 (ja) * | 2019-01-17 | 2022-01-13 | セイコーエプソン株式会社 | 表示装置の制御方法、表示装置および表示システム |
CN110166758B (zh) * | 2019-06-24 | 2021-08-13 | 京东方科技集团股份有限公司 | 图像处理方法、装置、终端设备及存储介质 |
CN113516782B (zh) * | 2021-07-29 | 2023-09-05 | 中移(杭州)信息技术有限公司 | Vr游戏渲染优化方法、装置、设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105392538A (zh) * | 2013-06-07 | 2016-03-09 | 索尼电脑娱乐公司 | 响应于头戴式显示器中的用户动作的图像渲染 |
CN108596834A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 图像的分辨率处理方法、图像处理装置及系统、存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6747680B1 (en) * | 1999-12-13 | 2004-06-08 | Microsoft Corporation | Speed-dependent automatic zooming interface |
US20160147063A1 (en) * | 2014-11-26 | 2016-05-26 | Osterhout Group, Inc. | See-through computer display systems |
KR102454196B1 (ko) * | 2014-05-27 | 2022-10-14 | 삼성전자 주식회사 | 디스플레이 제어 방법 및 이를 제공하는 전자 장치 |
US10055009B2 (en) * | 2014-05-30 | 2018-08-21 | Apple Inc. | Dynamic display refresh rate based on device motion |
EP3216023A4 (en) * | 2014-11-07 | 2018-07-18 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
WO2016092698A1 (ja) * | 2014-12-12 | 2016-06-16 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
US10121221B2 (en) * | 2016-01-18 | 2018-11-06 | Advanced Micro Devices, Inc. | Method and apparatus to accelerate rendering of graphics images |
US20170352130A1 (en) * | 2016-06-05 | 2017-12-07 | Mediatek Inc. | Display apparatus dynamically adjusting display resolution and control method thereof |
CN106250080A (zh) * | 2016-07-29 | 2016-12-21 | 腾讯科技(深圳)有限公司 | 图像显示方法及装置 |
US9928660B1 (en) * | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
US10769747B2 (en) * | 2017-03-31 | 2020-09-08 | Intel Corporation | Intermediate frame generation |
CN107562351A (zh) * | 2017-09-27 | 2018-01-09 | 努比亚技术有限公司 | 一种控制屏幕分辨率的方法、终端及计算机可读存储介质 |
-
2018
- 2018-04-27 CN CN201810392834.XA patent/CN108596834B/zh active Active
-
2019
- 2019-02-20 EP EP19792700.7A patent/EP3786878A4/en active Pending
- 2019-02-20 WO PCT/CN2019/075519 patent/WO2019205782A1/zh active Application Filing
-
2020
- 2020-07-01 US US16/918,175 patent/US11244427B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105392538A (zh) * | 2013-06-07 | 2016-03-09 | 索尼电脑娱乐公司 | 响应于头戴式显示器中的用户动作的图像渲染 |
CN108596834A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 图像的分辨率处理方法、图像处理装置及系统、存储介质 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3786878A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114691251A (zh) * | 2020-12-28 | 2022-07-01 | 深圳Tcl新技术有限公司 | 显示控制方法、装置、终端设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108596834B (zh) | 2023-11-17 |
EP3786878A1 (en) | 2021-03-03 |
CN108596834A (zh) | 2018-09-28 |
EP3786878A4 (en) | 2022-01-19 |
US20200334790A1 (en) | 2020-10-22 |
US11244427B2 (en) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019205782A1 (zh) | 图像的分辨率处理方法、系统、装置、存储介质及设备 | |
US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
US10720128B2 (en) | Real-time user adaptive foveated rendering | |
US11294535B2 (en) | Virtual reality VR interface generation method and apparatus | |
CN109285211B (zh) | 画面渲染方法、装置、终端及存储介质 | |
WO2017092332A1 (zh) | 一种渲染图像的处理方法及装置 | |
WO2020003860A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN114026603B (zh) | 渲染计算机生成现实文本 | |
JP2022545598A (ja) | 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム | |
US20210048680A1 (en) | Small field of view display mitigation using transitional visuals | |
WO2020105269A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111103979A (zh) | 一种基于视觉焦点的分区渲染方法及装置 | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
JP7118383B1 (ja) | 表示システム、表示方法、及び表示プログラム | |
US11715220B1 (en) | Method and device for depth sensor power savings | |
US20240112303A1 (en) | Context-Based Selection of Perspective Correction Operations | |
JP7475625B2 (ja) | 3次元空間における入力受付および入力表示方法、プログラム、および3次元空間における入力受付および入力表示装置 | |
WO2024060959A1 (zh) | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 | |
JP7188440B2 (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
JP2019057009A (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19792700 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2019792700 Country of ref document: EP |