WO2024056020A1 - 一种双目图像的生成方法、装置、电子设备及存储介质 - Google Patents

一种双目图像的生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2024056020A1
WO2024056020A1 PCT/CN2023/118765 CN2023118765W WO2024056020A1 WO 2024056020 A1 WO2024056020 A1 WO 2024056020A1 CN 2023118765 W CN2023118765 W CN 2023118765W WO 2024056020 A1 WO2024056020 A1 WO 2024056020A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
binocular
depth value
original image
pixels
Prior art date
Application number
PCT/CN2023/118765
Other languages
English (en)
French (fr)
Inventor
王光伟
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Publication of WO2024056020A1 publication Critical patent/WO2024056020A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Abstract

本公开实施例公开了一种双目图像的生成方法、装置、电子设备及存储介质,其中该方法包括:获取原始图像;根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。

Description

一种双目图像的生成方法、装置、电子设备及存储介质
本申请要求在2022年9月14日提交中国专利局、申请号为202211115037.X的中国专利申请的优先权,该申请的全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及计算机技术领域,例如涉及一种双目图像的生成方法、装置、电子设备及存储介质。
背景技术
在虚拟现实(Virtual Reality,VR)眼镜领域,通过展示双目图像(即左目图像和右目图像),可以使用户在视觉感官上达到观看立体图像的效果。相关技术中,可通过调整图像中对象的深度,由单目图像生成双目图像。然而,基于相关技术生成的双目图像,其观看体验常得不到保证。
发明内容
本公开实施例提供了一种双目图像的生成方法、装置、电子设备及存储介质,能够提高用户观看体验。
第一方面,本公开实施例提供了一种双目图像的生成方法,包括:
获取原始图像;
根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。
第二方面,本公开实施例还提供了一种双目图像的生成装置,包括:
图像获取模块,设置为获取原始图像;
零视差深度值确定模块,设置为根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
图像生成模块,设置为根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。
第三方面,本公开实施例还提供了一种电子设备,包括:
至少一个处理器;
存储装置,设置为存储至少一个程序,
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如本公开实施例任一所述的双目图像的生成方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时执行如本公开实施例任一所述的双目图像的生成方法。
附图说明
图1为本公开实施例所提供的一种双目图像的生成方法的流程示意图;
图2为本公开实施例所提供的一种双目图像的生成方法中双目图像的视差的示意图;
图3为本公开实施例所提供的一种双目图像的生成方法的流程示意图;
图4为本公开实施例所提供的一种双目图像的生成方法中补全空洞的示意图;
图5为本公开实施例所提供的一种双目图像的生成方法的流程示意图;
图6为本公开实施例所提供的一种双目图像的生成装置的结构示意图;
图7为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术 语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“至少一个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明,而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例所提供的一种双目图像的生成方法的流程示意图。本公开实施例适用于由单目图像生成双目图像的情形,例如适用于由单目视频的视频帧生成双目视频的视频帧的情形。该方法可以由双目图像的生成装置来执行,该装置可以通过软件和硬件中至少之一的形式实现,该装置可配置于电子设备中,例如配置于计算机中。
如图1所示,本实施例提供的双目图像的生成方法,可以包括:
S110、获取原始图像。
其中,原始图像可认为是单目图像。
S120、根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值。
本公开实施例中,可以通过已有的单目图像深度估计的方法,例如基于线索的传统方法、基于机器学习的传统方法、基于有监督或无监督的深度学习方法等,对原始图像中多个像素的深度值进行估计。
其中,显著性区域可以理解为用户重点关注的对象对应的区域,还可以理解为图像中包含主要信息的区域,以及其他等。其中,用于重点关注的对象可 以基于先验信息得到,也可以是基于已有的图像显著性区域的检测方法实时得到,例如基于直方图对比度(Histogram-based Contrast,HC)算法、情景感知(Context-Aware,CA)算法、图像正则化(Graph-Regularized,GR)算法等,对原始图像中的显著性区域进行检测。进而,可以确定原始图像的显著性区域中多个像素的深度值。
双目图像可以包括左目图像和右目图像。双目图像中的视差,可包括以下至少之一:左目图像中的像素相对于右目图像中对应像素的偏移位置;右目图像中的像素相对于左目图像中对应像素的偏移位置。而双目图像中的零视差平面,可以认为是左目图像和右目图像之间像素没有偏移、或偏移非常小感官上不易察觉的平面,该平面通常是观看体验最佳的平面。
根据显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值,可以包括:统计显著性区域中多个像素的深度值,并可以将多个深度值的平均值、中位值或数量最多的深度值等,作为待生成的双目图像中零视差平面对应的目标深度值。
在一些可选的实现方式中,根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值,可以包括:根据原始图像的显著性区域中多个像素的深度值,生成第一直方图;根据第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值。
其中,第一直方图可以由一系列高度不等的纵向矩形条组成,矩形条横轴可表示深度值范围,纵轴可表示落入对应深度值范围的像素个数。通过统计显著性区域中多个像素的深度值,落入每个深度值范围的像素个数,可生成第一直方图。
其中,根据第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值,可以包括:根据第一直方图中像素分布最多的深度值范围,确定待生成的双目图像中零视差平面对应的目标深度值。例如,可以将分布最多的深度值范围的中值作为目标深度值,又如可以将分布最多的深度值 范围内任一个深度值作为目标深度值等,在此不做穷举。此外,也可以根据第一直方图中分布多的前N个深度值范围,其中N为大于或等于1的正整数,确定待生成的双目图像中零视差平面对应的目标深度值。例如,可统计分布多的前3个深度值范围中多个像素点的深度值,根据这些深度值的平均值、中位值等来确定目标深度值。
在这些可选的实现方式中,通过对原始图像的显著性区域中多个像素的深度值进行直方图分析,可确定最佳观赏位置,即确定零视差平面对应的目标深度值。
S130、根据目标深度值和原始图像中多个像素的深度值,生成双目图像。
本公开实施例中,从单目图像生成双目图像的重要步骤在于创建视差。根据三维成像原理,视差d与场景深度值Z可存在如下关系:d=ft/Z;其中,t可表示双目间的距离,f可表示双目的焦距。由于人眼的双目间距较小(成年人在60mm左右),视差通常为水平视差。且距离用户近的物体视差会比较大,距离用户远的物体视差会比较小。示例性的,图2为本公开实施例所提供的一种双目图像的生成方法中双目图像的视差的示意图。参见图2,视差可以为由左目图像到右目图像的视差,距离用户较近的圆形物体视差较大,距离用户较远的方形物体视差较小。
并且,若将目标深度值对应的平面作为零视差平面,则可将零视差平面前距离用户近的区域作为负视差区域,将零视差平面后距离用户远的区域作为正视差区域。其中,零视差平面上物体在左目图像和右目图像中可不存在偏移;负视差区域中物体在左目图像中会向左偏,在右目图像中会向右偏;正视差区域中物体在左目图像中会向右偏,在右目图像中会向左偏。
由于通过已有的单目图像的深度估计方法,估计出的原始图像中多个像素的深度值为无尺度的深度值,即可以表征像素对应物体距图像采集设备的相对远、近,但是不具备尺度信息。即,经单目图像深度估计方法估计出的像素的深度值,并非像素对应物体的场景深度值Z。然而,无尺度的深度值与绝对深 度值具备正相关的映射关系,可通过预先设置该映射关系,并将目标深度值和原始图像中像素的深度值代入该映射关系,可以得到目标深度值和原始图像中多个像素的深度值对应的具备尺度信息的场景深度值。例如,可预先设置一缩放系数scale,并将目标深度值和原始图像中多个像素的深度值乘以该缩放系数,得到目标深度值和原始图像中多个像素的深度值对应的场景深度值。
通过根据原始图像中每个像素的深度值与目标深度值比较,可确定像素的偏移方向,通过每个像素的深度值对应的场景深度值可确定视差(即偏移大小),从而创建有视差的左目图像和右目图像。
在一些可选的实现方式中,根据目标深度值和原始图像中多个像素的深度值,生成与原始图像对应的双目图像,可以包括:根据目标深度值和原始图像中多个像素的深度值,确定原始图像中多个像素分别在待生成的左目图像和右目图像中的位移向量;根据多个位移向量,对原始图像中多个像素进行处理,生成左目图像和右目图像。
在这些可选的实现方式中,位移向量即可包括,像素在待生成的左目图像和右目图像中的偏移大小以及偏移方向,且位移向量通常为水平位移向量。针对待生成的左目图像和右目图像,可以将原始图像中的像素分别按照对应的位移向量进行移动,可生成与原始图像对应的左目图像和右目图像。
在一些可选的实现方式中,在根据目标深度值和原始图像中多个像素的深度值,生成双目图像之前,还可以包括:对原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤,其中,第一阈值小于第二阈值。
其中,第一阈值和第二阈值可根据经验值或实验值预先设置,或者也可以根据原始图像中多个像素的深度值分布情况进行设置。例如,可以对原始图像中多个像素的深度值进行直方图分析,得到第二直方图;可以以保留直方图中X%(X例如为90、95或98等)的像素为目标,过滤掉深度值位于第二直方图两端的像素,从而可以确定出第一阈值和第二阈值。
在这些可选的实现方式中,通过过滤掉深度过大、过小的像素,可以对深 度异常的像素进行过滤,从而可以优化图像的像素深度值,确保图像中多个像素的深度值变化时的连续性,有利于生成效果更佳的双目图像。
在一些可选的实现方式中,在根据目标深度值和原始图像中多个像素的深度值,生成双目图像之前,还可以包括:对原始图像中多个像素的深度值进行滤波处理。在这些可选的实现方式中,可以对原始图像中多个像素深度值进行滤波处理,能够实现原始图像中多个像素的深度值平滑,从而可提高双目图像的生成效果。
可以理解的是,在根据目标深度值和原始图像中多个像素的深度值,生成双目图像之前,可以执行以下至少之一的操作:对原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤;对原始图像中多个像素的深度值进行滤波处理。且上述两种操作均执行时,可以先对原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤,再对过滤后多个剩余的像素的深度值构成的深度空间进行滤波处理。之后,可根据滤波后的深度空间和目标深度值生成双目图像。由于单目图像深度估计得到的深度值是无尺度的,通过上述过滤和滤波处理中至少之一,能够实现对深度值的校准。
本公开实施例的技术方案,根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;根据目标深度值和原始图像中多个像素的深度值,生成双目图像。在生成双目图像过程中,通过根据用户更为关注的显著性区域中像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值,可使零视差平面位于用户更为关注的位置,从而可提高用户观看体验。
本公开实施例与上述实施例中所提供的双目图像的生成方法中多个可选方案可以结合。本实施例所提供的双目图像的生成方法,对双目图像的生成质量进行了优化。在原始图像中被遮挡、而在双目图像中需要显示的部分,在生成的双目图像中会出现空洞。利用深度值大的边缘向深度值小的边缘进行图像梯度扩散,可实现利用背景部分来对空洞进行补全,视觉效果更佳,优化了双目 图像的生成质量。
图3为本公开实施例所提供的一种双目图像的生成方法的流程示意图。如图3所示,本实施例提供的双目图像的生成方法,可以包括:
S310、获取原始图像。
S320、根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值。
S330、根据目标深度值和原始图像中多个像素的深度值,生成双目图像。
S340、确定双目图像中的空洞区域。
本实施例中,空洞区域是指不包含像素信息而为空白的未知区域。这是由于原始图像中被遮挡的隐藏区域在双目图像中被显示出来而产生的。其中,可以通过已有的图像检测方法,例如边缘检测方法等,对双目图像中的空洞区域进行检测。或者,也可以通过比较原始图像与双目图像中相同像素位置的深度值变化,确定空洞区域,例如可以将深度值变化最大的区域作为空洞区域。此外,其他空洞区域的确定方式也可应用于此,在此不做穷举。
S350、由空洞区域中深度值大的边缘向深度值小的边缘进行图像梯度扩散,以对空洞区域进行补全。
示例性的,图4为本公开实施例所提供的一种双目图像的生成方法中补全空洞的示意图。参见图4,空洞区域为空白区域;空洞区域中深度值大的边缘可称为外边缘,可以认为是背景区域与空洞区域相邻的边缘;深度值小的边缘可称为内边缘,可认为是前景区域与空洞区域相邻的边缘。由于被遮挡区域的像素信息大概率与背景区域的像素信息相同,可以通过背景区域的像素信息对空洞区域进行补全。
本实施例中,可计算背景区域边缘部分的图像梯度,接着可在空洞区域进行梯度方向不变的图像梯度扩散。补全效果可参见图4,可以实现将背景区域的纹理等拉伸至前景区域的边缘部分,以补全空洞区域。
在一些可选的实现方式中,在对空洞区域进行补全之后,还可以包括:对 补全的空洞区域的进行滤波处理。在这些可选的实现方式中,滤波处理所选用的滤波核的大小,可以与待滤波处理的像素距空洞区域边缘的距离相关。当距边缘长度越小时,滤波核可以越大,从而可以使边缘部分更加平滑,以使补全的空洞与相邻区域融合的更加自然。通过对补全的空洞区域进行滤波处理,可以使生成的双目图像更加平滑、自然,可提高视觉观感体验。
本公开实施例的技术方案,对双目图像的生成质量进行了优化。在原始图像中被遮挡、而在双目图像中需要显示的部分,在生成的双目图像中会出现空洞。利用深度值大的边缘向深度值小的边缘进行图像梯度扩散,可实现利用背景部分来对空洞进行补全,视觉效果更佳,优化了双目图像的生成质量。本公开实施例提供的双目图像的生成方法与上述实施例提供的双目图像的生成方法属于同一构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且相同的技术特征在本实施例与上述实施例中具有相同的效果。
本公开实施例与上述实施例中所提供的双目图像的生成方法中的可选方案可以结合。本实施例所提供的双目图像的生成方法中,原始图像可以为视频帧。通过将视频中的多个视频帧作为原始图像,可生成多个视频帧的双目图像。在生成多个双目图像之后,还可以包括:根据多个双目图像生成立体视频。例如,利用已有的由图像合成视频的算法、工具等,将多个视频帧对应的双目图像合成双目视频,即得到立体视频。双目视频中的左目视频和右目视频可在左目、右目的显示区域播放,可以使观看的用户在视觉感官上达到观看立体视频的效果,提高沉浸感,使观看体验大大提升。
示例性的,图5为本公开实施例所提供的一种双目图像的生成方法的流程示意图。如图5所示,本实施例提供的双目图像的生成方法中,视频帧可以包括直播流中的视频帧,显著性区域可以包括主播面部区域,该方法可以包括:
S510、获取直播流中的视频帧。
其中,直播流可以为正在直播的直播流,也可以为录播后的直播流。可以通过已有的视频帧获取方法,获得直播流中的视频帧。
S520、根据视频帧的主播面部区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值。
在直播领域,用户重点关注的区域通常为主播面部区域,因此可以将主播面部区域直接作为显著性区域。
S530、对视频帧中深度值小于第一阈值,以及大于第二阈值的像素进行过滤。
S540、对过滤像素后视频帧中多个像素的深度值进行滤波处理。
由于相邻视频帧之间,多个像素对应的物体在时序、空间上具备连续性。在一些实现方式中,还可以利用像素在前一视频帧中的深度值,来对当前视频帧中相对应像素的深度值进行时序滤波处理,从而可提高处理当前视频帧中像素的深度值的准确性。
其中,利用像素在前一视频帧中的深度值,来对当前视频帧中相对应像素的深度值进行时序滤波处理,例如可以包括:确定相同像素从前一视频帧到当前视频帧的时序视差;将前一视频帧中的像素按照对应的时序视差进行位置移动,以确定当前视频帧中对应的像素;将前一视频帧中像素的深度值,向后传播给当前视频帧中对应的像素,以得到当前视频帧中对应像素的深度的估计值;根据当前视频帧中对应像素的深度的估计值,对当前视频帧中像素的深度值进行加权平滑,从而实现时序滤波处理。
S550、根据目标深度值和处理后视频帧中多个像素的深度值,生成双目图像。
S560、确定双目图像中的空洞区域。
S570、由空洞区域中深度值大的边缘向深度值小的边缘进行图像梯度扩散,以对空洞区域进行补全。
S580、对补全的空洞区域的进行滤波处理。
S590、根据滤波处理后的双目图像生成立体视频。
其中,可以利用已有的由图像合成视频的算法、工具等,将多个视频帧对 应的双目图像合成双目视频,即得到立体视频。双目视频中的左目视频和右目视频可在左目、右目的显示区域播放,可以使观看的用户在视觉感官上达到观看立体直播流的效果,提高直播沉浸感,使观看体验大大提升。
本实施例所提供的双目图像的生成方法中,原始图像可以为视频帧。通过将视频中的多个视频帧作为原始图像,可生成多个视频帧的双目图像,进而可合成双目视频。双目视频中的左目视频和右目视频可在左目、右目的显示区域播放,可以使观看的用户在视觉感官上达到观看立体视频的效果,提高沉浸感,使观看体验大大提升。本公开实施例提供的双目图像的生成方法与上述实施例提供的双目图像的生成方法属于同一构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且相同的技术特征在本实施例与上述实施例中具有相同的效果。
图6为本公开实施例所提供的一种双目图像的生成装置的结构示意图。本实施例提供的双目图像的生成装置适用于由单目图像生成双目图像的情形,例如适用于由单目视频的视频帧生成双目视频的视频帧的情形。
如图6所示,本公开实施例提供的双目图像的生成装置,可以包括:
图像获取模块610,设置为获取原始图像;
零视差深度值确定模块620,设置为根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
图像生成模块630,设置为根据目标深度值和原始图像中多个像素的深度值,生成双目图像。
在一些可选的实现方式中,零视差深度值确定模块,可以设置为:
根据原始图像的显著性区域中多个像素的深度值,生成第一直方图;
根据第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值。
在一些可选的实现方式中,零视差深度值确定模块,可以设置为:
根据第一直方图中像素分布最多的深度值范围,确定待生成的双目图像中 零视差平面对应的目标深度值。
在一些可选的实现方式中,图像生成模块,可以设置为:
根据目标深度值和原始图像中多个像素的深度值,确定原始图像中多个像素分别在待生成的左目图像和右目图像中的位移向量;
根据多个位移向量,对原始图像中多个像素进行处理,生成左目图像和右目图像。
在一些可选的实现方式中,图像生成模块,还可以设置为:
在根据目标深度值和原始图像中多个像素的深度值,生成双目图像之前,对原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤,其中,第一阈值小于第二阈值。
在一些可选的实现方式中,图像生成模块,还可以设置为:
在根据目标深度值和原始图像中多个像素的深度值,生成双目图像之前,对原始图像中多个像素的深度值进行滤波处理。
在一些可选的实现方式中,图像生成模块,还可以设置为:
在生成双目图像之后,确定双目图像中的空洞区域;
由空洞区域中深度值大的边缘向深度值小的边缘进行图像梯度扩散,以对空洞区域进行补全。
在一些可选的实现方式中,图像生成模块,还可以设置为:
在对空洞区域进行补全之后,对补全的空洞区域的进行滤波处理。
在一些可选的实现方式中,原始图像为视频帧;
图像生成模块,还可以设置为:在生成双目图像之后,根据多个双目图像生成立体视频。
在一些可选的实现方式中,视频帧包括直播流中的视频帧,显著性区域包括主播面部区域。
本公开实施例所提供的双目图像的生成装置,可执行本公开任意实施例所提供的双目图像的生成方法,具备执行方法相应的功能模块和效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
下面参考图7,图7示出了适于用来实现本公开实施例的电子设备(例如图7中的终端设备或服务器)700的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,PDA)、平板电脑(PAD)、便携式多媒体播放器(Portable Media Player,PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理器(例如中央处理器、图形处理器等)701,处理器701可以根据存储在只读存储器(Read-Only Memory,ROM)702中的程序或者从存储装置708加载到随机访问存储器(Random Access Memory,RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output,I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(Liquid Crystal Display,LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为 计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM702被安装。在该计算机程序被处理器701执行时,执行本公开实施例的双目图像的生成方法中限定的上述功能。
本公开实施例提供的电子设备与上述实施例提供的双目图像的生成方法属于同一构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的效果。
本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的双目图像的生成方法。
需要说明的是,本公开上述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的例子可以包括但不限于:具有至少一个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读信号介质可以发送、传 播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如超文本传输协议(Hyper Text Transfer Protocol,HTTP)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读存储介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有至少一个程序,当上述至少一个程序被该电子设备执行时,使得该电子设备:
获取原始图像;根据原始图像的显著性区域中各像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;根据目标深度值和原始图像中各像素的深度值,生成双目图像。
可以以至少一种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和流程图中的每个方框、以及框图和流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元、模块的名称并不构成对该单元、模块本身的限定。
本文中以上描述的功能可以至少部分地由至少一个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(Field Programmable Gate Array,FPGA)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用标准产品(Application Specific Standard Parts,ASSP)、片上系统(System on Chip,SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device,CPLD)等等。
在本公开的上下文中,机器可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读存储介质可以是机器可读信号介质或机器可读储存介质。机器可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的示例会包括基于至少一个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM)、快闪存储器、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,该方法包括:
获取原始图像;
根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,所述根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值,包括:
根据所述原始图像的显著性区域中多个像素的深度值,生成第一直方图;
根据所述第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,所述根据所述第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值,包括:
根据所述第一直方图中像素分布最多的深度值范围,确定待生成的双目图像中零视差平面对应的目标深度值。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像,包括:
根据所述目标深度值和所述原始图像中多个像素的深度值,确定所述原始图像中多个像素分别在待生成的左目图像和右目图像中的位移向量;
根据多个所述位移向量,对所述原始图像中多个像素进行处理,生成所述左目图像和右目图像。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,在所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像之前,还包括:
对所述原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤,其中,所述第一阈值小于所述第二阈值。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,在所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像之前,还包括:
对所述原始图像中多个像素的深度值进行滤波处理。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,在所述生成所述双目图像之后,还包括:
确定所述双目图像中的空洞区域;
由所述空洞区域中深度值大的边缘向深度值小的边缘进行图像梯度扩散,以对所述空洞区域进行补全。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,在所述对所述空洞区域进行补全之后,还包括:
对补全的所述空洞区域的进行滤波处理。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包 括:
在一些可选的实现方式中,所述原始图像为视频帧;
在所述生成所述双目图像之后,还包括:根据多个所述双目图像生成立体视频。
根据本公开的一个或多个实施例,提供了一种双目图像的生成方法,还包括:
在一些可选的实现方式中,所述视频帧包括直播流中的视频帧,所述显著性区域包括主播面部区域。
根据本公开的一个或多个实施例,提供了一种双目图像的生成装置,该装置包括:
图像获取模块,设置为获取原始图像;
零视差深度值确定模块,设置为根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
图像生成模块,设置为根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。

Claims (13)

  1. 一种双目图像的生成方法,包括:
    获取原始图像;
    根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
    根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。
  2. 根据权利要求1所述的方法,其中,所述根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值,包括:
    根据所述原始图像的显著性区域中多个像素的深度值,生成第一直方图;
    根据所述第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值。
  3. 根据权利要求2所述的方法,其中,所述根据所述第一直方图中的深度值分布,确定待生成的双目图像中零视差平面对应的目标深度值,包括:
    根据所述第一直方图中像素分布最多的深度值范围,确定待生成的双目图像中零视差平面对应的目标深度值。
  4. 根据权利要求1所述的方法,其中,所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像,包括:
    根据所述目标深度值和所述原始图像中多个像素的深度值,确定所述原始图像中多个像素分别在待生成的左目图像和右目图像中的多个位移向量;
    根据多个所述位移向量,对所述原始图像中多个像素进行处理,生成所述左目图像和右目图像。
  5. 根据权利要求1所述的方法,其中,在所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像之前,还包括:
    对所述原始图像中深度值小于第一阈值,以及大于第二阈值的像素进行过滤,其中,所述第一阈值小于所述第二阈值。
  6. 根据权利要求1所述的方法,其中,在所述根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像之前,还包括:
    对所述原始图像中多个像素的深度值进行滤波处理。
  7. 根据权利要求1所述的方法,其中,在所述生成所述双目图像之后,还包括:
    确定所述双目图像中的空洞区域;
    由所述空洞区域中深度值大的边缘向深度值小的边缘进行图像梯度扩散,以对所述空洞区域进行补全。
  8. 根据权利要求7所述的方法,其中,在所述对所述空洞区域进行补全之后,还包括:
    对补全的所述空洞区域的进行滤波处理。
  9. 根据权利要求1所述的方法,其中,所述原始图像为视频帧;
    在所述生成所述双目图像之后,还包括:根据多个所述双目图像生成立体视频。
  10. 根据权利要求9所述的方法,其中,所述视频帧包括直播流中的视频帧,所述显著性区域包括主播面部区域。
  11. 一种双目图像的生成装置,包括:
    图像获取模块,设置为获取原始图像;
    零视差深度值确定模块,设置为根据原始图像的显著性区域中多个像素的深度值,确定待生成的双目图像中零视差平面对应的目标深度值;
    图像生成模块,设置为根据所述目标深度值和所述原始图像中多个像素的深度值,生成所述双目图像。
  12. 一种电子设备,包括:
    至少一个处理器;
    存储装置,设置为存储至少一个程序,
    当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理 器实现如权利要求1-10中任一所述的双目图像的生成方法。
  13. 一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时执行如权利要求1-10中任一所述的双目图像的生成方法。
PCT/CN2023/118765 2022-09-14 2023-09-14 一种双目图像的生成方法、装置、电子设备及存储介质 WO2024056020A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211115037.X 2022-09-14
CN202211115037.XA CN115937291B (zh) 2022-09-14 2022-09-14 一种双目图像的生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2024056020A1 true WO2024056020A1 (zh) 2024-03-21

Family

ID=86551261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/118765 WO2024056020A1 (zh) 2022-09-14 2023-09-14 一种双目图像的生成方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115937291B (zh)
WO (1) WO2024056020A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210429A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 点云数据划分方法及装置、障碍物检测方法及装置
US20200286293A1 (en) * 2019-03-04 2020-09-10 Dolby Laboratories Licensing Corporation Temporal Hole Filling for Depth Image Based Video Rendering
CN112927271A (zh) * 2021-03-31 2021-06-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN114677422A (zh) * 2022-02-14 2022-06-28 北京极感科技有限公司 深度信息生成方法、图像虚化方法和视频虚化方法
CN114881841A (zh) * 2022-04-19 2022-08-09 维沃移动通信有限公司 图像生成方法及其装置
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100505334B1 (ko) * 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
US10129538B2 (en) * 2013-02-19 2018-11-13 Reald Inc. Method and apparatus for displaying and varying binocular image content
CN103220544B (zh) * 2013-04-25 2015-05-27 重庆大学 一种主动离轴平行式立体成像方法
CN104010178B (zh) * 2014-06-06 2017-01-04 深圳市墨克瑞光电子研究院 双目图像视差调节方法及装置和双目相机
CN106254846B (zh) * 2015-12-30 2018-06-29 深圳超多维科技有限公司 一种图像视差调整方法、装置及电子设备
CN106454318B (zh) * 2016-11-18 2020-03-13 成都微晶景泰科技有限公司 立体成像方法及立体成像装置
CN111145100B (zh) * 2018-11-02 2023-01-20 深圳富泰宏精密工业有限公司 动态影像生成方法及系统、计算机装置、及可读存储介质
CN111950543A (zh) * 2019-05-14 2020-11-17 北京京东尚科信息技术有限公司 一种目标检测方法和装置
US20230162338A1 (en) * 2021-01-25 2023-05-25 Beijing Boe Optoelectronics Technology Co., Ltd. Virtual viewpoint synthesis method, electronic apparatus, and computer readable medium
CN114022531A (zh) * 2021-11-04 2022-02-08 上海肇观电子科技有限公司 图像处理方法、电子设备和存储介质
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200286293A1 (en) * 2019-03-04 2020-09-10 Dolby Laboratories Licensing Corporation Temporal Hole Filling for Depth Image Based Video Rendering
CN111210429A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 点云数据划分方法及装置、障碍物检测方法及装置
CN112927271A (zh) * 2021-03-31 2021-06-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN114677422A (zh) * 2022-02-14 2022-06-28 北京极感科技有限公司 深度信息生成方法、图像虚化方法和视频虚化方法
CN114881841A (zh) * 2022-04-19 2022-08-09 维沃移动通信有限公司 图像生成方法及其装置
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115937291B (zh) 2023-12-15
CN115937291A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP5977752B2 (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
EP2153669B1 (en) Method, apparatus and system for processing depth-related information
US9769460B1 (en) Conversion of monoscopic visual content to stereoscopic 3D
WO2024056020A1 (zh) 一种双目图像的生成方法、装置、电子设备及存储介质
WO2023071707A1 (zh) 视频图像处理方法、装置、电子设备及存储介质
EP3001382B1 (en) Method and apparatus for generating disparity map based on image frames photographed by stereo camera
CN112381717A (zh) 图像处理方法、模型训练方法、装置、介质及设备
WO2023151525A1 (zh) 生成特效视频的方法、装置、电子设备及存储介质
WO2023232056A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2024056030A1 (zh) 一种图像深度估计方法、装置、电子设备及存储介质
CN113344776A (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
US9779328B2 (en) Range image generation
WO2020155908A1 (zh) 用于生成信息的方法和装置
WO2023088104A1 (zh) 视频的处理方法、装置、电子设备和存储介质
US11741671B2 (en) Three-dimensional scene recreation using depth fusion
WO2013145326A1 (ja) 決定装置、決定プログラムおよび決定方法
CN113905177B (zh) 视频生成方法、装置、设备及存储介质
CN114419298A (zh) 虚拟物体的生成方法、装置、设备及存储介质
US8743180B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
TWI825892B (zh) 立體格式影像偵測方法與使用該方法的電子裝置
WO2018000610A1 (zh) 一种基于图像类型判断的自动播放方法和电子设备
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
WO2023207360A1 (zh) 图像分割方法、装置、电子设备及存储介质
CN116109476A (zh) 一种表情迁移方法、装置、设备及介质
CN117437258A (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23864752

Country of ref document: EP

Kind code of ref document: A1