WO2023246863A1 - 3d图像的生成方法、装置及计算机设备 - Google Patents

3d图像的生成方法、装置及计算机设备 Download PDF

Info

Publication number
WO2023246863A1
WO2023246863A1 PCT/CN2023/101681 CN2023101681W WO2023246863A1 WO 2023246863 A1 WO2023246863 A1 WO 2023246863A1 CN 2023101681 W CN2023101681 W CN 2023101681W WO 2023246863 A1 WO2023246863 A1 WO 2023246863A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
color image
initial
rotation angle
Prior art date
Application number
PCT/CN2023/101681
Other languages
English (en)
French (fr)
Inventor
贺曙
徐万良
Original Assignee
未来科技（襄阳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 未来科技（襄阳）有限公司 filed Critical 未来科技（襄阳）有限公司
Publication of WO2023246863A1 publication Critical patent/WO2023246863A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Definitions

  • the present application belongs to the field of image processing, and particularly relates to a 3D image generation method, device and computer equipment.
  • 3D videos displayed through 3D display technology have a strong visual impact and can bring immersive experiences to consumers.
  • feel
  • a 3D image is generated based on the target color image and the initial color image.
  • the second aspect of this application provides a 3D image generation device, including:
  • the reading unit is used to read the initial color image and the initial depth image from the backend cache, where, The initial color image has a correlation relationship with the initial depth image;
  • a mapping unit used to remap the initial depth image to obtain a target depth image
  • Determining unit used to determine the relative displacement corresponding to the initial color image
  • a rendering unit configured to render the initial color image based on the relative displacement and the target depth image to obtain a target color image
  • a generating unit configured to generate a 3D image according to the target color image and the initial color image.
  • the initial depth image of the 3D image to be generated is remapped to obtain the target depth image, and the corresponding initial color image of the 3D image to be generated is determined.
  • Relative displacement and then rendering the initial color image through the relative displacement and the target depth image to obtain a target color image, and interleaving the target color image with the initial color image to generate a 3D image, as In this way, you can get better and clearer 3D images and improve the user's viewing experience.
  • Figure 1 is a schematic flowchart of a 3D image generation method provided by an embodiment of the present application
  • Figure 2 is a schematic diagram of the angle between the human eye position and the screen provided by the embodiment of the present application;
  • Figure 3 is a schematic diagram of the relative displacement of the camera during initial color image rendering provided by the embodiment of the present application.
  • Figure 4 is a schematic diagram of a preset path provided by an embodiment of the present application.
  • Figure 5 is a schematic diagram of the virtual structure of a 3D image generating device provided by an embodiment of the present application.
  • Figure 6 is a schematic diagram of the hardware structure of a server provided by an embodiment of the present application.
  • the method for generating a 3D image will be described below from the perspective of a 3D image generating device.
  • the 3D image generating device may be a server or a service unit in the server, and is not specifically limited.
  • Figure 1 is a schematic flowchart of a method for generating 3D images provided by an embodiment of the present application, including:
  • modern 3D rendering frameworks (opengl, metal, vulkan, dirextX) use dual/multiple cache technology, that is, the currently rendered image is not displayed on the screen in real time.
  • the rendered content is stored in the back-end cache. (backend)
  • the 3D image generating device can read the initial color image and the initial depth image to be displayed in 3D from the back-end cache, and the initial color image and the initial depth image have an associated relationship, that is, the initial color image and the initial depth image are related.
  • the initial color image and the initial depth image are both obtained by converting the target original image.
  • the target original image is an RGBD image, including two images, one is an ordinary RGB three-channel color image, including color information of graphics, and the other is a depth (Depth) image, including depth information.
  • the 3D image generating device may remap the initial depth image to obtain the target depth.
  • Id is the initial depth image
  • Id1 is the target depth image
  • Id (z) is the depth value of any pixel in the initial depth image
  • Id1 (z) is the target
  • the coordinates in the depth image are I d (z) is the depth value of pixels with the same coordinates.
  • Dmax is the maximum depth value among all pixels in the initial depth image.
  • MaxDepth is an empirical value, which can be 100. Of course, it can also be Other values, such as 80, 90 and 110, are not specifically limited as long as they do not exceed the maximum floating point value.
  • the coordinates of each pixel point in the target depth image obtained by remapping correspond to the coordinates of each pixel point in the initial depth image
  • the depth value corresponding to the initial depth image corresponds to the depth value of the target depth image. different.
  • the 3D image generating device can determine the relative displacement corresponding to the initial color image. Specifically, the 3D image generating device can determine the Y-axis rotation angle corresponding to the target original image and X-axis rotation angle, the target original image is the original image corresponding to the initial color image and the initial depth image; determine the rendering position information according to the Y-axis rotation angle and the X-axis rotation angle; according to the initial position information and the rendering position information to determine the relative displacement.
  • Figure 2 is a schematic diagram of the angle between the human eye position and the screen provided by the embodiment of the present application.
  • 201 is the The position of the human eye, in a space with the center of the display screen (the center of the screen is the display screen corresponding to the 3D image) as the origin of the O-XYZ three-dimensional coordinate system, the projection of the line connecting the user's human eye to the center of the screen on the X0Z plane and the Z
  • the angle between the positive half-axis of the axis is ⁇
  • the angle between the projection of the line connecting the user's eyes and the center of the screen on the Y0Z plane and the positive half-axis of the Z-axis is ⁇ , where the X-axis and the left and right sides of the display screen
  • the directions are in the same direction, the positive direction of the The midpoint below the display screen can be calculated based on the angles ⁇ , ⁇ , the distance H
  • the angle a at which the scene corresponding to the target original image rotates around the Y-axis (that is, the Y-axis rotation angle corresponding to the target original image) and the angle b at which the scene corresponding to the target original image rotates around the X-axis (also known as the Y-axis rotation angle corresponding to the target original image) That is, the X-axis rotation angle corresponding to the target original image).
  • b is the X-axis rotation angle
  • ⁇ is the angle between the second target projection and the positive half-axis of the Z-axis in the coordinate system
  • the second target projection is the line connecting the targets on the Y0Z plane.
  • Projection, 0 is the origin of the coordinate system.
  • the 3D image display device may determine the Y-axis rotation angle and the X-axis rotation angle based on the Y-axis rotation angle and the X-axis rotation angle.
  • Dx is the X-axis coordinate value corresponding to the rendering position information
  • Dy is the Y-axis coordinate value corresponding to the rendering position information
  • a is the Y-axis rotation angle
  • b is the X-axis rotation angle
  • Rd is a preset constant.
  • the value of Rd can be 100 or 1000. Of course, it can also be set according to the actual situation, and there is no specific limit.
  • Figure 3 is a schematic diagram of the relative displacement provided by the embodiment of the present application, in which the position of the camera 301 is C0, and C0 is the initial position information of the original target image.
  • the space where the camera 301 is located is defined as the x-axis, In the three-dimensional space defined by the y-axis and the z-axis, the coordinates of C0 are (0, 0, z).
  • the camera 301 By changing the position of the camera 301, different rendered images are obtained. In order to keep the sizes of different rendered images consistent, the camera 301 remains unchanged on the z-axis.
  • the 3D image generating device can render the initial color image based on the relative displacement and the target depth image to obtain the target color image, as follows Detailed description of how to perform rendering to obtain the target color image:
  • Step A1 Determine the initial point cloud corresponding to the target depth image
  • Step A2 Adjust the coordinates of each point in the initial point cloud through the relative displacement to obtain a target point cloud.
  • P0(x,y,z) is the coordinate of any point in the initial point cloud
  • P1 is the target point cloud
  • P1(x,y,z) is the target point cloud
  • Step A3 Process the coordinates of each point in the target point cloud to obtain a reference image.
  • the reference image is a depth image that matches the size of the target depth image.
  • the depth value of the reference image is initially assigned to A.
  • Z is the reference image
  • Z(x,y) is the depth value of the pixel point with coordinates (x,y) in the reference image
  • Z(IP.x+1,IP.y+1) is the depth value of the pixel point with coordinates (IP.x+1, IP.y+1) in the reference image
  • FltErr A-w/2/z0
  • min is Z (IP.x+1, IP.y +1)
  • FltErr whichever is smaller, is assigned to Z(x,y).
  • the reference image is a depth map with the same size as the target depth image.
  • the initial depth value of the reference image is A.
  • the value of A can be 100000, 90000, or 110000. It is not specifically limited, as long as the value of A is greater than the depth value of the target depth image and less than the maximum float. Just count points.
  • I c is the initial color image
  • I c1 is the target color image
  • IP.x is the x value of the IP coordinate of the point
  • IP.y is the y value of the IP coordinate of the point
  • I c (x, y) is the pixel value of the pixel point with coordinates (x, y) in the initial color image
  • Z (x, y) is the pixel point with coordinates (x, y) in the reference image.
  • the depth value of I c1 (IP.x, IP.y) is the pixel value of the pixel point with coordinates (IP.x, IP.y) in the target color image.
  • I d2 (IP.x, IP.y) I d (x,y)*((Z(x,y)+1)>FltErr);
  • [i] in Dirs[i][0] and Dirs[i][1] represents the preset path to be traversed
  • [0] represents that the value of Dirs[i][0] is the preset path.
  • the value on the left side of the coordinate value, [1] means that the value of Dirs[i][1] is the value on the right side of the coordinate value of the preset path.
  • Step B23 Determine whether FromX, FromY, ToX and ToY exceed the boundary of the hole-filled depth image. If one of them exceeds the boundary, then
  • FLOAT_MAX is the maximum floating point value.
  • Step B24 After traversing all 16 preset paths, determine the group of FromX, FromY, ToX and ToY with the smallest FltDis value, and then fill the first target in the depth image with (FromX, FromY) as the hole.
  • the coordinates of the pixel point are (ToX, ToY) as the coordinates of the second target pixel point in the hole-filled depth image.
  • Step B3 Determine the hole filling value of the target pixel according to the coordinates of the first target pixel and the coordinates of the second target pixel.
  • I d2 (FromX, FromY) is the depth value of the first target pixel point
  • I d2 (ToX, ToY) is the depth value of the second target pixel point
  • I c1 is the target color image
  • (x, y) is the coordinate of the target pixel point
  • I c1 (x, y) is the hole filling value of the target pixel point
  • I c1 (FillX, FillY ) is the pixel value of the pixel point with coordinates (FillX, FillY) in the target color image.
  • the meaning of the formula is to determine the pixel value of the pixel point with coordinates (FillX, FillY) in the target color image as the hole filling value.
  • the hole filling value is filled into the target pixel point to fill the holes in the target color image, and the target color image without holes is obtained.
  • the 3D image generating device scales the target color image and the initial color image respectively to obtain a left color image and a right color image, that is, the 3D image generating device scales the The initial color image is scaled to size (w/2, h) to obtain the left color image, the target color image is scaled to size (w/2, h) to obtain the right color image, and then the left color image is rewritten to The left half area Rect(0,0,w/2,h) of the backend cache, the right color image is written to the right half area Rect(w/2,0,w/2,h) of the backend cache, When it is determined to output a 3D image, the left half area of the backend cache and the right half area of the backend cache are interleaved to obtain a 3D image and output.
  • the present application is described above from the perspective of a 3D image generation method, and the present application is described below from the perspective of the 3D image generation device.
  • Reading unit 501 configured to read an initial color image and an initial depth image from the backend cache, wherein the initial color image and the initial depth image have an associated relationship;
  • Determining unit 503 used to determine the relative displacement corresponding to the initial color image
  • Rendering unit 504 configured to render the initial color image based on the relative displacement and the target depth image to obtain a target color image
  • Generating unit 505 configured to generate a 3D image according to the target color image and the initial color image.
  • the determining unit 503 is specifically used to:
  • the relative displacement is determined according to the initial position information corresponding to the target original image and the rendering position information.
  • the determination unit 503 determines the rendering position information according to the Y-axis rotation angle and the X-axis rotation angle including:
  • Dx is the X-axis coordinate value corresponding to the rendering position information
  • Dy is the Y-axis coordinate value corresponding to the rendering position information
  • a is the Y-axis rotation angle
  • b is the X-axis rotation angle
  • Rd is a preset constant.
  • b is the X-axis rotation angle
  • ⁇ is the angle between the second target projection and the positive half-axis of the Z-axis in the coordinate system
  • the second target projection is the line connecting the targets on the Y0Z plane.
  • Projection, 0 is the origin of the coordinate system.
  • the generation unit 505 is specifically used to:
  • the left color image and the right color image written in the backend cache are interleaved to generate the 3D image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种3D图像的生成方法及相关设备，可以得到更加清晰的3D图像，提高用户的观看体验。该方法包括：从后端缓存中读取初始彩色图像和初始深度图像，其中，所述初始彩色图像与所述初始深度图像具有关联关系；对所述初始深度图像进行重映射，以得到目标深度图像；确定所述初始彩色图像所对应的相对位移；基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；根据所述目标彩色图像以及所述初始彩色图像生成3D图像。

Description

3D图像的生成方法、装置及计算机设备 技术领域
本申请属于图像处理领域，特别涉及一种3D图像的生成方法、装置及计算机设备。
背景技术
随着科技的发展，具有3D显示技术的产品已普遍运用到人们的日常生活当中，通过3D显示技术所显示的3D视频具备较为强烈的视觉冲击感，可以给消费者带来身临其境的感觉。
目前具有3D显示技术的产品通常是将2D视频通过视图转换方法转换为3D视频进行立体显示，然而目前通过将2D视频通过视图转换方法转换为3D视频所得到的3D视频，3D显示效果并不完善，容易造成模糊不清的现象，降低了用户的观看体验感。
发明内容
本申请提供一种3D图像的生成方法、装置及计算机设备，可以得到更加清晰的3D图像，提高用户的观看体验。
本申请第一方面提供了一种3D图像的生成方法，包括：
从后端缓存中读取初始彩色图像和初始深度图像，其中，所述初始彩色图像与所述初始深度图像具有关联关系；
对所述初始深度图像进行重映射，以得到目标深度图像；
确定所述初始彩色图像所对应的相对位移；
基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；
根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
本申请第二方面提供了一种3D图像的生成装置，包括：
读取单元，用于从后端缓存中读取初始彩色图像和初始深度图像，其中， 所述初始彩色图像与所述初始深度图像具有关联关系；
映射单元，用于对所述初始深度图像进行重映射，以得到目标深度图像；
确定单元，用于确定所述初始彩色图像所对应的相对位移；
渲染单元，用于基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；
生成单元，用于根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
本申请实施例第三方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的3D图像的生成方法的步骤。
综上所述，可以看出，本申请提供的实施例中，对待生成3D图像的初始深度图像进行重映射，得到目标深度图像，并确定出待生成3D图像的所述初始彩色图像所对应的相对位移，之后通过所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像，并将所述目标彩色图像与所述初始彩色图像进行交织，生成3D图像，由此，可以得到更加优秀清晰的3D图像，提高用户的观看体验。
附图说明
图1为本申请实施例提供的3D图像的生成方法的流程示意图；
图2为本申请实施例所提供的人眼位置与屏幕的夹角示意图；
图3为本申请实施例所提供的初始彩色图像渲染时相机相对位移示意图；
图4为本申请实施例提供的预设路径的示意图；
图5为本申请实施例提供的3D图像的生成装置的虚拟结构示意图；
图6为本申请实施例提供的服务器的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
下面从3D图像的生成装置的角度对3D图像的生成方法的进行说明，所述3D图像的生成装置可以为服务器，也可以为服务器中的服务单元，具体不做限定。
请结合参阅图1，图1为本申请实施例提供的3D图像的生成方法的流程示意图，包括：
101、从后端缓存中读取初始彩色图像和初始深度图像。
本实施例中，现代的3D渲染框架(opengl，metal，vulkan，dirextX)中，使用双/多缓存技术，即当前渲染的图像并不是实时显示到屏幕上，当然渲染的内容存放在后端缓存(backend)中，需要等待管理器交换前后缓存才会将被渲染的内容显示到屏幕上。故在交换即将发生时，读取后端缓存的彩色图像和深度图像进行重渲染生成其他视点的图像，将新生成的多视点图像作为后端内容与前端缓存进行交换。由此，所述3D图像的生成装置可以从后端缓存中读取待进行3D显示的初始彩色图像和初始深度图像，所述初始彩色图像与所述初始深度图像具有关联关系，也即，所述初始彩色图像与所述初始深度图像均为目标原始图像进行转换得到的。所述目标原始图像为rgbd图像，包括两幅图像，一幅是普通的RGB三通道彩色图像，包括图形的色彩信息，另一个是深度(Depth)图像，包括深度信息。所述始彩色图像为RGB三通道彩色图像，包括多个像素点，各个像素点以坐标值(x,y)表示，每个像素点具有像素值，像素值为rgb色彩信息。所述初始深度图像为深度图像，包括多个像素点，所述初始深度图像的像素点具有与目标深度图像相对应的坐标，所述初始深度图像的各个像素点具有表示深度信息深度值。
102、对所述初始深度图像进行重映射，以得到目标深度图像。
本实施例中，所述3D图像的生成装置在从后端缓存中读取到待进行3D显示的所述初始深度图像之后，可以对所述初始深度图像进行重映射，以得到所述目标深度图像，具体的，可以将所述初始深度图像通过如下公式重映射为所述目标深度图像：
Id1(z)＝Id(z)/Dmax*MaxDepth；
其中，Id为所述初始深度图像，Id1为所述目标深度图像，Id(z)为所述初始深度图像中的任一像素点的深度值，Id1(z)为所述目标深度图像中坐标与 Id(z)坐标相同的像素点的深度值，Dmax为所述初始深度图像的所有像素点中最大的深度值，MaxDepth为经验值，可以取值为100，当然了，也可以取值为其他值，例如80、90和110等，具体不限定，只要不超过最大浮点值即可。重映射得到的所述目标深度图像各个像素点的坐标与所述初始深度图像中各个像素点的坐标一一对应，且所述初始深度图像所对应的深度值与所述目标深度图像的深度值不同。
103、确定所述初始彩色图像所对应的相对位移。
本实施例中，所述3D图像的生成装置可以确定所述初始彩色图像所对应的相对位移，具体的，所述3D图像的生成装置可以确定所述目标原始图像所对应的Y轴旋转角度和X轴旋转角度，所述目标原始图像为所述初始彩色图像和所述初始深度图像所对应的原始图像；根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息；根据初始位置信息以及所述渲染位置信息确定所述相对位移。
下面结合图2对如何确定所述相对位移进行详细说明，请参阅图2，图2为本申请实施例所提供的人眼位置与屏幕的夹角示意图，如图2所示，201为所述人眼位置，在以显示屏幕的中心(屏幕中心为3D图像所对应的显示屏幕)作为O-XYZ三维坐标系原点的空间中，用户人眼到屏幕中心的连线在X0Z平面的投影与Z轴正半轴的夹角为α，所述用户人眼与所述屏幕中心的连线在Y0Z平面的投影与Z轴正半轴的夹角为β，其中，X轴与所述显示屏幕左右方向同向，X轴正向为由所述显示屏幕左边中心指向所述显示屏幕右边中心，Y轴与所述显示屏幕上下方向同向，Y轴正向为所述显示屏幕上方中点指向所述显示屏幕下方中点，根据角度α、β、所述用户人眼与所述显示屏幕的距离H，所述目标原始图像所对应的场景的中心与所述显示屏幕的距离J可以计算得到所述目标原始图像所对应的场景绕Y轴旋转的角度a(也即目标原始图像所对应的所述Y轴旋转角度)和所述目标原始图像所对应的场景绕X轴旋转的角度b(也即目标原始图像所对应的所述X轴旋转角度)。具体的，可以通过如下公式计算所述目标原始图像所对应的场景绕Y轴旋转的角度a：
a＝arctan(H×tanα/(H+J))；
其中，a为所述Y轴旋转角度，H为所述用户人眼与所述显示屏幕之间的距离，α为第一目标投影与坐标系中的Z轴正半轴的夹角，所述第一目标投影为目标连线在X0Z平面上的投影，所述目标连线为所述用户人眼与所述显示屏幕的中心的连线，J为所述目标原始图像所对应的场景的中心与所述显示屏幕之间的距离，所述显示屏幕为3D图像所对应的屏幕；
通过如下公式计算所述目标原始图像所对应的场景绕X轴旋转的角度b:
b＝arctan(H×tanβ/(H+J))；
其中，b为所述X轴旋转角度，β为第二目标投影与所述坐标系中的Z轴正半轴的夹角，所述第二目标投影为所述目标连线在Y0Z平面上的投影，0为坐标系的原点。
所述3D图像的显示装置在确定所述目标原始图像所对应的所述Y轴旋转角度和所述X轴旋转角度之后，可以根据所述Y轴旋转角度和所述X轴旋转角度确定所述渲染位置信息，具体的，可以通过如下公式确定所述渲染位置信息：
Dx＝tana*Rd；
Dy＝tanb*Rd；
其中，Dx为所述渲染位置信息所对应的X轴坐标值，Dy为所述渲染位置信息所对应的Y轴坐标值，a为所述Y轴旋转角度，b为所述X轴旋转角度，Rd为预设的常数，Rd可以取值为100，也可以为1000，当然也还可以根据实际情况进行设置，具体不做限定。
由此所述3D图像的显示装置在所述确定渲染位置信息之后，可以所述确定渲染位置信息与所述目标原始图像所对应的所述初始位置信息计算所述相对位移，如图3所示，图3为本申请实施例提供的相对位移的示意图，其中，相机301的位置为C0，C0即为所述目标原始图像的所述初始位置信息，定义相机301所在的空间为由x轴，y轴和z轴所界定的三维空间，C0的坐标为(0,0,z)，通过改变所述相机301的位置，得到不同的渲染图像。为保持不同渲染图像的大小一致，所述相机301在z轴上不变，所述相机301改变后的位置为C1，也即C1为所述渲染位置信息，C1的坐标为(nx,ny,z)，所述相机301位置的改变为所述相对位移，通过如下公式确定所述相机301的所述相对位移：
D＝C1-C0＝(nx,ny,0)。
104、基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像。
本实施例中，所述3D图像的生成装置在确定所述相对位移之后，可以基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到所述目标彩色图像，下面对如何进行渲染得到所述目标彩色图像进行具体说明：
步骤A1、确定所述目标深度图像所对应的初始点云；
本步骤中，所述3D图像的生成装置将所述目标深度图像通过如下公式转换成所述初始点云：
P0(x,y,z)＝(-w/2+x,-h/2+y,Id1(x,y))；
其中，0≤x＜w,0≤y＜h，P0为所述初始点云，P0(x,y,z)为所述初始点云中任一点坐标，w为所述目标深度图像的宽度，h为所述目标深度图像的高度，Id1(x,y)为所述目标深度图像中坐标为(x,y)像素点的深度值。
步骤A2、通过所述相对位移对所述初始点云中每个点的坐标进行调整，得到目标点云。
本步骤中，将所述相对位移加到所述初始点云的每个点上，得到所述目标点云，具体通过如下公式进行计算：
P1(x,y,z)＝P0(x,y,z)+D；
其中，P0(x,y,z)为所述初始点云中任一点的坐标，P1为所述目标点云，P1(x,y,z)为所述目标点云中，P0(x,y,z)加上D所得的点的坐标。由于相机位置的在z轴上不变，D值为(nx,ny,0)，因此所述目标点云和所述初始点云坐标的z值相同。
步骤A3、对所述目标点云中的每个点的坐标进行处理，得到参比图像。
本步骤中，所述参比图像为与所述目标深度图像的尺寸相匹配深度图像，所述参比图像的深度值初始赋值为A，通过如下公式对所述目标点云中的每个点的坐标进行处理，得到所述参比图像：
Z(x,y)＝min(Z(IP.x+1,IP.y+1),FltErr)；
其中，Z为所述参比图像，Z(x,y)为所述参比图像中坐标为(x,y)像素点的深度值，Z(IP.x+1,IP.y+1)为所述参比图像中坐标为(IP.x+1,IP.y+1)像素点的深度值，FltErr＝A-w/2/z0，min为将Z(IP.x+1,IP.y+1)和FltErr二者中取值小的值赋值给Z(x,y)。
IP＝LP+Dis*DLP，Dis＝(PP-LP)*PN，DLP＝-LP，A为所述参比图像的初始深度 值，w为所述目标深度图像的宽度，(x0，y0,z0)为所述目标点云中的任一点的坐标，IP.x为点IP坐标的x值，IP.y为点IP坐标的y值。
其中，所述参比图像为与所述目标深度图像尺寸一致的深度图。所述参比图像的初始深度值为A，A的取值可以为100000，也可以为90000，还可以为110000，具体不限定，只要A的取值大于目标深度图像的深度值且小于最大浮点数即可。
步骤D、根据所述参比图像中像素点的深度值对所述初始彩色图像中的像素点进行处理，得到所述目标彩色图像。
本步骤中，通过如下公式确定所述目标彩色图像：
Ic1(IP.x,IP.y)＝Ic(x,y)*((Z(x,y)+1)＞FltErr)；
其中，Ic为所述初始彩色图像，Ic1为所述目标彩色图像，IP.x为点IP坐标的x值，IP.y为点IP坐标的y值。Ic(x,y)为所述初始彩色图像中坐标为(x,y)像素点的像素值，Z(x,y)为所述参比图像中坐标为(x,y)的像素点的深度值，Ic1(IP.x,IP.y)为所述目标彩色图像中坐标为(IP.x,IP.y)像素点的像素值。
当满足(Z(x,y)+1)＞FltErr时，((Z(x,y)+1)＞FltErr)的取值为1，则将所述初始深度图像中坐标为(x,y)像素点的像素值赋值给所述目标彩色图像中坐标为(IP.x,IP.y)的像素点。
当不满足(Z(x,y)+1)＞FltErr时，((Z(x,y)+1)＞FltErr)的取值为0，则所述目标彩色图像中坐标为(IP.x,IP.y)像素点的像素值赋值为0。
需要说明的是，所述3D图像的生成装置在确定所述目标彩色图像之后，可以判断所述目标彩色图像中是否存在空洞，下面进行具体说明：
首先，通过如下公式对所述初始深度图像进行处理，得到空洞填补深度图像：
Id2(IP.x,IP.y)＝Id(x,y)*((Z(x,y)+1)＞FltErr)；
其中，Id为所述初始深度图像，Id2为所述空洞填补深度图像，Id(x,y)为所述初始深度图像中坐标为(x,y)像素点的深度值，Id2(IP.x,IP.y)为所述空洞填 补深度图像中坐标为(IP.x,IP.y)像素点的深度值。当((Z(x,y)+1)＞FltErr)的取值为1时，将所述初始深度图像中坐标为(x,y)像素点的深度值赋值给所述空洞填补深度图像中坐标为(IP.x,IP.y)的像素点，当((Z(x,y)+1)＞FltErr)的取值为0时，所述空洞填补深度图像坐标为(IP.x,IP.y)像素点的深度值赋值为0。
之后，所述3D图像的生成装置根据所述空洞填补深度图像中各个像素点的深度值判断所述目标彩色图像与所述空洞填补深度图像中各个像素点坐标相同的像素点是否为空洞，则将所述目标彩色图像中存在为空洞的像素点确定为目标像素点。
下面对确定所述目标彩色图像中是否存在所述目标像素点的方式进行说明：
若满足Id2(x,y)≤0，则确定所述目标彩色图像中坐标为(x,y)的像素点为存在为空洞的所述目标像素点，其中，Id2为所述空洞填补深度图像，Id2(x,y)为基准像素点的深度值，所述基准像素点为所述空洞填补深度图像中坐标为(x,y)的像素点。即当满足Id2(x,y)≤0时，所述目标彩色图像中坐标为(x,y)的像素点像素值赋值为0，没有色彩赋值，因此该像素点的存在为空洞。
之后，是3D图像的生成装置根据所述空洞填补深度图像中各个像素点的坐标值以及深度值确定所述目标像素点的空洞填补值，下面进行具体说明：
步骤B1、设置所述空洞填补深度图像中各个像素点遍历的预设路径。
本实施例中，是预设路径可以根据实际情况进行设置，例如所述预设路径可以为16个，也可以6个，还可以为5个，具体不限定，可根据所述目标3D图像的生成情况进行调试。
以是预设路径为16个为例，对遍历的方法进行具体的描述。
所述预设路径以Dirs表示，预设16个遍历的搜索方向，Dirs＝(-1，1)，(0，1)，(1，1)，(1，0)，(-1，2)，(1，2)，(2，1)，(2，-1)，(-2，3)，(-1，3)，(1，3)，(2，3)，(3，2)，(3，1)，(3，-1)，(3，-2)。结合图4，图4为本申请实施例提供的预设路径示意图，图4所示的所述预设路径为Dirs＝(-2,3)。
步骤B2、基于所述空洞填补深度图像中各个像素点的坐标对所述预设路径进行遍历，确定符合所述预设条件的第一目标像素点和第二目标像素点。
下面结合图4对所述空洞填补深度图像中各个像素点的遍历步骤进行说明。以所述空洞填补深度图像中各个像素点为起点，所述空洞填补深度图像中各个像素点的坐标为(x,y)，通过如下步骤进行每个所述预设方向的遍历：
步骤B21、通过如下公式进行负方向遍历：
FromX＝FromX-Dirs[i][0]，
FromY＝FromY-Dirs[i][1]。
直至Id2(FromX,FromY)＞0或FromX，FromY其中一个超出空洞填补深度图像的边界。
其中，Dirs[i][0]和Dirs[i][1]中的[i]表示遍历的所述预设路径，[0]表示Dirs[i][0]取值为所述预设路径坐标值中左边的值，[1]表示Dirs[i][1]取值为所述预设路径坐标值中右边的值。例如，所述预设路径为Dirs＝(-2,3)，以(-2,3)为预设方向进行负向遍历时(如图4所示)，则FromX＝FromX-(-2)，FromY＝FromY-3。
步骤B22、通过如下公式进行正方向遍历：
ToX＝ToX+Dirs[i][0]，
ToY＝ToY+Dirs[i][1]。
直至Id2(ToX,ToY)＞0或ToX，ToY其中一个超出所述空洞填补深度图像的边界。
其中，Dirs[i][0]和Dirs[i][1]中的[i]表示遍历的所述预设路径，[0]表示Dirs[i][0]取值为所述预设路径坐标值中左边的值，[1]表示Dirs[i][1]取值为所述预设路径坐标值中右边的值。例如，所述预设路径为Dirs＝(-2,3)，以(-2,3)为预设方向进行正向遍历时(如图4所示)，则ToX＝ToX+(-2)，ToY＝ToY+3。
步骤B23、判断FromX，FromY，ToX和ToY是否超出所述空洞填补深度图像的边界，若其中一个超出边界，则
FltDis＝FLOAT_MAX；
若FromX，FromY，ToX和ToY均未超出所述空洞填补深度图像的边界，则
其中，FLOAT_MAX为最大浮点值。
步骤B24、遍历全部16个所述预设路径后，确定FltDis取值最小一组的FromX，FromY，ToX和ToY，则以(FromX,FromY)为所述空洞填补深度图像中所述第一目标像素点的坐标，以(ToX,ToY)为所述空洞填补深度图像中所述第二目标像素点的坐标。
步骤B3、根据所述第一目标像素点的坐标和所述第二目标像素点的坐标确定所述目标像素点的空洞填补值。
本实施例中，若所述第一目标像素点和所述第二目标像素点的深度值满足Id2(FromX,FromY)＜Id2(ToX,ToY)，则确定FillX＝FromX，FillY＝FromY；若所述第一目标像素点和所述第二目标像素点的深度值满足Id2(FromX,FromY)≥Id2(ToX,ToY)，则确定FillX＝ToX，FillY＝ToY。
其中，Id2(FromX,FromY)为所述第一目标像素点的深度值，Id2(ToX,ToY)为所述第二目标像素点的深度值。
通过如下公式确定所述空洞填补值：
Ic1(x,y)＝Ic1(FillX,FillY)；
其中，Ic1为所述目标彩色图像，(x,y)为所述目标像素点的坐标，Ic1(x,y)所述目标像素点的所述空洞填补值，Ic1(FillX,FillY)为所述目标彩色图像中坐标为(FillX,FillY)的像素点的像素值。公式的含义为将所述目标彩色图像中坐标为(FillX,FillY)像素点的像素值确定为所述空洞填补值。
最后，将所述空洞填补值填补至所述目标像素点中，实现对所述目标彩色图像的空洞进行填补，得到没有空洞的所述目标彩色图像。
105、根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
本实施例中，所述3D图像的生成装置分别对所述目标彩色图像和所述初始彩色图像进行缩放，以得到左彩色图像和右彩色图像，也即所述3D图像的生成装置将所述初始彩色图像缩放到尺寸(w/2，h)得到左彩色图像，将所述目标彩色图像缩放到尺寸(w/2，h)得到右彩色图像，之后将所述左彩色图像重新写入到后端缓存的左半边区域Rect(0，0，w/2，h)，所述右彩色图像写入到后端缓存的右半边区域Rect(w/2，0，w/2，h)，在确定要输出3D图像时，将后端缓存的左半边区域和后端缓存的右半边区域进行交织，得到3D图像并输出。
综上所述，可以看出，本申请提供的实施例中，对待生成3D图像的初始深度图像进行重映射，得到目标深度图像，并确定出待生成3D图像的所述初始彩色图像所对应的相对位移，之后通过所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像，并将所述目标彩色图像与所述初始彩色图像进行交织，生成3D图像，由此，可以得到更加优秀清晰的3D图像，提高用户的观看体验。
上面从3D图像的生成方法对本申请进行说明，下面从所述3D图像的生成装置的角度对本申请进行说明。
请参阅图5，图5为本申请实施例提供的3D图像的生成装置的虚拟结构示意图，该3D图像的生成装置400包括：
读取单元501，用于从后端缓存中读取初始彩色图像和初始深度图像，其中，所述初始彩色图像与所述初始深度图像具有关联关系；
映射单元502，用于对所述初始深度图像进行重映射，以得到目标深度图像；
确定单元503，用于确定所述初始彩色图像所对应的相对位移；
渲染单元504，用于基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；
生成单元505，用于根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
一种可能的设计中，所述确定单元503具体用于：
确定目标原始图像所对应的Y轴旋转角度和X轴旋转角度，所述目标原始图像为所述初始彩色图像和所述初始深度图像所对应的原始图像；
根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息；
根据所述目标原始图像所对应的初始位置信息以及所述渲染位置信息确定所述相对位移。
一种可能的设计中，所述确定单元503根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息包括：
通过如下公式确定所述渲染位置信息：
Dx＝tana*Rd；
Dy＝tanb*Rd；
其中，Dx为所述渲染位置信息所对应的X轴坐标值，Dy为所述渲染位置信息所对应的Y轴坐标值，a为所述Y轴旋转角度，b为所述X轴旋转角度，Rd为预设的常数。
一种可能的设计中，所述确定单元503确定目标原始图像所对应的Y轴旋转角度和X轴旋转角度包括：
通过如下公式确定所述Y轴旋转角度：
a＝arctan(H×tanα/(H+J))；
其中，a为所述Y轴旋转角度，H为用户人眼与显示屏幕之间的距离，α为第一目标投影与坐标系中的Z轴正半轴的夹角，所述第一目标投影为目标连线 在X0Z平面上的投影，所述目标连线为所述用户人眼与所述显示屏幕的中心的连线，J为所述目标原始图像所对应的场景的中心与所述显示屏幕之间的距离，所述显示屏幕为所述3D图像所对应的屏幕；
通过如下公式确定所述X轴旋转角度：
b＝arctan(H×tanβ/(H+J))；
其中，b为所述X轴旋转角度，β为第二目标投影与所述坐标系中的Z轴正半轴的夹角，所述第二目标投影为所述目标连线在Y0Z平面上的投影，0为所述坐标系的原点。
一种可能的设计中，所述生成单元505具体用于：
分别对所述初始彩色图像和所述目标彩色图像进行缩放，以得到左彩色图像和右彩色图像；
将所述左彩色图像和所述右彩色图像关联写入所述后端缓存；
若接收到显示指令，则将所述后端缓存中写入的所述左彩色图像和所述右彩色图像进行交织，以生成所述3D图像。
一种可能的设计中，所述渲染单元504具体用于：
确定所述目标深度图像所对应的初始点云；
通过所述相对位移对所述初始点云中每个点的坐标进行调整，得到目标点云；
对所述目标点云中的每个点的坐标进行处理，得到参比图像；
根据所述参比图像中像素点的深度值对所述初始彩色图像中的像素点进行处理，得到所述目标彩色图像。
图6为本申请服务器的结构示意图，如图6所示，本实施例的服务器600包括至少一个处理器601，至少一个网络接口604或者其他用户接口603，存储器606，和至少一通信总线602。该服务器600可选的包含用户接口603，包括显示器，键盘或者点击设备。存储器605可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器605存储执行指令，当服务器600运行时，处理器601与存储器605之间通信，处理器601调用存储器605中存储的指令，以执行上述3D图像的生成方法。操作系统606，包含各种程序，用于实现各种基础业务以及处理根据硬件的任务。
本申请实施例提供的服务器，可以执行上述的3D图像的生成方法的实施例 的技术方案，其实现原理和技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

  1. 一种3D图像的生成方法，其特征在于，包括：
    从后端缓存中读取初始彩色图像和初始深度图像，其中，所述初始彩色图像与所述初始深度图像具有关联关系；
    对所述初始深度图像进行重映射，以得到目标深度图像；
    确定所述初始彩色图像所对应的相对位移；
    基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；
    根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
  2. 根据权利要求1所述的方法，其特征在于，所述确定所述目标深度图像所对应的相对位移包括：
    确定目标原始图像所对应的Y轴旋转角度和X轴旋转角度，所述目标原始图像为所述初始彩色图像和所述初始深度图像所对应的原始图像；
    根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息；
    根据所述目标原始图像所对应的初始位置信息以及所述渲染位置信息确定所述相对位移。
  3. 根据所述权利要求2所述的方法，其特征在于，所述根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息包括：
    通过如下公式确定所述渲染位置信息：
    Dx＝tan a*Rd；
    Dy＝tan b*Rd；
    其中，Dx为所述渲染位置信息所对应的X轴坐标值，Dy为所述渲染位置信息所对应的Y轴坐标值，a为所述Y轴旋转角度，b为所述X轴旋转角度，Rd为预设的常数。
  4. 根据权利要求2所述的方法，其特征在于，所述确定目标原始图像所对应的Y轴旋转角度和X轴旋转角度包括：
    通过如下公式确定所述Y轴旋转角度：
    a＝arctan(H×tanα/(H+J))；
    其中，a为所述Y轴旋转角度，H为用户人眼与显示屏幕之间的距离，α为 第一目标投影与坐标系中的Z轴正半轴的夹角，所述第一目标投影为目标连线在X0Z平面上的投影，所述目标连线为所述用户人眼与所述显示屏幕的中心的连线，J为所述目标原始图像所对应的场景的中心与所述显示屏幕之间的距离，所述显示屏幕为所述3D图像所对应的屏幕；
    通过如下公式确定所述X轴旋转角度：
    b＝arctan(H×tanβ/(H+J))；
    其中，b为所述X轴旋转角度，β为第二目标投影与所述坐标系中的Z轴正半轴的夹角，所述第二目标投影为所述目标连线在Y0Z平面上的投影，0为所述坐标系的原点。
  5. 根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像包括：
    确定所述目标深度图像所对应的初始点云；
    通过所述相对位移对所述初始点云中每个点的坐标进行调整，得到目标点云；
    对所述目标点云中的每个点的坐标进行处理，得到参比图像；
    根据所述参比图像中像素点的深度值对所述初始彩色图像中的像素点进行处理，得到所述目标彩色图像。
  6. 根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标彩色图像以及所述初始彩色图像生成3D图像包括：
    分别对所述初始彩色图像和所述目标彩色图像进行缩放，以得到左彩色图像和右彩色图像；
    将所述左彩色图像和所述右彩色图像关联写入所述后端缓存；
    若接收到显示指令，则将所述后端缓存中写入的所述左彩色图像和所述右彩色图像进行交织，以生成所述3D图像。
  7. 一种3D图像的生成装置，其特征在于，包括：
    读取单元，用于从后端缓存中读取初始彩色图像和初始深度图像，其中，所述初始彩色图像与所述初始深度图像具有关联关系；
    映射单元，用于对所述初始深度图像进行重映射，以得到目标深度图像；
    确定单元，用于确定所述初始彩色图像所对应的相对位移；
    渲染单元，用于基于所述相对位移以及所述目标深度图像对所述初始彩色图像进行渲染，得到目标彩色图像；
    生成单元，用于根据所述目标彩色图像以及所述初始彩色图像生成3D图像。
  8. 根据权利要求7所述的装置，其特征在于，所述确定单元具体用于：
    确定目标原始图像所对应的Y轴旋转角度和X轴旋转角度，所述目标原始图像为所述初始彩色图像和所述初始深度图像所对应的原始图像；
    根据所述Y轴旋转角度和所述X轴旋转角度确定渲染位置信息；
    根据所述目标原始图像所对应的初始位置信息以及所述渲染位置信息确定所述相对位移。
  9. 根据权利要求8所述的装置，其特征在于，所述确定单元还用于：
    通过如下公式确定所述渲染位置信息：
    Dx＝tan a*Rd；
    Dy＝tan b*Rd；
    其中，Dx为所述渲染位置信息所对应的X轴坐标值，Dy为所述渲染位置信息所对应的Y轴坐标值，a为所述Y轴旋转角度，b为所述X轴旋转角度，Rd为预设的常数。
  10. 一种计算机设备，其特征在于，包括：
    至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行权利要求1至6中任一项所述的3D图像的生成方法的步骤。
PCT/CN2023/101681 2022-06-23 2023-06-21 3d图像的生成方法、装置及计算机设备 WO2023246863A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210724366.8A CN115205451A (zh) 2022-06-23 2022-06-23 3d图像的生成方法、装置及存储介质
CN202210724366.8 2022-06-23

Publications (1)

Publication Number Publication Date
WO2023246863A1 true WO2023246863A1 (zh) 2023-12-28

Family

ID=83578972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/101681 WO2023246863A1 (zh) 2022-06-23 2023-06-21 3d图像的生成方法、装置及计算机设备

Country Status (2)

Country Link
CN (1) CN115205451A (zh)
WO (1) WO2023246863A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205452A (zh) * 2022-06-23 2022-10-18 未来科技（襄阳）有限公司 3d图像生成方法、装置及计算机设备
CN115205451A (zh) * 2022-06-23 2022-10-18 未来科技（襄阳）有限公司 3d图像的生成方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316284A1 (en) * 2009-06-10 2010-12-16 Samsung Electronics Co., Ltd. Three-dimensional image generation apparatus and method using region extension of object in depth map
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN111047709A (zh) * 2019-11-29 2020-04-21 暨南大学 一种双目视觉裸眼3d图像生成方法
CN113643414A (zh) * 2020-05-11 2021-11-12 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
CN115205451A (zh) * 2022-06-23 2022-10-18 未来科技（襄阳）有限公司 3d图像的生成方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316284A1 (en) * 2009-06-10 2010-12-16 Samsung Electronics Co., Ltd. Three-dimensional image generation apparatus and method using region extension of object in depth map
CN101937578A (zh) * 2010-09-08 2011-01-05 宁波大学 一种虚拟视点彩色图像绘制方法
CN111047709A (zh) * 2019-11-29 2020-04-21 暨南大学 一种双目视觉裸眼3d图像生成方法
CN113643414A (zh) * 2020-05-11 2021-11-12 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
CN115205451A (zh) * 2022-06-23 2022-10-18 未来科技（襄阳）有限公司 3d图像的生成方法、装置及存储介质

Also Published As

Publication number Publication date
CN115205451A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
WO2023246863A1 (zh) 3d图像的生成方法、装置及计算机设备
US10839591B2 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
EP3673463B1 (en) Rendering an image from computer graphics using two rendering computing devices
US11127214B2 (en) Cross layer traffic optimization for split XR
US10776997B2 (en) Rendering an image from computer graphics using two rendering computing devices
WO2012117729A1 (ja) 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US11539935B2 (en) Videotelephony with parallax effect
TW201921921A (zh) 基於紋理圖與網格之３ｄ影像資訊的處理
WO2015196791A1 (zh) 双目三维图形渲染方法及相关系统
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
JP2022518773A (ja) ３ｄ小惑星ダイナミックマップの生成方法及びポータブル型端末
WO2020184174A1 (ja) 画像処理装置および画像処理方法
WO2023246856A1 (zh) 3d图像生成方法、装置及计算机设备
CN108765582B (zh) 一种全景图片显示方法及设备
US10341683B1 (en) Apparatus and method to reduce an amount of coordinate data representing an object taken by an imaging device in a three dimensional space
KR102065632B1 (ko) 복수의 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
TWM630947U (zh) 立體影像播放裝置
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN116418958A (zh) 投影校准方法、装置、电子设备及存储介质
TWI736851B (zh) 一種基於立方體的投影方法
CN115715464A (zh) 用于遮挡处理技术的方法和装置
US11202053B2 (en) Stereo-aware panorama conversion for immersive media
KR20190072742A (ko) 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템
CN114359504B (zh) 一种三维模型的显示方法及采集设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826508

Country of ref document: EP

Kind code of ref document: A1