WO2022116397A1 - 虚拟视点深度图处理方法、设备、装置及存储介质 - Google Patents

虚拟视点深度图处理方法、设备、装置及存储介质 Download PDF

Info

Publication number
WO2022116397A1
WO2022116397A1 PCT/CN2021/076924 CN2021076924W WO2022116397A1 WO 2022116397 A1 WO2022116397 A1 WO 2022116397A1 CN 2021076924 W CN2021076924 W CN 2021076924W WO 2022116397 A1 WO2022116397 A1 WO 2022116397A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual viewpoint
viewpoint
depth map
virtual
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/076924
Other languages
English (en)
French (fr)
Inventor
王荣刚
刘香凝
王振宇
蔡砚刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of WO2022116397A1 publication Critical patent/WO2022116397A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present application relates to the field of image processing, and in particular, to a method, device, device and storage medium for processing a virtual viewpoint depth map.
  • Depth map-based image rendering is an important technology in the field of virtual viewpoint synthesis.
  • This technology uses the texture map and depth map of the reference viewpoint to obtain the view of any virtual viewpoint through 3D coordinate transformation.
  • part of the background texture map is invisible in the reference viewpoint due to being occluded by the foreground object, but is visible in the virtual viewpoint.
  • the virtual viewpoint texture map There may be holes in the depth map, and the depth discontinuity in the depth map is the cause of the hole, and the depth map is filled with the smoothing method based on Gaussian filtering, mean filtering, median filtering, etc.
  • the depth map is not preserved.
  • the edge information of the synthetic texture map has ghosting phenomenon, so the quality of the virtual viewpoint depth map is poor.
  • the main purpose of this application is to provide a virtual viewpoint depth map processing method, device, device and storage medium, which aims to solve the problem that the existing depth map smoothing method cannot retain the edge information of the depth map, resulting in the edge area of the synthesized texture map.
  • the present application provides a virtual viewpoint depth map processing method
  • the virtual viewpoint depth map processing method includes:
  • the present application also provides a virtual viewpoint depth map processing device, the virtual viewpoint depth map processing device, comprising:
  • a forward mapping module configured to forward map the reference viewpoint depth map corresponding to the preset reference viewpoint to the position of the virtual viewpoint to obtain the virtual viewpoint depth map
  • a post-processing module for performing bilateral filtering and smoothing on the virtual viewpoint depth map to obtain a smooth virtual viewpoint depth map
  • a reverse mapping module configured to establish a reverse mapping relationship between the virtual viewpoint and the reference viewpoint according to the smooth virtual viewpoint depth map, so as to synthesize virtual viewpoint texture maps based on different preset reference viewpoints;
  • the fusion processing module is configured to perform weighted fusion on the virtual viewpoint texture map, and perform hole filling processing and foreground edge filtering processing on the fused virtual viewpoint texture map to obtain the target virtual viewpoint depth map.
  • a virtual viewpoint depth map processing method, device, device, and storage medium proposed by the embodiments of the present application are different from those in the prior art.
  • the existing algorithm is used to smooth the depth map and fill in the holes, the edge information of the depth map cannot be preserved. , resulting in the phenomenon of ghosting in the edge area of the synthesized texture map, which in turn leads to poor quality of the virtual viewpoint depth map.
  • Fig. 1 is the terminal ⁇ device structure schematic diagram of the hardware operating environment involved in the solution of the embodiment of the present application;
  • FIG. 2 is a schematic flowchart of a first embodiment of a method for processing a virtual viewpoint depth map of the present application
  • FIG. 3 is a schematic diagram of the refinement process of step S40 in FIG. 2;
  • FIG. 4 is a schematic diagram of an apparatus for processing a virtual viewpoint depth map of the present application.
  • the axis action configuration terminal (also called terminal, device, or terminal device) in this embodiment of the present application may be a PC, or may be a mobile terminal device with a display function, such as a smart phone, a tablet computer, and a portable computer.
  • the terminal may include: a processor 1001 , such as a CPU, a network interface 1004 , a user interface 1003 , a memory 1005 , and a communication bus 1002 .
  • the communication bus 1002 is used to realize the connection and communication between these components.
  • the user interface 1003 may include a display screen (Display), an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may include a standard wired interface and a wireless interface (eg, a WI-FI interface).
  • the memory 1005 may be high-speed RAM memory, or may be non-volatile memory, such as disk memory.
  • the memory 1005 may also be a storage device independent of the aforementioned processor 1001 .
  • the terminal may further include a camera, an RF (Radio Frequency, radio frequency) circuit, a sensor, an audio circuit, a WiFi module, and the like.
  • sensors such as light sensors, motion sensors and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor, wherein the ambient light sensor may adjust the brightness of the display screen according to the brightness of the ambient light, and the proximity sensor may turn off the display screen and/or turn off the display screen when the mobile terminal is moved to the ear. Backlight.
  • the gravitational acceleration sensor can detect the magnitude of acceleration in all directions (generally three axes), and can detect the magnitude and direction of gravity when stationary, and can be used for applications that recognize the posture of mobile terminals (such as horizontal and vertical screen switching, related games, magnetometer attitude calibration), vibration recognition related functions (such as pedometer, tapping), etc.; of course, the mobile terminal can also be equipped with other sensors such as gyroscope, barometer, hygrometer, thermometer, infrared sensor, etc. No longer.
  • terminal structure shown in FIG. 1 does not constitute a limitation on the terminal, and may include more or less components than the one shown, or combine some components, or arrange different components.
  • the memory 1005 which is a computer storage medium, may include an operating system, a network communication module, a user interface module, and computer-readable instructions of a virtual viewpoint depth map processing method.
  • the network interface 1004 is mainly used to connect to the background server and perform data communication with the background server;
  • the user interface 1003 is mainly used to connect to the client (client) and perform data communication with the client;
  • the processor 1001 can be used to call the computer-readable instructions of the virtual viewpoint depth map processing method stored in the memory 1005, and when the computer-readable instructions of the virtual viewpoint depth map processing method are executed by the processor, realize the virtual viewpoint depth provided by the following embodiments. Operations in graph processing methods.
  • the virtual viewpoint depth map processing method includes:
  • Step S10 forward mapping the reference viewpoint depth map corresponding to the preset reference viewpoint to the position of the virtual viewpoint to obtain the virtual viewpoint depth map;
  • Step S20 performing bilateral filtering and smoothing processing on the virtual viewpoint depth map to obtain a smooth virtual viewpoint depth map
  • Step S30 establishing a reverse mapping relationship between the virtual viewpoint and the reference viewpoint according to the smooth virtual viewpoint depth map, to synthesize virtual viewpoint texture maps based on different preset reference viewpoints;
  • Step S40 Perform weighted fusion on the virtual viewpoint texture map, and perform hole filling processing and foreground edge filtering processing on the fused virtual viewpoint texture map to obtain a target virtual viewpoint depth map.
  • step S10 the depth map of the reference viewpoint corresponding to the preset reference viewpoint is forwardly mapped to the position of the virtual viewpoint to obtain the depth map of the virtual viewpoint;
  • the preset reference viewpoint may be the actual shooting viewpoint of the real camera
  • the virtual viewpoint may be the shooting viewpoint of the virtual camera
  • the virtual camera may be converted by the shooting viewpoint of the real camera, where the real camera is located.
  • the image actually captured by the preset reference viewpoint is the reference viewpoint image
  • the depth map of the reference viewpoint image is the depth map of the reference viewpoint
  • the reference viewpoint image may be the depth map of the original image captured by the real camera .
  • the mapping between the image and the pixels in the image is based on the mapping of the coordinate system
  • the reference viewpoint depth map and the virtual viewpoint depth map are used as references to establish a plane coordinate system
  • the virtual camera and all the The reference camera is used as the reference system, and the three-dimensional space coordinate system is established.
  • the mapping between the image and the pixel point can be regarded as the coordinate transformation based on the coordinate system.
  • the depth map of the reference viewpoint is forwardly mapped to the position of the virtual viewpoint to obtain the depth map of the virtual viewpoint.
  • the forward mapping refers to mapping the pixels on the reference viewpoint depth map from the two-dimensional coordinate system to the three-dimensional coordinate system of the real camera, and then through translation and rotation, from the coordinate system of the real camera. It is mapped to the coordinate system of the virtual camera, and finally inverse transformation is performed to map from the three-dimensional space coordinate system to the two-dimensional coordinate system, that is, from the coordinate system of the virtual camera to the position of the virtual viewpoint.
  • the reference viewpoint depth map corresponding to the preset reference viewpoint is forwardly mapped to the position of the virtual viewpoint to obtain the virtual viewpoint depth map, including steps A1-A4:
  • Step A1 establishing a first spatial coordinate system according to the internal parameters of the reference camera corresponding to the preset reference viewpoint, and mapping the depth map of the reference viewpoint to the first spatial coordinate system to obtain the reference viewpoint the first spatial coordinate of the depth map;
  • the internal parameters of the reference camera include focal length, optical center coordinates, etc.
  • a first space coordinate system is established, and the first space coordinate system is a three-dimensional space coordinate system, including the reference camera's internal parameters.
  • the first spatial coordinate system may be established with the position of the reference camera as the origin, and the reference viewpoint depth map may establish a plane coordinate system, thereby obtaining the two-dimensional coordinates of the reference viewpoint depth map,
  • the image coordinates of the depth map of the reference viewpoint are mapped into the first spatial coordinate system to obtain the first spatial coordinates of the depth map of the reference viewpoint.
  • the mapping transformation formula can be as follows (Formula 1):
  • [u, v, 1] T is the homogeneous coordinate of the pixel of the reference viewpoint depth map
  • Z is the depth value of the pixel
  • the depth value can be determined by the internal parameters and position of the real camera
  • [X , Y, Z] T is the coordinates of the real object corresponding to (u, v) in the first space coordinate system
  • f x , f y , c x , cy are the internal parameters of the real camera
  • f x , f y are the focal lengths in the x and y directions, respectively
  • c x and cy are the optical center coordinates in the x and y directions, respectively.
  • Step A2 establishing a second space coordinate system according to the internal parameters of the virtual camera corresponding to the virtual viewpoint, and mapping the first space coordinate to the second space coordinate system to obtain the reference viewpoint depth map The second space coordinate of ;
  • the internal parameters of the virtual camera may be consistent with the internal parameters of the real camera.
  • a second space coordinate system is established according to the internal parameters of the virtual camera.
  • the second space coordinate system The position of the virtual camera is included, and the first spatial coordinate is mapped to the second spatial coordinate system to obtain the second spatial coordinate of the reference viewpoint depth map.
  • the mapping transformation formula is as follows (Formula 2-4) :
  • R is a 3x3 rotation matrix
  • T is a translation vector
  • [X, Y, Z] T is the coordinates of the pixel in the first space coordinate system, that is, the first space coordinate
  • [X 1 , Y 1 , Z 1 ] T is the second space coordinate after the first space coordinate is mapped to the second space coordinate system
  • R c and T c are the rotation matrix and translation matrix of the preset reference viewpoint
  • R v and T v are the rotation and translation matrices of the virtual viewpoint.
  • Step A3 performing inverse transformation on the second space coordinate to obtain a first mapping relationship between the second space coordinate system and the image coordinates of the virtual viewpoint;
  • the mapping transformation formula of the inverse transformation is as follows (Formula 5):
  • Z 1 is the depth value of the pixel point, and the depth value can be determined by the internal parameters and position of the virtual camera
  • f x , f y , c x , and cy are the internal parameters of the virtual camera, which can be combined with the internal parameters of the virtual camera.
  • the internal parameters of the real camera are consistent
  • [u 1 , v 1 , 1] T is the homogeneous coordinate of the pixel point (u 1 , v 1 ) in the image coordinate system of the virtual viewpoint.
  • Step A4 Map the reference viewpoint depth map to the position of the virtual viewpoint according to the first mapping relationship to obtain the virtual viewpoint depth map.
  • the forward mapping relationship between the depth map of the reference viewpoint and the virtual viewpoint that is, the mapping relationship between the point (u, v) and the point (u 1 , v 1 ), can be obtained.
  • Mapping the point on the reference viewpoint depth map to the position of the virtual viewpoint that is, mapping the reference viewpoint depth map to the position of the virtual viewpoint according to the forward mapping relationship, to obtain the virtual viewpoint Viewpoint depth map.
  • Step S20 performing bilateral filtering and smoothing processing on the virtual viewpoint depth map to obtain a smooth virtual viewpoint depth map
  • a preset algorithm to perform bilateral filtering and smoothing on the depth map of the virtual viewpoint. If part of the background texture map in the reference viewpoint is occluded by a foreground object, it will not be visible in the texture map of the reference viewpoint. In this case, there may be hole areas in the virtual view texture map, and the depth discontinuity area in the depth map is the cause of the hole, so the depth map should be smoothed to reduce the hole area. .
  • a preferred method in the preset algorithm is a bilateral filtering algorithm, as shown in the formula of the bilateral filtering algorithm (Formula 6):
  • d(i,j) is the depth value of the pixel point in the neighborhood of the pixel point (x,y), and the size of (i,j) is determined by the filter radius, and the filter radius can be determined through experiments, and automatically Defined settings, such as setting the filter radius to 7 pixels, then (i, j) is the pixel within the range determined by (x, y) as the center and 7 pixels as the radius, For the standard deviation of bilateral filtering, you can customize the settings.
  • set The bilateral filtering method adopts the weighted average method, and uses the weighted average of the depth values d(i,j) in the neighborhood to determine the depth value d(x,y) of the center pixel (x,y) of the range, and the weighted average
  • the method is based on Gaussian distribution.
  • the weight of the bilateral filtering method not only considers the Euclidean distance of the pixel, that is, the influence of the position on the central pixel, but also considers the distance of the depth value. In the area where the depth value changes little, the weight of the spatial domain It plays a major role, which is equivalent to Gaussian smoothing. In the edge area of the image, the depth value changes greatly, and the range weight of the pixel point becomes larger, so that the edge information can be preserved and the generation of holes can be reduced.
  • Step S30 establishing a reverse mapping relationship between the virtual viewpoint and the reference viewpoint according to the smooth virtual viewpoint depth map, to synthesize virtual viewpoint texture maps based on different preset reference viewpoints;
  • the reverse mapping refers to, according to the depth of the virtual viewpoint, mapping the pixels on the depth map of the virtual viewpoint to the coordinate system of the virtual camera, and then through translation and rotation, from the coordinates of the virtual camera. It is mapped from the coordinate system of the real camera to the coordinate system of the real camera, and is mapped from the three-dimensional space coordinate system to the two-dimensional coordinate system through inverse transformation, that is, it is mapped from the coordinate system of the real camera to the coordinate system of the reference viewpoint.
  • the process of reverse mapping is described in the following formula (Equation 7-9):
  • the pixels on the depth map of the virtual viewpoint are mapped to the coordinate system of the virtual camera according to the depth of the virtual viewpoint:
  • formula 7 is the same as formula 5, [u 1 , v 1 , 1] T is the homogeneous coordinate of the pixel point (u 1 , v 1 ), Z 1 is the depth value of the pixel point, [X 1 , Y 1 , Z 1 ] T is the coordinates of the real object corresponding to the pixel point (u 1 , v 1 ) in the virtual camera coordinate system, f x , f y , c x , and cy are the internal parameters of the virtual camera, respectively are the focal length and optical center coordinates in the x and y directions.
  • R' is a 3x3 rotation matrix
  • T' is a translation vector
  • [X 1 , Y 1 , Z 1 ] T is the coordinates of the pixel in the virtual camera coordinate system
  • [X', Y', Z' ] T is the coordinate of the pixel in the real camera coordinate system.
  • Z' is the depth value of the real camera
  • (u', v') is the coordinates of the pixel in the reference viewpoint coordinate system.
  • the described will establish a reverse mapping relationship between the virtual viewpoint and the reference viewpoint according to the smooth virtual viewpoint depth map to synthesize virtual viewpoint texture maps based on different preset reference viewpoints, including steps B1-B2 :
  • Step B1 performing reverse mapping on the smooth virtual viewpoint depth map to obtain a second mapping relationship between the spatial coordinate system of the virtual viewpoint and the spatial coordinate system of the preset reference viewpoint;
  • Step B2 Map the reference viewpoint texture map corresponding to the preset reference viewpoint to the position of the virtual viewpoint according to the second mapping relationship to obtain the virtual viewpoint texture map.
  • the inverse mapping relationship from the point (u 1 , v 1 ) on the virtual viewpoint image to the point (u', v') on the reference viewpoint can be obtained, and according to the inverse mapping relationship
  • the reference viewpoint texture map is mapped to the position of the virtual viewpoint, and then the virtual viewpoint texture map is obtained.
  • Step S40 Perform weighted fusion on the virtual viewpoint texture map, and perform hole filling processing and foreground edge filtering processing on the fused virtual viewpoint texture map to obtain a target virtual viewpoint depth map.
  • the virtual viewpoint texture map is weighted and fused, the quality of the texture map obtained from different reference viewpoints and the orientation of the object shooting are different, and the part occluded by the foreground object is also different, so it is necessary to obtain based on different preset reference viewpoints.
  • the image is given different weights, it is fused, and the obtained depth map of the target virtual viewpoint retains the edge information of the depth map.
  • the fused texture map is subjected to hole filling processing and foreground edge filtering processing to fill the holes existing in the depth map, and filter the foreground edge to smooth the foreground edge. , to ensure the integrity of edge information.
  • the reference viewpoint depth map corresponding to the preset reference viewpoint is forward-mapped to the position of the virtual viewpoint to obtain a virtual viewpoint depth map, and a preset filtering method is used to smooth the virtual viewpoint depth map to obtain a smooth
  • the virtual viewpoint depth map and the edge information of the depth map are preserved, and according to the smooth virtual viewpoint depth map, a reverse mapping relationship between the virtual viewpoint and the reference viewpoint is established, and virtual viewpoints based on different preset reference viewpoints are synthesized.
  • Viewpoint texture map, weighted fusion of the virtual viewpoint texture map, hole filling processing and foreground edge filtering processing are performed on the fused virtual viewpoint texture map, so as to reduce the ghosting phenomenon in the edge area of the synthesized texture map, thereby improving the The quality of the virtual viewpoint texture map.
  • a second embodiment of the present application provides a virtual viewpoint depth map processing method. Based on the embodiment shown in FIG. 2 , this embodiment is a refinement of step S40 in the first embodiment.
  • step S40 weighted fusion is performed on the virtual viewpoint texture map, including steps S41-S44:
  • Step S41 determining the first position of the reference camera corresponding to the preset reference viewpoint, and the second position of the virtual camera corresponding to the virtual viewpoint;
  • the mapping between the image and the pixels in the image is also based on the mapping of the coordinate system, and the reference viewpoint depth map and the virtual viewpoint depth map are used as references to establish a plane coordinate system, so that The virtual camera and the reference camera are used as reference systems, and a three-dimensional space coordinate system is established.
  • the mapping between images and pixel points can be regarded as coordinate transformation based on the coordinate system.
  • the weight of the virtual viewpoint texture map includes two parts, wherein the weight of the first part is determined by the positions of the virtual camera and the reference camera. Therefore, the position of the reference camera, that is, the first position, and the position of the reference camera need to be determined.
  • the position of the virtual camera that is, the second position.
  • Step S42 determining a first weight according to the positional relationship between the first position and the second position
  • the distance between the reference camera and the virtual camera is determined, and the first weight is determined by the distance between the reference camera and the virtual camera,
  • the first weight may be inversely proportional to di, so as to determine the first weight.
  • Step S43 determining the depth value confidence of the virtual camera position, and determining a second weight according to the depth value confidence
  • the weight of the virtual viewpoint texture map further includes a second weight, the second weight is determined by the depth value confidence of the virtual camera position, first determine the depth value confidence of the virtual camera position, according to the depth value The confidence level determines the second weight.
  • the determining the depth value confidence of the virtual camera position includes steps C1-C3:
  • Step C1 determining a first reference point from the virtual viewpoint depth map, and mapping the first reference point to the space coordinate system where the first position is located to obtain a second reference point;
  • a pixel is determined from the virtual viewpoint depth map as the first reference point
  • the virtual viewpoint depth map can be used as a plane coordinate system
  • the first reference point can be (x, y)
  • the first reference point is mapped to the space coordinate system where the first position is located
  • the space coordinate system where the first position is located is the first space coordinate system.
  • the first space coordinate system is The reference point (x, y) is mapped to the position of the reference camera to obtain the second reference point
  • the second reference point may be (u, v).
  • Step C2 according to the position depth value of the reference camera, map the second reference point to the space coordinate system where the second position is located to obtain a third reference point;
  • the second reference point is mapped to the space coordinate system where the second position is located, the second position is the position of the reference camera, and the second position is located
  • the space coordinate system of is the second space coordinate system.
  • the second reference point (u, v) is mapped to the second space coordinate system, and the third space coordinate system is obtained.
  • Reference point, the third reference point may be (x_1, y_1).
  • Step C3 Determine the confidence level of the depth value by using a first preset algorithm according to the coordinates of the first reference point and the coordinates of the third reference point.
  • the depth value confidence is obtained from the first reference point and the third reference point, and the first preset algorithm may be the following formula (Formula 10):
  • dist is the confidence level of the depth value.
  • the second weight can be determined, and the second weight can be determined by the following formula (Formula 11):
  • Step S44 according to the first weight and the second weight, fuse the virtual viewpoint texture maps based on different preset reference viewpoints.
  • the virtual viewpoint texture maps based on different preset reference viewpoints are weighted and fused, and the specific weighted fusion process can be the following formula (Formula 12):
  • f i (x, y) is the value of the pixel of the virtual viewpoint texture map
  • f(x, y) is the pixel corresponding to f i (x, y) in the virtual viewpoint texture map after weighted fusion
  • conf_cam i (x, y) is the first weight, which is determined by the distance between the reference camera and the virtual camera
  • conf_depth i (x, y) is the second weight, which is determined by the confidence of the depth value, here
  • the i of can be the number of the virtual cameras
  • the calculation method of the first weight can be the following formula (Formula 14):
  • d i is the distance between the ith virtual camera and the reference camera.
  • step S40 performing hole filling processing and foreground edge filtering processing on the fused virtual viewpoint texture map, including steps S45-S49:
  • Step S45 select the first center pixel point from the virtual viewpoint texture map, and create the first window of preset size
  • a preferred hole filling processing method may be a joint bilateral filtering method, and a pixel is selected as the first center pixel, which may also be called the first center pixel.
  • the center pixel is the current pixel, and a window of a preset size is established with the current pixel as the center. For example, a first window of N*N size is created, and the first window contains N*N pixels. N may be 30 or 40. Except for the first central pixel, other pixels in the first window are neighboring pixels of the first central pixel.
  • Step S46 using the second preset algorithm to perform filling calculation on the values of the pixels in the first window, so as to perform hole filling processing
  • the filling method can be to use the average value of the pixel points in the neighborhood of the hole, or the weighted average value of the pixel points in the neighborhood to fill in the depth value of the hole pixel point, and the second preset algorithm can be the following formula (Formula 15 -18):
  • img(x, y) is the pixel in the first window
  • disp(i, j) is the disparity value of the pixel (i, j)
  • depth(i, j) is the pixel (i, j) j) depth value
  • the value of fB is determined according to the internal parameters and position of the reference camera
  • drange is the range of maximum and minimum parallax values, determined by the maximum and minimum parallax values
  • the maximum and minimum parallax values are determined by the corresponding reference camera
  • the fB value of , and the maximum and minimum depth values are determined according to the shooting scene, where dtr is a parameter used to reduce the parallax range, and the value can be customized. For example, set the value of dtr to 0.01666667.
  • Step S47 determining the foreground edge area of the virtual viewpoint texture map, and marking the foreground edge area
  • the edge area of the virtual viewpoint texture map is determined, and the edge area is marked, and the edge area is marked for filtering and smoothing the edge area. , to prevent ghosting or defects in the edge area.
  • Step D1 select a reference pixel, and determine the absolute value of the gradient of the depth value of the reference pixel;
  • the absolute value of the gradient can be obtained by derivation of the edge area. If the virtual viewpoint texture map If there is discontinuity, the absolute value of the gradient can be obtained by forward difference quotient, backward difference quotient, or middle difference quotient.
  • Step D2 if the absolute value of the gradient is greater than a preset threshold, then determine that the reference pixel is an edge pixel;
  • the reference pixel is determined to be an edge pixel, and the preset threshold is determined by the maximum and minimum disparity value ranges drange and dtr parameters, which can be determined by the following formula (Formula 19 ) is calculated to get:
  • dthresh is the preset threshold.
  • Step D3 Extend a preset number of pixels around the edge pixels to determine the foreground edge area, and mark the foreground edge area.
  • the reference pixel After determining that the reference pixel is an edge pixel, expand a preset number of pixels around the reference pixel, for example, expand 4 pixels in the horizontal direction and the vertical direction, and the expanded area is the foreground edge area, marking the foreground edge area.
  • Step S48 select the second center pixel point from the foreground edge area, and create a second window of preset size
  • Select a second center pixel point from the foreground edge area and take the second center pixel point as the center to create a second window of a preset size, for example, take the second center pixel point as the center, and expand to the surrounding by 4 pixel points, a 5*5 window is created as the second window, and the second window is created to perform filtering processing on the foreground edge area.
  • Step S49 using a third preset algorithm to perform filtering calculation on the values of the pixels in the second window, so as to perform filtering processing on the foreground edge region.
  • the third preset algorithm is used to calculate the pixels in the second window to filter the foreground edge region, which may be the average or weighted average of the pixels in the neighborhood window of a certain pixel.
  • the value replaces the value of the pixel to achieve the purpose of filtering.
  • the formula of the third preset algorithm can be (Formula 20):
  • (x, y) is the selected pixel that should be replaced
  • f(x, y) is the pixel value of the pixel to be replaced
  • f(i, j) is the pixel in the neighborhood of point (x, y) The pixel value of the point.
  • the first weight is determined by determining the positional relationship between the virtual camera and the reference camera
  • the second weight is determined by the depth value confidence of the virtual camera, according to the first weight and the
  • the second weight performs weighted fusion on the virtual viewpoint texture map, and selects a center pixel from the fused virtual viewpoint texture map to create a first window and a second window of preset size, thereby determining the center Neighborhood pixels of the pixel points, using a preset algorithm to calculate the value of the neighborhood pixel points to perform hole filling and foreground edge filtering processing on the fused virtual viewpoint texture map, reducing the virtual viewpoint texture.
  • the phenomenon of holes and ghosting in the image improves the subjective and objective quality of the virtual viewpoint texture image.
  • the first embodiment of the present application provides a virtual viewpoint depth map processing apparatus, and the virtual viewpoint depth map processing apparatus includes:
  • the forward mapping module 10 is configured to forward map the reference viewpoint depth map corresponding to the preset reference viewpoint to the position of the virtual viewpoint to obtain the virtual viewpoint depth map;
  • a post-processing module 20 configured to perform bilateral filtering and smoothing processing on the virtual viewpoint depth map to obtain a smooth virtual viewpoint depth map
  • a reverse mapping module 30 configured to establish a reverse mapping relationship between the virtual viewpoint and the reference viewpoint according to the smooth virtual viewpoint depth map, so as to synthesize virtual viewpoint texture maps based on different preset reference viewpoints;
  • the fusion processing module 40 is configured to perform weighted fusion on the virtual viewpoint texture map, and perform hole filling processing and foreground edge filtering processing on the fused virtual viewpoint texture map to obtain a target virtual viewpoint depth map.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种虚拟视点深度图处理方法、设备、装置及存储介质，本申请通过将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，利用预设滤波方法对所述虚拟视点深度图进行平滑处理，保留了深度图的边缘信息，将所述平滑处理后的虚拟视点深度图反向映射到所述预设参考视点的位置，以合成基于不同预设参考视点的虚拟视点纹理图，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，提高了虚拟视点深度图的质量。

Description

虚拟视点深度图处理方法、设备、装置及存储介质
本申请要求于2020年12月04日提交中国专利局、申请号为202011419908.8、发明名称为“虚拟视点深度图处理方法、设备、装置及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及图像处理领域，尤其涉及一种虚拟视点深度图处理方法、设备、装置及存储介质。
背景技术
基于深度图的图像绘制(DIBR)是虚拟视点合成领域中一项重要技术，该项技术利用参考视点的纹理图和深度图经过三维坐标变换即可得到任意虚拟视点的视图。利用DIBR技术在合成虚拟视点纹理图的过程中，部分背景纹理图在参考视点中由于被前景物体遮挡是不可见的，而在虚拟视点中是可见的，在这种情况下，虚拟视点纹理图中可能会存在空洞区域，深度图中存在的深度不连续区域是导致空洞产生的原因，而利用基于高斯滤波、均值滤波、中值滤波等深度图平滑处理的方法填补空洞时，没有保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影的现象，因此虚拟视点深度图的质量较差。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种虚拟视点深度图处理方法、设备、装置及存储介质，旨在解决现有的深度图平滑处理的方法无法保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影现象，虚拟视点深度图的质量较差的技术问题。
为实现上述目的，本申请提供一种虚拟视点深度图处理方法，所述虚拟视点深度图处理方法包括：
将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
此外，为实现上述目的，本申请还提供一种虚拟视点深度图处理装置，所述虚拟视 点深度图处理装置，包括：
前向映射模块，用于将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
后处理模块，用于对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
反向映射模块，用于根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
融合处理模块，用于对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
本申请实施例提出的一种虚拟视点深度图处理方法、设备、装置及存储介质，与现有技术中，利用现有算法对深度图进行平滑处理和填补空洞时，无法保留深度图的边缘信息，导致合成纹理图的边缘区域存在重影的现象，进而导致虚拟视点深度图的质量较差相比，本申请通过将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，对所述虚拟视点深度图进行双边滤波平滑处理，可以有效平滑所述虚拟视点深度图并保留边缘信息，根据平滑后的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，不仅有效平滑虚拟视点深度图，还保留了深度图的边缘信息，在填补了虚拟视点纹理图中的空洞后，对纹理图的前景边缘进行滤波处理，提高了虚拟视点纹理图的质量，进而提高了虚拟视点深度图的质量。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本申请虚拟视点深度图处理方法第一实施例的流程示意图；
图3为图2中步骤S40的细化流程示意图；
图4为本申请虚拟视点深度图处理方法的装置示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元” 可以混合地使用。
本申请实施例轴动作组态终端(又叫终端、设备或者终端设备)可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟视点深度图处理方法的计算机可读指令。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的虚拟视点深度图处理方法的计算机可读指令，所述虚拟视点深度图处理方法的计算机可读指令被处理器执行时实现下述实施例提供的虚拟视点深度图处理方法中的操作。
基于上述设备硬件结构，提出了本申请虚拟视点深度图处理方法的实施例。
参照图2，本申请第一实施例提供一种虚拟视点深度图处理方法，所述虚拟视点深度图处理方法包括：
步骤S10，将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
步骤S20，对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
步骤S30，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
步骤S40，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
具体地，步骤S10，将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
所述预设参考视点可以是真实相机实际的拍摄视点，所述虚拟视点可以是虚拟相机的拍摄视点，所述虚拟相机可以是通过所述真实相机的拍摄视角转换的，所述真实相机在所述预设参考视点实际拍摄到的图像为参考视点图像，所述参考视点图像的深度图即为所述参考视点深度图，所述参考视点图像可以是所述真实相机拍摄的原始图像的深度图。本实施例中，图像与图像中的像素点的映射都是基于坐标系的映射，以所述参考视点深度图和所述虚拟视点深度图为参考建立平面坐标系，以所述虚拟相机和所述参考相机为参考系，建立三维空间坐标系，图像和像素点的映射可以看做基于坐标系的坐标变换。所述将所述参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图。所述前向映射是指，将所述参考视点深度图上的像素点从二维坐标系下映射到所述真实相机的三维坐标系下，再经过平移旋转，从所述真实相机的坐标系下映射到所述虚拟相机的坐标系下，最后进行反变换，从三维空间坐标系映射到二维坐标系下，即从所述虚拟相机的坐标系下映射到所述虚拟视点的位置。
所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，包括步骤A1-A4：
步骤A1，根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
所述参考相机的内部参数包括焦距、光心坐标等，根据所述参考相机的内部参数，建立第一空间坐标系，所述第一空间坐标系为三维空间坐标系，包含所述参考相机的位置，所述第一空间坐标系可以是以所述参考相机的位置为原点建立的，所述参考视点深度图可以建立平面坐标系，由此得到所述参考视点深度图的二维坐标，将所述参考视点深度图的 图像坐标映射到所述第一空间坐标系内，以得到所述参考视点深度图的第一空间坐标，例如，将所述参考视点深度图的图像坐标(u,v)变换到参考相机坐标系下的坐标[X，Y，Z] T，映射变换公式可以如下列所示(公式1)：
Figure PCTCN2021076924-appb-000001
其中，[u，v，1] T是参考视点深度图的像素点的齐次坐标，Z为像素点的深度值，所述深度值可以通过所述真实相机的内部参数和位置确定，[X，Y，Z] T为(u,v)对应的真实物体在所述第一空间坐标系中的坐标，f x、f y、c x、c y是所述真实相机的内部参数，f x、f y分别是x，y方向的焦距，c x、c y分别是x,y方向的光心坐标。
步骤A2，根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
所述虚拟相机的内部参数可以与所述真实相机的内部参数一致，参考所述第一空间坐标系，根据所述虚拟相机的内部参数，建立第二空间坐标系，所述第二空间坐标系包含所述虚拟相机的位置，将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标，映射变换公式如下(公式2-4)：
Figure PCTCN2021076924-appb-000002
Figure PCTCN2021076924-appb-000003
T＝R v×(T c-T v)(4)
其中，R为3x3的旋转矩阵，T为平移向量，[X，Y，Z] T是像素点在所述第一空间坐标系的坐标，即所述第一空间坐标，[X 1,Y 1,Z 1] T是所述第一空间坐标映射到所述第二空间坐标系后的第二空间坐标，R c和T c是所述预设参考视点的旋转矩阵和平移矩阵，R v和T v是所述虚拟视点的旋转矩阵和平移矩阵。
步骤A3，对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
对所述第二空间坐标进行变换，即将所述第二空间坐标从三维空间坐标系映射到二维坐标系，将所述第二空间坐标映射到所述虚拟视点深度图上，得到所述第二空间坐标系 与所述虚拟视点的图像坐标的第一映射关系，即所述虚拟视点的图像与所述虚拟相机的映射关系，反变换的映射变换公式如下(公式5)：
Figure PCTCN2021076924-appb-000004
其中，Z 1为像素点的深度值，所述深度值可以通过所述虚拟相机的内部参数和位置确定，f x、f y、c x、c y为所述虚拟相机的内部参数，可以与所述真实相机的内部参数一致，[u 1,v 1,1] T为所述虚拟视点的图像坐标系中的像素点(u 1,v 1)的齐次坐标。
步骤A4，根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
根据所述第一映射关系，可以得到所述参考视点深度图映射到所述虚拟视点的前向映射关系，即点(u,v)到点(u 1,v 1)的映射关系，从而可以将所述参考视点深度图上的点映射到所述虚拟视点的位置，也即，根据所述前向映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
步骤S20，对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
利用预设算法对所述虚拟视点深度图进行双边滤波平滑处理，所述参考视点中的部分背景纹理图若被前景物体遮挡，在参考视点纹理图中是不可见的，而在虚拟视点纹理图中是可见的，在这种情况下，虚拟视点纹理图中可能会存在空洞区域，深度图中存在的深度不连续区域是导致空洞产生的原因，因此要对深度图进行平滑处理来减少空洞区域。所述预设算法中的一种优选方法为双边滤波算法，双边滤波算法的公式所示(公式6)：
Figure PCTCN2021076924-appb-000005
其中，d(i,j)为像素点(x,y)的邻域内的像素点的深度值，(i,j)的大小由滤波半径确定，所述滤波半径可以是通过实验确定，并自定义设置的，例如设置滤波半径为7个像素点，则(i,j)为以(x,y)为圆心，以7个像素点为半径确定的范围内的像素点，
Figure PCTCN2021076924-appb-000006
为双边滤波的标准差，可以自定义设置，例如，当设置滤波半径为7个像素点时，设置
Figure PCTCN2021076924-appb-000007
Figure PCTCN2021076924-appb-000008
双边滤波方法采用加权平均的方法，用邻域范围内的深度值d(i,j)的加权平均确定范围中心像素点(x,y)的深度值d(x,y)，所述加权平均的方法基于高斯分布，双边滤波方法的权重不仅考虑了像素点的欧氏距离，即位置对中心像素的影响，还考虑了深度值 的距离，在深度值变化很小的区域，空间域的权重起主要作用，相当于进行高斯平滑，在图像的边缘区域，深度值变化很大，像素点的范围域权重变大，从而可以保留边缘的信息，减少空洞产生。
步骤S30，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
所述反向映射是指，根据所述虚拟视点的深度，将所述虚拟视点深度图上的像素点映射到所述虚拟相机的坐标系下，再经过平移旋转，从所述虚拟相机的坐标系下映射到所述真实相机的坐标系下，经过反变换从三维空间坐标系映射到二维坐标系下，即从所述真实相机的坐标系下映射到参考视点的坐标系下，所述反向映射的过程如下列公式所述(公式7-9)：
根据所述虚拟视点的深度将所述虚拟视点深度图上的像素点映射到所述虚拟相机的坐标系下：
Figure PCTCN2021076924-appb-000009
其中，公式7与公式5相同，[u 1,v 1,1] T是像素点(u 1,v 1)的齐次坐标，Z 1为像素点的深度值，[X 1,Y 1,Z 1] T为像素点(u 1,v 1)对应的真实物体在所述虚拟相机坐标系中的坐标，f x、f y、c x、c y为所述虚拟相机的内部参数，分别是x,y方向的焦距和光心坐标。
从所述虚拟相机的坐标系下映射到所述真实相机的坐标系下：
Figure PCTCN2021076924-appb-000010
其中，R'为3x3的旋转矩阵，T'为平移向量，[X 1,Y 1,Z 1] T是像素点在所述虚拟相机坐标系下的坐标，[X',Y',Z'] T是像素点在所述真实相机坐标系下的坐标。
从所述真实相机的坐标系下映射到所述参考视点的坐标系下：
Figure PCTCN2021076924-appb-000011
其中，Z'为所述真实相机的深度值，(u',v')为像素点在所述参考视点坐标系下的坐标。
所述将根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图，包括步骤B1-B2：
步骤B1，将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
将所述平滑的虚拟视点深度图进行反向映射，可以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系，所述参考相机即所述真实相机，通过反向映射，得到所述参考视点与所述虚拟视点的空间坐标系的第二映射关系，即根据所述虚拟视点与所述预设参考视点分别建立空间坐标系，通过反向映射，找到所述预设参考视点的空间坐标系与所述虚拟视点的空间坐标系之间的映射关系。
步骤B2，根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
根据所述第二映射关系，可以得到所述虚拟视点图像上的点(u 1,v 1)到所述参考视点上的点(u',v')的反向映射关系，根据所述反向映射关系，将所述参考视点纹理图映射到所述虚拟视点的位置，进而得到所述虚拟视点纹理图。所述参考视点和参考相机可以是多个，由于每一个参考视点都对应一张所述参考视点纹理图，因此每一个参考视点对应的所述参考视点纹理图都可以通过反向映射，得到虚拟视点纹理图，从而得到基于不同预设参考视点的虚拟视点纹理图。
步骤S40，对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
将所述虚拟视点纹理图进行加权融合，从不同的参考视点得到的纹理图质量及对物体拍摄的侧重方位不同，以及被前景物体遮挡的部分也不同，因此需要对基于不同预设参考视点得到的理图赋予不同的权重后，再进行融合，得到的目标虚拟视点深度图保留了深度图的边缘信息。在所述虚拟视点纹理图加权融合后，对融合后的纹理图进行空洞填补处理和前景边缘滤波处理，对深度图中存在的空洞进行填补，并对前景边缘进行滤波，以平滑所述前景边缘，保证边缘信息的完整性。
在本实施例中将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图，利用预设滤波方法对所述虚拟视点深度图进行平滑处理，得到平滑的虚拟视点深度图并保留了深度图的边缘信息，根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，合成基于不同预设参考视点的虚拟视点纹理图，并对所述虚拟视点纹理图进行加权融合，对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，减少了合成的纹理图边缘区域的重影现象，进而提高了虚拟视点纹理图的质量。
进一步的，参照图3，本申请第二实施例提供一种虚拟视点深度图处理方法，基于上述图2所示的实施例，本实施例是对第一实施例中步骤S40的细化。
具体地，步骤S40中，对所述虚拟视点纹理图进行加权融合，包括步骤S41-S44：
步骤S41，确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
同样地，在本实施例中，图像与图像中的像素点的映射也都是基于坐标系的映射，以所述参考视点深度图和所述虚拟视点深度图为参考建立平面坐标系，以所述虚拟相机和所述参考相机为参考系，建立三维空间坐标系，图像和像素点的映射可以看做基于坐标系的坐标变换。所述虚拟视点纹理图的权重包含两部分，其中第一部分权重由所述虚拟相机和所述参考相机的位置确定，因此，需要确定所述参考相机的位置，即所述第一位置，以及所述虚拟相机的位置，即所述第二位置。
步骤S42，根据所述第一位置与所述第二位置的位置关系，确定第一权重；
根据所述第一位置与所述第二位置的位置关系，确定所述参考相机与所述虚拟相机之间的距离，由所述参考相机与所述虚拟相机之间的距离确定第一权重，例如，当所述参考相机和所述虚拟相机之间的距离为d i时，所述第一权重可以与d i成反比，以此来确定所述第一权重。
步骤S43，确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
所述虚拟视点纹理图的权重还包含第二权重，所述第二权重由所述虚拟相机位置的深度值置信度确定，先确定所述虚拟相机位置的深度值置信度，根据所述深度值置信度确定所述第二权重。
所述确定所述虚拟相机位置的深度值置信度，包括步骤C1-C3：
步骤C1，从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
从虚拟视点深度图上确定一个像素点作为所述第一参考点，所述虚拟视点深度图可以作为一个平面坐标系，所述第一参考点可以是(x,y)，将所述第一参考点映射到所述第一位置所在的空间坐标系中，所述第一位置所在的空间坐标系即为所述第一空间坐标系，根据所述虚拟相机的深度值，将所述第一参考点(x,y)映射到所述参考相机的位置，得到所述第二参考点，所述第二参考点可以是(u,v)。
步骤C2，根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，所述第二位置是所述参考相机的位置，所诉第二位置所在的空间坐标系即为所述第二空间坐标系，根据所述参考相机的位置深度值，将所述第二参考点(u,v)映射到所述第二空间坐标系中，得到第三参考点，所述第三参考点可以是(x_1,y_1)。
步骤C3，根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
利用第一预设算法，由所述第一参考点和所述第三参考点，得到所述深度值置信度，所述第一预设算法可以是下列公式(公式10)：
Figure PCTCN2021076924-appb-000012
其中，dist为所述深度值置信度，在确定所述深度值置信度后，可以确定所述第二权重，所述第二权重可以通过下列公式确定(公式11)：
conf_depth(x,y)＝e -dist/5   (11)
步骤S44，根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
确定两部分权重后，对基于不同预设参考视点的所述虚拟视点纹理图进行加权后进行融合，具体加权融合过程可以是下列公式(公式12)：
Figure PCTCN2021076924-appb-000013
其中，f i(x,y)为所述虚拟视点纹理图的像素点的值，f(x,y)为加权融合后与所述虚拟视点纹理图中f i(x,y)对应的像素点的值，conf i(x,y)为相应的权重，包括两部分，因此i的取值为i＝1,2，权重的计算方式可以是下列公式(公式13)：
conf i(x,y)＝conf_cam i(x,y)*conf_depth i(x,y)   (13)
其中，conf_cam i(x,y)为第一权重，由所述参考相机与所述虚拟相机的距离确定，conf_depth i(x,y)为第二权重，由所述深度值置信度确定，这里的i可以是所述虚拟相机的数量，所述第一权重的计算方法可以是下列公式(公式14)：
Figure PCTCN2021076924-appb-000014
其中，d i是第i个所述虚拟相机与所述参考相机之间的距离。
步骤S40中，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，包括步骤S45-S49：
步骤S45，从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
对所述融合后的虚拟视点纹理图进行空洞填补处理，一种优选的空洞填补处理方法可以是联合双边滤波方法，选取一个像素点作为所述第一中心像素点，也可以称所述第一中心像素点为当前像素点，以当前像素点为中心，建立一个预设大小的窗口，如创建一个N*N大小的第一窗口，所述第一窗口内包含有N*N个像素点，N可以是30或40，除所述第一中心像素点外，所述第一窗口内的其它像素点为所述第一中心像素点的邻域像素点。
步骤S46，利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
利用第二预设算法，对所述第一窗口内的像素点进行计算，以进行空洞填补，通过计算，可以找出深度图中的不连续点，然后通过计算，补齐所述像素点，补齐方式可以是利用空洞邻域的像素点的平均值，或邻域像素点的加权平均值作为该空洞像素点的深度值进行填补，所述第二预设算法可以是下列公式(公式15-18)：
Figure PCTCN2021076924-appb-000015
disp(i,j)＝fB/depth(i,j)   (16)
drange＝maxdisp-mindisp+1   (17)
maxdisp＝fB/depth，mindisp＝fB/depth   (18)
其中，img(x,y)为所述第一窗口内的像素点，disp(i,j)为像素点(i,j)的视差值，depth(i,j)为像素点(i,j)的深度值，fB的值根据所述参考相机的内部参数以及位置确定，drange是最大最小视差值范围，由最大最小视差值确定，最大最小视差值由对应的所述参考相机的fB值确定，最大最小深度值根据拍摄场景确定，其中dtr是一个用于缩小视差范围的参数，取值可以是自定义设置的，例如设置dtr的值为0.01666667。
步骤S47，确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
在对所述虚拟视点纹理图进行空洞填补后，要确定所述虚拟视点纹理图的边缘区域，并对所述边缘区域进行标记，标记所述边缘区域是为了对所述边缘区域进行滤波平滑处理，防止所述边缘区域存在重影或缺损。
所述确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记，包 括步骤D1-D3：
步骤D1，选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
在所述虚拟视点深度图的边缘位置上选取参考像素点，并确定所述参考像素点的梯度值，可以从水平和垂直两个方向入手，确定所述参考像素点的水平梯度值和垂直梯度值，并计算出水平梯度值和垂直梯度值的绝对值，例如，如果所述虚拟视点深度图是连续的，可以通过对边缘区域求导得到所述梯度绝对值，若所述虚拟视点纹理图存在不连续，可以通过向前差商、向后差商或者中间差商等得到所述梯度绝对值。
步骤D2，若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点，所述预设阈值是由最大最小视差值范围drange以及dtr参数确定的，可以由下列公式(公式19)计算得到：
dthresh＝dtr*drange   (19)
其中，dthresh为所述预设阈值。
步骤D3，向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
确定所述参考像素点为边缘像素点后，向所述参考像素点的周围扩展预设数量的像素点，例如，向水平方向和垂直方向各扩展4个像素点，扩展后的区域即为前景边缘区域，对所述前景边缘区域进行标记。
步骤S48，从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
从所述前景边缘区域选取第二中心像素点，以所述第二中心像素点为中心，创建预设大小的第二窗口，例如，以所述第二中心像素点为中心，向周围扩展4个像素点，创建一个5*5的窗口为所述第二窗口，创建所述第二窗口是为了对所述前景边缘区域进行滤波处理。
步骤S49，利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
利用第三预设算法对所述第二窗口内的像素点进行计算，以对所述前景边缘区域进行滤波处理，可以是利用某个像素点邻域窗口内的像素点的平均值或加权平均值代替该像素点的值，以达到滤波的目的。以利用邻域窗口内的像素点的加权平均值代替该像素点的值为例，所述第三预设算法的公式可以是(公式20)：
Figure PCTCN2021076924-appb-000016
其中，(x,y)是选取的应该被替换的像素点，f(x,y)是被替换的像素点的像素值，f(i,j)是点(x,y)邻域内的像素点的像素值。
在本实施例中，通过确定所述虚拟相机和所述参考相机的位置关系，确定第一权重，通过所述虚拟相机的深度值置信度确定第二权重，根据所述第一权重和所述第二权重对所述虚拟视点纹理图进行加权融合，并从融合后的所述虚拟视点纹理图中选取中心像素点，以创建预设大小的第一窗口和第二窗口，从而确定所述中心像素点的邻域像素点，利用预设算法对所述邻域像素点的值进行计算，以对所述融合后虚拟视点纹理图进行空洞填补和前景边缘滤波处理，减少了所述虚拟视点纹理图的空洞和重影现象，提高了所述虚拟视点纹理图的主客观质量。
参照图4，本申请第一实施例提供一种虚拟视点深度图处理装置，所述虚拟视点深度图处理装置包括：
前向映射模块10，用于将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
后处理模块20，用于对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
反向映射模块30，用于根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
融合处理模块40，用于对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出 贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种虚拟视点深度图处理方法，其中，所述虚拟视点深度图处理方法，包括以下步骤：
    将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
    对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
    根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
    对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
  2. 如权利要求1所述的虚拟视点深度图处理方法，其中，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：
    根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
    根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
    对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
    根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
  3. 如权利要求1所述的虚拟视点深度图处理方法，其中，所述根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：
    将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
    根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
  4. 如权利要求1所述的虚拟视点深度图处理方法，其中，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：
    确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
    根据所述第一位置与所述第二位置的位置关系，确定第一权重；
    确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
    根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
  5. 如权利要求4所述的虚拟视点深度图处理方法，其中，所述确定所述虚拟相机位置的深度值置信度的步骤，包括：
    从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
    根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
    根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
  6. 如权利要求1所述的虚拟视点深度图处理方法，其中，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理的步骤，包括：
    从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
    利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
    确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
    从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
    利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
  7. 如权利要求6所述的虚拟视点深度图处理方法，其中，所述确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记的步骤，包括：
    选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
    若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
    向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
  8. 一种虚拟视点深度图处理装置，其中，所述深度图后处理装置包括：
    前向映射模块，用于将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
    后处理模块，用于对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
    反向映射模块，用于根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
    融合处理模块，用于对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
  9. 一种虚拟视点深度图处理设备，其中，所述虚拟视点深度图处理设备包括：存储器、处理器以及存储在存储器上的用于实现所述虚拟视点深度图处理方法的计算机可读指令，所述处理器用于执行实现所述虚拟视点深度图处理方法的计算机可读指令，以实现如下步骤：
    将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
    对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
    根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
    对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
  10. 如权利要求9所述的虚拟视点深度图处理设备，其中，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：
    根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
    根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
    对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
    根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
  11. 如权利要求9所述的虚拟视点深度图处理设备，其中，所述根据所述平滑的虚拟 视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：
    将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
    根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
  12. 如权利要求9所述的虚拟视点深度图处理设备，其中，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：
    确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
    根据所述第一位置与所述第二位置的位置关系，确定第一权重；
    确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
    根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
  13. 如权利要求12所述的虚拟视点深度图处理方法，其中，所述确定所述虚拟相机位置的深度值置信度的步骤，包括：
    从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置所在的空间坐标系中，得到第二参考点；
    根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
    根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
  14. 一种存储介质，其中，所述存储介质上存储有实现虚拟视点深度图处理方法的计算机可读指令，所述实现虚拟视点深度图处理方法的计算机可读指令被处理器执行以实现如下所述虚拟视点深度图处理方法的步骤：
    将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图；
    对所述虚拟视点深度图进行双边滤波平滑处理，得到平滑的虚拟视点深度图；
    根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图；
    对所述虚拟视点纹理图进行加权融合，并对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理，以得到目标虚拟视点深度图。
  15. 如权利要求14所述的存储介质，其中，所述将预设参考视点对应的参考视点深度图前向映射到虚拟视点的位置，得到虚拟视点深度图的步骤，包括：
    根据所述预设参考视点对应的参考相机的内部参数，建立第一空间坐标系，并将所述参考视点深度图映射到所述第一空间坐标系下，以得到所述参考视点深度图的第一空间坐标；
    根据所述虚拟视点对应的虚拟相机的内部参数，建立第二空间坐标系，并将所述第一空间坐标映射到所述第二空间坐标系下，以得到所述参考视点深度图的第二空间坐标；
    对所述第二空间坐标进行反变换，得到所述第二空间坐标系与所述虚拟视点的图像坐标的第一映射关系；
    根据所述第一映射关系，将所述参考视点深度图映射到所述虚拟视点的位置，得到所述虚拟视点深度图。
  16. 如权利要求14所述的存储介质，其中，所述根据所述平滑的虚拟视点深度图，建立所述虚拟视点和所述参考视点之间的反向映射关系，以合成基于不同预设参考视点的虚拟视点纹理图的步骤，包括：
    将所述平滑的虚拟视点深度图进行反向映射，以得到所述虚拟视点的空间坐标系与所述预设参考视点的空间坐标系的第二映射关系；
    根据所述第二映射关系，将所述预设参考视点对应的参考视点纹理图映射到所述虚拟视点的位置，得到所述虚拟视点纹理图。
  17. 如权利要求14所述的存储介质，其中，所述对所述虚拟视点纹理图进行加权融合的步骤，包括：
    确定所述预设参考视点对应的参考相机的第一位置，以及所述虚拟视点对应的虚拟相机的第二位置；
    根据所述第一位置与所述第二位置的位置关系，确定第一权重；
    确定所述虚拟相机位置的深度值置信度，并根据所述深度值置信度确定第二权重；
    根据所述第一权重与所述第二权重，将基于不同预设参考视点的所述虚拟视点纹理图融合。
  18. 如权利要求17所述的存储介质，其中，所述确定所述虚拟相机位置的深度值置信度的步骤，包括：
    从所述虚拟视点深度图上确定第一参考点，并将所述第一参考点映射到所述第一位置 所在的空间坐标系中，得到第二参考点；
    根据所述参考相机的位置深度值，将所述第二参考点映射到所述第二位置所在的空间坐标系中，得到第三参考点；
    根据所述第一参考点的坐标和所述第三参考点的坐标，利用第一预设算法确定所述深度值置信度。
  19. 如权利要求14所述的存储介质，其中，所述对融合后的虚拟视点纹理图进行空洞填补处理和前景边缘滤波处理的步骤，包括：
    从所述虚拟视点纹理图中选取第一中心像素点，并创建预设大小的第一窗口；
    利用第二预设算法，对所述第一窗口中的像素点的值进行填补计算，以进行空洞填补处理；
    确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记；
    从所述前景边缘区域选取第二中心像素点，并创建预设大小的第二窗口；
    利用第三预设算法，对所述第二窗口中的像素点的值进行滤波计算，以对所述前景边缘区域进行滤波处理。
  20. 如权利要求19所述的存储介质，其特征在于，所述确定所述虚拟视点纹理图的前景边缘区域，并对所述前景边缘区域进行标记的步骤，包括：
    选取参考像素点，并确定所述参考像素点深度值的梯度绝对值；
    若所述梯度绝对值大于预设阈值，则确定所述参考像素点为边缘像素点；
    向所述边缘像素点周围扩展预设数量的像素点，以确定所述前景边缘区域，并对所述前景边缘区域进行标记。
PCT/CN2021/076924 2020-12-04 2021-02-19 虚拟视点深度图处理方法、设备、装置及存储介质 Ceased WO2022116397A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011419908.8A CN112581389B (zh) 2020-12-04 2020-12-04 虚拟视点深度图处理方法、设备、装置及存储介质
CN202011419908.8 2020-12-04

Publications (1)

Publication Number Publication Date
WO2022116397A1 true WO2022116397A1 (zh) 2022-06-09

Family

ID=75127661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/076924 Ceased WO2022116397A1 (zh) 2020-12-04 2021-02-19 虚拟视点深度图处理方法、设备、装置及存储介质

Country Status (2)

Country Link
CN (1) CN112581389B (zh)
WO (1) WO2022116397A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115588A (zh) * 2022-06-20 2022-09-27 上海微创医疗机器人（集团）股份有限公司 一种手术器械定位方法、系统及存储介质
CN115426535A (zh) * 2022-09-01 2022-12-02 杭州电子科技大学 基于背景分离的rgb-d视频合成视点空洞掩盖方法
CN115908162A (zh) * 2022-10-28 2023-04-04 中山职业技术学院 一种基于背景纹理识别的虚拟视点生成方法及系统
CN119399042A (zh) * 2024-12-31 2025-02-07 汇智天下(杭州)科技有限公司 一种裸眼光场3d显示图像融合方法及系统
CN119810392A (zh) * 2024-12-17 2025-04-11 东南大学 一种基于深度图片边缘检测的三维视频空洞填充方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538316B (zh) * 2021-08-24 2023-08-22 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
CN113837978B (zh) * 2021-09-28 2024-04-05 北京奇艺世纪科技有限公司 图像合成方法、装置、终端设备以及可读存储介质
CN116704114B (zh) * 2023-03-20 2026-02-17 东南大学 一种实现高分辨率宽视场角虚拟视点生成的深度图合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242043A1 (en) * 2012-03-19 2013-09-19 Gwangju Institute Of Science And Technology Depth video filtering method and apparatus
CN103927717A (zh) * 2014-03-28 2014-07-16 上海交通大学 基于改进型双边滤波的深度图像恢复方法
CN106791774A (zh) * 2017-01-17 2017-05-31 湖南优象科技有限公司 基于深度图的虚拟视点图像生成方法
CN106998460A (zh) * 2017-05-16 2017-08-01 合肥工业大学 一种基于深度过渡和深度项整体变分的空洞填补算法
CN111385554A (zh) * 2020-03-28 2020-07-07 浙江工业大学 一种自由视点视频的高图像质量虚拟视点绘制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
WO2015013851A1 (zh) * 2013-07-29 2015-02-05 北京大学深圳研究生院 一种虚拟视点合成方法及系统
CN104822059B (zh) * 2015-04-23 2017-07-28 东南大学 一种基于gpu加速的虚拟视点合成方法
CN109712067B (zh) * 2018-12-03 2021-05-28 北京航空航天大学 一种基于深度图像的虚拟视点绘制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242043A1 (en) * 2012-03-19 2013-09-19 Gwangju Institute Of Science And Technology Depth video filtering method and apparatus
CN103927717A (zh) * 2014-03-28 2014-07-16 上海交通大学 基于改进型双边滤波的深度图像恢复方法
CN106791774A (zh) * 2017-01-17 2017-05-31 湖南优象科技有限公司 基于深度图的虚拟视点图像生成方法
CN106998460A (zh) * 2017-05-16 2017-08-01 合肥工业大学 一种基于深度过渡和深度项整体变分的空洞填补算法
CN111385554A (zh) * 2020-03-28 2020-07-07 浙江工业大学 一种自由视点视频的高图像质量虚拟视点绘制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115588A (zh) * 2022-06-20 2022-09-27 上海微创医疗机器人（集团）股份有限公司 一种手术器械定位方法、系统及存储介质
CN115426535A (zh) * 2022-09-01 2022-12-02 杭州电子科技大学 基于背景分离的rgb-d视频合成视点空洞掩盖方法
CN115908162A (zh) * 2022-10-28 2023-04-04 中山职业技术学院 一种基于背景纹理识别的虚拟视点生成方法及系统
CN115908162B (zh) * 2022-10-28 2023-07-04 中山职业技术学院 一种基于背景纹理识别的虚拟视点生成方法及系统
CN119810392A (zh) * 2024-12-17 2025-04-11 东南大学 一种基于深度图片边缘检测的三维视频空洞填充方法
CN119399042A (zh) * 2024-12-31 2025-02-07 汇智天下(杭州)科技有限公司 一种裸眼光场3d显示图像融合方法及系统

Also Published As

Publication number Publication date
CN112581389B (zh) 2025-01-03
CN112581389A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2022116397A1 (zh) 虚拟视点深度图处理方法、设备、装置及存储介质
CN111083380B (zh) 一种视频处理方法、电子设备及存储介质
US12333679B2 (en) Image fusion method and apparatus, storage medium, and terminal
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
US10863077B2 (en) Image photographing method, apparatus, and terminal
US20110158509A1 (en) Image stitching method and apparatus
WO2020098530A1 (zh) 画面渲染方法和装置、存储介质及电子装置
WO2021098544A1 (zh) 图像处理方法及装置、存储介质、电子设备
GB2567530A (en) Virtual reality parallax correction
CN112083403A (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN107592466A (zh) 一种拍照方法及移动终端
CN107301665A (zh) 具有可变焦光学摄像头的深度摄像头及其控制方法
CN107077719B (zh) 数码照片中基于深度图的透视校正
CN111064895A (zh) 一种虚化拍摄方法和电子设备
CN106981078A (zh) 视线校正方法、装置、智能会议终端及存储介质
CN114119701A (zh) 图像处理方法及其装置
CN115174878A (zh) 投影画面校正方法、装置和存储介质
CN117615113A (zh) 一种视差自动矫正方法、装置、设备和可读存储介质
CN112116530A (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
JP7799865B2 (ja) 画像処理方法、装置、機器及び媒体
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN115937287A (zh) 空间地图的绘制方法、装置、摄像设备及存储介质
CN104104935B (zh) 图像处理装置、图像处理方法和电子装置
CN113947686A (zh) 一种图像的特征点提取阈值动态调整方法和系统
CN115619665B (zh) 视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21899441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21899441

Country of ref document: EP

Kind code of ref document: A1