WO2022002181A1 - 自由视点视频重建方法及播放处理方法、设备及存储介质 - Google Patents

自由视点视频重建方法及播放处理方法、设备及存储介质 Download PDF

Info

Publication number
WO2022002181A1
WO2022002181A1 PCT/CN2021/103932 CN2021103932W WO2022002181A1 WO 2022002181 A1 WO2022002181 A1 WO 2022002181A1 CN 2021103932 W CN2021103932 W CN 2021103932W WO 2022002181 A1 WO2022002181 A1 WO 2022002181A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
depth
depth map
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/103932
Other languages
English (en)
French (fr)
Inventor
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2022002181A1 publication Critical patent/WO2022002181A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the embodiments of this specification relate to the technical field of video processing, and in particular, to a free-view video reconstruction method, a playback processing method, a device, and a storage medium.
  • Free viewpoint video is a technology that can provide a high degree of freedom viewing experience. Users can adjust the viewing angle through interactive operations during the viewing process, and watch from the free viewpoint they want to watch, which can greatly improve the viewing experience.
  • DIBR Depth Image Based Rendering
  • the embodiments of this specification provide a free-viewpoint video reconstruction method, a playback processing method, a device, and a storage medium, which can improve the definition of a reconstructed free-viewpoint image.
  • the embodiments of this specification provide a free-viewpoint video reconstruction method, including:
  • the stitched images include synchronized texture maps from multiple viewing angles and a first depth map corresponding to a viewing angle, where the resolution of the first depth map is smaller than the resolution of the texture map;
  • the image of the virtual viewpoint is reconstructed to obtain the image of the virtual viewpoint.
  • performing up-sampling on the first depth map based on the resolution of the corresponding texture map in the spliced image to obtain a second depth map comprising:
  • the corresponding pixel in the corresponding texture map For the depth values of pixels in even rows and odd columns in the second depth map, determine the corresponding pixel in the corresponding texture map as an intermediate pixel, and based on the luminance channel value of the intermediate pixel in the corresponding texture map and the left pixel corresponding to the intermediate pixel The relationship between the luminance channel value of the side pixel and the luminance channel value of the right pixel is determined;
  • the corresponding pixel in the corresponding texture map For the depth values of pixels in odd rows in the second depth map, determine the corresponding pixel in the corresponding texture map as an intermediate pixel, based on the luminance channel value of the intermediate pixel in the corresponding texture map and the upper pixel corresponding to the intermediate pixel The relationship between the luminance channel value of and the luminance channel value of the underlying pixel is determined.
  • the corresponding pixels in the corresponding texture map as intermediate pixels, based on the luminance channel value of the intermediate pixels in the corresponding texture map and the The relationship between the brightness channel value of the left pixel corresponding to the middle pixel and the brightness channel value of the right pixel is determined, including:
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture map and the luminance channel value of the right pixel corresponding to the middle pixel is less than the difference between the luminance channel value of the middle pixel and the luminance channel value of the left pixel the quotient of the absolute value and the preset threshold, then select the depth value corresponding to the right pixel as the depth value of the corresponding pixel in the even row and odd column in the second depth map;
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture map and the luminance channel value of the left pixel corresponding to the middle pixel is smaller than the absolute value of the luminance channel value of the middle pixel and the luminance channel value of the right pixel
  • the quotient of the difference and the preset threshold select the depth value corresponding to the left pixel as the depth value of the pixel corresponding to the even row and odd column in the second depth map;
  • the maximum value among the depth values corresponding to the left pixel and the right pixel is selected as the depth value of the corresponding pixels in the even rows and odd columns in the second depth map.
  • a corresponding pixel in the corresponding texture map as an intermediate pixel, based on the brightness channel value of the intermediate pixel in the corresponding texture map and the The relationship between the luminance channel value of the upper pixel corresponding to the middle pixel and the luminance channel value of the lower pixel is determined, including:
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture map and the luminance channel value of the lower pixel corresponding to the middle pixel is smaller than the absolute value of the luminance channel value of the middle pixel and the luminance channel value of the upper pixel and the preset value Set the quotient of the threshold, then select the depth value corresponding to the lower pixel as the depth value of the corresponding pixel of the odd row in the second depth map;
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture map and the luminance channel value of the upper pixel corresponding to the middle pixel is smaller than the absolute value of the difference between the luminance channel value of the middle pixel and the luminance channel value of the lower pixel and the quotient of the preset threshold, then select the depth value corresponding to the upper pixel as the depth value of the pixel corresponding to the odd row in the second depth map;
  • the maximum value among the depth values corresponding to the upper pixel and the lower pixel is selected as the depth value of the corresponding pixel in the even row and odd column of the second depth map.
  • performing up-sampling on the first depth map based on the resolution of the corresponding texture map in the spliced image to obtain a second depth map comprising:
  • filtering is performed based on the difference between the pixel values of the corresponding pixel in the corresponding texture map and the surrounding pixels of the corresponding pixel get.
  • the pixel values are based on the corresponding pixels in the corresponding texture map and the pixel values of the surrounding pixels of the corresponding pixel.
  • the difference between is filtered and obtained, including:
  • the depth value in the first depth map corresponding to the pixel point with the closest pixel value is used as the depth value of the pixel corresponding to the corresponding pixel in the texture map in the second depth map.
  • the pixel values are based on the corresponding pixels in the corresponding texture map and the pixel values of the surrounding pixels of the corresponding pixel.
  • the difference between is filtered and obtained, including:
  • the stitched image is a rectangle.
  • the first depth map is obtained by down-sampling an original depth map with the same resolution as the texture map.
  • the first depth map obtained by down-sampling an original depth map with the same resolution as the texture map includes at least one of the following:
  • Filtering based on the corresponding texture map is performed on the pixels in the depth map to obtain the first depth map.
  • Viewpoint images including:
  • the target texture map and the target depth map are combined and rendered to obtain the image of the virtual viewpoint.
  • Texture maps and target depth maps including:
  • the texture maps of the synchronized multiple viewpoints and the depth maps of the corresponding viewpoints are selected to satisfy the preset positional relationship and the position of the virtual viewpoint. and/or quantitatively related texture maps and depth maps as the target texture map and target depth map.
  • the separating the texture map of the spliced image and the first depth map includes: performing a decoding on the texture map and the first depth map of the spliced image based on the splicing rule information of the spliced image obtained by decoding. separation.
  • the embodiments of this specification also provide a free-viewpoint video playback processing method, the method comprising:
  • spliced images Acquiring spliced images at multiple frame times and parameter data of the spliced images, where the spliced images include synchronized texture maps of multiple viewing angles and first depth maps corresponding to viewing angles;
  • the first depth map in the spliced image is determined based on the resolution of the corresponding texture map in the spliced image. Upsampling the depth map to obtain a second depth map;
  • the image of the virtual viewpoint is reconstructed to obtain the image of the virtual viewpoint.
  • the determining the position information of the virtual viewpoint in response to the user interaction behavior includes: determining the corresponding virtual viewpoint path information in response to the user's gesture interaction operation;
  • the image of the virtual viewpoint is obtained by reconstructing the texture map based on the synchronized multiple viewpoints in the spliced image and the second depth map of the corresponding viewpoint, according to the position information of the virtual viewpoint and the parameter data corresponding to the spliced image, include:
  • the texture map in the spliced image at the corresponding frame moment and the second depth map of the corresponding viewing angle are selected as the target texture map and the target depth map;
  • the target texture map and the target depth map are combined and rendered to obtain the image of the virtual viewpoint.
  • the method further includes:
  • the virtual information image and the image of the virtual viewpoint are synthesized and displayed.
  • the acquiring the virtual information image generated based on the augmented reality special effect input data of the virtual rendering target object includes:
  • obtaining the virtual rendering target object in the image of the virtual viewpoint includes:
  • the virtual rendering target object in the image of the virtual viewpoint is acquired.
  • Embodiments of this specification also provide a free-view video reconstruction device, the device comprising:
  • an acquisition unit adapted to acquire a spliced image at multiple frame times, the spliced image includes a synchronized texture map of multiple viewing angles and a first depth map corresponding to a viewing angle, and the resolution of the first depth map is smaller than the texture map resolution;
  • a separation unit adapted to separate the texture map and the first depth map of the spliced image
  • an upsampling unit adapted to upsample the first depth map based on the resolution of the corresponding texture map in the spliced image to obtain a second depth map
  • a reconstruction unit adapted to reconstruct the virtual viewpoint according to the position information of the virtual viewpoint and the parameter data corresponding to the spliced image based on the texture maps of multiple viewpoints synchronized in the spliced image and the second depth map of the corresponding viewpoints Image.
  • the embodiments of this specification also provide a free-viewpoint video playback processing device, the device comprising:
  • a spliced image acquisition unit adapted to acquire spliced images at multiple frame times and parameter data of the spliced images, where the spliced images include synchronized texture maps of multiple viewing angles and first depth maps corresponding to viewing angles;
  • a second depth map generation unit adapted to determine, based on the parameter data of the spliced image, that the resolution of the first depth map is smaller than the resolution of the texture map, based on the resolution of the corresponding texture map in the spliced image Upsampling the first depth map in the spliced image to obtain a second depth map;
  • a virtual viewpoint position determination unit adapted to determine the location information of the virtual viewpoint in response to user interaction
  • An image reconstruction unit adapted to reconstruct the virtual view point based on the texture maps of multiple viewing angles synchronized in the mosaic image and the second depth map of the corresponding viewing angle, according to the position information of the virtual view point and the parameter data corresponding to the mosaic image Viewpoint image.
  • An embodiment of the present specification further provides a terminal device, including a memory and a processor, where the memory stores computer instructions that can be executed on the processor, wherein the processor executes the aforementioned computer instructions when the processor executes the computer instructions The steps of the method of any one of the embodiments.
  • the embodiments of this specification also provide a terminal device, including a communication component, a processor and a display component, wherein:
  • the communication component is adapted to obtain stitched images of multiple frame moments
  • the display component is adapted to display the reconstructed image obtained by the processor.
  • inventions of the present specification further provide a computer-readable storage medium on which computer instructions are stored, wherein, when the computer instructions are executed, the steps of the methods described in any of the foregoing embodiments are executed.
  • the free-viewpoint video reconstruction method of the embodiments of this specification under the limitation of the decoding resolution of the overall spliced image, since the resolution of the first depth map is smaller than the resolution of the corresponding texture map, it is possible to transmit a higher-definition image.
  • a second depth map is obtained by upsampling the first depth map, and a free viewpoint is performed based on the texture maps of multiple viewing angles synchronized in the spliced image and the second depth map of the corresponding viewing angle.
  • Video reconstruction so that higher-definition free-view images can be obtained.
  • the position information of the virtual viewpoint and the parameter data corresponding to the spliced image in the synchronized texture maps of multiple viewing angles and the second depth map of the corresponding viewing angles, select multiple target texture maps and The target depth map is combined and rendered to obtain the image of the virtual viewpoint.
  • the target depth map is combined and rendered to obtain the image of the virtual viewpoint.
  • only part of the texture map and the second depth map are selected from the stitched image as the target texture map and the target depth map. Therefore, it can save data processing resources and improve the efficiency of image reconstruction.
  • FIG. 1 is a schematic diagram of a specific application system of a free-view video display in an embodiment of this specification
  • FIG. 2 is a schematic diagram of an interactive interface of a terminal device in an embodiment of this specification
  • FIG. 3 is a schematic diagram of a setting mode of a collection device in an embodiment of the present specification
  • FIG. 4 is a schematic diagram of another terminal device interaction interface in the embodiment of this specification.
  • FIG. 5 is a schematic diagram of a free-viewpoint video data generation process in an embodiment of the present specification
  • 6 is a schematic diagram of the generation and processing of a kind of 6DoF video data in the embodiment of this specification;
  • FIG. 7 is a schematic structural diagram of a data header file in an embodiment of the present specification.
  • FIG. 8 is a schematic diagram of a user side processing 6DoF video data in an embodiment of the present specification
  • FIG. 9 is a schematic structural diagram of a spliced image in the prior art.
  • FIG. 11 is a schematic structural diagram of a stitched image in the embodiment of this specification.
  • FIG. 13 is a flowchart of a free-view video playback processing method in an embodiment of the present specification
  • 15 to 19 are schematic diagrams of display interfaces of an interactive terminal in the embodiments of this specification.
  • 20 is a schematic structural diagram of a device for free-view video reconstruction in an embodiment of the present specification
  • 21 is a schematic structural diagram of a free-viewpoint video playback processing device in an embodiment of the present specification.
  • 22 is a schematic structural diagram of a terminal device in an embodiment of the present specification.
  • FIG. 23 is a schematic structural diagram of another terminal device in the embodiment of this specification.
  • a specific application system for free-view video display in an embodiment of the present invention may include a collection system 11 of multiple collection devices, a server 12 , and a display device 13 , wherein the collection system 11 can collect images of the area to be viewed.
  • the acquisition system 11 or the server 12 can process the acquired synchronized multiple texture maps to generate multi-angle free viewing angle data that can support the display device 13 to switch virtual viewpoints.
  • the display device 13 can display reconstructed images generated based on multi-angle free viewing angle data, the reconstructed images correspond to virtual viewpoints, and can display reconstructed images corresponding to different virtual viewpoints according to user instructions, and switch the viewing position and viewing angle.
  • the process of performing image reconstruction to obtain a reconstructed image may be implemented by the display device 13, or may be implemented by a device located in a content delivery network (Content Delivery Network, CDN) by means of edge computing.
  • CDN Content Delivery Network
  • the user can view the area to be viewed through the display device 13 , and in this embodiment, the area to be viewed is a basketball court. As mentioned earlier, the viewing position and viewing angle can be switched.
  • the user can swipe across the screen to switch virtual viewpoints.
  • the virtual viewpoint for viewing can be switched.
  • the position of the virtual viewpoint before sliding may be VP 1
  • the position of the virtual viewpoint may be VP 2 .
  • the reconstructed image displayed on the screen may be as shown in FIG. 4 .
  • the reconstructed image may be obtained by performing image reconstruction based on multi-angle free viewing angle data generated from images collected by multiple collection devices in an actual collection situation.
  • the image viewed before switching may also be a reconstructed image.
  • the reconstructed images may be frame images in the video stream.
  • the manner of switching the virtual viewpoint according to the user's instruction may be various, which is not limited here.
  • the virtual viewpoint can be represented by coordinates of 6 degrees of freedom (DoF), wherein the spatial position of the virtual viewpoint can be represented as (x, y, z), and the viewing angle can be represented as three rotation directions
  • DoF degrees of freedom
  • the spatial position of the virtual viewpoint can be represented as (x, y, z)
  • the viewing angle can be represented as three rotation directions
  • the multi-angle free viewing angle data may include depth map data, which is used to provide third-dimensional information outside the plane image. Compared with other implementations, such as providing three-dimensional information through point cloud data, the data volume of the depth map data is smaller.
  • the switching of the virtual viewpoints may be performed within a certain range, which is a multi-angle free viewing angle range. That is, within the multi-angle free viewing angle range, the virtual viewpoint position and the viewing angle can be switched arbitrarily.
  • the multi-angle free viewing angle range is related to the arrangement of the acquisition device.
  • the wider the shooting coverage of the acquisition device the larger the multi-angle free viewing angle range.
  • the quality of the picture displayed by the terminal device is related to the number of collection devices. Generally, the more collection devices are set, the fewer empty areas in the displayed picture.
  • the range of multi-angle free viewing angles is related to the spatial distribution of the acquisition devices.
  • the range of multi-angle free viewing angles and the interaction mode with the display device on the terminal side can be set based on the spatial distribution relationship of the collection devices.
  • texture map acquisition and depth map calculation are required, including three main steps, namely Multi-camera Video Capturing, camera internal and external parameter calculation ( Camera Parameter Estimation), and Depth Map Calculation.
  • Multi-camera Video Capturing it is required that the video captured by each camera can be aligned at the frame level.
  • the texture image can be obtained through the video acquisition of multiple cameras;
  • the camera parameters can be obtained through the calculation of the internal and external parameters of the camera, which can include the internal parameter data of the camera and the external parameter data;
  • Depth Map multiple synchronized texture maps, depth maps and camera parameters corresponding to the perspective, form 6DoF video data.
  • the texture map collected from multiple cameras, the camera parameters of all cameras, and the depth map of each camera are obtained.
  • These three parts of data can be referred to as data files in the multi-angle free-view video data, and can also be referred to as 6DoF video data. Because of these data, the client can generate virtual viewpoints according to the virtual 6 degrees of freedom (DoF) position, thereby providing a 6DoF video experience.
  • DoF degrees of freedom
  • 6DoF video data and indicative data can be compressed and transmitted to the user side, and the user side can obtain the user side 6DoF expression according to the received data, that is, the aforementioned 6DoF video data and metadata.
  • indicative data can also be called metadata (Metadata)
  • Metadata can be used to describe the data pattern of 6DoF video data, specifically can include: stitching pattern metadata (Stitching Pattern metadata), used to indicate the pixel data of multiple texture maps and depth map data in the stitched image. Storage rules; edge protection metadata (Padding pattern metadata), which can be used to indicate the way of edge protection in stitched images, and other metadata (Other metadata).
  • stitching Pattern metadata used to indicate the pixel data of multiple texture maps and depth map data in the stitched image.
  • Storage rules edge protection metadata (Padding pattern metadata), which can be used to indicate the way of edge protection in stitched images
  • other metadata Other metadata
  • the user side obtains 6DoF video data, including camera parameters, texture maps and depth maps, as well as description metadata (metadata), in addition to user-end interactive behavior data.
  • 6DoF video data including camera parameters, texture maps and depth maps, as well as description metadata (metadata), in addition to user-end interactive behavior data.
  • DIBR Depth Image-Based Rendering
  • the user side can use Depth Image-Based Rendering (DIBR, Depth Image-Based Rendering) for 6DoF rendering, so as to generate a virtual viewpoint image at a specific 6DoF position generated according to user behavior, that is, according to the user's behavior.
  • Indicate determine the virtual viewpoint of the 6DoF position corresponding to the indication.
  • any video frame in the free-view video data is generally expressed as a stitched image formed by a texture map collected by multiple cameras and a corresponding depth map.
  • Fig. 9 is a schematic diagram of the structure of the spliced image, wherein the upper part of the spliced image is the texture map area, which is divided into 8 texture map sub-regions, respectively storing the pixel data of the 8 texture maps that are synchronized. The pictures are taken from different angles, that is, from different perspectives.
  • the lower half of the spliced image is the depth map area, which is divided into 8 depth map sub-regions, respectively storing the corresponding depth maps of the above 8 texture maps.
  • the texture map of view N and the depth map of view N are in one-to-one correspondence with pixels, and the spliced image is compressed and transmitted to the terminal for decoding and DIBR, so that the image can be interpolated at the viewpoint of user interaction.
  • the inventor found that for each texture map, there is a depth map of the same resolution corresponding to it, so that the resolution of the overall stitched image is twice that of the texture map set, because the video decoding resolution of the terminal (such as a mobile terminal)
  • the data rate is generally limited, so the above-mentioned expression method of free-view video data can only be realized by reducing the resolution of the texture map, which leads to a decrease in the clarity of the reconstructed image felt by the user on the terminal side.
  • the resolution of the first depth map in the spliced image is set to be smaller than the resolution of the corresponding texture map in the spliced image, so it can be Transmit a higher-definition texture map, and then upsample the first depth map to obtain a second depth map, based on the texture maps of multiple viewing angles synchronized in the spliced image and the second depth corresponding to the viewing angle Free-viewpoint video reconstruction is performed on the image, so that a higher-definition free-viewpoint image can be obtained.
  • S101 Acquire a spliced image at multiple frame times, where the spliced image includes synchronized texture maps of multiple viewing angles and a first depth map corresponding to a viewing angle, where the resolution of the first depth map is smaller than the resolution of the texture map .
  • a schematic structural diagram of a spliced image in an embodiment of the present specification includes a synchronized texture map of view 1 to view 16 and a depth map of view 1 to depth map of view 16, wherein the view 1 in the spliced image
  • the resolution of the depth map to view 16 depth map is 25% of the resolution of the view 1 texture map to the view 16 texture map.
  • a spliced image obtained by splicing the texture map and the first depth map may be a rectangle.
  • the first depth map may be obtained by down-sampling an original depth map with the same resolution as the texture map by the acquisition system 11 or the server 12 .
  • 1/2 downsampling, 1/4 downsampling can be done.
  • the texture map of the spliced image and the first depth map may be separated based on the splicing rule information of the spliced image obtained by decoding.
  • the splicing rules of the spliced images can be obtained through the metadata stored in the header file of the free-view video.
  • the resolution of the second depth map obtained through step S103 may be the same as the resolution of the corresponding texture map, or may be different.
  • step S101 two specific examples of downsampling are described in detail below:
  • One is to perform snapshot processing on the pixels in the original depth map to obtain the first depth map. For example, one pixel can be extracted from every other pixel in the original depth map to obtain the first depth map, and the resolution of the obtained first depth map is 50% of the original depth map .
  • the other is to perform filtering based on the corresponding texture map on the pixels in the depth map to obtain the first depth map.
  • step S103 there may be multiple ways to upsample the first depth map to obtain a second depth map, which may be based on whether the pixels in the second depth map correspond to the pixels in the first depth map.
  • a second depth map which may be based on whether the pixels in the second depth map correspond to the pixels in the first depth map.
  • the first example of the way is to perform up-sampling processing on the first depth map that has been downsampled by 1/4 to obtain a second depth map with the same resolution as the texture map. Based on different rows and columns, the following steps can be taken:
  • the corresponding pixels in the corresponding texture map may be determined as intermediate pixels, based on the luminance channel value of the intermediate pixels in the corresponding texture map and the intermediate pixels. The relationship between the luminance channel value of the left pixel corresponding to the pixel and the luminance channel value of the right pixel is determined.
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture image and the luminance channel value of the right pixel corresponding to the middle pixel is less than the difference between the luminance channel value of the middle pixel and the luminance channel value of the left pixel.
  • the quotient of the absolute value and the preset threshold value then select the depth value corresponding to the right pixel as the depth value of the corresponding pixel in the even row and odd column in the second depth map, that is:
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture image and the luminance channel value of the left pixel corresponding to the middle pixel is less than the difference between the luminance channel value of the middle pixel and the luminance channel value of the right pixel the quotient of the absolute value of the difference and the preset threshold, then select the depth value corresponding to the left pixel as the depth value of the corresponding pixel in the even row and odd column in the second depth map;
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture image and the luminance channel value of the lower pixel corresponding to the middle pixel is smaller than the difference between the luminance channel value of the middle pixel and the luminance channel value of the upper pixel the quotient of the absolute value and the preset threshold, then select the depth value corresponding to the lower pixel as the depth value of the corresponding pixel of the odd row in the second depth map;
  • the absolute value of the difference between the luminance channel value of the middle pixel in the corresponding texture image and the luminance channel value of the upper pixel corresponding to the middle pixel is smaller than the difference between the luminance channel value of the middle pixel and the luminance channel value of the lower pixel the quotient of the absolute value and the preset threshold, then select the depth value corresponding to the upper pixel as the depth value of the pixel corresponding to the odd row in the second depth map;
  • pix_C is the luminance channel value (Y value) of the middle pixel in the texture map corresponding to the depth value in the second depth map
  • pix_L is the luminance channel value of the left pixel of pix_C
  • pix_R is the right pixel of pix_C
  • the luminance channel value of pix_U is the luminance channel value of the pixel above pix_C
  • Dep_R is the depth value corresponding to the right pixel of the middle pixel in the texture map at the corresponding position of the depth value in the second depth map
  • Dep_L is the depth value corresponding to the right pixel of the middle pixel in the texture map at the position corresponding to the depth value in the second depth map
  • Dep_D is the depth value corresponding to the pixel below the middle pixel in the texture map at the position corresponding to the depth value in the second depth map
  • Dep_U is the depth value corresponding to the pixel above the middle pixel
  • the related pixels are obtained by filtering based on the difference between the corresponding pixel in the corresponding texture map and the pixel values of the surrounding pixels of the corresponding pixel.
  • the corresponding pixel in the texture map may be associated with four diagonal positions around the corresponding pixel.
  • the pixel values of the pixels are compared, and the pixel point that is most similar to the pixel value of the corresponding pixel is obtained, and the depth value in the first depth map corresponding to the pixel point with the most similar pixel value is used as the texture map.
  • the depth value of the corresponding pixel in the second depth map is used as the texture map.
  • the corresponding pixels in the texture map can be compared with the surrounding pixels of the corresponding pixels, and according to the similarity of the pixel values, the depth values in the first depth map corresponding to the surrounding pixels are weighted to obtain the obtained
  • the depth value of the corresponding pixel in the texture map is the corresponding pixel in the second depth map.
  • the above shows some methods for upsampling the first depth map to obtain the second depth map. It can be understood that the above are only examples, and specific upsampling methods are not limited in the embodiments of this specification. Moreover, the method for up-sampling the first depth map in any video frame may correspond to the method for obtaining the first depth map by down-sampling the original depth map, or there may be no corresponding relationship. In addition, the ratio of upsampling and downsampling can be the same or different.
  • step S104 Some specific examples of step S104 are given.
  • only part of the texture map in the spliced image and the second depth map of the corresponding viewing angle may be selected as the target texture map and Target depth map for reconstruction of virtual viewpoint images, specifically:
  • multiple target texture maps and target depths can be selected. picture. After that, the target texture map and the target depth map can be combined and rendered to obtain the image of the virtual viewpoint.
  • the location information of the virtual viewpoint may be determined according to user interaction behavior or preset. If it is determined based on the user interaction behavior, the virtual viewpoint position at the corresponding interaction moment can be determined by acquiring trajectory data corresponding to the user interaction operation.
  • the location information of the virtual viewpoint corresponding to the corresponding video frame may also be preset on the server (such as the server or the cloud), and the set virtual viewpoint is transmitted in the header file of the free viewpoint video. The position information of the viewpoint.
  • the spatial positional relationship between each texture map and the depth map of the corresponding viewing angle and the virtual viewpoint position may be determined based on the virtual viewpoint position and the parameter data corresponding to the spliced image.
  • the texture maps of the synchronized multiple viewpoints and the depth maps of the corresponding viewpoints are selected to satisfy the preset positional relationship and the position of the virtual viewpoint. and/or quantitatively related texture maps and depth maps as the target texture map and target depth map.
  • texture maps and depth maps corresponding to 2 to N viewpoints closest to the virtual viewpoint position may be selected.
  • N is the number of texture maps in the spliced image, that is, the number of acquisition devices corresponding to the texture maps.
  • the quantitative relationship value may be fixed or variable.
  • S122 Perform post-processing on the forward-mapped target depth maps respectively.
  • at least one of the following methods may be used to post-process the target depth map:
  • holes may also be filled in the fused texture map to obtain a reconstructed image corresponding to the position of the virtual viewpoint at the moment of user interaction. Through hole filling, the quality of the reconstructed image can be improved.
  • the embodiments of this specification also provide a corresponding free-view video playback processing method. Referring to FIG. 13 , it may specifically include the following steps:
  • S131 Acquire spliced images at multiple frame times and parameter data of the spliced images, where the spliced images include synchronized texture maps of multiple viewing angles and first depth maps corresponding to viewing angles.
  • the spliced images at the multiple frame moments and the parameter data of the spliced images can be obtained.
  • the specific form of the free-view video may be a multi-angle free-view video, such as a 6DoF video, as exemplified in the foregoing embodiment.
  • each video frame may include a spliced image formed by the synchronized texture maps of multiple viewpoints and the first depth map of the corresponding viewpoint,
  • the stitched image structure is shown in Figure 9 and Figure 11.
  • the free-viewpoint video data file may also include metadata describing the stitched image.
  • the parameter data of the spliced image can be obtained from the metadata, for example, the camera parameters of the spliced image, the splicing rule of the spliced image, the resolution information of the spliced image, etc. one or more types of information.
  • the parameter information of the spliced image may be transmitted in combination with the spliced image, for example, may be stored in a video file header.
  • the embodiments of this specification do not limit the specific format of the spliced image, nor do they limit the specific type and storage location of the parameter information of the spliced image, as long as the reconstructed image of the corresponding virtual viewpoint position can be obtained based on the virtual viewpoint video.
  • the resolution of the texture map and the resolution of the first depth map may be obtained based on the parameter data of the spliced image, and if matching is passed, it is determined that the resolution of the first depth map is smaller than the
  • the first depth map in the spliced image may be up-sampled based on the resolution of the corresponding texture map in the spliced image to obtain the second depth map.
  • the specific implementation of the up-sampling may be as follows: Referring to the foregoing embodiments, detailed examples are omitted here.
  • the virtual viewpoint position information based on user interaction can be expressed as coordinates
  • the virtual viewpoint position information can be generated in one or more preset user interaction manners. For example, coordinates can be entered for user operations, such as manual clicks or gesture paths, or virtual locations determined by voice input, or users can be provided with customized virtual viewpoints (for example, the user can enter a location or perspective in the scene, such as a basket off the court, from the sidelines, from the referee's perspective, from the coach's perspective, etc.).
  • the user can switch to the perspective of the object after the user clicks on the corresponding object.
  • a specific object eg a player on the court, an actor or guest in an image, a host, etc.
  • the user can switch to the perspective of the object after the user clicks on the corresponding object. It can be understood that the embodiment of the present invention does not limit a specific user interaction behavior, as long as the virtual viewpoint position information based on the user interaction can be obtained.
  • the corresponding virtual viewpoint path information may be determined.
  • the corresponding virtual viewpoint path can be planned based on different forms of gesture interaction, so that the path information of the corresponding virtual viewpoint can be determined based on the user's specific gesture operation.
  • Left and right sliding corresponds to the left and right movement of the viewing angle;
  • the user's finger sliding up and down relative to the touch screen corresponds to the up and down movement of the viewpoint position;
  • the zoom operation of the finger corresponds to the zoom in and out of the viewpoint position.
  • virtual viewpoint paths based on gesture shape planning are only exemplary, and virtual viewpoint paths based on other gesture shapes can be pre-defined, or user-defined settings can be made to enhance user experience.
  • the texture map in the spliced image at the corresponding frame moment and the second depth map of the corresponding viewing angle may be selected as the target texture map and the target depth map, and the target texture map Perform combined rendering with the target depth map to obtain the image of the virtual viewpoint.
  • part of the texture map and the second depth map of the corresponding viewing angle in one frame or consecutive multi-frame spliced images can be selected according to the time sequence, as the target texture map and the target depth map, for reconstructing the corresponding Image of virtual viewpoint.
  • AR Augmented Reality
  • FIG. 14 in some embodiments of the present description, the implantation of AR special effects is implemented in the following manner:
  • certain objects in the image of the free-view video may be determined as virtual rendering target objects based on certain indication information, and the indication information may be generated based on user interaction, or may be based on certain preset trigger conditions or a third party. command is obtained.
  • the virtual rendering target object in the image of the virtual viewpoint may be acquired in response to the interactive control instruction generated by the special effect.
  • S142 Acquire a virtual information image generated based on the augmented reality special effect input data of the virtual rendering target object.
  • the implanted AR special effects are presented in the form of virtual information images.
  • the virtual information image may be generated based on augmented reality special effect input data of the target object.
  • a virtual information image generated based on the augmented reality special effect input data of the virtual rendering target object may be acquired.
  • the virtual information image corresponding to the virtual rendering target object may be generated in advance, or may be generated immediately in response to the special effect generation instruction.
  • a virtual information image matching the position of the virtual rendering target object can be obtained based on the position of the virtual rendering target object obtained by the three-dimensional calibration in the reconstructed image, so that the obtained virtual information image can be made to match the position of the virtual rendering target object.
  • the position of the virtual rendering target object in the three-dimensional space is more matched, and the displayed virtual information image is more in line with the real state in the three-dimensional space, so the displayed composite image is more realistic and vivid, and the user's visual experience is enhanced.
  • a virtual information image corresponding to the target object may be generated according to a preset special effect generation method based on the augmented reality special effect input data of the virtual rendering target object.
  • the augmented reality special effect input data of the target object may be input into a preset three-dimensional model, and the output matches the virtual rendering target object based on the position of the virtual rendering target object obtained by the three-dimensional calibration in the image.
  • the augmented reality special effects input data of the virtual rendering target object can be input into a preset machine learning model, and the position of the virtual rendering target object in the image obtained based on the three-dimensional calibration can be output and the same as that of the virtual rendering target object.
  • the virtual information image and the image of the virtual viewpoint can be synthesized and displayed in various ways. Two specific implementation examples are given below:
  • Example 1 Perform fusion processing on the virtual information image and the corresponding image to obtain a fusion image, and display the fusion image;
  • Example 2 The virtual information image is superimposed on the corresponding image to obtain a superimposed composite image, and the superimposed composite image is displayed.
  • the obtained composite image can be displayed directly, or the obtained composite image can be inserted into the video stream to be played for playback and display.
  • the fused image may be inserted into the video stream to be played for display.
  • the free viewpoint video may include a special effect display identifier.
  • the superimposed position of the virtual information image in the image of the virtual viewpoint may be determined based on the special effect display identifier, and then the virtual information image may be placed in the image of the virtual viewpoint. The determined superposition position is displayed in superposition.
  • the interactive terminal T1 plays the video in real time.
  • the video frame P1 is displayed.
  • the video frame P2 displayed by the interactive terminal includes a plurality of special effect display identifiers such as the special effect display identifier I1.
  • the video frame P2 is represented by an inverted triangle symbol pointing to the target object, such as Figure 16. It can be understood that, the special effect display logo may also be displayed in other manners.
  • the terminal user touches and clicks on the special effect display identifier I1, then the system automatically acquires the virtual information image corresponding to the special effect display identifier I1, and superimposes the virtual information image on the video frame P3 and displays it in the video frame P3, as shown in FIG.
  • the position of the site where Q1 stands is the center, and a three-dimensional ring R1 is rendered.
  • the end user touches and clicks the special effect display identifier I2 in the video frame P3, and the system automatically acquires the virtual information image corresponding to the special effect display identifier I2, and displays the virtual information image in a superimposed manner.
  • the hit rate information display board M0 displays the number position, name and hit rate information of the target object, namely the athlete Q2.
  • the end user can continue to click on other special effect display signs displayed in the video frame to watch the video showing the AR special effect corresponding to each special effect display sign.
  • the free-view video reconstruction device 200 may include: an acquisition unit 201, a separation unit 202, an upsampling unit 203 and a reconstruction unit 204, wherein:
  • the acquisition unit 201 is adapted to acquire stitched images of multiple frame moments, the stitched images include synchronized texture maps of multiple viewing angles and a first depth map of corresponding viewing angles, and the resolution of the first depth map is smaller than the resolution of the first depth map. the resolution of the texture map;
  • a separation unit 202 adapted to separate the texture map and the first depth map of the spliced image
  • an upsampling unit 203 adapted to upsample the first depth map based on the resolution of the corresponding texture map in the spliced image to obtain a second depth map;
  • the reconstruction unit 204 is adapted to reconstruct the virtual view point according to the position information of the virtual view point and the parameter data corresponding to the mosaic image based on the texture maps of multiple viewing angles synchronized in the mosaic image and the second depth map of the corresponding view angle. Viewpoint image.
  • the definition of the reconstructed free-viewpoint image can be improved.
  • the upsampling unit 203 is adapted to obtain the depth values of the pixels in the first depth map as the pixel values of the corresponding even rows and even columns in the second depth map; for The depth value of the pixels in the even rows and odd columns in the second depth map, determine the corresponding pixel in the corresponding texture map as the middle pixel, based on the brightness channel value of the middle pixel in the corresponding texture map and the left side corresponding to the middle pixel The relationship between the brightness channel value of the pixel and the brightness channel value of the right pixel is determined; for the depth values of odd-numbered rows of pixels in the second depth map, determine the corresponding pixel in the corresponding texture map as an intermediate pixel, based on the corresponding texture In the figure, the relationship between the luminance channel value of the middle pixel and the luminance channel value of the upper pixel and the luminance channel value of the lower pixel corresponding to the middle pixel is determined.
  • the upsampling unit 203 is adapted to obtain the depth value of the pixel in the first depth map as the pixel value of the corresponding row and column in the second depth map; for the Pixels in the second depth map that do not have a corresponding relationship with the pixels in the first depth map are obtained by filtering based on the difference between the corresponding pixels in the corresponding texture map and the pixel values of the surrounding pixels of the corresponding pixel.
  • the embodiments of this specification also provide a corresponding free-view video playback processing device, as shown in FIG. 21 , wherein the free-view video playback processing device 210 may include: a stitched image acquisition unit 211 , a second depth map generation unit 212 , a virtual viewpoint Position determination unit 213 and image reconstruction unit 214, wherein:
  • the spliced image obtaining unit 211 is adapted to obtain spliced images at multiple frame times and parameter data of the spliced images, where the spliced images include synchronized texture maps of multiple viewing angles and a first depth map of corresponding viewing angles;
  • the second depth map generation unit 212 is adapted to, based on the parameter data of the spliced image, determine that the resolution of the first depth map is smaller than the resolution of the texture map, based on the corresponding texture map in the spliced image. Upsampling the first depth map in the spliced image to obtain a second depth map;
  • the virtual viewpoint position determining unit 213 is adapted to determine the position information of the virtual viewpoint in response to the user interaction behavior
  • the image reconstruction unit 214 is adapted to reconstruct the obtained image according to the position information of the virtual viewpoint and the parameter data corresponding to the spliced image based on the texture maps of multiple viewing angles synchronized in the spliced image and the second depth map of the corresponding viewing angle. an image of the virtual viewpoint.
  • the above-mentioned free-viewpoint video reconstruction device and free-viewpoint video playback processing device may be implemented in software, hardware, or a combination of software and hardware.
  • An embodiment of this specification also provides a terminal device, as shown in FIG. 22 , a schematic structural diagram of the terminal device.
  • the terminal device 220 includes a memory 221 and a processor 222, wherein the memory 221 stores data that can be stored in the processor.
  • Computer instructions running on 222 wherein, when the processor 222 runs the computer instructions, the steps of the free-viewpoint video reconstruction method or the free-viewpoint video playback processing method described in any embodiment of this specification can be performed. For specific steps, please refer to The foregoing embodiments are introduced, and are not repeated here.
  • the embodiment of this specification also provides another terminal device, such as a schematic structural diagram of the terminal device shown in FIG. 23 , the terminal device 230 may include: a communication component 231, a processor 232 and a display component 233, wherein:
  • the communication component 231 is adapted to obtain stitched images of multiple frame moments
  • the processor 232 is adapted to execute the steps of the free-viewpoint video reconstruction method described in any embodiment of this specification. For details, reference may be made to the steps of the foregoing embodiments, which will not be repeated here;
  • the display component 233 is adapted to display the reconstructed image obtained by the processor.
  • the communication component 231 may be a network transmission interface, and the network transmission interface may be a wired communication interface or a wireless communication interface.
  • the processor 232 can be a single-core processor, a multi-core processor, a graphics processor (Graphics Processing Unit, GPU), or a processor group formed by a CPU and a GPU, a Field-Programmable Gate Array (Field-Programmable Gate Array, FPGA) ) chip, etc., the embodiments of this specification do not make any limitation on the specific structure or model of the processor.
  • the display component 233 may be at least one of a display screen, projectable glasses, a projection screen, a projection wall, and the like.
  • the display component 233 may be an integrated component or an expandable external component.
  • the terminal device may be a mobile terminal such as a mobile phone, a tablet computer, a personal computer, a television, or a combination of any terminal device and an external display device.
  • inventions of the present specification further provide a computer-readable storage medium on which computer instructions are stored, wherein, when the computer instructions are executed, the steps of the methods described in any of the foregoing embodiments may be performed.
  • computer instructions when executed, the steps of the methods described in any of the foregoing embodiments may be performed.
  • the computer-readable storage medium may be various suitable readable storage mediums such as an optical disc, a mechanical hard disk, and a solid-state hard disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

自由视点视频重建方法及播放处理方法、设备及存储介质，所述视频重建方法包括：获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；对所述拼接图像中的纹理图和第一深度图进行分离；基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。采用上述方案能够提高重建得到的自由视点图像的清晰度。

Description

自由视点视频重建方法及播放处理方法、设备及存储介质
本申请要求2020年07月03日递交的申请号为202010630754.0、发明名称为“自由视点视频重建方法及播放处理方法、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本说明书实施例涉及视频处理技术领域，尤其涉及自由视点视频重建方法及播放处理方法、设备及存储介质。
背景技术
自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
在大范围的场景中，比如体育比赛，通过基于深度图的图像绘制(Depth Image Based Rendering，DIBR)技术来实现高自由度的观看是一种具有很大潜力和可行性的方案。自由视点视频的表达一般为多相机采集到的纹理图与相应深度图进行拼接。然而，由于终端视频解码分辨率的局限性，目前基于DIBR技术重建得到的图像的清晰度会有所下降。
发明内容
有鉴于此，本说明书实施例提供一种自由视点视频重建方法及播放处理方法、设备及存储介质，能够提高重建得到的自由视点图像的清晰度。
本说明书实施例提供了一种自由视点视频重建方法，包括：
获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
对所述拼接图像中的纹理图和第一深度图进行分离；
基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
可选地，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素 作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
可选地，所述对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值的绝对值之差与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
可选地，所述对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
可选地，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；
对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
可选地，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点；
将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
可选地，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
可选地，所述拼接图像为矩形。
可选地，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。
可选地，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图，包括以下至少一种：
对所述原始深度图中的像素进行抽点处理，得到所述第一深度图；
对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
可选地，所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
可选地，所述根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和 /或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
可选地，所述对所述拼接图像的纹理图和第一深度图进行分离，包括：基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。
本说明书实施例还提供了一种自由视点视频播放处理方法，所述方法包括：
获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
响应于用户交互行为，确定虚拟视点的位置信息；
基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
可选地，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
可选地，所述方法还包括：
获取所述虚拟视点的图像中的虚拟渲染目标对象；
获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
可选地，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
可选地，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
本说明书实施例还提供了一种自由视点视频重建装置，所述装置包括：
获取单元，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
分离单元，适于对所述拼接图像的纹理图和第一深度图进行分离；
升采样单元，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种自由视点视频播放处理装置，所述装置包括：
拼接图像获取单元，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
第二深度图生成单元，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
图像重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行前述任一实施例所述方法的步骤。
本说明书实施例还提供了一种终端设备，包括通信组件、处理器和显示组件，其中：
所述通信组件，适于获取多个帧时刻的拼接图像；
所述处理器，适于执行前述任一实施例所述的方法的步骤；
所述显示组件，适于显示所述处理器得到的重建图像。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤。
与现有技术相比，本说明书实施例的技术方案具有以下有益效果：
采用本说明书实施例的自由视点视频重建方法，一方面，在整体拼接图像解码分辨率的限制下，由于所述第一深度图的分辨率小于对应纹理图的分辨率，因此可以传输更高清晰度的纹理图，进而通过对所述第一深度图进行升采样，得到第二深度图，并基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图进行自由视点视频重建，从而可以得到更高清晰度的自由视点图像。
进一步地，根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像，在这一虚拟视点图像重建过程中，由于仅从拼接图像中选择了部分纹理图和第二深度图作为目标纹理图和目标深度图进行重 建，因此可以节约数据处理资源，提高图像重建效率。
附图说明
图1是本说明书实施例中一种自由视点视频展示的具体应用系统示意图；
图2是本说明书实施例中一种终端设备交互界面示意图；
图3是本说明书实施例中一种采集设备设置方式的示意图；
图4是本说明书实施例中另一种终端设备交互界面示意图；
图5是本说明书实施例中一种自由视点视频数据生成过程的示意图；
图6是本说明书实施例中一种6DoF视频数据的生成及处理的示意图；
图7是本说明书实施例中一种数据头文件的结构示意图；
图8是本说明书实施例中一种用户侧对6DoF视频数据处理的示意图；
图9是现有技术中一种拼接图像的结构示意图；
图10是本说明书实施例中一种自由视点视频重建方法的流程图；
图11是本说明书实施例中一种拼接图像的结构示意图；
图12是本说明书实施例中一种组合渲染方法的流程图；
图13是本说明书实施例中一种自由视点视频播放处理方法的流程图；
图14是本说明书实施例中另一种自由视点视频播放处理方法的流程图；
图15至图19是本说明书实施例中一种交互终端的显示界面示意图；
图20是本说明书实施例中一种自由视点视频重建装置的结构示意图；
图21是本说明书实施例中一种自由视点视频播放处理装置的结构示意图；
图22是本说明书实施例中一种终端设备的结构示意图；
图23是本说明书实施例中另一种终端设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解和实施本说明书中的实施例，以下首先结合附图及具体应用场景对自由视点视频的实现方式进行示例性介绍。
参考图1，本发明实施例中一种自由视点视频展示的具体应用系统，可以包括多个采集设备的采集系统11、服务器12和显示设备13，其中采集系统11，可以对待观看区域进行图像采集；采集系统11或者由服务器12，可以对获取到的同步的多个纹理图进行处理，生成能够支持显示设备13进行虚拟视点切换的多角度自由视角数据。显示设备13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。
在具体实现中，进行图像重建，得到重建图像的过程可以由显示设备13实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实 施。可以理解的是，图1仅为示例，并非对采集系统、服务器、终端设备以及具体实现方式的限制。
继续参考图1，用户可以通过显示设备13对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。
举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图2，用户手指沿D 22方向滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图3，滑动前的虚拟视点的位置可以是VP 1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP 2。结合参考图4，在滑动屏幕后，屏幕展示的重建图像可以如图4所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建得到的。
可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另外，根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。
在具体实施中，虚拟视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，虚拟视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向
Figure PCTCN2021103932-appb-000001
Figure PCTCN2021103932-appb-000002
虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度图数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度图数据的数据量较小。
在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点位置以及视角。
多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。终端设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。
此外，多角度自由视角的范围与采集设备的空间分布相关。可以基于采集设备的空间分布关系设置多角度自由视角的范围以及在终端侧与显示设备的交互方式。
本领域技术人员可以理解的是，上述各实施例以及对应的附图仅为举例示意性说明，并非对采集设备的设置以及多角度自由视角范围之间关联关系的限定，也并非对交互方式以及显示设备展示效果的限定。
结合参照图5，为进行自由视点视频重建，需要进行纹理图的采集和深度图计算，包括了三个主要步骤，分别为多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth Map Calculation)。对于多摄像机采集来说，要求各个摄像机采集的视频可以帧级对齐。其中，通过多摄像机的视频采集可以得到纹理图(Texture Image)；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，可以包括摄像机内部参数数据和外部参数数 据；通过深度图计算，可以得到深度图(Depth Map)，多个同步的纹理图及对应视角的深度图和摄像机参数，形成6DoF视频数据。
在本说明书实施例方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。
在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有摄像机的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。
结合参考图6，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，
结合参考图7，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个纹理图的像素数据以及深度图数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图7所示，或者以其它顺序存储。
结合参考图8，用户侧得到了6DoF视频数据，其中包括了摄像机参数，纹理图以及深度图，以及描述元数据(元数据)，除此之外，还有用户端的交互行为数据。通过这些数据，用户侧可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。
目前，自由视点视频数据中对于任一视频帧，一般表达为多摄像机采集的纹理图与相应深度图所形成的拼接图像。如图9所示的拼接图像的结构示意图，其中，拼接图像的上半部分为纹理图区域，划分称为8个纹理图子区域，分别存储同步的8个纹理图的像素数据，每个纹理图的拍摄角度不同，也即视角不同。拼接图像的下半部分为深度图区域，划分为8个深度图子区域，分别存储上述8个纹理图的对应的深度图。其中，视角N的纹理图与视角N的深度图是像素点一一对应的，将所述拼接图像压缩后传输到终端进行解码和DIBR，从而可以在用户互动的视点上插值出图像。
发明人经研究发现，对于每一个纹理图，都有一个相同分辨率的深度图与其对应，从而整体拼接图像的分辨率是纹理图集合的两倍，由于终端(如移动终端)的视频解码分辨率一般是有限的，因此上述自由视点视频数据的表达方法只能通过降低纹理图的分辨率来实现，从而导致用户在终端侧感受到的重建图像的清晰度下降。
针对上述问题，本说明书实施例中，一方面，在整体拼接图像解码分辨率的限制下，设置组成拼接图像中的第一深度图的分辨率小于拼接图像中对应纹理图的分辨率，因此可以传输更高清晰度的纹理图，进而通过对所述第一深度图进行升采样，得到第二深度图，并基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图进行自由视点视频重建，从而可以得到更高清晰度的自由视点图像。
为使本领域技术人员对本说明书实施例的方案、原理和优点更为明显易懂，以下结合附图对本说明书具体实施例进行详细介绍。
参照图10所示的自由视点视频重建方法的流程图，具体可以包括如下步骤：
S101，获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率。
如图11所示的本说明书实施例中一种拼接图像的结构示意图，其中包括同步的视角1纹理图至视角16纹理图以及视角1深度图至视角16深度图，其中，拼接图像中视角1深度图至视角16深度图的分辨率为视角1纹理图至视角16纹理图的分辨率的25％。
在具体实施中，为提高视频传输效率，所述纹理图和所述第一深度图拼接所得到的拼接图像可以为矩形。
在具体实施中，结合参照图1，可以由采集系统11或服务器12等对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。例如，可以进行1/2降采样，1/4降采样。
需要说明的是，以上仅为示例性说明。本说明书实施例中并不限定拼接图像的具体拼接格式，也不限定所述第一深度图与所述纹理图的分辨率的具体比例关系。可以根据终端视频解码分辨率、纹理图的数量及分辨率等具体设定。
S102，对所述拼接图像的纹理图和第一深度图进行分离。
在具体实施中，可以基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。如前实施例所述，可以通过自由视点视频的头文件中存储的元数据获取所述拼接图像的拼接规则。
S103，基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图。
其中，通过步骤S103得到的第二深度图的分辨率可以与对应纹理图的分辨率相同，也可以不同。
S104，基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
对于步骤S101，以下通过两种降采样的具体示例进行详细描述：
一种是，对所述原始深度图中的像素进行抽点处理，得到所述第一深度图。例如可 以对所述原始深度图中的像素点每隔一个像素点抽取一个像素点，得到所述第一深度图，得到的所述第一深度图的分辨率为所述原始深度图的50％。
另一种是，对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
在具体实施中，对于步骤S103可以有多种方式对第一深度图进行升采样，得到第二深度图，可以基于所述第二深度图中与所述第一深度图中的像素是否存在对应关系而分不同情况，以下通过一些具体示例进行说明。
方式一示例，对经过1/4降采样的第一深度图进行升采样处理，得到与所述纹理图分辨率相同的第二深度图，基于不同的行和列，具体可以采取如下步骤：
(1)获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值。
(2)对于所述第二深度图中偶数行奇数列的像素的深度值，可以确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定。
具体地，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系，共有三种情况：
a1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值，即：
a2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
a3.否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
(3)对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
b1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝 对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b3.否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
上述步骤(2)中的a1至a3三种情况用公式可以表示为：
若abs(pix_C-pix_R)<abs(pix_C-pix_L)/THR，则选取Dep_R；
若abs(pix_C-pix_L)<abs(pix_C-pix_R)/THR，则选取Dep_L；
否则，对于其他情况，选取Max(Dep_R，Dep_L)。
上述步骤(3)中b1至b3三种情况用公式可以表示为：
若abs(pix_C-pix_D)<abs(pix_C-pix_U)/THR，则采用Dep_D；
若abs(pix_C-pix_U)<abs(pix_C-pix_D)/THR，则选取Dep_U；
否则，对于其他情况，选取Max(Dep_D，Dep_U)。
在上述公式中，pix_C为第二深度图中深度值对应位置的纹理图中中间像素的亮度通道值(Y值)，pix_L为pix_C的左侧像素的亮度通道值，pix_R为pix_C的右侧像素的亮度通道值，pix_U为pix_C的上方像素的亮度通道值，pix_D下方像素的亮度通道值，Dep_R为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_L为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_D为第二深度图中深度值对应位置的纹理图中中间像素的下方像素对应的深度值，Dep_U为第二深度图中深度值对应位置的纹理图中中间像素的上方像素对应的深度值。abs表示绝对值，THR为可设定的阈值，在本说明书一实施例中，THR设置为2。
方式二示例：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
其中，对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
具体的滤波方法可以有多种，以下给出两种具体实施例。
具体实施例一，最近邻滤波法
具体而言，对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，可以将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点，并将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
具体实施例二，加权滤波法
具体而言，可以将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
以上示出了一些可以对所述第一深度图进行升采样，得到第二深度图的方法，可以理解的是，以上仅为示例说明，本说明书实施例中并不限定具体的升采样方法。并且，对于任一视频帧中的第一深度图进行升采样的方法，可以与将原始深度图进行降采样得到第一深度图的方法相应，也可以没有对应关系。此外，升采样的比例与降采样的比例可以相同，也可以不同。
下面接着就步骤S104给出一些具体示例。
在具体实施中，为了在保证图像重建质量的前提下，节约数据处理资源，提高图像重建效率，可以仅选取所述拼接图像中的部分纹理图和对应视角的第二深度图作为目标纹理图和目标深度图，用于虚拟视点图像的重建，具体而言：
可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图。之后，可以对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
在具体实施中，可以根据用户交互行为，或者根据预先设置确定所述虚拟视点的位置信息。若是基于用户交互行为确定，则可以通过获取用户交互操作对应的轨迹数据确定相应交互时刻的虚拟视点位置。在本说明书一些实施例中，也可以在服务端(如服务器或云端)预先设定相应视频帧对应的虚拟视点的位置信息，并在所述自由视点视频的头文件中传输所设定的虚拟视点的位置信息。
在具体实施中，可以基于虚拟视点位置以及所述拼接图像对应的参数数据，确定其中每个纹理图及对应视角的深度图与所述虚拟视点位置的空间位置关系，为节约数据处理资源，可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
例如，可以选取离所述虚拟视点位置最近的2至N个视点对应的纹理图和深度图。其中，N为所述拼接图像中纹理图的数量，也即纹理图对应的采集设备的数量。在具体实施中，数量关系值可以为固定的，也可以为变化的。
参照图12所示的组合渲染方法的流程图，在本说明书一些实施例中，具体可以包括如下步骤：
S121，将选择的拼接图像中目标深度图分别进行前向映射，映射至所述虚拟位置上。
S122，对前向映射后的目标深度图分别进行后处理。
在具体实施中，后处理方法可以有多种，在本说明书一些实施例中，可以采用如下 其中至少一种方法对目标深度图进行后处理：
1)对前向映射后的目标深度图分别进行前景边缘保护处理；
2)对前向映射后的目标深度图分别进行像素级滤波处理。
S123，将选择的所述拼接图像中目标纹理图分别进行反向映射。
S124，将反向映射后所生成的各虚拟纹理图进行融合，得到融合纹理图。
通过上述步骤S121至步骤S124，可以得到重建图像。
在具体实施中，还可以对融合纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。通过空洞填补，可以提高重建图像的质量。
本说明书实施例还提供了相应的自由视点视频播放处理方法，参照图13，具体可以包括如下步骤：
S131，获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图。
在具体实施中，通过获取自由视点视频，并对所述自由视点视频进行解码处理，可以得到所述多个帧时刻的拼接图像和所述拼接图像的参数数据。
其中，所述自由视点视频，具体形式可以是前述实施例示例的多角度自由视角视频，如6DoF视频。
通过下载自由视点视频流或者获取存储的自由视点视频数据文件，可以获取视频帧序列，每个视频帧可以包括同步的多个视角的纹理图和对应视角的第一深度图所形成的拼接图像，拼接图像结构如图9和图11所示。
自由视点视频数据文件中除了包含拼接图像外，还可以包括描述所述拼接图像的元数据。在具体实施中，可以从所述元数据中获取所述拼接图像的参数数据，例如可以获取所述拼接图像的摄像机参数、所述拼接图像的拼接规则、所述拼接图像的分辨率信息等其中一种或多种信息。
在具体实施中，所述拼接图像的参数信息可以和所述拼接图像组合传输，例如，可以存储于视频文件头中。本说明书实施例并不限定所述拼接图像的具体格式，也不限定所述拼接图像的参数信息的具体类型和存储位置，能够基于所述虚拟视点视频得到相应虚拟视点位置的重建图像即可。
S132，基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图。
在具体实施中，可以基于所述拼接图像的参数数据，获得所述纹理图的分辨率和所述第一深度图的分辨率，若通过匹配，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，则可以基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图，具体升采样的实现方式可以参见前述实施例，此处 不再详细例举。
S133，响应于用户交互行为，确定虚拟视点的位置信息。
在具体实施中，若自由视点视频采用6DoF的表达方式，基于用户交互的虚拟视点位置信息可以表示为坐标
Figure PCTCN2021103932-appb-000003
的形式，所述虚拟视点位置信息可以在预设的一种或多种用户交互方式下产生。例如，可以为用户操作输入的坐标，如手动点击或手势路径，或者语音输入确定的虚拟位置，或者可以为用户提供自定义的虚拟视点(例如：用户可以输入场景中的位置或视角，如篮下、场边、裁判视角、教练视角等等)。或者基于特定对象(例如球场上的球员、图像中的演员或嘉宾、主持人等，可以在用户点击相应对象后切换至所述对象的视角)。可以理解的是，本发明实施例中并不限定具体的用户交互行为方式，只要能获取到基于用户交互的虚拟视点位置信息即可。
作为一可选示例，响应于用户的手势交互操作，可以确定对应的虚拟视点路径信息。就手势交互而言，可以基于手势交互的不同形态规划相应的虚拟视点路径，从而基于用户具体的手势操作，即可确定相应的虚拟视点的路径信息，例如，可以预先规划用户手指相对于触摸屏的左右滑动，对应视角的左右移动；用户手指相对于触摸屏的上下滑动，对应视点位置的上下移动；手指的缩放操作，对应于视点位置的拉近和拉远。
可以理解的是，以上基于手势形态规划的虚拟视点路径，仅为示例性说明，可以预先定义基于其他手势形态的虚拟视点路径，或者也可以让用户自定义设置，从而可以增强用户体验。
S134，基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
在具体实施中，可以根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图，并对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
具体选取方法可以参照前述实施例介绍，此处不再详细。
需要说明的是，基于虚拟视点路径信息，可以按照时序选取一帧或连续多帧拼接图像中的部分纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图，用于重建对应虚拟视点的图像。
在具体实施中，还可以对重建得到的自由视点图像做进一步的处理。以下给出一示例性扩展方式。
为丰富用户视觉体验，可以在重建得到的自由视点图像中植入增强现实(Augmented Reality，AR)特效。参照图14，在本说明一些实施例中，采用如下方式实现AR特效的植入：
S141，获取所述虚拟视点的图像中的虚拟渲染目标对象。
在具体实施中，可以基于某些指示信息确定自由视点视频的图像中的某些对象作为虚拟渲染目标对象，所述指示信息可以基于用户交互生成，也可以基于某些预设触发条件或第三方指令得到。在本说明书一可选实施例中，响应于特效生成交互控制指令，可以获取所述虚拟视点的图像中的虚拟渲染目标对象。
S142，获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所植入的AR特效以虚拟信息图像的形式呈现。所述虚拟信息图像可以基于所述目标对象的增强现实特效输入数据生成。在确定虚拟渲染目标对象后，可以获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所述虚拟渲染目标对象对应的虚拟信息图像可以预先生成，也可以响应于特效生成指令即时生成。
在具体实施中，可以基于三维标定得到的所述虚拟渲染目标对象在重建得到的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像，从而可以使得到的虚拟信息图像与所述虚拟渲染目标对象在三维空间中的位置更加匹配，进而所展示的虚拟信息图像更加符合三维空间中的真实状态，因而所展示的合成图像更加真实生动，增强用户的视觉体验。
在具体实施中，可以基于虚拟渲染目标对象的增强现实特效输入数据，按照预设的特效生成方式，生成所述目标对象对应的虚拟信息图像。
在具体实施中，可以采用多种特效生成方式。
例如，可以将所述目标对象的增强现实特效输入数据输入至预设的三维模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像；
又如，可以将所述虚拟渲染目标对象的增强现实特效输入数据，输入至预设的机器学习模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像。
S143，将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
在具体实施中，可以有多种方式将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示，以下给出两种具体可实现示例：
示例一：将所述虚拟信息图像与对应的图像进行融合处理，得到融合图像，对所述融合图像进行展示；
示例二：将所述虚拟信息图像叠加在对应的图像之上，得到叠加合成图像，对所述叠加合成图像进行展示。
在具体实施中，可以将得到的合成图像直接展示，也可以将得到的合成图像插入待 播放的视频流进行播放展示。例如，可以将所述融合图像插入待播放视频流进行播放展示。
自由视点视频中可以包括特效展示标识，在具体实施中，可以基于特效展示标识，确定所述虚拟信息图像在所述虚拟视点的图像中的叠加位置，之后，可以将所述虚拟信息图像在所确定的叠加位置进行叠加展示。
为使本领域技术人员更好地理解和实施，以下通过一交互终端的图像展示过程进行详细说明。参照图15至图19所示的交互终端的视频播放画面示意图，交互终端T1实时地进行视频的播放。其中，参照图15，展示视频帧P1，接下来，交互终端所展示的视频帧P2中包含特效展示标识I1等多个特效展示标识，视频帧P2中通过指向目标对象的倒三角符号表示，如图16所示。可以理解的是，也可以采用其他的方式展示所述特效展示标识。终端用户触摸点击所述特效展示标识I1，则系统自动获取对应于所述特效展示标识I1的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3中，如图17所示，以运动员Q1站立的场地位置为中心，渲染出一个立体圆环R1。接下来，如图18及图19所示，终端用户触摸点击视频帧P3中的特效展示标识I2，系统自动获取对应于所述特效展示标识I2的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3上，得到叠加图像，即视频帧P4，其中展示了命中率信息展示板M0。命中率信息展示板M0上展示了目标对象即运动员Q2的号位、姓名及命中率信息。
如图15至图19所示，终端用户可以继续点击视频帧中展示的其他特效展示标识，观看展示各特效展示标识相应的AR特效的视频。
可以理解的是，可以通过不同类型的特效展示标识区分不同类型的植入特效。
本说明书还提供了能够实现上述方法的自由视点视频重建装置，如图20所示，自由视点视频重建装置200可以包括：获取单元201、分离单元202、升采样单元203和重建单元204，其中：
所述获取单元201，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
分离单元202，适于对所述拼接图像的纹理图和第一深度图进行分离；
升采样单元203，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
重建单元204，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
采用上述自由视点视频重建装置200，可以提高重建得到的自由视点图像的清晰度。
在本说明书一些实施例中，所述升采样单元203，适于获取所述第一深度图中像素 的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
在本说明书另一些实施例中，所述升采样单元203，适于获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
本说明书实施例中自由视点视频重建装置涉及的名词解释、原理、具体实现和有益效果可以参见本说明书实施例中的自由视点视频重建方法，在此不再赘述。
本说明书实施例还提供了相应的自由视点视频播放处理装置，如图21所示，其中，自由视点视频播放处理装置210可以包括：拼接图像获取单元211、第二深度图生成单元212、虚拟视点位置确定单元213和图像重建单元214，其中：
所述拼接图像获取单元211，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
所述第二深度图生成单元212，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
所述虚拟视点位置确定单元213，适于响应于用户交互行为，确定虚拟视点的位置信息；
所述图像重建单元214，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例中自由视点视频播放处理装置的具体实现可以参见前述自由视点视频播放处理方法，此处不再赘述。
在具体实施中，上述自由视点视频重建装置和自由视点视频播放处理装置可以采用软件形式实现，也可以采用硬件方式实现，或者采用软硬件结合的方式实现。
本说明书实施例还提供了一种终端设备，如图22所示的终端设备的结构示意图，终端设备220包括存储器221和处理器222，其中，所述存储器221上存储有可在所述处理器222上运行的计算机指令，其中，所述处理器222运行所述计算机指令时可以执行本说明书任一实施例所述的自由视点视频重建方法或自由视点视频播放处理方法的步 骤，具体步骤可以参见前述实施例介绍，此处不再赘述。
本说明书实施例还提供了另一种终端设备，如图23所示的终端设备的结构示意图，终端设备230可以包括：通信组件231、处理器232和显示组件233，其中：
所述通信组件231，适于获取多个帧时刻的拼接图像；
所述处理器232，适于执行本说明书任一实施例所述的自由视点视频重建方法的步骤，具体可以参见前述实施例步骤，此处不再赘述；
所述显示组件233，适于显示所述处理器得到的重建图像。
其中，所述通信组件231可以为网络传输接口，所述网络传输接口可以为有线通信接口，也可以为无线通信接口。
所述处理器232可以为单核处理器、多核处理器、图形处理器(Graphics Processing Unit，GPU)，或者CPU与GPU形成的处理器组、现场可编辑门阵列(Field-Programmable Gate Array，FPGA)芯片等其中至少一种，本说明书实施例并不对处理器的具体结构或型号等作任何限定。
所述显示组件233可以为显示屏、可投影眼镜、投影幕布、投影壁等其中至少一种。所述显示组件233可以为集成组件，也可以为可扩展的外接组件。
在本说明书实施例中，终端设备可以为手机等移动终端、平板电脑、个人电脑、电视机或者任意一种终端设备与外接显示装置的组合。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤，具体可以参见前述实施例介绍，此处不再赘述。
在具体实施中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。
虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (23)

  1. 一种自由视点视频重建方法，其中，包括：
    获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
    对所述拼接图像中的纹理图和第一深度图进行分离；
    基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
    基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
  2. 根据权利要求1所述的方法，其中，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
    获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
    对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
    对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
  3. 根据权利要求2所述的方法，其中，所述对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定，包括：
    若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
    若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
    否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
  4. 根据权利要求2所述的方法，其中，所述对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素 的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定，包括：
    若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
    若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
    否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
  5. 根据权利要求1所述的方法，其中，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
    获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；
    对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
  6. 根据权利要求5所述的方法，其中，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
    将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点；
    将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
  7. 根据权利要求5所述的方法，其中，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
    将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
  8. 根据权利要求1所述的方法，其中，所述拼接图像为矩形。
  9. 根据权利要求1所述的方法，其中，对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。
  10. 根据权利要求9所述的方法，其中，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图，包括以下至少一种：
    对所述原始深度图中的像素进行抽点处理，得到所述第一深度图；
    对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
  11. 根据权利要求1所述的方法，其中，所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
    根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图；
    对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
  12. 根据权利要求11所述的方法，其中，所述根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图，包括：
    根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
  13. 根据权利要求1所述的方法，其中，所述对所述拼接图像的纹理图和第一深度图进行分离，包括：
    基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。
  14. 一种自由视点视频播放处理方法，其中，包括：
    获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
    基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
    响应于用户交互行为，确定虚拟视点的位置信息；
    基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
  15. 根据权利要求14所述的方法，其中，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
    所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
    根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的 第二深度图，作为目标纹理图和目标深度图；
    对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
  16. 根据权利要求14或15所述的方法，其中，还包括：
    获取所述虚拟视点的图像中的虚拟渲染目标对象；
    获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
    将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
  17. 根据权利要求16所述的方法，其中，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
    根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
  18. 根据权利要求16所述的方法，其中，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
    响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
  19. 一种自由视点视频重建装置，其中，包括：
    获取单元，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
    分离单元，适于对所述拼接图像的纹理图和第一深度图进行分离；
    升采样单元，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
    重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
  20. 一种自由视点视频播放处理装置，其中，包括：
    拼接图像获取单元，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
    第二深度图生成单元，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
    虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
    图像重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
  21. 一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行权利要求1至13或权利要求14至18任一项所述方法的步骤。
  22. 一种终端设备，包括通信组件、处理器和显示组件，其中：
    所述通信组件，适于获取多个帧时刻的拼接图像；
    所述处理器，适于执行权利要求1至13或权利要求14至18任一项所述方法的步骤；
    所述显示组件，适于显示所述处理器得到的重建图像。
  23. 一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行权利要求1至13或权利要求14至18任一项所述方法的步骤。
PCT/CN2021/103932 2020-07-03 2021-07-01 自由视点视频重建方法及播放处理方法、设备及存储介质 Ceased WO2022002181A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010630754.0A CN113891060B (zh) 2020-07-03 2020-07-03 自由视点视频重建方法及播放处理方法、设备及存储介质
CN202010630754.0 2020-07-03

Publications (1)

Publication Number Publication Date
WO2022002181A1 true WO2022002181A1 (zh) 2022-01-06

Family

ID=79013096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/103932 Ceased WO2022002181A1 (zh) 2020-07-03 2021-07-01 自由视点视频重建方法及播放处理方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113891060B (zh)
WO (1) WO2022002181A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
CN114660097A (zh) * 2022-03-23 2022-06-24 成都智元汇信息技术股份有限公司 一种基于双源双视角的同步校正方法及系统
CN115396644A (zh) * 2022-07-21 2022-11-25 贝壳找房(北京)科技有限公司 基于多段外参数据的视频融合方法及装置
CN116091524A (zh) * 2023-04-07 2023-05-09 杭州电子科技大学 一种针对复杂背景中目标的检测与分割方法
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612613B (zh) * 2022-03-07 2022-11-29 北京拙河科技有限公司 动态光场重建方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028489A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
WO2013016225A1 (en) * 2011-07-22 2013-01-31 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
CN103916652A (zh) * 2013-01-09 2014-07-09 浙江大学 视差矢量生成方法及装置
CN106355552A (zh) * 2016-08-27 2017-01-25 天津大学 一种基于虚拟视点绘制质量的深度图上采样方法
US20170034501A1 (en) * 2015-07-31 2017-02-02 Hsni, Llc Virtual three dimensional video creation and management system and method
CN107509067A (zh) * 2016-12-28 2017-12-22 浙江工业大学 一种高速高质量的自由视点图像合成方法
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置
CN109478348A (zh) * 2016-07-29 2019-03-15 索尼公司 图像处理装置和图像处理方法
CN110415169A (zh) * 2018-04-28 2019-11-05 深圳先进技术研究院 一种深度图超分辨率重建方法、系统及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5858381B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
EP2730090A4 (en) * 2011-07-06 2014-12-17 Ericsson Telefon Ab L M INCREASE IN THE RESOLUTION OF A MAP OF DEPTH OR DISPARITIES
CN108259917A (zh) * 2016-12-28 2018-07-06 中国移动通信集团山东有限公司 基于深度时域下采样的三维视频编解码方法及系统
CN110012310B (zh) * 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060028489A1 (en) * 2004-08-03 2006-02-09 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
WO2013016225A1 (en) * 2011-07-22 2013-01-31 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
CN103916652A (zh) * 2013-01-09 2014-07-09 浙江大学 视差矢量生成方法及装置
CN109361913A (zh) * 2015-05-18 2019-02-19 韩国电子通信研究院 用于对于头戴式显示器提供三维图像的方法和装置
US20170034501A1 (en) * 2015-07-31 2017-02-02 Hsni, Llc Virtual three dimensional video creation and management system and method
CN109478348A (zh) * 2016-07-29 2019-03-15 索尼公司 图像处理装置和图像处理方法
CN106355552A (zh) * 2016-08-27 2017-01-25 天津大学 一种基于虚拟视点绘制质量的深度图上采样方法
CN107509067A (zh) * 2016-12-28 2017-12-22 浙江工业大学 一种高速高质量的自由视点图像合成方法
CN110415169A (zh) * 2018-04-28 2019-11-05 深圳先进技术研究院 一种深度图超分辨率重建方法、系统及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
CN114466174B (zh) * 2022-01-21 2023-04-28 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
US12615392B2 (en) 2022-01-21 2026-04-28 Southern University Of Science And Technology Multiview 3D image encoding method, apparatus, system and storage medium
CN114660097A (zh) * 2022-03-23 2022-06-24 成都智元汇信息技术股份有限公司 一种基于双源双视角的同步校正方法及系统
CN115396644A (zh) * 2022-07-21 2022-11-25 贝壳找房(北京)科技有限公司 基于多段外参数据的视频融合方法及装置
CN115396644B (zh) * 2022-07-21 2023-09-15 贝壳找房(北京)科技有限公司 基于多段外参数据的视频融合方法及装置
CN116091524A (zh) * 2023-04-07 2023-05-09 杭州电子科技大学 一种针对复杂背景中目标的检测与分割方法
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质
CN117197319B (zh) * 2023-11-07 2024-03-22 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113891060B (zh) 2024-06-07
CN113891060A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
US11037365B2 (en) Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
CN113963094B (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
CN111669567B (zh) 多角度自由视角视频数据生成方法及装置、介质、服务器
CN103548333A (zh) 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质
CN111669518A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN111669561B (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN113296721A (zh) 显示方法、显示装置和多屏幕联动系统
WO2022022548A1 (zh) 自由视点视频重建及播放处理方法、设备及存储介质
CN111669570B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669568B (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
CN111669603B (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
CN111669604A (zh) 一种采集设备设置方法及装置、终端、采集系统、设备
CN111669571B (zh) 多角度自由视角图像数据生成方法及装置、介质、设备
WO2024174050A1 (zh) 视频通信方法和装置
CN121600147A (zh) 图像处理设备、图像处理方法、存储介质和程序产品
HK40036843A (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
HK40036843B (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
HK40036443B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
HK40036444B (zh) 多角度自由视角交互方法及装置、介质、终端、设备
HK40036443A (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
HK40036445A (zh) 多角度自由视角图像数据生成方法及装置、介质、设备
HK40036444A (zh) 多角度自由视角交互方法及装置、介质、终端、设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832792

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21832792

Country of ref document: EP

Kind code of ref document: A1