WO2013075611A1 - 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置 - Google Patents

一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置 Download PDF

Info

Publication number
WO2013075611A1
WO2013075611A1 PCT/CN2012/084890 CN2012084890W WO2013075611A1 WO 2013075611 A1 WO2013075611 A1 WO 2013075611A1 CN 2012084890 W CN2012084890 W CN 2012084890W WO 2013075611 A1 WO2013075611 A1 WO 2013075611A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
depth image
value
filtered
pixel value
Prior art date
Application number
PCT/CN2012/084890
Other languages
English (en)
French (fr)
Inventor
傅佳莉
耶格尔·费边
韦恩·麦蒂尔斯
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2013075611A1 publication Critical patent/WO2013075611A1/zh
Priority to US14/285,955 priority Critical patent/US9594974B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Definitions

  • the present invention relates to the field of video coding and decoding technologies, and in particular, to a depth image filtering method and a method and device for acquiring a depth image filtering threshold.
  • the 3D video codec technology introduces a depth map, which is different from video images and is generally not used for display, but is used for virtual view generation.
  • the depth map reconstructed after decoding needs to be filtered to eliminate the block effect.
  • the prior art uses a bilateral filter to filter the depth map.
  • the bilateral filter is proposed based on the Gauss filtering method. It is mainly used in Gauss filtering.
  • the weighting value of Gauss is directly convoluted with the image pixel value for image filtering.
  • the filtering weight coefficient is optimized into Gauss function and image brightness information.
  • the product, the optimized weight coefficient is then convoluted with the image pixel values, which can be used to maintain sharp edges, but the rest of the image is smoother, resulting in blurred images. Summary of the invention
  • Embodiments of the present invention provide a depth image filtering method and a method for acquiring a depth image filtering threshold And the device can effectively remove the ringing effect at the edge of the depth image, reduce the discontinuity of the depth image, and thereby improve the quality of the video image.
  • An embodiment of the present invention provides a depth image filtering method, including: determining, according to each pixel point in an adjacent region of a depth image pixel to be filtered, whether the pixel meets a preset condition; determining that the preset condition is met a collection of pixels;
  • An embodiment of the present invention further provides a method for acquiring a depth image filtering threshold, including: receiving data from a video encoding end;
  • the depth image filtering threshold is used to set a preset condition to determine an adjacent region of a depth image pixel to be filtered by the preset condition a set of pixel points in the pixel value of the pixel in the set to determine a pixel value of the depth image pixel point to be filtered.
  • the embodiment of the present invention further provides a depth image filtering apparatus, including: a first determining unit, configured to determine, according to each pixel point in an adjacent region of a depth image pixel to be processed, whether the pixel meets a preset condition a first determining unit, configured to determine a set of the pixel points that meet the preset condition; a first pixel value determining unit, configured to determine, according to a pixel value of a pixel point in the set, the to-be-filtered process The pixel value of the depth image pixel.
  • the embodiment of the invention further provides a video decoding end, including: a receiving unit, configured to receive data from a video encoding end, and a filtering threshold acquiring unit, configured to acquire a depth image filtering threshold from the data received from the video encoding end;
  • the depth image filter coefficient is configured to set a preset condition to determine a set of pixel points in a neighboring region of the depth image pixel point to be filtered by the preset condition, where the pixel value of the pixel point in the set is used Determining a pixel value of the depth image pixel to be filtered.
  • the embodiment of the present invention determines, by using each pixel point in the adjacent region of the depth image pixel to be processed, whether the pixel meets the preset condition, and determines a set of pixel points that meet the preset condition, according to the The pixel value of the pixel in the set determines the pixel value of the pixel of the depth image to be filtered, which can effectively remove the ringing effect of the edge of the depth image, reduce the discontinuity of the depth image, and thereby improve the quality of the video image.
  • FIG. 1 is a flowchart of a depth image filtering method according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of another depth image filtering method according to Embodiment 1 of the present invention
  • FIG. 3 is a flowchart of another depth image filtering method according to Embodiment 1 of the present invention
  • a flow chart of another depth image filtering method is provided.
  • FIG. 5 is a flowchart of a method for acquiring a depth image filtering threshold according to Embodiment 2 of the present invention
  • FIG. 6 is a schematic structural diagram of a depth image filtering apparatus according to Embodiment 3 of the present invention
  • FIG. 7 is a schematic structural diagram of a first pixel value determining unit according to Embodiment 3 of the present invention
  • FIG. 8 is another schematic diagram of Embodiment 3 of the present invention.
  • FIG. 1 is a flowchart of another depth image filtering method according to Embodiment 1 of the present invention
  • FIG. 3 is a flowchart of another depth image filtering method according to Embodiment 1 of the present invention
  • FIG. 9 is a schematic structural diagram of another first pixel value determining unit according to Embodiment 3 of the present invention.
  • FIG. 10 is another depth image filtering device according to Embodiment 3 of the present invention.
  • FIG. 11 is a schematic structural diagram of another depth image filtering apparatus according to Embodiment 3 of the present invention;
  • FIG. 12 is a schematic structural diagram of a video decoding end according to Embodiment 3 of the present invention;
  • FIG. 13 is a schematic structural diagram of another video decoding end according to Embodiment 3 of the present invention.
  • FIG. 14 is a schematic structural diagram of a second pixel value determining unit according to Embodiment 3 of the present invention
  • FIG. 15 is a schematic structural diagram of another second pixel value determining unit according to Embodiment 3 of the present invention
  • Step S101 Determine, according to each pixel in an adjacent region of a depth image pixel to be filtered, whether the pixel is satisfied. a preset condition; step S103. determining a set of pixel points that satisfy the preset condition; Step S105. Determine, according to the pixel value of the pixel point in the set, a pixel value of the depth image pixel point to be filtered.
  • the step S105 may specifically include: Step S105'. Determine a median value of a pixel value of a pixel point in the set, and use the median value as a pixel value of the depth image pixel point to be filtered.
  • the "median value” referred to in the embodiment of the present invention may be the value or average value of the elements in the middle of the set, and may be the average value of the elements after removing the maximum value and the minimum value in the set, and the like.
  • the calculation of the median can be in many forms.
  • the first filtering algorithm may be used, and the complete process is as shown in FIG. 2, that is, the step S105' may specifically include: Step S105-1. Sort pixel values of the pixel points in the set;
  • Step S105-2 determining that the number of pixel points in the set is an even number or an odd number
  • Step S105-3 When the number of pixels in the set is an odd number, the pixel value in the middle after sorting is used as the pixel value of the pixel of the depth image to be filtered;
  • Step S105-4 When the number of the pixel points in the set is an even number, the pixel values in the middle two after sorting are averaged, and the average value is used as the depth image pixel to be filtered. The pixel value of the point.
  • step S105' may specifically include: Step S105-5. Removing pixel points with the largest and smallest pixel values in the set;
  • Step S105-6 Determine an average value of pixel values of the remaining pixel points in the set, and use the average value as the pixel value of the depth image pixel point to be filtered.
  • a third filtering algorithm may be used, and the complete process is as shown in FIG. 4, that is, step S105 may specifically include: Step S105-7. Determine an average value of pixel values of pixel points in the set; S105-8. Comparing the average value with the reconstructed pixel value of the depth image pixel to be filtered; step S105-9.
  • Step S105-10 When the average value is greater than the original of the depth image pixel to be filtered And a sum of a reconstructed pixel value of the depth image pixel to be filtered and a pixel offset value as a pixel value of the depth image pixel to be filtered; step S105-10.
  • the original pixel value of the depth image pixel to be filtered is smaller than the pixel value of the depth image pixel to be filtered, the difference between the pixel offset value and the pixel offset value is used as the depth image pixel to be filtered.
  • Pixel value; Step S105-1 1 When the average value is equal to the original pixel value of the depth image pixel to be filtered, the average value is used as the depth image to be filtered Pixel values of the pixel points.
  • the method may further include the following steps:
  • Adjacent areas may be any shape such as a row, or a column, or a rectangle, or a square.
  • the foregoing preset condition may include at least one of the following conditions: a. a spatial distance between the depth image pixel point to be filtered and a pixel point in the adjacent area is less than or equal to a first filtering threshold; or b. The difference between the depth image pixel point to be filtered and the depth image pixel value of the pixel in the adjacent area is less than or equal to a second filtering threshold; or
  • the difference between the pixel value of the video image corresponding to the depth image pixel position to be filtered and the video image pixel value of the pixel in the adjacent region is less than or equal to a third filtering threshold.
  • the above predetermined condition may be that one of a, b, and c is satisfied, or a and b are simultaneously established, or a and c are simultaneously established, or b and c are simultaneously established, or a, b, and c are simultaneously established.
  • the difference between the pixel values may be the difference of the component method of any image format.
  • the difference may be the value of each component (Y or U or V), or may be any component value.
  • the image format can be YUV, GRB and other formats.
  • the first filtering threshold may be recorded as, and the second filtering threshold may be recorded as, and the third filtering threshold may be recorded as ⁇ .
  • the depth image pixel to be filtered for reconstructing the depth image is p
  • the adjacent region of p is 5x5 image block
  • there are 5 ⁇ 5 25 adjacent pixels in the adjacent region
  • For each pixel calculate the difference between the three dimensions of the spatial domain, the depth image domain, and the video image domain, respectively, between the depth image pixel points and the depth image pixels to be filtered.
  • r, d may be respectively associated with the first filtering threshold ⁇ , the second filtering threshold, and the third filtering threshold Compare.
  • the above conditions &, b and C can be expressed as
  • satisfies the preset condition comprises a set of pixels 3 ⁇ 4, 3 ⁇ 4, 2, 8, 3 ⁇ 41 (the pixel values of 11, 25, 2, 8, 33), the 3 ⁇ 4, 3 ⁇ 4 w 3 ⁇ 41 of The pixel values are sorted, and the pixel value in the middle is 11, and then 11 is taken as the pixel value of the depth image pixel to be filtered.
  • the mathematical average is taken as an example, and of course, it may be an average of other forms, such as a geometric mean value.
  • a set of pixel points satisfying the preset condition is determined;
  • the maximum and minimum pixel points of the value are removed, and the remaining pixels in the set are averaged, and the positive integer closest to the average is taken as the pixel value of the depth image pixel to be filtered.
  • the preset condition is satisfied set of pixels comprising 3 ⁇ 4, 3 ⁇ 4, 2, 8, 3 ⁇ 41 (the pixel values of 11, 25, 2, 8, 33), the 3 ⁇ 4, the pixel values of 3 ⁇ 4 w 3 ⁇ 41
  • the maximum and minimum pixel points 1 and are removed.
  • the pixel value of the point is
  • a set of pixel points satisfying the preset condition is determined;
  • the pixel values of the pixels are averaged, and the average value is compared with the reconstructed pixel value of the current filtered pixel point: when the reconstructed pixel value is greater than or less than the average value, the reconstructed pixel value is subtracted or a pixel offset is added a value, as a pixel value of a depth image pixel to be filtered; when the reconstructed pixel value is equal to the average value, the average value is directly used as a pixel value of the depth image pixel to be filtered; wherein the pixel offset value may be an average
  • the nearest positive integer divided by the quotient of the number of pixels in the set may be obtained by other methods.
  • the reconstructed pixels of the current reconstructed pixel values 18, then 3 ⁇ 4, 3 ⁇ 4 q 13 ⁇ 4 q 21 pixel value averaging L (l l + 25 + 2 + 8 + 33) /5+0.5 " 16
  • the reconstructed pixel value is compared with the average value. Since the reconstructed pixel value 18 is greater than the average value 16, the reconstructed pixel value is subtracted from the pixel offset value to obtain the pixel value of the depth image pixel to be filtered, that is, the final filtered pixel.
  • the reconstructed pixel value of the current pixel is 16
  • the reconstructed pixel value is averaged.
  • the average value is taken as the pixel value of the depth image pixel point to be filtered.
  • the method of an embodiment of the present invention may be performed by a processor (such as a central processing unit CPU) or an application specific integrated circuit (ASIC) or the like.
  • the method of the embodiment of the present invention may be implemented at a video encoding end or a decoding end.
  • each pixel in the adjacent region of the depth image pixel to be processed by the filtering process determines whether the pixel meets a preset condition; determining a set of pixel points that satisfy the preset condition; The pixel value of the pixel in the set determines the pixel value of the pixel of the depth image to be filtered, which can effectively remove the ringing effect of the edge of the depth image, reduce the discontinuity of the depth image, and thereby improve the quality of the video image.
  • the embodiment of the present invention details how the first filtering threshold, the second filtering threshold, and the third filtering threshold are obtained.
  • the first filter threshold ⁇ can take an empirical value of 4.
  • the second filtering threshold may be obtained by solving a video image filter coefficient such that an error between the original video image and the reconstructed video image is minimized.
  • the error here can be a Mean Squared Error (MSE) or other type of error.
  • the third filtering threshold may be obtained by solving a depth image filter coefficient such that the error between the original depth map and the reconstructed depth map is minimized.
  • the error here can be a mean square error or other type
  • the solution ⁇ is taken as an example:
  • Z k be the filtered pixel value of the video image, which is the pixel value of the original video image
  • the mean square error is used as the error calculation method.
  • Filter X to get:
  • An embodiment of the present invention provides a flowchart of a method for acquiring a depth image filtering threshold, where the method is applied to a decoding end. As shown in FIG. 5, the method includes:
  • the depth image filtering threshold is used to set a preset condition to determine a phase of a depth image pixel to be filtered to satisfy the preset condition.
  • a pixel in the neighboring region the depth map to be filtered is obtained from a pixel in a neighboring region of the depth image pixel to be processed by the predetermined condition.
  • the method of the embodiment of the present invention may further include:
  • Step S505. Determine, for each pixel in the adjacent area, whether the pixel point meets a preset condition; Step S507. Determine a set of pixel points that satisfy the preset condition; Step S505. According to the set The pixel value of the pixel is determined, and the pixel value of the pixel of the depth image to be filtered is determined.
  • the step S505 may specifically include: Step S505'. Determine a median value of a pixel value of the pixel in the set, and use the median value as a pixel value of the pixel of the depth image to be filtered.
  • the "median value” referred to in the embodiment of the present invention may be the value or average value of the elements in the middle of the set, which may be the average value of the elements after removing the maximum value and the minimum value in the set, and the like.
  • the calculation of the median can be in many forms.
  • the depth image pixel to be processed by the filtering may be processed by using the first filtering algorithm, the second filtering algorithm, or the third filtering algorithm.
  • the method may further include the following steps:
  • the adjacent regions may be any shape such as a row, or a column, or a rectangle, or a square.
  • the foregoing preset condition may include at least one of the following conditions: a. a space of the depth image pixel to be filtered and a pixel point in the adjacent area The distance is less than or equal to the first filtering threshold; or b. the difference between the depth image pixel point to be filtered and the depth image pixel value of the pixel in the adjacent area is less than or equal to a second filtering threshold; or
  • the difference between the pixel value of the video image corresponding to the depth image pixel position to be filtered and the video image pixel value of the pixel in the adjacent region is less than or equal to a third filtering threshold.
  • the above predetermined condition may be that one of a, b, and c is satisfied, or a and b are simultaneously established, or a and c are simultaneously established, or b and c are simultaneously established, or a, b, and c are simultaneously established.
  • the difference between the pixel values may be the difference of the component method of any image format. For example, in the YUV format, the difference may be the value of each component (Y or U or V), or may be any component value. The difference between the mean value and the like.
  • the image format can be YUV, GRB, etc.
  • An embodiment of the present invention provides a data structure of a data packet, including a depth image filtering threshold, including at least one of a first filtering threshold, or a second filtering threshold, or a third filtering threshold, where the depth image filtering threshold is used for setting Determining a condition to determine a pixel point in an adjacent region of the depth image pixel to be filtered to satisfy the condition, and determining, according to a pixel value of the pixel in the set, the depth image pixel to be filtered Pixel values.
  • the first filtering threshold, the second filtering threshold, and the third filtering threshold may be acquired by the method of the above embodiment.
  • the data structure of the embodiment encapsulates the depth image filtering threshold, and is transmitted from the encoding end to the decoding end, and the decoding end parses the depth image filtering threshold from the data frame, and uses the depth image filtering threshold to set a preset condition to determine that the Determining the pixel value in the adjacent region of the pixel of the depth image pixel to be filtered, determining the pixel value of the pixel of the depth image to be filtered according to the pixel value of the pixel in the set, which can effectively remove the depth
  • the ringing effect at the edge of the image reduces the discontinuity of the depth image, thereby improving the quality of the video image.
  • FIG. 6 is a schematic structural diagram of a depth image filtering apparatus 600 according to Embodiment 3 of the present invention.
  • the depth image filtering apparatus 600 includes: a first determining unit 601, configured to determine, according to each pixel in a neighboring region of a depth image pixel to be processed, whether the pixel meets a preset condition. a first determining unit 603, configured to determine the set of the pixel points that meet the preset condition; the first pixel value determining unit 605, configured to determine the to-be-set according to a pixel value of the pixel point in the set The pixel value of the filtered processed depth image pixel.
  • the first pixel value determining unit 605 may be specifically configured to determine a median value of a pixel value of the pixel point in the set, and use the median value as a pixel value of the depth image pixel point to be filtered.
  • a median value of a pixel value of the pixel point in the set may be specifically configured to determine a median value of a pixel value of the pixel point in the set, and use the median value as a pixel value of the depth image pixel point to be filtered.
  • the first pixel value determining unit 605 may include: a first sorting unit 605-1, configured to sort pixel values of the pixel points in the set; the first calculating unit 605- 2, when the number of pixels in the set is an odd number, the pixel value in the middle after sorting is used as the pixel value of the pixel of the depth image to be filtered; second calculating unit 605-3 And, when the number of the pixel points in the set is an even number, averaging the pixel values in the middle two after sorting, and using the average value as the pixel point of the depth image to be filtered. Pixel values.
  • a first sorting unit 605-1 configured to sort pixel values of the pixel points in the set
  • the first calculating unit 605- 2 when the number of pixels in the set is an odd number, the pixel value in the middle after sorting is used as the pixel value of the pixel of the depth image to be filtered
  • second calculating unit 605-3 when the number of the pixel points in the set is an even number
  • the first pixel value determining unit 605 may include: a first removing unit 605-4, configured to remove a maximum and a minimum pixel point of the pixel value in the set; and a third calculating unit 605-5, configured to determine an average of pixel values of the remaining pixel points in the set The value, which will be the pixel value of the depth image pixel point to be filtered.
  • a first removing unit 605-4 configured to remove a maximum and a minimum pixel point of the pixel value in the set
  • a third calculating unit 605-5 configured to determine an average of pixel values of the remaining pixel points in the set The value, which will be the pixel value of the depth image pixel point to be filtered.
  • the first pixel value determining unit 605 may include: a fourth calculating unit 605-6, configured to determine an average value of pixel values of the pixel points in the set; the first comparing unit 605 -7, configured to compare the average value with a reconstructed pixel value of the depth image pixel to be filtered; and a fifth calculating unit 605-8, configured to: when the average value is greater than the to-be-filtered process And a sum of the reconstructed pixel value of the depth image pixel to be filtered and the pixel offset value as a pixel value of the depth image pixel to be filtered; the sixth calculating unit 605-9, configured to: when the average value is smaller than the reconstructed pixel value of the depth image pixel to be filtered, subtract the pixel offset value from the reconstructed pixel value of the depth image pixel to be filtered.
  • the depth image filtering apparatus 600 may further include: a first adjacent area determining unit, configured to determine a phase of the depth image pixel point to be filtered and processed Neighboring area. As shown in FIG. 10, in addition to the unit in FIG. 6, the depth image filtering apparatus 600 may further include:
  • a first filter threshold set determining unit 1001 configured to determine a depth image filter coefficient set when an error between the original depth map and the reconstructed depth map is minimized
  • a second filtering threshold acquiring unit 1003 configured to the depth image
  • the depth image filter coefficients in the set of filter coefficients take a median or average value, and the median or average value is used as a second filter threshold.
  • the depth image filtering apparatus may further include:
  • a second filter threshold set determining unit 1101 configured to determine a video image filter coefficient set when an error between the original video image and the reconstructed video image is minimized
  • a third filtering threshold acquiring unit 1103 configured to: the video image
  • the video image filter coefficients in the set of filter coefficients take a median or average value, and the median or average value is taken as a third filter threshold.
  • the preset condition may include at least one of the following conditions: a. a spatial distance between the depth image pixel point to be filtered and a pixel point in the adjacent area is less than or equal to a first filtering threshold; or b. The difference between the depth image pixel point of the pixel to be filtered and the depth image pixel value of the pixel in the adjacent area is less than or equal to a second filtering threshold; or
  • the difference between the pixel value of the video image corresponding to the depth image pixel position to be filtered and the video image pixel value of the pixel in the adjacent region is less than or equal to a third filtering threshold.
  • the above predetermined condition may be that one of a, b, and c is satisfied, or a and b are simultaneously established, or a and c are simultaneously established, or b and c are simultaneously established, or a, b, and c are simultaneously established.
  • the depth image filtering device of the embodiment of the present invention may be a processor (such as a central processing unit CPU) or an application specific integrated circuit (ASIC) or the like.
  • the depth image filtering device of the embodiment of the present invention may be deployed at a video encoding end or a decoding end. Specifically, it can be installed in computers, mobile phones, set-top boxes, televisions, and other various electronic devices.
  • it is determined whether each pixel in the adjacent region of the depth image pixel to be processed by the filtering process determines whether the pixel meets a preset condition; determining a set of pixel points that satisfy the preset condition; The pixel value of the pixel in the set determines the pixel value of the pixel of the depth image to be filtered, which can effectively remove the ringing effect of the edge of the depth image, reduce the discontinuity of the depth image, and thereby improve the quality of the video image.
  • FIG. 12 is a schematic structural diagram of a video decoding end 1200 according to Embodiment 4 of the present invention.
  • the video decoding end 1200 of the embodiment of the present invention includes: a receiving unit 1201, configured to receive data from a video encoding end, and a filtering threshold acquiring unit 1203, configured to parse the data received from the video encoding end.
  • the filtering thresholds are used to set a preset condition to determine pixel points in adjacent regions of the depth image pixel points to be processed by the predetermined condition, from the filter to be filtered that meets the preset condition Obtaining the depth of the processing to be filtered in the pixel in the adjacent region of the pixel of the depth image
  • the pixel value of the image pixel may further include: a second determining unit 1301, configured to determine the pixel point for each pixel in the adjacent area, in addition to the unit in FIG.
  • the second determining unit 1303 is configured to determine a set of pixel points that meet the preset condition; the second pixel value determining unit 1305 is configured to use, according to the pixel value of the pixel point in the set, Determining a pixel value of the depth image pixel to be filtered.
  • the second pixel value determining unit 1305 may be specifically configured to determine a median value of a pixel value of the pixel point in the set, and use the median value as a pixel value of the depth image pixel point to be filtered.
  • the second pixel value determining unit 1305 may include: a second sorting unit 1305-1, configured to sort pixel values of the pixel points in the set; 1305-2, when the number of pixels in the set is an odd number, the pixel value in the middle after sorting is used as the pixel value of the pixel of the depth image to be filtered; the second video decoding end
  • the calculating unit 1305-3 is configured to: when the number of the pixel points in the set is an even number, average the pixel values in the middle two after sorting, and use the average value as the to-be-filtered process The pixel value of the pixel of the depth image.
  • the second pixel value determining unit 1305 may include: a second removing unit 1305-4, where the pixel points of the set have the largest and smallest pixel values Save
  • the third video decoding end calculation unit 1305-5 is configured to determine an average value of pixel values of the remaining pixel points in the set, and use a positive integer closest to the average value as the depth image pixel point to be filtered. Pixel values.
  • the second pixel value determining unit 1305 includes: a fourth video decoding end calculating unit 1305-6, configured to determine an average value of pixel values of the pixel points in the set;
  • the unit 1305-7 is configured to compare the average value with the reconstructed pixel value of the depth image pixel to be filtered;
  • the fifth video decoding end calculating unit 1305-8 is configured to: when the average value is greater than When the reconstructed pixel value of the filtered processed depth image pixel point is used, the sum of the reconstructed pixel value of the depth image pixel point to be filtered and the pixel offset value is used as the pixel value of the depth image pixel point to be filtered.
  • a sixth video decoding end calculation unit 1305-9 configured to: when the average value is smaller than a reconstructed pixel value of the depth image pixel point to be filtered, the reconstructed pixel of the depth image pixel point to be filtered And subtracting the difference between the pixel offset values as the pixel value of the depth image pixel to be filtered; the seventh video decoding end calculating unit 1305-10, configured to: when the average value is equal to the to-be-filtered Depth image pixels in the reconstruction process of the pixel value, the average value as the depth of the filtering process to be The pixel value of the image pixel.
  • the video decoding end may further include: a second neighboring area determining unit, configured to determine an adjacent area of the depth image pixel point to be filtered.
  • the preset condition may include at least one of the following conditions: a. a spatial distance between the depth image pixel point to be filtered and a pixel point in the adjacent area is less than or equal to a first filtering threshold; or b. The difference between the depth image pixel point of the pixel to be filtered and the depth image pixel value of the pixel in the adjacent area is less than or equal to a second filtering threshold; or
  • the difference between the pixel value of the video image corresponding to the depth image pixel position to be filtered and the video image pixel value of the pixel in the adjacent region is less than or equal to a third filtering threshold.
  • the above predetermined condition may be that one of a, b, and c is satisfied, or a and b are simultaneously established, or a and c are simultaneously established, or b and c are simultaneously established, or a, b, and c are simultaneously established.
  • the difference between the pixel values may be the difference of the component method of any image format. For example, in the YUV format, the difference may be the value of each component (Y or U or V), or may be any component value. The difference between the mean value and the like.
  • the image format can be YUV, GRB, etc.
  • the video decoding end of the embodiment of the present invention may be a processor (such as a central processing unit CPU) or an application specific integrated circuit (ASIC) or the like.
  • the video decoding end of the embodiment of the present invention may specifically be a computer, a mobile phone, a set top box, a television set, and other various electronic devices.
  • Embodiments of the present invention pass each of adjacent regions of a depth image pixel to be processed by filtering a pixel, determining whether the pixel meets a preset condition; determining a set of pixel points satisfying the preset condition; determining, according to a pixel value of the pixel point in the set, the depth image pixel point to be filtered
  • the pixel value can effectively remove the ringing effect of the edge of the depth image and reduce the discontinuity of the depth image, thereby improving the quality of the video image.
  • the foregoing program may be stored in a computer readable storage medium, and the program is executed when executed.
  • the steps of the foregoing method embodiments are included; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种深度图像滤波方法、获取滤波阈值的方法和装置。本发明实施例的方法包括：对待滤波处理的深度图像像素点的相邻区域中的每个像素点，确定该像素点是否满足预设条件；确定满足所述预设条件的像素点的集合；根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素点的像素值。通过本发明实施例可以有效去除深度图像边缘的振铃效应，减少深度图像的不连续性，从而提高视频图像的质量。

Description

一种深度图像滤波方法、 获取深度图像滤波阈值的方法和装置 技术领域
本发明实施例涉及视频编解码技术领域， 尤其涉及一种深度图像滤波方 法、 获取深度图像滤波阈值的方法和装置 背景技术
随着多媒体通信技术的发展， 人们在娱乐、教育等许多应用领域内出现了 对于 3D视频的需求。 上述应用都要求使用多个摄像机在不同的空间位置以不 同的角度同时获取同一场景的视频信号，并有效的对所获得的一组视频信号进 行压縮编码和传输。
3D视频编解码技术引入了深度图， 深度图不同于视频图像， 一般不用于 显示，但是会用于虚拟视的生成。解码后重建的深度图需要进行滤波以消除块 效应。
现有技术采用双边滤波器 （Bileteral filter) 对深度图进行滤波。 双边滤波 器是基于 Gauss滤波方法提出的， 主要针对 Gauss滤波中， 将 Gauss的权重值 直接与图像像素值作卷积运算进行图像滤波的原理， 将滤波权重系数优化成 Gauss函数和图像亮度信息的乘积， 优化后的权重系数再与图像像素值作卷积 运算， 可用于保持锐利的边缘， 但图像的其他部分较平滑的， 导致图像模糊。 发明内容
本发明实施例提供一种深度图像滤波方法、获取深度图像滤波阈值的方法 和装置， 可以有效去除深度图像边缘的振铃效应， 减少深度图像的不连续性， 从而提高视频图像的质量。
本发明实施例提供一种深度图像滤波方法， 包括： 对待滤波处理的深度图像像素点的相邻区域中的每个像素点，确定该像素 点是否满足预设条件； 确定满足所述预设条件的像素点的集合；
根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素 点的像素值。
本发明实施例还提供一种获取深度图像滤波阈值的方法， 包括： 接收来自视频编码端的数据；
从所述接收来自视频编码端的数据中获取所述深度图像滤波阈值； 所述深度图像滤波阈值用于设置预设条件以确定满足该预设条件的待滤 波处理的深度图像像素点的相邻区域中的像素点的集合，所述集合中的像素点 的像素值用以确定所述待滤波处理的深度图像像素点的像素值。
本发明实施例还提供一种深度图像滤波装置， 包括： 第一判断单元，用于对待滤波处理的深度图像像素点的相邻区域中的每个 像素点， 确定该像素点是否满足预设条件； 第一确定单元， 用于确定所述满足所述预设条件的像素点的集合； 第一像素值确定单元， 用于根据所述集合中的像素点的像素值，确定所述 待滤波处理的深度图像像素点的像素值。 本发明实施例还提供一种视频解码端， 包括： 接收单元， 用于接收来自视频编码端的数据； 滤波阈值获取单元，用于从所述接收来自视频编码端的数据中获取深度图 像滤波阈值；
所述深度图像滤波系数用于设置预设条件以确定满足该预设条件的待滤 波处理的深度图像像素点的相邻区域中的像素点的集合，所述集合中的像素点 的像素值用以确定所述待滤波处理的深度图像像素点的像素值。 本发明实施例通过对待滤波处理的深度图像像素点的相邻区域中的每个 像素点，确定该像素点是否满足预设条件，确定满足所述预设条件的像素点的 集合， 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像 素点的像素值， 可以有效去除深度图像边缘的振铃效应，减少深度图像的不连 续性， 从而提高视频图像的质量。 附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本发明的 一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1为本发明实施例一提供的深度图像滤波方法的流程图；
图 2为本发明实施例一提供的另一种深度图像滤波方法的流程图； 图 3为本发明实施例一提供的另一种深度图像滤波方法的流程图； 图 4为本发明实施例一提供的另一种深度图像滤波方法的流程图； 图 5为本发明实施例二提供的获取深度图像滤波阈值的方法流程图； 图 6为本发明实施例三提供的深度图像滤波装置的的结构示意图； 图 7为本发明实施例三提供的第一像素值确定单元的结构示意图； 图 8为本发明实施例三提供的另一种第一像素值确定单元的结构示意图; 图 9为本发明实施例三提供的另一第一像素值确定单元的结构示意图； 图 10为本发明实施例三提供的另一深度图像滤波装置的结构示意图； 图 11为本发明实施例三提供的另一深度图像滤波装置的结构示意图； 图 12为本发明实施例三提供的视频解码端的结构示意图；
图 13为本发明实施例三提供的另一视频解码端的结构示意图；
图 14为本发明实施例三提供的第二像素值确定单元的结构示意图； 图 15为本发明实施例三提供的另一第二像素值确定单元的结构示意图； 图 16为本发明实施例三提供的另一第二像素值确定单元的结构示意图。 具体实肺式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例， 都属于本发明保护的范围。
图 1为本发明实施例一提供的深度图像滤波方法的流程图， 该方法包括： 步骤 S101.对待滤波处理的深度图像像素点的相邻区域中的每个像素点， 确定该像素点是否满足预设条件； 步骤 S103.确定满足所述预设条件的像素点的集合； 步骤 S105.根据所述集合中的像素点的像素值， 确定所述待滤波处理的深 度图像像素点的像素值。 其中， 步骤 S105具体可以包括： 步骤 S105 ' .确定所述集合中的像素点的像素值的中值， 将所述中值作为 所述待滤波处理的深度图像像素点的像素值。 本发明实施例所指的 "中值"， 可以是集合中排在中间的元素的值或平均 值， 可以是集合中去除最大值和最小值之后的元素的平均值， 等等。对中值的 计算可以是多种形式。
可选的，可以采用第一种滤波算法，完整的流程如图 2所示，即步骤 S 105 ' 具体可以包括： 步骤 S105-1.将所述集合中的像素点的像素值进行排序；
步骤 S105-2.判断所述集合中的像素点的个数为偶数或者奇数；
步骤 S105-3.当所述集合中的像素点的个数为奇数时， 将排序后处在中间 的像素值作为所述待滤波处理的深度图像像素点的像素值；
步骤 S105-4.当所述集合中的像素点的个数为偶数时， 对排序后处在中间 两个的像素值取平均值，将所述平均值作为所述待滤波处理的深度图像像素点 的像素值。
可选的，可以采用第二种滤波算法，完整的流程如图 3所示，即步骤 S 105 ' 具体可以包括： 步骤 S105-5. 将所述集合中像素值最大和最小的像素点去除；
步骤 S105-6.确定所述集合中剩余的像素点的像素值的平均值， 将所述平 均值作为待滤波处理的深度图像像素点的像素值。 可选的， 可以采用第三种滤波算法， 完整的流程如图 4所示， 即步骤 S 105 具体可以包括： 步骤 S105-7.确定所述集合中的像素点的像素值的平均值； 步骤 S105-8.将所述平均值与所述待滤波处理的深度图像像素点的重建 像素值进行比较； 步骤 S105-9.当所述平均值大于所述待滤波处理的深度图像像素点的原 始像素值时将所述待滤波处理的深度图像像素点的重建像素值与像素偏移值 之和作为所述待滤波处理的深度图像像素点的像素值； 步骤 S105-10.当所述平均值小于所述待滤波处理的深度图像像素点的原 始像素值时将所述待滤波处理的深度图像像素点的重建像素值减去像素偏移 值之差作为所述待滤波处理的深度图像像素点的像素值； 步骤 S105-1 1.当所述平均值等于所述待滤波处理的深度图像像素点的原 始像素值时， 将所述平均值作为所述待滤波处理的深度图像像素点的像素值。
可选的， 在步骤 S101之前， 还可以包括步骤：
确定待滤波处理的深度图像像素点的相邻区域；
相邻区域可以是一行、 或一列、 或矩形、 或正方形等任意形状。 上述预设条件可以包括以下条件中的至少一个： a.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间 距离小于等于第一滤波阈值； 或者 b.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度 图像像素值的差值小于等于第二滤波阈值； 或者
c.所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与 所述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。
上述预设条件可以是 a、 b、 c中的一个条件成立， 或者 a和 b同时成立， 或 者 a和 c同时成立， 或者 b和 c同时成立， 或者 a、 b和 c同时成立。 其中， 像素值 的差值可以为任意图像格式的分量法的差值， 例如在 YUV格式中， 可以为每个 分量（Y或 U或 V)值的差值， 也可以是任意几个分量值的平均值等方式的差值。 图像格式可以为 YUV, GRB等格式。
具体的， 第一滤波阈值可以记为 ， 第二滤波阈值可以记为 ， 第三滤 波阈值可以记为^。记重建深度图像的待滤波处理的深度图像像素点为 p， 取 p 的相邻区域为 5x5图像块， 则该相邻区域中一共有 5x5 = 25个相邻像素点， 每 个像素点记为 (ί = 1,2,···,25)。对每个像素点 ，计算其与待滤波处理的深度图 像像素点 Ρ之间分别在空间域、 深度图像域、 视频图像域三个维度上的差值， 即：
空间几何距离 1: ΙΡ-¾Ι
深度图像像素值的差值 d: ID(p)-D(¾)l
视频图像像素值的差值 r: ΙΥ(ρ)-Υ(¾)Ι
具体的， 设 Ρ的坐标为 （Μ， Ν) ， 的坐标为 ，1^， 贝 ij'p— q'1可以以如下 方式计算：
Figure imgf000008_0001
可以将 1， r， d分别与第一滤波阈值 σι 、第二滤波阈值 、第三滤波阈值 进行比较。 上述条件&、 b和 C可以分别表示为
ρ-¾ ι≤
ID(p)-D(¾)l<ar
IY(p)-Y( )l≤。d 具体的， 当采用第一种滤波算法时， 当像素点 (ί = 1,2,···,25)全部遍历之 后，确定满足所述预设条件的像素点的集合； 将该集合中的像素点的像素值进 行排序。 该集合中的像素点可能是奇数个， 也可能是偶数个。 当该集合中的像 素点的个数为奇数时，将排序后处在中间的像素值作为待滤波处理的深度图像 像素点的像素值； 当该集合中的像素点的个数为偶数时，对排序后处在中间两 的像素值取平均值， 将平均值作为待滤波处理的深度图像像素点的像素值' 在本发明实施例中， "平均值"指得是与实际计算得到的平均值最接近的 正整数。 具体计算时， 可以是对实际计算得到的平均值加上 0.5之和进行向下 取整运算。 即平均值 Α' = | Α+0.5 (∑¾)/η + 0.5 ， 其中， I I为向下取整运算。
i=l 例如， 满足所述预设条件的像素点的集合包含 ¾,¾, 2, 8,¾1 (像素值分 别为 11， 25， 2， 8， 33) ， 则将 ¾, ¾ w ¾1的像素值进行排序， 排在中间 的像素值为 11， 那么将 11作为待滤波处理的深度图像像素点的像素值。 例如， 满足所述预设条件的像素点的集合包含 ,¾, 2, 8,¾1,¾3 (像素 值分别为 11， 25， 2， 8， 33， 6)， 则将 , ¾ , 2, 8 , ¾1 , ¾3的像素值进行排序， 排在中间的像素值为 8和 11， 那么将 8和 11的数学平均值 L9.5 + 0.5」 = 10作为待滤 波处理的深度图像像素点的像素值。这里以数学平均值为例， 当然也可以是其 他形式的平均值， 比如几何平均值等。 具体的， 当采用第二种滤波算法时， 当像素点 (ί = 1,2,··.,25)全部遍历之 后，确定满足所述预设条件的像素点的集合； 将该集合中像素值的最大和最小 的像素点去除，对集合中剩余的像素点求取平均值，将与该平均值最接近的正 整数作为待滤波处理的深度图像像素点的像素值。 例如， 满足所述预设条件的像素点的集合包含 ¾,¾, 2, 8,¾1 (像素值分 别为 11， 25， 2， 8， 33) ， 则将 ¾, ¾ w ¾1的像素值中最大和最小的像素 点 1和 去除， 对剩下的 ,¾ 8求平均值为 L(ll+25+8)/3+0.5」=15， 将这个平 均值 15作为待滤波处理的深度图像像素点的像素值。 具体的， 当采用第三种滤波算法时， 当像素点 (i = l,2,...,25)全部遍历之 后，确定满足所述预设条件的像素点的集合； 将该集合中的像素点的像素值求 平均值，将平均值与当前带滤波像素点的重建像素值进行大小比较： 当重建像 素值大于或者小于平均值时， 用重建像素值减去或者加上一个像素偏移值， 作 为待滤波处理的深度图像像素点的像素值； 当重建像素值等于平均值时， 直接 用平均值作为待滤波处理的深度图像像素点的像素值； 其中，像素偏移值可以是平均值除以该集合中像素点的个数之商的最接近 的正整数， 也可以是通过其他方法求得。 假设满足所述预设条件的像素点的集合包含 , ¾ ,q12,q18 ,¾1 (像素值分别 为 11， 25， 2， 8， 33) ， 则像素偏移值 16/5+0.5」=3。 例如， 当前重建像素点的重建像素值为 15， 将 ¾,¾ w ¾1的像素值求 平均值 L(ll+25+2+8+33)/5+0.5」=16， ， 将重建像素值与该平均值 16进行比较， 由 于重建像素值 15小于平均值 16，则将重建像素值加上像素偏移值得到待滤波处 理的深度图像像素点的像素值， 即最终滤波后的像素值为 15+3=18。 例如， 当前重建像素点的重建像素值为 18， 则将 ¾, ¾ q1¾ q21的像素值 求平均值 L(l l+25+2+8+33)/5+0.5」 = 16， 将重建像素值与该平均值进行比较， 由于 重建像素值 18大于平均值 16，则将重建像素值减去像素偏移值得到待滤波处理 的深度图像像素点的像素值， 即最终滤波后的像素值为 18-3=15。 例如， 当前像素点的重建像素值为 16， 则将 q21的像素值求平 均值 （11+25+2+8+33 ) /5+0. 5=16 , 将重建像素值与平均值进行比较， 由于重 建像素值 16等于平均值 16，则将平均值作为待滤波处理的深度图像像素点的像 素值。 本发明实施例的方法可以由处理器 （比如中央处理器 CPU) 或专用集成电 路 （ASIC) 等执行。 本发明实施例的方法可以在视频编码端或解码端实施。 本发明实施例通过对待滤波处理的深度图像像素点的相邻区域中的每个 像素点，确定该像素点是否满足预设条件； 确定满足所述预设条件的像素点的 集合； 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像 素点的像素值， 可以有效去除深度图像边缘的振铃效应，减少深度图像的不连 续性， 从而提高视频图像的质量。
实施例二
本发明实施例详细介绍第一滤波阈值 、第二滤波阈值 、第三滤波阈值 ^是如何获得的。 其中： 第一滤波阈值 σι可以取经验值 4。 第二滤波阈值 可以通过求解使得原始视频图像与重建视频图像之间的 误差最小时的视频图像滤波器系数得到。 这里的误差可以是均方误差 （Mean Squared Error, MSE) 或者其他类型的误差。 第三滤波阈值 可以通过求解使得原始深度图与重建深度图之间的误差 最小时的深度图像滤波器系数得到。这里的误差可以是均方误差或者其他类型
具体的， 以求解 ^为例： 令 Zk为滤波后的视频图像像素值， 为原始视频图像像素值， X为重建 图像在相邻区域 NxN图像块内的像素值， 为每个像素点 （i = l,2,...,NxN) 的 滤波器系数。 以均方误差作为误差计算方法。 对 X进行滤波， 得到 ：
NxN NxN
Zk =∑( )/∑
i=l i=l 其中， 滤波后图像像素值 和原始图像像素值 xk的误差为： errork =Zk-Xk 当均方误差最小时， 可获得相应的滤波器系数 σ^， 即： σΓ i = arg min E[errork 2 ] 其中： E[errork 2] = E[(Zk - Xk)2] = Ε[(Χ σΓι1)2] + Ε[(Χ,)2]-2Ε[(∑ σΓι1)(Χ,)]
i=l i=l 对 E[errork 2]求偏导数： E{ ) } CTj ) - 2E[( )( Xk )] = 0 i = 1, ······ ,ΝχΝ
Figure imgf000013_0001
求解上述方程组可以得到 ，将最优滤波器系数集合 中的系数取中 值或者平均值等方式， 获得最优视频图滤波器阈值 。 具体的， 比如取 Ν = 4， Ί ,σ^—,σ^分别为 2， 2, 6， 3， 21, 12， 10， 7, 4, 8， 5, 3， 8， 14， 23，
/16=137/16=8.5625作为 ， 或者也可以取中值（7 + 8) /2=7.5作为 。 当然， 这里的滤波器阈值也可以是平均值再向下取整后的整数值。 同理可以用类似的方法计算得到深度图像滤波阈值 。 将最优滤波器阈值 和 写入码流， 传递到解码端。 本发明实施例提供一种获取深度图像滤波阈值的方法流程图，该方法应用 在解码端， 如图 5所示， 该方法包括：
S501.接收来自视频编码端的数据；
S503.从所述接收来自视频编码端的数据中获取所述深度图像滤波阈值； 所述深度图像滤波系数用于设置预设条件以确定满足该预设条件的待滤波处 理的深度图像像素点的相邻区域中的像素点，从满足所述预设条件的待滤波处 理的深度图像像素点的相邻区域中的像素点中获取所述待滤波处理的深度图 像像素点的像素值。 本发明实施例的方法还可以包括：
步骤 S505.对所述相邻区域中的每个像素点， 确定该像素点是否满足预设 条件； 步骤 S507.确定满足所述预设条件的像素点的集合； 步骤 S505.根据所述集合中的像素点的像素值， 确定所述待滤波处理的深 度图像像素点的像素值。 其中， 步骤 S505具体可以包括： 步骤 S505 ' .确定所述集合中的像素点的像素值的中值， 将所述中值作为 所述待滤波处理的深度图像像素点的像素值。 本发明实施例所指的 "中值"， 可以是集合中排在中间的元素的值或平均 值， 可以是集合中去除最大值和最小值之后的元素的平均值， 等等。对中值的 计算可以是多种形式。
可选的， 具体可以采用上述的第一滤波算法、第二滤波算法或第三滤波算 法对待滤波处理的深度图像像素点进行处理。
可选的， 在步骤 S505之前， 还可以包括步骤：
确定待滤波处理的深度图像像素点的相邻区域； 相邻区域可以是一行、或 一列、 或矩形、 或正方形等任意形状。 上述预设条件可以包括以下条件中的至少一个： a.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间 距离小于等于第一滤波阈值； 或者 b.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度 图像像素值的差值小于等于第二滤波阈值； 或者
c.所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与 所述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。 上述预设条件可以是 a、 b、 c中的一个条件成立， 或者 a和 b同时成立， 或 者 a和 c同时成立， 或者 b和 c同时成立， 或者 a、 b和 c同时成立。 其中， 像素值 的差值可以为任意图像格式的分量法的差值， 例如在 YUV格式中， 可以为每个 分量（Y或 U或 V)值的差值， 也可以是任意几个分量值的平均值等方式的差值。 图像格式可以为 YUV, GRB等格式。 本发明实施例提供一种数据包的数据结构， 包括深度图像滤波阈值， 包括 第一滤波阈值、 或第二滤波阈值、 或第三滤波阈值中的至少一个， 所述深度图 像滤波阈值用于设置预设条件以确定满足该条件的待滤波处理的深度图像像 素点的相邻区域中的像素点， 根据所述集合中的像素点的像素值，确定所述待 滤波处理的深度图像像素点的像素值。第一滤波阈值、 第二滤波阈值、 第三滤 波阈值可以按上述实施例的方法获取。本实施例的数据结构封装了深度图像滤 波阈值，从编码端传送到解码端，解码端从数据帧中解析出深度图像滤波阈值， 将该深度图像滤波阈值用于设置预设条件以确定满足该条件的待滤波处理的 深度图像像素点的相邻区域中的像素点， 根据所述集合中的像素点的像素值， 确定所述待滤波处理的深度图像像素点的像素值，可以有效去除深度图像边缘 的振铃效应， 减少深度图像的不连续性， 从而提高视频图像的质量。 实施例三
图 6是本发明实施例三提供的深度图像滤波装置 600的结构示意图。
如图 6所示， 该深度图像滤波装置 600包括： 第一判断单元 601， 用于对待滤波处理的深度图像像素点的相邻区域中的 每个像素点， 确定该像素点是否满足预设条件； 第一确定单元 603， 用于确定所述满足所述预设条件的像素点的集合； 第一像素值确定单元 605， 用于根据所述集合中的像素点的像素值， 确定 所述待滤波处理的深度图像像素点的像素值。 第一像素值确定单元 605具体可以用于确定所述集合中的像素点的像素值 的中值， 将所述中值作为所述待滤波处理的深度图像像素点的像素值。 可选的， 如图 7所示， 第一像素值确定单元 605可以包括： 第一排序单元 605-1， 用于将所述集合中的像素点的像素值进行排序； 第一计算单元 605-2， 用于当所述集合中的像素点的个数为奇数时， 将排 序后处在中间的像素值作为所述待滤波处理的深度图像像素点的像素值； 第二计算单元 605-3， 用于当所述集合中的像素点的个数为偶数时， 对排 序后处在中间两个的像素值取平均值，将所述平均值作为所述待滤波处理的深 度图像像素点的像素值。 可选的， 如图 8所示， 第一像素值确定单元 605可以包括： 第一去除单元 605-4， 用于将所述集合中像素值的最大和最小的像素点去 除； 第三计算单元 605-5， 用于确定所述集合中剩余的像素点的像素值的平均 值， 将与所述平均值作为待滤波处理的深度图像像素点的像素值。 可选的， 如图 9所示， 第一像素值确定单元 605可以包括： 第四计算单元 605-6， 用于确定所述集合中的像素点的像素值的平均值； 第一比较单元 605-7， 用于将所述平均值与所述待滤波处理的深度图像像 素点的重建像素值进行比较； 第五计算单元 605-8， 用于当所述平均值大于所述待滤波处理的深度图像 像素点的重建像素值时将所述待滤波处理的深度图像像素点的重建像素值与 像素偏移值之和作为所述待滤波处理的深度图像像素点的像素值； 第六计算单元 605-9， 用于当所述平均值小于所述待滤波处理的深度图像 像素点的重建像素值时，将所述待滤波处理的深度图像像素点的重建像素值减 去像素偏移值之差作为所述待滤波处理的深度图像像素点的像素值； 第七计算单元 605-10， 用于当所述平均值等于所述待滤波处理的深度图 像像素点的重建像素值时，将所述平均值作为所述待滤波处理的深度图像像素 点的像素值。 可选的， 该深度图像滤波装置 600还可以包括： 第一相邻区域确定单元，用于确定所述待滤波处理的深度图像像素点的相 邻区域。 如图 10所示， 除了包括上述图 6中的单元之外， 该深度图像滤波装置 600 还可以包括：
第一滤波器阈值集合确定单元 1001，用于确定使得原始深度图与重建深度 图之间的误差最小时的深度图像滤波器系数集合； 第二滤波阈值获取单元 1003，用于对所述深度图像滤波器系数集合中的深 度图像滤波器系数取中值或平均值， 将所述中值或平均值作为第二滤波阈值。 如图 11所示， 除了包括上述图 6中的单元之外， 该深度图像滤波装置还可 以包括：
第二滤波器阈值集合确定单元 1101，用于确定使得原始视频图像与重建视 频图像之间的误差最小时的视频图像滤波器系数集合； 第三滤波阈值获取单元 1103，用于对所述视频图像滤波器系数集合中的视 频图像滤波器系数取中值或平均值， 将所述中值或平均值作为第三滤波阈值。 上述预设条件可以包括以下条件中的至少一个： a.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间 距离小于等于第一滤波阈值； 或者 b.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度 图像像素值的差值小于等于第二滤波阈值； 或者
c.所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与 所述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。 上述预设条件可以是 a、 b、 c中的一个条件成立， 或者 a和 b同时成立， 或 者 a和 c同时成立， 或者 b和 c同时成立， 或者 a、 b和 c同时成立。 本发明实施例的深度图像滤波装置可以是处理器 （比如中央处理器 CPU) 或专用集成电路（ASIC )等。本发明实施例的深度图像滤波装置可以部署在视 频编码端或解码端。 具体可以安装在计算机、 手机、 机顶盒、 电视机以及其他 各种电子设备等。 本发明实施例通过对待滤波处理的深度图像像素点的相邻区域中的每个 像素点，确定该像素点是否满足预设条件； 确定满足所述预设条件的像素点的 集合； 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像 素点的像素值， 可以有效去除深度图像边缘的振铃效应，减少深度图像的不连 续性， 从而提高视频图像的质量。
实施例四
图 12是本发明实施例四提供的视频解码端 1200的结构示意图。 如图 12所示， 本发明实施例的视频解码端 1200包括： 接收单元 1201， 用于接收来自视频编码端的数据； 滤波阈值获取单元 1203，用于从所述接收来自视频编码端的数据中解析得 到滤波阈值；所述滤波阈值用于设置预设条件以确定满足该预设条件的待滤波 处理的深度图像像素点的相邻区域中的像素点，从满足所述预设条件的待滤波 处理的深度图像像素点的相邻区域中的像素点中获取所述待滤波处理的深度 图像像素点的像素值。 如图 13所示，除了包括上述图 12中的单元之外，该视频解码端还可以包括： 第二判断单元 1301， 用于对所述相邻区域中的每个像素点，确定该像素点 是否满足所述预设条件； 第二确定单元 1303， 用于确定满足该预设条件的像素点的集合； 第二像素值确定单元 1305， 用于根据所述集合中的像素点的像素值，确定 所述待滤波处理的深度图像像素点的像素值。 第二像素值确定单元 1305具体可以用于确定所述集合中的像素点的像素 值的中值， 将所述中值作为所述待滤波处理的深度图像像素点的像素值。 可选的， 如图 14所示， 第二像素值确定单元 1305可以包括： 第二排序单元 1305-1， 用于将该集合中的像素点的像素值进行排序； 第一视频解码端计算单元 1305-2，用于当所述集合中的像素点的个数为奇 数时，将排序后处在中间的像素值作为所述待滤波处理的深度图像像素点的像 素值； 第二视频解码端计算单元 1305-3，用于当所述集合中的像素点的个数为偶 数时，对排序后处在中间两个的像素值取平均值，将所述平均值作为所述待滤 波处理的深度图像像素点的像素值。 可选的， 如图 15所示， 第二像素值确定单元 1305可以包括： 第二去除单元 1305-4， 用于将所述集合中像素值最大和最小的像素点去 除；
第三视频解码端计算单元 1305-5，用于确定所述集合中剩余的像素点的像 素值的平均值，将与所述平均值最接近的正整数作为待滤波处理的深度图像像 素点的像素值。 可选的， 如图 16所示， 第二像素值确定单元 1305包括： 第四视频解码端计算单元 1305-6，用于确定所述集合中的像素点的像素值 的平均值； 第二比较单元 1305-7， 用于将所述平均值与所述待滤波处理的深度图像 像素点的重建像素值进行比较； 第五视频解码端计算单元 1305-8， 用于当所述平均值大于所述待滤波处 理的深度图像像素点的重建像素值时将所述待滤波处理的深度图像像素点的 重建像素值与像素偏移值之和作为所述待滤波处理的深度图像像素点的像素 值； 第六视频解码端计算单元 1305-9， 用于当所述平均值小于所述待滤波处 理的深度图像像素点的重建像素值时，将所述待滤波处理的深度图像像素点的 重建像素值减去像素偏移值之差作为所述待滤波处理的深度图像像素点的像 素值； 第七视频解码端计算单元 1305-10， 用于当所述平均值等于所述待滤波处 理的深度图像像素点的重建像素值时，将所述平均值作为所述待滤波处理的深 度图像像素点的像素值。 可选的， 该视频解码端还可以包括： 第二相邻区域确定单元，用于确定所述待滤波处理的深度图像像素点的相 邻区域。 上述预设条件可以包括以下条件中的至少一个： a.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间 距离小于等于第一滤波阈值； 或者 b.所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度 图像像素值的差值小于等于第二滤波阈值； 或者
c.所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与 所述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。 上述预设条件可以是 a、 b、 c中的一个条件成立， 或者 a和 b同时成立， 或 者 a和 c同时成立， 或者 b和 c同时成立， 或者 a、 b和 c同时成立。 其中， 像素值 的差值可以为任意图像格式的分量法的差值， 例如在 YUV格式中， 可以为每个 分量（Y或 U或 V)值的差值， 也可以是任意几个分量值的平均值等方式的差值。 图像格式可以为 YUV, GRB等格式。 本发明实施例的视频解码端可以是处理器 （比如中央处理器 CPU) 或专用 集成电路 （ASIC) 等。 本发明实施例的视频解码端具体可以是计算机、 手机、 机顶盒、 电视机以及其他各种电子设备等。 本发明实施例通过对待滤波处理的深度图像像素点的相邻区域中的每个 像素点，确定该像素点是否满足预设条件； 确定满足所述预设条件的像素点的 集合； 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像 素点的像素值， 可以有效去除深度图像边缘的振铃效应，减少深度图像的不连 续性， 从而提高视频图像的质量。 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可 以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存 储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 而前述的存储 介质包括： R0M、 RAM, 磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对其限 制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其 中部分技术特征进行等同替换； 而这些修改或者替换， 并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。

Claims

权 利 要 求
1、 一种深度图像滤波方法， 其特征在于， 包括： 对待滤波处理的深度图像像素点的相邻区域中的每个像素点，确定该像素 点是否满足预设条件； 确定满足所述预设条件的像素点的集合； 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素 点的像素值。
2、根据权利要求 1的深度图像滤波方法， 其特征在于， 所述根据所述集合 中的像素点的像素值， 确定所述待滤波处理的深度图像像素点的像素值包括： 确定所述集合中的像素点的像素值的中值，将所述中值作为所述待滤波处 理的深度图像像素点的像素值。
3、 根据权利要求 2的深度图像滤波方法， 其特征在于， 所述确定所述集合 中的像素点的像素值的中值，将所述中值作为所述待滤波处理的深度图像像素 点的像素值包括： 将所述集合中的像素点的像素值进行排序； 当所述集合中的像素点的个数为奇数时，将排序后处在中间的像素值作为 所述待滤波处理的深度图像像素点的像素值； 当所述集合中的像素点的个数为偶数时，对排序后处在中间两个的像素值 取平均值， 将所述平均值作为所述待滤波处理的深度图像像素点的像素值。
4、 根据权利要求 2的深度图像滤波方法， 其特征在于， 所述确定所述集合 中的像素点的像素值的中值，将所述中值作为所述待滤波处理的深度图像像素 点的像素值包括： 将所述集合中像素值最大和最小的像素点去除； 确定所述集合中剩余的像素点的像素值的平均值，将所述平均值作为待滤 波处理的深度图像像素点的像素值。
5、 根据权利要求 1的深度图像滤波方法， 其特征在于， 所述根据所述集合 中的像素点的像素值， 确定所述待滤波处理的深度图像像素点的像素值包括： 确定所述集合中的像素点的像素值的平均值； 将所述平均值与所述待滤波处理的深度图像像素点的重建像素值进行比较； 当所述平均值大于所述待滤波处理的深度图像像素点的重建像素值时 将所述待滤波处理的深度图像像素点的重建像素值与像素偏移值之和作为所 述待滤波处理的深度图像像素点的像素值； 当所述平均值小于所述待滤波处理的深度图像像素点的重建像素值时 将所述待滤波处理的深度图像像素点的重建像素值减去像素偏移值之差作为 所述待滤波处理的深度图像像素点的像素值； 当所述平均值等于所述待滤波处理的深度图像像素点的重建像素值时， 将所述平均值作为所述待滤波处理的深度图像像素点的像素值。
6、 根据权利要求 1的深度图像滤波方法， 其特征在于， 在对待滤波处理的 深度图像像素点的相邻区域中的每个像素点，确定该像素点是否满足预设条件 之前， 还包括： 确定待滤波处理的深度图像像素点的相邻区域。
7、 根据权利要求 1-6中任一项所述的深度图像滤波方法， 其特征在于， 所 述预设条件包括以下条件中的至少一个： 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间距 离小于等于第一滤波阈值； 或者 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度图 像像素值的差值小于等于第二滤波阈值； 或者 所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与所 述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。
8、 根据权利要求 7的深度图像滤波方法， 其特征在于， 还包括： 确定使得原始深度图像与重建深度图像之间的误差最小时的深度图像滤 波器系数集合； 对所述深度图像滤波器系数集合中的深度图像滤波器系数取中值或平均 值， 将所述中值或平均值作为第二滤波阈值。
9、 根据权利要求 7的深度图像滤波方法， 其特征在于， 还包括： 确定使得原始视频图像与重建视频图像之间的误差最小时的视频图像滤 波器系数集合；
对所述视频图像滤波器系数集合中的视频图像滤波器系数取中值或平均 值， 将所述中值或平均值作为第三滤波阈值。
10、 一种获取深度图像滤波阈值的方法， 其特征在于， 所述方法包括： 接收来自视频编码端的数据；
从所述接收来自视频编码端的数据中获取所述深度图像滤波阈值； 所述深度图像滤波阈值用于设置预设条件以确定满足该预设条件的待滤 波处理的深度图像像素点的相邻区域中的像素点的集合，所述集合中的像素点 的像素值用以确定所述待滤波处理的深度图像像素点的像素值。
11、 根据权利要求 10的获取深度图像滤波阈值的方法， 其特征在于， 还包 括： 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素 点的像素值。
12、根据权利要求 11的获取深度图像滤波阈值的方法， 其特征在于， 所述 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素点的 像素值包括： 确定所述集合中的像素点的像素值的中值，将所述中值作为所述待滤波处 理的深度图像像素点的像素值。
13、 根据权利要求 12的获取深度图像滤波阈值的方法， 其特征在于， 所述 确定所述集合中的像素点的像素值的中值，将所述中值作为所述待滤波处理的 深度图像像素点的像素值包括： 将所述集合中的像素点的像素值进行排序； 当所述集合中的像素点的个数为奇数时，将排序后处在中间的像素值作为 所述待滤波处理的深度图像像素点的像素值； 当所述集合中的像素点的个数为偶数时，对排序后处在中间两个的像素值 取平均值， 将所述平均值作为所述待滤波处理的深度图像像素点的像素值。
14、 根据权利要求 12的获取深度图像滤波阈值的方法， 其特征在于， 所述 确定所述集合中的像素点的像素值的中值，将所述中值作为所述待滤波处理的 深度图像像素点的像素值包括： 将所述集合中像素值最大和最小的像素点去除； 确定所述集合中剩余的像素点的像素值的平均值，将所述平均值作为待滤 波处理的深度图像像素点的像素值。
15、 根据权利要求 11的获取深度图像滤波阈值的方法， 其特征在于， 所述 根据所述集合中的像素点的像素值，确定所述待滤波处理的深度图像像素点的 像素值包括： 确定所述集合中的像素点的像素值的平均值； 将所述平均值与所述待滤波处理的深度图像像素点的重建像素值进行比 较； 当所述平均值大于所述待滤波处理的深度图像像素点的重建像素值时 将所述待滤波处理的深度图像像素点的重建像素值与像素偏移值之和作为所 述待滤波处理的深度图像像素点的像素值； 当所述平均值小于所述待滤波处理的深度图像像素点的重建像素值时 将所述待滤波处理的深度图像像素点的重建像素值减去像素偏移值之差作为 所述待滤波处理的深度图像像素点的像素值； 当所述平均值等于所述待滤波处理的深度图像像素点的重建像素值时， 将所述平均值作为所述待滤波处理的深度图像像素点的像素值。
16、 根据权利要求 10的获取深度图像滤波阈值的方法， 其特征在于， 还包 括： 确定所述待滤波处理的深度图像像素点的相邻区域。
17、 根据权利要求 10— 16的获取深度图像滤波阈值的方法， 其特征在于， 所述预设条件包括以下条件中的至少一个： 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间距 离小于等于第一滤波阈值； 或者 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度图 像像素值的差值小于等于第二滤波阈值； 或者 所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与所 述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。
18、 根据权利要求 10的获取深度图像滤波阈值的方法， 其特征在于， 还包 括： 视频编码端确定使得原始深度图像与重建深度图像之间的误差最小时的 深度图像滤波器系数集合； 对所述深度图像滤波器系数集合中的深度图像滤波器系数取中值或平均 值， 将所述中值或平均值作为第二滤波阈值。
19、 根据权利要求 10的获取深度图像滤波阈值的方法， 其特征在于， 还包 括： 视频编码端确定使得原始视频图像与重建视频图像之间的误差最小时的 视频图像滤波器系数集合； 对所述视频图像滤波器系数集合中的视频图像滤波器系数取中值或平均 值， 将所述中值或平均值作为第三滤波阈值。
20、 一种深度图像滤波装置， 其特征在于， 包括： 第一判断单元，用于对待滤波处理的深度图像像素点的相邻区域中的每个 像素点， 确定该像素点是否满足预设条件； 第一确定单元， 用于确定所述满足所述预设条件的像素点的集合； 第一像素值确定单元， 用于根据所述集合中的像素点的像素值，确定所述 待滤波处理的深度图像像素点的像素值。
21、根据权利要求 20的深度图像滤波装置， 其特征在于， 所述第一像素值 确定单元具体用于确定所述集合中的像素点的像素值的中值，将所述中值作为 所述待滤波处理的深度图像像素点的像素值。
22、根据权利要求 21的深度图像滤波装置， 其特征在于， 所述第一像素值 确定单元包括： 第一排序单元， 用于将所述集合中的像素点的像素值进行排序； 第一计算单元， 用于当所述集合中的像素点的个数为奇数时，将排序后处 在中间的像素值作为所述待滤波处理的深度图像像素点的像素值； 第二计算单元， 用于当所述集合中的像素点的个数为偶数时，对排序后处 在中间两个的像素值取平均值，将所述平均值作为所述待滤波处理的深度图像 像素点的像素值。
23、根据权利要求 21的深度图像滤波装置， 其特征在于， 所述第一像素值 确定单元包括： 第一去除单元， 用于将所述集合中像素值的最大和最小的像素点去除； 第三计算单元， 用于确定所述集合中剩余的像素点的像素值的平均值，将 所述平均值作为待滤波处理的深度图像像素点的像素值。
24、 根据权利要求 20的深度图像滤波装置， 其特征在于， 所述第一像素值 确定单元包括： 第四计算单元， 用于确定所述集合中的像素点的像素值的平均值； 第一比较单元， 用于将所述平均值与所述待滤波处理的深度图像像素点 的重建像素值进行比较； 第五计算单元， 用于当所述平均值大于所述待滤波处理的深度图像像素 点的重建像素值时将所述待滤波处理的深度图像像素点的重建像素值与像素 偏移值之和作为所述待滤波处理的深度图像像素点的像素值； 第六计算单元， 用于当所述平均值小于所述待滤波处理的深度图像像素 点的重建像素值时，将所述待滤波处理的深度图像像素点的重建像素值减去像 素偏移值之差作为所述待滤波处理的深度图像像素点的像素值； 第七计算单元， 用于当所述平均值等于所述待滤波处理的深度图像像素 点的重建像素值时，将所述平均值作为所述待滤波处理的深度图像像素点的像 素值。
25、 根据权利要求 20的深度图像滤波装置， 其特征在于， 还包括： 第一相邻区域确定单元，用于确定所述待滤波处理的深度图像像素点的相 邻区域。
26、根据权利要求 20— 25中任一项所述的深度图像滤波装置，其特征在于， 所述预设条件包括以下条件中的至少一个： 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间距 离小于等于第一滤波阈值； 或者 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度图 像像素值的差值小于等于第二滤波阈值； 或者 所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与所 述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。
27、根据权利要求 26的深度图像滤波装置，其特征在于，所述装置还包括: 第一滤波器系数集合确定单元，用于确定使得原始深度图像与重建深度图 像之间的误差最小时的深度图像滤波器系数集合； 第二滤波阈值获取单元，用于对所述深度图像滤波器系数集合中的深度图 像滤波器系数取中值或平均值， 将所述中值或平均值作为第二滤波阈值。
28、根据权利要求 26的深度图像滤波装置，其特征在于，所述装置还包括: 第二滤波器系数集合确定单元，用于确定使得原始视频图像与重建视频图 像之间的误差最小时的视频图像滤波器系数集合； 第三滤波阈值获取单元，用于对所述视频图像滤波器系数集合中的视频图 像滤波器系数取中值或平均值， 将所述中值或平均值作为第三滤波阈值。
29、 一种视频解码端， 其特征在于， 包括： 接收单元， 用于接收来自视频编码端的数据； 滤波阈值获取单元，用于从所述接收来自视频编码端的数据中获取深度图 像滤波阈值； 所述深度图像滤波系数用于设置预设条件以确定满足该预设条件的待滤 波处理的深度图像像素点的相邻区域中的像素点的集合，所述集合中的像素点 的像素值用以确定所述待滤波处理的深度图像像素点的像素值。
30、 根据权利要求 29的视频解码端， 其特征在于， 还包括： 第二判断单元，用于对待滤波处理的深度图像像素点的相邻区域中的每个 像素点， 确定该像素点是否满足预设条件； 第二确定单元， 用于确定所述满足所述预设条件的像素点的集合； 第二像素值确定单元， 用于根据所述集合中的像素点的像素值，确定所述 待滤波处理的深度图像像素点的像素值。
31、根据权利要求 30的视频解码端， 其特征在于， 所述第二像素值确定单 元具体用于确定所述集合中的像素点的像素值的中值，将所述中值作为所述待 滤波处理的深度图像像素点的像素值。
32、根据权利要求 31的视频解码端， 其特征在于， 所述第二像素值确定单 元包括： 第二排序单元， 用于将所述集合中的像素点的像素值进行排序； 第一视频解码端计算单元， 用于当所述集合中的像素点的个数为奇数时， 将排序后处在中间的像素值作为所述待滤波处理的深度图像像素点的像素值； 第二视频解码端计算单元， 用于当所述集合中的像素点的个数为偶数时， 对排序后处在中间两个的像素值取平均值，将所述平均值作为所述待滤波处理 的深度图像像素点的像素值。
33、根据权利要求 31的视频解码端， 其特征在于， 所述第二像素值确定单 元包括： 第二去除单元， 用于将所述集合中像素值最大和最小的像素点去除； 第三视频解码端计算单元，用于确定所述集合中剩余的像素点的像素值的 平均值，将与所述平均值最接近的正整数作为待滤波处理的深度图像像素点的 像素值。
34、 根据权利要求 30的深度图像滤波装置， 其特征在于， 所述第二像素值 确定单元包括： 第四视频解码端计算单元，用于确定所述集合中的像素点的像素值的平均 值； 第二比较单元， 用于将所述平均值与所述待滤波处理的深度图像像素点 的重建像素值进行比较； 第五视频解码端计算单元， 用于当所述平均值大于所述待滤波处理的深 度图像像素点的重建像素值时将所述待滤波处理的深度图像像素点的重建像 素值与像素偏移值之和作为所述待滤波处理的深度图像像素点的像素值； 第六视频解码端计算单元， 用于当所述平均值小于所述待滤波处理的深 度图像像素点的重建像素值时，将所述待滤波处理的深度图像像素点的重建像 素值减去像素偏移值之差作为所述待滤波处理的深度图像像素点的像素值； 第七视频解码端计算单元， 用于当所述平均值等于所述待滤波处理的深 度图像像素点的重建像素值时，将所述平均值作为所述待滤波处理的深度图像 像素点的像素值。
35、 根据权利要求 29的视频解码端， 其特征在于， 还包括： 第二相邻区域确定单元，用于确定所述待滤波处理的深度图像像素点的相 邻区域。
36、 根据权利要求 29— 35中任一项所述的视频解码端， 其特征在于， 所述 预设条件包括以下条件中的至少一个： 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的空间距 离小于等于第一滤波阈值； 或者 所述待滤波处理的深度图像像素点与所述相邻区域中的像素点的深度图 像像素值的差值小于等于第二滤波阈值； 或者
所述待滤波处理的深度图像像素点位置所对应的视频图像的像素值与所 述相邻区域中的像素点的视频图像像素值的差值小于等于第三滤波阈值。
PCT/CN2012/084890 2011-11-23 2012-11-20 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置 WO2013075611A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/285,955 US9594974B2 (en) 2011-11-23 2014-05-23 Depth image filtering method, and depth image filtering threshold obtaining method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110376446.0A CN103139577B (zh) 2011-11-23 2011-11-23 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置
CN201110376446.0 2011-11-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/285,955 Continuation US9594974B2 (en) 2011-11-23 2014-05-23 Depth image filtering method, and depth image filtering threshold obtaining method and apparatus

Publications (1)

Publication Number Publication Date
WO2013075611A1 true WO2013075611A1 (zh) 2013-05-30

Family

ID=48469109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/084890 WO2013075611A1 (zh) 2011-11-23 2012-11-20 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置

Country Status (3)

Country Link
US (1) US9594974B2 (zh)
CN (1) CN103139577B (zh)
WO (1) WO2013075611A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010093350A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding using video information
US9058657B2 (en) * 2011-04-28 2015-06-16 Technologies Holdings Corp. System and method for filtering data captured by a 3D camera
CN107155109B (zh) * 2017-03-31 2021-01-01 武汉斗鱼网络科技有限公司 一种视频帧的滤波方法及装置
CN109242782B (zh) 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN108235775B (zh) * 2017-12-18 2021-06-15 香港应用科技研究院有限公司 具有伪边缘消除的基于块的边缘像素检测的系统和方法
KR20240032147A (ko) 2018-01-19 2024-03-08 인터디지털 브이씨 홀딩스 인코포레이티드 포인트 클라우드 프로세싱
CN108683920A (zh) * 2018-05-31 2018-10-19 杭州艾芯智能科技有限公司 一种深度数据的编码方法和解码方法
CN109598688A (zh) * 2018-12-06 2019-04-09 联想(北京)有限公司 一种处理方法及电子设备
CN110390656B (zh) * 2019-07-11 2021-05-25 Oppo广东移动通信有限公司 深度数据的滤波方法、装置、电子设备和可读存储介质
CN110378945B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110677557B (zh) * 2019-10-28 2022-04-22 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110880229B (zh) * 2019-12-02 2022-04-12 北京深测科技有限公司 一种地质灾害监测预警方法和系统
CN111260592B (zh) * 2020-03-17 2023-10-31 北京华捷艾米科技有限公司 一种深度图像去噪方法及装置
CN112446837A (zh) * 2020-11-10 2021-03-05 浙江大华技术股份有限公司 图像滤波方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1867075A (zh) * 2005-09-19 2006-11-22 华为技术有限公司 图像编码处理中的环路滤波方法
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101645168A (zh) * 2008-08-05 2010-02-10 普廷数码影像控股公司 用于平坦区域图像滤波的方法和设备
US20110128282A1 (en) * 2009-12-01 2011-06-02 Industrial Technology Research Institute Method for Generating the Depth of a Stereo Image
CN102202224A (zh) * 2011-06-22 2011-09-28 清华大学 用于平面视频立体转换的字幕去抖方法及字幕去抖装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006068025A1 (ja) 2004-12-20 2006-06-29 Nikon Corporation 画像処理方法
CN101322418B (zh) * 2005-12-02 2010-09-01 皇家飞利浦电子股份有限公司 图像信号的深度相关的滤波
US7706625B2 (en) 2006-06-09 2010-04-27 Siemens Aktiengesellschaft Trilateral filter for medical diagnostic imaging
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US20110026591A1 (en) * 2009-07-29 2011-02-03 Judit Martinez Bauza System and method of compressing video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1867075A (zh) * 2005-09-19 2006-11-22 华为技术有限公司 图像编码处理中的环路滤波方法
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101645168A (zh) * 2008-08-05 2010-02-10 普廷数码影像控股公司 用于平坦区域图像滤波的方法和设备
US20110128282A1 (en) * 2009-12-01 2011-06-02 Industrial Technology Research Institute Method for Generating the Depth of a Stereo Image
CN102202224A (zh) * 2011-06-22 2011-09-28 清华大学 用于平面视频立体转换的字幕去抖方法及字幕去抖装置

Also Published As

Publication number Publication date
US20140254937A1 (en) 2014-09-11
US9594974B2 (en) 2017-03-14
CN103139577A (zh) 2013-06-05
CN103139577B (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
WO2013075611A1 (zh) 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
EP2327219B1 (en) Reducing digital image noise
US7860167B2 (en) Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US9135683B2 (en) System and method for temporal video image enhancement
WO2017084258A1 (zh) 编码过程中的实时视频降噪方法、终端和非易失性计算机可读存储介质
US9635308B2 (en) Preprocessing of interlaced video with overlapped 3D transforms
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
US8320700B2 (en) Apparatus and method of estimating scale ratio and noise strength of encoded image
US9628674B2 (en) Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8594449B2 (en) MPEG noise reduction
TWI477153B (zh) 辨識區塊效應之技術
US8644636B2 (en) Method and apparatus for removing image blocking artifact by using transformation coefficient
US11310475B2 (en) Video quality determination system and method
WO2021012965A1 (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
US9268791B2 (en) Method and apparatus for image processing and computer readable medium
WO2016033725A1 (zh) 视频编码中的块分割方式处理方法和相关装置
WO2007132792A1 (en) Image processing apparatus, method and integrated circuit
TWI741305B (zh) 圖像處理方法和裝置
US20140254938A1 (en) Methods and apparatus for an artifact detection scheme based on image content
US20070104382A1 (en) Detection of local visual space-time details in a video signal
US20130141531A1 (en) Computer program product, computer readable medium, compression method and apparatus of depth map in 3d video
US8831354B1 (en) System and method for edge-adaptive and recursive non-linear filtering of ringing effect
US11308584B2 (en) Method and apparatus for denoising video content
CN114584831B (zh) 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12852430

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12852430

Country of ref document: EP

Kind code of ref document: A1