WO2014044027A1 - 一种放大图像的方法 - Google Patents

一种放大图像的方法 Download PDF

Info

Publication number
WO2014044027A1
WO2014044027A1 PCT/CN2013/071098 CN2013071098W WO2014044027A1 WO 2014044027 A1 WO2014044027 A1 WO 2014044027A1 CN 2013071098 W CN2013071098 W CN 2013071098W WO 2014044027 A1 WO2014044027 A1 WO 2014044027A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
class
image
group
pixels
Prior art date
Application number
PCT/CN2013/071098
Other languages
English (en)
French (fr)
Inventor
干宗良
朱秀昌
夏青
张园园
石腾
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2014044027A1 publication Critical patent/WO2014044027A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Definitions

  • the invention belongs to the field of computers, and relates to a method and device for magnifying images.
  • Image resolution is a measure of the imaging system's ability to resolve detail in an output image. Higher resolution means higher pixel density, finer detail, and more information.
  • the image resolution often cannot meet the requirements of certain application scenarios. For example, in 3D video coding, the bandwidth is limited by the transmission bandwidth, and the depth map is usually reduced at the server. Zooming in on the terminal, which uses image magnification techniques to improve the resolution of the image.
  • Other usage scenarios also require high real-time requirements, such as video conferencing and video call image enlargement. If the real-time requirements are not met, the user experience will be affected. Therefore, a fast image enlargement technique is required to improve the speed while ensuring the effect.
  • the image can be regarded as a kind of signal, and the error between the enlarged image and the original image before the reduction of the original depth map on the server side is regarded as a kind of noise, so that the image can be enlarged.
  • a filtering process is added to the process to remove noise.
  • Non-local (nl) filters are currently recognized as the best denoising filters. At present, some non-local filters are used for image denoising, and non-local filters based on interpolation algorithms are the most widely used, but there is a problem of high computational complexity in the construction of non-local filter parameters.
  • the invention solves the problem that the image enlargement speed is affected by the high computational complexity of the non-local filter parameter construction process:
  • an embodiment of the present invention provides an image enlargement method, the method comprising: generating a high resolution (hr) image by using a low resolution (lr) image by an image interpolation algorithm, and performing edge on the hr image Detecting a pixel point of an edge in the image; and dividing the pixel point of the hr image into a lr pixel class and a hr pixel class according to a pixel characteristic, the lr pixel class including a pixel point from the lr image, the hr pixel class Include a pixel point generated by an interpolation algorithm; determine, according to the pixel point of the edge, a pixel point that is both an edge and belongs to a pixel of the hr pixel class, and respectively calculate the determined pixel point of each hr pixel class and the lr a similar distance of the pixel points in the pixel class, and acquiring pixel points in the lr pixel class that satisfy similarity in the similarity
  • the hr image is divided into lr pixels according to pixel characteristics.
  • the class and the hr pixel class specifically include: classifying the pixel points from the lr image in the hr image calculated by the interpolation algorithm into the first group of lr pixel classes, and generating the first group of lr pixel class images;
  • Each pixel in the lr pixel class is a reference point, and the hr image is divided into a plurality of N x N pixel blocks according to a predetermined division rule, and each N x N pixel block has the same positional relationship with respect to the reference point.
  • the total image hr N 2 -l hr pixel groups based generates N 2 -1 hr pixel-based image groups; the first group of pixel image or lr N 2 -
  • Each pixel in one set of hr pixel-type images has coordinates in respective pixel-type images and coordinates in the hr image.
  • the pixel points according to the edge determine a pixel point that is both an edge pixel and belongs to the hr pixel class, where When it is specifically determined that the pixel whose coordinates are (the edge of A satisfies the hr pixel class), the similarity distance between the pixel point (A ) of the determined hr pixel class and the pixel point in the lr pixel class is calculated.
  • the process specifically includes: determining, according to the pixel point coordinates ( , ⁇ ) of the edge, that the pixel points in the hr pixel class are determined to belong to the hr pixel class image of the group, and The coordinates in the hr pixel class image of the first group are (x fr , ), where [2, N 2 ] ; respectively calculating each pixel point in the first group of lr pixel class images and the hr pixel class image of the first group The similarity of the pixel points whose coordinates are (x k , y k ).
  • a third possible implementation when the coordinates of the first set of lr pixel-like images are ''pixel points' and the first set of hr pixel-type images are specifically calculated
  • the similar distance of the pixel with the middle coordinate is ( ⁇ ⁇ )
  • the following is: obtaining the first pixel block centered at ( , ) in the hr image and the second pixel block centered on ( ⁇ ), where ( Is the coordinates of the first set of lr pixel-like images whose coordinates are ( ⁇ , ) correspond to the coordinates in the hr image; where ⁇ , 4) are the pixels of the kth group of hr pixel-like images with coordinates (' ⁇ ) a point corresponding to the coordinates in the hr image; acquiring, in the first group of lr pixel class images, all the pixels belonging to the first group of lr pixel classes in the first pixel block, and classifying the pixels into the third pixel block
  • the fourth possible implementation manner when the amplification factor ⁇ is 2, the first group is 1r
  • the first group is 1r
  • the hr image is divided into a plurality of pixel blocks according to a predetermined division rule, and the pixels of each pixel block have the same positional relationship with respect to the reference point.
  • the points are assigned to the same group of hr pixels, and the hr image has a total of N 2 -l groups of hr pixels, and generates N 2 -l groups of hr pixel-like images, specifically including: each pixel in the first group of lr pixels Point as a reference point, dividing the hr image into pixel blocks of 2 ⁇ 2 in a clockwise direction; in each 2 ⁇ 2 pixel block divided based on the reference point, using the reference point as a reference In the hour hand direction, the pixels of the remaining three hr pixels except the reference point in the respective 2 ⁇ 2 pixel blocks are respectively assigned to the second group hr pixel class, the third group hr pixel class, and the fourth group hr.
  • Pixel class respectively according to the first group of lr pixel class, the second group of hr pixel class,
  • the first group of lr pixel class images, the second group of hr pixel class images, the third group of hr pixel class images, and the fourth group of hr pixels are generated by the pixels included in the three sets of hr pixel classes and the fourth group of hr pixel classes. image.
  • the third pixel block and the fourth pixel block size are both M x M, and the third pixel is calculated.
  • the pixel points of each hr pixel class corresponding to the calculation are obtained, and the similar distances in the lr pixel class are similar to each other.
  • the pixel of the trait includes: corresponding to the pixel points of each hr pixel class determined by the calculation, obtaining P pixels with the smallest similar distance in the lr pixel class as pixel points satisfying similarity, where P is a natural number greater than 1 .
  • the pixel points in each determined hr pixel class and corresponding pixel points in a lr pixel class satisfying similarity are not constructed.
  • the parameter of the local nl filter specifically includes: determining, according to the first pixel point in the determined hr pixel class and the pixel point in the P lr pixel class that satisfies the similarity of the first pixel point, as a parameter, Calculating weights of pixel points of the P lr pixel classes; storing coordinates of the first pixel point corresponding to the hr image, and coordinates of the P pixels of the Lr pixel class corresponding to coordinates in the hr image Weights of pixels of the P lr pixel class; processing the remaining pixels in each of the determined hr pixel classes according to the method of the first pixel point in the hr pixel class.
  • the filtering, by using an nl filter, to initially obtain an enlarged image by using an amplification algorithm, to obtain a final enlarged image specifically includes: acquiring an nl filter The coordinates of the first pixel point stored in the parameter, the pixel points of the P lr pixel class correspond to the coordinates in the hr image and the weights of the pixel points of the P lr pixel class; P pixels of the lr pixel class obtain corresponding P pixel values in the initial enlarged image corresponding to the coordinates in the hr image, and obtain weighting calculation results according to weights of the pixel points of the P lr pixel classes; And the weighted calculation result replaces the pixel value corresponding to the first pixel in the initial enlarged image; and the pixel processing of the other hr pixel class saved in the parameter of the n1 filter is sequentially performed according to the first pixel method Enlarge the image.
  • the pixel points based on the P lr pixel classes acquire an initial enlarged image corresponding to coordinates in an hr image Corresponding P pixel values, and obtaining a weighting calculation result according to the weights of the pixel points of the P lr pixel classes, specifically comprising: P and the first pixel point saved according to parameters of the nl filter Coordinates of pixel points satisfying similarity, and obtaining pixel values on the P coordinates in the enlarged image
  • a second aspect of the present invention provides an enlarged image apparatus, including: a pixel classification module, configured to divide pixel points of the hr image into a lr pixel class and an hr pixel class according to pixel characteristics, wherein the lr pixel class includes from a pixel point on the lr image, the hr pixel class includes a pixel point calculated by an interpolation algorithm; and a similar distance calculation module, configured to determine, according to the pixel point of the edge, a pixel point that is both an edge and belongs to the hr pixel class a pixel point, respectively calculating a similar distance between a pixel point of each hr pixel class and a pixel point in the lr pixel class; a similar point obtaining module, configured to acquire a pixel point in which a similar distance in the lr pixel class satisfies the similarity; a parameter generating module of the local nl filter, configured to construct a parameter of the non-local nl filter
  • the pixel classification module further includes: a pixel class image generation submodule, configured to calculate a pixel point from the lr image in the hr image generated by the interpolation algorithm It is classified into the first group of lr pixel classes, and generates a first group of lr pixel class images; taking each pixel point in the first group of lr pixel classes as a reference point, dividing the hr image into a plurality of N x N pixels according to a predetermined division rule a block, and dividing each pixel block of N x N with the same positional relationship with respect to the reference point into the same group of hr pixels, wherein the hr image has N 2 -l groups of hr pixels, and Health An N 2 -l group hr pixel class image; wherein, ⁇ is a magnification of the interpolation algorithm, ⁇ is a natural number greater than 1; the first group of lr pixel class images and N
  • the similarity distance calculation module further includes a mapping generation module, configured to calculate a coordinate to the ⁇ pixel point and the first group in the first group of lr pixel class images.
  • the specific pixel is: the first pixel block centered on ( ⁇ ' 1) and the second pixel block centered on (A' in the hr image, wherein ⁇ i ⁇ i) is the coordinate of the pixel in the first group of lr pixel-like images with coordinates '' corresponding to the coordinates in the hr image; where (A' is the pixel of the kth group of hr pixel-like images with coordinates ') Coordinates in the hr image; all pixels in the first pixel block belonging to the first group of lr pixel classes are acquired in the first group of lr pixel class images, and are classified into third pixel blocks; Obtaining all the pixels belonging to the first group
  • the invention adopts the above method and device for magnifying an image, according to the pixel characteristics in the image after the interpolation algorithm is divided into a high resolution pixel type image and a low resolution pixel type image, only by calculating high resolution pixel class and high resolution.
  • the similarity of the pixels of the pixel class is used to generate the parameters of the nl filter, which simplifies the computational complexity of the nl filter parameters.
  • FIG. 1 is a schematic flow chart of a method for enlarging an image according to an embodiment of the present invention
  • 2 is a schematic flow chart of lr pixel class and hr pixel class division according to an embodiment of the present invention
  • FIG. 3 is a schematic structural flow diagram of nl filter parameters when a magnification factor is 2 according to an embodiment of the present invention
  • FIG. 4 is a schematic flow chart of a method for enlarging an image according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of an enlarged image apparatus according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of an enlarged image device according to an embodiment of the present invention.
  • Figure 7 is a schematic view showing the hr image divided into a plurality of 2 X 2 pixel blocks in a clockwise direction in the present invention
  • Figure 8 is a schematic diagram showing the similarity of pixel points in the hr image in the present invention.
  • FIG. 9 is a schematic diagram showing the relationship between the pixel similarity in the hr image and the image in each pixel class in the hr image;
  • FIG. 10 is a schematic diagram showing the relationship between pixel points for calculating similarity in the hr image according to the present invention.
  • Figure 11 is a diagram showing the relationship of a parameter of an nl filter according to an embodiment of the present invention.
  • the low resolution image is the original image
  • the high resolution image is the image that is enlarged by the interpolation algorithm compared to the original image, wherein the low resolution and the high resolution are only limited as the difference between the two, not for the image. Special requirements for resolution size.
  • the present invention provides an embodiment 100 of an enlarged image method.
  • the method of the present embodiment is based on generating a high resolution (hr) image by using an image interpolation algorithm for a low resolution (lr) image.
  • the image is edge-detected to obtain the pixel points of the edges in the image, as shown in Figure 1, the process is as follows:
  • the pixel points of the hr image are classified into a lr pixel class and a hr pixel class according to a pixel characteristic, where the lr pixel class includes a pixel point from an image of the lr, and the hr pixel class includes a calculation generated by an interpolation algorithm. pixel.
  • the pixel characteristic is specifically: whether the pixel point included in the hr image generated by the interpolation algorithm is a pixel point from the lr image or an interpolation pixel point generated by an interpolation algorithm.
  • the lr pixel class can be described as consisting of pixel points in the lr image.
  • the hr image is divided into a lr pixel class and a hr pixel class according to pixel characteristics, and specifically:
  • the pixel points from the lr image in the hr image calculated by the interpolation algorithm are classified into the first group of lr pixel classes, and the first group of lr pixel class images are generated; the pixels in the first group of lr pixels are used as reference Pointing, dividing the hr image into a plurality of N x N pixel blocks according to a predetermined division rule, and dividing the pixel blocks of each N x N pixel block having the same positional relationship with respect to the reference point into the same group hr pixel class , the total image hr N 2 -l sets of pixels based hr, N 2 -l generating pixel-based image sets hr; wherein preferred that the first set of lr and generating said pixel-based images generated N 2 -1
  • the group hr pixel class images are all generated in the same order according to the same resolution (that is, one of the pixel blocks on the same coordinate in the different pixel class image belongs to the pixel block belonging to the
  • Each of the pixels in the first set of lr pixel-like images and the N 2 - 1 set of hr pixel-like images respectively have coordinates in respective pixel-type images and coordinates in the hr image.
  • the predetermined dividing rule is specifically: taking each pixel point in the first group of lr pixels as a reference point or a starting point, clockwise and pressing ⁇ X ⁇
  • the hr image is divided into pixel blocks as a size, and each pixel block is sequentially divided into N 2 -1 pixel points other than the reference point in a clockwise spiral order from the outside to the inside to generate N 2 -l groups of hr pixels.
  • Class image (during the relationship between the lr pixel class and the lr image, the lr image can be directly used as the lr pixel class image).
  • the predetermined division rule is: taking each pixel point in the first group of lr pixels as a reference point or a starting point, pressing counterclockwise and pressing ⁇ X ⁇ as The size of the hr image is divided into blocks of pixels, and each pixel block is sequentially divided into N 2 -1 pixel points other than the reference point in a counterclockwise spiral order from the outside to the inside to generate N 2 -1 group hr pixels. image.
  • the predetermined dividing rule in practice is not limited to the above manner, and may be other according to the interpolation magnification factor ⁇ , and the hr image is divided into pixel blocks according to the size of the , ⁇ , for example, the outer spiral order may be used or Spiral order from inside to outside, as shown in Figure 7.
  • This embodiment is not limited to the above two modes, wherein the description of the image in the first group of lr pixels
  • the prime point is the reference point because the pixel points belonging to each group of hr pixel classes in each pixel block divided from hr have the same positional relationship with the pixel points of the lr pixel class, and specifically may have the same
  • the point of the characteristic is taken as a reference, and the description herein does not specifically limit the selection of the reference point.
  • the calculation method of the similar distance of the present invention is preferably: for calculating pixel points in the hr image
  • the method of similar distance to the pixel point XkJ is to take the first pixel block and the second pixel block respectively around the two pixel points, and first divide the hr image into the first group of lr pixel class images and the second according to the magnification factor N.
  • all the pixels belonging to the first group of lr pixel classes are: because each pixel point in the hr pixel class image has coordinates in the pixel class of the respective pixel class and The coordinates in the image may be obtained according to the correspondence relationship, and all the pixels in the first pixel block belonging to the first group of lr pixels;
  • Calculating an absolute error of the third pixel block and the fourth pixel block and obtaining a first absolute error sum, and calculating an absolute error of the fifth pixel block and the sixth pixel block and obtaining a second absolute error sum, the first absolute error sum the first pixel and the pixel-based image of the second group hr and the sum of absolute error, to obtain the first image class lr pixel with coordinates ( ⁇ ⁇ 5) is similar to the distance between the coordinates of pixels.
  • the names of the third pixel block, the fourth pixel block, the fifth pixel block, and the sixth pixel block are only for convenience to distinguish each other.
  • the P pixels having the smallest similar distance from each pixel point in the lr pixel class to a certain pixel point of the determined hr pixel class are pixel points satisfying the similarity.
  • the P is determined according to an empirical value, such as: Preferably, when the magnification is 2, the preferred value of P is 5;
  • the parameters of the non-local nl filter are configured according to the determined pixel points in each hr pixel class and the pixel points in the lr pixel class corresponding to the similarity, including:
  • the remaining pixels in the determined hr pixel class are processed, and the pixel corresponding to the edge is determined according to the pixel of the edge and belongs to the hr pixel.
  • the pixel points of the P lr pixel classes corresponding to the similarity of the pixel points of the class correspond to the coordinates in the hr image and the corresponding weights, and the pixel points in the hr pixel class corresponding to the determined are corresponding to the hr image.
  • the filtering and initializing the image by the amplification algorithm by using the nl filter to obtain a final enlarged image is specifically:
  • the pixels of the other hr pixel class stored in the parameters of the nl filter are sequentially processed according to the first pixel method, and then the ln filtering of the initial enlarged image is completed.
  • the embodiment 100 divides the hr image generated by the interpolation algorithm into the lr pixel class and the hr pixel class according to the pixel characteristics, and avoids calculating the pixel points of the hr pixel class which have no critical influence on the final solution similar distance in the existing algorithm.
  • the calculation of the absolute error sum between the two improves the efficiency of the existing algorithm based on the accuracy of the calculation.
  • the following embodiment 200 is a detailed description of the division of the lr pixel class and the hr pixel class in the present invention, wherein the hr image generated by the interpolation image algorithm with a magnification of 2 times is an operation object, as shown in FIG. 2, specifically including:
  • All the pixels marked with the number 1 in FIG. 7 are collectively referred to as the pixel class 1 or the lr pixel class, and the pixel value of the pixel at the corresponding position is the same as the pixel value of the pixel corresponding to the position in the lr image, and all are marked with numbers. 2.
  • the pixels of number 3 and number 4 are respectively called pixel class 2, pixel class 3 and pixel class 4, which are all attributed to the hr pixel class, and the pixel value of the pixel is calculated by the interpolation algorithm of the pixel point in the lr image. get.
  • the positions of the remaining pixels in the predetermined division rule are divided into pixel class 1, pixel class 2, pixel class 3 or Pixel class 4;
  • the omission process can also be done because the remaining pixels are points on the border in some images, and the nl filtering process is mainly to increase the image edge effect. This causes the remaining pixels of the pixel block that are not divided into 2 x 2 blocks according to the stated rule. This may be caused by the fact that the pixel on the image frame is not completely divided into 2 x 2 pixel blocks when the division rule specifies. 5202.
  • the image L3 extracts the pixel points of the pixel class 4 to generate a fourth group hr pixel class image L4; the generated lr pixel class image and the hr pixel class image are as shown in FIG.
  • the method for generating each pixel type image is that each pixel group has a pixel point generated according to the order of 49 prime blocks shown in FIG. 7 according to the order of the pixel blocks to which it belongs, from left to right and from top to bottom.
  • the generated four pixel class images are shown in FIG.
  • the pixel class image L1, the pixel class image L2, the pixel class image L3, and the pixel class image L4 have the same resolution, and the pixel points in each pixel class image have their own coordinates in the associated pixel class image and the hr image. Corresponding coordinates in .
  • the coordinates of the coordinate origin of each pixel class image in the hr image are saved, so that the pixel point coordinates in each pixel class image and the same pixel point coordinates in the hr image can be converted in combination with the division rule and the magnification.
  • the pixel of the first group of lr pixel images with coordinates (1, 1) is converted to the pixel coordinates of the hr image.
  • the first is based on the pixel points of pixel class 1 as the reference point, and is divided clockwise.
  • the hr image and each group of pixel class images can also be distinguished, and the groups are saved correspondingly.
  • represents that there is no corresponding coordinate point, wherein the number of pixels according to the edge in the hr image is used as the foot mark, and ⁇ ⁇ ) is the pixel class image to which the edge hr pixel belongs.
  • the order in which the groups appear in the corresponding hr pixel class image column in the table is used as the footer.
  • each pixel type image is completed by the embodiment 200, and the pixel type image is generated according to the characteristics of the interpolation algorithm, and the hr pixel class of the hr image has the same offset relationship with the pixel points of the lr pixel class. Go to the same set of hr pixel class images.
  • the embodiment is implemented in the magnification 2, those skilled in the art can use the method to be used in other magnifications according to the technical content already disclosed in the embodiment, and details are not described herein again.
  • the subsequent embodiment 300 will further simplify the existing similar distance calculation on this basis.
  • An embodiment 300 of an enlarged image method provided by the present invention is based on a method embodiment
  • the embodiment relates to a pixel block not involved in the embodiment 200.
  • the pixel block in the embodiment 200 is used to divide the pixel class, and the pixel block used to calculate the similar distance between the pixels is used in this embodiment.
  • the essential difference between the pixel blocks between the two is that the rules and uses of the division are different.
  • the magnification in this embodiment is 2 times. Now, the speed of the embodiment is described by the method of constructing the parameters of the non-local nl filter in the amplification algorithm. The flowchart is shown in FIG. For:
  • the pixel coordinates and coordinates calculated as B_Ll((cx-1)*2+1, (cy-1)*2+l) in the prior art are B_L2 ((x) -1) Schematic diagram of the similarity of pixels of *2, (yl)*2+l).
  • B_L1 ((x) -1) Schematic diagram of the similarity of pixels of *2, (yl)*2+l).
  • B_L2((xl)*2, (yl)*2+l) is a second pixel block B_L2 composed of 7 pixel points as a side length, and then the pixel block B_L1 and the pixel block B-L2 Corresponding position pixel points, that is, 49 pixel points respectively obtain absolute error sum, then the absolute error sum value is the coordinate B_Ll((cx-l)*2+l, (cy-l)*2+l)
  • the pixel and coordinates are B_L2((xl)*2, (yl)*2+l) similar distances between pixels.
  • the present invention finds that the pixel is calculated by analyzing the calculation process of the similar distance in the prior art described above.
  • the real effective in the process of 1 and the similar distance of pixel 2 is actually the absolute error sum of the matrix formed by pixel 1 and pixel 2 in B-L1 and the matrix composed of pixel 2 and pixel 1 in B-L2;
  • Pixel point 3 and pixel point 4 are calculated by an interpolation algorithm (other magnification algorithms can also be used in the enlarged image), and the calculation process of the absolute error sum of pixel point 3 and pixel point 4 increases the overall calculation amount. In the case of this, it does not bring about an increase in the accuracy of the similar distance), and the method of the present invention is further obtained based on the analysis.
  • each reference point is a pixel point originally belonging to the lr image in the embodiment; and each 2 ⁇ 2 formed based on the reference point In the pixel block, each reference point is recorded as a first group of lr pixels, and the remaining three hr pixels of the 2 ⁇ 2 pixel blocks are recorded in a clockwise direction as a second group of hr pixels and a third group of hr pixels.
  • the first absolute error sum operation is performed for all pixel points 2 in the 1 and B L2 pixel blocks, and all pixel points 2 in the B L1 pixel block and all pixel points 1 in the B-L2 pixel block are subjected to the second absolute Error and operation), and the generated first group of lr pixel class image L1 and the second group of hr pixel class image L2 each contain only pixel 1 and pixel 2 of the same class, thus completing LI (cx, xy)
  • the coordinates in FIG. 8 are B_Ll((cx-1)*2+1, (cy-l)*2+l) pixel points and the coordinates are B-L2 ((x) -1) *2, (yl)*2+l) the similarity between pixels, LI (cx, xy) and Ll(x, y) in pixel class 1 above and pixel class 2
  • the confirmation of the L2 (x, y) and L2 (cx-1, cy) coordinates may be from the B-L1 pixel block and the B-L2 pixel block to the first group of lr pixel class image L1 and the second group of hr pixel class image L2
  • the mapping relationship is obtained, and the mapping relationship may use any one of S203.
  • the parameter method for constructing the nl filter specifically includes:
  • the configuration of the parameters of the nl filter is completed, and the parameters of the filter may exist in the form of FIG. 11; wherein the first column is the pixel point of the hr image which is both the edge pixel and the hr pixel class, and the second The column is the coordinate of the P lr pixel class points satisfying the similarity in the hr image, and the third class is the weight of the P lr pixel class points satisfying the similarity.
  • the P value is preferably 5.
  • An embodiment 300 of an enlarged image method provided by the present invention the embodiment adopts a specific method
  • the flow shows the application of the parameter embodiment of the above nl filter in the enlarged image algorithm, and performs edge diffusion processing after extracting the pixel points of the edge, so that the filtering effect of the nl filter is further improved.
  • a 2x magnification interpolation algorithm is used as a description object, as shown in FIG. 4, the flow is specifically as follows:
  • the image interpolation algorithm may be a nearest neighbor interpolation algorithm, a bilinear interpolation algorithm, a bicubic interpolation algorithm, or an adaptive spline interpolation algorithm.
  • the edge detection method may be, but not limited to, any one of a Roberts, Sobel, Prewitt, LOG or Canny operator.
  • edge diffusion processing on an edge contour formed by pixels of edges in the image.
  • edge diffusion can be performed in various ways, such as using a pixel point of each edge as a center point, and diffusing according to a specific shape, all points in the shape belong to the diffused edge, and the specific
  • the shape can be a diamond, a square, or the like.
  • the size of the specific shape is preferably taken to be a minimum odd number greater than or equal to the magnification.
  • the side length of the square is 3 pixels; for example, the square is used and the magnification is 3
  • the square has a side length of 3 pixels; if the square is used and the magnification is 4 times, the square has a side length of 5.
  • the parameters of the nl filter are constructed by steps S301-S304 in method embodiment 300.
  • ( ⁇ ) is the coordinate of the first group of lr pixel classes
  • ( , ⁇ ) is the coordinate of the first group of hr pixel classes
  • the model acquisition methods of FIG. 8 and FIG. 9 are as follows:
  • the magnification of the embodiment is 2, and a corresponding model is generated for the third pixel block, the fourth pixel block, the fifth pixel block, and the sixth pixel block formed as described above, and the details are as follows:
  • the corresponding pixel point in the L3 or pixel class image L4 the coordinates of the pixel point obtained by the recording are (X, ; traversing the pixel points in the first group of lr pixel classes, and calculating the traversal to the (X, and the
  • the similarity distance of a set of pixels of the lr pixel class the process is specifically as follows:
  • the P pixel points with the smallest similarity distance from each pixel in the lr pixel class to a pixel of the hr pixel class are pixels satisfying the similarity.
  • the P value is preferably 5.
  • the amplification algorithm may be a nearest neighbor interpolation algorithm, a bilinear interpolation algorithm, a bicubic interpolation algorithm, or an adaptive spline interpolation algorithm.
  • the weighted calculation result is obtained according to the weights of the pixel points of the P lr pixels, and the specific method is:
  • the present invention provides an embodiment 500 of an enlarged image device.
  • the structure of the device is as shown in FIG. 5, and specifically includes:
  • the pixel classification module 101 is configured to divide the pixel points of the hr image into a lr pixel class and a hr pixel class according to pixel characteristics, where the lr pixel class includes pixel points from the lr image, and the hr pixel class includes An interpolation algorithm calculates the generated pixel points;
  • the similarity distance calculation module 102 is configured to determine, according to the edge image, pixel points that are both edge pixels and belong to the pixel of the hr pixel class, and respectively calculate the determined pixel points of each hr pixel class and the pixel points in the lr pixel class Similar distance
  • the similarity point obtaining module 103 is configured to acquire a pixel point in which the similar distance in the lr pixel class satisfies the similarity;
  • the parameter generating module 104 of the non-local nl filter is configured to: according to the determined pixel point and corresponding in each hr pixel class Pixels in the lr pixel class satisfying the similarity construct parameters of the non-local nl filter;
  • the filtering module 105 is configured to use the parameter filtering of the nl filter to initially enlarge the image through an amplification algorithm to obtain a final enlarged image.
  • the pixel classification module 101 further includes: a pixel class image generation sub-module 201, configured to classify pixel points from the lr image in the hr image generated by the interpolation algorithm into a first group of lr pixel classes, and generate a first group of lr pixel class images;
  • a pixel class image generation sub-module 201 configured to classify pixel points from the lr image in the hr image generated by the interpolation algorithm into a first group of lr pixel classes, and generate a first group of lr pixel class images;
  • Each pixel in the lr pixel class is a reference point, and the hr image is divided into a plurality of N x N pixel blocks according to a predetermined division rule, where N is a magnification of the interpolation algorithm, and N is a natural number greater than 1;
  • Pixels of x N having the same positional relationship with respect to the reference point are grouped into the same group of hr pixels,
  • the similarity distance calculation module 102 further includes a mapping generation module 202, configured to acquire a first pixel block centered on ( , ) in the hr image and a second pixel block centered on (; ⁇ ,), where ⁇ ) is the coordinate of the pixel in the first group of lr pixel images with coordinates ( ⁇ ,, ) corresponding to the coordinates in the hr image; where (; ⁇ ⁇ ) is the coordinate of the kth group of hr pixel images (x fr , The pixel points correspond to the coordinates in the hr image;
  • All the pixels belonging to the group hr pixel class in the first pixel block are acquired in the first hr pixel class image, and are classified into a sixth pixel block.
  • the similarity distance calculation module 102 is further configured to calculate an absolute error of the third pixel block and the fourth pixel block and obtain a first absolute error sum, and calculate an absolute error sum of the fifth pixel block and the sixth pixel block. Obtaining a second absolute error sum, adding the first absolute error and the second absolute error to obtain a pixel point of the first group of lr pixel-like images with coordinates '') and the coordinates of the first group of hr pixel class images are pixel points Similar distance between.
  • the present invention provides an enlarged image device embodiment 600, as shown in FIG.
  • At least one processor (301), such as a CPU, at least one network interface 304 or other communication interface 303, memory 305, and at least one communication bus 302 are included.
  • Communication bus 302 is used to implement between these devices Connect communication.
  • the optional user interface 903 can be a display, a keyboard or a pointing device.
  • the memory 305 may include a high speed RAM memory, and may also include a non-volatile memory such as at least one disk memory.
  • the memory 305 can optionally include at least one storage device located remotely from the aforementioned CPU 302. In some embodiments, the memory 305 stores the following elements, modules or data structures, or a subset thereof, or their extension set:
  • Operating system 306 containing various programs for implementing various basic services and processing hardware-based tasks
  • the application module 307 includes the following module combinations: a pixel classification module 101, a similarity distance calculation module 102, a similarity point acquisition module 103, a non-local nl filter parameter generation module 104, and a filtering module 105.
  • the functions of the above modules may refer to FIG. 3 or For the description of the working principle diagram of FIG. 4, reference may also be made to the description part of FIG. 5; details are not described herein again.
  • RAM random access memory
  • ROM read only memory
  • EEPROM electrically programmable ROM
  • EEPly erasable programmable ROM registers
  • hard disk hard disk
  • removable disk CD-ROM
  • the invention is not limited to this.
  • Various equivalent modifications and alterations to the embodiments of the present invention may be made by those skilled in the art without departing from the spirit and scope of the invention.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放大速度问题,提供了一种放大图像的方法,包括:将所述低分辨率hr图像的像素点按像素特性分为低分辨率lr像素类和hr像素类;依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点,分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离,并获取lr像素类中相似距离满足相似性的像素点;构造非局部nl滤波器的参数;其中,仅通过计算高分辨率像素类与高分辨率像素类的像素点的相似距离来生成nl滤波器的参数,简化了nl滤波器参数的计算复杂度。

Description

一种放大图像的方法
本申请要求于 2012 年 09 月 18 日提交中国专利局、 申请号为 201210346575.X, 发明名称为 "一种放大图像的方法" 的中国专利申请的优先 权, 其全部内容通过引用结合在本申请中。
技术领域
本发明属于计算机领域, 涉及一种放大图像方法及其装置。
背景技术
随着多媒体技术和计算机网络技术的发展, 图像信息在人们工作、 学习和 生活中发挥越来越重要的作用。图像分辨率是成像系统对输出图像细节分辨能 力的一种度量, 分辨率越高意味着像素密度越高, 细节越精细, 提供的信息也 越丰富。 然而由于成像仪器本身物理属性的限制以及外界环境条件的干扰, 图 像分辨率往往不能满足某些应用场景的要求, 比如 3D视频编码中, 受传输带 宽限制, 通常将深度图在服务端进行缩小, 在终端进行放大, 这其中用到了图 像放大技术来提高图像的分辨率。 另外一些使用场景还对实时的要求很高, 例 如视频会议、视频通话的图像放大,如果不能满足实时的要求会影响用户体验, 因此需要快速的图像放大技术在保证效果的同时提高速度。
早期的图像放大方法大都不能较好的还原图像中人眼较为敏感的边缘和 紋理。 比如上述 3D视频编码中, 可以把图像看做一种信号, 并且把放大后的 图像与原来深度图在服务端进行缩小前的源图之间的误差视为一种噪声,因此 可以在图像放大过程中加入滤波过程来去除噪声。
非局部 (non-local, nl )滤波器是目前公认的去噪效果最好的滤波器。 目 前已经有一些图像放大中使用非局部滤波器来去噪,其中又以基于插值算法的 非局部滤波器应用最为广泛,但是非局部滤波器参数构造过程中却存在计算量 高的问题。
发明内容
本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放 大速度问题:
第一方面, 本发明实施例提供了一种图像放大方法, 该方法包括: 将低分 辨率 (lr)图像通过图像插值算法生成高分辨率 (hr)图像,对所述 hr图像进行边缘 检测获取图像中边缘的像素点; 将所述 hr图像的像素点按像素特性分为 lr像 素类和 hr像素类, 所述 lr像素类包含来自于 lr图像上的像素点, 所述 hr像素 类包含经过插值算法计算生成的像素点;依据所述边缘的像素点确定既是边缘 的像素点且归属于 hr像素类的像素点, 分别计算所述确定的各 hr像素类的像 素点与所述 lr像素类中的像素点的相似距离, 并获取 lr像素类中相似距离满 足相似性的像素点; 依据所述确定的各 hr像素类中的像素点和对应满足相似 性的 lr像素类中的像素点构造非局部 nl滤波器的参数; 利用所述 nl滤波器过 滤经过放大算法初始放大的图像从而得到最终的放大图像。
结合第一方面的第一种可能的实现方式中,在所述插值算法的放大倍数为 N时, 其中, N为大于 1的自然数, 则所述将所述 hr图像按像素特性分为 lr 像素类和 hr像素类, 具体包括: 将经过插值算法计算生成的 hr图像中来自于 lr图像上的像素点归为第一组 lr像素类,并生成第一组 lr像素类图像; 以第一 组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像划分成多个 N x N的像素块,并将各 N x N的像素块相对于所述参考点具有相同的位置关系的 像素点分到同一组 hr像素类中, 所述 hr图像中共有 N2 -l组 hr像素类, 生成 N2 -1组 hr像素类图像; 所述第一组 lr像素类图像和 N2 -1组 hr像素类图像中 的各像素点分别拥有在各自所属的像素类图像中的坐标以及在 hr图像中的坐 标。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中, 所 述依据所述边缘的像素点确定既是边缘的像素点且归属于 hr像素类的像素点, 其中, 当具体确定出坐标为(A 的边缘的像素点满足归属于 hr像素类时, 则 计算所述确定的 hr像素类的像素点(A )与所述 lr像素类中的像素点的相似距 离的过程, 具体包括: 依据所述边缘的像素点坐标 ( ,Γ) , 在判断 ( )属于 hr像素类中的像素点后, 确定所述像素点具体归属于第 组的 hr像素类图像, 并且在所述第 组的 hr像素类图像中的坐标为(xfr, ) ,其中 [2, N2 ] ; 分别计 算第一组 lr像素类图像中各像素点与所述第 组的 hr像素类图像中坐标为 (xk, yk)的像素点的相似距离。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中, 当 具体计算到第一组 lr像素类图像中坐标为 ' )像素点与第 组 hr像素类图像 中坐标为(χ^Λ)的像素点的相似距离时, 具体为: 获取 hr图像中以( , )为中 心的第一像素块与 (^Λ)为中心的第二像素块, 其中 ( Α)是第一组 lr像素类 图像中坐标为(χ, )的像素点对应在 hr图像中的坐标;其中 ^^,4)是第 k组 hr 像素类图像中坐标为( 'Λ)的像素点对应在 hr图像中的坐标; 在第一组 lr像 素类图像中获取所述第一像素块中所有归属于第一组 lr像素类的像素点,并归 为第三像素块;在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 k组 hr像素类的像素点, 并归为第四像素块; 在第一组 lr像素类图像中获取 所述第二像素块中所有归属于第一组 lr像素类的像素点, 并归为第五像素块; 在第 组 hr像素类图像中获取所述第一像素块中所有归属于第 组 hr像素类的 像素点, 并归为第六像素块; 计算第三像素块和第四像素块的绝对误差和得到 第一绝对误差和,并计算第五像素块和第六像素块的绝对误差和得到第二绝对 误差和,将第一绝对误差和与第二绝对误差和相加,得到第一组 lr像素类图像 中坐标为 ' )的像素点与第 组 hr像素类图像中坐标为 ' )像素点间的相 似距离。
结合第一方面的第一种实现方式、第二种实现方式或第三种实现方式, 在 第四种可能的实现方式中, 在所述放大倍数 Ν为 2时, 所述以第一组 lr像素 类中各像素点为参考点, 按预定划分规则将 hr图像划分成多个 Ν χ Ν的像素 块,并将各 Ν χ Ν的像素块相对于所述参考点具有相同的位置关系的像素点分 到同一组 hr像素类中, 所述 hr图像中共有 N2 -l组 hr像素类, 并生成 N2 -l组 hr像素类图像, 具体包括: 以第一组 lr像素类中各像素点为参考点, 按顺时 针方向将所述 hr图像划分为各 2 X 2的像素块; 在基于所述参考点划分出来的 各 2 X 2像素块中,以所述参考点作参考按顺时针方向依次将所述各 2 X 2像素 块中除所述参考点外的其余三个 hr像素类的像素点分别归属于第二组 hr像素 类、 第三组 hr像素类和第四组 hr像素类; 分别根据所述第一组 lr像素类、 第 二组 hr像素类、第三组 hr像素类和第四组 hr像素类所包含的像素点生成对应 的第一组 lr像素类图像、 第二组 hr像素类图像、 第三组 hr像素类图像和第四 组 hr像素类图像。
结合第一方面的第三种实现方式或第四种实现方式,在第五种实现方式中, 所述第三像素块和第四像素块大小都为 M x M,则所述计算第三像素块和第四 像素块的绝对误差和, 具体包括: 获取第三像素块中各像素点的像素值为 v„v2, v3, ...... , vn ( M x M=n )和第四像素块中对应像素点的像素值为
并通过公式 >S4Z)= |w1 _v1|+|?½ _v2|+ _v3|+ ...... +|w„_v„|计算得到第三像素块和第 四像素块的绝对误差和。
结合第一方面或者结合上述任意一种可能的实现方式,在第六种可能的实 现方式中, 所述对应所述计算确定的各 hr像素类的像素点, 获取 lr像素类中 相似距离满足相似性的像素点, 具体包括: 对应所述计算确定的各 hr像素类 的像素点, 获取 lr像素类中相似距离最小的 P个像素点作为满足相似性的像 素点, 其中 P为大于 1的自然数。
结合上述任意一种可能的实现方式,在第七种可能的实现方式中, 所述依 据所述确定的各 hr像素类中的像素点和对应满足相似性的 lr像素类中的像素 点构造非局部 nl滤波器的参数, 具体包括: 根据所述确定的 hr像素类中的第 一个像素点和对应所述第一个像素点满足相似性的 P个 lr像素类中的像素点 作为参数, 计算得到所述 P个 lr像素类的像素点的权值; 保存所述第一个像 素点对应在 hr图像中的坐标、所述 P个 lr像素类的像素点对应在 hr图像中的 坐标和所述 P个 lr像素类的像素点的权值; 按照所述 hr像素类中第一个像素 点的方法, 处理完所述确定的各 hr像素类中其余的像素点。
结合第一方面的第七种可能的实现方式,在第八种可能的实现方式中, 所 述利用 nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像, 具体包括: 获取 nl滤波器的参数中保存的所述第一个像素点的坐标、 所述 P 个 lr像素类的像素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的 权值; 基于所述 P个 lr像素类的像素点对应在 hr图像中的坐标获取初始放大 图像中对应的 P个像素值, 并依据所述 P个 lr像素类的像素点的权值得到加 权计算结果;将所述加权计算结果替换初始放大图像中对应所述第一个像素点 的像素值; 按照所述第一个像素点方法依次基于所述 nl滤波器的参数中保存 的其他 hr像素类的像素点处理初始放大图像。
结合第一方面的第八种可能的实现方式,在第九种可能的实现方式中, 所 述基于所述 P个 lr像素类的像素点对应在 hr图像中的坐标获取初始放大图像 中对应的 P个像素值, 并依据所述 P个 lr像素类的像素点的权值得到加权计 算结果, 具体包括: 根据 nl滤波器的参数中保存的 P个与所述第一个像素点 满足相似性的像素点的坐标, 获取放大后图像中在所述 P个坐标上的像素值
H(i),i = \ 2, ...,P , 并利用公式 = : ^计算得到加权计算结果, 其中 oii) + ω 表示当前高分辨率位置像素参与加权求和使用的权值, 是取前面 Ρ个权值 中的最大值; 其中 是 P个 lr像素类的像素点的权值, 通过模拟噪声衰减 程度的参数 t和 hr图像中像素块的大小 n,依据公式 ) = e "¾"2,其中 / = 1Α ..., Ρ 计算获得。
本发明的第二方面, 提供一种放大图像装置, 包括: 像素分类模块, 用于 将所述 hr图像的像素点按像素特性分为 lr像素类和 hr像素类,所述 lr像素类 包含来自于 lr图像上的像素点, 所述 hr像素类包含经过插值算法计算生成的 像素点; 相似距离计算模块, 用于依据所述边缘的像素点确定既是边缘的像素 点且归属于 hr像素类的像素点, 分别计算确定的各 hr像素类的像素点与所述 lr像素类中的像素点的相似距离; 相似点获取模块, 用于获取 lr像素类中相似 距离满足相似性的像素点; 非局部 nl滤波器的参数生成模块, 用于依据所述 确定的各 hr像素类中的像素点和对应满足相似性的 lr像素类中的像素点构造 非局部 nl滤波器的参数; 过滤模块, 用于利用 nl滤波器过滤经过放大算法初 始放大图像从而得到最终的放大图像。
结合第二方面的第一种可能的实现方式中, 所述像素分类模块, 还包括: 像素类图像生成子模块, 用于将经过插值算法计算生成的 hr图像中来自于 lr 图像上的像素点归为第一组 lr像素类, 并生成第一组 lr像素类图像; 以第一 组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像划分成多个 N x N的像素块,并将各 N x N的像素块相对于所述参考点具有相同的位置关系的 像素点分到同一组 hr像素类中, 所述 hr图像中共有 N2 -l组 hr像素类, 并生 成 N2 -l组 hr像素类图像; 其中, Ν为所述插值算法的放大倍数, Ν为大于 1 的自然数; 所述第一组 lr像素类图像和 N2 - 1组 hr像素类图像中的各像素点都 分别拥有在各自像素类图像中的坐标以及在 hr图像中的坐标。
结合第二方面的第二种可能的实现方式中,所述相似距离计算模块还包括 映射生成模块, 用于当具体计算到第一组 lr像素类图像中坐标为 ' ^ )像素点 与第 组 hr像素类图像中坐标为 ' )的像素点的相似距离时, 具体为: 获取 hr 图像中以 (^' 1)为中心的第一像素块与(A' 为中心的第二像素块, 其中 ^i^i)是第一组 lr像素类图像中坐标为 ' )的像素点对应在 hr图像中的坐标; 其中(A' 是第 k组 hr像素类图像中坐标为 ' )的像素点对应在 hr图像中 的坐标; 在第一组 lr像素类图像中获取所述第一像素块中所有归属于第一组 lr像素类的像素点, 并归为第三像素块; 在第 组 hr像素类图像中获取所述第 二像素块中所有归属于第 组 hr像素类的像素点, 并归为第四像素块; 在第一 组 lr像素类图像中获取所述第二像素块中所有归属于第一组 lr像素类的像素 点, 并归为第五像素块; 在第 组 hr像素类图像中获取所述第一像素块中所有 归属于第 组 hr像素类的像素点,并归为第六像素块;所述相似距离计算模块, 还用于计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和,并计 算第五像素块和第六像素块的绝对误差和得到第二绝对误差和,将第一绝对误 差和与第二绝对误差和相加, 得到第一组 lr像素类图像中坐标为(χι' )的像素 点与第 组 hr像素类图像中坐标为 ' )像素点间的相似距离。
本发明通过上述一种放大图像的方法和装置,根据插值算法放大后图像中 的像素特性分为高分辨率像素类图像和低分辨率像素类图像,仅通过计算高分 辨率像素类与高分辨率像素类的像素点的相似距离来生成 nl滤波器的参数, 简化了 nl滤波器参数的计算复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所 需要使用的附图作简单地介绍, 显而易见地, 下面所描述的附图仅仅是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。
图 1是本发明实施例的一种放大图像的方法的流程示意图; 图 2是本发明实施例的 lr像素类和 hr像素类划分的流程示意图; 图 3是本发明实施例的在放大倍数为 2时的 nl滤波器参数的构造流程示 意图;
图 4是本发明实施例的一种放大图像的方法的流程示意图;
图 5是本发明实施例的一种放大图像装置的结构示意图;
图 6是本发明实施例的一种放大图像装置的结构示意图;
图 7是本发明中按顺时针方向将 hr图像划分成多个 2 X 2的像素块的示意 图;
图 8是本发明中在 hr图像中计算像素点相似性示意图;
图 9是本发明中在 hr图像中计算像素点相似性对应表现在各像素类图像 中的关系示意图;
图 10是本发明中 hr图像中计算相似性的像素点对应在像素类图像中的关 系示意图;
图 11是本发明实施例的一种 nl滤波器参数的关系结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、 完整地描述, 显然, 所描述的实施例是本发明的一部分实施例, 而不是全 部实施例。基于本发明中的实施例, 本领域普通技术人员在没有做出创造性劳 动的前提下所获得的所有其他实施例, 都应属于本发明保护的范围。
本发明中低分辨率图像就是原始图像,而高分辨率图像则是相比原始图像 经过插值算法放大后的图像,其中低分辨率和高分辨率仅仅作为两者区别的限 定, 并非对于图像的分辨率大小的特殊要求。
本发明提供的一种放大图像方法实施例 100, 本实施例方法是基于将低分 辨率( low resolution, lr )图像通过图像插值算法生成高分辨率( high resolution, hr ) 图像, 对所述 hr 图像进行边缘检测获取图像中边缘的像素点的基础上完 成, 如图 1所示, 过程如下:
S101、 将所述 hr图像的像素点按像素特性分为 lr像素类和 hr像素类, 所 述 lr像素类包含来自于 lr图像上的像素点, 所述 hr像素类包含经过插值算法 计算生成的像素点。 所述像素特性具体为: 所述在经过插值算法生成的 hr图像中包含的像素 点是来自于 lr图像上的像素点,还是通过插值算法计算生成的插值像素点。 因 此所述 lr像素类可以描述为由 lr图像中像素点构成。
在所述插值算法的放大倍数为 N时, 其中, N为大于 1的自然数; 优选 的, 所述将所述 hr图像按像素特性分为 lr像素类和 hr像素类, 具体可以实现 为:
将经过插值算法计算生成的 hr图像中来自于 lr图像上的像素点归为第一 组 lr像素类, 并生成第一组 lr像素类图像; 以第一组 lr像素类中各像素点为 参考点,按预定划分规则将 hr图像划分成多个 N x N的像素块, 并将各 N x N 的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组 hr像素 类中, 所述 hr图像中共有 N2 -l组 hr像素类, 生成 N2 -l组 hr像素类图像; 其 中, 优选的是所述生成的第一组 lr像素类图像和生成 N2 -1组 hr像素类图像都 的是按照相同的分辨率、按照相同的排列顺序生成(即不同像素类图像中相同 坐标上的像素点同属于上述 Ν X Ν的像素块中的某一个像素块;)。
所述第一组 lr像素类图像和 N2 - 1组 hr像素类图像中的各像素点都分别拥 有在各自所属的像素类图像中的坐标以及在 hr图像中的坐标。
在所述插值算法的放大倍数为 Ν时,优选的,所述预定划分规则具体为: 以第一组 lr像素类中各像素点为参考点或者起始点,按顺时针方向并按 Ν X Ν 作为大小将 hr图像划分出各像素块, 并将各像素块按照从外到内的顺时针螺 旋顺序将上述除参考点外的 N2 -l像素点依次划分并生成 N2 -l组 hr像素类图 像(由于 lr像素类和 lr图像的关系,可以直接釆用 lr图像作为 lr像素类图像)。
所述插值算法的放大倍数为 Ν时, 可选的, 所述预定划分规则为: 以第 一组 lr像素类中各像素点为参考点或者起始点,按逆时针方向并按 Ν X Ν作为 大小将 hr图像划分出各像素块, 并将各像素块按照从外到内的逆时针螺旋顺 序将上述除参考点外的 N2 -1像素点依次划分并生成 N2 -1组 hr像素类图像。实 际中的所述预定划分规则不仅仅局限于上述方式 ,还可以是其他依据插值放大 倍数 Ν, 按照 Ν χ Ν作为大小将 hr图像划分出像素块, 如: 可以釆用从外向 内螺旋顺序或者从内向外螺旋顺序, 如图 7所示。
本实施例不局限于上面两种方式,其中描述的 "以第一组 lr像素类中各像 素点为参考点" 是因为从 hr划分出的各像素块中归属于各组 hr像素类的像素 点与所述 lr像素类的像素点具有相同的位置关系,具体还可以是以其他具有相 同特性的点作为参考, 此处描述不对参考点的选取做特殊限定。
5102、 依据所述边缘的像素点确定既是边缘的像素点且归属于 hr像素类 的像素点, 分别计算确定的各 hr像素类的像素点与所述 lr像素类中的像素点 的相似距离。
本发明的相似距离的计算方法优选的是:对于计算 hr图像中像素点
Figure imgf000011_0001
和像素点 XkJ 的相似距离的方法是以所述两个像素点为中心分别取第一像 素块和第二像素块首先将 hr图像按照放大倍数 N划分为第一组 lr像素类图像 和第 2至 N2组 hr像素类图像, 判定所述 (;^ 和 (^Λ)两个像素点分别属于 第一组 lr像素类图像和第 k组 hr像素类图像, [2, N2] ; 在第一组 lr像素类 图像中获取所述第一像素块中所有归属于第一组 lr像素类的像素点,并归为第 三像素块;
所述获取所述第一像素块中所有归属于第一组 lr像素类的像素点具体为: 由于 hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标 以及在 hr图像中的坐标, 可以根据所述对应关系获取到所述第一像素块中所 有归属于第一组 lr像素类的像素点;
在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 组 hr像素 类的像素点, 并归为第四像素块;
在第一组 lr像素类图像中获取所述第二像素块中所有归属于第一组 lr像 素类的像素点, 并归为第五像素块;
在第 组 hr像素类图像中获取所述第一像素块中所有归属于第 组 hr像素 类的像素点, 并归为第六像素块;
计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和,并计算 第五像素块和第六像素块的绝对误差和得到第二绝对误差和,将第一绝对误差 和与第二绝对误差和相加, 得到第一组 lr像素类图像中坐标为(χΐ 5 )的像素点 与第 组 hr像素类图像中坐标为 像素点间的相似距离。其中第三像素块、 第四像素块、 第五像素块和第六像素块的名称仅为了方便相互间区别。
5103、 获取 lr像素类中相似距离满足相似性的像素点; 优选的, lr像素类中各像素点到所述确定的 hr像素类的某个像素点的相 似距离最小的 P个像素点为满足相似性的像素点。
所述 P优选的根据经验值来确定, 如: 优选的, 在放大倍数为 2时所述 P 优选的值为 5;
可选的,在放大倍数不为 2时,还可以通过与放大倍数建立函数关系来计 算获得, 如 P=2*放大倍数 +1。
5104、 依据所述确定的各 hr像素类中的像素点和对应满足相似性的 lr像 素类中的像素点构造非局部 nl滤波器的参数;
优选的依据所述确定的各 hr像素类中的像素点和对应满足相似性的 lr像 素类中的像素点构造非局部 nl滤波器的参数, 具体包括:
根据所述确定的 hr像素类中的第一个像素点和对应所述第一个像素点满 足相似性的 P个 lr像素类中的像素点作为参数, 计算得到所述 P个 lr像素类 的像素点的权值;
保存所述第一个像素点对应在 hr图像中的坐标、 所述 P个 lr像素类的像 素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的权值;
按照所述 hr像素类中第一个像素点的方法, 处理完所述确定的各 hr像素 类中其余的像素点,得到依据所述边缘的像素点确定既是边缘的像素点且归属 于 hr像素类的像素点各自对应的满足相似性的 P个 lr像素类的像素点对应在 hr图像中的坐标和相应的权值, 并按照所述确定的各 hr像素类中像素点对应 在 hr图像中的坐标、 与所述确定的各 hr像素类中像素点满足相似性的 lr像素 类的像素点对应在 hr图像中的坐标、还有对应所述 lr像素类的像素点的权值, 三者之间的对应关系保存, 于是就完成了所述 nl滤波器的参数构造。
5105、 利用配置了所述 nl滤波器参数的 nl滤波器过滤经过放大算法初始 放大图像从而得到最终的放大图像。
优选的, 所述利用所述 nl滤波器过滤经过放大算法初始放大图像从而得 到最终的放大图像, 具体为:
获取 nl滤波器的参数中保存的所述第一个像素点的坐标、 所述 P个 lr像 素类的像素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的权值; 基于所述 P个 lr像素类的像素点对应在 hr图像中的坐标获取初始放大图 像中对应的 P个像素值, 并依据所述 P个 lr像素类的像素点的权值得到加权 计算结果;
将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素 值;
按照所述第一个像素点方法依次处理完所述 nl滤波器的参数中保存的其 他 hr像素类的像素点, 于是就完成了对所述初始放大图像的 nl滤波。
本实施例 100通过将插值算法生成的 hr图像, 根据像素特性分为 lr像素 类和 hr像素类, 并通过避免计算现有算法中对最后求解相似距离没有关键性 影响的 hr像素类的像素点之间的绝对误差和的计算, 在保证计算精确度的基 础上改进了现有算法的效率。
下面的实施例 200是对本发明中的 lr像素类和 hr像素类划分的详细描述, 其中以放大倍数为 2倍的插值图像算法生成的 hr图像为操作对象, 如图 2所 示, 具体包括:
S201、 以第一组 lr像素类中各像素点为参考点, 按顺时针方向将 hr图像 划分成多个 2 x 2的像素块, 如图 7所示。 其中, 将经过插值算法计算生成的 hr图像中来自于 lr图像上的像素点归为第一组 lr像素类, 并生成第一组 lr像 素类图像。 对各 2 x 2像素块以像素类中的各像素点为参考点, 按顺时针螺旋 顺序将除参考点外的像素点一次归为像素类 2、 像素类 3和像素类 4。
图 7中所有标有数字 1的像素点统称为像素类 1即 lr像素类,其对应位置 上的像素点的像素值和 lr图像中对应位置的像素点的像素值相同,而所有标有 数字 2、 数字 3和数字 4的像素点分别称为像素类 2、 像素类 3和像素类 4 , 它们均归属于 hr像素类, 其像素点的像素值是通过 lr图像中像素点的插值算 法计算得到。
对于未能按照所述规定划分成 2 x 2的像素块的剩余像素点, 可选的, 按 照该剩余像素点在预定划分规则中的位置划分为像素类 1、 像素类 2、 像素类 3或像素类 4 ; 可选的, 还可以做省略处理, 因为所述剩余像素点都是些图像 中的边框上的点, 而 nl过滤处理主要是为了增加图像边缘效果。 造成对于未 能按照所述规定划分成 2 x 2的像素块的剩余像素点, 这种情况可能是划分规 则规定时, 图像边框上像素点未能完整的分成 2 x 2的像素块造成。 5202、 提取像素类 1的像素点生成第一组 lr像素类图像 LI , 提取像素类 2的像素点生成第二组 hr像素类图像 L2, 提取像素类 3的像素点生成第三组 hr像素类图像 L3 , 提取像素类 4的像素点生成第四组 hr像素类图像 L4; 生 成后的 lr像素类图像和 hr像素类图像如图 9所示。 其中生成各像素类图像的 方式为, 每组像素类中像素点根据其所归属的像素块按照图 7所示 49个素块 的排列顺序, 从左到右, 从上到下的顺序生成, 生成后的 4个像素类图像如图 9所示。
其中, 像素类图像 Ll、 像素类图像 L2、 像素类图像 L3和像素类图像 L4 分辨率大小相同,各像素类图像中的像素点都有各自在所属的像素类图像中的 坐标以及在 hr图像中的对应坐标。
5203、 保存第一组 lr像素类图像、 第二组 hr像素类图像、 第三组 hr像素 类图像和第四组 hr像素类图像中各像素点坐标与在 hr图像中对应像素点的坐 标映射关系。
优选的, 保存各像素类图像的坐标原点在 hr图像中的坐标, 从而结合划 分规则和放大倍数, 就能完成各像素类图像中像素点坐标与 hr图像中相同像 素点坐标的转换。
例如: 第一组 lr像素类图像中坐标为 (1 , 1 ) 的像素点, 转换为 hr图像 中像素点坐标具体为: 首先根据以像素类 1各像素点作为参考点, 并顺时针的 划分规则得出 , 像素类 1 图像的原点和 hr 图像的原点偏移量 off— original— x=off— original— y=0 ,且放大倍数是 2; 则第一组 lr像素类图像中坐 标为 ( 1 , 1 ) 的像素点在 hr 图像中对应相同的像素点的坐标为 ( off— original— x+ 1 *2 , off— original— y+ 1 *2 ) =(2, 2)。
可选的, 还可以通过 hr图像以及各组像素类图像为区分, 对应保存各组
Figure imgf000014_0001
其中符号 "\" 代表不存在对应的坐标点, 其中 按照 hr图像中的边 缘的像素点个数作为脚标, 而 ι Άι )则是依次以该边缘 hr像素点所归属的像 素类图像是第几组和在表中对应 hr像素类图像列中出现顺序作为脚标。
通过实施例 200完成了各像素类图像的生成,该像素类图像的生成是根据 插值算法特性, 将 hr图像中与 lr像素类的像素点拥有相同的偏移关系的 hr像 素类的像素点规划到同一组 hr像素类图像中。虽然该实施例^ ^于放大倍数 2 实现,但是本领域技术人员能够根据本实施例已经揭示的技术内容,将该方法 衍生到其他放大倍数中使用,在此不再赘述。接着的实施例 300将在此基础上 将现有的相似距离计算做进一步的简化。
本发明提供的一种放大图像方法实施例 300, 本实施例是基于方法实施例
200, 对于方法实施例 100的具体运用。 本实施例涉及在实施例 200中未涉及 到的像素块,在实施例 200中的像素块是用来划分像素类使用, 而本实施例中 涉及用来计算像素点间的相似距离的像素块,两者间的像素块的本质区别在于 其划分的规则及用途不相同。本实施例中的放大倍数为 2倍,现以放大算法中 的非局部 nl滤波器的参数的构造方法来说明本实施例在速度上的改进, 其流 程图如图 3所示, 其过程具体为:
如图 8所示, 为现有技术中计算坐标为 B— Ll((cx-1)*2+1 , (cy-l)*2+l)的 像素点和坐标为 B— L2((x-1)*2, (y-l)*2+l)的像素点的相似性示意图。 首先构 造以坐标 B— Ll((cx-1)*2+1 , (cy-l)*2+l)为中心以 7个像素点为边长构成的第 一像素块 B_L1 , 接着构造以坐标 B_L2((x-l)*2, (y-l)*2+l)为中心以 7个像素 点为边长构成的第二像素块 B— L2,然后将像素块 B— L1和像素块 B— L2中对应 位置像素点, 即 49个像素点分别求绝对误差和, 则所述绝对误差和的值即为 坐标为 B_Ll((cx-l)*2+l , (cy-l)*2+l)像素点和坐标为 B_L2((x-l)*2, (y-l)*2+l) 像素点的之间的相似距离。
本发明通过分析上述现有技术中相似距离的计算过程发现,在计算像素点
1和像素点 2的相似距离的过程中真正有效的实际是 B—L1中像素点 1和像素 点 2构成的矩阵与 B— L2中像素点 2和像素点 1构成的矩阵的绝对误差和; 像 素点 3和像素点 4是通过插值算法(在放大图像中还可以釆用其他放大算法) 计算获得,像素点 3和像素点 4的绝对误差和的计算过程在增加了整体计算量 的情况下, 却并不能带来相似距离的精确性的提高), 根据所述分析进一步得 到本发明方法。
5301、 基于各参考点, 按顺时针方向划分出各 2 x 2像素块, 所述参考点 在本实施例中为原本属于 lr图像的像素点; 在基于所述参考点构成的各 2 x 2 像素块中, 记录各参考点为第一组 lr像素类, 并按顺时针方向记录所述各 2 X 2像素块的其余三个 hr像素点为第二组 hr像素类、 第三组 hr像素类和第四组 hr像素类;
5302、 分别针对所述第一组 lr像素类、 第二组 hr像素类、 第三组 hr像素 类和第四组 hr像素类所包含的像素点生成对应的第一组 lr像素类图像 L1、 第 二组 hr像素类图像 L2、第三组 hr像素类图像 L3和第四组 hr像素类图像 L4 , 如图 9所示。 保存像素类图像 Ll、 L2、 L3和 L4中各像素点与 hr图像中各像 素点的映射关系。
5303、 依据边缘的像素点确定 hr图像中既是边缘的像素点且归属于 hr像 素类的像素点, 分别计算确定的各 hr像素类的像素点与所述 lr像素类中的像 素点的相似距离, 并获取 lr像素类中相似距离满足相似性的像素点;
当求解边缘的像素点坐标为 B— L2((x-1)*2, (y-l)*2+l)和属于 lr像素类的 坐标为 B_Ll((cx-l)*2+l , (cy-l)*2+l)像素点像素点相似距离时;
B L1像素块(即 S102中第一像素块)和 B— L2像素块(即 S102中第二 像素块)都包含了像素点 1和像素点 2 (即 B— L1像素块中的所有像素点 1和 B L2像素块中的所有像素点 2进行了第一次绝对误差和运算, B L1像素块中 的所有像素点 2和 B— L2像素块中的所有像素点 1进行了第二次绝对误差和运 算), 而生成的第一组 lr像素类图像 L1和第二组 hr像素类图像 L2均只包含 了同一类的像素点 1和像素点 2, 因此在完成了 LI ( cx, xy )为中心的像素块 (即 S102中第三像素块)和 L2 ( X, y )为中心的像素块(即 S102中第四像 素块 ) 的绝对误差和计算后 (即 B— L1像素块中的所有像素点 1到 B— L2像素 块中的所有像素点 2的绝对误差和), 还要计算 Ll(x, y) 为中心的像素块(即 S102中第五像素块)和 L2(cx-l , cy) 为中心的像素块(即 S102中第六像素块) 的绝对误差和(即 B— L2像素块中的所有像素点 1到 B— L1像素块中的所有像 素点 2的绝对误差和 ), 并将上述得到的 2个绝对误差和结果相加后取均值, 所述相加后取均值的结果就是图 8中坐标为 B— Ll((cx-1)*2+1 , (cy-l)*2+l)像 素点和坐标为 B— L2((x-1)*2, (y-l)*2+l)像素点的之间的相似距离, 上述像素 类图像 1 中的 LI ( cx, xy )和 Ll(x, y)与像素类图像 2中的 L2 ( x, y )和 L2(cx-1 , cy)坐标的确认, 可以由 B— L1像素块和 B— L2像素块到第一组 lr像 素类图像 L1和第二组 hr像素类图像 L2的映射关系获得, 所述映射关系可以 釆用 S203中任意一种。
S304、 构造 nl滤波器的参数。
构造 nl滤波器的参数方法具体包括:
根据所述确定的 hr像素类中的 B— L2((x-1)*2, (y-l)*2+l)像素点和对应所 述 B— L2((x-1)*2, (y-l)*2+l)像素点满足相似性的 P个 lr像素类中的像素点作 为参数, 计算得到所述 P个 lr像素类的像素点的权值;
保存所述 B_L2((x-l)*2, (y-l)*2+l)像素点对应在 hr图像中的坐标、 所述 P个 lr像素类的像素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点 的权值;
其中 B_L2((x-l)*2, (y-l)*2+l)像素点计算权值的方法具体为:
对应 B— L2((x-1)*2, (y-l)*2+l)像素点记录与之对应的 P个满足相似性的
L1的像素点坐标, 并依据公式 = , 其中 / = ΙΑ.,.,/Η十算得到 Ρ个 lr像 素点的权值, 其中, >Χ Ζ /)是 B_L2((x-l)*2, (y-l)*2+l)像素点与第 i个满足相 似性的像素点的相似距离, t是模拟噪声衰减程度的参数, n是 hr图像中像素 块的大小。 按照所述 hr像素类中 B— L2((x-1)*2, (y-l)*2+l)像素点的方法, 依据 S303 遍历完所述确定的各 hr像素类中其余的像素点。 便完成了 nl滤波器的参数的 构造, 该滤波器的参数可以是以图 11的形式存在; 其中第一列是 hr图像中既 是边缘的像素点又是 hr像素类的像素点坐标, 第二列是满足相似性的 P个 lr 像素类点在 hr图像中的坐标,第三类是满足相似性的 P个 lr像素类点的权值。 本实施例中在放大倍数为 2时, 所述 P优选的值为 5。
本发明提供的一种放大图像方法实施例 400, 本实施例通过一个具体方法 流程展示上述 nl滤波器的参数实施例在放大图像算法中的应用, 并在提取出 边缘的像素点之后进行了边缘扩散处理, 使得 nl滤波器的滤波效果进一步得 到提高。 本实施例釆用 2倍放大插值算法作为描述对象, 如图 4所示, 其流程 具体为:
S401、 将低分辨率 lr图像通过图像插值算法生成高分辨率 hr图像。
所述图像插值算法可以是最临近点插值算法、双线性插值算法、双立方插 值算法或自适应样条插值算法。
5402、 对所述 hr图像进行边缘检测获取图像中边缘的像素点。
所述边缘检测方法可以是但不局限于 Roberts, Sobel、 Prewitt, LOG或 Canny算子中的任意一种。
5403、 对图像中由边缘的像素点构成的边缘轮廓进行边缘扩散处理。 在具体实施中边缘扩散可以釆用多种方式,比如以每个边缘的像素点作为 中心点,按照特定的形状进行扩散, 这个形状中的所有的点都属于扩散后的边 缘, 所述特定的形状可以是菱形、 正方形等。 所述特定的形状的大小优选的取 大于等于放大倍数的最小奇数, 如釆用正方形并且放大倍数为 2倍时, 该正方 形的边长为 3个像素点; 如釆用正方形并且放大倍数为 3倍时, 该正方形的边 长为 3个像素点;如釆用正方形并且放大倍数为 4倍时,该正方形的边长为 5。
5404、 通过方法实施例 300中的步骤 S301-S304构造 nl滤波器的参数。 本发明中除釆用 S303的映射关系获取对应坐标关系外, 还可以釆用根据 以第一组 lr像素类的像素点与其他各组 hr像素类的像素点的相似距离计算得 到的模型,来作为后续的计算方法, (χ^)为第一组 lr像素类中坐标, ( ,Λ)为 第 组 hr像素类中坐标; 对照图 8和图 9其模型获取方法为:
根据 hr 图像中以( Α)为中心的第二像素块与(;^ Λ)为中心的第一像素 块的相似距离, 其中(;^ ^)和(;^, 1 )分别是坐标 (X, )和 , )在 hr图像中的 对应坐标;
在第一组 lr像素类图像中获取所述第一像素块(图 8中所述第一像素块表 现为 B— L1 ) 中所有属于第一组 lr像素类的像素点, 并归为第三像素块; 在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 组 hr像素类的像素 点,并归为第四像素块;在第一组 lr像素类图像中获取所述第二像素块中所有 属于第一组 lr像素类的像素点, 并归为第五像素块; 在第 组 hr像素类图像 中获取所述第一像素块中所有归属于第 组 hr像素类的像素点,并归为第六像 素块
计算第三像素块和第四像素块的绝对误差和,并计算第五像素块和第六像 素块的绝对误差和,然后将两个绝对误差和求和便能得到第一组 lr像素类中坐 标为(χ, , )与第 组 hr像素类中坐标为(x ^)间的相似距离。依据上述过程将 第三像素块、 第四像素块、 第五像素块和第六像素块生成对应模型。
本实施例的放大倍数为 2, 对于上述形成的第三像素块、 第四像素块、 第 五像素块和第六像素块生成对应模型, 具体描述如下:
依据所述边缘的像素点获取像素类图像 Ll、 像素类图像 L2、 像素类图像
L3或像素类图像 L4中对应的像素点, 记录下获取到的该像素点坐标为(X, ; 遍历第一组 lr像素类中像素点, 并计算与所述遍历到的(X, 与第一组 lr像素 类的像素点的相似距离, 其过程具体为:
当(X, 像素点在 L2中时, 依次遍历 L1 中各像素点与(X, 的相似性。 假 设当前遍历到 Ll ^)时, 则要计算 L1中以点 ( ^)为中心的第三像素块模 型和 L2中以点(x, 为中心的第四像素块模型的 SAD再加上 L1中以点(x, 为 中心的第五像素块模型和 L2中以点 (^—^ 为中心的第六像素块模型的 SAD, 取两个 SAD的和作为最终的 SAD值。
当(X, 像素点在 L3中时, 依次遍历 L1 中各像素点与(X, 的相似性。 假 设当前遍历到 Li (cx, °y)时, 则要计算 Li中以点 (cx, °y)为中心的第三像素块模 型和 L3中以点(x, 为中心的第四像素块模型的 SAD再加上 L1中以点(x, 为 中心的第五像素块模型和 L3中以点 (^,^―1)为中心的第六像素块模型的 SAD, 取两个 SAD的和作为最终的 SAD值。
当(X, 像素点在 L4中时, 依次遍历 L1 中各像素点与(X, 的相似性。 假 设当前遍历到 Li (cx, °y)时, 则要计算 Li中以点 (cx, °y)为中心的第三像素块模 型和 L4中以点(x, 为中心的第四像素块模型的 SAD再加上 L1中以点(x, 为 中心的第五像素块模型和 L4 中以点(CX_^ -1)为中心的第六像素块模型的 SAD, 取两个 SAD的和作为最终的 SAD值。
所述第三像素块和第四像素块大小都为 Μ χ Μ时, 则所述计算第三像素 块和第四像素块的绝对误差和, 具体包括: 获取第三像素块中各像素点的像素 值为 v2, v3, ...... , vn ( M M=n ) 和第四像素块中对应像素点的像素值为 „u2,u3,…… ,un
Figure imgf000020_0001
+…… + 计算得到第 三像素块和第四像素块的绝对误差和。
lr像素类中各像素点到 hr像素类的某个像素点的相似距离最小的 P个像 素点为满足相似性的像素点。 在放大倍数为 2倍时, 所述 P值优选的为 5。
记录各 hr像素点和对应的 P个满足相似性的 lr像素点对应在 hr图像中的 坐标, 计算得到 P个 lr像素点的权值。
5405、 利用放大算法放大 lr图像。
所述放大算法可以是最临近点插值算法、双线性插值算法、 双立方插值算 法或自适应样条插值算法。
5406、 利用 nl滤波器过滤所述经过放大算法放大后的图像。
获取 nl滤波器的参数中保存的所述第一个像素点的坐标、 所述 P个 lr像 素类的像素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的权值; 基于所述 P个 lr像素类的像素点对应在 hr图像中的坐标获取初始放大图像中 对应的 P个像素值, 并依据所述 P个 lr像素类的像素点的权值得到加权计算 结果;将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素 值; 按照所述第一个像素点方法依次基于所述 nl滤波器的参数中保存的其他 hr像素类的像素点处理初始放大图像。
其中并依据所述 P个 lr像素类的像素点的权值得到加权计算结果, 具体 方法为:
获取模拟噪声衰减程度的参数 t和像素块的大小 n, 在放大图像方法实施 例 300 中得出, 在放大倍数为 2 倍时 n 的优选值为 7 ; 依据公式 ( ) = β- ^, = 1,2, 计算对于 ρ个 ir像素类的像素点的权值; 其中, SAD(i) 为 P个 lr像素类的像素点中第 i点与对应 hr像素类的像素点的绝对误差和; 获取 P 个 lr 像素了的像素点的像素值 H^ z^ lA...,/5 , 并利用公式 H = k : ^计算得到像素值替换 hr像素点的像素值, 其中 w表示当前 a i) + ω 高分辨率位置像素参与加权求和使用的权值,它是取前面 P个权值中的最大值; 其中 是 p个 lr像素类的像素点的权值, 通过模拟噪声衰减程度的参 数 t和 hr图像中像素块的大小 n, 依据公式 ) = e ίχ2χ"2 , 其中 / = 计算获 付。
本实施例通过结合具体的计算算法,对之前的方法实施例 300得到的滤波 器的参数如何具体使用做了细化描述,利用本方法实施例便能完整的实现本方 法所要实现的放大图像方法。通过避免计算现有算法中对最后求解相似距离没 有关键性影响的 hr像素类的像素点之间的绝对误差和的计算, 在保证计算精 确度的基础上改进了现有算法的效率。
本发明提供的一种放大图像装置实施例 500 , 其结构示意图如图 5所示, 具体包括:
像素分类模块 101 , 用于将所述 hr图像的像素点按像素特性分为 lr像素 类和 hr像素类, 所述 lr像素类包含来自于 lr图像上的像素点, 所述 hr像素类 包含经过插值算法计算生成的像素点;
相似距离计算模块 102 , 用于依据所述边缘图像确定既是边缘的像素点且 归属于 hr像素类的像素点, 分别计算确定的各 hr像素类的像素点与所述 lr像 素类中的像素点的相似距离;
相似点获取模块 103 ,用于获取 lr像素类中相似距离满足相似性的像素点; 非局部 nl滤波器的参数生成模块 104 , 用于依据所述确定的各 hr像素类 中的像素点和对应满足相似性的 lr像素类中的像素点构造非局部 nl滤波器的 参数;
过滤模块 105 ,用于利用所述 nl滤波器的参数过滤经过放大算法初始放大 图像从而得到最终的放大图像。
优选的, 所述像素分类模块 101 , 还包括: 像素类图像生成子模块 201 ,用于将经过插值算法计算生成的 hr图像中来 自于 lr图像上的像素点归为第一组 lr像素类, 并生成第一组 lr像素类图像; 以第一组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像划分 成多个 N x N的像素块, 其中 N为插值算法的放大倍数, N为大于 1的自然 数;并将各 N x N的像素块相对于所述参考点具有相同的位置关系的像素点分 到同一组 hr像素类中, 所述 hr图像中共有 N2 -l组 hr像素类, 并生成 N2 -l组 hr像素类图像; 所述第一组 lr像素类图像和 N2 -1组 hr像素类图像中的各像素 点都分别拥有在各自像素类图像中的坐标以及在 hr图像中的坐标。
优选的, 所述相似距离计算模块 102还包括映射生成模块 202, 用于获取 hr 图像中以( , )为中心的第一像素块与(;^ Λ)为中心的第二像素块, 其中 ( Α)是第一组 lr像素类图像中坐标为(χ,, )的像素点对应在 hr图像中的坐标; 其中(;^ Λ)是第 k组 hr像素类图像中坐标为(xfr, )的像素点对应在 hr图像中 的坐标;
在第一组 lr像素类图像中获取所述第一像素块中所有归属于第一组 lr像 素类的像素点, 并归为第三像素块;
在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 组 hr像素 类的像素点, 并归为第四像素块;
在第一组 lr像素类图像中获取所述第二像素块中所有归属于第一组 lr像 素类的像素点, 并归为第五像素块;
在第 组 hr像素类图像中获取所述第一像素块中所有归属于第 组 hr像素 类的像素点, 并归为第六像素块。
此时, 所述相似距离计算模块 102 , 还用于计算第三像素块和第四像素块 的绝对误差和得到第一绝对误差和,并计算第五像素块和第六像素块的绝对误 差和得到第二绝对误差和,将第一绝对误差和与第二绝对误差和相加,得到第 一组 lr像素类图像中坐标为 ' )的像素点与第 组 hr像素类图像中坐标为 像素点间的相似距离。
本发明提供的一种放大图像装置实施例 600, 如图 6所示。 包括至少一个 处理器(301 ), 例如 CPU, 至少一个网络接口 304或者其他通信接口 303 , 存 储器 305 , 和至少一个通信总线 302。 通信总线 302用于实现这些装置之间的 连接通信。 可选的用户接口 903 可以是显示器, 键盘或者点击设备。 存储器 305可能包含高速 Ram存储器,也可能还包括非不稳定的存储器( non-volatile memory ), 例如至少一个磁盘存储器。 存储器 305可选的可以包含至少一个位 于远离前述 CPU302的存储装置。在一些实施方式中,存储器 305存储了如下 的元素, 模块或者数据结构, 或者他们的子集, 或者他们的扩展集:
操作系统 306, 包含各种程序, 用于实现各种基础业务以及处理基于硬件 的任务;
应用模块 307, 包含如下模块组合: 像素分类模块 101 , 相似距离计算模 块 102, 相似点获取模块 103 , 非局部 nl滤波器的参数生成模块 104, 过滤模 块 105, 上述模块的功能可以参考图 3或者图 4的工作原理图的说明部分, 也 可以参考图 5的说明部分; 此处不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例中描述的各 方法步骤和单元, 能够以电子硬件、 计算机软件或者二者的结合来实现, 为了 清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述 了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于 技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的 应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明 的范围。
结合本文中所公开的实施例描述的方法或步骤可以用硬件、处理器执行的 软件程序, 或者二者的结合来实施。 软件程序可以置于随机存储器 (RAM )、 内存、只读存储器(ROM )、 电可编程 ROM、 电可擦除可编程 ROM、寄存器、 硬盘、 可移动磁盘、 CD-ROM、 或技术领域内所公知的任意其它形式的存储介 质中。 本发明并不限于此。在不脱离本发明的精神和实质的前提下, 本领域普通技术 人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都 应在本发明的涵盖范围内。

Claims

权 利 要 求
1、 一种放大图像的方法, 将低分辨率 (lr)图像通过图像插值算法生成高分辨率 (hr)图像,对所述 hr图像进行边缘检测获取图像中边缘的像素点,其特征在于, 包括:
将所述 hr图像的像素点按像素特性分为 lr像素类和 hr像素类,所述 lr像 素类包含来自于 lr图像上的像素点, 所述 hr像素类包含经过插值算法计算生 成的像素点;
依据所述边缘的像素点确定既是边缘的像素点且归属于 hr像素类的像素 点, 分别计算所述确定的各 hr像素类的像素点与所述 lr像素类中的像素点的 相似距离, 并获取 lr像素类中相似距离满足相似性的像素点;
依据所述确定的各 hr像素类中的像素点和对应满足相似性的 lr像素类中 的像素点构造非局部 nl滤波器的参数;
利用所述 nl滤波器过滤经过放大算法初始放大的图像从而得到最终的放 大图像。
2、 根据权利要求 1所述方法, 其特征在于, 在所述插值算法的放大倍数为 N 时, 其中, N为大于 1的自然数, 则所述将所述 hr图像按像素特性分为 lr像 素类和 hr像素类, 具体包括:
将经过插值算法计算生成的 hr图像中来自于 lr图像上的像素点归为第一 组 lr像素类, 并生成第一组 lr像素类图像;
以第一组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像划分 成多个 N X N的像素块,并将各 N X N的像素块相对于所述参考点具有相同的 位置关系的像素点分到同一组 hr像素类中, 所述 hr图像中共有 N2 -1组 hr像 素类, 生成 N2 -l组 hr像素类图像;
所述第一组 lr像素类图像和 N2 - 1组 hr像素类图像中的各像素点分别拥有 在各自所属的像素类图像中的坐标以及在 hr图像中的坐标。
3、 根据权利要求 2所述的方法, 其特征在于, 所述依据所述边缘的像素点确 定既是边缘的像素点且归属于 hr像素类的像素点, 其中, 当具体确定出坐标 为 ( ,Ό的边缘的像素点满足归属于 hr像素类时, 则计算所述确定的 hr像素 类的像素点 (A )与所述 lr像素类中的像素点的相似距离的过程, 具体包括: 依据所述边缘的像素点坐标 ( ,Γ) , 在判断 (A )属于 hr像素类中的像素 点后, 确定所述像素点具体归属于第 组的 hr像素类图像, 并且在所述第 组 的 hr像素类图像中的坐标为(χ^Λ), 其中)^ [2,N2]; 分别计算第一组 lr像素类图像中各像素点与所述第 组的 hr像素类图像 中坐标为(xfr, )的像素点的相似距离。
4、 根据权利要求 3所述的方法, 其特征在于, 当具体计算到第一组 lr像素类 图像中坐标为 ' )像素点与第 组 hr像素类图像中坐标为(¾,Λ)的像素点的 相似距离时, 具体为:
获取 hr 图像中以( Α)为中心的第一像素块与(;^ Λ)为中心的第二像素 块, 其中( , )是第一组 lr像素类图像中坐标为(x,^)的像素点对应在 hr图像 中的坐标;其中(^Λ)是第 k组 hr像素类图像中坐标为 的像素点对应在 hr图像中的坐标;
在第一组 lr像素类图像中获取所述第一像素块中所有归属于第一组 lr像 素类的像素点, 并归为第三像素块;
在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 组 hr像素 类的像素点, 并归为第四像素块;
在第一组 lr像素类图像中获取所述第二像素块中所有归属于第一组 lr像 素类的像素点, 并归为第五像素块;
在第 组 hr像素类图像中获取所述第一像素块中所有归属于第 组 hr像素 类的像素点, 并归为第六像素块;
计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和,并计算 第五像素块和第六像素块的绝对误差和得到第二绝对误差和,将第一绝对误差 和与第二绝对误差和相加, 得到第一组 lr像素类图像中坐标为(χι' )的像素点 与第 组 hr像素类图像中坐标为 ' )像素点间的相似距离。
5、 根据权利要求 2-4任一所述的方法, 其特征在于, 在所述放大倍数 Ν为 2 时, 所述以第一组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像 划分成多个 N X N的像素块,并将各 N X N的像素块相对于所述参考点具有相 同的位置关系的像素点分到同一组 hr像素类中, 所述 hr图像中共有 N2 -l组 hr像素类, 并生成 N2 -l组 hr像素类图像, 具体包括:
以第一组 lr像素类中各像素点为参考点, 按顺时针方向将所述 hr图像划 分为各 2 x 2的像素块;
在基于所述参考点划分出来的各 2 x 2像素块中, 以所述参考点作参考按 顺时针方向依次将所述各 2 X 2像素块中除所述参考点外的其余三个 hr像素类 的像素点分别归属于第二组 hr像素类、 第三组 hr像素类和第四组 hr像素类; 分别根据所述第一组 lr像素类、 第二组 hr像素类、 第三组 hr像素类和第 四组 hr像素类所包含的像素点生成对应的第一组 lr像素类图像、 第二组 hr像 素类图像、 第三组 hr像素类图像和第四组 hr像素类图像。
6、 根据权利要求 4或 5所述的方法, 其特征在于, 所述第三像素块和第四像 素块大小都为 Μ χ Μ, 则所述计算第三像素块和第四像素块的绝对误差和,具 体包括:
获取第三像素块中各像素点的像素值为 Vl,V2,v3, ...... , Vn ( M M=n ) 和第四 像素块 中 对应像素点 的像素值为 t^2 , M3 , ...... , un ; 并通过公式 &4D = |Ml -v1| + |M2 -v2| + |M3 - 3| + ...... + |w„_v„|计算得到第三像素块和第四像素块的 绝对误差和。
7、 根据权利要求 1-6任一所述的方法, 其特征在于, 所述对应所述计算 确定的各 hr像素类的像素点,获取 lr像素类中相似距离满足相似性的像素点, 具体包括:
对应所述计算确定的各 hr像素类的像素点, 获取 lr像素类中相似距离最 小的 P个像素点作为满足相似性的像素点, 其中 P为大于 1的自然数。
8、 根据权利要求 2-7任一所述的方法, 其特征在于, 所述依据所述确定的各 hr像素类中的像素点和对应满足相似性的 lr像素类中的像素点构造非局部 nl 滤波器的参数, 具体包括:
根据所述确定的 hr像素类中的第一个像素点和对应所述第一个像素点满 足相似性的 P个 lr像素类中的像素点作为参数, 计算得到所述 P个 lr像素类 的像素点的权值;
保存所述第一个像素点对应在 hr图像中的坐标、 所述 P个 lr像素类的像 素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的权值; 按照所述 hr像素类中第一个像素点的方法, 处理完所述确定的各 hr像素 类中其余的像素点。
9、 根据权利要求 8所述方法, 其特征在于, 所述利用 nl滤波器过滤经过放大 算法初始放大图像从而得到最终的放大图像, 具体包括:
获取 nl滤波器的参数中保存的所述第一个像素点的坐标、 所述 P个 lr像 素类的像素点对应在 hr图像中的坐标和所述 P个 lr像素类的像素点的权值; 基于所述 P个 lr像素类的像素点对应在 hr图像中的坐标获取初始放大图 像中对应的 P个像素值, 并依据所述 P个 lr像素类的像素点的权值得到加权 计算结果;
将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素 值;
按照所述第一个像素点方法依次基于所述 nl滤波器的参数中保存的其他 hr像素类的像素点处理初始放大图像。
10、 根据权利要求 9所述的方法, 其特征在于, 所述基于所述 P个 lr像素类 的像素点对应在 hr图像中的坐标获取初始放大图像中对应的 P个像素值, 并 依据所述 P个 lr像素类的像素点的权值得到加权计算结果, 具体包括:
根据 nl滤波器的参数中保存的 P个与所述第一个像素点满足相似性的像 素点的坐标, 获取放大后图像中在所述 P个坐标上的像素值 H ^ IA ...,/5 , 〜 〜 并利用公式 =^ : ^计算得到加权计算结果, 其中 w表示当前高分
^ o i) + ω 辨率位置像素参与加权求和使用的权值, 是取前面 Ρ个权值中的最大值; 其中 是 ρ个 lr像素类的像素点的权值, 通过模拟噪声衰减程度的参 数 t和 hr图像中像素块的大小 n, 依据公式 = 其中 / = 1Α ..., /Η十算获 付。
11、 一种放大图像装置, 其特征在于, 包括:
像素分类模块, 用于将所述 hr图像的像素点按像素特性分为 lr像素类和 hr像素类, 所述 lr像素类包含来自于 lr图像上的像素点, 所述 hr像素类包含 经过插值算法计算生成的像素点;
相似距离计算模块,用于依据所述边缘的像素点确定既是边缘的像素点且 归属于 hr像素类的像素点, 分别计算确定的各 hr像素类的像素点与所述 lr像 素类中的像素点的相似距离;
相似点获取模块, 用于获取 lr像素类中相似距离满足相似性的像素点; 非局部 nl滤波器的参数生成模块, 用于依据所述确定的各 hr像素类中的 像素点和对应满足相似性的 lr像素类中的像素点构造非局部 nl滤波器的参数; 过滤模块, 用于利用 nl滤波器过滤经过放大算法初始放大图像从而得到 最终的放大图像。
12、根据权利要求 11所述的装置,其特征在于, 所述像素分类模块,还包括: 像素类图像生成子模块, 用于将经过插值算法计算生成的 hr图像中来自 于 lr图像上的像素点归为第一组 lr像素类, 并生成第一组 lr像素类图像; 以第一组 lr像素类中各像素点为参考点, 按预定划分规则将 hr图像划分 成多个 N x N的像素块,并将各 Ν χ N的像素块相对于所述参考点具有相同的 位置关系的像素点分到同一组 hr像素类中, 所述 hr图像中共有 N2 -1组 hr像 素类, 并生成 N2 -l组 hr像素类图像; 其中, Ν为所述插值算法的放大倍数, Ν为大于 1的自然数;
所述第一组 lr像素类图像和 N2 - 1组 hr像素类图像中的各像素点都分别拥 有在各自像素类图像中的坐标以及在 hr图像中的坐标。
13、 根据权利要求 11所述的装置, 其特征在于, 所述相似距离计算模块还包 括映射生成模块, 用于当具体计算到第一组 lr像素类图像中坐标为 ' )像素 点与第 组 hr像素类图像中坐标为 ' )的像素点的相似距离时, 具体为: 获取 hr 图像中以 (^' 1)为中心的第一像素块与 (A' 为中心的第二像素 块, 其中 ^i^)是第一组 lr像素类图像中坐标为 ' )的像素点对应在 hr图像 中的坐标;其中(^Λ)是第 k组 hr像素类图像中坐标为 的像素点对应在 hr图像中的坐标;
在第一组 lr像素类图像中获取所述第一像素块中所有归属于第一组 lr像 素类的像素点, 并归为第三像素块; 在第 组 hr像素类图像中获取所述第二像素块中所有归属于第 组 hr像素 类的像素点, 并归为第四像素块;
在第一组 lr像素类图像中获取所述第二像素块中所有归属于第一组 lr像 素类的像素点, 并归为第五像素块;
在第 组 hr像素类图像中获取所述第一像素块中所有归属于第 组 hr像素 类的像素点, 并归为第六像素块;
所述相似距离计算模块,还用于计算第三像素块和第四像素块的绝对误差 和得到第一绝对误差和,并计算第五像素块和第六像素块的绝对误差和得到第 二绝对误差和,将第一绝对误差和与第二绝对误差和相加,得到第一组 lr像素 类图像中坐标为 ' )的像素点与第 组 hr像素类图像中坐标为 ' )像素点 间的相似距离。
PCT/CN2013/071098 2012-09-18 2013-01-30 一种放大图像的方法 WO2014044027A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210346575.X 2012-09-18
CN201210346575.XA CN103679631B (zh) 2012-09-18 2012-09-18 一种放大图像的方法

Publications (1)

Publication Number Publication Date
WO2014044027A1 true WO2014044027A1 (zh) 2014-03-27

Family

ID=50317089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/071098 WO2014044027A1 (zh) 2012-09-18 2013-01-30 一种放大图像的方法

Country Status (2)

Country Link
CN (1) CN103679631B (zh)
WO (1) WO2014044027A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220138906A1 (en) * 2019-07-12 2022-05-05 Huawei Technologies Co., Ltd. Image Processing Method, Apparatus, and Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2045773A1 (en) * 2007-10-02 2009-04-08 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for changing the spatial resolution of a digital image
CN101499164A (zh) * 2009-02-27 2009-08-05 西安交通大学 一种基于单张低分辨率图像的图像插值重构方法
CN101661611A (zh) * 2009-09-25 2010-03-03 西安电子科技大学 基于贝叶斯非局部均值滤波器的实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856150B2 (en) * 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
CN101833753B (zh) * 2010-04-30 2012-05-09 西安电子科技大学 基于改进贝叶斯非局部均值滤波器的sar图像去斑方法
CN102298773B (zh) * 2011-09-19 2012-12-26 西安电子科技大学 一种形状自适应的非局部均值去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2045773A1 (en) * 2007-10-02 2009-04-08 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for changing the spatial resolution of a digital image
CN101499164A (zh) * 2009-02-27 2009-08-05 西安交通大学 一种基于单张低分辨率图像的图像插值重构方法
CN101661611A (zh) * 2009-09-25 2010-03-03 西安电子科技大学 基于贝叶斯非局部均值滤波器的实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220138906A1 (en) * 2019-07-12 2022-05-05 Huawei Technologies Co., Ltd. Image Processing Method, Apparatus, and Device

Also Published As

Publication number Publication date
CN103679631A (zh) 2014-03-26
CN103679631B (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
CN111815755B (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
CN109840881B (zh) 一种3d特效图像生成方法、装置及设备
JP6266656B2 (ja) 画像をサイズ変更するためのシステム及び方法
JP2018537742A (ja) エッジ認識双方向画像処理
CN110163827A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
WO2017092251A1 (zh) 实时虚拟场景中圆柱碰撞体与凸体碰撞探测的方法、终端和存储介质
CN114399597B (zh) 场景空间模型的构建方法、装置以及存储介质
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
WO2021253788A1 (zh) 一种人体三维模型构建方法及装置
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
WO2020186385A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN108876716B (zh) 超分辨率重建方法及装置
CN107707899A (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
TWI711004B (zh) 圖片處理方法和裝置
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
WO2021000495A1 (zh) 一种图像处理方法以及装置
CN111062279B (zh) 照片处理方法及照片处理装置
CN112634431A (zh) 一种三维纹理贴图转化成三维点云的方法及装置
CN104917963A (zh) 一种图像处理方法及终端
WO2014044027A1 (zh) 一种放大图像的方法
CN116580174A (zh) 一种虚拟场景实时构建方法
CN116894911A (zh) 三维重建方法、装置、电子设备及可读存储介质
WO2023016423A1 (zh) 视频色域检测方法、装置、计算设备、计算机存储介质和计算机程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840077

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13840077

Country of ref document: EP

Kind code of ref document: A1