WO2014069052A1 - 拡大率推定装置またはその方法 - Google Patents

拡大率推定装置またはその方法 Download PDF

Info

Publication number
WO2014069052A1
WO2014069052A1 PCT/JP2013/069841 JP2013069841W WO2014069052A1 WO 2014069052 A1 WO2014069052 A1 WO 2014069052A1 JP 2013069841 W JP2013069841 W JP 2013069841W WO 2014069052 A1 WO2014069052 A1 WO 2014069052A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
frequency component
enlargement
enlargement ratio
value
Prior art date
Application number
PCT/JP2013/069841
Other languages
English (en)
French (fr)
Inventor
海峰 陳
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Publication of WO2014069052A1 publication Critical patent/WO2014069052A1/ja
Priority to US14/695,059 priority Critical patent/US9652689B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Definitions

  • the present invention relates to an enlargement ratio estimation apparatus, and more particularly to an image enlargement ratio estimation.
  • Patent Document 1 as a technique for determining the resolution of an input image, the period from the rising edge to the falling edge of an enable signal representing the effective period of the image, that is, the number of horizontal pixels or the number of vertical pixels of the image is counted.
  • a technique for determining resolution is disclosed.
  • Patent Document 1 has the following problems. If blurring occurs as a result of enlargement processing or the like, the resolution cannot be determined accurately. In such a case, when edge enhancement processing is performed based on such a blurred image, edge enhancement with excess or deficiency is caused.
  • An object of the present invention is to solve the above problems and to provide a method or an apparatus for estimating the enlargement rate of an enlarged image.
  • An enlargement factor estimation apparatus is an enlargement factor estimation device that estimates an enlargement factor of an input image, and calculates a predetermined high-frequency component of the input image as a first spatial frequency component characteristic value.
  • the predetermined high-frequency component of the input image is calculated as a first spatial frequency component characteristic value
  • the high-frequency component of the input image is calculated as a second spatial frequency component characteristic value.
  • the first and second spatial frequency component characteristic values are obtained by using a sum of absolute values of differences in pixel values from a predetermined peripheral pixel as a difference value for each pixel. And calculating the difference value for each pixel. Therefore, the content of the high frequency component can be obtained from the pixel difference around the target pixel.
  • the generation unit removes high frequency components of pixels located in the horizontal direction, the vertical direction, and the diagonal direction in the rectangular pixel region in relation to the target pixel. Therefore, the predetermined high frequency component of the input image can be easily removed.
  • the enlargement factor estimation unit includes a determination unit that determines whether or not each pixel is block noise, and the enlargement factor estimation unit includes the determination unit being block noise The determined pixel is excluded from the total target pixels. Therefore, an accurate enlargement ratio can be obtained by removing block noise.
  • the determination means includes a predetermined number of pixels in the left and right direction with respect to the target pixel, and a predetermined number of pixels in the vertical direction with the target pixel in between.
  • the difference value calculation means for obtaining a difference from the pixel value of the pixel of interest, if the tendency of the obtained difference value is a one-way increasing tendency or a one-way decreasing tendency in both the left-right direction and the up-down direction,
  • the pixel of interest includes a block noise pixel determination unit that determines that there is block noise. Therefore, the boundary position of the block noise can be detected accurately and easily.
  • the means for varying the edge extraction threshold according to the enlargement rate estimated by the enlargement rate estimation means and when the estimated enlargement rate is large, an edge extraction threshold value changing means for changing the edge extraction threshold value to be small is provided. Therefore, the edge extraction threshold can be varied according to the enlargement ratio. As a result, more accurate edge extraction can be performed.
  • the edge calculation decimation rate apparatus according to the enlargement rate estimated by the enlargement rate estimation unit, means for varying the decimation rate for thinning out pixels of the target image for detecting the edge amount,
  • the thinning-out ratio is large, and when the estimated enlargement ratio is small, pixel thinning means for changing the thinning-out ratio to be small is provided. Therefore, the thinning rate can be changed according to the enlargement rate. As a result, more accurate edge extraction can be performed.
  • a reduction unit that reduces the input image according to the enlargement rate estimated by the enlargement rate estimation unit, an edge that extracts an edge from the reduced image Extraction means and enlargement means for enlarging the edge extracted screen according to the enlargement ratio are provided. Therefore, appropriate edge extraction is possible even for an enlarged image.
  • An enlargement ratio estimation method is an enlargement ratio estimation method for estimating an enlargement ratio of an input image, wherein a first high-frequency component of the input image is calculated as a first spatial frequency component characteristic value.
  • the estimation step of estimating that the enlargement rate of the input image is high is provided.
  • the ratio of the high frequency component is small in the spatial frequency component of the input image, it can be determined that the image enlargement ratio is small.
  • the enlargement ratio estimation method generates high-frequency removed image data from which a predetermined high-frequency component is removed from the spatial frequency components of the input image, and the spatial frequency component in each pixel is obtained for the high-frequency removed image.
  • a pixel-specific high-frequency removal image high-frequency component characteristic value is calculated, and for the input image, a spatial frequency component in each pixel is calculated as a pixel-specific second spatial high-frequency component characteristic value, and a difference between the two is calculated.
  • the first spatial high-frequency component characteristic value for each pixel as the first spatial high-frequency component characteristic value
  • the second spatial high-frequency component characteristic value for each pixel as the second spatial high-frequency component characteristic. Value.
  • the enlargement ratio can be estimated easily and accurately even for an enlarged image.
  • pixel value includes not only luminance values but also numerical values for specifying image information such as RGB values.
  • the “one-direction increasing tendency” means “a tendency toward increasing in one direction.
  • The“ one-direction decreasing tendency ” is indicated by a broken line in FIG. 6A. As shown, it means a tendency to decrease in one direction. However, it is not limited to this form.
  • the “second spatial frequency component characteristic value” corresponds to a characteristic value specified from a dispersion value of each pixel in the input image with surrounding pixels.
  • the “first spatial frequency component characteristic value” is obtained from the difference between the “second spatial frequency component characteristic value” and the variance value of each pixel in the high frequency removed image obtained by removing the high frequency component from the input image.
  • the specified characteristic value applies.
  • the calculation is performed by obtaining the difference from the “second spatial frequency component characteristic value” for each pixel and totaling the difference, but the present invention is not limited to this. In addition, it does not obtain
  • FIG. 2 is a functional block diagram of an enlargement rate estimation device 1.
  • FIG. It is an example of the hardware constitutions at the time of constituting magnification rate estimating device 1 using CPU. It is the whole flowchart.
  • storage part 26L is shown.
  • An adjacent pixel whose difference is to be obtained is shown. It is a figure which shows the difference in the tendency of a block noise and an edge.
  • 5 is a processing flowchart in a case where edge enhancement is realized using the enlargement factor estimation apparatus 1;
  • the graph for determining an edge detection threshold value is shown. It is a detailed flowchart of edge detection. It is the filter used for edge detection in this embodiment. It is a detailed flowchart of edge emphasis processing coefficient determination. It is a figure which shows the window (15 * 3) used in this embodiment. It is a weighting mask. It is a graph which shows the relationship between a weighted edge total value and an emphasis coefficient. It is a flowchart in the case of performing a pixel thinning process. It is an example of the filter of a pixel thinning process.
  • FIG. 1 shows a functional block diagram of an enlargement ratio estimation apparatus 1 that is an enlargement ratio estimation apparatus according to an embodiment of the present invention.
  • the enlargement ratio estimation apparatus 1 is an enlargement ratio estimation apparatus that estimates an enlargement ratio of an input image, and includes a generation means 3, a first calculation means 5, a second calculation means 7, a determination means 9, and an enlargement ratio estimation means 11. ing.
  • the generation unit 3 generates, as a predetermined high-frequency component of the input image, high-frequency components of pixels located in the horizontal direction, vertical direction, and diagonal direction in the rectangular pixel region among the spatial frequency components of the input image in relation to the target pixel.
  • a high frequency-removed image is generated by removing.
  • the first calculation means 5 calculates a predetermined high frequency component of the input image as a first spatial frequency component characteristic value.
  • the second computing means 7 computes the spatial frequency component of the input image as a second spatial frequency component characteristic value.
  • FIG. 2 shows a hardware configuration of the enlargement ratio estimation apparatus 1.
  • the enlargement ratio estimation apparatus 1 includes a CPU 23, a RAM 25, and a flash memory 26.
  • the flash memory 26 includes an LPF storage unit 26L and a program storage unit 26p. As will be described later, the program 26p executes processing such as enlargement ratio estimation and edge extraction.
  • the RAM 25 stores calculation results and the like.
  • the frame memory 27 holds image data for one screen.
  • the LPF storage unit 26L stores a four-direction low-pass filter as shown in FIG.
  • the CPU 23 estimates the enlargement ratio of the image data stored in the frame memory 27 and performs edge extraction according to the program 26P.
  • the CPU 23 initializes the target pixel number q (step S100), and reads out pixel data of the peripheral block of the qth pixel (step S101).
  • one block is 49 pixels of 7 * 7.
  • the CPU 23 removes high frequency from the read pixel data for one block using the four-direction LPF shown in FIG. 4 (step S103), and stores the result in the memory.
  • the CPU 23 calculates a variance value at the target pixel number q (step S107).
  • the pixel of interest I (i, j) and four adjacent pixels pixel I (i, j-1), pixel I (i-1, j)
  • the variance value at the target pixel I (i, j) was calculated.
  • the pixel I (i, j-1) is in the 0 degree direction in FIG.
  • the pixel I (i-1, j) is in the 90 degree direction in FIG. 4, and the pixel I (i-1, j-1) is 135 in FIG.
  • the degree direction and the pixel I (i + 1, j-1) are adjacent pixels in the 45 degree direction of FIG.
  • CPU 23 calculates the variance value at the target pixel number q for the original image stored in step S101 in FIG. 3 (step S109). Since the calculation method is the same as that in step S107, description thereof is omitted.
  • the CPU 23 obtains the absolute value of the difference between the variance value of the original image obtained in step S109 and the variance value obtained by removing the high frequency obtained in step S107 (step S111). As a result, the high frequency components remaining for each pixel are obtained.
  • the CPU 23 determines whether or not the difference calculation has been completed for all pixels (step S119), and repeats the processing from step S101 to step S111. As a result, the LPF-processed image and the variance value in the original image are obtained for all pixels in one frame.
  • FIG. 6A shows a relationship between a difference between pixel values and a distance from the pixel when a certain pixel is block noise.
  • FIG. 6B shows a relationship between a difference between pixel values and a distance from the pixel when a certain pixel is an edge.
  • the tendency of the pixel difference value changes with the pixel as a peak.
  • the tendency of the pixel difference value decreases in one direction. It becomes a one-way increase relationship.
  • the block noise pixels are removed from the calculation target by detecting the characteristics of the block noise.
  • Block noise detection processing will be described with reference to FIG.
  • the CPU 23 initializes the target pixel number q (step S200 in FIG. 7).
  • the CPU 23 calculates the horizontal block noise level (step S203). Details of step S203 will be described with reference to FIG.
  • the CPU 23 reads out the pixel value of the target pixel q and the pixel value of the pixel located at the ⁇ 8th position in the horizontal direction from the target pixel q. The relationship between these pixels is shown in FIG. 9A.
  • the CPU 23 subtracts the pixel value located at the processing target pixel number h (i) from the pixel value of the target pixel q (step S225 in FIG. 8). When the difference is larger than the threshold value Hth, the horizontal flag of the pixel of the processing target pixel number h (i) is set to “1”. On the other hand, if the difference is not larger than the threshold value Hth, it is determined whether or not the difference is smaller than the threshold value ⁇ Hth (step S231).
  • the horizontal flag of the pixel of the processing target pixel number h (i) is set to “ ⁇ 1”. Otherwise, the horizontal flag of the pixel with the processing target pixel number h (i) is set to “0”.
  • the CPU 23 determines whether or not the processing target pixel number h (i)> 8 (step S237). If the processing target pixel number h (i)> 8 is not satisfied, the CPU 23 increments the processing target pixel number h (i) and repeats step S223 and subsequent steps.
  • the horizontal block noise level for the target pixel q is obtained (step S241). ).
  • the block noise level in the horizontal direction is a value obtained by adding the horizontal flags of a total of 16 pixels obtained by the above calculation.
  • the CPU 23 calculates the vertical block noise level (step S205). Details of step S205 will be described with reference to FIG. The processes in steps S251 to S271 in FIG. 10 are the same as those in FIG. 8 except that the horizontal direction is the vertical direction, and the description thereof will be omitted.
  • the CPU 23 determines a block noise pixel (steps S207 and S209 in FIG. 7).
  • a block noise pixel when the horizontal block noise level is smaller than the threshold value THh or when the vertical block noise level is smaller than the threshold value THv, it is determined that the pixel is a block noise pixel.
  • FIG. 6A shows the case where the target pixel is block noise as described above.
  • the difference value with respect to the target pixel increases in one direction or decreases in one direction as the distance increases.
  • each of the flags obtained in steps S203 and S205 includes both a “1” flag and a “ ⁇ 1” flag across the target pixel. Therefore, in this case, the block noise level is reduced.
  • FIG. 6B when the increasing tendency and the decreasing tendency are reversed at the target pixel, the flag “1” is almost all across the target pixel, or “ ⁇ 1”. There is a tendency that most of the flags are. Therefore, in this case, the block noise degree becomes large. Therefore, it becomes smaller than the threshold value. That is, when the horizontal block noise level is smaller than the threshold value THh, or when the vertical block noise level is lower than the threshold value THv, it can be determined as block noise.
  • the CPU 23 determines whether or not the pixel is the final pixel (step S210). If it is not the final pixel, the CPU 23 increments the pixel number q of interest (step S211), and repeats step S203 and subsequent steps.
  • the CPU 23 performs enlargement rate estimation processing (step S125 in FIG. 3).
  • the enlargement ratio estimation process in the present embodiment will be described with reference to FIG.
  • the CPU 23 obtains a sum Sum_ver_diff of the differences obtained in step S111 in FIG. 3 except for the pixels determined as block noise pixels in step S123 out of all pixels in one frame (FIG. 11).
  • Step S271 The CPU 23 adds up the total value for one frame except for the pixels determined to be block noise pixels in step S123 out of all the pixels in one frame for the variance value of the original image obtained in step S109 in FIG.
  • Sum_ver_org is obtained (step S273 in FIG. 11).
  • the CPU 23 obtains the normalized enlargement estimation rate blur from the following equation.
  • the block noise is judged in the horizontal direction and the vertical direction. This is because the block noise often appears in the horizontal or vertical direction.
  • the block noise determination is performed on a pixel-by-pixel basis.
  • block noise it is often continuous in the horizontal or vertical direction. Therefore, a step of determining whether or not a predetermined number or more of block noise pixels are continuous may be provided, and if a predetermined number or more of the block noise pixels are continuous, it may be determined that they are block noise pixels.
  • FIG. 12 shows a block diagram when the enlargement factor estimation apparatus 1 is realized by hardware.
  • the 7 * 7 image is supplied to the four-way LPF 201, the original image variance value calculation unit 205, and the block noise determination unit 207.
  • the four-direction LPF 201 removes a predetermined high frequency
  • the post-LPF dispersion value calculation unit 203 obtains a dispersion value for each pixel of 7 * 7 from the remaining high frequency components.
  • the original image variance value calculation unit 205 also obtains a variance value for each given 7 * 7 pixel.
  • the block noise determination unit 207 performs block noise determination using 7 * 7 pixels. In this embodiment, since block noise determination is performed using 16 neighboring pixels, a 7 * 7 image is insufficient.
  • the block noise determination unit 207 only needs to acquire and store pixel values for the pixels in the surrounding blocks.
  • the enlargement rate estimation unit 209 estimates the enlargement rate using the data provided to the four-way LPF 201, the original image variance value calculation unit 205, and the block noise determination unit 207 as described above.
  • the edge enhancement process can be performed by combining the enlargement factor estimation apparatus 1 with a conventional edge enhancement apparatus. In particular, by calculating an optimum edge extraction threshold using the estimated enlargement rate, edge extraction according to the enlargement rate can be performed.
  • FIG. 13 shows a flowchart of the edge enhancement process.
  • the CPU 23 performs enlargement rate estimation processing (step S301 in FIG. 13). This process is a calculation process of the normalized enlargement estimation rate blur by the enlargement rate estimation apparatus 1.
  • the CPU 23 calculates an optimum edge extraction threshold value THb from the normalized enlargement estimation rate blur (step S303). This is applied to the graph shown in FIG. 14 for the obtained normalized enlargement estimation rate blur to determine the edge extraction threshold THb. Specifically, when the normalized enlargement estimation rate blur is smaller than the value B1 corresponding to the upper threshold TH1, the upper threshold TH1 is set as the edge extraction threshold THb.
  • the lower limit threshold TH2 is set as the edge extraction threshold THb.
  • the edge extraction threshold THb is based on the function f (blur) shown in FIG. To decide.
  • a small edge extraction threshold TH is obtained when the estimated enlargement ratio is large, and a large edge extraction threshold TH is obtained when the estimated enlargement ratio is small.
  • an upper limit threshold and a lower limit threshold are provided, but these are optional.
  • the CPU 23 calculates the edge amount g (x, y) of the edge amount calculation target pixel (x, y) (step S321).
  • the edge amount g (x, y) of the edge amount calculation target pixel (x, y) is calculated using the Sobel filter, and the obtained horizontal and vertical total values are further calculated. Calculation was performed by adding. That is, the calculation using the horizontal and vertical coefficient matrices as shown in FIGS. 16A and 16B is performed to obtain the absolute value of the total value gHS in the horizontal direction and the absolute value of the total value gVS in the vertical direction. Added. As described above, since the calculation is not based on the square calculation but based on the absolute value of the total value gHS and the total value gVS in the vertical direction, the calculation becomes easy.
  • the CPU 23 determines whether or not the edge amount g (x, y) of the edge amount calculation target pixel (x, y) exceeds the threshold value THb obtained in step S303 in FIG. 13 (step S323), and the edge amount calculation target.
  • the edge amount calculation target pixel (x, y) is assumed to be an edge (step S327), and the edge amount calculation is performed. If the edge amount g (x, y) of the target pixel (x, y) does not exceed the threshold value THb, it is determined that the edge amount calculation target pixel (x, y) is not an edge (step S329).
  • the CPU 23 executes such edge determination for all pixels.
  • the edge extraction may be another method that is not such a method.
  • the CPU 23 determines an edge enhancement coefficient for each pixel of interest based on the edge distribution extracted in step S305 (step S309 in FIG. 13).
  • the edge enhancement coefficient processing of the target pixel will be described with reference to FIG.
  • the CPU 23 determines a window for the target pixel (step S331 in FIG. 17).
  • the window has a range of 15 * 3 pixels centered on the target pixel as shown in FIG.
  • a distribution of edges located in the window centered on the target pixel is obtained.
  • the CPU 23 identifies the edge pixel in the determined window (step S333).
  • the CPU 23 employs the filter shown in FIG. 18 to calculate a weighted edge total value NumE (x, y) indicating how many edge pixels are present at a position close to the target pixel in the range (step S335).
  • the weighted edge total value NumE (x, y) is set to “1” when the pixel is the edge pixel and “0” when the pixel is not the edge pixel.
  • the CPU 23 compares the obtained weighted edge total value NumE (x, y) with a predetermined lower limit threshold THs and upper limit THh (step S337).
  • the edge enhancement coefficient W (x, y) 0 is set (step S339).
  • the edge enhancement coefficient W (x, y) is set to a predetermined upper limit coefficient value Wh (step S343). Further, when the weighted edge total value NumE (x, y) is between the lower limit threshold THs and the upper limit threshold THh, it is calculated by the following equation (step S341).
  • W (x, y) Wh * (NumE (x, y) -THs) / (THh-THs)
  • the relationship between the weighted edge total value NumE (x, y) and the edge enhancement coefficient W (x, y) corresponds linearly between the lower threshold THs and the upper threshold THh, as shown in FIG. If it is smaller than the lower limit threshold THs, it becomes zero, and if it is larger than the upper limit threshold THh, it becomes the upper limit coefficient value Wh.
  • the emphasis coefficient W (x, y) is determined with the texture and the edge portion being linear without emphasizing the flat portion. Thereby, a texture part can be emphasized more strongly.
  • the emphasis coefficient W (x, y) is determined with the texture and the edge portion being linear without emphasizing the flat portion.
  • the CPU 23 performs these processes for all pixels.
  • the CPU 23 performs edge enhancement / blurring processing (step S311 in FIG. 13) and ringing artifact removal processing of the target pixel.
  • Conventional methods may be employed for the edge enhancement processing and ringing artifact removal processing.
  • the edge extraction threshold value is calculated from the estimated enlargement rate. However, if the estimated enlargement rate is large, the pixel thinning rate is increased. If the estimated enlargement rate is small, the pixel thinning rate is calculated. It may be made smaller. This is because the fact that the enlargement ratio is large represents this with a plurality of pixels with respect to the original image, so that an appropriate edge amount is to be detected by subtracting that amount.
  • FIG. 21 shows a flowchart in that case.
  • Step S401 and steps S405 to S413 are the same as step S301 and step S305 to step S313, respectively.
  • step S403 pixel decimation processing may be performed using a Laplacian filter whose decimation rate varies based on the enlargement rate estimated in step S401.
  • FIG. 22A shows a conventional Laplacian filter.
  • the Laplacian filter shown in FIG. 22B has many thinnings in the vertical direction and the horizontal direction.
  • edge extraction is performed on the image that has undergone such thinning processing.
  • the edge enhancement processing is changed based on the estimated enlargement rate.
  • the edge enhancement process can also be changed dynamically.
  • the enlargement ratio is a fractional multiple.
  • the edge detection screen may be enlarged to the original size after performing edge detection from an image obtained by reducing the input image instead of thinning out.
  • the enlargement ratio is estimated to be 1.3
  • the input image is multiplied by 1 / 1.3 in step S403 in FIG. 21, and after the edge is extracted, the screen is subjected to the edge enhancement process (step S411). What is necessary is just to make it 1.3 times.
  • peripheral pixels are used as the difference calculation between the target pixel and its peripheral pixels.
  • the present invention is not limited to this, and general dispersion and other “variation” degree calculation indexes can be used. is there.
  • the four-way simple low-pass filter is adopted.
  • any low-pass filter may be used as long as it can remove high-frequency components.
  • the size of the LPF is not limited.
  • the enlargement ratio is estimated for one frame, but a similar determination can be made for a partial region of one frame.
  • the block noise level is determined in the flowcharts shown in FIGS. 8 and 10 for the block noise determination.
  • the present invention is not limited to this.
  • the horizontal pixel is not continuously determined. A part may be extracted, or may be determined only by the end.
  • the reason why the window shown in FIG. 18 is set to 15 * 3 pixels is a size with good cost performance in relation to the necessary line memory, and is not limited to this.
  • a Sobel filter is used for the edge detection process, but other edge detection processes such as a Prewitt filter may be used.
  • the invention disclosed in the above embodiment can also be grasped as a block noise determination device as described below.
  • a block noise pixel determination device that determines a pixel that is block noise among pixels constituting an image composed of a plurality of pixels, Means for extracting pixel values of a target pixel and peripheral pixels to be determined; Means for obtaining a difference between the extracted pixel values; A judging means for judging that the pixel of interest is a pixel that is block noise when it is judged that the difference tendency from the surrounding pixels is a one-way increasing tendency or a one-way decreasing tendency; A block noise pixel determination device.
  • the pixel determined by the determining means as block noise may be provided with means for excluding from the total target pixel.
  • the determination means obtains a difference from the pixel value of the target pixel with respect to the target pixel with respect to a predetermined number of pixels in the left and right direction across the target pixel and with respect to a predetermined number of pixels in the vertical direction across the target pixel.
  • the difference value calculating means and the tendency of the obtained difference value are one-way increasing tendency or one-way decreasing tendency in both the left-right direction and the up-down direction, it is determined that the target pixel has block noise. You may comprise so that a block noise pixel judgment means may be provided.
  • the invention disclosed in the above embodiment can also be understood as the following edge extraction threshold value calculation device.
  • An edge extraction threshold value calculation device that changes an edge extraction threshold value when an estimated enlargement factor is given for a given image, When the estimated enlargement rate is large, an edge extraction threshold value is large, and when the estimated enlargement rate is small, edge extraction threshold value changing means for changing the edge extraction threshold value to be small is provided.
  • An edge extraction threshold value calculation device characterized by:
  • the invention disclosed in the above embodiment can also be grasped as the following edge calculation thinning rate apparatus.
  • An edge calculation decimation rate device that varies a decimation rate for decimation of pixels of a target image whose edge amount is to be detected according to an enlargement rate estimated by an enlargement rate estimation unit, When the estimated enlargement ratio is large, the thinning ratio is large, and when the estimated enlargement ratio is small, pixel thinning means is provided for changing the thinning ratio to be small. Edge calculation thinning rate device.
  • the invention disclosed in the above embodiment can also be grasped as the following edge extraction device.
  • Reduction means for reducing the input image according to the enlargement ratio estimated by the enlargement ratio estimation means;
  • Edge extraction means for extracting edges from the reduced image;
  • Enlarging means for enlarging the edge extracted screen according to the enlargement ratio, Having An edge extraction device characterized by the above.
  • edge extraction processing when performing edge extraction processing according to the estimated enlargement rate, various image processing is performed so that accurate edge extraction can be performed, such as changing the threshold for edge extraction, thinning-out processing, and the above-described reduction / enlargement processing. be able to.
  • the difference is calculated for each corresponding pixel of the image that has not passed through the low-pass filter, and then these are totaled. You may make it calculate.
  • the enlargement ratio may be calculated for the image that has passed through the high-pass filter at the ratio of the image that has not passed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】　拡大画像について拡大率を推定する。 【解決手段】　生成手段３は、入力画像の高周波を除去した画像を生成する。第１演算手段５は前記入力画像の空間周波数成分のうち、所定以上の高周波成分を空間周波成分特性値として演算する。第２演算手段７は、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する。判断手段９は前記各画素について、ブロックノイズであるか否かを判断する。拡大率推定手段１１は、判断手段９がブロックノイズであると判断した画素は、前記総計対象画素から排除し、残った画素について、前記第１空間周波数成分特性値と、前記第２空間周波数成分特性値との差分が小さいほど、前記入力画像の拡大率は高いと推定する。

Description

拡大率推定装置またはその方法
　この発明は、拡大率推定装置に関し、特に、画像の拡大率推定に関する。
　特許文献１に、入力された画像の解像度を判定する技術として、画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間、すなわち、画像の水平画素数あるいは垂直画素数をカウントすることにより解像度を判定する技術が開示されている。
特開２００６－１６６１８８号公報
　しかし、上記特許文献１に開示された判定方法では、以下のような問題があった。拡大処理等した結果、ボケが発生しているような場合には、解像度を正確に判断ができない。このような場合、かかるボケ画像に基づいて、エッジ強調処理を行うと過不足のあるエッジ強調となってしまう。
　この発明は、上記問題を解決し、拡大処理された画像の拡大率を推定する方法またはその装置を提供することを目的とする。
　(1)本発明にかかる拡大率推定装置は、入力画像の拡大率を推定する拡大率推定装置であって、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算手段、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する第２演算手段、前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する拡大率推定手段を備えている。このように、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算し、これと、前記入力画像の高周波成分を第２空間周波数成分特性値として演算し、この割合から拡大率を推定することにより、拡大画像であっても簡易かつ正確に拡大率を推定することができる。
　を特徴とする拡大率推定装置。
　(2)本発明にかかる拡大率推定装置においては、前記第１および第２空間周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められる。したがって、注目画素周辺の画素差分から、高周波成分の含有度を得ることができる。
　(3)本発明にかかる拡大率推定装置においては、前記生成手段は、注目画素との関係において、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を除去する。したがって、簡易に前記入力画像の所定高周波成分を取り除くことができる。
　(4)本発明にかかる拡大率推定装置においては、前記各画素について、ブロックノイズであるか否かを判断する判断手段を備え、前記拡大率推定手段は、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除する。したがって、ブロックノイズを除去して正確な拡大率を得ることができる。
　(5)本発明にかかる拡大率推定装置においては、前記判断手段は、注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段、前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段、を備えている。したがって、簡易で、かつ、ブロックノイズの境界位置を正確に検出することできる。
　(6)本発明にかかるエッジ抽出閾値算出装置においては、前記拡大率推定手段が推定した拡大率に応じて、エッジ抽出閾値を変動させる手段であって、前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段を備えている。したがって、拡大率に応じて、エッジ抽出閾値を変動させることができる。これによりより正確なエッジ抽出が可能となる。
　(7)本発明にかかるエッジ算出間引き率装置においては、前記拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させる手段であって、前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段、を備えている。したがって、拡大率に応じて、間引き率を変動させることができる。これによりより正確なエッジ抽出が可能となる。
　(8)本発明にかかるエッジ算出間引き率装置においては、前記拡大率推定手段が推定した拡大率に応じて、前記入力画像を縮小処理させる縮小手段、前記縮小された画像からエッジを抽出するエッジ抽出手段、および前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段を備えている。したがって、拡大された画像であっても適切なエッジ抽出が可能となる。
　(9)本発明にかかる拡大率推定方法は、入力画像の拡大率を推定する拡大率推定方法であって、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算ステップ、前記入力画像の空間周波数成分を第２空間高周波成分として演算する第２演算ステップ、前記第２空間周波数成分特性値に対する前記第１空間周波数成分特性値の割合を求め、この割合が小さいほど、前記入力画像の拡大率は高いと推定する推定ステップ、を備えている。
　このように、前記入力画像の空間周波数成分のうち、高周波成分の割合が小さい場合には、画像拡大率が小さいと判断することができる。
　(10)本発明にかかる拡大率推定方法は、前記入力画像の空間周波数成分のうち、所定高周波成分を取り除いた高周波除去画像データを生成し、この高周波除去画像について、各画素における空間周波数成分を画素別高周波除去画像高周波成分特性値として演算し、前記入力画像について、各画素における空間周波数成分を画素別第２空間高周波成分特性値として演算し、両者の差分を画素別第１空間高周波成分特性値とし、前記画素別第１空間高周波成分特性値を全画素の総計を第１空間高周波成分特性値とし、前記画素別第２空間高周波成分特性値を全画素の総計を第２空間高周波成分特性値とする。
　このように、入力画像から所定高周波分を取り除き、残存している高周波成分により、拡大率を推定することにより、拡大画像であっても簡易かつ正確に拡大率を推定することができる。
　(11)本発明にかかる拡大率推定方法においては、前記推定ステップでは、前記割合を１から減算した値を、拡大率として求める。したがって、拡大率を求めることができる。
　なお、本明細書において「画素値」とは輝度値はもちろん、ＲＧＢ値など画像情報を特定する為の数値は全て含む。「一方方向増加傾向」とは、実施形態では、図６Ａの実線で示すように、「一方方向に向かって、増加している傾向をいう。「一方方向減少傾向」は、図６Ａの破線で示すように、一方方向に向かって減少している傾向をいう。ただし、この形には限定されない。
　また、「第２空間周波数成分特性値」とは、実施形態では、入力画像における各画素における周辺画素との分散値から特定される特性値が該当する。また、「第１空間周波数成分特性値」は、「第２空間周波数成分特性値」から、前記入力画像から高周波成分を除去した高周波除去画像おける各画素における周辺画素との分散値との差分から特定される特性値が該当する。本実施形態においては、各画素について「第２空間周波数成分特性値」との差分を求めて、それを総計することにより、演算したが、これに限定されない。なお、かかる「第２空間周波数成分特性値」との差分で求めるのではなく、高周波成分を通過させて、これから、求めたものを含む。
拡大率推定装置１の機能ブロック図である。 拡大率推定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。 全体のフローチャートである。 ＬＰＦ記憶部２６Ｌに記憶されたローパスフィルタを示す。 差分を求める隣接画素を示す。 ブロックノイズとエッジの傾向の違いを示す図である。 ブロックノイズ除去処理のフローチャートである。 水平方向ブロックノイズ度の演算処理のフローチャートである。 水平方向ブロックノイズ度の演算に用いる画素との関係を示す。 垂直方向ブロックノイズ度の演算処理のフローチャートである。 拡大率推定処理のフローチャートである。 拡大率推定装置１をハードウェアで実現する場合の概要を示す図である。 拡大率推定装置１を用いて、エッジ強調を実現する場合の処理フローチャートである。 エッジ検出閾値を決定するためのグラフを示す。 エッジ検出の詳細フローチャートである。 本実施形態においてエッジ検出に用いたフィルタである。 エッジ強調処理係数決定の詳細フローチャートである。 本実施形態において用いたウインドウ（１５＊３）を示す図である。 重み付けマスクである。 重み付けエッジ総計値と強調係数との関係を示すグラフである。 画素間引き処理をする場合のフローチャートである。 画素間引き処理のフィルタの一例である。
　以下、本発明における実施形態について、図面を参照して説明する。
（１．１　機能ブロック）
　図１に、本発明の１実施形態にかかる拡大率推定装置である拡大率推定装置１の機能ブロック図を示す。
　拡大率推定装置１は、入力画像の拡大率を推定する拡大率推定装置であって、生成手段３、第１演算手段５、第２演算手段７、判断手段９および拡大率推定手段１１を備えている。
　生成手段３は、前記入力画像の所定高周波成分として、注目画素との関係において、入力画像の空間周波数成分のうち、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を取り除いた高周波除去画像を生成する。
　第１演算手段５は、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する。第２演算手段７は、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する。これらの第１および第２空間高周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められる。
　判断手段９は前記各画素について、ブロックノイズであるか否かを判断する。拡大率推定手段１１は、判断手段９がブロックノイズであると判断した画素は、前記総計対象画素から排除し、残った画素について、前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する（１．２　ハードウェア構成）
　図２に拡大率推定装置１のハードウェア構成を示す。拡大率推定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６は、ＬＰＦ記憶部２６Ｌ、プログラム記憶部２６ｐを有している。プログラム２６ｐは、後述するように、拡大率推定、エッジ抽出などの処理を実行する。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。ＬＰＦ記憶部２６Ｌには、図４に示すような、４方向のローパスフィルタが記憶されている。
　ＣＰＵ２３は、プログラム２６Ｐに従い、フレームメモリ２７に記憶された画像データについて、拡大率を推定し、エッジ抽出を行う。
（１．３　フローチャートの説明）
　図２に示すプログラム２６Pによる処理について図３を用いて説明する。ＣＰＵ２３は、注目画素番号qを初期化し(ステップＳ１００)、q番目の画素の周辺ブロックの画素データを読み出す(ステップＳ１０１）。本実施形態においては、1ブロックを7*7の49画素とした。
　ＣＰＵ２３は、読み出した１ブロック分の画素データについて、図４に示す４方向ＬＰＦを用いて、高周波を除去し(ステップＳ１０３）、結果をメモリに記憶する。ＣＰＵ２３は、注目画素番号qにおける分散値を計算する(ステップＳ１０７)。本実施形態においては、図５に示すように、注目画素Ｉ(i,j)とこれに隣接する４つの画素（画素Ｉ(i,j-1)、画素Ｉ(i-1,j)、画素Ｉ(i-1,j-1)、および画素Ｉ(i+1,j-1)）とのそれぞれの差分の絶対値を加算することにより、注目画素Ｉ(i,j)における分散値を演算するようにした。画素Ｉ(i,j-1)が図４の０度方向、画素Ｉ(i-1,j)が図４の９０度方向、画素Ｉ(i-1,j-1)が図４の１３５度方向、および画素Ｉ(i+1,j-1)が図４の４５度方向における隣接画素である。
　ＣＰＵ２３は、図３ステップＳ１０１で記憶した原画像について、同じく注目画素番号qにおける分散値を計算する(ステップＳ１０９)。計算手法は、ステップＳ１０７と同じなので、説明は省略する。
　ＣＰＵ２３は、ステップＳ１０９で求めた原画像の分散値と、ステップＳ１０７で求めた高周波を除去した分散値との差分の絶対値を求める(ステップＳ１１１）。これにより各画素について残存している高周波成分が得られる。
　ＣＰＵ２３は、全画素について、前記差分演算が完了したか否か判断し（ステップＳ１１９）、ステップＳ１０１～ステップＳ１１１の処理を繰り返す。これにより、１フレームの全画素についての、ＬＰＦ処理した画像と、原画像における分散値が得られる。
　ＣＰＵ２３は、ブロックノイズ判定を行う（ステップＳ１２３）。本実施形態においては、ブロックノイズの特性に着目して、画素毎にその判定をするようにした。図６Ａに、ある画素がブロックノイズである場合、画素値の差分と当該画素からの距離との関係を示す。図６Ｂに、ある画素がエッジである場合、画素値の差分と当該画素からの距離との関係を示す。本実施形態においては、ある画素がエッジである場合、当該画素をピークとして、画素差分値の傾向が変化するが、前記ある画素がブロックノイズである場合、画素差分値の傾向は、一方向減少か一方向増加の関係となる。
　本実施形態においては、かかるブロックノイズの特性を検出することにより、ブロックノイズの画素を、演算対象から取り除くようにした。ブロックノイズ検出処理を、図７を用いて説明する。ＣＰＵ２３は、注目画素番号qを初期化する(図７ステップＳ２００）。ＣＰＵ２３は、水平方向ブロックノイズ度の演算を行う(ステップＳ２０３)。ステップＳ２０３の詳細について、図８を用いて説明する。
　ＣＰＵ２３は、処理対象画素番号h(i)を初期化する。本実施形態においては、-８番目から＋８番目までを処理対象とするので、初期化はh(i)＝-８とした。ＣＰＵ２３は、注目画素qの画素値および、注目画素qから水平方向に－８番目に位置する画素の画素値を読み出す。これらの画素の関係を図９Ａに示す。ＣＰＵ２３は、注目画素qの画素値から、処理対象画素番号h(i)に位置する画素値を減算する(図８ステップＳ２２５)。差分が閾値Ｈthよりも大きい場合には、処理対象画素番号h(i)の画素の水平フラグを「１」とする。これに対して、差分が閾値Ｈthよりも大きくない場合には、差分が閾値－Ｈthのよりも小さいか否か判断する(ステップＳ２３１）。
　差分が閾値－Ｈthのよりも小さい場合には、処理対象画素番号h(i)の画素の水平フラグを「－１」とする。そうでない場合は、処理対象画素番号h(i)の画素の水平フラグを「０」とする。
　ＣＰＵ２３は、処理対象画素番号h(i)＞８か否か判断する(ステップＳ２３７）。処理対象画素番号h(i)＞８で無い場合には、ＣＰＵ２３は、処理対象画素番号h(i)をインクリメントして、ステップＳ２２３以下を繰り返す。
　このようにして、図９に示すように、左右方向に８つずつ位置する画素と、注目画素との関係が取得される。
　図８ステップＳ２３７で、処理対象画素番号h(i)＞８であれば、対象となる全画素について、水平フラグが取得したので、注目画素qについての水平方向のブロックノイズ度を求める(ステップＳ２４１）。本実施形態においては、水平方向のブロックノイズ度は、上記演算で求めた計１６の画素の水平フラグを加算した値とした。
　ＣＰＵ２３は、垂直方向ブロックノイズ度の演算を行う(ステップＳ２０５)。ステップＳ２０５の詳細について、図１０を用いて説明する。図１０のステップＳ２５１～ステップＳ２７１の処理は、方向が水平方向が、垂直方向となるだけで、図８と同様であるので説明は省略する。
　ＣＰＵ２３は、ブロックノイズの画素の判定を行う(図７ステップＳ２０７、ステップＳ２０９）。本実施形態においては、水平方向ブロックノイズ度が閾値THhよりも小さいか、または、垂直方向ブロックノイズ度が閾値THvよりも小さい場合には、ブロックノイズ画素であると判断するようにした。
　かかる判断基準について説明する。図６Ａは、既に説明したように、注目画素がブロックノイズである場合であり、この場合、注目画素に対して、差分の値は、距離が離れるにしたがって、一方方向増加傾向または、一方方向減少傾向にある。この場合に、ステップＳ２０３，Ｓ２０５で求めた各フラグは、注目画素を挟んで、「１」のフラグおよび「－１」のフラグの双方が存在する。したがって、この場合、ブロックノイズ度は小さくなる。これに対して、図６Ｂに示すように、注目画素で増加傾向と減少傾向が折り返しになるような場合、注目画素を挟んで、「１」のフラグかがほとんどか、または、「－１」のフラグがほとんどであるという傾向にある。したがって、この場合、ブロックノイズ度は大きくなる。したがって、閾値よりも小さくなる。すなわち、水平方向ブロックノイズ度が閾値THhよりも小さいか、または、垂直方向ブロックノイズ度が閾値THvよりも小さい場合には、ブロックノイズと判断することができる。
　ＣＰＵ２３は、最終画素かどうか判断して(ステップＳ２１０)、最終でない場合は、注目画素番号qをインクリメントして(ステップＳ２１１)、ステップＳ２０３以下を繰り返す。
　このようにして、ブロックノイズ画素か否かの判断が画素単位で可能となる。
　ＣＰＵ２３は、拡大率推定処理を行う(図３ステップＳ１２５)。本実施形態における拡大率推定処理について、図１１を用いて説明する。ＣＰＵ２３は、図３ステップＳ１１１にて求めた差分について、１フレームの全画素のうち、ステップＳ１２３で、ブロックノイズ画素であると判断した画素を除いて、これらを総計した値Sum_ver_diffを求める(図１１ステップＳ２７１)。ＣＰＵ２３は、図３ステップＳ１０９にて求めた原画の分散値について、１フレームの全画素のうち、ステップＳ１２３で、ブロックノイズ画素であると判断した画素を除いて、これらを１フレーム分総計した値Sum_ver_orgを求める(図１１ステップＳ２７３)。ＣＰＵ２３は、正規化拡大推定率blurを下記式から求める。
　blur＝１－（Sum_ver_diff／Sum_ver_org）
　このようにして、ブロックノイズを判定し、ブロックノイズと判定される画像のvariation差分を収集しないことで、ブロックノイズの影響を受けられない正確な拡大率推定が可能となる。特に、一旦圧縮され、その画像がbilinear法などのような精度が低い拡大法で処理されると、圧縮時に生成されたブロックノイズが更に目立つが、かかる場合に効果を奏する。
　なお、本実施形態においては、ブロックノイズを水平方向および垂直方向で判断しているが、これは、ブロックノイズは、水平または垂直方向に出現するが多いからである。
　また、本実施形態においては、１画素単位でブロックノイズ判定を行うようにしたが、ブロックノイズである場合は、それが水平か垂直方向に連続することが多い。したがって、ブロックノイズ画素が所定数以上連続するか否かを判断するステップを設け、所定数連続する場合には、ブロックノイズ画素であると判断するようにしてもよい。
　上記拡大率推定装置１をハードウェアで実現する場合のブロック図を図１２に示す。７*７画像が、４方向LPF２０１、原画分散値計算部２０５，およびブロックノイズ判定部２０７に与えられる。４方向LPF２０１は所定の高周波を除去し、残存した高周波成分をLPF後分散値計算部２０３が７＊７の各画素について、分散値を求める。原画像分散値計算部２０５も与えられた７＊７の各画素についての分散値を求める。ブロックノイズ判定部２０７は、７＊７の画素を用いて、ブロックノイズの判定を行う。本実施形態においては、周辺の１６画素を用いてブロックノイズ判定を行っているので、７＊７画像では不足する。したがって、ブロックノイズ判定部２０７は、その周辺のブロックの画素についても画素値を取得して、これを記憶しておけばよい。拡大率推定部２０９は、４方向LPF２０１、原画分散値計算部２０５，およびブロックノイズ判定部２０７に与えられたデータを用いて、既に説明したように、拡大率を推定する。
　上記拡大率推定装置１を従来のエッジ強調処理装置と組み合わせることにより、エッジ強調処理などが可能である。特に、推定した拡大率を用いて、最適なエッジ抽出閾値を算出することにより、拡大率に応じたエッジ抽出が可能となる。
　この場合のハードウェア構成は、図２と同様であるので説明は省略する。図１３に、エッジ強調処理のフローチャートを示す。
　ＣＰＵ２３は、拡大率推定処理を行う（図１３ステップＳ３０１）。かかる処理は、上記拡大率推定装置１による正規化拡大推定率blurの演算処理である。ＣＰＵ２３は、正規化拡大推定率blurから、最適なエッジ抽出閾値ＴＨbを算出する(ステップＳ３０３)。これは、求めた正規化拡大推定率blurについて、図１４に示すグラフに当てはめて、エッジ抽出閾値ＴＨbを決定する。具体的には、正規化拡大推定率blurが上限閾値ＴＨ１に対応する値Ｂ１よりも小さい場合は、上限閾値ＴＨ１をエッジ抽出閾値ＴＨbとする。また、正規化拡大推定率blurが下限閾値ＴＨ２に対応する値Ｂ２よりも大きい場合は、下限閾値ＴＨ２をエッジ抽出閾値ＴＨbとする。正規化拡大推定率blurが上限閾値ＴＨ１に対応する値Ｂ１と、下限閾値ＴＨ２に対応する値Ｂ２の間に位置する場合には、図１４に示す関数ｆ（blur）に基づき、エッジ抽出閾値ＴＨbを決定する。これにより、推定拡大率が大きい場合には、小さなエッジ抽出閾値ＴＨが、推定拡大率が小さい場合には、大きなエッジ抽出閾値ＴＨが得られる。
　本実施形態においては、上限閾値と下限閾値を設けたが、これについては任意である。
　エッジ抽出処理について、図１５を用いて説明する。ＣＰＵ２３は、エッジ量演算対象画素(x,y)のエッジ量g(x,y)を演算する（ステップＳ３２１）。本実施形態においては、エッジ量演算対象画素(x,y)のエッジ量g(x,y)をソーベル（Sobel)フィルタを用いて、さらに、得られた水平方向、および垂直方向の合計値を加算することにより、演算した。すなわち、図１６Ａ，Ｂに示すような水平方向、および垂直方向の係数行列を用いた演算を行い、水平方向の合計値gHSの絶対値と垂直方向の合計値gVSの絶対値を求め、これらを加算するようにした。このように、二乗計算でなく、合計値gHSの絶対値と垂直方向の合計値gVSで求めている為、演算が容易となる。
　ＣＰＵ２３は、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が、図１３ステップＳ３０３で求めた閾値ＴＨbを越えているか否か判断し（ステップＳ３２３）、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が閾値ＴＨbを越えている場合には、そのエッジ量演算対象画素(x,y)はエッジであるとし（ステップＳ３２７）、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が閾値ＴＨbを越えていない場合は、そのエッジ量演算対象画素(x,y)はエッジでないと決定する(ステップＳ３２９）。ＣＰＵ２３は、かかるエッジ判定を全画素について実行する。なお、エッジ抽出は、かかる方法でない他の方法であってもよい。
　つぎに、ＣＰＵ２３は、ステップＳ３０５で抽出したエッジ分布に基づき、注目画素毎のエッジ強調係数を決定する(図１３ステップＳ３０９）。
　注目画素のエッジ強調係数処理について、図１７を用いて説明する。ＣＰＵ２３は、注目画素に対するウインドウを決定する(図１７ステップＳ３３１）。本実施形態においては、当該ウインドウとして、図１８に示すような注目画素を中心とする１５＊３画素の範囲とした。これにより、注目画素を中心とするウインドウ内に位置するエッジの分布が得られる。
　ＣＰＵ２３は、決定したウインドウにおけるエッジ画素を特定する(ステップＳ３３３)。ＣＰＵ２３は、図１８に示すフィルタを採用して、当該範囲において注目画素に近い位置にどの程度エッジ画素が存在するかを示す重み付けエッジ総計値NumE(x,y)を演算する(ステップＳ３３５)。本実施形態においては、重み付けエッジ総計値NumE(x,y)は、前記注目画素周辺領域内の画素について、エッジ画素である場合は「１」を、エッジ画素でない場合は「０」とし、これに図１９に示すフィルタをかけた値を総計したものとした。
　ＣＰＵ２３は、得られた重み付けエッジ総計値NumE(x,y)について、予め定めた下限閾値THs、上限値THhと比較する(ステップＳ３３７）。重み付けエッジ総計値NumE(x,y)が下限閾値THsよりも小さい場合は、エッジ強調係数W(x,y)＝０とする(ステップＳ３３９)。また、重み付けエッジ総計値NumE(x,y)が上限閾値THhよりも大きい場合は、エッジ強調係数W(x,y)を予め定めた上限係数値Whとする(ステップＳ３４３)。また、重み付けエッジ総計値NumE(x,y)が下限閾値THsと上限閾値THhの間である場合には、下記式によって演算する(ステップＳ３４１)。
　W(x,y)＝Wh＊（NumE(x,y)－THs）／（THh－THs）
　これにより、重み付けエッジ総計値NumE(x,y)とエッジ強調係数W(x,y)との関係は、図２０に示すように、下限閾値THsと上限閾値THhの間では線形に対応し、下限閾値THsよりも小さければゼロに、上限閾値THhよりも大きければ上限係数値Whとなる。
　よって、平坦部分を強調せず、テクスチャやエッジ部分は線形で強調係数W(x,y)が決定される。これによりテクスチャ部分を、より強く強調することができる。また、上限を設けることで、過強調の可能性がある部分の過強調を防止でき、これにより、リンギングアーティファクトを低減することもできる。
　ＣＰＵ２３はこれらの処理を全画素について行う。
　つぎに、ＣＰＵ２３は、注目画素のエッジ強調・ぼかし処理（図１３ステップＳ３１１）、リンギングアーティファクト除去処理を行う。エッジ強調処理およびリンギングアーティファクト除去処理については従来の手法を採用すればよい。
　このようにして、エッジ強調処理が終了する。
　なお、本実施形態においては推定した拡大率からエッジ抽出閾値を演算するようにしたが、推定した拡大率が大きければ、画素間引き率を大きくし、推定した拡大率が小さければ、画素間引き率を小さくするようにしてもよい。これは、拡大率が大きいということは、原画像に対して、複数の画素でこれを表しているから、その分間引くことにより、適切なエッジ量が検出しようとするものである。
　図２１にその場合のフローチャートを示す。ステップＳ４０１、ステップＳ４０５～ステップＳ４１３は、それぞれ、ステップＳ３０１、ステップＳ３０５～ステップＳ３１３と同じである。ステップＳ４０３にて、ステップＳ４０１で推定した拡大率に基づき、間引き率が変動するラプラシアンフィルタを用いて、画素の間引き処理を行えばよい。図２２Ａに従来のラプラシアンフィルタを示す。これに対して、図２２Ｂに示すラプラシアンフィルタは、垂直方向および水平方向における間引きが多い。かかる間引き処理がなされた画像について、ステップＳ４０５にて、エッジ抽出がなされる。
　このように、本実施形態においては、推定した拡大率に基づき、エッジ強調処理が変更される。かかる拡大率を動的に検出することにより、エッジ強調処理も動的に変更することができる。
　なお、拡大率が小数倍である場合もある。このような場合には、間引きでなく、入力画像を縮小した画像からエッジ検出をした後、このエッジ検出画面を元の大きさに拡大するようにしてもよい。例えば、拡大率１．３と推定された場合、図２１ステップＳ４０３にて入力画像を１／１．３倍し、エッジ抽出した後、その画面を、エッジ強調処理(ステップＳ４１１）の前に、１．３倍するようにすればよい。
（２.他の実施形態）
　本実施形態においては、注目画素とその周辺画素との差分演算として、周辺画素は４つを採用したが、これに限定されず、一般的な分散その他の”ばらつき”度合い算出指標が採用可能である。
　上記実施形態においては、４方向簡易ローパスフィルタを採用したが、高周波成分を除去できるのであれば、どのようなものであってもよく、一般的なローパスフィルタを採用してもよい。また、ＬＰＦのサイズは限定されない。
　本実施形態においては、１フレームについて上記拡大率の推定を行うようにしたが、１フレームの一部の領域についても同様に判断することができる。
　本実施形態においては、ブロックノイズ判定について、図８、図１０に示すフローチャートでブロックノイズ度を判断したが、これに限定されず、例えば、水平方向の画素を連続して判断するのではなく、一部を抽出してもよいし、また、端部のみで判断してもよい。
　上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。
　図１８に示すウインドウを１５＊３画素としたのは、必要なラインメモリとの関係で、コストパフォーマンスが良いサイズであり、これに限定されるものではない。
　本実施形態においては、エッジ検出処理に、ソーベル（Sobel)フィルタを採用したが、プレヴィット(Prewitt)フィルタなど、他のエッジ検出処理を採用してもよい。
　上記実施形態で開示した発明を下記のようなブロックノイズ判定装置として把握することもできる。
複数の画素で構成された画像を構成する画素のうち、ブロックノイズである画素を判断するブロックノイズ画素判断装置であって、
　判定対象の注目画素および周辺画素の画素値を抽出する手段、
　前記抽出した画素値の差分を求める手段、
　前記周辺画素との差分の傾向が、一方方向増加傾向または一方方向減少傾向であると判断した場合には、前記注目画素は、ブロックノイズである画素だと判断する判断手段、
　を備えたブロックノイズ画素判断装置。
　さらに、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除する手段を備えるようにしてもよい。
　また、前記判断手段は、注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段と、前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段を有するように構成してもよい。
　上記実施形態で開示した発明を下記エッジ抽出閾値算出装置として把握することもできる。
　与えられた画像について、推定した拡大率が与えられると、エッジ抽出閾値を変動させるエッジ抽出閾値算出装置であって、
　前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段、を備えたこと、
　を特徴とするエッジ抽出閾値算出装置。
　上記実施形態で開示した発明を下記エッジ算出間引き率装置として把握することもできる。
　拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させるエッジ算出間引き率装置であって、
　前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段を備えたこと、を特徴とするエッジ算出間引き率装置。
　上記実施形態で開示した発明を下記エッジ抽出装置として把握することもできる。
　前記拡大率推定手段が推定した拡大率に応じて、入力画像を縮小処理させる縮小手段、
　前記縮小された画像からエッジを抽出するエッジ抽出手段、
　前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段、
　を備えたこと、
　を特徴とするエッジ抽出装置。
　このように、推定した拡大率に応じて、エッジ抽出処理をする際に、エッジ抽出する閾値を変動、間引き処理、上記縮小拡大処理など、正確なエッジ抽出ができるような各種の画像処理を行うことができる。
　本実施形態においては、ローパスフィルタを通した画像について各画素について、ローパスフィルタを通していない画像の対応する画素ごとに差分を演算してから、これらを総計するようにしたが、総計してから差分を演算するようにしてもよい。
　また、ローパスフィルタを通した画像と通していない画像との差分を演算するのではなく、ハイパスフィルタを通した画像について、通していない画像の割合で、拡大率を演算するようにしてもよい。
　２３　　　ＣＰＵ
　２５　　　ＲＡＭ
　２６　　　フラッシュメモリ

Claims (11)

  1. 　入力画像の拡大率を推定する拡大率推定装置であって、
    　前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算手段、
    　前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する第２演算手段、
    　前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する拡大率推定手段、
    　を備えたことを特徴とする拡大率推定装置。
  2. 　請求項１の拡大率推定装置において、
    　前記第１および第２空間周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められること、
    　を特徴とする拡大率推定装置。
  3. 　請求項１または請求項２の拡大率推定装置において、
    　前記生成手段は、注目画素との関係において、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を除去すること、
    　を特徴とする拡大率推定装置。
  4. 　請求項２の拡大率推定装置において、さらに、
    　前記各画素について、ブロックノイズであるか否かを判断する判断手段を備え、
    　前記拡大率推定手段は、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除すること、
    　を特徴とする拡大率推定装置。
  5. 　請求項４の拡大率推定装置において、
    　前記判断手段は、
    　注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段、
    　前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段、
    　を備えていること、
    　を特徴とする拡大率推定装置。
  6. 　請求項１～５のいずれかの拡大率推定装置を備えたエッジ抽出閾値算出装置であって、
    　前記拡大率推定手段が推定した拡大率に応じて、エッジ抽出閾値を変動させる手段であって、前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段、
    　を備えたこと、
    　を特徴とするエッジ抽出閾値算出装置。
  7. 　請求項１～５のいずれかの拡大率推定装置を備えたエッジ算出間引き率装置であって、
    　前記拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させる手段であって、前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段、
    　を備えたこと、
    　を特徴とするエッジ算出間引き率装置。
  8. 　請求項１～５のいずれかの拡大率推定装置を備えたエッジ抽出装置であって、
    　前記拡大率推定手段が推定した拡大率に応じて、前記入力画像を縮小処理させる縮小手段、
    　前記縮小された画像からエッジを抽出するエッジ抽出手段、
    　前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段、
    　を備えたこと、
    　を特徴とするエッジ抽出装置。
  9. 　入力画像の拡大率を推定する拡大率推定方法であって、
    　前記入力画像の空間周波数成分のうち、所定以上の高周波成分を第１空間周波成分特性値として演算する第１演算ステップ、
    　前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する第２演算ステップ、
    　前記第２空間周波数成分特性値に対する前記第１空間周波数成分特性値の割合を求め、この割合が小さいほど、前記入力画像の拡大率は高いと推定する推定ステップ、
    　を備えたことを特徴とする拡大率推定方法。
  10. 　請求項９の拡大率推定方法であって、
    　前記取り出しステップでは、
    　前記入力画像の空間周波数成分のうち、所定高周波成分を取り除いた高周波除去画像データを生成し、この高周波除去画像について、各画素における空間周波数成分を画素別高周波除去画像周波数成分特性値として演算し、前記入力画像について、各画素における空間周波数成分を画素別第２空間周波数成分特性値として演算し、両者の差分を画素別第１空間高周波成分特性値とし、
    　前記画素別第１空間高周波成分特性値を全画素の総計を第１空間高周波成分特性値とし、前記画素別第２空間高周波成分特性値の全画素の総計を第２空間高周波成分特性値とすること、を特徴とする拡大率推定方法。
  11. 　請求項９または請求項１０の拡大率推定方法であって、
    　前記推定ステップでは、前記割合を１から減算した値を、拡大率として求めること、を特徴とする拡大率推定方法。
PCT/JP2013/069841 2012-10-31 2013-07-23 拡大率推定装置またはその方法 WO2014069052A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/695,059 US9652689B2 (en) 2012-10-31 2015-04-24 Magnification factor estimation device and method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-240397 2012-10-31
JP2012240397A JP5420049B1 (ja) 2012-10-31 2012-10-31 拡大率推定装置またはその方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/695,059 Continuation US9652689B2 (en) 2012-10-31 2015-04-24 Magnification factor estimation device and method for same

Publications (1)

Publication Number Publication Date
WO2014069052A1 true WO2014069052A1 (ja) 2014-05-08

Family

ID=50287199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069841 WO2014069052A1 (ja) 2012-10-31 2013-07-23 拡大率推定装置またはその方法

Country Status (3)

Country Link
US (1) US9652689B2 (ja)
JP (1) JP5420049B1 (ja)
WO (1) WO2014069052A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017202038A (ja) * 2016-05-10 2017-11-16 富士通株式会社 判別装置、判別方法、および判別プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004074793A (ja) * 2002-08-12 2004-03-11 Hewlett-Packard Development Co Lp 画像の色補正の方法
JP2004303193A (ja) * 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006050494A (ja) * 2004-08-09 2006-02-16 Casio Comput Co Ltd 画像撮影装置
JP2007249392A (ja) * 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置
JP2009004952A (ja) * 2007-06-20 2009-01-08 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2009093323A (ja) * 2007-10-05 2009-04-30 Olympus Corp 画像処理装置およびプログラム
JP2009157449A (ja) * 2007-12-25 2009-07-16 Nec Corp 画像処理システム、画像処理方法および画像処理用プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3592547A (en) * 1968-03-14 1971-07-13 Gen Electric Optical matrix-processing system and optics
JPH05100167A (ja) * 1991-10-08 1993-04-23 Nikon Corp 輪郭強調回路
US5986781A (en) * 1996-10-28 1999-11-16 Pacific Holographics, Inc. Apparatus and method for generating diffractive element using liquid crystal display
US6891549B2 (en) * 2002-01-11 2005-05-10 Applied Materials, Inc. System and method for edge enhancement of images
JP4086035B2 (ja) 2004-12-09 2008-05-14 セイコーエプソン株式会社 自動画像補正回路
EP2314990B1 (en) * 2009-10-23 2014-05-14 Mitutoyo Corporation Photoelectric encoder
JP5464656B2 (ja) * 2010-01-12 2014-04-09 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004074793A (ja) * 2002-08-12 2004-03-11 Hewlett-Packard Development Co Lp 画像の色補正の方法
JP2004303193A (ja) * 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006050494A (ja) * 2004-08-09 2006-02-16 Casio Comput Co Ltd 画像撮影装置
JP2007249392A (ja) * 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置
JP2009004952A (ja) * 2007-06-20 2009-01-08 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2009093323A (ja) * 2007-10-05 2009-04-30 Olympus Corp 画像処理装置およびプログラム
JP2009157449A (ja) * 2007-12-25 2009-07-16 Nec Corp 画像処理システム、画像処理方法および画像処理用プログラム

Also Published As

Publication number Publication date
US20150227812A1 (en) 2015-08-13
JP5420049B1 (ja) 2014-02-19
US9652689B2 (en) 2017-05-16
JP2014089659A (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
EP2469837B1 (en) Blur detection with local sharpness map
KR100800888B1 (ko) 패턴 정보를 이용한 영상잡음 제거방법
EP2819091B1 (en) Method and apparatus for processing a gray image
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
KR101248808B1 (ko) 경계 영역의 잡음 제거 장치 및 방법
US20130177260A1 (en) Image processing apparatus, imaging apparatus, and image processing method
EP2816526B1 (en) Filtering method and apparatus for recovering an anti-aliasing edge
WO2014070273A1 (en) Recursive conditional means image denoising
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
JP2005354685A (ja) パターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
JP2010193199A (ja) 画像処理装置および画像処理方法
US8294811B2 (en) Auto-focusing techniques based on statistical blur estimation and associated systems and methods
JP2012054795A (ja) 画像処理装置及び画像処理方法
Xu et al. An image-enhancement method based on variable-order fractional differential operators
van Zyl Marais et al. Robust defocus blur identification in the context of blind image quality assessment
EP2052350B1 (en) Method and system for reducing mosquito noise in a digital image
JP5420049B1 (ja) 拡大率推定装置またはその方法
KR102390408B1 (ko) 영상잡음제거장치 및 방법
Nasonov et al. Scale-space method of image ringing estimation
Ghazal et al. Structure-oriented multidirectional wiener filter for denoising of image and video signals
Nasonov et al. Adaptive image deringing
WO2014056766A1 (en) Image enhancement apparatus and method
US9349167B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13850236

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13850236

Country of ref document: EP

Kind code of ref document: A1