WO2012098854A1 - 画像処理システム、画像処理方法および画像処理用プログラム - Google Patents

画像処理システム、画像処理方法および画像処理用プログラム Download PDF

Info

Publication number
WO2012098854A1
WO2012098854A1 PCT/JP2012/000220 JP2012000220W WO2012098854A1 WO 2012098854 A1 WO2012098854 A1 WO 2012098854A1 JP 2012000220 W JP2012000220 W JP 2012000220W WO 2012098854 A1 WO2012098854 A1 WO 2012098854A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
local region
luminance gradient
target
jaggy
Prior art date
Application number
PCT/JP2012/000220
Other languages
English (en)
French (fr)
Inventor
彰彦 池谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN2012800039369A priority Critical patent/CN103229208A/zh
Priority to US13/881,303 priority patent/US9324135B2/en
Priority to JP2012553610A priority patent/JPWO2012098854A1/ja
Publication of WO2012098854A1 publication Critical patent/WO2012098854A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing system, an image processing method, and an image processing program, and more particularly, to an image processing system, an image processing method, and an image processing program capable of removing jaggies in an image.
  • each pixel of the input image is sequentially selected as a target pixel. Then, an area (window) centered on the target pixel is extracted and compared with a jaggy pattern prepared in advance (in other words, pattern matching) to determine whether the pixel is a jaggy pixel. If the pixel is a jaggy pixel, the jaggy correction pattern prepared in advance is read out and added to the location corresponding to the jaggy in the input image to remove the jaggy.
  • Patent Document 3 describes an image processing apparatus that defines a filter to prevent jaggies.
  • the image processing apparatus described in Patent Literature 3 detects a luminance gradient for a predetermined range centered on a target pixel. Then, in the target pixel, an edge gradient direction v1 that is the direction in which the gradient of the pixel value is the largest and an edge direction v2 that is a direction orthogonal to the edge gradient direction v1 are detected.
  • eigenvalues ⁇ 1 and ⁇ 2 indicating dispersion of pixel value gradients are detected for the edge gradient direction v1 and the edge direction v2, respectively.
  • the image processing apparatus described in Patent Document 3 detects edge reliability by ⁇ 2 / ⁇ 1, and generates a parameter p corresponding to the reliability. Further, when the eigenvalue ⁇ 1 is large, the parameter q whose value changes in response to the rising edge is generated based on the fact that it can be said that the edge has a large contrast and a clear edge. Furthermore, the image processing apparatus described in Patent Document 3 calculates a filtering processing range based on p and q, and switches the number of filtering processing taps based on the range to define a filter.
  • filters for preventing jaggies are defined for a predetermined range related to each pixel of interest in an image.
  • JP-A-9-270915 (paragraphs 0034-0040) JP 2009-10880 (paragraphs 0054-0057, FIG. 10) JP 2006-221403 A (paragraphs 0024-0026, 0046-0053)
  • Patent Documents 1 and 2 as image processing methods for removing jaggy, it is necessary to prepare in advance a jaggy pattern used for pattern matching and a jaggy correction pattern for correcting a portion corresponding to jaggy. is there. For this reason, images that can remove jaggy are limited to images in which jaggy patterns and jaggy correction patterns can be prepared in advance.
  • the image processing methods described in 1 and 2 could not be applied.
  • the jaggy patterns of the binary image are limited, and the jaggy correction patterns corresponding to these jaggy patterns and the jaggy patterns can be prepared. Therefore, jaggy in the binary image can be removed by the method described in Patent Documents 1 and 2.
  • there are various jaggy patterns and it is difficult to comprehensively prepare such jaggy patterns and jaggy correction patterns corresponding to these jaggy patterns. Therefore, for grayscale images and color images, it is difficult to remove jaggies in the images by the methods described in Patent Documents 1 and 2.
  • the jaggy patterns are limited, and those jaggy patterns and jaggy correction patterns corresponding to these jaggy patterns can be prepared. Therefore, with respect to an image upscaled by a known scaler, jaggy in the image can be removed by the method described in Patent Documents 1 and 2.
  • the ability to remove jaggies is limited to images processed with such known scalers. What kind of jaggies occur when upscaling depends on the scaler. For this reason, it is difficult to comprehensively prepare jaggy patterns and jaggy correction patterns corresponding to the jaggy patterns for all scalers, and it is possible to remove all jaggies for images upscaled by an arbitrary scaler. That wasn't true.
  • the present invention is not limited to a binary image, and is an image processing system, an image processing method, and an image that can remove jaggies for a grayscale image, a color image, an image upscaled by an unknown scaler, and the like.
  • An object is to provide a processing program. It is another object of the present invention to provide an image processing system, an image processing method, and an image processing program that can remove jaggies from these images at high speed.
  • An image processing system performs a principal component analysis on a luminance gradient calculating means for calculating a luminance gradient in each pixel in a local area cut out from a processing target image and a luminance gradient in each pixel in the local area.
  • a principal component analysis unit that calculates a feature amount representing the distribution of the luminance gradient, and the central pixel based on the luminance gradient at the central pixel of the local region and the feature amount calculated by the principal component analysis unit
  • a target pixel determination unit that determines whether or not the pixel is a pixel, and a plurality of predetermined pixels for the local region when the central pixel of the local region is determined to be a pixel that is a jaggy removal target.
  • the basis filter calculation means for applying each type of basis filter and the weights for multiple types of basis filters In the modified image created as an image obtained by modifying the processing target image based on the weight calculation means, the result of applying each of the plurality of types of basis filters to the local region, and the weight on the plurality of types of basis filters, Filtering result weight calculating means for determining a pixel value of a pixel corresponding to the central pixel of the region.
  • the image processing system includes a luminance gradient calculating unit that calculates a luminance gradient in each pixel in a local area cut out from a processing target image, and a principal component analysis for the luminance gradient in each pixel in the local area.
  • a luminance gradient calculating unit that calculates a luminance gradient in each pixel in a local area cut out from a processing target image, and a principal component analysis for the luminance gradient in each pixel in the local area.
  • a target pixel determining unit that determines whether or not the central pixel is a pixel that is a jaggy removal target based on the luminance gradient in the central pixel of the local region and the feature amount calculated by the principal component analyzing unit.
  • the degree of blur in the second eigenvector direction is less than that in the first eigenvector direction.
  • Processing by applying a filter coefficient calculation means for calculating a coefficient of a blur filter that is larger than the degree of the blur filter, and applying the blur filter to a local area in which the central pixel is determined to be a jaggy removal target. And a filter calculation means for determining a pixel value of a pixel corresponding to the central pixel of the local region in a modified image created as a modified image of the target image.
  • the image processing method calculates a luminance gradient at each pixel in the local region cut out from the processing target image, performs a principal component analysis on the luminance gradient at each pixel in the local region, and obtains a luminance gradient.
  • the feature amount representing the distribution of the local area is calculated, and based on the luminance gradient and the feature amount in the central pixel of the local region, it is determined whether or not the central pixel is a pixel that is the target of jaggy removal, and When it is determined that the pixel is a pixel to be removed from jaggies, a plurality of types of base filters determined in advance are applied to the local region, and weights for the plurality of types of base filters are determined based on the feature amount.
  • the image processing method calculates a luminance gradient at each pixel in the local region cut out from the processing target image, performs a principal component analysis on the luminance gradient at each pixel in the local region, and obtains a luminance gradient.
  • a feature amount representing the distribution of the first eigenvector a first eigenvector representing the dominant luminance gradient direction in the local region and a second eigenvector perpendicular to the first eigenvector are calculated, and the luminance gradient at the central pixel of the local region is calculated.
  • the blur filter coefficient in which the degree of blurring in the eigenvector direction of 2 is larger than the degree of blurring in the first eigenvector direction is calculated, and the image whose center pixel is the target of jaggy removal is calculated.
  • the image processing program causes a computer to perform a luminance gradient calculation process for calculating a luminance gradient in each pixel in the local area cut out from the processing target image, and a luminance gradient in each pixel in the local area.
  • the central pixel is A target pixel determination process for determining whether or not a pixel is a jaggy removal target. When the central pixel of the local region is determined to be a jaggy removal target, a predetermined value is determined for the local region.
  • the image processing program causes a computer to perform a luminance gradient calculation process for calculating a luminance gradient in each pixel in the local area cut out from the processing target image, and a luminance gradient in each pixel in the local area.
  • Main component analysis is performed to calculate a first eigenvector representing a luminance gradient direction dominant in the local region and a second eigenvector perpendicular to the first eigenvector as feature quantities representing the luminance gradient distribution.
  • Target pixel determination that determines whether or not the central pixel is a pixel that is a target for jaggy removal based on the component analysis processing, the luminance gradient at the central pixel in the local region, and the feature amount calculated by the principal component analysis processing
  • the degree of blur in the second eigenvector direction is the first eigenvector.
  • a filter coefficient calculation process that calculates a coefficient of a blur filter that is larger than the degree of blur in the tor direction, and the blur filter is applied to a local area in which the central pixel is determined to be a jaggy removal target pixel In this way, a filter calculation process for determining a pixel value of a pixel corresponding to the central pixel of the local region in a modified image created as an image obtained by modifying the processing target image is performed.
  • jaggy can be removed not only for binary images but also for grayscale images, color images, images upscaled by an unknown scaler, and the like.
  • the central pixel of the local region is a pixel that is a target for jaggy removal
  • two or more types of base filters that are determined in advance are applied to the local region. Not only the value image but also a gray scale image, a color image, an image upscaled by an unknown scaler, or the like can be removed at high speed.
  • FIG. 1 is a block diagram illustrating an image processing system according to a first embodiment of the present invention. It is a block diagram which shows the structural example provided with the local region cutting-out means. It is the figure which showed typically three types of base filters which the base filter calculating means 21 hold
  • 3 is a flowchart illustrating an example of processing progress of the image processing system according to the first embodiment. It is a figure which shows the feature-value obtained by performing principal component analysis by making area
  • a local area jaggy occurs is a schematic diagram showing the eigenvector v 2 and the inverse vectors thereof in the local region. It is a schematic diagram showing a change in pixel value in the pixel group arranged in the direction of the inverse vector direction and v 2 of the eigenvector v 2 from the target pixel.
  • By sampling the pixel values of the pixels aligned in the direction of the inverse vector direction and v 2 eigenvectors v 2 is a schematic diagram showing the relationship between the frequency and intensity when converted into frequency space.
  • 10 is a flowchart illustrating an example of processing progress of the image processing system according to the second embodiment. It is a block diagram which shows the image processing system of the 3rd Embodiment of this invention. 12 is a flowchart illustrating an example of processing progress of the image processing system according to the third embodiment. It is the figure which showed the Gaussian filter typically. It is a block diagram which shows the example of the minimum structure of this invention. It is a block diagram which shows the other example of the minimum structure of this invention.
  • FIG. FIG. 1 is a block diagram showing an image processing system according to the first embodiment of the present invention.
  • the image processing system 1 of the present invention is realized by, for example, a computer (central processing unit, processor, or data processing unit) that operates under program control.
  • the image processing system creates a modified image that has been corrected so as to remove jaggy in an image to be processed, for example, on a memory (not shown) included in the image processing system.
  • a memory not shown
  • an image to be processed is input to the image processing system, and the image processing system stores a copy of the image to be processed in the memory as an initial state of the corrected image.
  • the image processing system determines the pixel value of the pixel in the corrected image corresponding to the pixel that is the jaggy removal target in the image to be processed. As a result, a corrected image from which jaggy has been removed is obtained.
  • the image processing system 1 includes jaggy removal target pixel detection means 10 and jaggy removal means 20.
  • the jaggy removal target pixel detection means 10 performs a principal component analysis of the luminance gradient in the local region with respect to the local region centered on each pixel in the processing target image, and calculates eigenvalues and eigenvectors as feature amounts. Then, the jaggy removal target pixel detection means 10 statistically determines whether or not a pixel located at the center of the local region (hereinafter referred to as a target pixel) is a pixel that is a jaggy removal target based on the calculated feature value. Judgment.
  • a pixel that is a jaggy removal target is referred to as a jaggy removal target pixel.
  • the jaggy removal target pixel detection means 10 determines a pixel having a luminance gradient intensity equal to or higher than a certain level and having a uniform luminance gradient in the vicinity as a jaggy removal target pixel.
  • the jaggy removal means 20 applies a plurality of predetermined filters to the local region centered on the pixel determined to be the jaggy removal target pixel.
  • the plurality of filters are referred to as base filters.
  • the base filter will be described later.
  • the jaggy removal means 20 calculates a weighted average of the results obtained by applying the individual base filters to the local region, and the calculation result is a corrected image corresponding to the pixel determined to be the jaggy removal target pixel. It is determined as the pixel value of the inner pixel. Then, the pixel value of the pixel in the corrected image is updated with the value of the calculation result. Further, the jaggy removal means 20 calculates a weighting coefficient for performing the weighted average using the eigenvector calculated by the jaggy removal target pixel detection means 10.
  • the jaggy removal target pixel detection means 10 and the jaggy removal means 20 will be described more specifically.
  • the jaggy removal target pixel detection means 10 includes a luminance gradient calculation means 11, a principal component analysis means 12, and a target pixel determination means 13.
  • a local region centered on each pixel of the input image is cut out, and the local region corresponding to each pixel is converted into a luminance gradient calculating unit 11 and a basis filter.
  • Input to the computing means 21 In this case, for example, as shown in FIG. 2, a local area centered on each pixel of the input image is cut out for each pixel, and the local area corresponding to each pixel is assigned to the luminance gradient calculation means 11 and the base filter calculation means 21. It is only necessary to provide local region cutout means 30 for input.
  • processing for extracting a local region for each pixel from the processing target image may be performed outside, and each local region of the image may be directly input from the outside to the luminance gradient calculation unit 11 and the base filter calculation unit 21.
  • the image processing system 1 stores, for example, a copy of the input image (processing target image) in the memory as the initial state of the corrected image.
  • the local region is a square region composed of k ⁇ k pixels, for example, where k is an odd number, and the pixel of interest existing in the center can be specified.
  • the case where the local region is a square is illustrated, but the local region is not limited to a square.
  • the local area may be a rectangle.
  • the jaggy removal target pixel detection means 10 luminance gradient calculation means 11, principal component analysis means 12 and target pixel determination means 13
  • jaggy removal means 20 basic filter calculation means 21
  • the filter weight calculation means 22 and the weighted average calculation means 23 perform processing for each local region.
  • the luminance gradient calculation means 11 calculates the luminance gradient of each pixel in the input local area.
  • the principal component analysis unit 12 performs a principal component analysis on the luminance gradient of each pixel in the local area calculated by the luminance gradient calculation unit 11, and calculates a feature amount representing the distribution of the luminance gradient in the local area. Specifically, principal component analysis unit 12 performs principal component analysis on the luminance gradient of each pixel in the local region, the two eigenvalues lambda 1, and lambda 2, eigenvector v 1 corresponding to the eigenvalue lambda 1, And an eigenvector v 2 corresponding to the eigenvalue ⁇ 2 . However, it is assumed that ⁇ 1 > ⁇ 2 .
  • the eigenvector v 1 represents the dominant luminance gradient direction in the local region
  • the eigenvector v 2 is perpendicular to the eigenvector v 1
  • ⁇ 1 and ⁇ 2 represent the variance of the gradient in each gradient direction represented by the eigenvectors v 1 and v 2 .
  • the target pixel determination unit 13 determines that the target pixel at the center of the local region is jaggy based on the fact that the luminance gradient of the target pixel at the center of the local region is sufficiently large and that ⁇ 1 is sufficiently large with respect to ⁇ 2 . It is determined whether or not the pixel is a removal target pixel. That is, the target pixel determination unit 13 determines that the target pixel is a jaggy removal target pixel when the condition that the luminance gradient of the target pixel is sufficiently large and ⁇ 1 is sufficiently large with respect to ⁇ 2 is satisfied. Judge that there is. If the condition is not satisfied, it is determined that the target pixel is not a jaggy removal target pixel. Note that whether or not the luminance gradient is sufficiently large and whether or not ⁇ 1 is sufficiently large with respect to ⁇ 2 are determined using threshold values.
  • the jaggy removing means 20 includes a base filter calculating means 21, a filter weight calculating means 22, and a weighted average calculating means 23.
  • the basis filter calculation means 21 holds in advance a plurality of basis filters in which blur coefficients are determined so that the blur is increased in a specific direction and the blur is reduced in a direction perpendicular to the specific direction.
  • a case where the base filter calculation means 21 holds three types of base filters will be described as an example.
  • the case where the specific directions in the three types of base filters are 0 °, 60 °, and 120 ° is taken as an example.
  • the specific direction is represented by a counterclockwise rotation angle with respect to the horizontal right direction.
  • the horizontal right direction is adopted as a reference direction (hereinafter referred to as a reference direction) for representing a specific direction, but another direction may be defined as the reference direction.
  • FIG. 3 is a diagram schematically showing three types of base filters held by the base filter calculation means 21 in the present embodiment.
  • the filter is a filter in which coefficients equal to or less than the number of pixels in the local area are arranged. By associating the coefficient arranged at the center position in the filter with the central pixel of the local area, the coefficient in the filter is specified so that each pixel in the local area corresponding to each coefficient of the filter is identified one-to-one. The arrangement is fixed.
  • the number of coefficients included in the filter is equal to or less than the number of pixels in the local area, and it is sufficient that the pixels in the local area corresponding to each coefficient included in the filter can be identified one-to-one.
  • the number of coefficients included in the filter may be equal to the number of pixels in the local region, and each coefficient and each pixel may correspond one-to-one.
  • FIG. 3 illustrates a base filter in which 5 ⁇ 5 coefficients are arranged. However, the brighter the color, the larger the filter coefficient value.
  • the specific direction ⁇ 1 in the first base filter G 1 shown in FIG. 3 is 0 °. That is, the base filter G 1 of the present embodiment, 0 ° blur is increased with respect to the direction, it is a filter that defines the coefficient so blurred with respect to the direction perpendicular to that direction is reduced.
  • the specific direction theta 2 of the second base filter G 2 is 60 °. That is, the base filter G 2 of the present embodiment, blur is increased with respect to 60 ° direction, is a filter that defines the coefficient so blurred with respect to the direction perpendicular to that direction is reduced.
  • Specific direction theta 2 in the basal filter G 2 is one in which the specific direction theta 1 was 60 ° counterclockwise rotation in the ground filter G 1.
  • the specific direction theta 3 in the basal filter G 3 in which the specific direction theta 1 is rotated 120 ° counterclockwise in the ground filter G 1.
  • a filter having an arbitrary directionality has a common shape (coefficient arrangement), such as the basis filters G 1 to G 3 illustrated in FIG. 3, but is based on a linear sum of a plurality of basis filters having different directions. Can be approximated.
  • FIG. 4 is an explanatory diagram schematically illustrating an example of a filter approximated by a linear sum of base filters.
  • FIG. 4 illustrates a case where the filter G n whose specific direction is 30 ° is approximated by the base filters G 1 to G 3 .
  • the weight coefficients for the base filters G 1 to G 3 are w 1 , w 2 , and w 3 , respectively.
  • the filter G n can be approximated by the following equation (1).
  • G n w 1 ⁇ G 1 + w 2 ⁇ G 2 + w 3 ⁇ G 3 (1)
  • the base filter calculation means 21 individually applies each base filter to the local region.
  • the base filter calculation means 21 individually applies the base filters G 1 to G 3 to the local region.
  • the number of coefficients included in the filter is equal to or less than the number of pixels in the local area, and it is only necessary that the pixels in the local area corresponding to each coefficient included in the filter have a one-to-one correspondence.
  • the size of the filter may be equal to or smaller than the size of the local region.
  • the filter weight calculation means 22 uses the eigenvector v 2 calculated by the principal component analysis means 12 to calculate weight coefficients w 1 to w 3 for the respective base filters G 1 to G 3 .
  • the filter weight calculation means 22 specifies the direction ⁇ of the eigenvector v 2 and the basis filter G 1 . direction theta 1, specific direction theta 2 in the basal filter G 2, using the specified direction theta 3 in the basal filter G 3, obtains the respective weighting factor w 1 ⁇ w 3 by calculating the following equation (2).
  • the filter weight calculation unit 22 may set the three elements of the vector w obtained by calculating the expression (2) as the weight coefficients w 1 , w 2 , and w 3 in order.
  • the weighted average calculating means 23 weights the three types of filtering results by the base filter calculating means 21 with the weighting factors w 1 to w 3 calculated by the filter weight calculating means 22 and calculates the sum thereof. In other words, multiplied by w 1 with respect to the result of applying the base filter G 1 to the local region, multiplied by w 2 with respect to the results of applying the base filter G 2 to the local region, the base to the local area multiplied by w 3 for the results of applying the filter G 3, it calculates the sum of the multiplication results.
  • the weighted average calculation means 23 determines the calculation result as the pixel value of the pixel in the modified image corresponding to the target pixel at the center of the local region. Then, the weighted average calculation means 23 updates the pixel value of the pixel in the corrected image with the value of the calculation result.
  • Jaggy removal target pixel detection means 10 luminance gradient calculation means 11, principal component analysis means 12 and target pixel determination means 13
  • jaggy removal means 20 (basic filter calculation means 21, filter weight calculation means 22 and weighted average calculation means) 23) is realized by, for example, a computer that operates according to an image processing program.
  • the computer reads the image processing program, and according to the program, the jaggy removal target pixel detection means 10 (luminance gradient calculation means 11, principal component analysis means 12 and target pixel determination means 13) and jaggy removal means 20 (basic filter) What is necessary is just to operate
  • the jaggy removal target pixel detection means 10 and the jaggy removal means 20 may be realized by separate units.
  • FIG. 5 is a diagram illustrating an example of an input image and a region in the input image.
  • both areas 201 and 202 are enlarged views of the area in the input image 200.
  • a plurality of arrows shown in the areas 201 and 202 indicate the direction and intensity of the luminance gradient in each pixel of the areas 201 and 202, respectively.
  • jaggy occurs near an edge in an upscaled image or the like.
  • human vision is sensitive to the presence of jaggies at locations where edges in the same direction are continuously connected, such as region 201, while edges in different directions are mixed, as in region 202.
  • the image processing system of this invention determines such a pixel as a jaggy removal object pixel, updates the pixel value of the pixel in the correction image corresponding to a jaggy removal object pixel, and removes the image from which jaggy was removed. Generate. For example, the pixel of interest at the center of the region 201 is determined as a jaggy removal target pixel, and the pixel value of the pixel in the corrected image corresponding to the jaggy removal target pixel is updated.
  • the pixel value of the pixel in the corrected image corresponding to the jaggy removal target pixel is updated, thereby reducing jaggy. It will be blurred. As a result, as shown in FIG. 6, jaggy is removed in the region 203 in the corrected image corresponding to the region 201.
  • FIG. 7 is a flowchart illustrating an example of processing progress of the image processing system according to the first embodiment.
  • the jaggy removal target pixel detection means 10 and the jaggy removal means 20 perform the following processing for each local region. In the following description, processing for one local area will be described. In this example, the case where the corrected image in the initial state is stored in the memory of the image processing system will be described as an example.
  • the local region is cut out as a region including the number of pixels equal to or greater than the number of coefficients included in a predetermined base filter.
  • the luminance gradient calculating unit 11 calculates the luminance gradient of each pixel in the local area (step S1). Specifically, the luminance gradient calculation unit 11 calculates a luminance gradient component in the horizontal direction and a luminance gradient component in the vertical direction, respectively.
  • the luminance gradient component in the horizontal direction at the pixel is represented as I x (x, y)
  • the luminance gradient component in the vertical direction at the pixel is defined as I y. This is expressed as (x, y). Therefore, the brightness gradient calculating unit 11 calculates I x (x, y) and I y (x, y) for each pixel in the local region.
  • the luminance gradient calculating unit 11 When calculating the I x (x, y) for each pixel in the local region, the luminance gradient calculating unit 11 applies a filter exemplified below to each pixel in the local region, and the application The result may be I x (x, y).
  • the luminance gradient calculating unit 11 When calculating I y (x, y) for each pixel in the local region, the luminance gradient calculating unit 11 applies a filter exemplified below to each pixel in the local region. The result may be I y (x, y).
  • the principal component analysis means 12 performs a principal component analysis on the luminance gradient of each pixel in the local area calculated in step S1, and calculates a feature amount related to the luminance gradient in the local area (step S2). Specifically, two of the eigenvalues lambda 1 relating to the luminance gradient in the local region, lambda 2 (However, lambda 1> lambda 2) and eigenvalue lambda eigenvector v 1 corresponding to 1, and the eigenvector corresponding to the eigenvalue lambda 2 v 2 is calculated.
  • the principal component analysis means 12 calculates the eigenvalues of the matrix A shown in the following equation (3) and sets the eigenvalues to ⁇ 1 and ⁇ 2 . However, it is assumed that ⁇ 1 > ⁇ 2 .
  • R represents a local region centered on coordinates (x, y).
  • FIG. 8 is a diagram showing the feature amounts obtained by performing the principal component analysis in step 2 with the regions 201 and 202 shown in FIG. 5 as local regions.
  • FIG. 8A shows eigenvalues ⁇ 1 and ⁇ 2 obtained by performing principal component analysis on the luminance gradient in the region 201 where edges in the same direction are continuously connected, and eigenvectors v 1 corresponding to these eigenvalues. , V 2 .
  • FIG. 8B shows eigenvalues ⁇ 1 and ⁇ 2 obtained by performing principal component analysis on the luminance gradient in the region 202 in which edges in different directions are mixed, and eigenvectors v 1 corresponding to these eigenvalues. , V 2 .
  • white arrows shown in the areas 201 and 202 represent the eigenvectors v 1 and v 2 .
  • the target pixel determination unit 13 uses the feature amounts ⁇ 1 , ⁇ 2 and v 1 , v 2 calculated in step S2 to determine that the target pixel located at the center of the local region is a jaggy removal target pixel. It is determined whether or not there is (step S3).
  • step S3 As in the region 201 (see FIG. 5), when a uniform luminance gradient in the local region, 2 lambda whereas lambda 1 becomes a large value becomes a small value (Fig. 8 (a )reference).
  • both ⁇ 1 and ⁇ 2 have large values (see FIG. 8B).
  • the target pixel determination unit 13 focuses on the center of the local region on the basis of the fact that the luminance gradient of the target pixel at the center of the local region is sufficiently large and that ⁇ 1 is sufficiently large with respect to ⁇ 2 . It is determined whether or not the pixel is a jaggy removal target pixel.
  • the target pixel determination unit 13 satisfies both the following expressions (4) and (5) when the coordinate of the pixel of interest at the center of the local region is (x, y). If it is determined that the pixel of interest is a jaggy removal target pixel and at least one of Expressions (4) and (5) does not hold, the pixel of interest is not a jaggy removal target pixel. judge.
  • Both t 1 in formula (4) and t 2 in formula (5) are predetermined threshold values.
  • the fact that Expression (4) is established means that the luminance gradient of the target pixel is sufficiently large.
  • the fact that formula (5) is established means that ⁇ 1 is sufficiently larger than ⁇ 2 .
  • step S3 When it is determined in step S3 that the target pixel is not the jaggy removal target pixel, the image processing system 1 ends the process related to the local area that is the current process target and starts the process related to the next local area.
  • the jaggy removal means 20 also performs the processing from step S4 onward for the local region currently being processed.
  • the base filter calculation means 21 individually applies a plurality of predetermined base filters to the input local region (step S4).
  • G 1 , G 2 , and G 3 are defined as the base filters.
  • Basal filtering operation unit 21 calculates the coefficient of the basis filters G 1, the process of multiplying the pixel values of the pixels in the local region corresponding to the coefficient, carried out for each coefficient of the base filter G 1, the sum of the multiplication result To do. As a result, the filtering result by the base filter G 1 is obtained.
  • the base filter calculation means 21 performs the same processing for the base filters G 2 and G 3 .
  • the filter weight computation unit 22 obtains the direction ⁇ of the computed eigenvectors v 2 in step S2.
  • v is the direction ⁇ of 2 (in this example, the horizontal right direction) the reference direction may be determined as the rotation angle from up eigenvectors v 2 counterclockwise.
  • the filter weight calculation means 22 uses the specific directions ⁇ 1 , ⁇ 2 , ⁇ 3 (see FIG. 3) in each of the predetermined base filters G 1 to G 3 and the direction ⁇ of the eigenvector v 2 , The calculation of Expression (2) is performed to calculate weighting factors w 1 to w 3 corresponding to the respective base filters G 1 to G 3 .
  • the weighted average calculation means 23 calculates the pixel value of the target pixel using the filtering result by each base filter calculated in step S4 and the weighting factor calculated in step S5, and the calculation result Is determined as the pixel value of the pixel in the corrected image corresponding to the pixel of interest. Then, the weighted average calculation means 23 updates the pixel value of the pixel in the corrected image with the value of the calculation result (step S6). That is, the weighted average calculation means 23 multiplies the filtering result by the base filter G 1 by w 1 , multiplies the filtering result by the base filter G 2 by w 2, and multiplies the filtering result by the base filter G 3 by w 3 , Calculate the sum of the multiplication results. Then, the weighted average calculation means 23 updates the pixel value of the pixel in the corrected image corresponding to the target pixel at the center of the local region with the calculation result.
  • step S6 the processing related to the local region that is the current processing target is ended, and the processing related to the next local region is started. In this way, the processing after step S1 is performed on each local region.
  • the image processing system 1 removes jaggy by updating the pixel value of the pixel in the modified image corresponding to the target pixel if the target pixel at the center is the jaggy removal target pixel in each local region. Get the modified image.
  • a plurality of base filters are prepared in advance. If the target pixel at the center of the local region is a jaggy removal target pixel, the result of applying each base filter to the local region is weighted, and the pixel of the pixel in the modified image corresponding to the target pixel Determine the value and remove the jaggy. Therefore, since it is not necessary to calculate a filter (more specifically, a filter coefficient) for removing jaggy for each local region, the process for removing jaggy can be performed at high speed.
  • the image processing apparatus described in Patent Document 3 needs to define a filter for each predetermined range related to each pixel of interest.
  • the image processing apparatus described in Patent Document 3 takes processing time.
  • a jaggy pattern or a jaggy correction pattern it is not necessary to prepare a jaggy pattern or a jaggy correction pattern in advance, so that jaggy removal can be realized for various images. For example, not only a binary image but also a jaggy in a gray scale image or a color image can be removed. It is also possible to remove jaggy caused in an image upscaled by an unknown scaler.
  • jaggies can be removed at high speed with respect to binary images, grayscale images, color images, images upscaled by an unknown scaler, and the like.
  • FIG. FIG. 9 is a block diagram showing an image processing system according to the second embodiment of the present invention. Constituent elements similar to those of the first embodiment are denoted by the same reference numerals as those in FIG. 1 and detailed description thereof is omitted.
  • the image processing system 40 includes a jaggy removal target pixel detection unit 10 a and a jaggy removal unit 21.
  • Jaggy removal target pixel detecting means 10 a similarly to the first embodiment jaggy removal target pixel detecting means 10 in (see FIG. 1), for each local region around the individual pixels in the image to be processed, the local It is determined whether or not the pixel of interest located at the center of the region is a jaggy removal target pixel.
  • jaggies removal target pixel detecting means 10 a with respect to the local region to which the pixel of interest is determined to be a jaggy removal target pixel, further, by determining whether a predetermined condition is satisfied, the jaggy removal target The target pixel that is more appropriate as the pixel to be narrowed is narrowed down.
  • the jaggy removal target pixel detecting means 10 a of the second embodiment is different from the target pixel determined to be a jaggy removal target pixel in the same manner as in the first embodiment, and further satisfies the predetermined condition It is determined whether or not the jaggy removal target pixels are narrowed down. This condition will be described later.
  • the jaggy removal target pixel detection unit 10 a includes a luminance gradient calculation unit 11, a principal component analysis unit 12, a target pixel determination unit 13, and a target pixel detail determination unit 14.
  • the operations of the luminance gradient calculation unit 11, the principal component analysis unit 12, and the target pixel determination unit 13 are the same as those in the first embodiment, and a description thereof will be omitted.
  • the target pixel detail determination unit 14 performs the following process on the local region where the target pixel determination unit 13 determines that the target pixel is the jaggy removal target pixel.
  • Object pixel detailed judgment unit 14 a pixel in the local region from the pixel of interest located at the center of the local region, arranged in the direction of the inverse vector of the pixel and eigenvectors v 2, arranged in the direction of the eigenvector v 2
  • the pixel value of the pixel is sampled (extracted).
  • the target pixel detail determination unit 14 converts the pixel value into a frequency space by performing, for example, FFT (Fast Fourier Transform) on each pixel value.
  • FFT Fast Fourier Transform
  • the target pixel detail determination unit 14 determines whether or not the intensity equal to or higher than the threshold is obtained at a certain frequency when the sampled pixel value is converted into the frequency space. Then, among the local regions determined by the target pixel determination unit 13 as the target pixel being the jaggy removal target pixel, attention is paid to the local region that satisfies the above-described condition that the intensity equal to or higher than the threshold is obtained at a certain frequency. The pixel is determined as a jaggy removal target pixel. On the other hand, even if it is a local region where the target pixel is determined to be the jaggy removal target pixel by the target pixel determination unit 13, the above condition that the intensity equal to or higher than the threshold is obtained at a certain frequency is not satisfied.
  • the target pixel detail determination unit 14 narrows down the target pixels determined by the target pixel determination unit 13 to be jaggy removal target pixels.
  • FIG. 10 is a schematic diagram illustrating a local area jaggy occurs, the eigenvector v 2 and the inverse vectors thereof in the local region.
  • Eigenvector v 2 is perpendicular to the eigenvector representing the dominant brightness gradient direction in the local region v1 (not shown in FIG. 10). Therefore, as shown in FIG. 10, in the local area where jaggy is generated, in the pixel group arranged in the direction of the eigenvector v 2 and the direction of the inverse vector of v 2 from the target pixel, the pixel value increases or decreases in the pixel arrangement order. Repeated.
  • FIG. 10 is a schematic diagram illustrating a local area jaggy occurs, the eigenvector v 2 and the inverse vectors thereof in the local region.
  • Eigenvector v 2 is perpendicular to the eigenvector representing the dominant brightness gradient direction in the local region v1 (not shown in FIG. 10). Therefore, as shown in FIG. 10, in the local area where jaggy is generated
  • FIG. 11 is a schematic diagram illustrating changes in pixel values in a pixel group arranged in the direction of the eigenvector v 2 and the direction of the inverse vector of v 2 from the target pixel.
  • the horizontal axis shown in FIG. 11 represents the arrangement order of pixels arranged in the direction of the eigenvector v 2 and the direction of the inverse vector of v 2 from the target pixel. Then, the center of the horizontal axis corresponds to the pixel of interest, the direction of the transverse axis of the right represents the arrangement of the direction of the eigenvector v 2.
  • the vertical axis shown in FIG. 11 represents the pixel value. As illustrated in FIG. 11, the pixel value is repeatedly increased or decreased in the arrangement order of pixels arranged in the direction of the eigenvector v 2 and the direction of the inverse vector of v 2 from the target pixel.
  • the pixel value increases or decreases in the pixel group arranged in the direction of the eigenvector v 2 and the direction of the inverse vector of v 2 from the target pixel in the local region. It can be said that the characteristic of jaggy that repeats things appears. Therefore, when the condition that the intensity of a certain frequency is greater than or equal to the threshold is satisfied, it can be said that the coordinate of interest in the local region is more appropriate as a jaggy removal target pixel.
  • the “certain frequency” in the above conditions may be an arbitrary frequency. Alternatively, it may be an integer multiple of tan ⁇ when the direction of the eigenvector v 2 is ⁇ .
  • the target pixel detail determination unit 14 determines that the target coordinate of the local region is the jaggy removal target pixel. May be. Further, when the condition that the intensity is equal to or greater than the threshold value at a frequency that is an integral multiple of tan ⁇ is satisfied, the target pixel detail determination unit 14 may determine that the target coordinate of the local region is the jaggy removal target pixel. .
  • the jaggy removing means 20 includes a base filter calculating means 21, a filter weight calculating means 22, and a weighted average calculating means 23.
  • the configuration and operation of the jaggy removal means 20 (basic filter calculation means 21, filter weight calculation means 22 and weighted average calculation means 23) are the same as those in the first embodiment. However, in the second embodiment, the jaggy removing unit 20 performs processing on the local region in which the target pixel details determining unit 14 determines that the target coordinate is the jaggy removing target pixel.
  • the target pixel is not determined to be the jaggy removal target pixel by the target pixel detail determination means 14 even if the target pixel is determined to be the jaggy removal target pixel by the target pixel determination unit 13 , It is excluded from the processing of the jaggy removal means 20.
  • jaggy removal target pixel detection means 10 a luminance gradient calculation means 11, principal component analysis means 12, target pixel determination means 13 and target pixel detail determination means 14
  • jaggy removal means 20 (basic filter)
  • the calculating means 21, the filter weight calculating means 22 and the weighted average calculating means 23) are realized by, for example, a computer that operates according to an image processing program.
  • the computer reads the image processing program, and according to the program, the jaggy removal target pixel detection means 10 a (luminance gradient calculation means 11, principal component analysis means 12, target pixel determination means 13, and target pixel detailed determination Means 14) and jaggy elimination means 20 (basic filter calculation means 21, filter weight calculation means 22 and weighted average calculation means 23).
  • jaggies removal target pixel detecting means 10 a and the jaggy removal means 20 may be implemented in separate units. Furthermore, the luminance gradient calculation unit 11, the principal component analysis unit 12, the target pixel determination unit 13, and the target pixel detail determination unit 14 may be realized as separate units. Further, the base filter calculating means 21, the filter weight calculating means 22 and the weighted average calculating means 23 may be realized by separate units.
  • FIG. 13 is a flowchart illustrating an example of processing progress of the image processing system according to the second embodiment.
  • the same processes as those in the first embodiment are denoted by the same reference numerals as those in FIG.
  • the processing of steps S1 to S3 is the same as the processing of steps S1 to S3 in the first embodiment.
  • the target pixel detail determination unit 14 determines whether the target pixel is appropriate as the jaggy removal target pixel for the local region in which the target pixel is determined to be the jaggy removal target pixel by the target pixel determination unit 13. Is determined in more detail (step S21). That is, the target pixel detail determination unit 14 is a pixel in the local area that is determined to be the target pixel for jaggy removal in step S3, and is the pixel in the center of the local area. from sampling the pixel values of the pixels aligned in the direction of the inverse vector of the pixel and eigenvectors v 2, arranged in the direction of the eigenvector v 2.
  • the eigenvectors v 2 is already calculated in step S2.
  • the target pixel detail determining unit 14 converts the pixel values into a frequency space by performing, for example, FFT on the sampled pixel values. Then, the target pixel detail determination unit 14 determines whether or not the intensity at a certain frequency (for example, an arbitrary frequency or a frequency that is an integer multiple of tan ⁇ ) is greater than or equal to a threshold, and the intensity at that frequency is greater than or equal to the threshold. If there is, the target pixel determined as the jaggy removal target pixel in step S3 is determined as the jaggy removal target pixel.
  • a certain frequency for example, an arbitrary frequency or a frequency that is an integer multiple of tan ⁇
  • step S3 if the intensity at a certain frequency is less than the threshold, even if it is a local region where the target pixel is determined to be a jaggy removal target pixel in step S3, it is excluded from the processing in step S4 and subsequent steps.
  • the jaggy removal means 20 performs the processes of steps S4 to S6 on the local region in which the target pixel is determined as the jaggy removal target pixel in step S21.
  • step S3 the target pixel detail determination unit 14 performs step S21 and differs from the first embodiment in that the processing target of steps S4 to S6 is narrowed down.
  • the other points are the same as in the first embodiment.
  • whether or not the target pixel is a jaggy removal target pixel is determined from the viewpoint of whether or not a uniform luminance gradient exists in the local region.
  • whether or not a change in pixel values of pixels arranged in the local vector from the target pixel in the eigenvector v 2 direction or the inverse vector direction of the vector v 2 corresponds to the jaggy feature.
  • steps S4 to S6 are performed on the local region having the target pixel. Therefore, in the second embodiment, in addition to the same effect as in the first embodiment, an effect that the jaggy removal target pixel can be detected more appropriately can be obtained.
  • FIG. FIG. 14 is a block diagram showing an image processing system according to the third embodiment of the present invention. Elements that are the same as those shown in FIG. 1 are given the same reference numerals as those in FIG.
  • a processing target image is input to the image processing system, and the image processing system uses a copy of the processing target image as an initial state of a corrected image in a memory (not shown).
  • the image processing system determines the pixel value of the pixel in the corrected image corresponding to the pixel determined as the jaggy removal target pixel in the processing target image.
  • the image processing system 50 includes jaggy removal target pixel detection means 10 and jaggy removal means 60.
  • the jaggy removal target pixel detection means 10 includes a luminance gradient calculation means 11, a principal component analysis means 12, and a target pixel determination means 13.
  • the jaggy removal target pixel detection means 10 luminance gradient calculation means 11, principal component analysis means 12, and target pixel determination means 13
  • luminance gradient calculation means 11, principal component analysis means 12, and target pixel determination means 13 is the same as that of the embodiment of the present invention, and the description thereof is omitted. Similar to the configuration shown in FIG. 2, a local region cutout unit 30 may be provided.
  • the jaggy removal unit 60 when it is determined that the target pixel is a target pixel for jaggy removal, the jaggy removal unit 60 is based on the eigenvalue and eigenvector calculated for the local region centered on the target pixel.
  • a jaggy removal filter for the pixel of interest is adaptively generated.
  • the jaggy removing means 60 applies the jaggy removing filter to the local region.
  • the jaggy removal means 60 determines the filtering result as the pixel value of the pixel in the modified image corresponding to the pixel determined to be the jaggy removal target pixel.
  • the pixel value of the pixel in the corrected image is updated with the value of the filtering result.
  • the jaggy removal means 60 includes a filter coefficient calculation means 61 and a filter calculation means 62.
  • Filter coefficient calculation unit 61 when the pixel of interest is determined to be a jaggy removal target pixel, that is the eigenvector v 1 direction calculated regarding local region centered around the target pixel small blur, perpendicular to v 1 the direction (i.e. eigenvector v 2 direction) to calculate the filter coefficients of the blur filter blur increases. That is, in this filter, the eigenvectors v extent of two directions blurring is larger than the degree of eigenvectors v 1 direction blur.
  • the filter applying unit 62 calculates a filtering result by applying a blur filter defined by the filter coefficient defined by the filter coefficient calculating unit 61 to the local region. Then, the pixel value of the pixel in the corrected image corresponding to the target pixel determined to be the jaggy removal target pixel is updated to the value of the filtering result.
  • the jaggy removal target pixel detection means 10 luminance gradient calculation means 11, principal component analysis means 12 and target pixel determination means 13
  • jaggy removal means 60 filter coefficient calculation means 61 and filter calculation means 62
  • the jaggy removal target pixel detection means 10 and the jaggy removal means 60 may be realized by separate units. Further, the luminance gradient calculating means 11, the principal component analyzing means 12, and the target pixel determining means 13 may be realized by separate units, and the filter coefficient calculating means 61 and the filter calculating means 62 are realized by separate units. It may be.
  • FIG. 15 is a flowchart illustrating an example of processing progress of the image processing system according to the third embodiment.
  • the processing from steps S1 to S3 is the same as steps S1 to S3 (see FIG. 7) in the embodiment of the present invention, and a description thereof will be omitted.
  • the image processing system 50 ends the processing related to the local region that is the current processing target and performs processing related to the next local region.
  • the jaggy removal means 60 performs the processes of steps S11 and S12 for the local region currently being processed.
  • the filter coefficient calculation means 61 generates a jaggy removal filter using the eigenvalue and eigenvector calculated in step S2 for the local region centered on the target pixel determined to be the jaggy removal target pixel. Specifically, the filter coefficient calculating unit 61, the eigenvector v 1 direction small blur, the eigenvector v 2 directions to calculate the filter coefficients of the blur filter such as blurring increases (step S11).
  • the jaggy removal filter include a Gaussian filter, but a filter other than the Gaussian filter may be used.
  • FIG. 16 is a diagram schematically illustrating a Gaussian filter.
  • the brighter portion has a higher weight (in other words, the value of the filter coefficient is larger).
  • a Gaussian filter corresponding to the area 201 shown in FIG. 8A is taken as an example.
  • a major axis 401 shown in FIG. 16 is the direction of the eigenvector v 2 (see FIG. 8A).
  • the short axis 402 is the direction of the eigenvector v 1 (see FIG. 8A).
  • the filter coefficient calculation means 61 presets the variances ⁇ 1 and ⁇ 2 in the respective axial directions as values proportional to the eigenvalues ⁇ 1 and ⁇ 2 , respectively.
  • ⁇ 1 and ⁇ 2 are variable, but ⁇ 1 and ⁇ 2 may be fixed values.
  • the filter calculation means 62 applies the jaggy removal filter determined in step S11 to the local region centered on the target pixel determined to be the jaggy removal target pixel, and obtains a filtering result. That is, a process of multiplying a pixel value of a pixel in the local area by a coefficient of a filter corresponding to the pixel is performed for each pixel in the local area, and a sum of the multiplication results is calculated. Then, the filter calculation means 62 updates the pixel value of the pixel in the corrected image corresponding to the target pixel to the value of the filtering result (step S12).
  • the third embodiment it is not necessary to prepare a jaggy pattern or a jaggy correction pattern in advance, so that jaggy removal can be realized for various images. For example, not only a binary image but also a jaggy in a gray scale image or a color image can be removed. It is also possible to remove jaggy caused in an image upscaled by an unknown scaler.
  • the jaggy removal target pixel detection means 10 may include the target pixel detail determination means 14 (see FIG. 9). That is, the target pixel detail determination unit 14 (see FIG. 9) described in the second embodiment may be used as the jaggy removal target pixel detection unit.
  • step S21 (see FIG. 13) may be executed after step S3. Then, the target pixel determining unit 13 determines that the central pixel is the jaggy removal target pixel, and the target pixel detail determining unit 14 determines that the condition (the condition described in the second embodiment) is satisfied.
  • the coefficient of the blur filter to be applied to the local area may be calculated by the filter coefficient calculation means 61 in step S11. Further, the filter calculation means may apply step S12 by applying the blur filter to the local region. With such a configuration, it is possible to obtain an effect that the jaggy removal target pixel can be detected more appropriately.
  • FIG. 17 is a block diagram showing an example of the minimum configuration of the present invention.
  • the image processing system of the present invention includes a luminance gradient calculating unit 81, a principal component analyzing unit 82, a target pixel determining unit 83, a base filter calculating unit 84, a weight calculating unit 85, and a filtering result weight calculating unit 86. Prepare.
  • the luminance gradient calculating means 81 calculates the luminance gradient in each pixel in the local area cut out from the processing target image.
  • the principal component analysis unit 82 (for example, the principal component analysis unit 12) performs a principal component analysis on the luminance gradient in each pixel in the local region, and calculates a feature amount representing the distribution of the luminance gradient.
  • the target pixel determining unit 83 determines that the central pixel is a jaggy removal target based on the luminance gradient in the central pixel of the local region and the feature amount calculated by the principal component analyzing unit 82. It is determined whether or not it is a pixel.
  • the base filter calculation means 84 (for example, the base filter calculation means 21), when it is determined that the central pixel of the local area is a pixel to be removed from jaggies, a plurality of predetermined predetermined values for the local area. Apply each type of basis filter.
  • the weight calculation means 85 calculates the weights for a plurality of types of base filters based on the feature amounts calculated by the principal component analysis means 82.
  • the filtering result weight calculating unit 86 selects the processing target image based on the result of applying each of the plurality of types of basis filters to the local region and the weights for the plurality of types of basis filters. The pixel value of the pixel corresponding to the central pixel of the local area in the corrected image created as the corrected image is determined.
  • jaggy can be removed at high speed not only for binary images but also for grayscale images, color images, or images upscaled by an unknown scaler.
  • the principal component analysis unit 82 has a first eigenvector (for example, v 1 ) representing the dominant luminance gradient direction in the local region as a feature quantity representing the luminance gradient distribution, and a perpendicular to the first eigenvector.
  • a second eigenvector (for example, v 2 ) is calculated, and the second pixel is extracted from the central pixel with respect to the local region determined by the target pixel determination unit 83 as the pixel that is the target of jaggy removal. Whether or not a condition indicating that the luminance value is repeatedly increased or decreased is satisfied for pixels aligned in the eigenvector direction and pixels aligned in the inverse vector direction of the second eigenvector from the central pixel.
  • a target pixel detail determination unit (for example, a target pixel detail determination unit 14) to be determined; Is applied to each of the local regions that are determined to be the jaggy-removal target pixel and the target pixel detail determination means determines that the condition is satisfied. It may be configured to.
  • FIG. 18 is a block diagram showing another example of the minimum configuration of the present invention.
  • the image processing system of the present invention includes a luminance gradient calculation unit 91, a principal component analysis unit 92, a target pixel determination unit 93, a filter coefficient calculation unit 94, and a filter calculation unit 95. It may be a configuration.
  • the luminance gradient calculating unit 91 calculates the luminance gradient in each pixel in the local area cut out from the processing target image.
  • the principal component analysis unit 92 (for example, the principal component analysis unit 12) performs principal component analysis on the luminance gradient in each pixel in the local region, and is dominant in the local region as a feature amount representing the distribution of the luminance gradient.
  • a first eigenvector (for example, v 1 ) representing a simple luminance gradient direction and a second eigenvector (for example, v 2 ) perpendicular to the first eigenvector are calculated.
  • the target pixel determining unit 93 determines that the central pixel is a jaggy removal target based on the luminance gradient in the central pixel of the local region and the feature amount calculated by the principal component analyzing unit 92. It is determined whether or not it is a pixel.
  • the filter coefficient calculation unit 94 determines that the degree of blurring in the second eigenvector direction is the first when the central pixel of the local region is determined to be a pixel to be removed from jaggy.
  • the blur filter coefficient that is larger than the degree of blur in the eigenvector direction is calculated.
  • the filter calculation means 95 (for example, the filter calculation means 62) is an image obtained by correcting a processing target image by applying a blur filter to a local region in which a central pixel is determined to be a pixel that is a jaggy removal target. The pixel value of the pixel corresponding to the central pixel of the local region in the modified image created as is determined.
  • jaggy can be removed not only for binary images but also for grayscale images, color images, or images upscaled by an unknown scaler.
  • Target pixel detail determination means for determining whether or not a condition indicating that the luminance value is repeatedly increased or decreased is satisfied for pixels arranged in the direction opposite to the eigenvector of 2 (for example, target pixel details)
  • the filter coefficient calculating means 94 is determined by the target pixel determining means 93 to determine that the central pixel is a pixel to be removed from jaggy, and the condition is satisfied by the target pixel detail determining means.
  • the filter calculation means 95 applies the blur filter to the local region, thereby applying the blur filter to the central pixel of the local region in the corrected image.
  • the configuration may be such that the pixel value of the corresponding pixel is determined.
  • a luminance gradient calculation unit that calculates a luminance gradient in each pixel in the local region cut out from the processing target image, and a principal component analysis is performed on the luminance gradient in each pixel in the local region, thereby obtaining the luminance gradient
  • a principal component analysis unit that calculates a feature amount representing the distribution of the local area, and based on the luminance gradient in the central pixel of the local region and the feature amount calculated by the principal component analysis unit, the central pixel is a jaggy removal target
  • a target pixel determination unit that determines whether or not the pixel is a pixel, and a predetermined pixel for the local region when the central pixel of the local region is determined to be a pixel that is a jaggy removal target.
  • a basis filter operation unit that applies each of a plurality of types of basis filters, and a weight calculation that calculates weights for the plurality of types of basis filters based on the feature quantities calculated by the principal component analysis unit.
  • a result of applying each of the plurality of types of basis filters to the local region, and a modified image created as an image obtained by correcting the processing target image based on the weights for the plurality of types of basis filters An image processing system comprising: a filtering result weight calculation unit that determines a pixel value of a pixel corresponding to a central pixel of a local region.
  • the principal component analysis unit includes a first eigenvector representing a luminance gradient direction dominant in the local region and a second eigenvector perpendicular to the first eigenvector as feature quantities representing the luminance gradient distribution.
  • the base filter calculation unit determines that the center pixel is a pixel that is a target for jaggy removal by the target pixel determination unit, and the target pixel detail determination unit.
  • a luminance gradient calculation unit that calculates a luminance gradient in each pixel in the local region cut out from the processing target image, and a principal component analysis is performed on the luminance gradient in each pixel in the local region, and the luminance gradient
  • a principal component analysis unit that calculates a first eigenvector representing the dominant luminance gradient direction in the local region and a second eigenvector perpendicular to the first eigenvector as feature quantities representing the distribution of the local region, and the local region
  • a target pixel determination unit that determines whether or not the central pixel is a pixel that is a jaggy removal target based on the luminance gradient in the central pixel of the pixel and the feature amount calculated by the principal component analysis unit; When it is determined that the central pixel of the region is a pixel to be removed from jaggy, the degree of blur in the second eigenvector direction is larger than the degree of blur in the first eigenvector direction.
  • An image processing system comprising: a filter calculation unit that determines a pixel value of a pixel corresponding to a central pixel of the local region in a modified image created as:
  • a blurring flag in which the degree of blur in the second eigenvector direction is larger than the degree of blur in the first eigenvector direction Appendix 3 determines the pixel value of the pixel corresponding to the central pixel of the local region in the corrected image by calculating the filter coefficient and applying the blur filter to the local region.
  • the present invention is preferably applied to an image processing system that removes jaggies in an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる画像処理システムを提供する。基底フィルタ演算手段８４は、処理対象画像から切り出された局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する。重み算出手段８５は、その複数種類の基底フィルタに対する重みを、主成分分析手段８２に計算された特徴量に基づいて計算する。フィルタリング結果重み演算手段８６は、各基底フィルタによるフィルタリング結果と、各基底フィルタに対する重みとに基づいて、その中心画素の画素値を更新する。

Description

画像処理システム、画像処理方法および画像処理用プログラム
　本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、画像内のジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムに関する。
　画像をアップスケールする場合や、インタレース映像をプログレッシブ化する場合に、画像内のエッジ部分に、ジャギーと呼ばれる階段状のパターンが生じてしまう。このジャギーを除去する画像処理方法等が種々提案されている（例えば、特許文献１，２等参照）。
　特許文献１，２に記載された画像処理方法では、入力画像の各画素を順次、注目画素として選択する。そして、その注目画素を中心とする領域（ウィンドウ）を抽出し、予め用意したジャギーパターンと比較（換言すれば、パターンマッチング）することによって、その画素がジャギー画素であるか否かを判定する。その画素がジャギー画素である場合には、予め用意したジャギー修正用パターンを読み出し、入力画像のジャギーに該当する箇所に付加することによって、ジャギーを除去する。
　また、フィルタを定義してジャギーを防止する画像処理装置が特許文献３に記載されている。特許文献３に記載された画像処理装置は、注目画素を中心とした所定範囲について輝度勾配を検出する。そして、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１と、そのエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。また、そのエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。そして、特許文献３に記載された画像処理装置は、λ２／λ１によりエッジの信頼度を検出し、信頼度に応じたパラメータｐを生成する。さらに、固有値λ１が大きい場合というのは、エッジを挟んでコントラストが大きく、はっきりしたエッジであると言えるということに基づいて、エッジの立ち上がりに応じて値が変化するパラメータｑを生成する。さらに、特許文献３に記載された画像処理装置は、ｐ，ｑに基づいてフィルタリングの処理の範囲を計算し、その範囲によりフィルタリング処理のタップ数を切り替え、フィルタを定義する。
　すなわち、特許文献３に記載された画像処理装置では、画像内の各注目画素に関する所定範囲に対して、それぞれジャギーを防止するためのフィルタを定義する。
特開平９－２７０９１５号公報（段落００３４－００４０） 特開２００９－１０８８０号公報（段落００５４－００５７、図１０） 特開２００６－２２１４０３号公報（段落００２４－００２６、００４６－００５３）
　ジャギーを除去する画像処理方法として特許文献１，２に記載された方法では、パターンマッチングに用いるジャギーパターンや、ジャギーに該当する箇所を修正するためのジャギー修正用パターンを予め用意しておく必要がある。そのため、ジャギーを除去できる画像は、ジャギーパターンやジャギー修正用パターンを予め用意しておくことができる画像に限定されてしまい、ジャギーパターンやジャギー修正用パターンを網羅的に用意できない画像には特許文献１，２に記載された画像処理方法を適用することができなかった。
　例えば、二値画像のジャギーパターンは限定的であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを用意しておくことができる。従って、二値画像内のジャギーを特許文献１，２に記載された方法で除去することができる。一方、グレースケール画像やカラー画像に関しては、ジャギーパターンは様々であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを網羅的に予め用意することは困難である。従って、グレースケール画像やカラー画像に関しては、画像内のジャギーを特許文献１，２に記載された方法で除去することは困難である。
　また、例えば、既知のスケーラでアップスケールされた画像では、ジャギーパターンは限定的であり、それらのジャギーパターンや、それらのジャギーパターンに対応するジャギー修正用パターンを用意しておくことができる。従って、既知のスケーラでアップスケールされた画像に関しては、特許文献１，２に記載された方法で画像内のジャギーを除去することができる。しかし、ジャギーを除去できるのは、そのような既知のスケーラで処理された画像に限定されてしまう。アップスケールしたときにどのようなジャギーが生じるかはスケーラに依存する。そのため、全てのスケーラに関して、ジャギーパターンや、そのジャギーパターンに対応するジャギー修正用パターンを網羅的に予め用意することは困難であり、任意のスケーラでアップスケールされた画像に関して、全てジャギーを除去できるわけではなかった。
　一方、特許文献３に記載された画像処理装置では、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないので、処理できる画像が限定されてしまうという上記の問題は生じない。
　しかし、特許文献３に記載された画像処理装置では、処理対象とする画像内の各注目画素に関する所定範囲に対して、それぞれフィルタを定義する処理を行うため、処理時間がかかってしまう。
　そこで、本発明は、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。また、それらの画像に対して、高速にジャギーを除去することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。
　本発明による画像処理システムは、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析手段と、局所領域の中心画素における輝度勾配および主成分分析手段に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算手段と、複数種類の基底フィルタに対する重みを、主成分分析手段に計算された特徴量に基づいて計算する重み算出手段と、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算手段とを備えることを特徴とする。
　また、本発明による画像処理システムは、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析手段と、局所領域の中心画素における輝度勾配および主成分分析手段に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出手段と、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算手段とを備えることを特徴とする。
　また、本発明による画像処理方法は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算し、局所領域の中心画素における輝度勾配および特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用し、複数種類の基底フィルタに対する重みを特徴量に基づいて計算し、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定することを特徴とする。
　また、本発明による画像処理方法は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、局所領域の中心画素における輝度勾配および特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、中心画素がジャギーの除去対象となる画素であると判定した局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定することを特徴とする。
　また、本発明による画像処理用プログラムは、コンピュータに、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析処理、局所領域の中心画素における輝度勾配および主成分分析処理で計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算処理、複数種類の基底フィルタに対する重みを、主成分分析処理で計算された特徴量に基づいて計算する重み算出処理、および、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算処理を実行させることを特徴とする。
　また、本発明による画像処理用プログラムは、コンピュータに、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析処理、局所領域の中心画素における輝度勾配および主成分分析処理で計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出処理、および、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してそのぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算処理を実行させることを特徴とする。
　本発明によれば、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる。
　また、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する構成の場合には、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
本発明の第１の実施形態の画像処理システムを示すブロック図である。 局所領域切り出し手段３０を備える構成例を示すブロック図である。 基底フィルタ演算手段２１が保持する３種類の基底フィルタを模式的に示した図である。 基底フィルタの線形和で近似されるフィルタの例を模式的に表す説明図である。 入力画像および入力画像内の領域の例を示す図である。 ジャギーの除去を示す図である。 第１の実施形態の画像処理システムの処理経過の例を示すフローチャートである。 図５に示す領域２０１，２０２を局所領域として主成分分析を行って得た特徴量を示す図である。 本発明の第２の実施形態の画像処理システムを示すブロック図である。 ジャギーが生じている局所領域と、その局所領域における固有ベクトルｖ２およびその逆ベクトルとを示す模式図である。 注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群における画素値の変化を示す模式図である。 固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングして周波数空間に変換した場合における周波数と強度の関係を示す模式図である。 第２の実施形態の画像処理システムの処理経過の例を示すフローチャートである。 本発明の第３の実施形態の画像処理システムを示すブロック図である。 第３の実施形態の画像処理システムの処理経過の例を示すフローチャートである。 ガウシアンフィルタを模式的に示した図である。 本発明の最小構成の例を示すブロック図である。 本発明の最小構成の他の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明の第１の実施形態の画像処理システムを示すブロック図である。本発明の画像処理システム１は、例えば、プログラム制御により動作するコンピュータ（中央処理装置、プロセッサまたはデータ処理装置）により実現される。
　第１の実施形態の画像処理システムは、処理対象の画像におけるジャギーを除去するように修正した修正画像を、例えば、画像処理システムが備えるメモリ（図示略）上に作成する。例えば、画像処理システムには、処理対象の画像が入力され、画像処理システムは、その処理対象の画像を複製したものを修正画像の初期状態としてメモリに記憶させておく。そして、画像処理システムは、処理対象の画像内のジャギーの除去対象となる画素に対応する修正画像内の画素の画素値を定めていく。この結果、ジャギーが除去された修正画像が得られる。
　画像処理システム１は、ジャギー除去対象画素検出手段１０と、ジャギー除去手段２０とを備える。
　ジャギー除去対象画素検出手段１０は、処理対象の画像における個々の画素を中心とした局所領域に対して、局所領域内の輝度勾配の主成分分析を行い、特徴量として固有値および固有ベクトルを算出する。そして、ジャギー除去対象画素検出手段１０は、局所領域の中心に位置する画素（以下、注目画素と記す。）が、ジャギーの除去対象となる画素であるか否かを、算出した特徴量によって統計的に判定する。以下、ジャギーの除去対象となる画素をジャギー除去対象画素と記す。
　ジャギーは、同じ方向のエッジが連続的に繋がっている箇所で顕著である。この性質を利用して、ジャギー除去対象画素検出手段１０は、一定以上の輝度勾配強度があり、かつ、近傍で一様な輝度勾配が存在する画素をジャギー除去対象画素と判定する。
　ジャギー除去手段２０は、ジャギー除去対象画素であると判定された画素を中心とする局所領域に対して、予め定められた複数のフィルタを適用する。この複数のフィルタを基底フィルタと記す。基底フィルタについては後述する。また、ジャギー除去手段２０は、局所領域に対して個々の基底フィルタを適用した結果の重み付き平均を計算し、その計算結果を、ジャギー除去対象画素であると判定された画素に対応する修正画像内の画素の画素値として決定する。そして、修正画像内におけるその画素の画素値を、その計算結果の値で更新する。また、ジャギー除去手段２０は、重み付き平均を行う際の重み係数を、ジャギー除去対象画素検出手段１０によって計算された固有ベクトルを用いて計算する。
　ジャギー除去対象画素検出手段１０およびジャギー除去手段２０について、より具体的に説明する。
　ジャギー除去対象画素検出手段１０は、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３とを含む。
　画像処理システム１に入力画像（処理対象画像）が入力されると、入力画像の個々の画素を中心とする局所領域が切り出され、各画素に対応する局所領域が輝度勾配算出手段１１および基底フィルタ演算手段２１に入力される。この場合、例えば、図２に示すように、入力画像の個々の画素を中心とする局所領域を画素毎に切り出し、各画素に対応する局所領域を輝度勾配算出手段１１および基底フィルタ演算手段２１に入力する局所領域切り出し手段３０が設けられていればよい。また、処理対象画像から画素毎に局所領域を抽出する処理が外部で行われ、輝度勾配算出手段１１および基底フィルタ演算手段２１に、画像の各局所領域が外部から直接入力されてもよい。なお、既に説明したように、画像処理システム１は、例えば、入力画像（処理対象画像）の複製を、修正画像の初期状態として、メモリに記憶させておく。
　なお、局所領域は、例えば、ｋを奇数としたときに、ｋ×ｋ個の画素からなる正方形の領域であり、中心に存在する注目画素を特定することができる。ここでは、局所領域が正方形である場合を例示したが、局所領域は正方形に限定されない。例えば、局所領域は長方形であってもよい。
　個々の画素毎に局所領域が切り出されると、ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、局所領域毎にそれぞれ処理を行う。
　輝度勾配算出手段１１は、入力された局所領域内の各画素の輝度勾配を算出する。
　主成分分析手段１２は、輝度勾配算出手段１１によって算出された局所領域内の各画素の輝度勾配に対して主成分分析を行い、局所領域内の輝度勾配の分布を表す特徴量を計算する。具体的には、主成分分析手段１２は、局所領域内の各画素の輝度勾配に対して主成分分析を行い、２つの固有値λ１，λ２と、固有値λ１に対応する固有ベクトルｖ１、および固有値λ２に対応する固有ベクトルｖ２とを計算する。ただし、λ１＞λ２であるとする。ここで、固有ベクトルｖ１は、局所領域内で支配的な輝度勾配方向を表し、固有ベクトルｖ２は、固有ベクトルｖ１に垂直である。また、λ１，λ２は、固有ベクトルｖ１，ｖ２が表す各勾配方向における勾配の分散を表しているということができる。
　対象画素判定手段１３は、局所領域の中心の注目画素の輝度勾配が十分に大きいこと、および、λ１がλ２に対して十分に大きいことを基準として、局所領域の中心の注目画素がジャギー除去対象画素であるか否かを判定する。すなわち、対象画素判定手段１３は、注目画素の輝度勾配が十分に大きく、かつ、λ１がλ２に対して十分に大きいという条件が満たされている場合、その注目画素がジャギー除去対象画素であると判定する。また、その条件が満たされていない場合、その注目画素はジャギー除去対象画素でないと判定する。なお、輝度勾配が十分に大きいか否かや、λ１がλ２に対して十分に大きいか否かについては、それぞれ閾値を用いて判定する。
　ジャギー除去手段２０は、基底フィルタ演算手段２１と、フィルタ重み計算手段２２と、重み付き平均計算手段２３とを含む。
　基底フィルタ演算手段２１は、特定方向に関してぼけが大きくなり、その特定方向に垂直な方向に関してぼけが小さくなるようにぼかし係数を定めた基底フィルタを予め複数個保持する。本実施形態では、基底フィルタ演算手段２１が３種類の基底フィルタを保持している場合を例にして説明する。また、この３種類の基底フィルタにおける上記の特定方向が、０°、６０°、１２０°である場合を例にする。また、この特定方向は、水平の右側方向を基準として、反時計回りの回転角度で表している。本例では、特定方向を表すための基準となる方向（以下、基準方向と記す。）として、水平の右側方向を採用しているが、基準方向として他の方向を定めていてもよい。
　図３は、本実施形態において基底フィルタ演算手段２１が保持する３種類の基底フィルタを模式的に示した図である。フィルタは、局所領域内の画素数以下の係数を並べて配置したものである。フィルタにおいて中心位置に配置された係数と、局所領域の中心画素とを対応させることで、フィルタの各係数に一対一に対応する局所領域内の各画素が特定されるようにフィルタ内の係数の配置は定められている。フィルタに含まれる係数の数は、局所領域内の画素数以下であり、フィルタに含まれる各係数に一対一に対応する局所領域内の画素が特定できればよい。フィルタに含まれる係数の数と、局所領域内の画素数とが等しく、各係数と各画素とが一対一に対応していてもよい。図３では、５×５個の係数を配置した基底フィルタを例示している。ただし、明るい色ほど、フィルタ係数の値が大きいことを意味している。
　図３に示す第１の基底フィルタＧ１における特定方向θ１は０°である。すなわち、本例の基底フィルタＧ１は、０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
　第２の基底フィルタＧ２における特定方向θ２は６０°である。すなわち、本例の基底フィルタＧ２は、６０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
　第３の基底フィルタＧ３における特定方向θ３は１２０°である。すなわち、本例の基底フィルタＧ３は、１２０°方向に関してぼけが大きくなり、その方向に垂直な方向に関してぼけが小さくなるように係数を定めたフィルタである。
　基底フィルタＧ２における特定方向θ２は、基底フィルタＧ１における特定方向θ１を反時計回りに６０°回転させたものである。同様に、基底フィルタＧ３における特定方向θ３は、基底フィルタＧ１における特定方向θ１を反時計回りに１２０°回転させたものである。
　任意の方向性を持ったフィルタは、図３に例示する基底フィルタＧ１～Ｇ３のように、形状（係数の配置）が共通であるが、方向性が異なる複数の基底フィルタの線形和によって近似することができる。図４は、基底フィルタの線形和で近似されるフィルタの例を模式的に表す説明図である。図４では、特定方向が３０°となるフィルタＧｎを、基底フィルタＧ１～Ｇ３で近似する場合を例示している。また、この線形和の計算において、基底フィルタＧ１～Ｇ３に対する重み係数をそれぞれｗ１，ｗ２，ｗ３としている。この場合、フィルタＧｎは、以下の式（１）で近似できる。
　Ｇｎ＝ｗ１・Ｇ１＋ｗ２・Ｇ２＋ｗ３・Ｇ３　　　　・・・式（１）
　基底フィルタ演算手段２１は、局所領域が入力されると、その局所領域に対して、各基底フィルタをそれぞれ個別に適用する。本例では、基底フィルタ演算手段２１は、局所領域に対して基底フィルタＧ１～Ｇ３をそれぞれ個別に適用する。
　前述のように、フィルタに含まれる係数の数は、局所領域内の画素数以下であり、フィルタに含まれる各係数に一対一に対応する局所領域内の画素が特定できればよい。換言すれば、フィルタの大きさは、局所領域の大きさ以下であればよい。局所領域に対してフィルタを適用するとは、具体的には、フィルタに含まれる係数に、その係数に対応する局所領域内の画素の画素値を乗じる処理を、フィルタに含まれる係数毎に行い、その乗算結果の和を算出することである。局所領域に対して基底フィルタを適用した結果（フィルタリング結果と呼ぶ。）とは、この計算結果である。
　フィルタ重み計算手段２２は、主成分分析手段１２によって計算された固有ベクトルｖ２を用いて、各基底フィルタＧ１～Ｇ３に対する重み係数ｗ１～ｗ３を計算する。固有ベクトルｖ２の方向をθとする。より具体的には、θは、基準方向から反時計回りで固有ベクトルｖ２までの回転角である。既に説明したように、本例では、基準方向として、水平の右側方向を採用しているが、基準方向として他の方向を定めていてもよい。
　各基底フィルタに対する重み係数ｗ１～ｗ３をベクトルｗ＝（ｗ１，ｗ２，ｗ３）で表すと、フィルタ重み計算手段２２は、固有ベクトルｖ２の方向θと、基底フィルタＧ１における特定方向θ１、基底フィルタＧ２における特定方向θ２、基底フィルタＧ３における特定方向θ３とを用いて、以下の式（２）を計算することにより各重み係数ｗ１～ｗ３を求める。
Figure JPOXMLDOC01-appb-M000001
　すなわち、フィルタ重み計算手段２２は、式（２）を計算して得たベクトルｗの３つの要素を順番に重み係数ｗ１，ｗ２，ｗ３とすればよい。
　重み付き平均計算手段２３は、基底フィルタ演算手段２１による３種類のフィルタリング結果に対して、フィルタ重み計算手段２２によって計算された重み係数ｗ１～ｗ３で重み付けを行い、その和を計算する。すなわち、局所領域に対して基底フィルタＧ１を適用した結果に対してｗ１を乗じ、局所領域に対して基底フィルタＧ２を適用した結果に対してｗ２を乗じ、局所領域に対して基底フィルタＧ３を適用した結果に対してｗ３を乗じ、それらの乗算結果の和を計算する。重み付き平均計算手段２３は、その計算結果を、その局所領域の中心の注目画素に対応する修正画像内の画素の画素値として決定する。そして、重み付き平均計算手段２３は、修正画像内におけるその画素の画素値を、その計算結果の値で更新する。
　ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。この場合、コンピュータが画像処理用プログラムを読み込み、そのプログラムに従って、ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）およびジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）として動作すればよい。
　また、ジャギー除去対象画素検出手段１０とジャギー除去手段２０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３が別々のユニットで実現されていてもよく、また、基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３も別々のユニットで実現されていてもよい。
　次に、ジャギーに関する仮定について説明した上で、本発明の動作について説明する。まず、ジャギーに関する仮定について説明する。図５は、入力画像および入力画像内の領域の例を示す図である。図５において、領域２０１，２０２はいずれも入力画像２００内の領域を拡大して図示したものである。領域２０１，２０２内に図示した複数の矢印は、それぞれ、領域２０１，２０２の各画素における輝度勾配の方向および強度を表している。一般に、ジャギーは、アップスケールされた画像等においてエッジ付近で発生する。また、人間の視覚は、領域２０１のように、同じ方向のエッジが連続して繋がっている箇所においてはジャギーの存在に敏感であり、一方、領域２０２のように、異なる方向のエッジが混在している箇所においては、ジャギーを知覚しにくいという特性を持つ。そこで、本発明では、ジャギーを形成する画素は、一定の輝度勾配強度を持ち、その近傍領域内における輝度勾配が一様になっているという仮定を採用する。そして、本発明の画像処理システムは、そのような画素をジャギー除去対象画素と判定し、ジャギー除去対象画素に対応する修正画像内の画素の画素値を更新することで、ジャギーを除去した画像を生成していく。例えば、領域２０１の中心の注目画素を、ジャギー除去対象画素と判定し、そのジャギー除去対象画素に対応する修正画像内の画素の画素値を更新する。処理対象画像の画素毎にこのような判定を行い、ジャギー除去対象画素を検出したならば、そのジャギー除去対象画素に対応する修正画像内の画素の画素値を更新していくことで、ジャギーをぼかしていくことになる。この結果、図６に示すように、領域２０１に対応する修正画像内の領域２０３では、ジャギーが除去される。
　図７は、第１の実施形態の画像処理システムの処理経過の例を示すフローチャートである。はじめに、入力画像の各画素を中心とした局所領域がそれぞれ切り出され、各局所領域がそれぞれ、輝度勾配推定手段１１および基底フィルタ演算手段２１に入力される。そして、ジャギー除去対象画素検出手段１０およびジャギー除去手段２０は、以下に示す処理を局所領域毎に行う。以下の説明では、１つの局所領域に対する処理を説明する。なお、本例では、初期状態の修正画像が、画像処理システムのメモリに記憶されている場合を例にして説明する。
　なお、局所領域は、予め定められた基底フィルタに含まれる係数の個数以上の画素数を含む領域として切り出される。
　輝度勾配算出手段１１は、局所領域内の各画素の輝度勾配を算出する（ステップＳ１）。具体的には、輝度勾配算出手段１１は、水平方向の輝度勾配成分と、垂直方向の輝度勾配成分とをそれぞれ算出する。以下、任意の画素の座標を（ｘ，ｙ）としたときに、その画素における水平方向の輝度勾配成分をＩｘ（ｘ，ｙ）と表し、その画素における垂直方向の輝度勾配成分をＩｙ（ｘ，ｙ）と表す。従って、輝度勾配算出手段１１は、局所領域内の画素毎にＩｘ（ｘ，ｙ）およびＩｙ（ｘ，ｙ）を計算する。
　輝度勾配算出手段１１は、局所領域内の各画素に関してＩｘ（ｘ，ｙ）を計算する場合には、局所領域内の各画素に対して、それぞれ以下に例示するフィルタを適用し、その適用結果をＩｘ（ｘ，ｙ）とすればよい。
Figure JPOXMLDOC01-appb-M000002
　輝度勾配算出手段１１は、局所領域内の各画素に関してＩｙ（ｘ，ｙ）を計算する場合には、局所領域内の各画素に対して、それぞれ以下に例示するフィルタを適用し、その適用結果をＩｙ（ｘ，ｙ）とすればよい。
Figure JPOXMLDOC01-appb-M000003
　なお、ここで示したフィルタは例示であり、Ｉｘ（ｘ，ｙ）やＩｙ（ｘ，ｙ）を計算する際に、他のフィルタを用いてもよい。
　次に、主成分分析手段１２は、ステップＳ１で計算された局所領域内の各画素の輝度勾配に対して主成分分析を行い、局所領域内の輝度勾配に関する特徴量を算出する（ステップＳ２）。具体的には、局所領域内の輝度勾配に関する２つの固有値λ１，λ２（ただし、λ１＞λ２）と、固有値λ１に対応する固有ベクトルｖ１、および固有値λ２に対応する固有ベクトルｖ２とを計算する。
　主成分分析手段１２は、ステップＳ２において固有値λ１，λ２を計算する場合、以下の式（３）に示す行列Ａの固有値を算出し、その固有値をλ１，λ２とすればよい。ただし、λ１＞λ２とする。
Figure JPOXMLDOC01-appb-M000004
　式（３）において、Ｒは、座標（ｘ，ｙ）を中心とする局所領域を表す。
　また、式（３）において、
Figure JPOXMLDOC01-appb-M000005
 は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標を表す。
　また、式（３）において、
Figure JPOXMLDOC01-appb-M000006
 は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標における水平方向の輝度勾配成分である。また、
Figure JPOXMLDOC01-appb-M000007
 は、座標（ｘ，ｙ）を中心とする局所領域内Ｒ内の座標における垂直方向の輝度勾配成分である。
　図８は、図５に示した領域２０１，２０２を局所領域としてステップ２の主成分分析を行って得た特徴量を示す図である。図８（ａ）は、同じ方向のエッジが連続して繋がっている領域２０１内の輝度勾配に関して主成分分析を行って得た固有値λ１，λ２および、それらの固有値に対応する固有ベクトルｖ１，ｖ２を示している。また、図８（ｂ）は、異なる方向のエッジが混在している領域２０２内の輝度勾配に関して主成分分析を行って得た固有値λ１，λ２および、それらの固有値に対応する固有ベクトルｖ１，ｖ２を示している。図８において、領域２０１，２０２内に示した白色の矢印が固有ベクトルｖ１，ｖ２を表している。
　ステップＳ２の後、対象画素判定手段１３は、ステップＳ２で算出された特徴量λ１，λ２およびｖ１，ｖ２を用いて、局所領域の中心に位置する注目画素がジャギー除去対象画素であるか否かを判定する（ステップＳ３）。ここで、領域２０１（図５参照）のように、局所領域内の輝度勾配が一様である場合、λ１が大きな値となるのに対してλ２は小さな値となる（図８（ａ）参照）。一方、領域２０２（図５参照）のように、局所領域内で輝度勾配にばらつきがある場合、λ１，λ２はともに大きな値となる（図８（ｂ）参照）。そこで、対象画素判定手段１３は、局所領域の中心の注目画素の輝度勾配が十分に大きいことと合わせて、λ１がλ２に対して十分に大きいことも基準として、局所領域の中心の注目画素がジャギー除去対象画素であるか否かを判定する。
　具体的には、対象画素判定手段１３は、局所領域の中心の注目画素の座標を（ｘ，ｙ）としたときに、以下に示す式（４）および式（５）が両方とも成立していれば、その注目画素がジャギー除去対象画素であると判定し、式（４）および式（５）のうち少なくともいずれか一方が成立していなければ、その注目画素はジャギー除去対象画素ではないと判定する。
　｛Ｉｘ（ｘ，ｙ）｝２＋｛Ｉｙ（ｘ，ｙ）｝２＞ｔ１　　　　　・・・式（４）
　λ１／λ２＞ｔ２　　　　　・・・式（５）
　式（４）におけるｔ１、および式（５）におけるｔ２は、いずれも予め定められた閾値である。式（４）が成立しているということは、注目画素の輝度勾配が十分に大きいことを意味する。また、式（５）が成立しているということは、λ１がλ２に対して十分に大きいことを意味する。
　ステップＳ３において、注目画素がジャギー除去対象画素ではないと判定された場合、画像処理システム１は、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。一方、注目画素がジャギー除去対象画素であると判定された場合、ジャギー除去手段２０は、現在処理対象としている局所領域について、ステップＳ４以降の処理も行う。
　基底フィルタ演算手段２１は、入力された局所領域に対して、予め定められた複数の基底フィルタをそれぞれ個別に適用する（ステップＳ４）。ここでは、基底フィルタとしてＧ１，Ｇ２，Ｇ３（図３参照）が定められているとする。基底フィルタ演算手段２１は、基底フィルタＧ１の係数に、その係数に対応する局所領域内の画素の画素値を乗じる処理を、基底フィルタＧ１の係数毎に行い、その乗算結果の和を算出する。この結果、基底フィルタＧ１によるフィルタリング結果が得られる。基底フィルタ演算手段２１は、基底フィルタＧ２，Ｇ３に関しても同様の処理を行う。
　また、フィルタ重み計算手段２２は、ステップＳ２で計算された固有ベクトルｖ２の方向θを求める。ｖ２の方向θは、基準方向（本例では、水平の右側方向）から反時計回りで固有ベクトルｖ２までの回転角として求めればよい。そして、フィルタ重み計算手段２２は、予め定められている各基底フィルタＧ１～Ｇ３における特定方向θ１，θ２，θ３（図３参照）と、固有ベクトルｖ２の方向θを用いて、式（２）の計算を行い、各基底フィルタＧ１～Ｇ３に対応する重み係数ｗ１～ｗ３を算出する。
　続いて、重み付き平均計算手段２３は、ステップＳ４で計算された各基底フィルタによるフィルタリング結果と、ステップＳ５で計算された重み係数とを用いて、注目画素の画素値を計算し、その計算結果を、その注目画素に対応する修正画像内の画素の画素値として決定する。そして、重み付き平均計算手段２３は、修正画像内におけるその画素の画素値を、その計算結果の値で更新する（ステップＳ６）。すなわち、重み付き平均計算手段２３は、基底フィルタＧ１によるフィルタリング結果にｗ１を乗じ、基底フィルタＧ２によるフィルタリング結果にｗ２を乗じ、基底フィルタＧ３によるフィルタリング結果にｗ３を乗じ、その乗算結果の和を計算する。そして、重み付き平均計算手段２３は、その局所領域の中心の注目画素に対応する修正画像内の画素の画素値を、その計算結果で更新する。
　ステップＳ６が終了したならば、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。このように、各局所領域に対して、ステップＳ１以降の処理を行う。この結果、画像処理システム１は、各局所領域において、その中心の注目画素がジャギー除去対象画素であれば、その注目画素に対応する修正画像内の画素の画素値を更新して、ジャギーを除去した修正画像を得る。
　第１の実施形態によれば、予め複数の基底フィルタを用意しておく。そして、局所領域の中心の注目画素がジャギー除去対象画素であれば、局所領域に対して各基底フィルタを適用した結果に対して重み付けを行って、注目画素に対応する修正画像内の画素の画素値を決定して、ジャギーを除去する。従って、局所領域毎に、ジャギーを除去するためのフィルタ（より具体的にはフィルタの係数）を算出する必要がないため、ジャギーを除去する処理を高速に行うことができる。
　本実施形態と、特許文献３に記載された画像処理装置とを比較すると、特許文献３に記載された画像処理装置では、各注目画素に関する所定範囲毎にフィルタを定義する必要があり、そのため、特許文献３に記載された画像処理装置では処理時間がかかってしまう。一方、本実施形態では、上記のように、ジャギーを除去するためのフィルタを局所領域毎に算出する必要がなく、高速にジャギーを除去する処理を行える。
　また、本実施形態では、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないため、種々の画像に関してジャギー除去を実現することができる。例えば、二値画像に限らず、グレースケール画像やカラー画像におけるジャギーを除去することができる。また、未知のスケーラによってアップスケールされた画像内に生じたジャギーも除去することができる。
　すなわち、本実施形態によれば、二値画像、グレースケール画像、カラー画像や、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
実施形態２．
　図９は、本発明の第２の実施形態の画像処理システムを示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し詳細な説明を省略する。
　第２の実施形態の画像処理システム４０は、ジャギー除去対象画素検出手段１０ａと、ジャギー除去手段２１とを備える。
　ジャギー除去対象画素検出手段１０ａは、第１の実施形態におけるジャギー除去対象画素検出手段１０（図１参照）と同様に、処理対象の画像における個々の画素を中心とする各局所領域に関して、局所領域の中心に位置する注目画素がジャギー除去対象画素であるか否かを判定する。ただし、ジャギー除去対象画素検出手段１０ａは、注目画素がジャギー除去対象画素であると判定した局所領域に関して、さらに、所定の条件を満たしているか否かを判断することによって、ジャギーの除去対象とする画素としてより適切な注目画素を絞り込む。すなわち、第２の実施形態のジャギー除去対象画素検出手段１０ａは、第１の実施形態と同様の方法でジャギー除去対象画素であると判定した注目画素に対して、さらに所定の条件を満たしているか否かを判定して、ジャギー除去対象画素を絞り込む。この条件に関しては、後述する。
　ジャギー除去対象画素検出手段１０ａは、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３と、対象画素詳細判定手段１４とを含む。輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３の動作は、第１の実施形態におけるそれらの動作と同様であり、説明を省略する。
　対象画素詳細判定手段１４は、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域に関して、以下の処理を行う。対象画素詳細判定手段１４は、その局所領域内の画素であって、その局所領域の中心に位置する注目画素から、固有ベクトルｖ２の方向に並ぶ画素、および固有ベクトルｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングする（抽出する）。対象画素詳細判定手段１４は、例えば、ＦＦＴ（Fast Fourier Transform，高速フーリエ変換）をその各画素値に行うことによって、その画素値を周波数空間に変換する。対象画素詳細判定手段１４は、サンプリングした画素値を周波数空間に変換したときに、ある周波数で閾値以上の強度が得られているか否かを判定する。そして、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域のうち、ある周波数で閾値以上の強度が得られているという上記の条件を満たしている局所領域の注目画素をジャギー除去対象画素として確定する。一方、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域であっても、ある周波数で閾値以上の強度が得られているという上記の条件を満たしていない場合には、対象画素判定手段１３によってジャギー除去対象画素であると判定された注目画素を、ジャギー除去対象画素から外す。以上の処理によって、対象画素詳細判定手段１４は、対象画素判定手段１３によってジャギー除去対象画素であると判定された注目画素を絞り込む。
　上記のような対象画素詳細判定手段１４の処理によって、より適切なジャギー除去対象画素を選択できる。この理由について説明する。図１０は、ジャギーが生じている局所領域と、その局所領域における固有ベクトルｖ２およびその逆ベクトルとを示す模式図である。固有ベクトルｖ２は、局所領域内で支配的な輝度勾配方向を表す固有ベクトルｖ１（図１０において図示略）に垂直である。従って、図１０に示すように、ジャギーが生じている局所領域において、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群では、画素の並び順に画素値の高低が繰り返される。図１１は、注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群における画素値の変化を示す模式図である。図１１に示す横軸は、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の並び順を表している。そして、横軸の中心は注目画素に該当し、横軸の右向きの方向が固有ベクトルｖ２の方向への並びを表している。また、図１１に示す縦軸は画素値を表している。図１１に示すように、注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の並び順に、画素値は、高くなったり低くなったりすることを繰り返す。
　このように注目画素から、固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングし、その画素値に対して例えばＦＦＴを行って、周波数空間に変換した場合における、周波数と強度の関係を図１２に示す。ジャギーが生じている局所領域から上記のようにサンプリングした画素の画素値は、図１１に示すように高低を繰り返す。従って、周波数空間では、図１２に示すように、ある周波数で強度が高くなる。従って、ある周波数で強度が高くなっているということは、局所領域の注目画素から固有ベクトルｖ２の方向およびｖ２の逆ベクトルの方向に並ぶ画素群において、画素値が高くなったり低くなったりすることを繰り返すというジャギーの特徴が現れていると言うことができる。よって、ある周波数の強度が閾値以上であるという条件を満たしている場合、その局所領域の注目座標は、ジャギー除去対象画素としてより適切であるということができる。なお、上記の条件における「ある周波数」とは、任意の周波数であってもよい。あるいは、固有ベクトルｖ２の方向をθとしたときにおけるｔａｎθの整数倍であってもよい。すなわち、例えばＦＦＴによる変換後において、任意の周波数で強度が閾値以上であるという条件を満たしている場合、対象画素詳細判定手段１４は、その局所領域の注目座標がジャギー除去対象画素であると確定してもよい。また、ｔａｎθの整数倍の周波数において強度が閾値以上であるという条件を満たしている場合、対象画素詳細判定手段１４は、その局所領域の注目座標がジャギー除去対象画素であると確定してもよい。
　ジャギー除去手段２０は、基底フィルタ演算手段２１と、フィルタ重み計算手段２２と、重み付き平均計算手段２３とを含む。ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）の構成や動作は、第１の実施形態におけるそれらの構成や動作と同様である。ただし、第２の実施形態では、ジャギー除去手段２０は、対象画素詳細判定手段１４によって注目座標がジャギー除去対象画素であると確定された局所領域を対象に処理を行う。対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域であっても、対象画素詳細判定手段１４によって注目座標がジャギー除去対象画素であると確定されなかった場合には、ジャギー除去手段２０の処理の対象外とする。
　第２の実施形態において、ジャギー除去対象画素検出手段１０ａ（輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４）と、ジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。この場合、コンピュータが、コンピュータが画像処理用プログラムを読み込み、そのプログラムに従って、ジャギー除去対象画素検出手段１０ａ（輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４）、およびジャギー除去手段２０（基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３）として動作すればよい。
　また、ジャギー除去対象画素検出手段１０ａとジャギー除去手段２０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２、対象画素判定手段１３および対象画素詳細判定手段１４が別々のユニットで実現されていてもよい。また、基底フィルタ演算手段２１、フィルタ重み計算手段２２および重み付き平均計算手段２３も別々のユニットで実現されていてもよい。
　図１３は、第２の実施形態の画像処理システムの処理経過の例を示すフローチャートである。第１の実施形態における処理と同様の処理に関しては、図７と同一の符号を付し、説明を省略する。ステップＳ１～Ｓ３の処理は、第１の実施形態におけるステップＳ１～Ｓ３の処理と同様である。
　ステップＳ３の後、対象画素詳細判定手段１４は、対象画素判定手段１３によって注目画素がジャギー除去対象画素であると判定された局所領域に関して、その注目画素がジャギー除去対象画素として適切であるか否かをより詳細に判定する（ステップＳ２１）。すなわち、対象画素詳細判定手段１４は、ステップＳ３で注目画素がジャギー除去対象画素であると判定された局所領域に関して、その局所領域内の画素であって、その局所領域の中心に位置する注目画素から、固有ベクトルｖ２の方向に並ぶ画素、および固有ベクトルｖ２の逆ベクトルの方向に並ぶ画素の画素値をサンプリングする。なお、固有ベクトルｖ２は、ステップＳ２で算出済みである。対象画素詳細判定手段１４は、サンプリングした画素値に対して、例えば、ＦＦＴを行うことによって、それらの画素値を周波数空間に変換する。そして、対象画素詳細判定手段１４は、ある周波数（例えば、任意の周波数、あるいは、ｔａｎθの整数倍の周波数）における強度が閾値以上であるか否かを判定し、その周波数における強度が閾値以上であれば、ステップＳ３でジャギー除去対象画素と判定された注目画素を、ジャギー除去対象画素として確定する。一方、ある周波数における強度が閾値未満であれば、ステップＳ３で注目画素がジャギー除去対象画素であると判定された局所領域であっても、ステップＳ４以降の処理の対象外とする。
　そして、第２の実施形態では、ステップＳ２１で注目画素がジャギー除去対象画素として確定した局所領域に対して、ジャギー除去手段２０が、ステップＳ４～Ｓ６の処理を行う。
　上記の説明のように、ステップＳ３の後、対象画素詳細判定手段１４がステップＳ２１を行い、ステップＳ４～Ｓ６の処理対象を絞り込む点が第１の実施形態とは異なる。他の点に関しては、第１の実施形態と同様である。
　第１の実施形態では、局所領域内で均一な輝度勾配が存在するかどうかという観点で、注目画素がジャギー除去対象画素であるか否かを判定していた。第２の実施形態では、さらに、局所領域内において、注目画素から固有ベクトルｖ２方向や、ベクトルｖ２の逆ベクトル方向に並ぶ画素の画素値の変化が、ジャギーの特徴に該当するか否かという判断基準も加えて、注目画素がジャギー除去対象画素としてより適切か否かを判定して、より適切と判定される注目画素をジャギー除去対象画素として確定する。そして、その注目画素を有する局所領域を対象にステップＳ４～Ｓ６を行う。従って、第２の実施形態では、第１の実施形態と同様の効果に加えて、ジャギー除去対象画素をより適切に検出することができるという効果も得ることができる。
実施形態３．
　図１４は、本発明の第３の実施形態の画像処理システムを示すブロック図である。図１に示す要素と同様の要素に関しては、図１と同一の符号を付し説明を省略する。
　第３の実施形態においても、例えば、画像処理システムには、処理対象画像が入力され、画像処理システムは、その処理対象の画像を複製したものを修正画像の初期状態としてメモリ（図示略）に記憶させておく。そして、画像処理システムは、処理対象画像においてジャギー除去対象画素と判定された画素に対応する修正画像内の画素の画素値を定めていく。
　第３の実施形態の画像処理システム５０は、ジャギー除去対象画素検出手段１０と、ジャギー除去手段６０とを備える。
　ジャギー除去対象画素検出手段１０は、輝度勾配算出手段１１と、主成分分析手段１２と、対象画素判定手段１３とを含む。ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）に関しては、本発明の実施形態と同様であり、説明を省略する。なお、図２に示す構成と同様に、局所領域切り出し手段３０が設けられていてもよい。
　第３の実施形態において、ジャギー除去手段６０は、注目画素がジャギー除去対象画素であると判定された場合に、その注目画素を中心とする局所領域に関して算出された固有値および固有ベクトルに基づいて、その注目画素に対するジャギー除去用フィルタを適応的に生成する。そして、ジャギー除去手段６０は、その局所領域に対してそのジャギー除去用フィルタを適用する。そして、ジャギー除去手段６０は、そのフィルタリング結果を、ジャギー除去対象画素であると判定された画素に対応する修正画像内の画素の画素値として決定する。そして、修正画像内におけるその画素の画素値を、フィルタリング結果の値で更新する。
　ジャギー除去手段６０は、フィルタ係数算出手段６１と、フィルタ演算手段６２とを含む。
　フィルタ係数算出手段６１は、注目画素がジャギー除去対象画素であると判定された場合に、その注目画素を中心とする局所領域に関して算出された固有ベクトルｖ１方向にはぼけが小さく、ｖ１に直交する方向（すなわち固有ベクトルｖ２方向）にはぼけが大きくなるぼかしフィルタのフィルタ係数を算出する。すなわち、このフィルタでは、固有ベクトルｖ２方向のぼけの程度が、固有ベクトルｖ１方向のぼけの程度よりも大きい。
　フィルタ適用手段６２は、その局所領域に対して、フィルタ係数算出手段６１が定めたフィルタ係数で定義されるぼかしフィルタを適用することによって、フィルタリング結果を算出する。そして、ジャギー除去対象画素であると判定された注目画素に対応する修正画像内の画素の画素値を、そのフィルタリング結果の値に更新する。
　ジャギー除去対象画素検出手段１０（輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３）と、ジャギー除去手段６０（フィルタ係数算出手段６１およびフィルタ演算手段６２）は、例えば、画像処理用プログラムに従って動作するコンピュータにより実現される。
　また、ジャギー除去対象画素検出手段１０とジャギー除去手段６０が別々のユニットで実現されていてもよい。さらに、輝度勾配算出手段１１、主成分分析手段１２および対象画素判定手段１３が別々のユニットで実現されていてもよく、また、フィルタ係数算出手段６１およびフィルタ演算手段６２が別々のユニットで実現されていてもよい。
　図１５は、第３の実施形態の画像処理システムの処理経過の例を示すフローチャートである。ステップＳ１～Ｓ３までの処理は、本発明の実施形態におけるステップＳ１～Ｓ３（図７参照）と同様であり、説明を省略する。
　ステップＳ１～Ｓ３の処理の結果、注目画素がジャギー除去対象画素ではないと判定された場合、画像処理システム５０は、現在処理対象としている局所領域に関する処理を終了し、次の局所領域に関する処理を開始する。一方、注目画素がジャギー除去対象画素であると判定された場合、ジャギー除去手段６０は、現在処理対象としている局所領域について、ステップＳ１１，Ｓ１２の処理を行う。
　フィルタ係数算出手段６１は、ジャギー除去対象画素であると判定された注目画素を中心とする局所領域についてステップＳ２で算出された固有値および固有ベクトルを用いて、ジャギー除去用フィルタを生成する。具体的には、フィルタ係数算出手段６１は、固有ベクトルｖ１方向にはぼけが小さく、固有ベクトルｖ２方向にはぼけが大きくなるようなぼかしフィルタのフィルタ係数を算出する（ステップＳ１１）。ジャギー除去用フィルタの種類として、例えば、ガウシアンフィルタ等が挙げられるが、ガウシアンフィルタ以外のフィルタであってもよい。
　図１６は、ガウシアンフィルタを模式的に示した図である。図１６では、明るい箇所ほど高い重みを持つ（換言すれば、フィルタ係数の値が大きい）。また、図１６では、図８（ａ）に示す領域２０１に対応するガウシアンフィルタを例にしている。図１６に示す長軸４０１は、固有ベクトルｖ２（図８（ａ）参照）の方向である。また、短軸４０２は、固有ベクトルｖ１（図８（ａ）参照）の方向である。フィルタ係数算出手段６１は、各軸方向の分散σ１，σ２をそれぞれ固有値λ１，λ２に比例する値として予め設定しておく。本例では、σ１，σ２は可変であるとしたが、σ１，σ２を固定値としてもよい。例えば、σ１＝２．０，σ２＝１．０等のように、σ１，σ２を固定値として定めて置いてもよい。
　ステップＳ１１の後、フィルタ演算手段６２は、ジャギー除去対象画素であると判定された注目画素を中心とする局所領域に、ステップＳ１１で定められたジャギー除去用フィルタを適用し、フィルタリング結果を求める。すなわち、局所領域内の画素の画素値にその画素に対応するフィルタの係数を乗じる処理を局所領域内の各画素について行い、その乗算結果の和を算出する。そして、フィルタ演算手段６２は、その注目画素に対応する修正画像内の画素の画素値を、フィルタリング結果の値に更新する（ステップＳ１２）。
　上記の第３の実施形態によれば、ジャギーパターンやジャギー修正用パターンを予め用意しておく必要がないため、種々の画像に関してジャギー除去を実現することができる。例えば、二値画像に限らず、グレースケール画像やカラー画像におけるジャギーを除去することができる。また、未知のスケーラによってアップスケールされた画像内に生じたジャギーも除去することができる。
　第３の実施形態において、ジャギー除去対象画素検出手段１０に対象画素詳細判定手段１４（図９参照）を含める構成としてもよい。すなわち、ジャギー除去対象画素検出手段として、第２の実施形態で説明した対象画素詳細判定手段１４（図９参照）を用いてもよい。この場合、第２の実施の形態と同様に、ステップＳ３の後にステップＳ２１（図１３参照）を実行すればよい。そして、対象画素判定手段１３によって中心画素がジャギー除去対象画素であると判定され、かつ、対象画素詳細判定手段１４によって条件（第２の実施形態で示した条件）が満たされていると判定された局所領域に適用するぼかしフィルタの係数を、フィルタ係数算出手段６１がステップＳ１１で算出すればよい。さらに、フィルタ演算手段が、その局所領域に対してそのぼかしフィルタを適用してステップＳ１２を実行すればよい。このような構成により、ジャギー除去対象画素をより適切に検出することができるという効果も得ることができる。
　次に、本発明の最小構成について説明する。図１７は、本発明の最小構成の例を示すブロック図である。本発明の画像処理システムは、輝度勾配算出手段８１と、主成分分析手段８２と、対象画素判定手段８３と、基底フィルタ演算手段８４と、重み算出手段８５と、フィルタリング結果重み演算手段８６とを備える。
　輝度勾配算出手段８１（例えば、輝度勾配算出手段１１）は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する。
　主成分分析手段８２（例えば、主成分分析手段１２）は、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する。
　対象画素判定手段８３（例えば、対象画素判定手段１３）は、局所領域の中心画素における輝度勾配および主成分分析手段８２に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する。
　基底フィルタ演算手段８４（例えば、基底フィルタ演算手段２１）は、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、その局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する。
　重み算出手段８５（例えば、フィルタ重み計算手段２２）は、複数種類の基底フィルタに対する重みを、主成分分析手段８２に計算された特徴量に基づいて計算する。
　フィルタリング結果重み演算手段８６（例えば、重み付き平均計算手段２３）は、局所領域に対して複数種類の基底フィルタをそれぞれ適用した結果と、複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する。
　以上のような構成により、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、高速にジャギーを除去することができる。
　また、主成分分析手段８２が、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトル（例えば、ｖ１）と、第１の固有ベクトルに垂直な第２の固有ベクトル（例えば、ｖ２）とを計算し、対象画素判定手段８３によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段（例えば、対象画素詳細判定手段１４）を備え、基底フィルタ演算手段８４が、対象画素判定手段８３によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する構成であってもよい。
　図１８は、本発明の最小構成の他の例を示すブロック図である。本発明の画像処理システムは、図１８に示すように、輝度勾配算出手段９１と、主成分分析手段９２と、対象画素判定手段９３と、フィルタ係数算出手段９４と、フィルタ演算手段９５とを備える構成であってもよい。
　輝度勾配算出手段９１（例えば、輝度勾配算出手段１１）は、処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する。
　主成分分析手段９２（例えば、主成分分析手段１２）は、局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトル（例えば、ｖ１）と、第１の固有ベクトルに垂直な第２の固有ベクトル（例えば、ｖ２）とを計算する。
　対象画素判定手段９３（例えば、対象画素判定手段１３）は、局所領域の中心画素における輝度勾配および主成分分析手段９２に計算された特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する。
　フィルタ係数算出手段９４（例えば、フィルタ係数算出手段６１）は、局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出する。
　フィルタ演算手段９５（例えば、フィルタ演算手段６２）は、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対してぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する。
　以上のような構成により、二値画像に限らず、グレースケール画像やカラー画像、あるいは、未知のスケーラでアップスケールされた画像等に関して、ジャギーを除去することができる。
　また、対象画素判定手段９３によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段（例えば、対象画素詳細判定手段１４）を備え、フィルタ係数算出手段９４が、対象画素判定手段９３によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によってその条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、フィルタ演算手段９５が、その局所領域に対してそのぼかしフィルタを適用することによって、修正画像における、その局所領域の中心画素に対応する画素の画素値を決定する構成であってもよい。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出部と、前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析部と、前記局所領域の中心画素における輝度勾配および主成分分析部に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定部と、前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算部と、前記複数種類の基底フィルタに対する重みを、主成分分析部に計算された前記特徴量に基づいて計算する重み算出部と、前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算部とを備えることを特徴とする画像処理システム。
（付記２）主成分分析部は、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定部を備え、基底フィルタ演算部は、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定部によって前記条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する付記１に記載の画像処理システム。
（付記３）処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出部と、前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析部と、前記局所領域の中心画素における輝度勾配および主成分分析部に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定部と、前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出部と、中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算部とを備えることを特徴とする画像処理システム。
（付記４）対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定部を備え、フィルタ係数算出部は、対象画素判定部によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定部によって前記条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、フィルタ演算部は、前記局所領域に対して前記ぼかしフィルタを適用することによって、修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する付記３に記載の画像処理システム。
　この出願は、２０１１年１月２０日に出願された日本特許出願２０１１－００９８３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、画像内のジャギーを除去する画像処理システムに好適に適用される。
　１　画像処理システム
　１０　ジャギー除去対象画素検出手段
　１１　輝度勾配算出手段
　１２　主成分分析手段
　１３　対象画素判定手段
　１４　対象画素詳細判定手段
　２０　ジャギー除去手段
　２１　基底フィルタ演算手段
　２２　フィルタ重み計算手段
　２３　重み付き平均計算手段

Claims (8)

  1. 　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析手段と、
    　前記局所領域の中心画素における輝度勾配および主成分分析手段に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算手段と、
    　前記複数種類の基底フィルタに対する重みを、主成分分析手段に計算された前記特徴量に基づいて計算する重み算出手段と、
    　前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算手段とを備える
    　ことを特徴とする画像処理システム。
  2. 　主成分分析手段は、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、
    　対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段を備え、
    　基底フィルタ演算手段は、対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって前記条件が満たされていると判定された局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する
    　請求項１に記載の画像処理システム。
  3. 　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出手段と、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析手段と、
    　前記局所領域の中心画素における輝度勾配および主成分分析手段に計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定手段と、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出手段と、
    　中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算手段とを備える
    　ことを特徴とする画像処理システム。
  4. 　対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して、当該中心画素から前記第２の固有ベクトル方向に並ぶ画素、および、当該中心画素から前記第２の固有ベクトルの逆ベクトル方向に並ぶ画素に関して、輝度値が高くなったり低くなったりすることを繰り返すことを表す条件が満たされているか否かを判定する対象画素詳細判定手段を備え、
    　フィルタ係数算出手段は、対象画素判定手段によって中心画素がジャギーの除去対象となる画素であると判定され、かつ、対象画素詳細判定手段によって前記条件が満たされていると判定された局所領域に適用するフィルタの係数として、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、
    　フィルタ演算手段は、前記局所領域に対して前記ぼかしフィルタを適用することによって、修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
    　請求項３に記載の画像処理システム。
  5. 　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算し、
    　前記局所領域の中心画素における輝度勾配および前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用し、
    　前記複数種類の基底フィルタに対する重みを前記特徴量に基づいて計算し、
    　前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
    　ことを特徴とする画像処理方法。
  6. 　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出し、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算し、
    　前記局所領域の中心画素における輝度勾配および前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定し、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定した場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出し、
    　中心画素がジャギーの除去対象となる画素であると判定した局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定する
    　ことを特徴とする画像処理方法。
  7. 　コンピュータに、
    　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量を計算する主成分分析処理、
    　前記局所領域の中心画素における輝度勾配および主成分分析処理で計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、前記局所領域に対して、予め定められた複数種類の基底フィルタをそれぞれ適用する基底フィルタ演算処理、
    　前記複数種類の基底フィルタに対する重みを、主成分分析処理で計算された前記特徴量に基づいて計算する重み算出処理、および、
    　前記局所領域に対して前記複数種類の基底フィルタをそれぞれ適用した結果と、前記複数種類の基底フィルタに対する重みに基づいて、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタリング結果重み演算処理
    　を実行させるための画像処理用プログラム。
  8. 　コンピュータに、
    　処理対象画像から切り出された局所領域内の各画素における輝度勾配を算出する輝度勾配算出処理、
    　前記局所領域内の各画素における輝度勾配に対して主成分分析を行い、輝度勾配の分布を表す特徴量として、局所領域内で支配的な輝度勾配方向を表す第１の固有ベクトルと、第１の固有ベクトルに垂直な第２の固有ベクトルとを計算する主成分分析処理、
    　前記局所領域の中心画素における輝度勾配および主成分分析処理で計算された前記特徴量に基づいて、当該中心画素が、ジャギーの除去対象となる画素であるか否かを判定する対象画素判定処理、
    　前記局所領域の中心画素がジャギーの除去対象となる画素であると判定された場合に、第２の固有ベクトル方向のぼけの程度が第１の固有ベクトル方向のぼけの程度よりも大きくなるぼかしフィルタの係数を算出するフィルタ係数算出処理、および、
    　中心画素がジャギーの除去対象となる画素であると判定された局所領域に対して前記ぼかしフィルタを適用することによって、処理対象画像を修正した画像として作成される修正画像における、前記局所領域の中心画素に対応する画素の画素値を決定するフィルタ演算処理
    　を実行させるための画像処理用プログラム。
PCT/JP2012/000220 2011-01-20 2012-01-16 画像処理システム、画像処理方法および画像処理用プログラム WO2012098854A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012800039369A CN103229208A (zh) 2011-01-20 2012-01-16 图像处理系统、图像处理方法和图像处理程序
US13/881,303 US9324135B2 (en) 2011-01-20 2012-01-16 Image processing system, image processing method, and image processing program
JP2012553610A JPWO2012098854A1 (ja) 2011-01-20 2012-01-16 画像処理システム、画像処理方法および画像処理用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011009837 2011-01-20
JP2011-009837 2011-01-20

Publications (1)

Publication Number Publication Date
WO2012098854A1 true WO2012098854A1 (ja) 2012-07-26

Family

ID=46515490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000220 WO2012098854A1 (ja) 2011-01-20 2012-01-16 画像処理システム、画像処理方法および画像処理用プログラム

Country Status (4)

Country Link
US (1) US9324135B2 (ja)
JP (1) JPWO2012098854A1 (ja)
CN (1) CN103229208A (ja)
WO (1) WO2012098854A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126153A1 (ja) * 2013-02-18 2014-08-21 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
CN113850732A (zh) * 2021-08-10 2021-12-28 深圳曦华科技有限公司 一种局部图像处理方法、装置、电子设备及存储介质
US11753616B2 (en) 2014-05-27 2023-09-12 DNA Genotek, Inc. Composition and method for stabilizing and maintaining the viability of hardy microorganisms

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208553A (ja) * 2011-03-29 2012-10-25 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9654742B2 (en) * 2012-11-30 2017-05-16 Safety Management Services, Inc. System and method of automatically determining material reaction or sensitivity using images
JP6704726B2 (ja) * 2015-12-21 2020-06-03 キヤノン株式会社 エッジ検出装置、エッジ検出方法、及び、プログラム
KR101862490B1 (ko) * 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
CN110660122A (zh) * 2019-09-19 2020-01-07 西北工业大学 一种基于pca的体绘制多光源设计方法
CN111476729B (zh) * 2020-03-31 2023-06-09 北京三快在线科技有限公司 一种目标识别的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223180A (ja) * 1993-01-22 1994-08-12 Sony Corp 画像データ分析方法およびその装置
JP2000293677A (ja) * 1998-10-13 2000-10-20 Seiko Epson Corp 画像データのエッジ方向検出方法、画像データ補間方法、画像データのエッジ方向検出装置、画像データ補間装置、画像データのエッジ方向検出プログラムを記録した媒体および画像データ補間プログラムを記録した媒体
JP2006221403A (ja) * 2005-02-10 2006-08-24 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008167027A (ja) * 2006-12-27 2008-07-17 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2009237650A (ja) * 2008-03-26 2009-10-15 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09270915A (ja) 1996-03-29 1997-10-14 Fujitsu Ltd 画像処理方法及び画像処理装置
KR100234316B1 (ko) * 1997-04-04 1999-12-15 윤종용 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터
US6792159B1 (en) * 1999-12-29 2004-09-14 Ge Medical Systems Global Technology Company, Llc Correction of defective pixels in a detector using temporal gradients
US6707940B1 (en) * 2000-03-31 2004-03-16 Intel Corporation Method and apparatus for image segmentation
CN1160669C (zh) * 2001-03-26 2004-08-04 矽统科技股份有限公司 消除图像锯齿效应的后置滤波方法
KR100555868B1 (ko) * 2004-06-09 2006-03-03 삼성전자주식회사 아티팩트 처리 장치 및 방법
JP4710635B2 (ja) * 2006-02-07 2011-06-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
KR101298642B1 (ko) * 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
JP2009010880A (ja) 2007-06-29 2009-01-15 Ricoh Co Ltd 画像処理方法、画像処理装置およびプログラム
JP5075861B2 (ja) * 2009-03-16 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
TW201134195A (en) * 2010-03-29 2011-10-01 Novatek Microelectronics Corp Method and device for adaptively removing noises from image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223180A (ja) * 1993-01-22 1994-08-12 Sony Corp 画像データ分析方法およびその装置
JP2000293677A (ja) * 1998-10-13 2000-10-20 Seiko Epson Corp 画像データのエッジ方向検出方法、画像データ補間方法、画像データのエッジ方向検出装置、画像データ補間装置、画像データのエッジ方向検出プログラムを記録した媒体および画像データ補間プログラムを記録した媒体
JP2006221403A (ja) * 2005-02-10 2006-08-24 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008167027A (ja) * 2006-12-27 2008-07-17 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2009237650A (ja) * 2008-03-26 2009-10-15 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126153A1 (ja) * 2013-02-18 2014-08-21 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
US9514383B2 (en) 2013-02-18 2016-12-06 Nec Corporation Image processing method, image processing device, and recording medium
JPWO2014126153A1 (ja) * 2013-02-18 2017-02-02 日本電気株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
US9792523B2 (en) 2013-02-18 2017-10-17 Nec Corporation Image processing method, image processing device, and recording medium
US11753616B2 (en) 2014-05-27 2023-09-12 DNA Genotek, Inc. Composition and method for stabilizing and maintaining the viability of hardy microorganisms
CN113850732A (zh) * 2021-08-10 2021-12-28 深圳曦华科技有限公司 一种局部图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20130223756A1 (en) 2013-08-29
CN103229208A (zh) 2013-07-31
US9324135B2 (en) 2016-04-26
JPWO2012098854A1 (ja) 2014-06-09

Similar Documents

Publication Publication Date Title
WO2012098854A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラム
EP2237218A1 (en) Image processing device, image processing method, image decompressing device, image compressing device, image transmission system, and storage medium
JP5115361B2 (ja) 画素補間装置、画素補間方法および画素補間プログラム
EP2188774B1 (en) System and method for scaling images
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
JP2005332383A (ja) 画像処理方法および装置並びにプログラム
JP2010157163A (ja) 画像処理方法および画像処理装置
CN111415317B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN109214996B (zh) 一种图像处理方法及装置
JP2010193199A (ja) 画像処理装置および画像処理方法
US11205272B2 (en) Information processing apparatus, robot system, information processing method and program
CN108765312B (zh) 一种基于方差信息的图像去噪方法
JP2011095861A5 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105574823B (zh) 一种失焦模糊图像的去模糊方法和装置
KR101070521B1 (ko) 디지털 화상을 컨텐츠 적응형 디테일 필터링하는 방법 및 장치
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
JP2011022868A (ja) 画像処理装置およびその方法
JP2017076240A (ja) 画像処理装置、画像処理方法、およびプログラム
CN114662519B (zh) 基于位置探测图形梯度和强度先验的qr码盲去模糊方法
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP4104475B2 (ja) 輪郭補正装置
CN106488079B (zh) 一种视频去噪的方法及装置
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736822

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012553610

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13881303

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12736822

Country of ref document: EP

Kind code of ref document: A1