WO2013005357A1 - エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法 - Google Patents

エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法 Download PDF

Info

Publication number
WO2013005357A1
WO2013005357A1 PCT/JP2012/001883 JP2012001883W WO2013005357A1 WO 2013005357 A1 WO2013005357 A1 WO 2013005357A1 JP 2012001883 W JP2012001883 W JP 2012001883W WO 2013005357 A1 WO2013005357 A1 WO 2013005357A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
edge
filter
value
pixels
Prior art date
Application number
PCT/JP2012/001883
Other languages
English (en)
French (fr)
Inventor
石川　雄一
山本　純也
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013005357A1 publication Critical patent/WO2013005357A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to a technique for detecting a line segment (edge) included in an image and smoothly correcting an edge in the detected direction.
  • the present invention has been made in view of the above problems, and an edge direction detection device that accurately detects the direction of an edge included in an image, and an edge correction device that visually and smoothly corrects an edge in the detected direction.
  • the purpose is to provide.
  • An edge direction detection device detects the direction of an edge included in an image. Specifically, for each of four directions that pass through the target pixel included in the image and are arranged at equal intervals, a contour line in the image is added to the pixel values of a plurality of pixels located in the direction.
  • a first filter unit that applies a first filter process that extracts a value of a constituent frequency component, and a direction that is orthogonal to the direction in which the value extracted by the first filter process is maximized is determined as an edge direction.
  • An edge direction determination unit sets the first pixel value to the pixel value of the target pixel and peripheral pixels that are separated from the target pixel by two or more pixels on one side and the other side of the direction in each of the four directions. Apply the filtering process.
  • the edge direction detection accuracy is improved by performing the detection of the edge direction using the peripheral pixels that are separated from the target pixel as compared with the case of using the peripheral pixels adjacent to the target pixel.
  • This edge direction detection device has a particularly advantageous effect when detecting the edge direction of an enlarged image, but is not limited thereto.
  • the edge direction determination unit may determine that no edge exists in the two directions when the difference between the values of the two adjacent directions extracted by the first filter processing is equal to or less than a threshold value.
  • the case where the difference between the values in two adjacent directions is equal to or less than the threshold value is a case where the detected point is not an edge (line) but a dot (point). Therefore, in such a case, it is desirable to determine that no edge exists in the two directions even if the value in either of the two directions is the maximum value.
  • pixel values of pixels adjacent to the peripheral pixel in a direction perpendicular to the direction are used as pixel values of the peripheral pixels located in the direction.
  • a process of applying a low-pass filter, and a process of applying a high-pass filter using pixel values of the peripheral pixels located in the direction in which the low-pass filter is applied to the pixel value of the target pixel may be included.
  • the edge direction can be detected with higher accuracy by applying the low-pass filter to the peripheral pixels used in the high-pass filter and removing the noise in advance.
  • the edge direction detection device has, in each of the four directions, a pixel value of the target pixel and a peripheral pixel that is one pixel away from the target pixel on each of one side and the other side in the direction.
  • You may provide the 2nd filter part which applies the 2nd filter process which extracts the value of the frequency component which comprises an outline.
  • the edge direction determination unit when the direction in which the value extracted by the first filter processing is maximum matches the direction in which the value extracted by the second filter processing is maximum, A direction orthogonal to the direction may be determined as the edge direction.
  • the edge direction detection accuracy is further improved by determining that the direction is the edge direction.
  • pixel values of pixels adjacent to the peripheral pixels in a direction orthogonal to the direction are used as pixel values of the peripheral pixels located in the directions.
  • a process of applying a low-pass filter, and a process of applying a high-pass filter using pixel values of the peripheral pixels located in the direction in which the low-pass filter is applied to the pixel value of the target pixel may be included.
  • An edge correction apparatus corrects an edge included in an image. Specifically, for each of four directions that pass through the target pixel included in the image and are arranged at equal intervals, a contour line in the image is added to the pixel values of a plurality of pixels located in the direction.
  • a first filter unit that applies a first filter process that extracts a value of a constituent frequency component, and a direction that is orthogonal to the direction in which the value extracted by the first filter process is maximized is determined as an edge direction.
  • An edge direction determination unit; and an edge correction unit that applies a low-pass filter to the pixel value of the target pixel using pixel values of peripheral pixels adjacent to the target pixel in the edge direction.
  • the first filter unit is configured to set the first pixel value to the pixel value of the target pixel and peripheral pixels that are separated from the target pixel by two or more pixels on each of one side and the other side in the direction in each of the four directions. Apply filtering.
  • the edge correction unit may weaken the filter strength of the low-pass filter as the maximum value extracted in the first filter processing is larger.
  • the edge correction device is configured so that, for each of the four directions, the contour line in the image is set to the pixel value of the target pixel and a peripheral pixel that is one pixel away from the target pixel on each of the one side and the other side in the direction.
  • the edge direction determination unit when the direction in which the value extracted by the first filter processing is maximum matches the direction in which the value extracted by the second filter processing is maximum, A direction orthogonal to the direction may be determined as the edge direction.
  • the edge correction unit may weaken the filter strength of the low-pass filter as the maximum value extracted in the second filter process is larger. Thereby, the boundary between the pixel to which the edge correction process is applied and the pixel to which the edge correction process is not applied can be made inconspicuous.
  • the edge direction detection method is a method for detecting the direction of an edge included in an image. Specifically, for each of four directions that pass through the target pixel included in the image and are arranged at equal intervals, a contour line in the image is added to the pixel values of a plurality of pixels located in the direction.
  • a first filter step that applies a first filter process that extracts a value of a constituent frequency component, and a direction that is orthogonal to the direction in which the value extracted by the first filter process is maximized is determined as an edge direction.
  • An edge direction determination step In the first filter step, the pixel values of the target pixel and peripheral pixels that are separated from the target pixel by two or more pixels on each of one side and the other side of the direction in each of the four directions are set to the first filter step. Apply the filtering process.
  • the edge correction method is a method for correcting an edge included in an image. Specifically, for each of four directions that pass through the target pixel included in the image and are arranged at equal intervals, a contour line in the image is added to the pixel values of a plurality of pixels located in the direction.
  • a first filter step that applies a first filter process that extracts a value of a constituent frequency component, and a direction that is orthogonal to the direction in which the value extracted by the first filter process is maximized is determined as an edge direction.
  • the pixel values of the target pixel and peripheral pixels that are separated from the target pixel by two or more pixels on each of the one side and the other side of the direction in each of the four directions are set to the first filter step. Apply filtering.
  • edge direction detection is performed using peripheral pixels that are separated from the target pixel, thereby improving the detection accuracy in the edge direction as compared with the case where peripheral pixels adjacent to the target pixel are used. To do.
  • FIG. 1 is a block diagram of an edge correction apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of a detailed configuration of the pixel delay unit.
  • FIG. 3 is a flowchart of edge correction processing according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram illustrating an arrangement of pixels used for edge correction processing.
  • FIG. 5 is a diagram illustrating pixels used in the LPF process in step S11.
  • FIG. 6 is a diagram illustrating the result of the LPF process in step S11.
  • FIG. 7 is a diagram illustrating pixels used in the HPF process in step S12.
  • FIG. 8 is a diagram illustrating pixels used in the edge correction process in step S14.
  • FIG. 9 is a block diagram of an edge correction apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a flowchart of edge correction processing according to Embodiment 2 of the present invention.
  • FIG. 11 is a diagram illustrating pixels used in the LPF process in step S21.
  • FIG. 12 is a diagram illustrating the result of the LPF process in step S21.
  • FIG. 13 is a diagram illustrating pixels used in the HPF process in step S22.
  • FIG. 1 is a block diagram of an edge correction apparatus 1000 according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of the pixel delay unit 1310.
  • the edge correction apparatus 1000 is an apparatus that detects the direction of an edge included in an image and smoothly corrects the edge in the detected direction. As shown in FIG. 1, an edge direction detection unit 1100, an edge correction unit 1200, and a pixel data supply unit 1300 are mainly provided.
  • the edge direction detection unit 1100 detects the direction of the edge included in the image. More specifically, the edge direction detection unit 1100 passes through an arbitrary pixel (hereinafter referred to as “target pixel”) included in the image and determines whether an edge exists in a predetermined direction. To detect. In the present embodiment, four directions, a horizontal direction, a vertical direction, a right diagonal direction (a direction extending from the upper right to the lower left of the image), and a left diagonal direction (a direction extending from the upper left of the image to the lower right) are predetermined. It is defined as the direction. And in order to perform said process, the edge direction detection part 1100 is provided with the 1st filter part 1110 and the edge direction determination part 1120. FIG.
  • the first filter unit 1110 applies the first filter processing to the pixel values of a plurality of pixels located in the four directions for each of the four directions.
  • the first filtering process is a process for extracting the value of the frequency component constituting the contour line (edge) in the image.
  • the plurality of pixels to be subjected to the first filter processing refers to the target pixel and peripheral pixels that are separated from the target pixel by two pixels or more on one side and the other side in the direction in which the first filter processing is applied. .
  • the pixel values of the neighboring pixels in the direction orthogonal to the peripheral pixel and the direction are used for the pixel values of the peripheral pixels located in the four directions in the first filtering process.
  • the edge direction determination unit 1120 determines the direction orthogonal to the direction in which the value extracted by the first filter processing is maximized as the edge direction. On the other hand, the edge direction determination unit 1120 determines that there is no edge in the two directions when the difference between the values in the two adjacent directions extracted by the first filter processing is equal to or smaller than the threshold value.
  • the edge correction unit 1200 smoothly corrects the edge in the direction determined by the edge direction determination unit 1120. Specifically, the edge correction unit 1200 applies a low-pass filter to the pixel value of the target pixel using the pixel value of the peripheral pixel adjacent to the target pixel in the edge direction.
  • the edge correction unit 1200 may adjust the filter strength of the low-pass filter according to the value extracted by the first filter processing. Specifically, the greater the maximum value extracted in the first filter process, the lower the filter strength of the low-pass filter, and the smaller the maximum value extracted in the first filter process, the lower the pass filter. The strength of the filter may be increased.
  • the pixel data supply unit 1300 supplies pixel values of pixels necessary for edge direction detection and edge correction among the plurality of pixels included in the image to the edge direction detection unit 1100 and the edge correction unit 1200. As shown in FIG. 1, the pixel data supply unit 1300 includes line memories 1301 to 1306 and pixel delay units 1310 to 1316.
  • the input video signal is input to the pixel delay unit 1310 and the line memory 1301 that delays the video by one line. Then, the pixel delay unit 1310 supplies pixel values for seven pixels to the edge direction detection unit 1100 and the edge correction unit 1200. The line memory 1301 supplies the delayed pixel values for one line to the line memory 1302 and the pixel delay unit 1311.
  • the line memories 1301 to 1306 store pixels for one row of pixels in the horizontal direction of the video signal. For example, in the case of an HDTV with 1920 pixels in the horizontal direction, the number of pixels stored in the line memory is 1920 pixels.
  • the pixel delay unit 1311 supplies pixel values for seven pixels acquired from the line memory 1301 to the edge direction detection unit 1100 and the edge correction unit 1200.
  • the line memory 1302 supplies the delayed pixel values for one line to the line memory 1303 and the pixel delay unit 1312.
  • the pixel delay unit 1312 supplies pixel values for seven pixels acquired from the line memory 1302 to the edge direction detection unit 1100 and the edge correction unit 1200.
  • the line memory 1303 supplies the delayed pixel values for one line to the line memory 1304 and the pixel delay unit 1313.
  • the pixel delay unit 1313 supplies pixel values for seven pixels acquired from the line memory 1303 to the edge direction detection unit 1100 and the edge correction unit 1200.
  • the line memory 1304 supplies the delayed pixel value for one line to the line memory 1305 and the pixel delay unit 1314.
  • the pixel delay unit 1314 supplies the pixel values for seven pixels acquired from the line memory 1304 to the edge direction detection unit 1100 and the edge correction unit 1200.
  • the line memory 1305 supplies the delayed pixel values for one line to the line memory 1306 and the pixel delay unit 1315.
  • the pixel delay unit 1315 supplies pixel values for seven pixels acquired from the line memory 1305 to the edge direction detection unit 1100 and the edge correction unit 1200. Also, the line memory 1306 supplies the delayed pixel value for one line to the pixel delay unit 1316.
  • the pixel delay unit 1316 supplies pixel values for seven pixels acquired from the line memory 1306 to the edge direction detection unit 1100 and the edge correction unit 1200.
  • FIG. 2 is a diagram showing in detail the pixel delay unit 1310 shown in FIG.
  • the pixel delay unit 1310 shown in FIG. 2 delays the input video signal one pixel at a time by the delay units 1311a to 1311f, and simultaneously outputs seven horizontal pixels as the output video signal. Since the other pixel delay units 1311 to 1316 have the same configuration, the description thereof is omitted.
  • FIG. 3 is a flowchart of edge correction processing according to the first embodiment.
  • 4 to 8 are diagrams for explaining each step of FIG.
  • FIG. 4 shows an arrangement of pixels generated by the line memories 1301 to 1306 and the pixel delay units 1310 to 1316 shown in FIG. 1 and supplied to the edge direction detection unit 1100 and the edge correction unit 1200 shown in FIG.
  • pixels indicated by broken lines in FIG. 4 indicate pixels that are supplied from the pixel data supply unit 1300 but are not used for edge correction processing. Further, in FIG. 4, four directions for detecting the edge direction are labeled as a horizontal direction ew, a vertical direction ns, a right diagonal direction neww, and a left diagonal direction nwse.
  • the horizontal direction ew and the vertical direction ns are orthogonal to each other.
  • the right diagonal direction neww and the left diagonal direction nwse are orthogonal to each other.
  • the adjacent directions that is, the horizontal direction ew and the right diagonal direction neww, the horizontal direction ew and the left diagonal direction nwse, the vertical direction ns and the right diagonal direction nesw, and the vertical direction ns and the left diagonal direction nwse are 45 °. Intersect at an angle. In other words, each of the above four directions passes through the target pixel 101 and is arranged at equal intervals (45 ° intervals).
  • the first filter unit 1110 of the edge direction detection unit 1100 applies a low-pass filter (Low Pass Filter: LPF) to the pixel values of the peripheral pixels 102 to 109 located around the target pixel 101 (S11). ).
  • LPF Low Pass Filter
  • the low-pass filter is applied to the target pixel 101 in the peripheral pixel 102 and the peripheral pixel 103 that are separated by two pixels in the horizontal direction, the peripheral pixel 104 and the peripheral pixel 105 that are separated in the vertical direction by two pixels, A peripheral pixel 106 and a peripheral pixel 107 that are separated by two pixels in an oblique direction, and a peripheral pixel 108 and a peripheral pixel 109 that are separated by two pixels in an oblique right direction.
  • the pixel values of the peripheral pixels 102a and 102b adjacent to the peripheral pixel 102 in the direction orthogonal to the horizontal direction ew are used.
  • a band pass filter is applied.
  • the pixel value of the peripheral pixel 102 'to which the low-pass filter is applied is obtained.
  • the same processing is performed for the other peripheral pixels 103 to 109.
  • the pixel values of the peripheral pixels 102 ′, 103 ′, 104 ′, 105 ′, 106 ′, 107 ′, 108 ′, and 109 ′ to which the low-pass filter is applied are obtained. .
  • peripheral pixels 102 to 109 As described above, by applying the LPF process to the peripheral pixels 102 to 109, the pixel values of the peripheral pixels 102 'to 109' from which noise has been removed can be obtained. Since these peripheral pixels 102 to 109 are pixels used for the HPF process (S12) described later, the edge direction can be detected more accurately by removing noise in advance.
  • the first filter unit 1110 uses the pixel values of the peripheral pixels 102 ′ to 109 ′ to which the LPF processing located in each of the four directions is applied, A pass filter (High Pass Filter: HPF) is applied (S12).
  • a pass filter High Pass Filter: HPF
  • the high pass filter process is applied to the pixel value of the target pixel 101 using the pixel values of the peripheral pixels 102 ′ and 103 ′ that are two pixels away from the target pixel 101 in the horizontal direction ew.
  • the pixel value of the target pixel 101ew to which the high-pass filter is applied is obtained.
  • pixel values of target pixels 101 ns, 101 nwse, and 101 new to which the high-pass filter is applied in each direction are obtained.
  • the value of the frequency component that constitutes the contour line in the image can be extracted. And it can be estimated that the outline has extended in the direction orthogonal to the said direction, so that this value is large.
  • the HPF process in step S12 is, for example, a band pass of weighting factors ( ⁇ 1, 0, 2, 0, ⁇ 1) for the five peripheral pixels 102 ′, 122, 101, 123, 103 ′ in the horizontal direction.
  • it can be said to be a process of applying a filter (Band Pass Filter: BPF).
  • BPF Band Pass Filter
  • any filter that can extract the value of the frequency component constituting the contour line in the image can be used in place of the high-pass filter.
  • the “frequency component constituting the contour line in the image” is a frequency band having a predetermined width that varies depending on the characteristics of the image. For example, it can be paraphrased as a frequency band having a predetermined width including the center frequency of the frequency band that can be visually recognized by the viewer, or a predetermined width that is most noticeable to the viewer (attention when viewing the image) It can be paraphrased as the frequency band.
  • the edge direction determination unit 1120 of the edge direction detection unit 1100 compares the four values obtained in step S12, and determines the direction orthogonal to the direction corresponding to the maximum value as the edge direction (S13). That is, the pixel values of the target pixels 101ew, 101ns, 101nwse, and 101new to which the high-pass filter is applied in each of the four directions are compared.
  • the left diagonal direction nwse is determined as the edge direction.
  • the right diagonal direction neww is determined as the edge direction
  • the horizontal direction ew is the maximum
  • the vertical direction ns is the edge. If the value of the vertical direction ns (101 ns) is the maximum, the horizontal direction ew is determined as the edge direction.
  • the edge direction determination unit 1120 determines that no edge exists in the two directions. For example, when the difference between the value in the horizontal direction ew (101ew) and the value in the right diagonal direction newsw (101new) is equal to or smaller than the threshold value, the edge direction determination unit 1120 indicates that there are no edges in the horizontal direction ew and the right diagonal direction neww. judge. The same applies to the other directions.
  • the value which can be evaluated that two values are substantially the same value can be arbitrarily set to said threshold value.
  • the edge correction unit 1200 applies a low-pass filter to the pixel value of the target pixel 101 using the pixel value of the pixel adjacent to the target pixel 101 in the edge direction (S14).
  • FIG. 8 is a diagram showing a pixel arrangement and an edge direction of a video signal used in the edge correction unit 1200 shown in FIG.
  • the edge correction unit 1200 applies a low-pass filter to the pixel value of the target pixel 101 using the pixel values of the peripheral pixels 128 and 129.
  • the pixel value of the target pixel 101new 'to which the low-pass filter is applied is obtained.
  • the case where the edge direction is another direction can be considered in the same manner as described above.
  • the edge correction unit 1200 may adjust the filter strength of the low-pass filter according to the value extracted in step S12. Specifically, the greater the maximum value extracted in the first filter process, the lower the filter strength of the low-pass filter, and the smaller the maximum value extracted in the first filter process, the lower the pass filter. The strength of the filter may be increased.
  • the edge correction processing according to the first embodiment has a particularly advantageous effect in the following cases, but is not limited to the following cases.
  • the HPF process (S12) is performed using peripheral pixels that are two pixels away from the target pixel as described above. By doing so, the edge direction can be detected more accurately.
  • the original pixels pixels output from the image sensor
  • the pixels generated by the complementary processing may be alternately arranged. is there. Therefore, the edge direction can be detected more accurately by detecting the edge direction using only the original pixels.
  • the distance between the target pixel used for the HPF process and the surrounding pixels may be adjusted in accordance with the enlargement ratio of the image.
  • peripheral pixels that are two pixels away from the target pixel may be used in the case of double magnification
  • peripheral pixels that are three pixels away from the target pixel may be used in the case of three times magnification.
  • FIG. 9 is a block diagram of an edge correction apparatus 2000 according to Embodiment 2 of the present invention.
  • the edge direction detection unit 2100 further includes a second filter unit 1130 in addition to the configuration of FIG.
  • the edge correction apparatus 2000 according to the second embodiment can prevent erroneous detection of the edge direction by using the first and second filter units 1110 and 1130.
  • the second filter unit 1130 has a frequency that constitutes the contour of the image at the pixel value of the target pixel and peripheral pixels that are separated from the target pixel by one pixel each on one side and the other side of the direction.
  • a second filtering process for extracting component values is applied. More specifically, in the second filtering process, for each of the four directions, the pixel values of the neighboring pixels located in the direction orthogonal to the peripheral pixel are used as the pixel values of the peripheral pixels located in the direction. Processing for applying a low-pass filter, and processing for applying a high-pass filter using pixel values of surrounding pixels located in the direction to which the low-pass filter is applied as the pixel value of the target pixel. It is.
  • the second filter process is a point in which the HPF process is performed using a peripheral pixel that is one pixel away from the target pixel, and the first filter process that performs the HPF process using a peripheral pixel that is two pixels away from the target pixel.
  • the other processing contents are the same as those of the first filter processing.
  • the edge direction determination unit 1120 matches the direction in which the value extracted by the first filter processing is the maximum with the direction in which the value extracted by the second filter processing is the maximum. In this case, the direction orthogonal to the direction is determined as the edge direction. On the other hand, when the directions of the maximum values extracted by the first and second filter processes are different, it is determined that no edge exists.
  • FIG. 10 is a flowchart of edge correction processing according to the second embodiment.
  • 11 to 13 are diagrams for explaining each step of FIG. A detailed description of points common to the first embodiment will be omitted, and differences will be mainly described.
  • the edge correction process according to the second embodiment is performed in that the second filter process (S21 to S22) is executed in addition to the first filter process (S11 to S12). This is different from the edge correction processing according to the first embodiment. Note that either the first filter processing (S11 to S12) or the second filter processing (S21 to S22) may be executed first or in parallel. In addition, the first filter processing (S11 to S12) is common to the first embodiment, and thus the description thereof is omitted.
  • the second filter unit 1130 of the edge direction detection unit 1100 applies a low pass filter (Low Pass Filter: LPF) to the pixel values of the peripheral pixels 122 to 129 located around the target pixel 101 (S21). ).
  • LPF Low Pass Filter
  • the low-pass filter is applied to the target pixel 101 in the peripheral pixel 122 and the peripheral pixel 123 that are separated by one pixel in the horizontal direction, the peripheral pixel 124 and the peripheral pixel 125 that are separated in the vertical direction by one pixel, and the left A peripheral pixel 126 and a peripheral pixel 127 that are separated by one pixel in a diagonal direction, and a peripheral pixel 128 and a peripheral pixel 129 that are separated by one pixel in a diagonal direction to the right.
  • the pixel values of the peripheral pixels 126 and 129 adjacent to the peripheral pixel 122 in the direction orthogonal to the horizontal direction ew are used.
  • a low pass filter is applied.
  • the pixel value of the peripheral pixel 122 'to which the low pass filter is applied is obtained.
  • the peripheral pixels 122 ′, 123 ′, 124 ′, and 125 ′ to which the low-pass filter is applied is applied.
  • 126 ′, 127 ′, 128 ′, and 129 ′ are examples of the peripheral pixels 126 and 129 adjacent to the peripheral pixel 122 in the direction orthogonal to the horizontal direction ew.
  • peripheral pixels 122 to 129 As described above, by applying the LPF process to the peripheral pixels 122 to 129, the pixel values of the peripheral pixels 122 'to 129' from which noise has been removed can be obtained. Since these peripheral pixels 122 to 129 are pixels used in the HPF process (S22) described later, the edge direction can be detected more accurately by removing noise in advance.
  • the second filter unit 1130 uses the pixel values of the peripheral pixels 122 ′ to 129 ′ located in each of the four directions, and applies a high pass filter (High Pass Filter) to the pixel value of the target pixel 101. : HPF) is applied (S22).
  • a high pass filter High Pass Filter
  • a pixel marked with a circle in FIG. 13 indicates a pixel used for a high-pass filter.
  • a solid line connecting pixels indicates a combination of pixels input to the high-pass filter.
  • the high pass filter process is applied to the pixel value of the target pixel 101 using the pixel values of the peripheral pixels 122 ′ and 123 ′ that are one pixel away from the target pixel 101 in the horizontal direction ew.
  • the pixel value of the target pixel 101ew to which the high-pass filter is applied is obtained.
  • pixel values of target pixels 101 ns, 101 nwse, and 101 new to which the high-pass filter is applied in each direction are obtained.
  • the value of the frequency component that constitutes the contour line in the image can be extracted. That is, it can be estimated that the outline is extended in the direction orthogonal to the said direction, so that this value is large.
  • the edge direction determination unit 1120 determines the edge direction based on the four values obtained in Step S12 and the four values obtained in Step S22 (S23). Specifically, the edge direction determination unit 1120 first corresponds to the direction corresponding to the maximum value among the four values obtained in step S12 and the maximum value among the four values obtained in step S22. It is determined whether or not the direction to be matched matches. When the direction corresponding to the maximum value in step S12 matches the direction corresponding to the maximum value in step S22, the edge direction determination unit 1120 determines the direction orthogonal to the direction as the edge direction. On the other hand, if the two directions do not match, the edge direction determination unit 1120 determines that no edge exists.
  • the edge direction obtained by the first filter processing performed using the peripheral pixels that are two pixels away from the target pixel, and the second filter processing performed using the peripheral pixels that are one pixel away from the target pixel Only when the obtained edge direction matches, the edge direction determination accuracy is dramatically improved by determining the direction as the edge direction.
  • edge direction detection units 1100 and 2100 in each of the above embodiments have been described as components of the edge correction devices 1000 and 2000, it goes without saying that they may be incorporated in other devices.
  • the edge direction may be detected by being incorporated in an image encoding device that performs intra prediction encoding along the edge direction.
  • each of the above devices is a computer system including a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is recorded in the RAM or hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Each device is not limited to a computer system including all of a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like, and may be a computer system including a part of them. .
  • the constituent elements constituting each of the above-described devices may be configured by a single system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is recorded in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each part of the constituent elements constituting each of the above devices may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the system LSI is used here, it may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
  • each of the above devices may be constituted by an IC card that can be attached to and detached from each device or a single module.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). ), Recorded in a semiconductor memory or the like.
  • the digital signal may be recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may be a computer system including a microprocessor and a memory, wherein the memory records the computer program, and the microprocessor operates according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
  • the present invention is advantageously used in an edge direction detection device that detects an edge direction in an image and an edge correction device that corrects an edge in the detected direction.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　エッジ方向検出装置（１１００）は、それぞれが画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタ部（１１１０）と、第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定部（１１２０）とを備え、第１のフィルタ部（１１１０）は、４つの方向それぞれについて、対象画素、及び対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、第１のフィルタ処理を適用する。

Description

エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法
　本発明は、映像に含まれる線分（エッジ）を検出し、検出した方向のエッジを滑らかに補正する技術に関するものである。
　近年、映像信号はデジタル化されているので、デジタル技術により、映像を圧縮したり、映像を構成する画素を拡大又は縮小することができる。ここで、画素を拡大又は縮小することにより、特に斜め方向の線分にガタつき（ジャギー）が発生しやすい。これは、水平方向及び垂直方向の個別のフィルタ処理によって画素の拡大又は縮小が行われることにより、斜め方向の周波数成分が水平方向及び垂直方向と比較して、高周波のまま残るためである。
特開２０１０－６８５１５号公報
　そこで従来は、この画素の拡大又は縮小の際に、水平方向及び垂直方向の個別のフィルタではなく２次元のフィルタを用いて、２次元方向に均一にフィルタ処理する等の対策が取られている。しかしながら、既に流通しているコンテンツに対しては、この方法では解決しない場合がある。
　本発明は、上記の課題に鑑みてなされたものであり、画像に含まれるエッジの方向を正確に検出するエッジ方向検出装置、及び検出した方向のエッジを視覚的に滑らかに補正するエッジ補正装置を提供することを目的とする。
　本発明の一形態に係るエッジ方向検出装置は、画像に含まれるエッジの方向を検出する。具体的には、それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタ部と、前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定部とを備える。そして、前記第１のフィルタ部は、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する。
　このように、対象画素との距離が離れた周辺画素を用いてエッジ方向の検出を行うことにより、対象画素に隣接する周辺画素を用いる場合と比較して、エッジ方向の検出精度が向上する。このエッジ方向検出装置は、拡大された画像のエッジ方向を検出する場合に、特に有利な効果を奏するが、これに限定されない。
　また、前記エッジ方向判定部は、前記第１のフィルタ処理で抽出される隣接する２方向の値の差が閾値以下の場合、当該２方向にエッジが存在しないと判定してもよい。
　隣接する２方向の値の差が閾値以下の場合とは、検出されたのがエッジ（線）ではなく、ドット（点）である場合等である。そこで、このような場合には、当該２方向のいずれかの値が最大値であったとしても、当該２方向にエッジが存在しないと判定するのが望ましい。
　一例として、前記第１のフィルタ処理には、４つの方向それぞれについて、当該方向に位置する前記周辺画素の画素値に、前記周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、前記対象画素の画素値に、前記低域通過フィルタが適用された当該方向に位置する前記周辺画素の画素値を用いて高域通過フィルタを適用する処理とが含まれてもよい。
　このように、高域通過フィルタに用いられる周辺画素に低域通過フィルタを適用して、予めノイズを除去しておくことにより、より高精度にエッジ方向を検出することができる。
　さらに、該エッジ方向検出装置は、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに１画素だけ離れた周辺画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第２のフィルタ処理を適用する第２のフィルタ部を備えてもよい。そして、前記エッジ方向判定部は、前記第１のフィルタ処理によって抽出された値が最大となる方向と、前記第２のフィルタ処理によって抽出された値が最大となる方向とが一致する場合に、当該方向に直交する方向をエッジ方向と判定してもよい。
　このように、第１及び第２のフィルタ処理によって得られるエッジ方向が一致する場合にのみ、当該方向がエッジ方向であると判定することにより、さらにエッジ方向の検出精度が向上する。
　一例として、前記第２のフィルタ処理には、４つの方向それぞれについて、当該方向に位置する前記周辺画素の画素値に、前記周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、前記対象画素の画素値に、前記低域通過フィルタが適用された当該方向に位置する前記周辺画素の画素値を用いて高域通過フィルタを適用する処理とが含まれてもよい。
　本発明の一形態に係るエッジ補正装置は、画像に含まれるエッジを補正する。具体的には、それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタ部と、前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定部と、前記対象画素の画素値に、前記対象画素と前記エッジ方向に隣接する周辺画素の画素値を用いて低域通過フィルタを適用するエッジ補正部とを備える。そして、前記第１のフィルタ部は、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する。
　上記構成のように、高精度なエッジ方向の検出処理によって検出されたエッジにエッジ補正処理を適用することにより、エッジが滑らかに補正された画像を得ることができる。
　また、前記エッジ補正部は、前記第１のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くしてもよい。
　さらに、該エッジ補正装置は、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに１画素だけ離れた周辺画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第２のフィルタ処理を適用する第２のフィルタ部を備えてもよい。そして、前記エッジ方向判定部は、前記第１のフィルタ処理によって抽出された値が最大となる方向と、前記第２のフィルタ処理によって抽出された値が最大となる方向とが一致する場合に、当該方向に直交する方向をエッジ方向と判定してもよい。
　また、前記エッジ補正部は、前記第２のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くしてもよい。これにより、エッジ補正処理が適用される画素と適用されない画素との境界を目立たないようにすることができる。
　本発明の一形態に係るエッジ方向検出方法は、画像に含まれるエッジの方向を検出する方法である。具体的には、それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタステップと、前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定ステップとを含む。そして、前記第１のフィルタステップでは、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する。
　本発明の一形態に係るエッジ補正方法は、画像に含まれるエッジを補正する方法である。具体的には、それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタステップと、前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定ステップと、前記対象画素の画素値に、前記対象画素と前記エッジ方向に隣接する周辺画素の画素値を用いて、低域通過フィルタを適用するエッジ補正ステップとを含む。そして、前記第１のフィルタステップでは、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する。
　本発明によれば、対象画素との距離が離れた周辺画素を用いてエッジ方向の検出を行うことにより、対象画素に隣接する周辺画素を用いる場合と比較して、エッジ方向の検出精度が向上する。
図１は、本発明の実施の形態１に係るエッジ補正装置のブロック図である。 図２は、画素遅延器の詳細な構成の例を示す図である。 図３は、本発明の実施の形態１に係るエッジ補正処理のフローチャートである。 図４は、エッジ補正処理に用いられる画素の配置を示す図である。 図５は、ステップＳ１１のＬＰＦ処理に用いられる画素を示す図である。 図６は、ステップＳ１１のＬＰＦ処理の結果を示す図である。 図７は、ステップＳ１２のＨＰＦ処理に用いられる画素を示す図である。 図８は、ステップＳ１４のエッジ補正処理に用いられる画素を示す図である。 図９は、本発明の実施の形態２に係るエッジ補正装置のブロック図である。 図１０は、本発明の実施の形態２に係るエッジ補正処理のフローチャートである。 図１１は、ステップＳ２１のＬＰＦ処理に用いられる画素を示す図である。 図１２は、ステップＳ２１のＬＰＦ処理の結果を示す図である。 図１３は、ステップＳ２２のＨＰＦ処理に用いられる画素を示す図である。
　（実施の形態１）
　以下、図面を用いて、本発明の実施の形態１に係るエッジ補正装置について、詳細に説明する。
　図１は、本発明の実施の形態１に係るエッジ補正装置１０００のブロック図である。図２は、画素遅延器１３１０の詳細な構成を示すブロック図である。
　実施の形態１に係るエッジ補正装置１０００は、画像に含まれるエッジの方向を検出し、検出した方向のエッジを滑らかに補正する装置であって、図１に示されるように、エッジ方向検出部１１００と、エッジ補正部１２００と、画素データ供給部１３００とを主に備える。
　エッジ方向検出部１１００は、画像に含まれるエッジの方向を検出する。より具体的には、エッジ方向検出部１１００は、画像内に含まれる任意の画素（以下、「対象画素」と標記する）を通り、且つ予め定められた方向にエッジが存在するか否かを検出する。本実施の形態では、水平方向、垂直方向、右斜め方向（画像の右上から左下に延びる方向）、及び左斜め方向（画像の左上から右下に延びる方向）の４つの方向を、予め定められた方向と定義する。そして、上記の処理を行うために、エッジ方向検出部１１００は、第１のフィルタ部１１１０と、エッジ方向判定部１１２０とを備える。
　第１のフィルタ部１１１０は、４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に第１のフィルタ処理を適用する。第１のフィルタ処理とは、画像中の輪郭線（エッジ）を構成する周波数成分の値を抽出する処理である。また、第１のフィルタ処理の対象となる複数の画素とは、対象画素と、対象画素から第１のフィルタ処理を適用する方向の一方側及び他方側それぞれに２画素以上離れた周辺画素を指す。
　より具体的には、第１のフィルタ処理には、４つの方向それぞれについて、当該方向に位置する周辺画素の画素値に、周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、対象画素の画素値に、低域通過フィルタ処理が適用された当該方向に位置する周辺画素の画素値を用いて高域通過フィルタを適用する処理とが含まれる。
　エッジ方向判定部１１２０は、第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定する。一方、エッジ方向判定部１１２０は、第１のフィルタ処理で抽出される隣接する２方向の値の差が閾値以下の場合、当該２方向にエッジが存在しないと判定する。
　エッジ補正部１２００は、エッジ方向判定部１１２０で判定された方向のエッジを滑らかに補正する。具体的には、エッジ補正部１２００は、対象画素の画素値に、対象画素とエッジ方向に隣接する周辺画素の画素値を用いて低域通過フィルタを適用する。ここで、エッジ補正部１２００は、第１のフィルタ処理で抽出された値に応じて、低域通過フィルタのフィルタ強度を調整してもよい。具体的には、第１のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くし、第１のフィルタ処理で抽出された最大値が小さい程、低域通過フィルタのフィルタ強度を強くすればよい。
　画素データ供給部１３００は、画像に含まれる複数の画素のうち、エッジ方向の検出及びエッジの補正に必要な画素の画素値を、エッジ方向検出部１１００及びエッジ補正部１２００に供給する。この画素データ供給部１３００は、図１に示されるように、ラインメモリ１３０１～１３０６と、画素遅延器１３１０～１３１６とを備える。
　入力映像信号は、画素遅延器１３１０と、映像を１ライン遅延させるラインメモリ１３０１とに入力される。そして、画素遅延器１３１０は、７画素分の画素値をエッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０１は、遅延させた１ライン分の画素値を、ラインメモリ１３０２と画素遅延器１３１１とに供給する。
　ラインメモリ１３０１～１３０６は、映像信号の水平方向の画素一行分の画素を蓄える。例えば、水平方向１９２０画素のＨＤＴＶの場合には、ラインメモリに格納する画素数は１９２０画素となる。
　画素遅延器１３１１は、ラインメモリ１３０１から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０２は、遅延させた１ライン分の画素値を、ラインメモリ１３０３と画素遅延器１３１２とに供給する。
　画素遅延器１３１２は、ラインメモリ１３０２から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０３は、遅延させた１ライン分の画素値を、ラインメモリ１３０４と画素遅延器１３１３とに供給する。
　画素遅延器１３１３は、ラインメモリ１３０３から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０４は、遅延させた１ライン分の画素値を、ラインメモリ１３０５と画素遅延器１３１４とに供給する。
　画素遅延器１３１４は、ラインメモリ１３０４から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０５は、遅延させた１ライン分の画素値を、ラインメモリ１３０６と画素遅延器１３１５とに供給する。
　画素遅延器１３１５は、ラインメモリ１３０５から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。また、ラインメモリ１３０６は、遅延させた１ライン分の画素値を、画素遅延器１３１６に供給する。
　画素遅延器１３１６は、ラインメモリ１３０６から取得した７画素分の画素値を、エッジ方向検出部１１００と、エッジ補正部１２００とに供給する。
　図２は、図１で示す画素遅延器１３１０を詳細に示した図である。図２に示される画素遅延器１３１０は、遅延器１３１１ａ～１３１１ｆで入力映像信号を１画素ずつ順に遅延させ、出力映像信号として水平７画素を同時に出力させる。なお、他の画素遅延器１３１１～１３１６の構成も共通するので、説明は省略する。
　次に、図３～図８を参照して、実施の形態１に係るエッジ補正処理を詳しく説明する。図３は、実施の形態１に係るエッジ補正処理のフローチャートである。図４～図８は、図３の各ステップを説明するための図である。
　まず、エッジ方向検出部１１００及びエッジ補正部１２００は、エッジ方向の検出及びエッジの補正に必要な画素の画素値を、画素データ供給部１３００から取得する。図４は、図１に示すラインメモリ１３０１～１３０６と画素遅延器１３１０～１３１６とによって生成され、図１で示すエッジ方向検出部１１００及びエッジ補正部１２００に供給される画素の配置を示す。
　図４の中心に位置する画素が対象画素１０１である。また、図４の破線で示される画素は、画素データ供給部１３００から供給されるが、エッジ補正処理には使用されない画素を示す。さらに、図４には、エッジ方向を検出する４つの方向を、水平方向ｅｗ、垂直方向ｎｓ、右斜め方向ｎｅｓｗ、及び左斜め方向ｎｗｓｅと標記している。
　図４に示されるように、水平方向ｅｗと垂直方向ｎｓとは互いに直交する。同様に、右斜め方向ｎｅｓｗと左斜め方向ｎｗｓｅとは互いに直交する。一方、隣接する方向同士、すなわち、水平方向ｅｗと右斜め方向ｎｅｓｗ、水平方向ｅｗと左斜め方向ｎｗｓｅ、垂直方向ｎｓと右斜め方向ｎｅｓｗ、及び垂直方向ｎｓと左斜め方向ｎｗｓｅは、４５°の角度で交差している。言い換えれば、上記の４つの方向は、それぞれが対象画素１０１を通り、且つ等間隔（４５°間隔）に配置されている。
　エッジ方向検出部１１００の第１のフィルタ部１１１０は、対象画素１０１の周辺に位置する周辺画素１０２～１０９の画素値に対して、低域通過フィルタ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ：ＬＰＦ）を適用する（Ｓ１１）。図５は、ステップＳ１１低域通過フィルタ処理（ＬＰＦ処理）の詳細を示す図である。
　低域通過フィルタが適用されるのは、対象画素１０１に対して、水平方向に２画素距離離れた周辺画素１０２と周辺画素１０３、垂直方向に２画素離れた周辺画素１０４と周辺画素１０５、左斜め方向に２画素離れた周辺画素１０６と周辺画素１０７、右斜め方向に２画素離れた周辺画素１０８と周辺画素１０９である。
　なお、ステップＳ１１で適用される低域通過フィルタは、例えば、重み係数（１、２、１）の３タップフィルタである。すなわち、ステップＳ１１の低域通過フィルタは、図５に示されるように、ＬＰＦ（ａ，ｂ，ｃ）＝２×ｂ＋ａ＋ｃと定義することができる。また、図５の○印の画素は、低域通過フィルタに用いられる画素を示す。また、画素を結ぶ実線は、低域通過フィルタに入力される画素の組み合わせを示す。
　例えば、対象画素１０１の水平方向ｅｗの左側に位置する周辺画素１０２の画素値には、周辺画素１０２に水平方向ｅｗと直交する方向に隣接する周辺画素１０２ａ、１０２ｂの画素値を用いて、低域通過フィルタが適用される。その結果、低域通過フィルタが適用された周辺画素１０２’の画素値が得られる。また、ステップＳ１１では、他の周辺画素１０３～１０９に対しても同様の処理を行う。これにより、図６に示されるように、低域通過フィルタが適用された周辺画素１０２’、１０３’、１０４’、１０５’、１０６’、１０７’、１０８’、１０９’の画素値が得られる。
　このように、周辺画素１０２～１０９それぞれに対してＬＰＦ処理を適用することにより、ノイズが除去された周辺画素１０２’～１０９’の画素値を得ることができる。これらの周辺画素１０２～１０９は、後述のＨＰＦ処理（Ｓ１２）に用いられる画素なので、予めノイズを除去しておくことにより、エッジ方向の検出をより正確に行うことができる。
　但し、ステップＳ１１における低域通過フィルタは、ＬＰＦ（ａ，ｂ，ｃ）＝ｂと定義してもよい。すなわち、ステップＳ１１における低域通過フィルタは省略することができる。また、水平方向ｅｗ及び垂直方向ｎｓに位置する周辺画素１０２～１０５には、低域通過フィルタを適用せず、右斜め方向ｎｅｓｗ及び左斜め方向ｎｗｓｅに位置する周辺画素１０６～１０９にのみ、低域通過フィルタを適用してもよい。
　次に、第１のフィルタ部１１１０は、４つの方向それぞれに位置するＬＰＦ処理が適用された周辺画素１０２’～１０９’の画素値を用いて、対象画素１０１の画素値に対して、高域通過フィルタ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ：ＨＰＦ）を適用する（Ｓ１２）。
　なお、ステップＳ１２で適用される高域通過フィルタは、例えば、重み係数（－１、２、－１）の３タップフィルタである。すなわち、ステップＳ１２の高域通過フィルタは、図７に示されるように、ＨＰＦ（ａ，ｂ，ｃ）＝２×ｂ－ａ－ｃと定義することができる。また、図７の○印の画素は、高域通過フィルタに用いられる画素を示す。また、画素を結ぶ実線は、高域通過フィルタに入力される画素の組み合わせを示す。
　例えば、対象画素１０１に対して水平方向ｅｗに２画素離れた周辺画素１０２’、１０３’の画素値を用いて、対象画素１０１の画素値に高域通過フィルタ処理を適用する。その結果、高域通過フィルタが適用された対象画素１０１ｅｗの画素値が得られる。そして、他の方向に対しても同様の処理を行うことにより、各方向に対して高域通過フィルタが適用された対象画素１０１ｎｓ、１０１ｎｗｓｅ、１０１ｎｅｓｗの画素値が得られる。
　各方向に対して高域通過フィルタを適用することによって、画像中の輪郭線を構成する周波数成分の値を抽出することができる。そして、この値が大きい程、当該方向に直交する方向に輪郭線が延びていると推測することができる。
　但し、ステップＳ１２におけるＨＰＦ処理は、例えば水平方向の５つの周辺画素１０２’、１２２、１０１、１２３、１０３’に対して、重み係数（－１、０、２、０、－１）の帯域通過フィルタ（Ｂａｎｄ　Ｐａｓｓ　Ｆｉｌｔｅｒ：ＢＰＦ）を適用する処理と言い換えることができる。すなわち、ステップＳ１２では、高域通過フィルタに代えて、画像中の輪郭線を構成する周波数成分の値を抽出することができるあらゆるフィルタを用いることができる。
　なお、「画像中の輪郭線を構成する周波数成分」とは、画像の特性に応じて変動する所定の幅を持った周波数帯域である。例えば、視聴者が視覚によって認識することができる周波数帯域の中心周波数を含む所定の幅の周波数帯域と言い換えることもできるし、視聴者にとって最も目立つ（画像を見たときに注目する）所定の幅の周波数帯域と言い換えることもできる。
　次に、エッジ方向検出部１１００のエッジ方向判定部１１２０は、ステップＳ１２で得られた４つの値を比較し、最大値に対応する方向に直交する方向をエッジ方向と判定する（Ｓ１３）。すなわち、４つの方向のそれぞれで高域通過フィルタが適用された対象画素１０１ｅｗ、１０１ｎｓ、１０１ｎｗｓｅ、１０１ｎｅｓｗの画素値の大小を比較する。
　そして、例えば、右斜め方向ｎｅｓｗの値（１０１ｎｅｓｗ）が最大であった場合、左斜め方向ｎｗｓｅをエッジ方向と判定する。同様に、左斜め方向ｎｗｓｅの値（１０１ｎｗｓｅ）が最大であった場合、右斜め方向ｎｅｓｗをエッジ方向と判定し、水平方向ｅｗの値（１０１ｅｗ）が最大であった場合、垂直方向ｎｓをエッジ方向と判定し、垂直方向ｎｓの値（１０１ｎｓ）が最大であった場合、水平方向ｅｗをエッジ方向と判定する。
　ここで、ステップＳ１２で得られた値のうち、隣接する２方向の値の差が予め定められた閾値以下の場合、エッジ方向判定部１１２０は、当該２方向にエッジが存在しないと判定する。例えば、水平方向ｅｗの値（１０１ｅｗ）と右斜め方向ｎｅｓｗの値（１０１ｎｅｓｗ）との差が閾値以下の場合、エッジ方向判定部１１２０は、水平方向ｅｗ及び右斜め方向ｎｅｓｗにエッジが存在しないと判定する。他の方向についても同様である。なお、上記の閾値には、２つの値が実質的に同値であると評価できる値を、任意に設定することができる。
　次に、エッジ補正部１２００は、対象画素１０１の画素値に、対象画素１０１とエッジ方向に隣接する画素の画素値を用いて低域通過フィルタを適用する（Ｓ１４）。なお、ステップＳ１４で適用される低域通過フィルタは、重み係数（１、２、１）の３タップフィルタである。すなわち、ステップＳ１４の低域通過フィルタは、ＬＰＦ（ａ，ｂ，ｃ）＝（２×ｂ＋ａ＋ｃ）／４と定義することができる。
　図８は、図１に示すエッジ補正部１２００で用いる映像信号の画素配置とエッジ方向を示す図である。例えば、エッジ方向が右斜め方向ｎｅｓｗであった場合、対象画素１０１と右斜め方向ｎｅｓｗに隣接する画素とは、図８に示されるように、周辺画素１２８、１２９である。そこで、エッジ補正部１２００は、周辺画素１２８、１２９の画素値を用いて、対象画素１０１の画素値に低域通過フィルタを適用する。その結果、低域通過フィルタが適用された対象画素１０１ｎｅｓｗ’の画素値が得られる。エッジ方向が他の方向であった場合も、上記と同様に考えることができる。
　ここで、エッジ補正部１２００は、ステップＳ１２で抽出された値に応じて、低域通過フィルタのフィルタ強度を調整してもよい。具体的には、第１のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くし、第１のフィルタ処理で抽出された最大値が小さい程、低域通過フィルタのフィルタ強度を強くすればよい。
　上記の処理を、画像を構成する全ての画素に対して行うことにより、エッジが滑らかに補正された画像を得ることができる。特に、エッジ方向が斜め方向（右斜め方向又は左斜め方向）である場合に、エッジが滑らかに補正される。また、実施の形態１に係るエッジ補正処理は、下記のような場合に、特に有利な効果を奏するが、下記の場合には限定されない。
　例えば、処理対象となる画像が、撮像された画像を縦横それぞれ２倍に拡大した画像であった場合、上記のように、対象画素から２画素離れた周辺画素を用いてＨＰＦ処理（Ｓ１２）を行うことにより、より正確にエッジ方向を検出することができる。
　ここで、２倍に拡大された画像とは、オリジナルの画素（撮像素子から出力される画素）と、補完処理（超解像処理）によって生成された画素とが、交互に並んでいる場合がある。そこで、オリジナルの画素のみを用いてエッジ方向の検出を行うことにより、より正確にエッジ方向を検出することができる。
　言い換えれば、画像の拡大率に合わせて、ＨＰＦ処理に用いる対象画素と周辺画素との距離を調整してもよい。すなわち、２倍拡大の場合は対象画素から２画素離れた周辺画素を用い、３倍拡大の場合は対象画素から３画素離れた周辺画素を用いてもよい。
　また、２倍に拡大された画像の各画素について、補間処理などがなされたためにオリジナルの画素が残されていない場合がある。このような場合にも、１／２に間引いた画素を用いてもよい。このような場合には、折り返し（ａｌｉａｓ）が発生するので、第２のフィルタ部１１３０を用いた１画素の検出を行う。
　（実施の形態２）
　図９は、本発明の実施の形態２に係るエッジ補正装置２０００のブロック図である。実施の形態２に係るエッジ補正装置２０００は、図１の構成に加え、エッジ方向検出部２１００がさらに第２のフィルタ部１１３０を備える。実施の形態２に係るエッジ補正装置２０００は、第１及び第２のフィルタ部１１１０、１１３０を用いることにより、エッジ方向の誤検出を防止することができる。
　第２のフィルタ部１１３０は、４つの方向それぞれについて、対象画素、及び対象画素から当該方向の一方側及び他方側それぞれに１画素だけ離れた周辺画素の画素値に、画像の輪郭を構成する周波数成分の値を抽出する第２のフィルタ処理を適用する。より具体的には、第２のフィルタ処理には、４つの方向それぞれについて、当該方向に位置する周辺画素の画素値に、周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、対象画素の画素値に、低域通過フィルタが適用された当該方向に位置する周辺画素の画素値を用いて高域通過フィルタを適用する処理とが含まれる。
　すなわち、第２のフィルタ処理とは、対象画素から１画素離れた周辺画素を用いてＨＰＦ処理を行う点で、対象画素から２画素離れた周辺画素を用いてＨＰＦ処理を行う第１のフィルタ処理と相違するが、その他の処理内容は第１のフィルタ処理と共通する。
　また、実施の形態２に係るエッジ方向判定部１１２０は、第１のフィルタ処理によって抽出された値が最大となる方向と、第２のフィルタ処理によって抽出された値が最大となる方向とが一致する場合に、当該方向に直交する方向をエッジ方向と判定する。一方、第１及び第２のフィルタ処理によって抽出された最大値の方向が異なる場合、エッジが存在しないと判定する。
　次に、図１０～図１３を参照して、実施の形態２に係るエッジ補正処理を詳しく説明する。図１０は、実施の形態２に係るエッジ補正処理のフローチャートである。図１１～図１３は、図１０の各ステップを説明するための図である。なお、実施の形態１との共通点の詳しい説明は省略し、相違点を中心に説明する。
　図１０を参照して、実施の形態２に係るエッジ補正処理は、第１のフィルタ処理（Ｓ１１～Ｓ１２）に加えて、第２のフィルタ処理（Ｓ２１～Ｓ２２）を実行する点で、実施の形態１に係るエッジ補正処理と相違する。なお、第１のフィルタ処理（Ｓ１１～Ｓ１２）及び第２のフィルタ処理（Ｓ２１～Ｓ２２）は、どちらを先に実行してもよいし、並列して実行してもよい。また、第１のフィルタ処理（Ｓ１１～Ｓ１２）は、実施の形態１と共通するので、再度の説明は省略する。
　エッジ方向検出部１１００の第２のフィルタ部１１３０は、対象画素１０１の周辺に位置する周辺画素１２２～１２９の画素値に対して、低域通過フィルタ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ：ＬＰＦ）を適用する（Ｓ２１）。図１１は、ステップＳ２１低域通過フィルタ処理（ＬＰＦ処理）の詳細を示す図である。
　低域通過フィルタが適用されるのは、対象画素１０１に対して、水平方向に１画素距離離れた周辺画素１２２と周辺画素１２３、垂直方向に１画素離れた周辺画素１２４と周辺画素１２５、左斜め方向に１画素離れた周辺画素１２６と周辺画素１２７、右斜め方向に１画素離れた周辺画素１２８と周辺画素１２９である。
　なお、ステップＳ２１で適用される低域通過フィルタは、例えば、重み係数（１、２、１）の３タップフィルタである。すなわち、ステップＳ２１の低域通過フィルタは、図１１に示されるように、ＬＰＦ（ａ，ｂ，ｃ）＝２×ｂ＋ａ＋ｃと定義することができる。
　例えば、対象画素１０１に対して水平方向ｅｗの左側に位置する周辺画素１２２の画素値には、周辺画素１２２に水平方向ｅｗと直交する方向に隣接する周辺画素１２６、１２９の画素値を用いて、低域通過フィルタが適用される。その結果、低域通過フィルタが適用された周辺画素１２２’の画素値が得られる。そして、他の周辺画素１２３～１２９に対しても同様の処理を行うことにより、図１２に示されるように、低域通過フィルタが適用された周辺画素１２２’、１２３’、１２４’、１２５’、１２６’、１２７’、１２８’、１２９’の画素値が得られる。
　このように、周辺画素１２２～１２９に対してＬＰＦ処理を適用することにより、ノイズが除去された周辺画素１２２’～１２９’の画素値を得ることができる。これらの周辺画素１２２～１２９は、後述のＨＰＦ処理（Ｓ２２）に用いられる画素なので、予めノイズを除去しておくことにより、エッジ方向の検出をより正確に行うことができる。
　但し、ステップＳ２１における低域通過フィルタは、ＬＰＦ（ａ，ｂ，ｃ）＝ｂと定義してもよい。すなわち、ステップＳ２１における低域通過フィルタは省略することができる。また、水平方向ｅｗ及び垂直方向ｎｓに位置する周辺画素１２２～１２５には、低域通過フィルタを適用せず、右斜め方向ｎｅｓｗ及び左斜め方向ｎｗｓｅに位置する周辺画素１２６～１２９にのみ、低域通過フィルタを適用してもよい。
　次に、第２のフィルタ部１１３０は、４つの方向それぞれに位置する周辺画素１２２’～１２９’の画素値を用いて、対象画素１０１の画素値に対して、高域通過フィルタ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ：ＨＰＦ）を適用する（Ｓ２２）。
　なお、ステップＳ２２で適用される高域通過フィルタは、例えば、重み係数（－１、２、－１）の３タップフィルタである。すなわち、ステップＳ２２の高域通過フィルタは、図１３に示されるように、ＨＰＦ（ａ，ｂ，ｃ）＝２×ｂ－ａ－ｃと定義することができる。また、図１３の○印の画素は、高域通過フィルタに用いられる画素を示す。また、画素を結ぶ実線は、高域通過フィルタに入力される画素の組み合わせを示す。
　例えば、対象画素１０１に対して水平方向ｅｗに１画素離れた周辺画素１２２’、１２３’の画素値を用いて、対象画素１０１の画素値に高域通過フィルタ処理を適用する。その結果、高域通過フィルタが適用された対象画素１０１ｅｗの画素値が得られる。そして、他の方向に対しても同様の処理を行うことにより、各方向に対して高域通過フィルタが適用された対象画素１０１ｎｓ、１０１ｎｗｓｅ、１０１ｎｅｓｗの画素値が得られる。
　各方向に対して高域通過フィルタを適用することによって、画像中の輪郭線を構成する周波数成分の値を抽出することができる。すなわち、この値が大きい程、当該方向に直交する方向に輪郭線が延びていると推測することができる。
　次に、実施の形態２に係るエッジ方向判定部１１２０は、ステップＳ１２で得られた４つの値と、ステップＳ２２で得られた４つの値とに基づいて、エッジ方向を判定する（Ｓ２３）。具体的には、エッジ方向判定部１１２０は、まず、ステップＳ１２で得られた４つの値のうちの最大値に対応する方向と、ステップＳ２２で得られた４つの値のうちの最大値に対応する方向とが一致するか否かを判定する。そして、ステップＳ１２の最大値に対応する方向と、ステップＳ２２の最大値に対応する方向とが一致する場合、エッジ方向判定部１１２０は、当該方向に直交する方向をエッジ方向と判定する。一方、２つの方向が一致しない場合、エッジ方向判定部１１２０は、エッジが存在しないと判定する。
　上記構成のように、対象画素から２画素離れた周辺画素を用いて行う第１のフィルタ処理で得られるエッジ方向と、対象画素から１画素離れた周辺画素を用いて行う第２のフィルタ処理で得られるエッジ方向とが一致する場合のみ、当該方向をエッジ方向と判定することにより、エッジ方向の判定精度が飛躍的に向上する。
　なお、上記の各実施形態におけるエッジ方向検出部１１００、２１００は、エッジ補正装置１０００、２０００の構成要素として説明したが、他の装置に組み込んでもよいことは言うまでもない。例えば、エッジ方向に沿って画面内予測符号化を行う画像符号化装置に組み込まれて、エッジ方向を検出してもよい。
　（その他の実施形態）
　上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムには限らず、これらの一部から構成されているコンピュータシステムであってもよい。
　上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部又は全てを含むように１チップ化されてもよい。また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記録しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
　以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
　本発明は、画像中のエッジ方向を検出するエッジ方向検出装置、及び検出した方向のエッジを補正するエッジ補正装置に有利に利用される。
　１０１　対象画素
　１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１０２ａ，１０２ｂ，１０３ａ，１０３ｂ，１０４ａ，１０４ｂ，１０５ａ，１０５ｂ，１０６ａ，１０６ｂ，１０７ａ，１０７ｂ，１０８ａ，１０８ｂ，１０９ａ，１０９ｂ，１２２，１２３，１２４，１２５，１２６，１２７，１２８，１２９　周辺画素
　１０００，２０００　エッジ補正装置
　１１００，２１００　エッジ方向検出部
　１１１０　第１のフィルタ部
　１１２０　エッジ方向判定部
　１１３０　第２のフィルタ部
　１２００　エッジ補正部
　１３００　画素データ供給部
　１３０１，１３０２，１３０３，１３０４，１３０５，１３０６　ラインメモリ
　１３１０，１３１１，１３１２，１３１３，１３１４，１３１５，１３１６　画素遅延器
　１３１１ａ，１３１１ｂ，１３１１ｃ，１３１１ｄ，１３１１ｅ，１３１１ｆ　遅延器

Claims (11)

  1. 　画像に含まれるエッジの方向を検出するエッジ方向検出装置であって、
    　それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタ部と、
    　前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定部とを備え、
    　前記第１のフィルタ部は、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する
    　エッジ方向検出装置。
  2. 　前記エッジ方向判定部は、前記第１のフィルタ処理で抽出される隣接する２方向の値の差が閾値以下の場合、当該２方向にエッジが存在しないと判定する
    　請求項１に記載のエッジ方向検出装置。
  3. 　前記第１のフィルタ処理には、４つの方向それぞれについて、
    　当該方向に位置する前記周辺画素の画素値に、前記周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、
    　前記対象画素の画素値に、前記低域通過フィルタが適用された当該方向に位置する前記周辺画素の画素値を用いて、高域通過フィルタを適用する処理とが含まれる
    　請求項１又は２に記載のエッジ方向検出装置。
  4. 　該エッジ方向検出装置は、さらに、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに１画素だけ離れた周辺画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第２のフィルタ処理を適用する第２のフィルタ部を備え、
    　前記エッジ方向判定部は、前記第１のフィルタ処理によって抽出された値が最大となる方向と、前記第２のフィルタ処理によって抽出された値が最大となる方向とが一致する場合に、当該方向に直交する方向をエッジ方向と判定する
    　請求項１～３のいずれか１項に記載のエッジ方向検出装置。
  5. 　前記第２のフィルタ処理には、４つの方向それぞれについて、
    　当該方向に位置する前記周辺画素の画素値に、前記周辺画素と当該方向と直交する方向に隣接する画素の画素値を用いて低域通過フィルタを適用する処理と、
    　前記対象画素の画素値に、前記低域通過フィルタが適用された当該方向に位置する前記周辺画素の画素値を用いて、高域通過フィルタを適用する処理とが含まれる
    　請求項４に記載のエッジ方向検出装置。
  6. 　画像に含まれるエッジを補正するエッジ補正装置であって、
    　それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタ部と、
    　前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定部と、
    　前記対象画素の画素値に、前記対象画素と前記エッジ方向に隣接する周辺画素の画素値を用いて低域通過フィルタを適用するエッジ補正部とを備え、
    　前記第１のフィルタ部は、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する
    　エッジ補正装置。
  7. 　前記エッジ補正部は、前記第１のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くする
    　請求項６に記載のエッジ補正装置。
  8. 　該エッジ補正装置は、さらに、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに１画素だけ離れた周辺画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第２のフィルタ処理を適用する第２のフィルタ部を備え、
    　前記エッジ方向判定部は、前記第１のフィルタ処理によって抽出された値が最大となる方向と、前記第２のフィルタ処理によって抽出された値が最大となる方向とが一致する場合に、当該方向に直交する方向をエッジ方向と判定する
    　請求項６又は７に記載のエッジ補正装置。
  9. 　前記エッジ補正部は、前記第２のフィルタ処理で抽出された最大値が大きい程、低域通過フィルタのフィルタ強度を弱くする
    　請求項８に記載のエッジ補正装置。
  10. 　画像に含まれるエッジの方向を検出するエッジ方向検出方法であって、
    　それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタステップと、
    　前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定ステップとを含み、
    　前記第１のフィルタステップでは、４つの方向それぞれについて、前記対象画素、及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する
    　エッジ方向検出方法。
  11. 　画像に含まれるエッジを補正するエッジ補正方法であって、
    　それぞれが前記画像に含まれる対象画素を通り、且つ等間隔に配置される４つの方向それぞれについて、当該方向に位置する複数の画素の画素値に、前記画像中の輪郭線を構成する周波数成分の値を抽出する第１のフィルタ処理を適用する第１のフィルタステップと、
    　前記第１のフィルタ処理によって抽出された値が最大となる方向に直交する方向をエッジ方向と判定するエッジ方向判定ステップと、
    　前記対象画素の画素値に、前記対象画素と前記エッジ方向に隣接する周辺画素の画素値を用いて、低域通過フィルタを適用するエッジ補正ステップとを含み、
    　前記第１のフィルタステップでは、４つの方向それぞれについて、前記対象画素及び前記対象画素から当該方向の一方側及び他方側それぞれに２画素以上離れた周辺画素の画素値に、前記第１のフィルタ処理を適用する
    　エッジ補正方法。
PCT/JP2012/001883 2011-07-06 2012-03-19 エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法 WO2013005357A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011150356 2011-07-06
JP2011-150356 2011-07-06

Publications (1)

Publication Number Publication Date
WO2013005357A1 true WO2013005357A1 (ja) 2013-01-10

Family

ID=47436725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001883 WO2013005357A1 (ja) 2011-07-06 2012-03-19 エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法

Country Status (1)

Country Link
WO (1) WO2013005357A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311942A (ja) * 1996-05-24 1997-12-02 Nippon Hoso Kyokai <Nhk> 画像方向性検出装置
JP2002262074A (ja) * 2001-02-27 2002-09-13 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2004180171A (ja) * 2002-11-28 2004-06-24 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
JP2007285754A (ja) * 2006-04-13 2007-11-01 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP2010004358A (ja) * 2008-06-20 2010-01-07 Toshiba Corp 画像処理装置および画像処理方法
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311942A (ja) * 1996-05-24 1997-12-02 Nippon Hoso Kyokai <Nhk> 画像方向性検出装置
JP2002262074A (ja) * 2001-02-27 2002-09-13 Ricoh Co Ltd 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JP2004180171A (ja) * 2002-11-28 2004-06-24 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
JP2007285754A (ja) * 2006-04-13 2007-11-01 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP2010004358A (ja) * 2008-06-20 2010-01-07 Toshiba Corp 画像処理装置および画像処理方法
JP2010057157A (ja) * 2008-07-29 2010-03-11 Ricoh Co Ltd 画像処理装置、ノイズ低減方法、プログラム、記憶媒体

Similar Documents

Publication Publication Date Title
JP4815807B2 (ja) Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US20080159649A1 (en) Directional fir filtering for image artifacts reduction
US11463664B2 (en) Universal and adaptive de-mosaicing (CFA) system
JP6046927B2 (ja) 画像処理装置及びその制御方法
US8913842B2 (en) Image smoothing method based on content-dependent filtering
EP2357799B1 (en) Apparatus and method for removing defective pixels
US10250782B2 (en) Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF)
US8948502B2 (en) Image processing method, and image processor
JP5364264B2 (ja) ニューラルネットワークを用いたブロック性欠陥の位置検出
EP2787484B1 (en) Efficient 2D adaptive noise thresholding for video processing
WO2015168893A1 (zh) 一种视频质量检测的方法及装置
JP4868249B2 (ja) 映像信号処理装置
TWI703863B (zh) 視頻品質偵測方法與影像處理電路
WO2013005357A1 (ja) エッジ方向検出装置、エッジ補正装置、エッジ方向検出方法、及びエッジ補正方法
US20110129160A1 (en) Image processing apparatus and image processing method in the image processing apparatus
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
WO2002069263A1 (fr) Procede et appareil pour reduire le bruit d&#39;une image
US9741086B2 (en) Image processing apparatus, image processing method, and storage medium storing program
JP3916041B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに記録媒体
JP2004350104A (ja) 信号処理装置、および電子カメラ
JP2002247412A (ja) 映像信号ノイズ低減方法
JP2009086783A (ja) フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ
JP5861542B2 (ja) ノイズ除去装置及びノイズ除去方法
JP2009206553A (ja) 画像処理装置及び画像処理用プログラム
JP2007520823A (ja) 関連性を示す値の決定

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12807684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12807684

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP