WO2014129209A1 - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
WO2014129209A1
WO2014129209A1 PCT/JP2014/000990 JP2014000990W WO2014129209A1 WO 2014129209 A1 WO2014129209 A1 WO 2014129209A1 JP 2014000990 W JP2014000990 W JP 2014000990W WO 2014129209 A1 WO2014129209 A1 WO 2014129209A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
input image
horizontal
frequency component
vertical
Prior art date
Application number
PCT/JP2014/000990
Other languages
English (en)
French (fr)
Inventor
合志　清一
仁 小笠原
晋一郎 中村
Original Assignee
株式会社計測技術研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社計測技術研究所 filed Critical 株式会社計測技術研究所
Priority to EP14754671.7A priority Critical patent/EP2961151B1/en
Priority to US14/767,690 priority patent/US9374508B2/en
Priority to KR1020157022669A priority patent/KR20150122656A/ko
Priority to CN201480009966.XA priority patent/CN105075232B/zh
Publication of WO2014129209A1 publication Critical patent/WO2014129209A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for improving an image quality by sharpening an image.
  • an image processing apparatus and an image suitable for sharpening a moving image displayed in real time on a television (TV) receiver It relates to the processing method.
  • HDTV High Definition Television, 1080 ⁇ 1920 pixel
  • an image signal whose resolution is less than HDTV is enlarged and displayed
  • the image is displayed in a blurred manner.
  • an image signal having HDTV resolution is enlarged to a higher definition (for example, 4K resolution of about 4000 ⁇ 2000 pixels)
  • the image is displayed in a blurred manner.
  • contour compensation is performed to make the rise and fall of a video signal corresponding to the contour portion of a displayed image sharp.
  • a high-frequency component of an input image signal luminance signal
  • the high-frequency component is amplified and added to the input image signal, thereby improving visual image quality.
  • sharpening processing is applied to the high-frequency components in the horizontal and vertical directions of the image, causing a phenomenon in which diagonal lines appear glare in the image after sharpening processing.
  • the Nyquist frequency is exceeded by nonlinear processing. This tends to be a problem in sharpening processing that generates high frequency components.
  • FIG. 19 is a diagram showing a configuration in which sharpening processing for generating a high frequency component exceeding the Nyquist frequency is continuously performed in the vertical direction and the horizontal direction
  • FIG. 20 is a diagram showing frequency components of signals at each stage. is there.
  • FIG. 20A shows frequency components of the input image signal S in of a digital image whose horizontal sampling frequency is fh and whose vertical sampling frequency is fv.
  • the Nyquist frequency of the digital image is fh / 2 in the horizontal direction and fv / 2 in the vertical direction, and there is no frequency component in the range exceeding the Nyquist frequency, as shown.
  • FIG. 22 is a diagram illustrating an example of frequency characteristics of a two-dimensional filter. As illustrated, the two-dimensional filter has a characteristic of attenuating high-frequency components in the horizontal and vertical directions of the input image signal Sin.
  • FIG. 23 is a diagram illustrating frequency components of a signal at each stage of the circuit of FIG. In the circuit of FIG. 21, the frequency components in the horizontal direction of the sampling frequency fh, when the vertical sampling frequency subjected to the two-dimensional filter to the input image signal S in the digital image is fv, first signal S1 after filtering As shown in FIG. 23B, the high-frequency components in the horizontal and vertical directions are attenuated.
  • the second signal S2 after the sharpening process becomes a signal whose frequency component is expanded in the horizontal direction as shown in FIG.
  • the third signal S3 after the sharpening process has a vertical frequency component as shown in FIG. The signal is expanded in the direction. Then, the signals before and after the vertical sharpening process are combined by an adder at the subsequent stage, and an output image signal Sout is output.
  • the output image signal S out generated by the circuit of FIG. 21 is, as shown in FIG. 23 (e), the four corners of the frequency component of the output image signal S out , that is, a region where both the horizontal and vertical directions have high frequencies.
  • FIG. 20 since harmonics are further generated in the vertical direction with respect to the signals in which the harmonics are generated in the horizontal direction, the degree of deterioration is less than that of the signal in FIG. There is a problem that it is easy to become. Further, here, if the passing area of the two-dimensional filter is set narrow in order to remove the glare / flickering feeling, there is a problem that the effective sharpening cannot be performed because the signal components used for sharpening are reduced.
  • An object of the present invention is to provide an image processing apparatus and an image processing method.
  • an image processing apparatus is an image processing apparatus that generates a frequency component higher than a frequency component included in an input image signal representing an input image and sharpens the input image.
  • a vertical filter that removes a high-frequency portion of the vertical frequency component of the input image signal at least in a high-frequency portion of the horizontal direction included in the input image signal, and a higher frequency component than the horizontal frequency component included in the input image signal.
  • a horizontal sharpening processing unit that generates horizontal harmonics, a horizontal filter that removes a high-frequency part of a horizontal frequency component of the input image signal at least in a vertical high-frequency part included in the input image signal, and an input
  • a vertical sharpening processing unit for generating vertical harmonics including frequency components higher than the vertical frequency components included in the image signal;
  • the horizontal processing unit in which the vertical filter is arranged in front of the horizontal sharpening processing unit and the vertical processing unit in which the horizontal filter is arranged in front of the vertical sharpening processing unit are connected in parallel.
  • an amplifier connected to a subsequent stage of either one of the horizontal direction processing unit and the vertical direction processing unit connected in parallel and the other preceding stage, and sharpens an input image.
  • the amplification factor ⁇ of the amplifier is preferably 0 ⁇ ⁇ ⁇ 1.
  • An image processing apparatus is an image processing apparatus that generates a frequency component higher than a frequency component included in an input image signal representing an input image to sharpen the input image, and is included in at least the input image signal.
  • a vertical filter that removes the high-frequency portion of the vertical frequency component of the input image signal and a horizontal harmonic that includes a higher frequency component than the horizontal frequency component included in the input image signal.
  • a vertical sharpening processing unit for generating a vertical harmonic including a frequency component higher than the frequency component of the horizontal sharpening At least one of the processing unit and the vertical sharpening processing unit includes a filter unit that generates a first signal by removing at least a DC component of a frequency component included in an input signal, and the first signal with respect to the first signal.
  • a non-linear processing unit that generates a second signal by performing non-linear processing that is asymmetrical depending on whether the signal is positive or negative, and for the first signal, non-linear processing applied to a positive region and non-linear processing applied to a negative region; Is expressed as a continuous function passing through the origin, and the non-linear processing unit for performing non-linear processing in which the band of the frequency component generated by the non-linear processing becomes asymmetric in the positive region and the negative region, and adjusting the second signal
  • a horizontal direction processing unit in which the vertical filter is disposed in front of the horizontal sharpening processing unit, and the horizontal filter in front of the vertical sharpening processing unit.
  • a vertical section that is location is intended to sharpen the connected input image in series or in parallel.
  • An image processing apparatus is an image processing apparatus that generates a frequency component higher than a frequency component included in an input image signal representing an input image to sharpen the input image, and is included in at least the input image signal.
  • a vertical filter that removes the high-frequency portion of the vertical frequency component of the input image signal and a horizontal harmonic that includes a higher frequency component than the horizontal frequency component included in the input image signal.
  • a vertical sharpening processing unit for generating a vertical harmonic including a frequency component higher than the frequency component of the horizontal sharpening At least one of the processing unit and the vertical sharpening processing unit is a non-linear processing unit that performs non-linear processing on an input signal to generate a first signal, and the non-linear function in which the first signal is continuous with respect to the input signal.
  • a non-linear processing unit that performs non-linear processing that generates a frequency component that is not included in the input signal, and generates a second signal by removing at least a DC component of the frequency component included in the first signal.
  • a horizontal direction processing unit including a filter unit and a limiter that adjusts the second signal to generate a third signal, wherein the vertical filter is disposed in front of the horizontal sharpening processing unit, and the vertical sharpening
  • a vertical direction processing unit in which the horizontal filter is arranged in front of the processing unit is connected in series or in parallel to sharpen the input image.
  • a field change detection unit that detects the movement of the input image signal is provided, and the field change detection unit increases the frequency component enhancement degree by the vertical sharpening processing unit when the amount of movement of the input image signal in the vertical direction is large. It is preferable to lower the frequency component enhancement degree by the horizontal sharpening processing unit when the horizontal movement amount of the input image signal is large.
  • an image processing method is an image processing apparatus that generates a frequency component higher than a frequency component included in an input image signal representing an input image and sharpens the input image.
  • the processing procedure in the image processing apparatus removes a high-frequency portion of a frequency component in the vertical direction of the input image signal at least in a high-frequency portion in the horizontal direction included in the input image signal,
  • the amplification factor ⁇ is preferably 0 ⁇ ⁇ ⁇ 1.
  • An image processing method is an image processing method in an image processing apparatus that sharpens an input image by generating a frequency component higher than a frequency component included in an input image signal representing the input image,
  • the processing procedure in the processing apparatus is higher than the horizontal frequency component included in the input image signal by removing the high frequency portion of the vertical frequency component of the input image signal at least in the horizontal high frequency portion included in the input image signal.
  • An image processing method is an image processing method in an image processing apparatus that sharpens an input image by generating a frequency component higher than a frequency component included in an input image signal representing the input image,
  • the processing procedure in the processing apparatus is higher than the horizontal frequency component included in the input image signal by removing the high frequency portion of the vertical frequency component of the input image signal at least in the horizontal high frequency portion included in the input image signal.
  • at least one of the horizontal processing step and the vertical processing step is a non-linear processing step for generating a first signal by performing non-linear processing on the input signal, and A non-linear processing step for performing non-linear processing in which the first signal is represented as a continuous non-linear function and generating a frequency component not included in the input signal; and at least a DC component of the frequency component included in the first signal is removed
  • Generating a second signal and adjusting the second signal to generate a third signal and executing the vertical processing step and the horizontal processing step in series or in parallel.
  • the enhancement of the frequency component by the vertical processing step is lowered, and the amount of motion of the input image signal in the horizontal direction is large. It is sometimes preferable to include a step of reducing the enhancement degree of the frequency component by the horizontal processing step.
  • the frequency component is generated by the overlapping of the horizontal and vertical sharpening processes in a frequency region that exceeds both the horizontal and vertical frequency components of the input image. Therefore, it is possible to sharpen the image without any problem, and the glare / flickering feeling of the image can be reduced.
  • FIG. 1 is a diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention.
  • the image processing apparatus uses a frequency component in the horizontal direction (horizontal direction and main scanning direction) and a frequency component in the vertical direction (vertical direction and sub-scanning direction) of the image.
  • it is an apparatus that performs a sharpening process for sharpening an image.
  • the sharpening process performed by the image processing apparatus is a signal corresponding to a contour portion (edge) included in an input image by performing a non-linear operation on a signal representing the input image (hereinafter referred to as an input image signal). Is a process in which the rise and fall of the signal are highly steep (enhanced).
  • the sharpening process performed by the image processing apparatus of the present invention can add a high frequency component that cannot be used in a sharpening process using a linear operation such as a conventional amplification process to an image signal. (Strong) can be sharpened.
  • sharpening processing unit which is a main component of an image processing apparatus in each embodiment described later.
  • the sharpening processing unit may be either a horizontal sharpening processing unit or a vertical sharpening processing unit, which will be described later.
  • horizontal sharpening processing unit and the vertical sharpening processing unit are not distinguished from each other, they are simply expressed as “sharpening processing unit”.
  • FIG. 1 is a block diagram showing a first configuration example of the sharpening processing unit FE of the present invention.
  • the sharpening processor FE is the input image signal S in input from the outside as a digital signal representing an image, a processing performed apparatus for sharpening an image represented by the input image signal S in, An HPF 10 (high-pass filter), a nonlinear processing unit 20 (asymmetric nonlinear function), and a limiter 30 are provided.
  • the image represented by the input image signal S in may be a still image or a moving image.
  • the moving image is, for example, a standard definition television (SDTV: Standard Definition). It may be a moving image displayed in real time on a television (High Definition Television) or a high definition television (HDTV) receiver.
  • SDTV Standard Definition
  • HDTV high definition television
  • each component is described with respect to the waveform of the signal level in the horizontal direction of the image.
  • the waveform of the signal level in the vertical direction of the image or the waveform of the signal level in the time direction between images in the moving image can perform a sharpening process by a process equivalent to that in the horizontal direction.
  • FIG. 2A is a diagram showing a waveform of the signal level in the horizontal direction of the input image signal Sin, and particularly shows a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • the resolution of the input image signal S in which corresponds to the output image signal S out of the resolution
  • the input image signal S in when the resolution of the output image is higher than the resolution of the original input image, the input image signal S in the original input
  • the image resolution is up-converted to the resolution of the output image signal Sout .
  • the input image signal S in is a signal obtained by converting the original SDTV image into an HDTV resolution by an existing linear conversion.
  • the HPF 10 generates a first signal S1 that is a high-frequency signal by removing at least a DC component of the frequency component included in the input image signal Sin. Specifically, the HPF 10 extracts a high frequency component including a contour component in the image represented by the input image signal Sin, and the first signal S1 in FIG. 2B is extracted from the input image signal Sin in FIG. To extract.
  • FIG. 3 is a block diagram showing the configuration of the HPF 10.
  • the HPF 10 includes m taps (m ⁇ 1) including m ⁇ 1 unit delay elements 111 to 11 (m ⁇ 1), m multipliers 121 to 12m, and one adder 131.
  • m can be configured as a transversal digital filter.
  • FIG. 4 is a diagram illustrating an example of a high-pass filter configured by a low-pass filter.
  • the HPF 10 shown in FIG. 1 can be realized by the configuration using the low-pass filter (hereinafter referred to as “LPF”) 11 and the subtractor 12.
  • LPF low-pass filter
  • the non-linear processing unit 20 generates the second signal S2 by performing non-linear processing that is asymmetrical with respect to the first signal S1 with respect to the first signal S1.
  • the first signal S1 includes a positive contour component and a negative contour component.
  • the positive direction and the negative direction of the first signal S1 are respectively the white direction and the black direction in terms of pixels, and are different (asymmetric) instead of applying the same (symmetric) nonlinear processing in both directions.
  • the nonlinear processing unit 20 performs different (asymmetrical) nonlinear processing on the positive direction contour component and the negative direction contour component of the first signal S1.
  • asymmetric non-linear processing in which the first signal S1 is asymmetric with respect to positive and negative is referred to as “asymmetric non-linear processing”.
  • the values of the nonlinear processing applied to the positive region and the nonlinear processing applied to the negative region are continuous around the origin of the first signal S1 (a point where the value becomes zero). Any non-linear processing can be combined as long as it is.
  • 2C is a diagram illustrating a waveform of the second signal S2 by the asymmetric nonlinear processing by the nonlinear processing unit 20.
  • the second signal S2 has a large positive waveform. Further, as will be described later, it is possible to generate a frequency component that is asymmetric between positive and negative by performing non-linear processing that is asymmetric between positive and negative.
  • the nonlinear processing unit 20 performs nonlinear processing in which the first signal S1 is asymmetrical depending on whether the first signal S1 is positive or negative, an image sharpening process suitable for human perceptual characteristics can be performed as described later.
  • Weber-Fechner's law is known as a law based on human senses.
  • this rule is applied to image recognition, it can be said that the contour in the low luminance region is more easily perceived than the contour in the high luminance region. Therefore, for example, the nonlinear processing unit 20 applies the processing of the nonlinear processing unit 20 to the region where the signal level (luminance) is low, so that even if the edge component before processing is very small, It is possible to perceive the contour by enhancing the edge component.
  • the non-linear processing unit 20 greatly amplifies the positive waveform so that the contour of the high luminance region is sharpened, the contour can be more easily perceived in the high luminance region. In any region, it is possible to generate a high frequency component by nonlinear processing.
  • the asymmetric nonlinear process by the nonlinear processing unit 20 is not limited to the combination of the square process and the cube process, and other nonlinear processes can be performed.
  • the non-linear processing in the positive and negative regions of the first signal S1 can be expressed by Expression (1).
  • the non-linear processing by each processing unit includes all powers of general rational numbers represented by p / q.
  • the sign of the first signal S1 is maintained. For example, even when the even power (for example, the square) is performed as the power process, the first signal S1 is negative.
  • +1)), and a gamma correction function (for example, S2 S1 1 / ) for the asymmetric nonlinear processing.
  • Various nonlinear functions such as 2 ) can be used in appropriate combinations.
  • the nonlinear processing unit 20 holds an addition value for each signal level of the first signal S1 in advance in a table or the like, for example, an 8-bit signal level that takes a value from the minimum value 0 to the maximum value 255.
  • the limiter 30 functions as an adjuster of the amplitude (signal level) of the second signal S2, and adjusts the second signal S2 to generate an output image signal Sout . Specifically, clipping is performed so that the amplitude of the second signal S2 is less than or equal to a predetermined upper limit value, or the second signal S2 is multiplied by a gain ⁇ satisfying 0 ⁇ ⁇ ⁇ 1. The gain of the level of S2 is adjusted. Further, the limiter 30 can also perform a rounding process in which a signal value equal to or lower than a predetermined lower limit value in the second signal S2 is set to 0 for noise removal. The limiter 30 outputs the second signal S2 subjected to clip processing, gain adjustment, rounding processing, and the like as an output image signal Sout .
  • An adder not shown, by adding the input image signal S in shown in FIG. 2 (A) an output image signal S out shown in FIG. 2 (C) as a compensation signal for image sharpening, A signal shown in FIG. 2D is generated.
  • the rise change of the edge portion in this signal (S in + S out ) is steeper than the rise change of the edge portion of the input image signal S in . That is, it is possible to obtain a sharp image than the input image signal S in.
  • FIG. 5 is a block diagram showing a second configuration example of the sharpening processing unit of the present invention.
  • the sharpening processing unit FE includes a non-linear processing unit 40 (non-linear function), the HPF 10, and a limiter 30.
  • the operation of each component and the output waveform will be described using the waveform of the signal level (luminance value) in the horizontal direction of the image shown in FIG. 6 as an example.
  • each component can also perform a sharpening process with a process equivalent to that in the horizontal direction for the waveform of the signal level in the vertical direction of the image and the waveform of the signal level in the time direction between images in a moving image. .
  • FIG. 6A is a diagram showing a waveform of the signal level in the horizontal direction of the input image signal Sin, and particularly shows a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • Nonlinear processing unit 40 generates a first signal S1 by performing nonlinear processing on the input image signal S in.
  • the non-linear processing by the non-linear processing unit 40 is intended to sharpen the contour of the image.
  • the input image signal S in shown in FIG. 6 (A) is represented as shown in FIG. 6 (B).
  • the first signal S1 is processed, and processing for making the rising edge rise sharply at the signal level is performed.
  • the process of generating the first signal S1 from the input image signal S in by the nonlinear processing unit 40 can be generalized by Expression (2).
  • the non-linear processing by the non-linear processing unit 40 includes all the powers of general rational numbers represented by p / q.
  • the signal level of each pixel takes a value from 0 to 255.
  • the non-linear processing unit 40 squares the input image signal S in , as shown in FIG. 6B, the rising edge of the edge portion becomes abrupt, so that the contour of the image is further emphasized. become.
  • Nonlinear processing for generating a power root of the input image signal S in the first signal S1 is suitable to the contour extraction based on human perception characteristics.
  • Weber-Fechner's law is known as a law based on human senses.
  • the non-linear processing unit 40 calculates X ′, which is a value obtained by normalizing the pixel value X of the m-bit digital signal, using Equation (3).
  • the value of X ′ after normalization according to equation (3) is a value between 0 and 1.
  • the nonlinear processing unit 40 calculates the value Y after nonlinear processing by applying the gamma correction function expressed by the equation (4) to X ′ after normalization.
  • Equation (4) when the value of X ′ is small, the value of Y after nonlinear processing is raised higher than X ′. That is, a pixel with low luminance is raised more than a pixel with high luminance. Accordingly, for example, in edge sharpening illustrated in FIG. 6B, an edge emphasis component in a particularly low-luminance region is increased, so that the contour of an image in a particularly low-luminance region is further emphasized.
  • the HPF 10 generates a second signal S2 that is a high-frequency signal by removing at least a direct current component of the frequency component included in the first signal S1. Specifically, HPF 10, as a process of extracting a high frequency component including a contour component of the image obtained the input image signal S in by non-linear processing, from the first signal S1 in FIG. 6 (B), the Fig. 6 ( The second signal S2 of C) is extracted.
  • the limiter 30 functions as an adjuster of the amplitude (signal level) of the second signal S2, and adjusts the second signal S2 to generate an output image signal Sout .
  • the limiter 30 outputs the second signal S2 subjected to clip processing, gain adjustment, rounding processing, and the like as an output image signal Sout .
  • An adder not shown, by adding the input image signal S in shown in FIG. 6 (A) an output image signal S out shown in FIG. 6 (C) as a compensation signal for image sharpening, The signal shown in FIG. 6D is generated.
  • the rise change of the edge portion in this signal (S in + S out ) is steeper than the rise change of the edge portion of the input image signal S in . That is, it is possible to obtain a sharp image than the input image signal S in.
  • an image processing apparatus that includes the above-described sharpening processing unit FE and sharpens frequency components in the horizontal direction (lateral direction and main scanning direction) and vertical direction (vertical direction and sub-scanning direction) of an image.
  • the input image signal S in in each embodiment is assumed to have a horizontal sampling frequency of fh, a vertical sampling frequency of fv, and a Nyquist frequency of fh / 2 in the horizontal direction and fv / 2 in the vertical direction.
  • FIG. 7 is a diagram showing a configuration of the image processing apparatus 1 according to the first embodiment of the present invention.
  • the image processing apparatus 1 includes a vertical LPF 13 (vertical filter) and a horizontal LPF 14 (horizontal filter), a horizontal sharpening processing unit FEh and a vertical sharpening processing unit FEv, and a first adder 15 and a second adder 16. .
  • the image processing apparatus 1 uses a configuration in which the vertical LPF 13 is disposed in the previous stage of the horizontal sharpening processing unit FEh as a horizontal processing unit, and a configuration in which the horizontal LPF 14 is disposed in the previous stage of the vertical sharpening processing unit FEv. Then, the horizontal direction processing unit and the vertical direction processing unit are connected in series.
  • FIG. 8 is a diagram illustrating frequency components of an image represented by signals output from the functional blocks of the image processing apparatus 1. Hereinafter, the processing of each functional block will be described together with the frequency components of FIG.
  • FIG. 8B is a diagram illustrating frequency components of the first signal S1.
  • a high frequency component is attenuated in the vertical direction by the vertical LPF 13. Note that the high-frequency portion or high frequency referred to here is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • those skilled in the art can appropriately set them.
  • the horizontal sharpening processing unit FEh generates a horizontal harmonic including a higher frequency component than the horizontal frequency component included in the input image signal Sin, and is represented by the first signal S1 from the vertical LPF 13. Sharpening processing is performed in the horizontal direction of the image to be output, and the second signal S 2 is output to the first adder 15.
  • FIG. 8C shows the frequency component of the second signal S2.
  • the horizontal sharpening processing unit FEh generates horizontal harmonics including frequency components that exceed the Nyquist frequency in the horizontal direction.
  • the first adder 15 generates a third signal S3 by adding the second signal S2 from the input image signal S in a horizontal sharpening processor FEh.
  • FIG. 8D is a diagram illustrating frequency components of the third signal S3.
  • the third signal S3, the frequency component of the input image signal S in takes the form plus the horizontal harmonics including frequency components above the Nyquist frequency in the horizontal direction, in particular, frequency components above the Nyquist frequency in the horizontal direction
  • the horizontal harmonics including are not generated in the vertical high-frequency region.
  • the horizontal LPF 14 removes a high frequency portion of the horizontal frequency component of the third signal S3, partially attenuates the high frequency portion of the horizontal component of the third signal S3, and vertically sharpens the fourth signal S4.
  • FIG. 8E shows the frequency component of the fourth signal S4.
  • a high frequency component is attenuated in the horizontal direction by the horizontal LPF 14. Note that the high-frequency portion or high frequency referred to here is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • those skilled in the art can appropriately set.
  • the vertical sharpening processing unit FEv generates a vertical harmonic including a higher frequency component than the vertical frequency component included in the input image signal Sin, and is represented by the fourth signal S4 from the horizontal LPF 14. Sharpening processing is performed in the vertical direction of the image to be output, and the fifth signal S 5 is output to the second adder 16.
  • FIG. 8F shows the frequency component of the fifth signal S5.
  • the vertical sharpening processing unit FEv generates vertical harmonics including frequency components exceeding the Nyquist frequency in the vertical direction.
  • FIG. 8G is a diagram illustrating frequency components of the output image signal Sout .
  • the output image signal Sout has a form in which a harmonic component including a frequency component exceeding the Nyquist frequency is added to the frequency component of the input image signal Sin in the horizontal direction and the vertical direction. The horizontal direction and the vertical direction are not generated in the region where the high frequency is used.
  • the vertical LPF 13 is disposed in front of the horizontal sharpening processing unit FEh
  • the horizontal LPF 14 is disposed in front of the vertical sharpening processing unit FEv. It is possible to sharpen an image without generating frequency components due to overlapping of horizontal and vertical sharpening processes in a frequency region that exceeds both frequency components in the vertical direction, thereby reducing glare / flickering of the image.
  • filters including a two-dimensional filter described later
  • filters that are narrowed down to each required band in horizontal harmonic generation and vertical harmonic generation can be individually selected, so that there is no sense of noise. Good harmonics in each of the horizontal direction and the vertical direction can be obtained, and a sharp image can be sharpened.
  • the image processing apparatus 1 can be realized with the simple configuration shown in FIG. 7, the image processing apparatus 1 can be used as a high-definition television (HDTV) or standard definition television (SDTV) receiver. By using it, not only a still image but also a moving image displayed in real time can improve the image quality without causing a large cost increase.
  • HDMI high-definition television
  • SDTV standard definition television
  • this embodiment can also compensate for a high frequency region exceeding the Nyquist frequency, it is particularly effective in improving image quality by sharpening an image represented by an image signal subjected to enlargement processing.
  • SDTV standard definition television
  • HDTV high definition television
  • the present embodiment displays the image in real time. This has a great effect in that the moving image can be sufficiently sharpened with a simple configuration.
  • a display having a pixel number of about 4000 ⁇ 2000 hereinafter referred to as “4k display”
  • 4k display a display having a pixel number of about 4000 ⁇ 2000
  • the present embodiment has a great effect in the same way.
  • the order of the sharpening processing in the horizontal direction and the vertical direction may be switched. That is, the configuration related to the horizontal sharpening process (vertical LPF 13, horizontal sharpening processing unit FEh, first adder 15) and the configuration related to the vertical direction sharpening processing (horizontal LPF 14, vertical sharpening processing unit FEv,
  • the input image signal S in can be processed by changing the order with the second adder 16).
  • a two-dimensional filter may be used instead of the vertical LPF 13 and the horizontal LPF 14.
  • a two-dimensional filter that removes the high-frequency portion of the frequency component in the vertical direction of the input image signal Sin at least in the high-frequency portion in the horizontal direction included in the input image signal Sin is provided in the previous stage of the horizontal sharpening processing unit FEh. Is preferably used.
  • the high frequency portion in the direction perpendicular to the front of the vertical sharpening processor FEv is included in at least the input image signal S in, using the two-dimensional filter to remove the high frequency part of the horizontal frequency component of the input image signal S in It is preferable.
  • the high-frequency portion or high frequency referred to here is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • the sharpening characteristics of the sharpening processing units (FEv, FEh) subsequent to the two-dimensional filters those skilled in the art can appropriately set them.
  • a two-dimensional filter may be further provided in the subsequent stage of the second adder 16 to attenuate the high frequency component more reliably.
  • Such a two-dimensional filter preferably removes a region in which the horizontal direction and the vertical direction have high frequencies from the frequency component of the output image signal Sout .
  • FIG. 9 is a diagram showing the configuration of the image processing apparatus 2 according to the second embodiment of the present invention.
  • the image processing apparatus 2 includes functional blocks equivalent to the image processing apparatus 1 of the first embodiment, and the arrangement of the vertical LPF 13 and the horizontal LPF 14 is different from that of the first embodiment.
  • the overlapping description is abbreviate
  • the input image signal S in will pass through the vertical LPF13 and horizontal LPF 14, with each LPF performs high frequency removed for sharpening process, included in the input image signal S in itself
  • the high frequency component to be attenuated can be attenuated.
  • Such an arrangement such as when the noisy high frequency component of the input image signal S in, which is particularly effective when required noise reduction of the entire input image signal S in.
  • the order of the sharpening processing in the horizontal direction and the vertical direction may be switched in the image processing apparatus 2.
  • the vertical LPF 13 and the horizontal LPF 14 corresponding two-dimensional filters may be used.
  • a two-dimensional filter may be provided after the second adder 16 to attenuate the high frequency component more reliably.
  • FIG. 10 is a diagram showing the configuration of the image processing apparatus 3 according to the third embodiment of the present invention.
  • the image processing apparatus 3 includes a vertical LPF 13 and a horizontal LPF 14, a horizontal sharpening processing unit FEh and a vertical sharpening processing unit FEv, and a first adder 15 and a second adder 16.
  • the image processing apparatus 3 uses a configuration in which the vertical LPF 13 is arranged in the preceding stage of the horizontal sharpening processing unit FEh as a horizontal processing unit, and a configuration in which the horizontal LPF 14 is arranged in the preceding stage of the vertical sharpening processing unit FEv. Then, the horizontal processing unit and the vertical processing unit are connected in parallel.
  • FIG. 11 is a diagram illustrating frequency components of signals output from the functional blocks of the image processing apparatus 3. Hereinafter, the processing of each functional block will be described together with the frequency components of FIG.
  • FIG. 11B is a diagram illustrating frequency components of the first signal S1.
  • a high frequency component is attenuated in the vertical direction by the vertical LPF 13. Note that the high-frequency portion or high frequency referred to here is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • those skilled in the art can appropriately set.
  • the horizontal sharpening processing unit FEh generates a horizontal harmonic including a higher frequency component than the horizontal frequency component included in the input image signal Sin, and is represented by the first signal S1 from the vertical LPF 13. Sharpening processing is performed in the horizontal direction of the image to be output, and the second signal S 2 is output to the first adder 15.
  • FIG. 11C shows the frequency component of the second signal S2.
  • the horizontal sharpening processing unit FEh generates horizontal harmonics including frequency components that exceed the Nyquist frequency in the horizontal direction.
  • Horizontal LPF14 is to remove the high frequency part of the horizontal frequency component of the input image signal S in, partially attenuates the high band in the horizontal direction component of the input image signal S in, the third signal S3 vertical Output to the sharpening processing unit FEv.
  • FIG. 11D shows the frequency component of the third signal S3.
  • a high frequency component is attenuated in the horizontal direction by the horizontal LPF 14. Note that the high-frequency portion or high frequency referred to here is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • those skilled in the art can appropriately set.
  • the vertical sharpening processing unit FEv generates a vertical harmonic including a frequency component higher than the vertical frequency component included in the input image signal Sin, and is represented by the third signal S3 from the horizontal LPF 14. Sharpening processing is performed in the vertical direction of the image to be output, and the fourth signal S 4 is output to the first adder 15.
  • FIG. 11E shows the frequency component of the fourth signal S4.
  • the vertical sharpening processing unit FEv generates vertical harmonics including frequency components exceeding the Nyquist frequency in the vertical direction.
  • the first adder 15 adds the second signal S2 from the horizontal sharpening processing unit FEh and the fourth signal S4 from the vertical sharpening processing unit FEv to generate a fifth signal S5.
  • FIG. 11F is a diagram illustrating frequency components of the fifth signal S5.
  • FIG. 11G is a diagram illustrating frequency components of the output image signal Sout .
  • the output image signal Sout has a form in which a harmonic component including a frequency component exceeding the Nyquist frequency is added to the frequency component of the input image signal Sin in the horizontal direction and the vertical direction. The horizontal direction and the vertical direction are not generated in the region where the high frequency is used.
  • the vertical LPF 13 is disposed in front of the horizontal sharpening processing unit FEh
  • the horizontal LPF 14 is disposed in front of the vertical sharpening processing unit FEv. It is possible to sharpen an image without generating frequency components due to overlapping of horizontal and vertical sharpening processes in a frequency region that exceeds both frequency components in the vertical direction, thereby reducing glare / flickering of the image.
  • filters including a two-dimensional filter described later
  • filters that are narrowed down to each required band in horizontal harmonic generation and vertical harmonic generation can be individually selected, so that there is no sense of noise. Good harmonics in each of the horizontal direction and the vertical direction can be obtained, and a sharp image can be sharpened.
  • the image processing device 3 may be configured to further include a two-dimensional filter in the subsequent stage of the second adder 16 so as to attenuate the high frequency component more reliably.
  • a two-dimensional filter preferably removes a region in which the horizontal direction and the vertical direction have high frequencies from the frequency component of the output image signal Sout .
  • FIG. 12 is a diagram showing a configuration of an image processing apparatus 4 according to the fourth embodiment of the present invention.
  • the image processing apparatus 4 according to the fourth embodiment includes a first two-dimensional filter 21 and a second two-dimensional filter 22, a horizontal sharpening processing unit FEh and a vertical sharpening processing unit FEv, and an amplifier 17 (switcher). ), A first adder 15, a second adder 16, and a third adder 18.
  • the image processing apparatus 4 uses a configuration in which the first two-dimensional filter 21 is arranged in the previous stage of the horizontal sharpening processing unit FEh as a horizontal direction processing unit, and the second two-dimensional filter 22 in the previous stage of the vertical sharpening processing unit FEv.
  • a switch (amplifier 17) connected to a subsequent stage of the horizontal processing unit and a front stage of the vertical processing unit is set, and the setting (amplification) of the amplifier 17 as a switch is provided.
  • the parallel connection and series connection of the horizontal processing unit and the vertical processing unit are switched by the rate ⁇ ).
  • the amplification factor ⁇ of the amplifier 17 is a value in the range of 0 ⁇ ⁇ ⁇ 1, when the amplification factor ⁇ is 0 ⁇ ⁇ 1, the amplifier 17 is connected either in parallel or in series. Instead of switching strictly to one of them, a circuit configuration including parallel connection and series connection can be employed.
  • FIG. 13 is a diagram illustrating frequency characteristics of a desirable two-dimensional filter according to the present embodiment.
  • FIG. 13A shows the frequency characteristic of the first two-dimensional filter 21
  • FIG. 13B shows the frequency characteristic of the second two-dimensional filter 22.
  • the first two-dimensional filter 21 and the second two-dimensional filter 22 are effective by sharpening processing, which will be described later, for signal components near the Nyquist frequency limits at the four corners in the two-dimensional frequency spectrum of the input image signal Sin. It has a characteristic capable of generating harmonics.
  • the first two-dimensional filter 21 removes a high frequency portion of a frequency component in the vertical direction of the input image signal S in at least in a high frequency portion in the horizontal direction included in the input image signal S in .
  • the second two-dimensional filter 22 removes a high-frequency portion of a frequency component in the horizontal direction of the input image signal Sin at least in a high-frequency portion in the vertical direction included in the input image signal Sin.
  • the high-frequency portion referred to here is one that is removed or attenuated in order to prevent generation of high-frequency components due to sharpening processing in a region where both the horizontal and vertical directions that cause glare are high frequencies.
  • those skilled in the art can appropriately set the sharpening characteristic of the sharpening processing unit (FEv, FEh) at the latter stage of the two-dimensional filter.
  • the amplification factor ⁇ of the amplifier 17 can be set in the range of 0 ⁇ ⁇ ⁇ 1.
  • the configuration of the image processing device 4 is a configuration in which the horizontal and vertical sharpening processes are performed in parallel as in the third embodiment, and when the amplification factor ⁇ is 1,
  • the configuration of the processing device 4 is a configuration in which the horizontal and vertical sharpening processes are performed in series as in the first embodiment.
  • the amplification factor beta is 0 ⁇ ⁇ 1
  • the order and the frequency component due to parallel processing with the frequency component by serial processing is generated, by setting the amplification factor beta in accordance with the characteristics of the input image signal S in, series It becomes possible to combine the frequency components by the processing and the parallel processing to perform more appropriate sharpening processing.
  • FIG. 14 is a diagram illustrating frequency components of signals output by the functional blocks when the amplification factor ⁇ of the amplifier 17 is zero.
  • the first two-dimensional filter 21 removes a high-frequency portion of a frequency component in the vertical direction of the input image signal Sin at least in a high-frequency portion in the horizontal direction included in the input image signal Sin. the high frequency vertical components of the in partially attenuated, and outputs a first signal S1 to the horizontal sharpening processor FEh.
  • FIG. 14B is a diagram illustrating frequency components of the first signal S1. The first two-dimensional filter 21 attenuates the high frequency component in the vertical direction.
  • the horizontal sharpening processing unit FEh generates a horizontal harmonic including a frequency component higher than the horizontal frequency component included in the input image signal S in, and the first sharpening processing unit FEh receives the first harmonic from the first two-dimensional filter 21. Sharpening processing is performed in the horizontal direction of the image represented by the signal S 1, and the second signal S 2 is output to the first adder 15 and the amplifier 17.
  • FIG. 14C shows the frequency component of the second signal S2.
  • the horizontal sharpening processing unit FEh generates horizontal harmonics including frequency components that exceed the Nyquist frequency in the horizontal direction.
  • the second two-dimensional filter 22 removes a high-frequency portion of a frequency component in the horizontal direction of the input image signal S in at least in a high-frequency portion in the vertical direction included in the input image signal S in.
  • the high frequency of the horizontal component of the sixth signal S6 that is in is partially attenuated, and the third signal S3 is output to the vertical sharpening processing unit FEv.
  • FIG. 14D shows the frequency component of the third signal S3.
  • the second two-dimensional filter 22 attenuates the high frequency component in the horizontal direction.
  • the vertical sharpening processing unit FEv generates a harmonic in the vertical direction including a frequency component higher than the frequency component in the vertical direction included in the input image signal S in , and the third sharpening processing unit FEv outputs the third harmonic from the second two-dimensional filter 22. Sharpening processing is performed in the vertical direction of the image represented by the signal S ⁇ b> 3, and the fourth signal S ⁇ b> 4 is output to the first adder 15.
  • FIG. 14E is a diagram illustrating frequency components of the fourth signal S4.
  • the vertical sharpening processing unit FEv generates vertical harmonics including frequency components exceeding the Nyquist frequency in the vertical direction.
  • the first adder 15 adds the second signal S2 from the horizontal sharpening processing unit FEh and the fourth signal S4 from the vertical sharpening processing unit FEv to generate a fifth signal S5.
  • FIG. 14F shows the frequency component of the fifth signal S5.
  • FIG. 14G is a diagram illustrating frequency components of the output image signal Sout .
  • the output image signal Sout has a form in which a harmonic component including a frequency component exceeding the Nyquist frequency is added to the frequency component of the input image signal Sin in the horizontal direction and the vertical direction.
  • the horizontal and vertical directions are not generated in the region where the high frequency is high, and the horizontal harmonics in the region where the horizontal and vertical directions are both high frequency at a frequency not exceeding the Nyquist frequency.
  • the overlapping of vertical harmonics is moderately suppressed.
  • FIG. 15 is a diagram showing frequency components of signals output from the respective functional blocks when the amplification factor ⁇ of the amplifier 17 is 1.
  • FIG. 15 is a diagram showing frequency components of signals output from the respective functional blocks when the amplification factor ⁇ of the amplifier 17 is 1.
  • the first two-dimensional filter 21 removes a high-frequency portion of a frequency component in the vertical direction of the input image signal Sin at least in a high-frequency portion in the horizontal direction included in the input image signal Sin. the high frequency vertical components of the in partially attenuated, and outputs a first signal S1 to the horizontal sharpening processor FEh.
  • FIG. 15B is a diagram illustrating frequency components of the first signal S1. The first two-dimensional filter 21 attenuates the high frequency component in the vertical direction.
  • the horizontal sharpening processing unit FEh generates a horizontal harmonic including a frequency component higher than the horizontal frequency component included in the input image signal S in, and the first sharpening processing unit FEh receives the first harmonic from the first two-dimensional filter 21. Sharpening processing is performed in the horizontal direction of the image represented by the signal S 1, and the second signal S 2 is output to the first adder 15 and the amplifier 17.
  • FIG. 15C is a diagram illustrating frequency components of the second signal S2.
  • the horizontal sharpening processing unit FEh generates horizontal harmonics including frequency components that exceed the Nyquist frequency in the horizontal direction.
  • the third adder 18 adds the input image signal Sin and the second signal S2 to generate a sixth signal S6.
  • FIG. 15D shows the frequency component of the sixth signal S6.
  • the sixth signal S6 is the frequency component of the input image signal S in, takes the form plus the horizontal harmonics including frequency components above the Nyquist frequency in the horizontal direction, in particular, frequency components above the Nyquist frequency in the horizontal direction The horizontal harmonics including are not generated in the vertical high-frequency region.
  • Second two-dimensional filter 22 in the vertical direction of the high frequency part is included in at least a sixth signal S6 (the input image signal S in + second signal S2), the sixth signal S6 (the input image signal S in + second signal The high frequency part of the horizontal frequency component of S2) is removed, and the high frequency part of the horizontal component of the input sixth signal S6 (input image signal Sin + second signal S2) is partially attenuated.
  • the third signal S3 is output to the vertical sharpening processing unit FEv.
  • FIG. 15E is a diagram illustrating frequency components of the third signal S3.
  • the second two-dimensional filter 22 attenuates the high frequency component in the horizontal direction.
  • the vertical sharpening processor FEV is intended to generate harmonics in the vertical direction including the frequency components higher than the vertical frequency component contained in the sixth signal S6 that contains the input image signal S in, the second two-dimensional Sharpening processing is performed in the vertical direction of the image represented by the third signal S 3 from the filter 22, and the fourth signal S 4 is output to the first adder 15.
  • FIG. 15F is a diagram illustrating frequency components of the fourth signal S4.
  • the vertical sharpening processing unit FEv generates vertical harmonics including frequency components exceeding the Nyquist frequency in the vertical direction.
  • the first adder 15 adds the second signal S2 from the horizontal sharpening processing unit FEh and the fourth signal S4 from the vertical sharpening processing unit FEv to generate a fifth signal S5.
  • FIG. 15G is a diagram illustrating frequency components of the fifth signal S5.
  • FIG. 15H is a diagram illustrating frequency components of the output image signal Sout .
  • the output image signal Sout has a form in which a harmonic component including a frequency component exceeding the Nyquist frequency is added to the frequency component of the input image signal Sin in the horizontal direction and the vertical direction.
  • the horizontal and vertical directions are not generated in the region where the high frequency is high, and the horizontal harmonics in the region where the horizontal and vertical directions are both high frequency at a frequency not exceeding the Nyquist frequency.
  • the overlapping of vertical harmonics is moderately suppressed.
  • the first two-dimensional filter 21 is arranged before the horizontal sharpening processing unit FEh, and the second two-dimensional filter 22 is arranged before the vertical sharpening processing unit FEv. Therefore, it is possible to sharpen an image without generating frequency components due to overlapping of horizontal and vertical sharpening processes in a frequency region that exceeds both horizontal and vertical frequency components of the input image. The glare / flickering feeling of the image can be reduced.
  • filters including two-dimensional filters
  • narrowed down to the respective required bands can be individually selected for horizontal harmonic generation and vertical harmonic generation.
  • good harmonics in the vertical direction can be obtained, and an image such as a sharp tip can be sharpened without feeling dull.
  • the amplifier 17 serving as a switch can switch the serial connection and the parallel connection of the horizontal processing unit and the vertical processing unit.
  • the amplifier 17 serving as a switch can switch the serial connection and the parallel connection of the horizontal processing unit and the vertical processing unit.
  • the sum of the high-frequency components generated by the horizontal and vertical sharpening processes works to sharpen the image, thus generating an artificial glare. Can be prevented.
  • the series-connected amplification factor as 1 even feel the input image signal S in is blurred as already removed oblique component, the generation of two-dimensional high frequency components in the horizontal and vertical directions As a result, the input image can be tailored to a gorgeous feeling by sharpening.
  • the amplifier 17 and switch of the series connection and parallel connection by setting the amplification factor ⁇ according to the characteristics of the input image signal S in, the frequency component due to series processing and parallel processing It is possible to perform a more appropriate sharpening process in combination.
  • the order of the sharpening processing in the horizontal direction and the vertical direction may be switched. Further, a two-dimensional filter may be provided after the second adder 16 to attenuate the high frequency component more reliably.
  • each adder (15, 16, 18) adds the image signals of the same frame input from each path, and therefore includes a delay element for adjusting the timing as necessary.
  • the switching device is not limited to the amplifier 17, and a switch circuit or the like can be used as appropriate.
  • FIG. 16 is a diagram showing a configuration of an image processing apparatus 5 according to the fifth embodiment of the present invention.
  • the image processing apparatus 5 according to the fifth embodiment includes a field change detection unit 60 that detects the amount of motion (field change) in the horizontal and vertical directions of the input image signal S in by the image processing apparatus 3 according to the third embodiment. It is comprised by adding.
  • the overlapping description is abbreviate
  • FIG. 17 is a diagram illustrating a configuration of a sharpening processing unit FE (horizontal sharpening processing unit FEh and vertical sharpening processing unit FEv) according to the present embodiment.
  • the sharpening processing unit FE shown in FIG. 17A has a configuration in which an amplifier 50 is provided in the subsequent stage of the nonlinear processing unit 20 of the sharpening processing unit FE shown in FIG.
  • FIG. 17B has a configuration in which an amplifier 50 is provided after the HPF 10 of the sharpening processing unit FE shown in FIG.
  • the amplifier 50 of the sharpening processing unit FE shown in FIG. 17 can change the gain by a control signal from the field change detection unit 60.
  • the amplifier 50 is described as an independent configuration for convenience of explanation, but the function of the amplifier 50 (adjustment of gain ⁇ ) may be integrated with the limiter 30.
  • FIG. 18 is a diagram illustrating a configuration of the field change detection unit 60.
  • the field change detection unit 60 includes a frame memory 61, a horizontal LPF 62 and a horizontal LPF 63, a vertical LPF 64 and a vertical LPF 65, a difference detection unit 66 and a difference detection unit 67, and a gain determination unit 68.
  • the current frame signal as the input image signal S in is input to the horizontal LPF 63 and the vertical LPF 65.
  • the previous frame signal output from the frame memory 61 is input to the horizontal LPF 62 and the vertical LPF 64.
  • the outputs of the horizontal LPF 62 and the horizontal LPF 63 are input to the difference detection unit 66, and the difference detection unit 66 outputs a difference signal (vertical motion amount) of each signal to the gain determination unit 68.
  • the outputs of the vertical LPF 64 and the vertical LPF 65 are input to the difference detection unit 67, and the difference detection unit 67 outputs a difference signal (horizontal motion amount) of each signal to the gain determination unit 68.
  • the gain determination unit 68 determines the gain ⁇ 1 so as to reduce the enhancement degree of the frequency component by the vertical sharpening processing unit FEv, and the determined gain ⁇ 1 is sent to the vertical sharpening processing unit FEv. Output. Further, when the value of the horizontal movement amount is large, the gain determination unit 68 determines the gain ⁇ 2 so as to lower the enhancement degree of the frequency component by the horizontal sharpening processing unit FEh, and uses the determined gain ⁇ 2 as the horizontal sharpening processing unit. Output to FEh.
  • the field change detecting unit 60 which determines the enhancement degree of the frequency component due to the sharpening processing in the horizontal direction and the vertical direction in response to movement of the input image signal S in, an input image signal it is possible to perform the sharpening processing suitable to the characteristics of S in.
  • N is the order of the highest harmonic that does not exceed the Nyquist frequency fs / 2 corresponding to the sampling frequency fs (before image enlargement processing). That is, N ⁇ / (2 ⁇ ) ⁇ fs / 2 ⁇ (N + 1) ⁇ / (2 ⁇ ) It is.
  • non-linear processing unit (20, 40) is, squaring an input image signal S in, the case of generating a first signal S1, the respective terms in the first signal S1 formula (6a) ⁇ (6c) It is expressed by either.
  • (f (x)) 2 includes angular frequency components such as (N + 1) ⁇ , (N + 2) ⁇ ,..., 2N ⁇ , and therefore includes a frequency component higher than the Nyquist frequency fs / 2. Therefore, the first signal S1 also includes a frequency component higher than the Nyquist frequency fs / 2, such as a harmonic component having a frequency of 2N ⁇ / (2 ⁇ ).
  • each term in the second signal S2 is expressed by the following formula (8a) to (8d).
  • (g (x)) 3 includes a frequency component that is 3N times or ⁇ 3N times the fundamental angular frequency ⁇ .
  • (g (x)) 3 includes various frequency components from ⁇ 3N to 3N times the basic angular frequency ⁇ . I understand that.
  • the sharpening processing unit FE can compensate a high frequency region exceeding the Nyquist frequency fs / 2 of the input image whose sampling frequency is fs. Further, the non-linear processing unit 20 using the asymmetric type non-linear function can generate a frequency component that is asymmetrical between positive and negative by performing non-linear processing that is asymmetrical with respect to the signal after the high-pass filter processing.
  • the present invention is applied to an image processing apparatus for improving image quality by sharpening an image.
  • an image processing apparatus for sharpening a moving image displayed in real time on a television (TV) receiver. Can be applied to.
  • the present invention can be applied to image sharpening processing of a surveillance camera, and for example, it is possible to reduce blurring when a part of an image is enlarged.
  • the present invention can be applied to improve the resolution of images taken from a long distance. For example, it is possible to perform image processing for sharpening an outline of an image of an accident site that is difficult to approach from a remote location, a satellite image, or the like.
  • the present invention can be applied to high definition analog content. That is, when converting existing analog content into high-vision content, it is possible to reproduce analog content as higher-definition digital content by performing image processing that sharpens the contour of the up-converted image.
  • the present invention can be applied when converting analog TV content into high-vision content or converting old movie content into higher-definition digital content (for example, Blu-ray (registered trademark) content).
  • the present invention is applicable to the medical field. For example, it is possible to convert an enlarged image of an affected area with an endoscope or the like into a higher definition image, or to convert an image of an affected area with a lower resolution into a higher definition image in telemedicine etc. Become.
  • the present invention can be applied to high definition of moving image content that can be viewed on a computer.
  • moving image content There are many sites on the Internet that distribute video content, and many video content is already stored.
  • it is possible to convert existing moving image content into content of higher definition and higher resolution and improve viewing quality.
  • Image processing device HPF 111 to 11 (m ⁇ 1) Unit delay element 121 to 12 m Multiplier 131 Adder 11 LPF 12 Subtractor 13 Vertical LPF (Vertical Filter) 14 Horizontal LPF (horizontal filter) 15 First Adder 16 Second Adder 17 Amplifier (Switcher) 18 Third adder 20, 40 Non-linear processing unit 21 First two-dimensional filter (vertical filter) 22 Second two-dimensional filter (horizontal filter) 30 Limiter 50 Amplifier 60 Field Change Detection Unit 61 Frame Memory 62, 63 Horizontal LPF 64, 65 Vertical LPF 66, 67 Difference detection unit 68 Gain determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

　入力画像の水平及び垂直方向の周波数成分を超える周波数領域において水平及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化する。　本発明に係る画像処理装置は、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化する。

Description

画像処理装置、画像処理方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１３－０３５１８６号（２０１３年２月２５日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置及び画像処理方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像処理装置及び画像処理方法に関する。
　フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このため、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急峻にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。
　ここで、画像の水平方向及び垂直方向の高周波成分に鮮鋭化処理を施すことにより、鮮鋭化処理後の画像において斜め線がギラギラして見える現象が発生し、特に、非線形処理によりナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理において問題となりやすい。
　図１９は、ナイキスト周波数を超える高域周波数成分を生成する鮮鋭化処理を垂直方向及び水平方向に連続して行う構成を示す図であり、図２０は各段階における信号の周波数成分を示す図である。図２０（ａ）は水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓinの周波数成分を示す。デジタル画像のナイキスト周波数は、水平方向がｆｈ／２、垂直方向がｆｖ／２となり、図示の通り、ナイキスト周波数を超える範囲に周波数成分は存在しない。入力画像信号Ｓinの垂直方向に鮮鋭化処理を施すと、図２０（ｂ）の通り、鮮鋭化処理後の信号Ｓ１において、垂直方向のナイキスト周波数ｆｖ／２を越える広域に周波数成分が生成される。この信号Ｓ１にさらに水平方向の鮮鋭化処理を施すと、図２０（ｃ）の通り、鮮鋭化処理後の出力画像信号Ｓoutにおいて水平方向のナイキスト周波数ｆｈ／２を越える広域に周波数成分が生成される。図示の通り、出力画像信号Ｓoutの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域は、水平方向及び垂直方向の鮮鋭化処理が重複して行われ、画像のギラギラ感が強調されてしまう。
　かかるギラギラ感の解消のため、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置する技術が提案されている（特許文献１参照）。
国際公開第２０１２／０４３４０７号
　特許文献１は、図２１のように、水平方向及び垂直方向の鮮鋭化処理の前段に２次元フィルタを配置している。図２２は、２次元フィルタの周波数特性の一例を示す図である。図示の通り、２次元フィルタは入力画像信号Ｓinの水平及び垂直方向の高周波成分を減衰させる特性を持つ。図２３は、図２１の回路の各段階における信号の周波数成分を示す図である。図２１の回路において、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖであるデジタル画像の入力画像信号Ｓinに２次元フィルタを施すと、フィルタ処理後の第１信号Ｓ１の周波数成分は図２３（ｂ）の通り水平及び垂直方向の高周波成分が減衰されたものとなる。第１信号Ｓ１に水平鮮鋭化処理を施すと、図２３（ｃ）の通り、鮮鋭化処理後の第２信号Ｓ２は周波数成分が水平方向に拡大された信号となる。加算器により第１信号Ｓ１及び第２信号Ｓ２を合成し、合成した信号に垂直鮮鋭化処理を施すと、図２３（ｄ）の通り、鮮鋭化処理後の第３信号Ｓ３は周波数成分が垂直方向に拡大された信号となる。そして、後段の加算器により垂直鮮鋭化処理前後の信号が合成され出力画像信号Ｓoutが出力される。
　図２１の回路により生成される出力画像信号Ｓoutは、図２３（ｅ）に示すとおり、出力画像信号Ｓoutの周波数成分の４隅、即ち水平方向及び垂直方向がいずれも高周波数となる領域において、水平方向で高調波が生成された信号に対してさらに垂直方向で高調波が生成されるため、図２０（ｃ）の信号よりは悪化の程度が少ないものの、依然としてギラギラ／チラチラした画像になりやすいという問題がある。またここで、ギラギラ/チラチラ感を取り除くために２次元フィルタでの通過領域を狭く設定すると、鮮鋭化に供する信号成分が少なくなるため、効果的な鮮鋭化ができないという問題もある。
　そこで本発明は、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
　上述した諸課題を解決すべく、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、並列に接続され、並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備え、入力画像を鮮鋭化するものである。
　また、前記増幅器の増幅率βは０≦β≦１であることが好ましい。
　また、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化するものである。
　また、本発明に係る画像処理装置は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化するものである。
　また、入力画像信号の動きを検出するフィールド変化検出部を備え、前記フィールド変化検出部は、入力画像信号の垂直方向の動き量が大きいときに前記垂直鮮鋭化処理部による周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平鮮鋭化処理部による周波数成分の強調度を低くすることが好ましい。
　さらに、上述した諸課題を解決すべく、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列に実行するか並列に実行するかを増幅率βにより切り替えるステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。
　前記増幅率βは０≦β≦１であることが好ましい。
　また、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。
　また、本発明に係る画像処理方法は、入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、前記画像処理装置における処理手順が、少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、前記第２信号を調整して第３信号を生成するステップと、を含み、前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行するものである。
　また、入力画像信号の動きを検出し、入力画像信号の垂直方向の動き量が大きいときに前記垂直方向処理ステップによる周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平方向処理ステップによる周波数成分の強調度を低くするステップを含むことが好ましい。
　本発明に係る画像処理装置及び画像処理方法によれば、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。
本発明に係る鮮鋭化処理部の第１の構成を示す図である。 鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 本発明に係る鮮鋭化処理部の第２の構成を示す図である。 鮮鋭化処理に係る画像の水平方向の信号レベルの波形を示す図である。 本発明の第１の実施形態に係る画像処理装置の構成を示す図である。 第１の実施形態における信号の周波数成分の変化を示す図である。 本発明の第２の実施形態に係る画像処理装置の構成を示す図である。 本発明の第３の実施形態に係る画像処理装置の構成を示す図である。 第３の実施形態における信号の周波数成分の変化を示す図である。 本発明の第４の実施形態に係る画像処理装置の構成を示す図である。 第４の実施形態における２次元フィルタの周波数特性を示す図である。 第４の実施形態における信号の周波数成分の第１の変化を示す図である。 第４の実施形態における信号の周波数成分の第２の変化を示す図である。 本発明の第５の実施形態に係る画像処理装置の構成を示す図である。 第５の実施形態における鮮鋭化処理部の構成を示す図である。 第５の実施形態におけるフィールド変化検出部の構成を示す図である。 従来の画像の水平方向及び垂直方向の鮮鋭化処理を示す図である。 従来の鮮鋭化処理による周波数成分の変化を示す図である。 ２次元フィルタを用いた従来の鮮鋭化処理を示す図である。 従来の２次元フィルタの周波数特性を示す図である。 ２次元フィルタを用いた従来の鮮鋭化処理による周波数成分の変化を示す図である。
　以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
　各実施形態に係る画像処理装置（集積回路）は、概略的に言えば、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分に対して、画像を鮮鋭化するための鮮鋭化処理を施す装置である。
　画像処理装置が施す鮮鋭化処理とは、入力画像を表す信号（以下、入力画像信号と表記する）に対して非線形演算を施すことによって、入力画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がり及び立ち下がりを高度に急峻にする（エンハンスする）処理である。本発明の画像処理装置が施す鮮鋭化処理は、従来の増幅処理等の線形演算を用いる鮮鋭化処理では利用することができない高周波数成分を画像信号に付加することができるため、画像を高度に（強く）鮮鋭化することができる。
　まず、後述する各実施形態における画像処理装置の主要な構成要素である鮮鋭化処理部の概要について説明する。なお、鮮鋭化処理部は、後述する水平鮮鋭化処理部及び垂直鮮鋭化処理部のいずれであってもよい。本明細書では、水平鮮鋭化処理部及び垂直鮮鋭化処理部を区別しないとき、単に、「鮮鋭化処理部」と表記する。
　（鮮鋭化処理部の第１の構成例）
　図１は、本発明の鮮鋭化処理部ＦＥの第１の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、画像を表すデジタル信号として外部から入力される入力画像信号Ｓinに対し、その入力画像信号Ｓinの表す画像を鮮鋭化するための処理を施す装置であって、ＨＰＦ１０（高域通過フィルタ）と、非線形処理部２０（非対称型非線形関数）と、リミッター３０とを備えている。
　入力画像信号Ｓinの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓinが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）又は高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。
　以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。
　図２（Ａ）は、入力画像信号Ｓinの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓinの解像度は、出力画像信号Ｓoutの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓinは、元の入力画像の解像度を出力画像信号Ｓoutの解像度にアップコンバートしたものである。例えば、画像処理装置によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓinは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。
　ＨＰＦ１０は、入力画像信号Ｓinに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓinの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓinから、図２（Ｂ）の第１信号Ｓ１を抽出する。
　図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ－１個の単位遅延素子１１１～１１（ｍ－１）と、ｍ個の乗算器１２１～１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１～ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝－１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。
　非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより第２信号Ｓ２を生成する。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。ここで、第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となり、両方向について同じ（対称的な）非線形処理を適用するのではなく、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形処理部２０は、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うものである。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、「非対称非線形処理」と称するものとする。
　非線形処理部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形処理部２０は、例えば、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１3）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝－Ｓ１2）ものとする。図２（Ｃ）は、非線形処理部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。また、後述する通り、正負で非対称となる非線形処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。
　非線形処理部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、後述する通り、人間の知覚特性に合った画像鮮鋭化処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形処理部２０は、信号レベル（輝度）が低い領域に対して非線形処理部２０の処理を適用することにより、処理前のエッジ成分が微小であっても、第１信号Ｓ１におけるエッジ成分を強調して輪郭を知覚させることが可能となる。また、非線形処理部２０は、輝度が高い領域の輪郭がより鮮鋭化されるように正の波形が大きく増幅されるため、輝度の高い領域において輪郭がより知覚されやすくすることができる。また、いずれの領域においても、非線形処理により高周波の周波数成分を生成することが可能となる。
　なお、非線形処理部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝－Ｓ１2）。
Figure JPOXMLDOC01-appb-M000001
　さらに、非線形処理部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１1/2）など、種々の非線形関数を適宜組み合わせて利用することができる。
　また、非線形処理部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。
　リミッター３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓoutを生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となるゲインαを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行う。また、リミッター３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッター３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓoutとして出力する。
　図示していない加算器により、図２（Ｃ）に示す出力画像信号Ｓoutを画像の鮮鋭化のための補償用信号として図２（Ａ）に示す入力画像信号Ｓinに加算することにより、図２（Ｄ）に示す信号が生成される。この信号（Ｓin+Ｓout）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓinのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓinよりも鮮鋭な画像を得ることができる。
　（鮮鋭化処理部の第２の構成例）
　図５は、本発明の鮮鋭化処理部の第２の構成例を示すブロック図である。この鮮鋭化処理部ＦＥは、非線形処理部４０（非線形関数）と、ＨＰＦ１０と、リミッター３０とを備えている。以下、図６に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で鮮鋭化処理を行うことが可能である。
　図６（Ａ）は、入力画像信号Ｓinの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。
　非線形処理部４０は、入力画像信号Ｓinに対して非線形処理を行うことにより第１信号Ｓ１を生成する。非線形処理部４０による非線形処理は、画像の輪郭を鮮鋭化することを目的とするものであり、具体的には、図６（Ａ）に示す入力画像信号Ｓinを図６（Ｂ）のような第１信号Ｓ１とし、信号レベルにおいてエッジの立ち上がり変化を急にする処理を行うものである。
　非線形処理部４０による入力画像信号Ｓinから第１信号Ｓ１を生成する処理は、式（２）により一般化することができる。非線形処理部４０による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。
Figure JPOXMLDOC01-appb-M000002
　例えば、非線形処理部４０は、入力画像信号Ｓinの冪乗を第１信号Ｓ１として生成する。非線形処理部４０が入力画像信号Ｓinをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓin nとなる。入力画像信号Ｓinはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓinを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１n，Ｘ２n，Ｘ３n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。
　例えば、入力画像信号Ｓinが８ビットのデジタル信号であれる場合、各画素の信号レベルは０～２５５の値をとる。このとき、非線形処理部４０が、入力画像信号Ｓinを２乗すると、図６（Ｂ）に例示するように、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。
　また、例えば、非線形処理部４０は、入力画像信号Ｓinの冪乗根を第１信号Ｓ１として生成する。非線形処理部４０が入力画像信号Ｓinのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓin 1/nとなる。入力画像信号Ｓinはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓinを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１1/n，Ｘ２1/n，Ｘ３1/n，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。
　入力画像信号Ｓinの冪乗根を第１信号Ｓ１として生成する非線形処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、輝度が低い領域の微小なエッジ成分を強調して輪郭を知覚させるため、非線形処理部４０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓin 1/2）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形処理を行う。
　この場合、非線形処理部４０は、式（３）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ'を算出する。式（３）による正規化後のＸ'の値は０～１の間の値となる。
Figure JPOXMLDOC01-appb-M000003
　ここで、非線形処理部４０は、正規化後のＸ'に式（４）示すガンマ補正関数を適用し、非線形処理後の値Ｙを算出する。
Figure JPOXMLDOC01-appb-M000004
　式（４）により、Ｘ'の値が小さい場合、非線形処理後のＹの値がＸ'に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、例えば図６（Ｂ）に例示するエッジの鮮鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。
　ＨＰＦ１０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓinを非線形処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、図６（Ｂ）の第１信号Ｓ１から、図６（Ｃ）の第２信号Ｓ２を抽出する。
　リミッター３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して出力画像信号Ｓoutを生成する。リミッター３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を出力画像信号Ｓoutとして出力する。
　図示していない加算器により、図６（Ｃ）に示す出力画像信号Ｓoutを画像の鮮鋭化のための補償用信号として図６（Ａ）に示す入力画像信号Ｓinに加算することにより、図６（Ｄ）に示す信号が生成される。この信号（Ｓin+Ｓout）におけるエッジ部の立ち上がり変化は、入力画像信号Ｓinのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓinよりも鮮鋭な画像を得ることができる。
　これ以降、上述した鮮鋭化処理部ＦＥを備え、画像の水平方向（横方向、主走査方向）の周波数成分及び垂直方向（縦方向、副走査方向）の周波数成分を鮮鋭化する画像処理装置について詳述する。各実施形態における入力画像信号Ｓinは、水平方向のサンプリング周波数がｆｈ、垂直方向のサンプリング周波数がｆｖとし、ナイキスト周波数は水平方向がｆｈ／２、垂直方向がｆｖ／２であるものとする。
　（第１の実施形態）
　図７は、本発明の第１の実施形態に係る画像処理装置１の構成を示す図である。画像処理装置１は、垂直ＬＰＦ１３（垂直フィルタ）及び水平ＬＰＦ１４（水平フィルタ）と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、第１加算器１５及び第２加算器１６とを備える。画像処理装置１は、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置された構成を垂直方向処理部とすると、水平方向処理部と垂直方向処理部とが直列に接続された構成となる。図８は、画像処理装置１の各機能ブロックが出力する信号が表す画像の周波数成分を示す図である。これ以降、図８の周波数成分とともに各機能ブロックの処理を説明する。
　垂直ＬＰＦ１３は、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図８（ｂ）は第１信号Ｓ１の周波数成分を示す図である。垂直ＬＰＦ１３により、垂直方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の鮮鋭化処理部ＦＥの鮮鋭化特性を考慮して、当業者が適宜設定できるものである。
　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓinに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、垂直ＬＰＦ１３からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５に出力する。図８（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。
　第１加算器１５は、入力画像信号Ｓinと水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２とを加算して第３信号Ｓ３を生成する。図８（ｄ）は、第３信号Ｓ３の周波数成分を示す図である。第３信号Ｓ３は、入力画像信号Ｓinの周波数成分に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波を加えた形になり、特に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波は、垂直方向の高周波領域には生成されていない。
　水平ＬＰＦ１４は、第３信号Ｓ３の水平方向の周波数成分の高周波部分を除去するものであり、第３信号Ｓ３の水平方向成分の高域を部分的に減衰させ、第４信号Ｓ４を垂直鮮鋭化処理部ＦＥｖに出力する。図８（ｅ）は第４信号Ｓ４の周波数成分を示す図である。水平ＬＰＦ１４により、水平方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の垂直鮮鋭化処理部ＦＥｖの鮮鋭化特性を考慮して当業者が適宜設定できるものである。
　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓinに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、水平ＬＰＦ１４からの第４信号Ｓ４で表される画像の垂直方向について鮮鋭化処理を施し、第５信号Ｓ５を第２加算器１６に出力する。図８（ｆ）は第５信号Ｓ５の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。
　第２加算器１６は、第１加算器１５からの第３信号Ｓ３と垂直鮮鋭化処理部ＦＥｖからの第５信号Ｓ５とを加算して出力画像信号Ｓoutを生成する。図８（ｇ）は、出力画像信号Ｓoutの周波数成分を示す図である。出力画像信号Ｓoutは、入力画像信号Ｓinの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていない。
　このように、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置され、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（後述の２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。
　また、図７に示す簡単な構成で本実施形態に係る画像処理装置１を実現できるので、この画像処理装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。
　また本実施形態は、ナイキスト周波数を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。
　なお、画像処理装置１において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。すなわち、水平方向の鮮鋭化処理に係る構成（垂直ＬＰＦ１３、水平鮮鋭化処理部ＦＥｈ、第１加算器１５）と、垂直方向の鮮鋭化処理に係る構成（水平ＬＰＦ１４、垂直鮮鋭化処理部ＦＥｖ、第２加算器１６）との順序を入れ替えて入力画像信号Ｓinを処理することができる。
　また、垂直ＬＰＦ１３及び水平ＬＰＦ１４の代わりに、２次元フィルタを用いても良い。この場合、水平鮮鋭化処理部ＦＥｈの前段には、少なくとも入力画像信号Ｓinに含まれる水平方向の高周波部分において、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去する２次元フィルタを用いることが好ましい。また、垂直鮮鋭化処理部ＦＥｖの前段には少なくとも入力画像信号Ｓinに含まれる垂直方向の高周波部分において、入力画像信号Ｓinの水平方向の周波数成分の高周波部分を除去する２次元フィルタを用いることが好ましい。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、各２次元フィルタ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。
　また、第２加算器１６の後段にさらに２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元フィルタは、出力画像信号Ｓoutの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。
　（第２の実施形態）
　図９は、本発明の第２の実施形態に係る画像処理装置２の構成を示す図である。画像処理装置２は、第１の実施形態の画像処理装置１と同等の機能ブロックを備え、垂直ＬＰＦ１３及び水平ＬＰＦ１４の配置が第１の実施形態と異なるものである。各機能ブロックについて、第１の実施形態と同等の処理については重複する説明を省略する。
　本実施形態によれば、入力画像信号Ｓinが垂直ＬＰＦ１３及び水平ＬＰＦ１４を通過することになるため、各ＬＰＦが鮮鋭化処理のために高域除去を行うと共に、入力画像信号Ｓin自体に含まれる高周波成分を減衰させることができる。かかる構成は、入力画像信号Ｓinの高周波成分にノイズが多い場合など、入力画像信号Ｓin全体のノイズ低減が必要な場合に特に有効である。
　なお、第１の実施形態と同様に、画像処理装置２において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。また、垂直ＬＰＦ１３及び水平ＬＰＦ１４の代わりに、それぞれ対応する２次元フィルタを用いても良い。また、第２加算器１６の後段に２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。
　（第３の実施形態）
　図１０は、本発明の第３の実施形態に係る画像処理装置３の構成を示す図である。画像処理装置３は、垂直ＬＰＦ１３及び水平ＬＰＦ１４と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、第１加算器１５及び第２加算器１６とを備える。画像処理装置３は、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置された構成を垂直方向処理部とすると、水平方向処理部と垂直方向処理部とが並列に接続された構成となる。図１１は、画像処理装置３の各機能ブロックが出力する信号の周波数成分を示す図である。これ以降、図１１の周波数成分とともに各機能ブロックの処理を説明する。
　垂直ＬＰＦ１３は、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１１（ｂ）は第１信号Ｓ１の周波数成分を示す図である。垂直ＬＰＦ１３により、垂直方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の水平鮮鋭化処理部ＦＥｈの鮮鋭化特性を考慮して当業者が適宜設定できるものである。
　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓinに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、垂直ＬＰＦ１３からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５に出力する。図１１（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。
　水平ＬＰＦ１４は、入力画像信号Ｓinの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinの水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１１（ｄ）は第３信号Ｓ３の周波数成分を示す図である。水平ＬＰＦ１４により、水平方向で周波数成分の高域が減衰されている。なお、ここで言う高周波部分又は高域とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、後段の垂直鮮鋭化処理部ＦＥｖの鮮鋭化特性を考慮して当業者が適宜設定できるものである。
　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓinに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、水平ＬＰＦ１４からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１１（ｅ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。
　第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１１（ｆ）は、第５信号Ｓ５の周波数成分を示す図である。
　第２加算器１６は、入力画像信号Ｓinと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓoutを生成する。図１１（ｇ）は、出力画像信号Ｓoutの周波数成分を示す図である。出力画像信号Ｓoutは、入力画像信号Ｓinの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていない。
　このように、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に垂直ＬＰＦ１３が配置され、垂直鮮鋭化処理部ＦＥｖの前段に水平ＬＰＦ１４が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（後述の２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、くっきりした画像に鮮鋭化できる。
　なお、画像処理装置３において、第２加算器１６の後段にさらに２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。かかる２次元フィルタは、出力画像信号Ｓoutの周波数成分のうち、水平方向及び垂直方向がいずれも高周波数となる領域を除去するものが好ましい。
　（第４の実施形態）
　図１２は、本発明の第４の実施形態に係る画像処理装置４の構成を示す図である。第４の実施形態に係る画像処理装置４は、第１の２次元フィルタ２１及び第２の２次元フィルタ２２と、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖと、増幅器１７（切替器）と、第１加算器１５、第２加算器１６及び第３加算器１８とを備える。画像処理装置４は、水平鮮鋭化処理部ＦＥｈの前段に第１の２次元フィルタ２１が配置された構成を水平方向処理部とし、垂直鮮鋭化処理部ＦＥｖの前段に第２の２次元フィルタ２２が配置された構成を垂直方向処理部とすると、水平方向処理部の後段と垂直方向処理部の前段とに接続された切替器（増幅器１７）を備え、切替器である増幅器１７の設定（増幅率β）により、水平方向処理部と垂直方向処理部の並列接続及び直列接続を切り替えるものである。なお、後述の通り、増幅器１７の増幅率βは０≦β≦１の範囲の値となるため、増幅率βが０＜β＜１の場合には、増幅器１７は並列接続及び直列接続のいずれか一方に厳密に切り替えるものではなく、並列接続及び直列接続をそれぞれを含む回路構成とすることができる。
　図１３は本実施形態に係る望ましい２次元フィルタの周波数特性を示す図である。図１３（ａ）は第１の２次元フィルタ２１の周波数特性を示し、図１３（ｂ）は第２の２次元フィルタ２２の周波数特性を示す。これら第１の２次元フィルタ２１及び第２の２次元フィルタ２２は、入力画像信号Ｓinの２次元周波数スペクトルにおける四隅のナイキスト周波数限界付近の信号成分に対しても後述する鮮鋭化処理によって効果的な高調波を発生させることが可能な特性を有する。第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓinに含まれる水平方向の高周波部分において、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去するものである。また、第２の２次元フィルタ２２は、少なくとも入力画像信号Ｓinに含まれる垂直方向の高周波部分において、入力画像信号Ｓinの水平方向の周波数成分の高周波部分を除去するものである。なお、ここで言う高周波部分とは、ギラギラ感の原因となる水平方向及び垂直方向がいずれも高周波数となる領域で鮮鋭化処理による高周波成分が発生することを防ぐために除去又は減衰させるものであって、２次元フィルタ後段の鮮鋭化処理部（ＦＥｖ、ＦＥｈ）の鮮鋭化特性を考慮して当業者が適宜設定できるものである。
　増幅器１７の増幅率βは０≦β≦１の範囲で設定可能である。増幅率βが０の場合、画像処理装置４の構成は第３の実施形態のように水平方向及び垂直方向の鮮鋭化処理が並列して行われる構成となり、増幅率βが１の場合、画像処理装置４の構成は第１の実施形態のように水平方向及び垂直方向の鮮鋭化処理が直列して行われる構成となる。増幅率βが０＜β＜１の場合、直列処理による周波数成分と並列処理による周波数成分とが生成されるため、入力画像信号Ｓinの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。
　図１４は、増幅器１７の増幅率βが０の場合の各機能ブロックが出力する信号の周波数成分を示す図である。
　第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓinに含まれる水平方向の高周波部分において、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１４（ｂ）は第１信号Ｓ１の周波数成分を示す図である。第１の２次元フィルタ２１により、垂直方向で周波数成分の高域が減衰されている。
　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓinに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、第１の２次元フィルタ２１からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５及び増幅器１７に出力する。図１４（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。
　増幅器１７は、第２信号Ｓ２に増幅率β（＝０）を乗じるが、この場合増幅率βは０であるため、第３加算器１８への信号の出力は行われない。
　第２の２次元フィルタ２２は、少なくとも入力画像信号Ｓinに含まれる垂直方向の高周波部分において、入力画像信号Ｓinの水平方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinである第６信号Ｓ６の水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１４（ｄ）は第３信号Ｓ３の周波数成分を示す図である。第２の２次元フィルタ２２により、水平方向で周波数成分の高域が減衰されている。
　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓinに含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第２の２次元フィルタ２２からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１４（ｅ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。
　第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１４（ｆ）は、第５信号Ｓ５の周波数成分を示す図である。
　第２加算器１６は、入力画像信号Ｓinと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓoutを生成する。図１４（ｇ）は、出力画像信号Ｓoutの周波数成分を示す図である。出力画像信号Ｓoutは、入力画像信号Ｓinの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていないとともに、ナイキスト周波数を超えない周波数での、水平方向及び垂直方向がいずれも高周波となる領域での水平方向の高調波と垂直方向の高調波の重なりは程良く抑制されている。
　図１５は増幅器１７の増幅率βが１の場合の各機能ブロックが出力する信号の周波数成分を示す図である。
　第１の２次元フィルタ２１は、少なくとも入力画像信号Ｓinに含まれる水平方向の高周波部分において、入力画像信号Ｓinの垂直方向の周波数成分の高周波部分を除去するものであり、入力画像信号Ｓinの垂直方向成分の高域を部分的に減衰させ、第１信号Ｓ１を水平鮮鋭化処理部ＦＥｈに出力する。図１５（ｂ）は第１信号Ｓ１の周波数成分を示す図である。第１の２次元フィルタ２１により、垂直方向で周波数成分の高域が減衰されている。
　水平鮮鋭化処理部ＦＥｈは、入力画像信号Ｓinに含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成するものであり、第１の２次元フィルタ２１からの第１信号Ｓ１で表される画像の水平方向について鮮鋭化処理を施し、第２信号Ｓ２を第１加算器１５及び増幅器１７に出力する。図１５（ｃ）は第２信号Ｓ２の周波数成分を示す図である。水平鮮鋭化処理部ＦＥｈにより、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波が生成される。
　増幅器１７は、第２信号Ｓ２に増幅率β（＝１）を乗じ、第３加算器１８に出力する。
　第３加算器１８は、入力画像信号Ｓinと第２信号Ｓ２とを加算して第６信号Ｓ６を生成する。図１５（ｄ）は、第６信号Ｓ６の周波数成分を示す図である。第６信号Ｓ６は、入力画像信号Ｓinの周波数成分に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波を加えた形になり、特に、水平方向にナイキスト周波数を超える周波数成分を含む水平方向の高調波は、垂直方向の高周波領域には生成されていない。
　第２の２次元フィルタ２２は、少なくとも第６信号Ｓ６（入力画像信号Ｓin＋第２信号Ｓ２）に含まれる垂直方向の高周波部分において、第６信号Ｓ６（入力画像信号Ｓin＋第２信号Ｓ２）の水平方向の周波数成分の高周波部分を除去するものであり、入力される第６信号Ｓ６（入力画像信号Ｓin＋第２信号Ｓ２）の水平方向成分の高域を部分的に減衰させ、第３信号Ｓ３を垂直鮮鋭化処理部ＦＥｖに出力する。図１５（ｅ）は第３信号Ｓ３の周波数成分を示す図である。第２の２次元フィルタ２２により、水平方向で周波数成分の高域が減衰されている。
　垂直鮮鋭化処理部ＦＥｖは、入力画像信号Ｓinを含む第６信号Ｓ６に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成するものであり、第２の２次元フィルタ２２からの第３信号Ｓ３で表される画像の垂直方向について鮮鋭化処理を施し、第４信号Ｓ４を第１加算器１５に出力する。図１５（ｆ）は第４信号Ｓ４の周波数成分を示す図である。垂直鮮鋭化処理部ＦＥｖにより、垂直方向にナイキスト周波数を超える周波数成分を含む垂直方向の高調波が生成される。
　第１加算器１５は、水平鮮鋭化処理部ＦＥｈからの第２信号Ｓ２と、垂直鮮鋭化処理部ＦＥｖからの第４信号Ｓ４とを加算して第５信号Ｓ５を生成する。図１５（ｇ）は、第５信号Ｓ５の周波数成分を示す図である。
　第２加算器１６は、入力画像信号Ｓinと、第１加算器１５からの第５信号Ｓ５とを加算して出力画像信号Ｓoutを生成する。図１５（ｈ）は、出力画像信号Ｓoutの周波数成分を示す図である。出力画像信号Ｓoutは、入力画像信号Ｓinの周波数成分に、水平方向及び垂直方向にナイキスト周波数を超える周波数成分を含めた高調波を加えた形になり、特に、ナイキスト周波数を超える周波数成分は、水平方向及び垂直方向がいずれも高周波となる領域には生成されていないとともに、ナイキスト周波数を超えない周波数での、水平方向及び垂直方向がいずれも高周波となる領域での水平方向の高調波と垂直方向の高調波の重なりは程良く抑制されている。
　このように、本実施形態によれば、水平鮮鋭化処理部ＦＥｈの前段に第１の２次元フィルタ２１が配置され、垂直鮮鋭化処理部ＦＥｖの前段に第２の２次元フィルタ２２が配置されているため、入力画像の水平方向及び垂直方向の周波数成分をいずれも超える周波数領域において水平方向及び垂直方向の鮮鋭化処理の重複による周波数成分を生成することなく画像を鮮鋭化することが可能となり、画像のギラギラ／チラチラ感を低減できる。また、本手法では、水平の高調波生成および垂直の高調波生成において各々の必要とする帯域に絞ったフィルタ（２次元フィルタも含む）が個別に選べるため、ノイズ感を伴うことなく、水平方向及び垂直方向それぞれの良好な高調波が得られて、鋭い先端のような画像も鈍い感じになることなく鮮鋭化できる。
　また、画像処理装置４において、切替器である増幅器１７は、水平方向処理部及び垂直方向処理部の直列接続及び並列接続を切り替えることができる。これにより、増幅率を０として並列接続とした場合には、水平方向及び垂直方向の鮮鋭化処理それぞれで生成された高周波成分の和が画像の鮮鋭化に働くため、人工的なギラギラ感の発生を防ぐことができる。また、増幅率を１として直列接続とした場合には、入力画像信号Ｓinがすでに斜め成分を除去されたようなボケた感じでも、水平方向及び垂直方向で２次元的に高周波成分の生成が行われるため、鮮鋭化により入力画像を華やかな感じに仕立てることが可能になる。
　また、画像処理装置４において、増幅器１７を直列接続及び並列接続の切替器としているため、入力画像信号Ｓinの特性に合わせて増幅率βを設定することにより、直列処理及び並列処理による周波数成分を組み合わせ、より適切な鮮鋭化処理を行うことが可能になる。
　なお、画像処理装置４において、水平方向及び垂直方向の鮮鋭化処理の順番を入れ替えても良い。また、第２加算器１６の後段に２次元フィルタを備え、より確実に高域成分を減衰させる構成としても良い。
　また、各加算器（１５，１６，１８）は各経路から入力された同一フレームの画像信号を加算するものであるから、タイミングを調整するための遅延素子を必要に応じて備えるものである。
　また、切替器は増幅器１７のみに限られず、スイッチ回路などを適宜用いることができるものである。
　（第５の実施形態）
　図１６は、本発明の第５の実施形態に係る画像処理装置５の構成を示す図である。第５の実施形態に係る画像処理装置５は、第３の実施形態に係る画像処理装置３に入力画像信号Ｓinの水平及び垂直方向の動き量（フィールド変化）を検出するフィールド変化検出部６０を加えて構成されるものである。なお、各機能ブロックについて、第３の実施形態と同等の処理については重複する説明を省略する。
　本実施形態に係るフィールド変化検出部６０は、入力画像信号Ｓinのフィールド変化を検出し、水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖの周波数成分の強調度（ゲインα）を調整するものである。図１７は、本実施形態に係る鮮鋭化処理部ＦＥ（水平鮮鋭化処理部ＦＥｈ及び垂直鮮鋭化処理部ＦＥｖ）の構成を示す図である。図１７（ａ）に示す鮮鋭化処理部ＦＥは、図１に示す鮮鋭化処理部ＦＥの非線形処理部２０の後段に増幅器５０を設けた構成である。図１７（ｂ）に示す鮮鋭化処理部ＦＥは、図５に示す鮮鋭化処理部ＦＥのＨＰＦ１０の後段に増幅器５０を設けた構成である。図１７に示す鮮鋭化処理部ＦＥの増幅器５０は、フィールド変化検出部６０からの制御信号によりゲインを変化させることができる。なお、図１７においては、説明の便宜上増幅器５０を独立した構成として記載しているが、増幅器５０の機能（ゲインαの調整）をリミッター３０と一体的に構成してもよい。
　図１８は、フィールド変化検出部６０の構成を示す図である。フィールド変化検出部６０は、フレームメモリ６１と、水平ＬＰＦ６２及び水平ＬＰＦ６３と、垂直ＬＰＦ６４及び垂直ＬＰＦ６５と、差分検出部６６及び差分検出部６７と、ゲイン決定部６８とを備えている。
　フィールド変化検出部６０において、入力画像信号Ｓinである現フレームの信号は水平ＬＰＦ６３及び垂直ＬＰＦ６５に入力される。また、フレームメモリ６１から出力される前フレームの信号は、水平ＬＰＦ６２及び垂直ＬＰＦ６４に入力される。
　水平ＬＰＦ６２及び水平ＬＰＦ６３の出力は差分検出部６６に入力され、差分検出部６６は各信号の差分信号（垂直動き量）をゲイン決定部６８に出力する。
　垂直ＬＰＦ６４及び垂直ＬＰＦ６５の出力は差分検出部６７に入力され、差分検出部６７は各信号の差分信号（水平動き量）をゲイン決定部６８に出力する。
　ゲイン決定部６８は、垂直動き量の値が大きい場合、垂直鮮鋭化処理部ＦＥｖによる周波数成分の強調度を低くするようにゲインα１を決定し、決定したゲインα１を垂直鮮鋭化処理部ＦＥｖに出力する。また、ゲイン決定部６８は、水平動き量の値が大きい場合、水平鮮鋭化処理部ＦＥｈによる周波数成分の強調度を低くするようにゲインα２を決定し、決定したゲインα２を水平鮮鋭化処理部ＦＥｈに出力する。
　このように、本実施形態によれば、フィールド変化検出部６０は入力画像信号Ｓinの動きに応じて水平方向及び垂直方向の鮮鋭化処理による周波数成分の強調度を決定するため、入力画像信号Ｓinの特徴に適した鮮鋭化処理を行うことが可能になる。
　（非線形処理による高周波成分生成の説明）
　以下、参考のため、図１及び図５に示す鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について説明する。
　いま、入力画像信号Ｓinが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓinの基本角周波数をωとすると、このｆ(ｘ)は式（５）のようなフーリエ級数で表現することができる。
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
　　Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。
　例えば、非線形処理部（２０、４０）が、入力画像信号Ｓinを２乗することにより、第１信号Ｓ１を生成する場合、第１信号Ｓ１における各項は下記式（６ａ）～（６ｃ）のいずれかで表現される。
Figure JPOXMLDOC01-appb-M000006
 　（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）
　三角関数に関する公式を用いると、上記式（６ａ）～（６ｃ）は、下記の式（７ａ）～（７ｃ）にそれぞれ書き直すことができる。
Figure JPOXMLDOC01-appb-M000007
　上記式より（ｆ(ｘ)）2は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第１信号Ｓ１も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。
　また、例えば、非線形処理部（２０、４０）が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（８ａ）～（８ｄ）のいずれかで表現される。
Figure JPOXMLDOC01-appb-M000008
 （ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）
　いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000009
　また、例えばｉ＝ｊ＝ｋ＝－Ｎの項のうち上記式（８ａ）（８ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000010
　上記式（９ａ）（９ｄ）（１０ａ）（１０ｄ）より、（ｇ(ｘ)）3は、基本角周波数ωの３Ｎ倍の周波数成分や－３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）3における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）3は、基本角周波数ωの－３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。
　上記の通り、非線形処理部（２０、４０）による非線形処理により、鮮鋭化処理部ＦＥにおいて、サンプリング周波数がｆｓである入力画像のナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる。また、非対称型非線形関数を用いる非線形処理部２０は、ハイパスフィルタ処理後の信号の正負で非対称となる非線形処理を行うことにより、正負で非対称となる周波数成分を生成することが可能となる。
　本発明は、画像を鮮鋭化して画質を改善するための画像処理装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像処理装置に適用することができる。
　また、本発明は、監視カメラの画像鮮鋭化処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより鮮鋭化する画像処理が可能になる。
　さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を鮮鋭化する画像処理が可能になる。
　さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を鮮鋭化する画像処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ－ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。
　さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。
　さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　１、２、３、４、５　画像処理装置
　１０　ＨＰＦ
　１１１～１１（ｍ－１）　単位遅延素子
　１２１～１２ｍ　乗算器
　１３１　加算器
　１１　ＬＰＦ
　１２　減算器
　１３　垂直ＬＰＦ（垂直フィルタ）
　１４　水平ＬＰＦ（水平フィルタ）
　１５　第１加算器
　１６　第２加算器
　１７　増幅器（切替器）
　１８　第３加算器
　２０、４０　非線形処理部
　２１　第１の２次元フィルタ（垂直フィルタ）
　２２　第２の２次元フィルタ（水平フィルタ）
　３０　リミッタ
　５０　増幅器
　６０　フィールド変化検出部
　６１　フレームメモリ
　６２、６３　水平ＬＰＦ
　６４、６５　垂直ＬＰＦ
　６６、６７　差分検出部
　６８　ゲイン決定部

Claims (10)

  1. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
    　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、
    　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
    　前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、
    　前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、並列に接続され、並列に接続された前記水平方向処理部及び前記垂直方向処理部のいずれか一方の後段と、いずれか他方の前段とに接続された増幅器を備える、入力画像を鮮鋭化する画像処理装置。
  2. 　前記増幅器の増幅率βは０≦β≦１である、請求項１に記載の画像処理装置。
  3. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
    　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、
    　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
    　前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、
    　前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、
    　前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化する画像処理装置。
  4. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置であって、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去する垂直フィルタと、
    　入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平鮮鋭化処理部と、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去する水平フィルタと、
    　入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直鮮鋭化処理部と、を備え、
    　前記水平鮮鋭化処理部及び前記垂直鮮鋭化処理部の少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、前記第２信号を調整して第３信号を生成するリミッタと、を含み、
    　前記水平鮮鋭化処理部の前段に前記垂直フィルタが配置された水平方向処理部と、
    　前記垂直鮮鋭化処理部の前段に前記水平フィルタが配置された垂直方向処理部とが、直列又は並列に接続され入力画像を鮮鋭化する画像処理装置。
  5. 　入力画像信号の動きを検出するフィールド変化検出部を備え、
    　前記フィールド変化検出部は、
    　　入力画像信号の垂直方向の動き量が大きいときに前記垂直鮮鋭化処理部による周波数成分の強調度を低くし、
    　　入力画像信号の水平方向の動き量が大きいときに前記水平鮮鋭化処理部による周波数成分の強調度を低くする、請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、
    　前記垂直方向処理ステップ及び前記水平方向処理ステップを直列に実行するか並列に実行するかを増幅率βにより切り替えるステップと、を含み、
    　前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行する画像処理方法。
  7. 　前記増幅率βは０≦β≦１である、請求項６に記載の画像処理方法。
  8. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、
    　前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、を含み、
    　前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行する画像処理方法。
  9. 　入力画像を表す入力画像信号に含まれる周波数成分より高い周波数成分を生成して入力画像を鮮鋭化する画像処理装置における画像処理方法であって、
    　前記画像処理装置における処理手順が、
    　少なくとも入力画像信号に含まれる水平方向の高周波部分において、入力画像信号の垂直方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる水平方向の周波数成分より高い周波数成分を含む水平方向の高調波を生成する水平方向処理ステップと、
    　少なくとも入力画像信号に含まれる垂直方向の高周波部分において、入力画像信号の水平方向の周波数成分の高周波部分を除去し、入力画像信号に含まれる垂直方向の周波数成分より高い周波数成分を含む垂直方向の高調波を生成する垂直方向処理ステップと、を含み、
    　前記水平方向処理ステップと前記垂直方向処理ステップの少なくとも一方は、入力信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、前記第２信号を調整して第３信号を生成するステップと、を含み、
    　前記垂直方向処理ステップ及び前記水平方向処理ステップを直列又は並列に実行する画像処理方法。
  10. 　入力画像信号の動きを検出し、入力画像信号の垂直方向の動き量が大きいときに前記垂直方向処理ステップによる周波数成分の強調度を低くし、入力画像信号の水平方向の動き量が大きいときに前記水平方向処理ステップによる周波数成分の強調度を低くするステップを含む、請求項６乃至９のいずれか一項に記載の画像処理方法。
PCT/JP2014/000990 2013-02-25 2014-02-25 画像処理装置、画像処理方法 WO2014129209A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14754671.7A EP2961151B1 (en) 2013-02-25 2014-02-25 Image processing device, image processing method
US14/767,690 US9374508B2 (en) 2013-02-25 2014-02-25 Image processing apparatus and image processing method
KR1020157022669A KR20150122656A (ko) 2013-02-25 2014-02-25 화상 처리 장치, 화상 처리 방법
CN201480009966.XA CN105075232B (zh) 2013-02-25 2014-02-25 图像处理装置、图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-035186 2013-02-25
JP2013035186A JP5403450B1 (ja) 2013-02-25 2013-02-25 画像処理装置、画像処理方法

Publications (1)

Publication Number Publication Date
WO2014129209A1 true WO2014129209A1 (ja) 2014-08-28

Family

ID=50112433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000990 WO2014129209A1 (ja) 2013-02-25 2014-02-25 画像処理装置、画像処理方法

Country Status (6)

Country Link
US (1) US9374508B2 (ja)
EP (1) EP2961151B1 (ja)
JP (1) JP5403450B1 (ja)
KR (1) KR20150122656A (ja)
CN (1) CN105075232B (ja)
WO (1) WO2014129209A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5629902B1 (ja) 2013-08-20 2014-11-26 合志　清一 画像処理装置、画像処理方法
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
CN109688465B (zh) 2018-11-27 2020-12-29 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301441A (ja) * 2007-06-04 2008-12-11 Sanyo Electric Co Ltd 信号処理装置、映像表示装置及び信号処理方法
JP2008306497A (ja) * 2007-06-07 2008-12-18 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2012043407A1 (ja) 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879543B2 (ja) * 2002-03-08 2007-02-14 ソニー株式会社 画像処理装置
CN101960487B (zh) * 2008-03-03 2012-11-28 三菱电机株式会社 图像处理装置和方法、以及图像显示装置和方法
EP2472850B1 (en) * 2008-12-22 2013-11-20 Mitsubishi Electric Corporation Image processing apparatus
JP2014135528A (ja) * 2011-04-27 2014-07-24 Sharp Corp 画像処理装置、表示装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301441A (ja) * 2007-06-04 2008-12-11 Sanyo Electric Co Ltd 信号処理装置、映像表示装置及び信号処理方法
JP2008306497A (ja) * 2007-06-07 2008-12-18 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2012043407A1 (ja) 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2961151A4

Also Published As

Publication number Publication date
JP2014165679A (ja) 2014-09-08
EP2961151B1 (en) 2018-04-04
CN105075232A (zh) 2015-11-18
CN105075232B (zh) 2018-03-20
JP5403450B1 (ja) 2014-01-29
EP2961151A4 (en) 2016-07-20
EP2961151A1 (en) 2015-12-30
US20150373234A1 (en) 2015-12-24
KR20150122656A (ko) 2015-11-02
US9374508B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
JP5583780B2 (ja) 信号処理装置および集積回路
WO2014129209A1 (ja) 画像処理装置、画像処理方法
JP2010028178A (ja) 画質改善装置及び方法
JP5320538B1 (ja) 画像強調装置、画像強調方法
JP5730362B2 (ja) 画像処理装置及び画像処理方法
JP5629902B1 (ja) 画像処理装置、画像処理方法
JP5349204B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
US9471962B2 (en) Image enhancement apparatus and image enhancement method
JP5247627B2 (ja) 画像処理装置及び方法、並びに画像表示装置
WO2013047284A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP2004221982A (ja) 映像信号処理回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480009966.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14754671

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14767690

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157022669

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014754671

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE