WO2014024373A1 - 画像強調装置、画像強調方法 - Google Patents

画像強調装置、画像強調方法 Download PDF

Info

Publication number
WO2014024373A1
WO2014024373A1 PCT/JP2013/003570 JP2013003570W WO2014024373A1 WO 2014024373 A1 WO2014024373 A1 WO 2014024373A1 JP 2013003570 W JP2013003570 W JP 2013003570W WO 2014024373 A1 WO2014024373 A1 WO 2014024373A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
signal level
pixel
image enhancement
Prior art date
Application number
PCT/JP2013/003570
Other languages
English (en)
French (fr)
Other versions
WO2014024373A8 (ja
Inventor
合志　清一
Original Assignee
株式会社計測技術研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社計測技術研究所 filed Critical 株式会社計測技術研究所
Priority to EP13799476.0A priority Critical patent/EP2733920B1/en
Priority to US14/124,374 priority patent/US9495732B2/en
Priority to CN201380001711.4A priority patent/CN103988488B/zh
Priority to KR1020137033150A priority patent/KR20150053871A/ko
Publication of WO2014024373A1 publication Critical patent/WO2014024373A1/ja
Publication of WO2014024373A8 publication Critical patent/WO2014024373A8/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image enhancement device and an image enhancement method for improving image quality by sharpening an image, for example, an image enhancement device and an image suitable for sharpening a moving image displayed in real time on a television (TV) receiver. Concerning the emphasis method.
  • FIG. 12 is a diagram showing a waveform change in the signal level of an image by the conventional image enhancement processing.
  • FIG. 12A is a diagram illustrating a waveform of a signal level in the horizontal direction of an input image signal, and particularly illustrates a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • FIG. 12B shows a high-frequency component extracted from the input image signal. When this high-frequency component is amplified and added to the input image signal, the rising edge change shown in FIG. Output image signals can be obtained.
  • the conventional image enhancement processing is based on linear digital signal processing, it is possible to generate a frequency component higher than the Nyquist frequency, that is, a frequency component higher than 1 ⁇ 2 of the sampling frequency of the target image. Can not. For this reason, in order to improve image quality, it has been impossible to sharpen an image by generating and using a frequency component exceeding the Nyquist frequency.
  • HDTV High Definition Television, 1080 ⁇ 1920 pixel
  • the image is displayed in a blurred manner.
  • an image signal having HDTV resolution is enlarged to a higher definition (for example, 4K resolution of about 4000 ⁇ 2000 pixels)
  • the image is displayed in a blurred manner.
  • the image signal after the enlargement process includes only the frequency components up to the Nyquist frequency of the original image before the enlargement, and includes the frequency components near the Nyquist frequency of the image after the enlargement. It is because it is not.
  • FIG. 13A shows a frequency spectrum of a digital image signal whose sampling frequency is fs
  • FIG. 13B shows a case where the number of pixels is doubled in the horizontal direction by up-converting the digital image signal. Is the frequency spectrum.
  • the Nyquist frequency fs / 2 corresponding to the original sampling frequency fs
  • the new Nyquist frequency Fbs corresponding to the new sampling frequency Fbs.
  • There is no frequency component between / 2 fs.
  • FIG. 13C shows the frequency spectrum when the image enhancement processing by the conventional linear digital signal processing is performed on the digital image signal after up-conversion.
  • the frequency component near the original Nyquist frequency fs / 2 is increased by the image enhancement processing by linear digital signal processing.
  • frequency components exceeding the original Nyquist frequency fs / 2 are not generated. Therefore, in the conventional image enhancement processing by linear digital signal processing, for example, as illustrated in FIG. 13D, a frequency component near the new Nyquist frequency Fbs / 2 is generated beyond the original Nyquist frequency fbs / 2. It will never be done. That is, for the digital image signal after up-conversion, it has been impossible to sharpen the image by generating and using a frequency component exceeding the Nyquist frequency in order to improve the image quality.
  • Non-Patent Document 1 performs image enhancement processing by repeatedly performing arithmetic processing on a plurality of frames having the same sampling frequency and selecting and synthesizing pixels with high resolution from each frame. Is to do. For this reason, some images may not be restored correctly, and there may be a flicker that may cause a broken image to appear suddenly in a movie. Also, the amount of processing using multiple frames is very heavy. There was a problem.
  • an object of the present invention is to provide an image enhancement device and an image enhancement method capable of sharpening an image with a frequency component exceeding the Nyquist frequency without repetitive calculation for a plurality of frames.
  • an image enhancement device is an image enhancement device that generates an output image obtained by sharpening an input image, and includes a frequency component included in an input image signal representing the input image.
  • a filter unit that generates a first signal by removing at least a direct current component; and a non-linear processing unit that generates a second signal by performing non-linear processing that is asymmetric with respect to the first signal.
  • the non-linear processing applied to the positive region and the non-linear processing applied to the negative region are represented as continuous functions passing through the origin, and the frequency component band generated by the non-linear processing
  • a non-linear processing unit that performs non-linear processing that is asymmetric between a positive region and a negative region, a limiter that adjusts the second signal to generate a third signal, and adds the third signal to the input image signal Shi And an adder for generating an output image signal representative of the output image.
  • the nonlinear processing unit includes a plurality of types of nonlinear processing that is asymmetrical with respect to the first signal, and generates a plurality of types of second signals.
  • the switching unit includes the switching unit, According to the signal level of the input image signal, one second signal is selected from the plurality of types of second signals for each pixel to generate a fourth signal, and the limiter adjusts the fourth signal to adjust the fourth signal.
  • the third signal is generated.
  • the switch selects a second signal having a large rate of change in the positive region of the first signal from the plurality of types of second signals for the pixels having the signal level equal to or lower than a predetermined value.
  • the signal is generated.
  • the switch selects the second signal having a large rate of change in the negative region of the first signal from the plurality of types of second signals for the pixels having the signal level higher than a predetermined value.
  • the signal is generated.
  • a switch is provided, and the switch selects one of the first signal and the second signal for each pixel according to the signal level of the input image signal to generate a fourth signal, and the limiter Preferably, the fourth signal is adjusted to generate the third signal.
  • the switch generates the fourth signal by selecting the second signal for pixels whose signal level falls within a predetermined upper limit and lower limit range.
  • an area filter that calculates an average signal level of a predetermined area including surrounding pixels is provided for each pixel of the input image signal, and the switch is configured to output the fourth signal based on the average signal level of the pixel. It is preferable to generate.
  • the solution of the present invention has been described as an apparatus.
  • the present invention substantially corresponds to these, and is also realized as a method, a program, or a storage medium that records a program executed by a processor included in the apparatus. It should be understood that these are included within the scope of the present invention.
  • an image enhancement method implemented as a method of the present invention is an image enhancement method in an image enhancement device that generates an output image obtained by sharpening an input image, and the processing procedure by the image enhancement device represents the input image.
  • a non-linear processing step for generating a non-linear processing applied to a positive region and a non-linear processing applied to a negative region for the first signal as a continuous function passing through the origin, and the non-linear processing A non-linear processing step for performing non-linear processing in which the frequency component band generated in step a is asymmetric in a positive region and a negative region, and adjusting the second signal to obtain a third signal Comprising an adjusting step of forming, and generating an output image signal representative of the output image by adding the third signal to the input image signal.
  • the method further includes a switching step, wherein in the non-linear processing step, the first signal is subjected to a plurality of types of non-linear processing that is asymmetric with respect to positive and negative of the first signal to generate a plurality of types of second signals, and in the switching step, According to the signal level of the input image signal, one second signal is selected from the plurality of types of second signals for each pixel to generate a fourth signal. In the adjustment step, the fourth signal is adjusted. And generating the third signal.
  • a second signal having a large rate of change in the positive region of the first signal is selected from the plurality of types of second signals, and the fourth signal is selected.
  • the signal is generated.
  • a second signal having a large rate of change in the negative region of the first signal is selected from the plurality of types of second signals, and the fourth signal is selected.
  • the signal is generated.
  • the method further includes a switching step, wherein in the switching step, according to a signal level of the input image signal, one of the first signal and the second signal is selected for each pixel to generate a fourth signal, Preferably, the adjusting step adjusts the fourth signal to generate the third signal.
  • the fourth signal is generated by selecting the second signal for pixels whose signal level falls within a predetermined upper limit and lower limit range.
  • the method further includes a step of calculating an average signal level of a predetermined area including surrounding pixels, and in the switching step, the fourth signal is calculated based on the average signal level of each pixel. It is preferable to generate.
  • the image enhancement device and the image enhancement method according to the present invention it is possible to sharpen an image with a frequency component exceeding the Nyquist frequency without repetitive calculation for a plurality of frames.
  • FIG. 1 is a block diagram showing a configuration of an image enhancement device 1 according to the first embodiment of the present invention.
  • the image enhancement device 1 performs processing for sharpening an image represented by the input image signal S in (hereinafter referred to as “image enhancement processing” or “input image signal S in” input from the outside as a digital signal representing the image.
  • image enhancement processing processing for sharpening an image represented by the input image signal S in
  • input image signal S in input from the outside as a digital signal representing the image.
  • the high-pass filter (HPF) 10 the non-linear processing unit 20, the limiter 30, and the adder 50 are provided.
  • the image represented by the input image signal S in may be a still image or a moving image.
  • the moving image is, for example, a standard definition television (SDTV: Standard Definition). It may be a moving image displayed in real time on a television (HDTV) or a high definition television (HDTV) receiver.
  • SDTV Standard Definition
  • HDTV high definition television
  • each component is described with respect to the waveform of the signal level in the horizontal direction of the image.
  • the waveform of the signal level in the vertical direction of the image or the waveform of the signal level in the time direction between images in the moving image can perform image enhancement processing by processing equivalent to that in the horizontal direction.
  • FIG. 2A is a diagram showing a waveform of the signal level in the horizontal direction of the input image signal Sin, and particularly shows a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • the resolution of the input image signal S in which corresponds to the output image signal S out of the resolution
  • the input image signal S in when the resolution of the output image is higher than the resolution of the original input image, the input image signal S in the original input
  • the resolution of the image is up-converted to the resolution of the output image signal Sout .
  • the input image signal S in is a signal obtained by converting the original SDTV image into the HDTV resolution by the existing linear conversion.
  • the HPF 10 generates a first signal S1 that is a high-frequency signal by removing at least a direct-current component of a frequency component included in the input image signal Sin. Specifically, the HPF 10 extracts a high-frequency component including a contour component in the image represented by the input image signal Sin, and the first signal S1 in FIG. 2B is extracted from the input image signal Sin in FIG. To extract.
  • FIG. 3 is a block diagram showing the configuration of the HPF 10.
  • the HPF 10 includes m taps (m ⁇ 1) including m ⁇ 1 unit delay elements 111 to 11 (m ⁇ 1), m multipliers 121 to 12m, and one adder 131.
  • m can be configured as a transversal digital filter.
  • FIG. 4 is a diagram illustrating an example of a high-pass filter configured by a low-frequency currency filter.
  • the HPF 10 shown in FIG. 1 can be realized by the configuration using the low-pass filter (hereinafter referred to as “LPF”) 11 and the subtractor 12.
  • LPF low-pass filter
  • the non-linear processing unit 20 performs non-linear processing that is asymmetrical with respect to the first signal S1, and generates the second signal S2.
  • the first signal S1 includes a positive contour component and a negative contour component.
  • the positive direction and the negative direction of the first signal S1 are respectively the white direction and the black direction in terms of pixels, and are different (asymmetric) instead of applying the same (symmetric) nonlinear processing in both directions.
  • the nonlinear processing unit 20 performs different (asymmetrical) nonlinear processing on the positive direction contour component and the negative direction contour component of the first signal S1.
  • asymmetric non-linear processing in which the first signal S1 is asymmetric with respect to positive and negative is referred to as “asymmetric non-linear processing”.
  • the values of the nonlinear processing applied to the positive region and the nonlinear processing applied to the negative region are continuous around the origin of the first signal S1 (a point where the value becomes zero). Any non-linear processing can be combined as long as it is.
  • FIG. 2C is a diagram illustrating a waveform of the second signal S2 by the asymmetric nonlinear processing by the nonlinear processing unit 20. As shown in the figure, the second signal S2 has a large positive waveform.
  • the nonlinear processing unit 20 performs nonlinear processing in which the first signal S1 is asymmetrical depending on whether the first signal S1 is positive or negative, it is possible to perform image enhancement processing that matches human perceptual characteristics, as will be described later.
  • image enhancement processing that matches human perceptual characteristics, as will be described later.
  • Weber-Fechner's law is known as a law based on human senses.
  • this rule is applied to image recognition, it can be said that the contour in the low luminance region is more easily perceived than the contour in the high luminance region. Therefore, for example, the nonlinear processing unit 20 can amplify the edge enhancement component in the first signal S1 by applying the processing of the nonlinear processing unit 20 to a pixel having a low signal level (luminance).
  • the asymmetric nonlinear process by the nonlinear processing unit 20 is not limited to the combination of the square process and the cube process, and other nonlinear processes can be performed.
  • the non-linear processing in the positive and negative regions of the first signal S1 can be expressed by Expression (1).
  • the non-linear processing by each processing unit includes all powers of general rational numbers represented by p / q.
  • the sign of the first signal S1 is maintained. For example, even when the even power (for example, the square) is performed as the power process, the first signal S1 is negative.
  • +1)), and a gamma correction function (for example, S2 S1 1 /
  • Various nonlinear functions such as 2 ) can be used in appropriate combination.
  • the nonlinear processing unit 20 holds an addition value for each signal level of the first signal S1 in advance in a table or the like, for example, an 8-bit signal level that takes a value from the minimum value 0 to the maximum value 255.
  • the limiter 30 functions as an adjuster of the amplitude (signal level) of the second signal S2, and adjusts the second signal S2 to generate the third signal S3. Specifically, clipping is performed so that the amplitude of the second signal S2 is less than or equal to a predetermined upper limit value, or the second signal S2 is multiplied by a constant ⁇ satisfying 0 ⁇ ⁇ ⁇ 1. The gain of the level of S2 is adjusted. Further, the limiter 30 can also perform a rounding process in which a signal value equal to or lower than a predetermined lower limit value in the second signal S2 is set to 0 for noise removal. The limiter 30 outputs the second signal S2 that has been subjected to clip processing, gain adjustment, rounding processing, and the like to the adder 50 as a third signal S3.
  • the rising transition of the edge portion in the output image signal S out is steeper than the rising transition of the edge portion of the input image signal S in. That is, a sharper image than the input image signal S in can be obtained.
  • the adder 50 includes a delay element for adjusting the timing between the input image signal Sin and the third signal S3 as necessary.
  • the image enhancement apparatus 1 can compensate for a high frequency region exceeding the Nyquist frequency fs / 2 that could not be compensated by a conventional image enhancement apparatus, and thus an image represented by an image signal subjected to enlargement processing This is particularly effective in improving image quality by sharpening.
  • the point that the high-frequency region exceeding the Nyquist frequency fs / 2 can be compensated by the non-linear processing by the non-linear processing unit 20 will be described in more detail.
  • N is the order of the highest harmonic that does not exceed the Nyquist frequency fs / 2 corresponding to the sampling frequency fs (before image enlargement processing). That is, N ⁇ / (2 ⁇ ) ⁇ fs / 2 ⁇ (N + 1) ⁇ / (2 ⁇ ) It is.
  • the first signal S1 output from the HPF 10 includes the high-frequency component of the signal g (x) or the signal g (x), and the first signal S1 is determined by the nonlinear processing unit 20 according to whether the first signal S1 is positive or negative. Non-linear processing that is asymmetric is performed.
  • each term in the second signal S2 is one of the following formulas (4a) to (4d): It is expressed by
  • (g (x)) 3 includes a frequency component that is 3N times the basic angular frequency ⁇ and a frequency component that is ⁇ 3N times.
  • (g (x)) 3 includes various frequency components from ⁇ 3N to 3N times the basic angular frequency ⁇ . I understand that.
  • each term in the second signal S2 is expressed by the following formula (7a) to (7c).
  • (g (x)) 2 includes angular frequency components such as (N + 1) ⁇ , (N + 2) ⁇ ,..., 2N ⁇ , and therefore includes a frequency component higher than the Nyquist frequency fs / 2.
  • the second signal S2 also includes a frequency component higher than the Nyquist frequency fs / 2, such as a harmonic component having a frequency of 2N ⁇ / (2 ⁇ ).
  • the image signal after the image enlargement process for doubling the number of pixels in the horizontal direction is input to the image enhancement apparatus 1 of the present embodiment as the input image signal S in , nonlinear processing is performed via the HPF 10.
  • the second signal S2 including a frequency component higher than the Nyquist frequency fs / 2 before the image enlargement process is generated.
  • the third signal S3 output from the limiter 30 also includes a frequency component higher than the Nyquist frequency fs / 2 before the image enlargement process. Therefore, include higher frequency components than the input image signal S in and also the output image signal S out obtained by adding the third signal S3 is a compensation signal, before likewise image enlargement processing Nyquist frequency fs / 2 .
  • the nonlinear processing unit 20 performs asymmetric nonlinear processing on the first signal S1 to generate the second signal S2, and the limiter 30 adjusts the second signal S2 to adjust the third signal.
  • generate S3, adder 50 generates an output image signal S out representing an output image by adding the third signal to the input image signal S in.
  • a high-frequency component exceeding the Nyquist frequency fs / 2 such as a harmonic component of the frequency component of the input image signal S in, is generated by the non-linear processing in the non-linear processing unit 20. process for sharpening is performed on the image signal S in.
  • the processing of the nonlinear processing unit 20 based on the third signal S3 including a frequency component higher than the Nyquist frequency fs / 2 corresponding to the original sampling frequency fs is generated as a compensation signal
  • the third signal S3 is added to the input image signal S in .
  • the frequency spectrum of the output image signal Sout in the present embodiment is as shown in FIG. 13D, which includes a component exceeding the Nyquist frequency fs / 2 before the enlargement processing, and compared with the conventional image enhancement device.
  • the image after the enlargement process can be sufficiently sharpened.
  • the image enhancement apparatus 1 can be realized with the simple configuration shown in FIG. 1, the image enhancement apparatus 1 can be used as a receiver for a high-definition television (HDTV) or a standard definition television (SDTV). By using it, not only a still image but also a moving image displayed in real time can improve the image quality without causing a large cost increase.
  • HDTV high-definition television
  • SDTV standard definition television
  • the present embodiment can also compensate for a high frequency region exceeding the Nyquist frequency fs / 2 that could not be compensated by the conventional image enhancement device, the sharpening of the image represented by the image signal subjected to the enlargement process is particularly effective. This is particularly effective in improving image quality. For example, when displaying an image by performing an enlargement process on an image signal of a standard definition television (SDTV) on a display of a high definition television (HDTV) receiver, the present embodiment displays the image in real time. This has a great effect in that the moving image can be sufficiently sharpened with a simple configuration.
  • SDTV standard definition television
  • HDTV high definition television
  • 4k display a display having a pixel number of about 4000 ⁇ 2000 (hereinafter referred to as “4k display”), which is larger than the number of pixels of HDTV, and the corresponding technology for television broadcasting are being developed. Even when the signal is up-converted and displayed on the 4k display, the present embodiment has a great effect in the same way.
  • FIG. 6 is a block diagram showing a configuration of the image enhancement device 2 according to the second embodiment of the present invention.
  • the image enhancement device 2 includes a high-pass filter (HPF) 10, a non-linear processing unit 23, a switcher 40, a limiter 31, and an adder 50.
  • HPF high-pass filter
  • the operation of each component and the output waveform will be described by taking the waveform of the signal level (luminance value) in the horizontal direction of the image shown in FIG. 7 as an example.
  • symbol same as 1st Embodiment detailed description in this embodiment is abbreviate
  • the HPF 10 extracts the high-frequency component of the input image signal Sin in FIG. 7A and generates the first signal S1 shown in FIG. 7B, as in the first embodiment.
  • the nonlinear processing unit 23 performs a plurality of types of asymmetric nonlinear processing on the first signal S1 to generate a plurality of types of second signals.
  • the nonlinear processing unit 23 according to the present embodiment includes a first processing unit 21 and a second processing unit 22, and the first processing unit 21 and the second processing unit 22 perform different asymmetric nonlinear processes.
  • FIG. 7C1 is a diagram illustrating a waveform of the second signal S21 by the asymmetric nonlinear processing by the first processing unit 21. As shown in the figure, the second signal S21 is amplified with a positive waveform larger than a negative waveform. Thus, for example, by applying the processing of the first processing unit 21 to pixels with a low signal level (luminance), it is possible to enhance the edge component in the first signal S1.
  • FIG. 7C2 is a diagram illustrating a waveform of the second signal S22 by the asymmetric nonlinear processing by the second processing unit 22. As shown in the figure, the second signal S22 has a negative waveform that is greatly amplified compared to a positive waveform.
  • Switch 40 in response to the signal level of the input image signal S in, and select one of the second signals from the plurality of types of second signals (S21, S22) for each pixel, to produce a fourth signal S4.
  • the contour in the low luminance region is more easily perceived than the contour in the high luminance region. That is, it is preferable to switch between control for an edge in the positive direction (white direction) and control for an edge in the negative direction (black direction) according to the signal level (luminance) of each pixel based on human visual characteristics. Therefore, in order to further emphasize the contour of the low-luminance region, the switcher 40 uses the first processing unit 21 with a high rate of change in the positive region of the first signal S1 for pixels with low signal level (luminance).
  • the signal S21 is selected as the fourth signal S4.
  • the switch 40 prevents a pixel having a high signal level (luminance) from being saturated and diverged by amplification, and emphasizes an edge component of a pixel having a low luminance level, in a negative region of the first signal S1.
  • the second signal S22 by the second processing unit 22 having a large change rate is selected as the fourth signal S4.
  • the switcher 40 uses the second signal S21 from the first processing unit 21 as the fourth signal S4 as the fourth signal S4 for the pixels having the signal level of 0 to 127.
  • the second signal S22 from the second processing unit 22 is output to the limiter 31 as the fourth signal S4 for the pixels having the signal level of 128 to 255.
  • FIG. 7D shows a waveform when the switcher 40 selects the second signal S22 by the second processing unit 22 as the fourth signal S4.
  • the adder 50 by adding the input image signal S in the third signal S31 as a compensation signal for image sharpening To generate an output image signal Sout .
  • the nonlinear processing unit 23 performs a plurality of types of asymmetric nonlinear processing on the first signal S1 to generate a plurality of types of second signals (S21, S22).
  • one second signal is selected from a plurality of types of second signals (S21, S22) for each pixel to generate a fourth signal S4.
  • generating a third signal S31 by adjusting the signal S4 the adder 50 generates an output image signal S out representing an output image by adding the third signal S31 to the input image signal S in.
  • the switch 40 in response to the signal level of the input image signal S in, performs a process of selecting one of the second signals from the plurality of types of second signals (S21, S22) for each pixel. That is, it is possible to perform different asymmetric nonlinear processing for each pixel of the input image, such as a low luminance region and a high luminance region of the input image, and perform image enhancement processing suitable for each region.
  • the switcher 40 selects a second signal having a large rate of change in the positive region of the first signal S1 from a plurality of types of second signals (S21, S22) for pixels whose signal level is a predetermined value or less.
  • a fourth signal S4 is generated.
  • the switcher 40 selects a second signal having a large rate of change in the negative region of the first signal S1 from a plurality of types of second signals (S21, S22) for pixels whose signal level is higher than a predetermined value.
  • the fourth signal S4 is generated.
  • the edge component in the first signal S1 is enhanced for the pixel having a low luminance level, so that it is possible to perform image enhancement processing that matches human perceptual characteristics.
  • the number of processing units provided in the nonlinear processing unit 23 is not limited to two, and more processing units can be provided.
  • the nonlinear processing unit 23 may include n (n> 2) processing units, and each processing unit may perform different asymmetric nonlinear processing.
  • the switcher 40 manages n ⁇ 1 threshold values for the signal level, and can select which processing unit outputs the second signal as the fourth signal S4 according to each threshold value.
  • the threshold value managed by the switcher 40 need not be obtained by dividing the signal level evenly.
  • a low-brightness region that is likely to affect human perception is set with a fine interval to finely switch the asymmetric nonlinear processing, and a high-brightness region is applied with a common asymmetric nonlinear processing over a wide range. It is also good.
  • FIG. 9 is a block diagram showing the configuration of the image enhancement device 3 according to the third embodiment of the present invention.
  • the image enhancement device 2 includes a high-pass filter (HPF) 10, a non-linear processing unit 23, a switch 41, a limiter 31, an adder 50, and an area filter 60.
  • HPF high-pass filter
  • a non-linear processing unit 23 includes a switch 41, a limiter 31, an adder 50, and an area filter 60.
  • symbol same as 2nd Embodiment detailed description in this embodiment is abbreviate
  • the waveform of each signal level of the image enhancement device 3 according to this embodiment is the same as the waveform in the second embodiment shown in FIG.
  • Area filter 60 when switching the second signal S21 and the second signal S21 according to the first processing unit 21 for each pixel of the input image signal S in by the second processing section 22, the brightness changes between adjacent pixels This prevents flickering from occurring.
  • the area filter 60 calculates the average signal level of a predetermined area including surrounding pixels for each pixel of the input image signal S in , and uses the average signal level as the input image average signal S in_ave as the switch 41. Output to.
  • the area filter 60 is located in a median filter which calculates the average signal level of the input image signal 3 ⁇ 3 pixels around each pixel of S in, 5 ⁇ 5 pixels or 7 ⁇ 7 brightness of a predetermined area such as a pixel
  • the average signal level is output to the switch 41 as the input image average signal S in_ave .
  • the “average” here includes not only a simple average of surrounding pixels but also a weighted average considering weights for each pixel.
  • the switch 41 selects one second signal from the plurality of types of second signals (S21, S22) based on the average signal level of each pixel of the input image average signal S in_ave and generates a fourth signal S41. .
  • switch 41 is not a signal level of each pixel of the input image signal S in, it generates a fourth signal S41 based on the average signal level of each pixel. Since the average signal level is the average value of the signal levels of a predetermined area including surrounding pixels, the possibility of selecting the second signal by different asymmetric nonlinear processing between adjacent pixels is reduced, and flickering of the screen occurs. Can be suppressed. Further, the switch 41 can further suppress the occurrence of screen flicker, for example, by maintaining the second signal selected for a predetermined area for a certain period.
  • FIG. 10 is a block diagram showing the configuration of the image enhancement device 4 according to the fourth embodiment of the present invention.
  • the image enhancement device 4 includes a high-pass filter (HPF) 10, a non-linear processing unit 20, a switch 42, a limiter 31, and an adder 50.
  • HPF high-pass filter
  • the operation of each component and the output waveform will be described using the waveform of the signal level (luminance value) in the horizontal direction of the image shown in FIG. 11 as an example.
  • symbol same as 1st Embodiment detailed description in this embodiment is abbreviate
  • the HPF 10 extracts the high frequency component of the input image signal Sin in FIG. 11A and generates the first signal S1 shown in FIG. Further, the non-linear processing unit 20 performs non-linear processing that is asymmetrical with respect to the first signal S1, and generates the second signal S2 shown in FIG. 11C.
  • Switch 42 in response to the signal level of the input image signal S in, for each pixel, selects one of the first signal S1 and the second signal S2, generates a fourth signal S42.
  • the contour in the low luminance region is more easily perceived than the contour in the high luminance region.
  • the contour in the region where the luminance is particularly low corresponds to so-called noise, and it is not preferable to emphasize the noise.
  • the value may saturate or diverge due to amplification, resulting in glare in the image.
  • the switch 42 has pixels whose signal level (luminance) falls within the upper and lower limits of the predetermined value, for example, FIG. ),
  • the second signal S2 is selected as the fourth signal S42.
  • the switch 42 is shown in FIG. 11B in order to prevent saturation and divergence of values due to amplification and noise enhancement for pixels whose signal level (luminance) is not included in the predetermined upper and lower limits.
  • the first signal S1 is selected as the fourth signal S42.
  • the switch 42 uses the second signal S2 from the nonlinear processing unit 20 as the fourth signal for pixels having a signal level of 32 (lower limit) to 192 (upper limit).
  • the signal S42 is output to the limiter 31, and the first signal S1 is output to the limiter 31 as the fourth signal S42 for pixels 0 to 31 whose signal level is lower than the lower limit and 193 to 255 which are higher than the upper limit.
  • the adder 50 by adding the input image signal S in the third signal S31 as a compensation signal for image sharpening To generate an output image signal Sout .
  • the nonlinear processing unit 20 the first signal S1 to generate a second signal S2 performs asymmetric nonlinear processing
  • the switch 42 according to the signal level of the input image signal S in For each pixel, one of the first signal S1 and the second signal S2 is selected to generate the fourth signal S42
  • the limiter 31 adjusts the fourth signal S42 to generate the third signal S31
  • the adder 50 generates an output image signal S out representing an output image by adding the third signal S31 to the input image signal S in.
  • the switch 42 in response to the signal level of the input image signal S in, performs a process of selecting one of the first signal S1 and the second signal S2 for each pixel. That is, it is possible to determine whether or not the asymmetric nonlinear processing is appropriate for each pixel of the input image such as a region where the luminance of the input image is low, and to perform image enhancement processing suitable for each region.
  • the switcher 42 selects the second signal S2 and generates the third signal S3 for the pixels whose signal level falls within the predetermined upper and lower limits.
  • image enhancement processing that matches human perception characteristics such that a contour in a low luminance region is more easily perceived than a contour in a high luminance region while suppressing noise enhancement.
  • the said 3rd Embodiment is the structure which added the area filter 60 to the structure of 2nd Embodiment, it is also possible to add the area filter 60 to the structure of 4th Embodiment.
  • the switcher 42 selects one of the first signal S1 and the second signal S2 based on the average signal level of each pixel of the input image average signal S in_ave and generates the fourth signal S42.
  • switch 42 is not a signal level of each pixel of the input image signal S in, it generates a fourth signal S42 based on the average signal level of each pixel.
  • the average signal level is an average value of the signal level of a predetermined area including surrounding pixels, the possibility that the first signal S1 or the second signal S2 is selected differently between adjacent pixels is reduced. It is possible to suppress the occurrence of screen flicker. Further, the switching device 42 can further suppress the occurrence of flickering of the screen, for example, by maintaining the selection of the first signal S1 or the second signal S2 for a certain period for a predetermined area.
  • the present invention is applied to an image enhancement device for sharpening an image to improve image quality.
  • an image enhancement device for sharpening a moving image displayed in real time on a television (TV) receiver. Can be applied to.
  • the present invention can be applied to image enhancement processing of a surveillance camera, and for example, it is possible to reduce blurring when a part of an image is enlarged.
  • image enhancement processing that sharpens the outline of a dark area with respect to an image of a surveillance camera installed in a dark place or an image taken at night.
  • the present invention can be applied to improve the resolution of images taken from a long distance. For example, it is possible to perform image enhancement processing that sharpens the contour of an image of an accident site that is difficult to approach from an image taken from a distance, a satellite image, or the like.
  • the present invention can be applied to high definition analog content. That is, when converting existing analog content to high-definition content, it is possible to reproduce analog content as higher-definition digital content by performing image enhancement processing that sharpens the contour of the up-converted image.
  • the present invention can be applied when converting analog TV content into high-vision content or converting old movie content into higher-definition digital content (for example, Blu-ray (registered trademark) content).
  • the present invention is applicable to the medical field. For example, it is possible to convert an enlarged image of an affected area with an endoscope or the like into a higher definition image, or to convert an image of an affected area with a lower resolution into a higher definition image in telemedicine etc. Become.
  • the present invention can be applied to high definition of moving image content that can be viewed on a computer.
  • moving image content There are many sites on the Internet that distribute video content, and many video content is already stored.
  • it is possible to convert existing moving image content into content of higher definition and higher resolution and improve viewing quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　ナイキスト周波数を超える周波数成分により画像を先鋭化する。　本発明に係る画像強調装置１は、入力画像を鮮鋭化した出力画像を生成する画像強調装置１であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部１０と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部２０と、前記第２信号を調整して第３信号を生成するリミッタ３０と、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部５０と、を備える。

Description

画像強調装置、画像強調方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１２－１７７４６６号（２０１２年８月９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、画像を鮮鋭化して画質を改善するための画像強調装置及び画像強調方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像強調装置及び画像強調方法に関する。
　画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１２は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１２（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１２（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１２（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。
　また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。
S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, "Fast and Robust Multi-frame Super-resolution", IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.
　従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
　例えば、フルハイビジョン（ＨＤＴＶ：High Definition Television、１０８０×１９２０画素)のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。
　以下、画像の拡大、強調処理による周波数成分の変化を図１３により説明する。図１３（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１３（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｓｂ＝２・ｆｓ）。ここで、図１３（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。
　図１３（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図１３（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
　また、非特許文献１などに記載の従来の超解像技術は、サンプリング周波数が同じ複数のフレームに繰り返し演算処理を施し、各フレームから解像度の高い画素を選択して合成することにより画像強調処理を行うものである。そのため、画像によっては正しく復元できないことがあるため、動画では破綻画像が突然現れたりするようなチラつきが発生する可能性があり、また、複数フレームを使っての演算の処理量が非常に重いという問題があった。
　そこで本発明は、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能な画像強調装置及び画像強調方法を提供することを目的とする。
　上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える。
　また、切替器を備え、前記非線形処理部は、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
　また、前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、切替器を備え、前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記リミッタは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
　また、前記切替器は、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、前記切替器は、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。
　上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当し、装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
　例えば、本発明を方法として実現した画像強調方法は、入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、前記第２信号を調整して第３信号を生成する調整ステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。
　また、切替ステップをさらに含み、前記非線形処理ステップにおいて、前記第１信号に前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から１つの第２信号を選択して第４信号を生成し、前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
　また、前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、切替ステップをさらに含み、前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択して第４信号を生成し、前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、ことが好ましい。
　また、前記切替ステップにおいて、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して前記第４信号を生成する、ことが好ましい。
　また、前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、前記切替ステップにおいて、前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、ことが好ましい。
　本発明に係る画像強調装置及び画像強調方法によれば、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
第１実施形態に係る画像強調装置の構成を示す図である。 第１実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 第１実施形態に係る非対称非線形処理を示す図である。 第２実施形態に係る画像強調装置の構成を示す図である。 第２実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 第２実施形態に係る非対称非線形処理を示す図である。 第３実施形態に係る画像強調装置の構成を示す図である。 第４実施形態に係る画像の水平方向の信号レベルの波形を示す図である。 第４実施形態に係る非対称非線形処理を示す図である。 従来の画像強調処理による画像の信号レベルの波形変化を示す図である。 画像の拡大、強調処理による周波数成分の変化を示す図である。
　以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
　（第１実施形態）
　図１は、本発明の第１実施形態に係る画像強調装置１の構成を示すブロック図である。この画像強調装置１は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓｉｎに対し、その入力画像信号Ｓｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、リミッタ３０と、加算器５０とを備えている。
　入力画像信号Ｓｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機においてリアルタイムで表示される動画であってもよい。
　以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で画像強調処理を行うことが可能である点に留意されたい。
　図２（Ａ）は、入力画像信号Ｓｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓｉｎの解像度は、出力画像信号Ｓｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓｉｎは、元の入力画像の解像度を出力画像信号Ｓｏｕｔの解像度にアップコンバートしたものである。例えば、画像強調装置１によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。
　ＨＰＦ１０は、入力画像信号Ｓｉｎに含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第１信号Ｓ１を生成する。具体的には、ＨＰＦ１０は、入力画像信号Ｓｉｎの表す画像における輪郭成分を含む高周波成分を抽出し、図２（Ａ）の入力画像信号Ｓｉｎから、図２（Ｂ）の第１信号Ｓ１を抽出する。
　図３は、このＨＰＦ１０の構成を示すブロック図である。図３の通り、ＨＰＦ１０は、ｍ－１個の単位遅延素子１１１～１１（ｍ－１）と、ｍ個の乗算器１２１～１２ｍと、１個の加算器１３１とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器１２ｊ（ｊ＝１～ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器１３１に出力し、係数Ｃｊは、ＨＰＦ１０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝－１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）１１と減算器１２を用いた構成により、図１に示すＨＰＦ１０を実現することができる。
　非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い第２信号Ｓ２を生成する。第１信号Ｓ１は、図２（Ｂ）に示すように正方向の輪郭成分と負方向の輪郭成分とを含むものである。ここで、第１信号Ｓ１の正方向及び負方向は、画素的にはそれぞれ白方向及び黒方向となり、両方向について同じ（対称的な）非線形処理を適用するのではなく、異なる（非対称となる）非線形処理を適用することにより、より人間の視覚特性にあったエッジ強調が可能となる。すなわち、非線形処理部２０は、第１信号Ｓ１の正方向の輪郭成分と、負方向の輪郭成分とに異なる（非対称となる）非線形処理を行うものである。これ以降、第１信号Ｓ１の正負で非対称となる非線形処理を、「非対称非線形処理」と称するものとする。
　非線形処理部２０による非対称非線形処理は、第１信号Ｓ１の原点（値がゼロとなる点）を中心に、正の領域に適用する非線形処理と負の領域に適用する非線形処理との値が連続している限り、あらゆる非線形処理を組み合わせることができる。本実施形態において、非線形処理部２０は、例えば図５に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２を生成し（Ｓ２＝Ｓ１３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２として生成する（Ｓ２＝－Ｓ１２）ものとする。図２（Ｃ）は、非線形処理部２０による非対称非線形処理による第２信号Ｓ２の波形を示す図である。図示の通り、第２信号Ｓ２は、正の波形が大きく増幅されることになる。
　非線形処理部２０が第１信号Ｓ１の正負で非対称となる非線形処理を行うことにより、後述する通り、人間の知覚特性に合った画像強調処理が可能になる。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、例えば、非線形処理部２０は、信号レベル（輝度）が低い画素に対して非線形処理部２０の処理を適用することにより、第１信号Ｓ１におけるエッジ強調成分を増幅することが可能となる。
　なお、非線形処理部２０による非対称非線形処理は、２乗処理及び３乗処理の組み合わせに限定されず、他の非線形処理を行うことが可能である。例えば、第１信号Ｓ１の正負各領域での非線形処理は、式（１）により表現することができる。各処理部による非線形処理は、p/qで表される一般的な有理数の指数乗をすべて包含する。なお、かかる冪乗処理においては、第１信号Ｓ１の正負は維持されるものであり、例えば、冪乗処理として偶数乗（例えば２乗）を行う場合でも、第１信号Ｓ１が負の場合には、冪乗処理後の値の符号は負に維持される（例えば、Ｓ２＝－Ｓ１２）。
Figure JPOXMLDOC01-appb-M000001
　さらに、非線形処理部２０は、非対称非線形処理について、三角関数（例えばＳ２＝Ｓｉｎ（Ｓ１））、対数関数（例えばＳ２＝ｌｏｇ（｜Ｓ１｜＋１））、ガンマ補正関数（例えばＳ２＝Ｓ１１／２）など、種々の非線形関数を適宜組み合わせて利用することができる。
　また、非線形処理部２０は、予め第１信号Ｓ１の信号レベル毎の加算値をテーブルなどで保持しておき、例えば、最小値０から最大値２５５までの値をとる８ビットの信号レベルである場合、第１信号Ｓ１の信号レベルに応じて±１０の範囲の値を加算するなど、式（１）に示す一般式によらない非線形処理を行うことも可能である。
　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して第３信号Ｓ３を生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となる定数αを乗算することにより当該第２信号Ｓ２のレベルのゲイン調整を行う。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を第３信号Ｓ３として加算器５０に出力する。
　加算器５０は、第３信号Ｓ３を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。すなわち、Ｓｏｕｔ＝Ｓｉｎ＋Ｓ３であり、図２（Ａ）の入力画素信号に図２（Ｃ）の第２信号Ｓ２を調整した第３信号Ｓ３を加算することにより、図２（Ｄ）に示す画像強調処理後の信号を生成する。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がり変化は、入力画像信号Ｓｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓｉｎよりも鮮鋭な画像を得ることができる。なお、加算器５０は、入力画像信号Ｓｉｎと第３信号Ｓ３との間でタイミングを調整するための遅延素子を必要に応じて備えるものである。
　本実施形態に係る画像強調装置１は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。以下、非線形処理部２０による非線形処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について更に詳しく説明する。
　いま、入力画像信号Ｓｉｎが（水平方向）位置ｘの関数ｆ(ｘ)で表現されるものとし、入力画像信号Ｓｉｎの基本角周波数をωとすると、このｆ(ｘ)は式（２）のようなフーリエ級数で表現することができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
　　Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。
　上記式（２）より、関数ｆ(ｘ)で表される入力画像信号Ｓｉｎ（以下「入力信号ｆ(ｘ)」ともいう）の直流成分ａ0以外の部分をｇ(ｘ)とおくと、ｇ（ｘ）は式（３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　ＨＰＦ１０から出力される第１信号Ｓ１は、上記信号ｇ(ｘ)または信号ｇ(ｘ)の高周波成分を含んでおり、第１信号Ｓ１は、非線形処理部２０により、第１信号Ｓ１の正負で非対称となる非線形処理を施される。
　例えば、非線形処理部２０が、正の第１信号Ｓ１を３乗することにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（４ａ）～（４ｄ）のいずれかで表現される。
Figure JPOXMLDOC01-appb-M000004
 （ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ；ｋ＝±１，±２，…，±Ｎ）
　いま、例えばｉ＝ｊ＝ｋ＝Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、これらの項は、三角関数の公式より次のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000005
　また、例えばｉ＝ｊ＝ｋ＝－Ｎの項のうち上記式（４ａ）（４ｄ）で示される下記の項に着目すると、この項は、三角関数の公式より次のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000006
　上記式（５ａ）（５ｄ）（６ａ）（６ｄ）より、（ｇ(ｘ)）3は、基本角周波数ωの３Ｎ倍の周波数成分や－３Ｎ倍の周波数成分を含む。（ｇ(ｘ)）3における他の項についても三角関数の公式によって書き換えることにより、（ｇ(ｘ)）3は、基本角周波数ωの－３Ｎ倍から３Ｎ倍までの種々の周波数成分を含むことがわかる。
　また、非線形処理部２０が、負の第１信号Ｓ１を２乗して符号をマイナスにすることにより、第２信号Ｓ２を生成する場合、第２信号Ｓ２における各項は下記式（７ａ）～（７ｃ）のいずれかで表現される。
Figure JPOXMLDOC01-appb-M000007
 　（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）
　三角関数に関する公式を用いると、上記式（７ａ）～（７ｃ）は、下記の式（８ａ）～（８ｃ）にそれぞれ書き直すことができる。
Figure JPOXMLDOC01-appb-M000008
　上記式より（ｇ(ｘ)）2は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第２信号Ｓ２も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。
　したがって、画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓｉｎとして本実施形態の画像強調装置１に入力されると、ＨＰＦ１０を経て、非線形処理部２０の処理により、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第２信号Ｓ２が生成される。リミッタ３０が出力する第３信号Ｓ３にも、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分は含まれる。このため、入力画像信号Ｓｉｎと補償用信号である第３信号Ｓ３とを加算した出力画像信号Ｓｏｕｔにも、同様に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは、例えば図１３（Ｄ）に示すように、元のナイキスト周波数ｆｓ／２を超え、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されたものとなる。
　このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、リミッタ３０は、第２信号Ｓ２を調整して第３信号Ｓ３を生成し、加算器５０は、第３信号を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
　より詳しくは、非線形処理部２０における非線形処理により、入力画像信号Ｓｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓｉｎとして使用するものとすると、非線形処理部２０の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第３信号Ｓ３が補償用信号として生成され、この第３信号Ｓ３が入力画像信号Ｓｉｎに付加される。これにより、本実施形態における出力画像信号Ｓｏｕｔの周波数スペクトルは図１３（Ｄ）に示すようになり、拡大処理前のナイキスト周波数ｆｓ／２を超える成分を含み、従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化できるようになる。
　また、図１に示す簡単な構成で本実施形態に係る画像強調装置１を実現できるので、この画像強調装置１を高精細テレビジョン（ＨＤＴＶ)や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。
　また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ)の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。
　（第２実施形態）
　図６は、本発明の第２実施形態に係る画像強調装置２の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４０と、リミッタ３１と、加算器５０とを備えている。以下、図７に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図７（Ａ）の入力画像信号Ｓｉｎの高周波成分を抽出して図７（Ｂ）に示す第１信号Ｓ１を生成する。
　非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号を生成するものである。本実施形態に係る非線形処理部２３は、第１処理部２１及び第２処理部２２を備え、第１処理部２１及び第２処理部２２は、それぞれ異なる非対称非線形処理を行うものである。
　例えば、第１処理部２１は、図８（Ａ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を３乗して第２信号Ｓ２１を生成し（Ｓ２１＝Ｓ１３）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を２乗して符号を負としたものを第２信号Ｓ２１として生成する（Ｓ２１＝－Ｓ１２）ものとする。図７（Ｃ１）は、第１処理部２１による非対称非線形処理による第２信号Ｓ２１の波形を示す図である。図示の通り、第２信号Ｓ２１は、正の波形が負の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が低い画素に対して第１処理部２１の処理を適用することにより、第１信号Ｓ１におけるエッジの成分を強調することが可能となる。
　また、例えば、第２処理部２２は、図８（Ｂ）に示すとおり、第１信号Ｓ１が正の場合には、第１信号Ｓ１を２乗して第２信号Ｓ２２を生成し（Ｓ２２＝Ｓ１２）、第１信号Ｓ１が負の場合には、第１信号Ｓ１を３乗したものを第２信号Ｓ２２として生成する（Ｓ２２＝Ｓ１３）ものとする。図７（Ｃ２）は、第２処理部２２による非対称非線形処理による第２信号Ｓ２２の波形を示す図である。図示の通り、第２信号Ｓ２２は、負の波形が正の波形に比べて大きく増幅されることになる。これにより、例えば、信号レベル（輝度）が高い画素に対して第２処理部２２の処理を適用することにより、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分を強調することが可能となる。
　切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。つまり、人間の視覚特性に基づき、各画素の信号レベル（輝度）に応じて、正方向（白方向）のエッジに対する制御と、負方向（黒方向）のエッジに対する制御とを切り替えることが好ましい。そのため、輝度が低い領域の輪郭をより強調するため、切替器４０は、信号レベル（輝度）の低い画素は、第１信号Ｓ１の正領域での変化率の大きい第１処理部２１による第２信号Ｓ２１を第４信号Ｓ４として選択する。また、切替器４０は、信号レベル（輝度）の高い画素は、増幅による値の飽和・発散を防ぎ、かつ、輝度レベルが低い画素のエッジ成分を強調するため、第１信号Ｓ１の負領域での変化率の大きい第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択する。例えば、切替器４０は、入力画像信号Ｓｉｎが８ビットの信号とすると、信号レベルが０～１２７の画素については、第１処理部２１からの第２信号Ｓ２１を第４信号Ｓ４としてリミッタ３１に出力し、信号レベルが１２８～２５５の画素については、第２処理部２２からの第２信号Ｓ２２を第４信号Ｓ４としてリミッタ３１に出力する。図７（Ｄ）は、切替器４０が、第２処理部２２による第２信号Ｓ２２を第４信号Ｓ４として選択した場合の波形を示すものである。
　リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
　このように、本実施形態によれば、非線形処理部２３は、第１信号Ｓ１に複数種類の非対称非線形処理を行い複数種類の第２信号（Ｓ２１、Ｓ２２）を生成し、切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して第４信号Ｓ４を生成し、リミッタ３１は、第４信号Ｓ４を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
　特に、切替器４０は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択するという処理を行う。すなわち、入力画像の輝度が低い領域と高い領域など、入力画像の画素ごとに異なる非対称非線形処理を行い、各領域にあった画像強調処理を行うことが可能となる。
　例えば、切替器４０は、信号レベルが所定値以下の画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の正領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。
　また、例えば、切替器４０は、信号レベルが所定値より高い画素について、複数種類の第２信号（Ｓ２１、Ｓ２２）から、第１信号Ｓ１の負領域での変化率が大きい第２信号を選択して第４信号Ｓ４を生成する。これにより、輝度レベルが低い画素について第１信号Ｓ１におけるエッジの成分が強調されるため、人間の知覚特性に合った画像強調処理を行うことが可能となる。
　なお、非線形処理部２３が備える処理部の数は２つに限定されず、さらに多くの処理部を備えることが可能である。例えば、非線形処理部２３は、ｎ個（ｎ＞２）の処理部を備え、各処理部がそれぞれ異なる非対称非線形処理を行うように構成しても良い。この場合、切替器４０は、信号レベルについてｎ－１個の閾値を管理しておき、各閾値によりどの処理部からの第２信号を第４信号Ｓ４として出力するか選択することができる。非線形処理部２３が多くの種類の非対称非線形処理を行うことによって、より細かい粒度で、入力画像の各領域に合った画像強調処理を行うことが可能となる。また、切替器４０が管理する閾値は、信号レベルを均等に分割したものである必要はない。例えば、人間の知覚に影響を与えやすい輝度の低い領域については細かい間隔で閾値を設定して非対称非線形処理を細かく切替え、輝度の高い領域についてはある程度広い範囲について共通の非対称非線形処理を適用することとしても良い。
　（第３実施形態）
　図９は、本発明の第３実施形態に係る画像強調装置３の構成を示すブロック図である。この画像強調装置２は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２３と、切替器４１と、リミッタ３１と、加算器５０、エリアフィルタ６０とを備えている。なお、第２実施形態と同一の符号を付した機能部については、第２実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、本実施形態に係る画像強調装置３の各信号レベルの波形は、図７に示す第２実施形態における波形と同様である。
　エリアフィルタ６０は、入力画像信号Ｓｉｎの画素ごとに第１処理部２１による第２信号Ｓ２１と第２処理部２２による第２信号Ｓ２１とを切り替えた場合に、隣接する画素間において輝度が変化してちらつきが発生することを防ぐものである。本実施形態において、エリアフィルタ６０は、入力画像信号Ｓｉｎの各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出し、当該平均信号レベルを入力画像平均信号Ｓｉｎ＿ａｖｅとして切替器４１に出力する。例えば、エリアフィルタ６０は、入力画像信号Ｓｉｎの各画素を中心とした３×３画素、５×５画素、又は７×７画素といった所定エリアの輝度の平均信号レベルを算出するメディアンフィルタであり、当該平均信号レベルを入力画像平均信号Ｓｉｎ＿ａｖｅとして切替器４１に出力する。なお、ここでいう「平均」とは、周囲の画素の単純な平均のみならず、各画素に対する重み付けを考慮した重み付け平均を含むものである。
　切替器４１は、入力画像平均信号Ｓｉｎ＿ａｖｅの各画素の平均信号レベルに基づき、複数種類の第２信号（Ｓ２１、Ｓ２２）から１つの第２信号を選択して、第４信号Ｓ４１を生成する。
　このように、本実施形態によれば、切替器４１は、入力画像信号Ｓｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４１を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において異なる非対称非線形処理による第２信号が選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４１は、例えば所定エリアに対して選択される第２信号を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。
　（第４実施形態）
　図１０は、本発明の第４実施形態に係る画像強調装置４の構成を示すブロック図である。この画像強調装置４は、高域通過フィルタ（ＨＰＦ）１０と、非線形処理部２０と、切替器４２と、リミッタ３１と、加算器５０とを備えている。以下、図１１に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、第１実施形態と同一の符号を付した機能部については、第１実施形態と同等の処理を行うものとして本実施形態での詳細な説明を省略する。例えば、ＨＰＦ１０は、第１実施形態と同様に、図１１（Ａ）の入力画像信号Ｓｉｎの高周波成分を抽出して図１１（Ｂ）に示す第１信号Ｓ１を生成する。また、非線形処理部２０は、第１信号Ｓ１に対して、第１信号Ｓ１の正負で非対称となる非線形処理を行い、図１１（Ｃ）に示す第２信号Ｓ２を生成する。
　切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。ここで、上述の通り、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすい。ただし、輝度が特に低い領域における輪郭は、いわゆるノイズに相当するものであり、当該ノイズを強調することは好ましくない。また、輝度が高い領域の輪郭を強調すると、増幅により値が飽和・発散して画像にぎらつきが生じる場合がある。そのため、ノイズの発生を抑えつつ輝度が低い領域の輪郭をより強調するため、切替器４２は、信号レベル（輝度）が所定値の上限及び下限の範囲に含まれる画素は、例えば図１１（Ｄ）に示すとおり、第２信号Ｓ２を第４信号Ｓ４２として選択する。また、切替器４２は、信号レベル（輝度）が所定の上限及び下限の範囲に含まれない画素は、増幅による値の飽和・発散や、ノイズの強調を防ぐため、図１１（Ｂ）に示す第１信号Ｓ１を第４信号Ｓ４２として選択する。例えば、切替器４２は、入力画像信号Ｓｉｎが８ビットの信号とすると、信号レベルが３２（下限）～１９２（上限）の画素については、非線形処理部２０からの第２信号Ｓ２を第４信号Ｓ４２としてリミッタ３１に出力し、信号レベルが下限未満の０～３１と、上限より高い１９３～２５５の画素については、第１信号Ｓ１を第４信号Ｓ４２としてリミッタ３１に出力する。
　リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。
　このように、本実施形態によれば、非線形処理部２０は、第１信号Ｓ１に非対称非線形処理を行い第２信号Ｓ２を生成し、切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択して第４信号Ｓ４２を生成し、リミッタ３１は、第４信号Ｓ４２を調整して第３信号Ｓ３１を生成し、加算器５０は、第３信号Ｓ３１を入力画像信号Ｓｉｎに加算して出力画像を表す出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
　特に、切替器４２は、入力画像信号Ｓｉｎの信号レベルに応じて、画素毎に第１信号Ｓ１又は第２信号Ｓ２の一方を選択するという処理を行う。すなわち、入力画像の輝度が低い領域など、入力画像の画素ごとに非対称非線形処理の適否を判断し、各領域にあった画像強調処理を行うことが可能となる。
　例えば、切替器４２は、信号レベルが所定の上限及び下限の範囲に含まれる画素について、第２信号Ｓ２を選択して第３信号Ｓ３を生成する。これにより、ノイズの強調を抑えつつ、輝度が低い領域における輪郭は輝度が高い領域における輪郭に比べて知覚されやすいという人間の知覚特性に合った画像強調処理を行うことが可能となる。
　なお、上記第３実施形態は、第２実施形態の構成にエリアフィルタ６０を追加した構成であるが、第４実施形態の構成にエリアフィルタ６０を追加することも可能である。この場合、切替器４２は、入力画像平均信号Ｓｉｎ＿ａｖｅの各画素の平均信号レベルに基づき、第１信号Ｓ１又は第２信号Ｓ２の一方を選択して、第４信号Ｓ４２を生成する。この実施形態によれば、切替器４２は、入力画像信号Ｓｉｎの各画素の信号レベルではなく、各画素の平均信号レベルに基づき第４信号Ｓ４２を生成する。平均信号レベルは、周囲の画素を含む所定エリアの信号レベルの平均値となるため、隣接する画素間において、第１信号Ｓ１又は第２信号Ｓ２それぞれが異なって選択される可能性が低減され、画面のちらつきの発生を抑制することが可能となる。また、切替器４２は、例えば所定エリアに対して、第１信号Ｓ１又は第２信号Ｓ２の選択を一定期間維持することにより、さらに画面のちらつきの発生を抑制することが可能である。
　本発明は、画像を鮮鋭化して画質を改善するための画像強調装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。
　また、本発明は、監視カメラの画像強調処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像強調処理が可能になる。
　さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像強調処理が可能になる。
　さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像強調処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ－ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。
　さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。
　さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　１、２、３　画像強調装置
　１０　ＨＰＦ（高域通過フィルタ：フィルタ部）
　１１１～１１（ｍ－１）　単位遅延素子
　１２１～１２ｍ　乗算器
　１３１　加算器
　１１　ＬＰＦ（低域通過フィルタ）
　１２　減算器
　２０、２３　非線形処理部
　２１　第１処理部
　２２　第２処理部
　３０、３１　リミッタ
　４０、４１、４２　切替器
　５０　加算器
　６０　エリアフィルタ

Claims (22)

  1. 　入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
    　前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するフィルタ部と、
    　前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理部であって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理部と、
    　前記第２信号を調整して第３信号を生成するリミッタと、
    　前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算部と、を備える画像強調装置。
  2. 　切替器を備え、
    　前記非線形処理部は、前記第１信号に対して前記連続関数が互いに異なり前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
    　前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から知覚特性に合った１つの第２信号を選択して第４信号を生成し、
    　前記リミッタは、前記第４信号を調整して前記第３信号を生成する、請求項１に記載の画像強調装置。
  3. 　前記切替器は、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２に記載の画像強調装置。
  4. 　前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項２に記載の画像強調装置。
  5. 　前記切替器は、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項３に記載の画像強調装置。
  6. 　切替器を備え、
    　前記切替器は、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択し得る構成を有し、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して第４信号を生成し、
    　前記リミッタは、前記第４信号を調整して前記第３信号を生成する、
    　請求項１に記載の画像強調装置。
  7. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
    　前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項２に記載の画像強調装置。
  8. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
    　前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項３に記載の画像強調装置。
  9. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
    　前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項４に記載の画像強調装置。
  10. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
    　前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項５に記載の画像強調装置。
  11. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するエリアフィルタを備え、
    　前記切替器は、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項６に記載の画像強調装置。
  12. 　入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、
    　前記入力画像を表す入力画像信号に含まれる周波数成分の少なくとも直流成分を除去することにより第１信号を生成するステップと、
    　前記第１信号に対して前記第１信号の正負で非対称となる非線形処理を行い第２信号を生成する非線形処理ステップであって、前記第１信号に対して、正の領域に適用する非線形処理と負の領域に適用する非線形処理とが原点を通る連続関数として表され、且つ、非線形処理で生成された周波数成分の帯域が、正の領域と負の領域で非対称となる非線形処理を行う非線形処理ステップと、
    　前記第２信号を調整して第３信号を生成する調整ステップと、
    　前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
  13. 　切替ステップをさらに含み、
    　前記非線形処理ステップにおいて、前記第１信号に対して前記連続関数が互いに異なり前記第１信号の正負で非対称となる非線形処理を複数種類行い複数種類の第２信号を生成し、
    　前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記複数種類の第２信号から知覚特性に合った１つの第２信号を選択して第４信号を生成し、
    　前記調整ステップにおいて、前記第４信号を調整して前記第３信号を生成する、請求項１２に記載の画像強調方法。
  14. 　前記切替ステップにおいて、前記信号レベルが所定値以下の画素について、前記複数種類の第２信号から、前記第１信号の正領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項１３に記載の画像強調方法。
  15. 　前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項１３に記載の画像強調方法。
  16. 　前記切替ステップにおいて、前記信号レベルが所定値より高い画素について、前記複数種類の第２信号から、前記第１信号の負領域での変化率が大きい第２信号を選択して前記第４信号を生成する、請求項１４に記載の画像強調方法。
  17. 　切替ステップをさらに含み、
    　前記切替ステップにおいて、前記入力画像信号の信号レベルに応じて、画素毎に前記第１信号又は前記第２信号の一方を選択可能とし、前記信号レベルが所定の上限及び下限の範囲に含まれる画素について、前記第２信号を選択して第４信号を生成し、
    　前記調整ステップは、前記第４信号を調整して前記第３信号を生成する、
    　請求項１２に記載の画像強調方法。
  18. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    　前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項１３に記載の画像強調方法。
  19. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    　前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項１４に記載の画像強調方法。
  20. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    　前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項１５に記載の画像強調方法。
  21. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    　前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項１６に記載の画像強調方法。
  22. 　前記入力画像信号の各画素について、周囲の画素を含む所定エリアの平均信号レベルを算出するステップをさらに含み、
    　前記切替ステップにおいて、前記信号レベルに代えて前記各画素の前記平均信号レベルに基づき前記第４信号を生成する、請求項１７に記載の画像強調方法。
     
PCT/JP2013/003570 2012-08-09 2013-06-06 画像強調装置、画像強調方法 WO2014024373A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13799476.0A EP2733920B1 (en) 2012-08-09 2013-06-06 Iimage enhancing device and image enhancing method
US14/124,374 US9495732B2 (en) 2012-08-09 2013-06-06 Image enhancing device and image enhancement method
CN201380001711.4A CN103988488B (zh) 2012-08-09 2013-06-06 图像增强设备和图像增强方法
KR1020137033150A KR20150053871A (ko) 2012-08-09 2013-06-06 화상 강조 장치 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012177466A JP5320538B1 (ja) 2012-08-09 2012-08-09 画像強調装置、画像強調方法
JP2012-177466 2012-08-09

Publications (2)

Publication Number Publication Date
WO2014024373A1 true WO2014024373A1 (ja) 2014-02-13
WO2014024373A8 WO2014024373A8 (ja) 2014-05-15

Family

ID=49595839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003570 WO2014024373A1 (ja) 2012-08-09 2013-06-06 画像強調装置、画像強調方法

Country Status (6)

Country Link
US (1) US9495732B2 (ja)
EP (1) EP2733920B1 (ja)
JP (1) JP5320538B1 (ja)
KR (1) KR20150053871A (ja)
CN (1) CN103988488B (ja)
WO (1) WO2014024373A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648261B2 (en) * 2015-08-26 2017-05-09 Apple Inc. Account for clipped pixels in auto-focus statistics collection
CN105530406B (zh) * 2015-12-18 2018-06-12 成都国翼电子技术有限公司 一种基于历史帧图像统计值的智能增强方法
CN112351152B (zh) * 2019-08-06 2023-08-29 瑞昱半导体股份有限公司 影像处理电路与相关的影像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2011061958A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011099202A1 (ja) * 2010-02-15 2011-08-18 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
WO2011105377A1 (ja) * 2010-02-25 2011-09-01 シャープ株式会社 画像処理装置およびこれを備えた表示装置並びに画像処理方法
WO2012043407A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377313B1 (en) * 1999-09-02 2002-04-23 Techwell, Inc. Sharpness enhancement circuit for video signals
JP3879543B2 (ja) * 2002-03-08 2007-02-14 ソニー株式会社 画像処理装置
JP2008500757A (ja) * 2004-05-25 2008-01-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像信号の鮮鋭度を強調するための方法およびシステム
JP5519122B2 (ja) * 2007-08-15 2014-06-11 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム
US8655101B2 (en) * 2009-06-04 2014-02-18 Sharp Kabushiki Kaisha Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
WO2010146728A1 (ja) * 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011061957A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US9014502B2 (en) * 2011-03-15 2015-04-21 Sharp Kabushiki Kaisha Signal processing device, control program and integrated circuit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2011061958A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011099202A1 (ja) * 2010-02-15 2011-08-18 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
WO2011105377A1 (ja) * 2010-02-25 2011-09-01 シャープ株式会社 画像処理装置およびこれを備えた表示装置並びに画像処理方法
WO2012043407A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. FARSIU; D. ROBINSON; M. ELAD; P. MILANFAR: "Fast and Robust Multi-frame Super-resolution", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 10, October 2004 (2004-10-01), pages 1327 - 1344
See also references of EP2733920A4

Also Published As

Publication number Publication date
US9495732B2 (en) 2016-11-15
CN103988488A (zh) 2014-08-13
EP2733920B1 (en) 2017-08-30
EP2733920A4 (en) 2015-07-15
CN103988488B (zh) 2018-05-08
JP2014036380A (ja) 2014-02-24
WO2014024373A8 (ja) 2014-05-15
JP5320538B1 (ja) 2013-10-23
KR20150053871A (ko) 2015-05-19
EP2733920A1 (en) 2014-05-21
US20140334742A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
JP5281690B2 (ja) 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2011099202A1 (ja) 信号処理装置、制御プログラム、および集積回路
JP5320538B1 (ja) 画像強調装置、画像強調方法
JP5403450B1 (ja) 画像処理装置、画像処理方法
JP5730362B2 (ja) 画像処理装置及び画像処理方法
JP5396626B1 (ja) 画像強調装置、画像強調方法
JP5629902B1 (ja) 画像処理装置、画像処理方法
TWI390958B (zh) 影像濾波電路及應用其之影像處理電路及影像處理方法
JP4483407B2 (ja) 映像信号処理装置
JP2004221982A (ja) 映像信号処理回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14124374

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2013799476

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013799476

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137033150

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13799476

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE