WO2014025067A1 - 画像強調装置、画像強調方法 - Google Patents

画像強調装置、画像強調方法 Download PDF

Info

Publication number
WO2014025067A1
WO2014025067A1 PCT/JP2013/071899 JP2013071899W WO2014025067A1 WO 2014025067 A1 WO2014025067 A1 WO 2014025067A1 JP 2013071899 W JP2013071899 W JP 2013071899W WO 2014025067 A1 WO2014025067 A1 WO 2014025067A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
input image
processing
frequency
Prior art date
Application number
PCT/JP2013/071899
Other languages
English (en)
French (fr)
Inventor
合志　清一
Original Assignee
株式会社計測技術研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社計測技術研究所 filed Critical 株式会社計測技術研究所
Priority to EP13827925.2A priority Critical patent/EP2884734B1/en
Priority to KR1020147034083A priority patent/KR20150043244A/ko
Priority to CN201380029164.0A priority patent/CN104335568B/zh
Priority to US14/404,558 priority patent/US9471962B2/en
Publication of WO2014025067A1 publication Critical patent/WO2014025067A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image enhancement device and an image enhancement method for improving image quality by sharpening an image, for example, an image enhancement device and an image suitable for sharpening a moving image displayed in real time on a television (TV) receiver. Concerning the emphasis method.
  • Image enhancement processing for sharpening images and improving image quality has been widely known.
  • contour compensation that makes the rise and fall of a video signal corresponding to the contour portion of an image to be displayed abrupt is performed.
  • a high-frequency component of an input image signal luminance signal
  • the high-frequency component is amplified and added to the input image signal, thereby improving visual image quality.
  • FIG. 10 is a diagram showing a waveform change in the signal level of an image by the conventional image enhancement processing.
  • FIG. 10A is a diagram illustrating a waveform of the signal level in the horizontal direction of the input image signal, and in particular, is a diagram illustrating a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • FIG. 10B shows a high-frequency component extracted from the input image signal. When this high-frequency component is amplified and added to the input image signal, the rising edge change shown in FIG. Output image signals can be obtained.
  • the conventional image enhancement processing is based on linear digital signal processing, it is possible to generate a frequency component higher than the Nyquist frequency, that is, a frequency component higher than 1 ⁇ 2 of the sampling frequency of the target image. Can not. For this reason, in order to improve image quality, it has been impossible to sharpen an image by generating and using a frequency component exceeding the Nyquist frequency.
  • HDTV High Definition Television, 1080 ⁇ 1920 pixel
  • the image is displayed in a blurred manner.
  • an image signal having HDTV resolution is enlarged to a higher definition (for example, 4K resolution of about 4000 ⁇ 2000 pixels)
  • the image is displayed in a blurred manner.
  • the image signal after the enlargement process includes only the frequency components up to the Nyquist frequency of the original image before the enlargement, and includes the frequency components near the Nyquist frequency of the image after the enlargement. It is because it is not.
  • FIG. 11A shows a frequency spectrum of a digital image signal whose sampling frequency is fs
  • FIG. 11B shows a case where the number of pixels is doubled in the horizontal direction by up-converting the digital image signal. Is the frequency spectrum.
  • the Nyquist frequency fs / 2 corresponding to the original sampling frequency fs
  • the new Nyquist frequency Fbs corresponding to the new sampling frequency Fbs.
  • There is no frequency component between / 2 fs.
  • FIG. 11C shows a frequency spectrum when image enhancement processing by conventional linear digital signal processing is performed on a digital image signal after up-conversion.
  • the frequency component near the original Nyquist frequency fs / 2 is increased by the image enhancement processing by linear digital signal processing.
  • frequency components exceeding the original Nyquist frequency fs / 2 are not generated. Therefore, in the conventional image enhancement processing by linear digital signal processing, for example, as illustrated in FIG. 11D, a frequency component near the new Nyquist frequency Fbs / 2 is generated beyond the original Nyquist frequency fbs / 2. It will never be done. That is, for the digital image signal after up-conversion, it has been impossible to sharpen the image by generating and using a frequency component exceeding the Nyquist frequency in order to improve the image quality.
  • Non-Patent Document 1 performs image enhancement processing by repeatedly performing arithmetic processing on a plurality of frames having the same sampling frequency and selecting and synthesizing pixels with high resolution from each frame. Is to do. For this reason, some images may not be restored correctly, and there may be a flicker that may cause a broken image to appear suddenly in a movie. Also, the amount of processing using multiple frames is very heavy. There was a problem.
  • an object of the present invention is to provide an image enhancement device and an image enhancement method capable of sharpening an image with a frequency component exceeding the Nyquist frequency without repetitive calculation for a plurality of frames.
  • an image enhancement device is an image enhancement device that generates an output image obtained by sharpening an input image, and performs non-linear processing on an input image signal representing the input image.
  • a non-linear processing unit for generating one signal, wherein the first signal is represented as a continuous non-linear function with respect to the input image signal, and non-linear processing for generating a frequency component not included in the input image signal A non-linear processing unit for performing, a filter unit for generating a second signal by removing at least a direct current component of a frequency component included in the first signal, a limiter for adjusting the second signal to generate a third signal, And an adder for adding the third signal to the input image signal to generate an output image signal representing the output image.
  • the non-linear processing unit generates a power of the input image signal as the first signal.
  • the nonlinear processing unit generates a power root of the input image signal as the first signal.
  • the solution of the present invention has been described as an apparatus.
  • the present invention substantially corresponds to these, and is also realized as a method, a program, or a storage medium that records a program executed by a processor included in the apparatus. It should be understood that these are included within the scope of the present invention.
  • an image enhancement method implemented as a method of the present invention is an image enhancement method in an image enhancement device that generates an output image obtained by sharpening an input image, and the processing procedure by the image enhancement device represents the input image.
  • a non-linear processing step for performing non-linear processing for generating a non-frequency component a step for generating a second signal by removing at least a DC component of the frequency component included in the first signal, and adjusting the second signal Generating a third signal; adding the third signal to the input image signal to generate an output image signal representing the output image; Including the.
  • a power of the input image signal is generated as the first signal.
  • a power root of the input image signal is generated as the first signal.
  • the image enhancement device and the image enhancement method according to the present invention it is possible to sharpen an image with a frequency component exceeding the Nyquist frequency without repetitive calculation for a plurality of frames.
  • FIG. 1 is a block diagram showing a configuration of an image enhancement device 1 according to an embodiment of the present invention.
  • the image enhancement device 1 performs processing for sharpening an image represented by the input image signal S in (hereinafter referred to as “image enhancement processing” or “input image signal S in” input from the outside as a digital signal representing the image.
  • image enhancement processing processing for sharpening an image represented by the input image signal S in
  • the apparatus simply performs “enhancement processing”, and includes a non-linear processing unit 10, a high-pass filter (HPF) 20, a limiter 30, and an adder 40.
  • HPF high-pass filter
  • the image represented by the input image signal S in may be a still image or a moving image.
  • the moving image may be, for example, a standard definition television (SDTV: Standard Definition). It may be a moving image that is displayed in real time on a television of a high definition television (HDTV) or a high definition television (HDTV).
  • SDTV Standard Definition
  • HDTV high definition television
  • HDTV high definition television
  • each component is described with respect to the waveform of the signal level in the horizontal direction of the image.
  • the waveform of the signal level in the vertical direction of the image or the waveform of the signal level in the time direction between images in the moving image can perform image enhancement processing by processing equivalent to that in the horizontal direction.
  • FIG. 2A is a diagram showing a waveform of the signal level in the horizontal direction of the input image signal Sin, and particularly shows a waveform of a portion corresponding to an edge where the signal level changes in the horizontal direction.
  • the resolution of the input image signal S in corresponds to the resolution of the output image signal Sout.
  • the input image signal S in Is up-converted to the resolution of the output image signal Sout.
  • the image enhancement device 1 outputs an SDTV image as an HDTV image
  • the input image signal S in is a signal obtained by converting the original SDTV image into the HDTV resolution by the existing linear conversion.
  • the non-linear processing unit 10 generates the first signal S1 by performing non-linear processing on the input image signal S in .
  • the non-linear processing by the non-linear processing unit 10 is intended to sharpen the contour of the image.
  • the input image signal S in shown in FIG. 2 (A) is converted as shown in FIG. 2 (B).
  • the first signal S1 is processed, and processing for making the rising edge rise sharply at the signal level is performed.
  • Process for generating a first signal S1 from the input image signal S in by the nonlinear processing unit 10 may be generalized by the formula (1).
  • the non-linear processing by the non-linear processing unit 10 includes all the powers of general rational numbers represented by p / q.
  • the signal level of each pixel takes a value from 0 to 255.
  • the non-linear processing unit 10 squares the input image signal S in , as shown in FIG. 2B, the rising edge of the edge portion becomes abrupt, so that the contour of the image is further emphasized. become.
  • the non-linear processing unit 10 calculates X ′, which is a value obtained by normalizing the pixel value X of the m-bit digital signal, using Equation (2).
  • the value of X ′ after normalization according to equation (2) is a value between 0 and 1.
  • the non-linear processing unit 10 applies the gamma correction function shown in the equation (3) to the normalized X ′ to calculate the value Y after the non-linear processing.
  • Equation (3) when the value of X ′ is small, the value of Y after the non-linear processing is raised higher than X ′. That is, a pixel with low luminance is raised more than a pixel with high luminance. Accordingly, for example, in edge sharpening exemplified in FIG. 2B, an edge enhancement component in a particularly low-luminance region increases, so that the contour of an image in a particularly low-luminance region is further enhanced.
  • the HPF 20 generates a second signal S2 that is a high-frequency signal by removing at least a DC component of the frequency component included in the first signal S1. Specifically, the HPF 20 extracts from the first signal S1 of FIG. 2B as a process of extracting a high-frequency component including a contour component of an image obtained by nonlinear processing of the input image signal S in (FIG. 2 (B)). The second signal S2 of C) is extracted.
  • the second signal S2 shown in FIG. 2C is compared with the signal of the high frequency component by the conventional linear digital processing shown in FIG. 10B
  • the second signal S2 is compared with the conventional high frequency component.
  • the waveform is sharpened.
  • the second signal S2 in which through a limiter 30 is added to the input image signal S in as a compensation signal for image sharpening. That is, the fact that the waveform of the second signal S2 is sharpened compared to the conventional one means that a higher-definition image enhancement process can be performed than in the conventional case, and along with the sharpening of the contour. Thus, it is possible to reduce the occurrence of ringing, which is a problem in the conventional linear digital processing.
  • FIG. 3 is a diagram illustrating an example of the configuration of the HPF 20.
  • the HPF 20 has m taps (m ⁇ 1 units delay elements 201 to 20 (m ⁇ 1), m multipliers 211 to 21 m, and one adder 220.
  • m can be configured as a transversal digital filter.
  • FIG. 4 is a diagram illustrating an example of a high-pass filter configured by a low-frequency currency filter.
  • the HPF 20 shown in FIG. 1 can be realized by the configuration using the low-pass filter (hereinafter referred to as “LPF”) 21 and the subtractor 22.
  • LPF low-pass filter
  • the limiter 30 functions as an adjuster of the amplitude (signal level) of the second signal S2, and adjusts the second signal S2 to generate the third signal S3. Specifically, clipping is performed so that the amplitude of the second signal S2 is less than or equal to a predetermined upper limit value, or the second signal S2 is multiplied by a constant ⁇ satisfying 0 ⁇ ⁇ ⁇ 1. Adjust the gain level. Further, the limiter 30 can also perform a rounding process in which a signal value equal to or lower than a predetermined lower limit value in the second signal S2 is set to 0 for noise removal. The limiter 30 outputs the second signal S2 that has been subjected to clip processing, gain adjustment, rounding processing, and the like to the adder 40 as a third signal S3.
  • the rising transition of the edge portion in the output image signal S out is steeper than the rising transition of the edge portion of the input image signal S in. That is, a sharper image than the input image signal S in can be obtained.
  • the adder 40 includes a delay element for adjusting the timing between the input image signal Sin and the third signal S3 as necessary.
  • the image enhancement apparatus 1 can compensate for a high frequency region exceeding the Nyquist frequency fs / 2 that could not be compensated by a conventional image enhancement apparatus, and thus an image represented by an image signal subjected to enlargement processing This is particularly effective in improving image quality by sharpening.
  • the point that the high-frequency region exceeding the Nyquist frequency fs / 2 can be compensated by the non-linear processing by the non-linear processing unit 10 will be described in more detail.
  • N is the order of the highest harmonic that does not exceed the Nyquist frequency fs / 2 corresponding to the sampling frequency fs (before image enlargement processing). That is, N ⁇ / (2 ⁇ ) ⁇ fs / 2 ⁇ (N + 1) ⁇ / (2 ⁇ ) It is.
  • the nonlinear processing unit 10 by squaring the input image signal S in, the case of generating a first signal S1, each term in the first signal S1 by any one of the following formulas (5a) ⁇ (5c) Expressed.
  • (f (x)) 2 includes angular frequency components such as (N + 1) ⁇ , (N + 2) ⁇ ,..., 2N ⁇ , and therefore includes a frequency component higher than the Nyquist frequency fs / 2. Therefore, the first signal S1 also includes a frequency component higher than the Nyquist frequency fs / 2, such as a harmonic component having a frequency of 2N ⁇ / (2 ⁇ ).
  • the processing of the nonlinear processing unit 10 when the image signal after the image enlargement process for doubling the number of pixels in the horizontal direction is input as the input image signal S in to the image enhancement apparatus 1 of the present embodiment, the processing of the nonlinear processing unit 10
  • the first signal S1 including a frequency component higher than the Nyquist frequency fs / 2 before the image enlargement process is generated.
  • the HPF 20 extracts the high frequency component of the first signal S1 to generate the second signal S2, and the second signal S2 is necessarily higher in frequency than the Nyquist frequency fs / 2 before the image enlargement processing.
  • the third signal S3 output from the limiter 30 also includes a frequency component higher than the Nyquist frequency fs / 2 before the image enlargement process.
  • the output image signal S out obtained by adding the third signal S3 is a compensation signal, before likewise image enlargement processing Nyquist frequency fs / 2 .
  • the frequency spectrum of the output image signal Sout exceeds the original Nyquist frequency fs / 2, for example, as shown in FIG. 11D, and a frequency component near the new Nyquist frequency Fbs / 2 is generated.
  • the processing of the processing unit 10 is not limited to the square of the input image signal S in.
  • the generation of a frequency component exceeding the Nyquist frequency fs / 2 by an arbitrary power process is clearly derived from a general trigonometric function formula.
  • any gamma processing power root
  • a frequency component exceeding the Nyquist frequency fs / 2 is generated.
  • the gamma processing by the nonlinear processing unit 10 enables compensation in a high frequency region exceeding the Nyquist frequency fs / 2.
  • FIG. 5 is an original image used for evaluation of nonlinear processing by gamma processing
  • FIG. 6 is a diagram showing frequency spectra before and after gamma processing.
  • FIG. 6A shows the frequency spectrum of the original image before gamma processing
  • FIG. 6B shows the frequency spectrum of the image after gamma processing.
  • FIG. 6 (A) and FIG. 6 (B) in the frequency spectrum after the gamma processing shown in FIG. 6 (B), the range of the frequency component is widened, and the frequency component not included in the frequency spectrum of the original image It can be seen that is generated.
  • FIG. 7 is a diagram showing an original image and an image subjected to image enhancement processing according to the present invention
  • FIG. 8 is a diagram showing a frequency spectrum of each image.
  • FIG. 7B shows an image after the nonlinear processing unit 10 performs image enhancement processing on the target image once in the horizontal direction and in the vertical direction with the square root of the input image signal S in as the first signal S1. Show.
  • the image of FIG. 7B is compared with the image of FIG. 7A, the sharpness or resolution of the image of the proposed method is improved, centering on the back of the scarf and chair, and the image quality of the entire image is improved by sharpening. Can be said to have improved.
  • FIG. 9 is a diagram showing, for comparison, an image that has undergone image enhancement processing according to the present invention and an image that has undergone image enhancement processing by conventional linear processing.
  • the image quality does not improve even when applied to the image, and for example, there is almost no difference in sharpness or resolution between the original image of FIG. 7A and the image of the prior art of FIG. 9A.
  • the nonlinear processing unit 10 generates a first signal S1 performs a nonlinear process on the input image signal S in
  • HPF 20 is at least a direct current of a frequency component contained in the first signal S1
  • the second signal S2 is generated by removing the component
  • the limiter 30 adjusts the second signal S2 to generate the third signal S3
  • the adder 40 converts the third signal S3 into the input image signal Sin .
  • the output image signal Sout is generated by adding.
  • a high-frequency component exceeding the Nyquist frequency fs / 2 such as a harmonic component of the frequency component of the input image signal S in, is generated by non-linear processing (for example, Expression (1)) in the non-linear processing unit 10.
  • non-linear processing for example, Expression (1)
  • the input image signal S in is processed for sharpening.
  • the nonlinear processing unit 10 or can generate or generate powers of the input image signal S in the first signal S1, the powers root of the input image signal S in the first signal S1. That is, the nonlinear processing unit 10 can generate a high frequency component exceeding the Nyquist frequency fs / 2 as the first signal S1 by a relatively simple nonlinear processing.
  • the image enhancement apparatus 1 can be realized with the simple configuration shown in FIG. 1, the image enhancement apparatus 1 can be used as a receiver for a high-definition television (HDTV) or a standard definition television (SDTV). By using it, not only a still image but also a moving image displayed in real time can improve the image quality without causing a large cost increase.
  • HDTV high-definition television
  • SDTV standard definition television
  • the present embodiment can also compensate for a high frequency region exceeding the Nyquist frequency fs / 2 that could not be compensated by the conventional image enhancement device, the sharpening of the image represented by the image signal subjected to the enlargement process is particularly effective. This is particularly effective in improving image quality. For example, when displaying an image by enlarging an image signal of a standard definition television (SDTV: Standard Definition Television) on a display of a high-definition television (HDTV) receiver, this embodiment displays the image in real time. This has a great effect in that the moving image can be sufficiently sharpened with a simple configuration.
  • SDTV Standard Definition Television
  • 4k display a display having a pixel number of about 4000 ⁇ 2000 (hereinafter referred to as “4k display”), which is larger than the number of pixels of HDTV, and the corresponding technology for television broadcasting are being developed. Even when the signal is up-converted and displayed on the 4k display, the present embodiment has a great effect in the same way.
  • HDR High Dynamic Range
  • HDR converts an original image (real) with a very large contrast into an image with a reduced contrast.
  • a pixel having low luminance is raised by using a gamma correction function for tone mapping for reducing contrast.
  • the image enhancement apparatus 1 performs nonlinear processing (gamma processing) based on human perceptual characteristics, such as HDR synthesis. Therefore, the image can be sharpened in a more preferable form to improve the image quality.
  • the present invention is applied to an image enhancement device for sharpening an image to improve image quality.
  • an image enhancement device for sharpening a moving image displayed in real time on a television (TV) receiver. Can be applied to.
  • the present invention can be applied to image enhancement processing of a surveillance camera, and for example, it is possible to reduce blurring when a part of an image is enlarged.
  • image enhancement processing that sharpens the outline of a dark area with respect to an image of a surveillance camera installed in a dark place or an image taken at night.
  • the present invention can be applied to improve the resolution of images taken from a long distance. For example, it is possible to perform image enhancement processing that sharpens the contour of an image of an accident site that is difficult to approach from an image taken from a distance, a satellite image, or the like.
  • the present invention can be applied to high definition analog content. That is, when converting existing analog content to high-definition content, it is possible to reproduce analog content as higher-definition digital content by performing image enhancement processing that sharpens the contour of the up-converted image.
  • the present invention can be applied when converting analog television content into high-vision content or converting old movie content into higher-definition digital content (for example, Blu-ray (registered trademark) content).
  • the present invention is applicable to the medical field. For example, it is possible to convert an enlarged image of an affected area with an endoscope or the like into a higher definition image, or to convert an image of an affected area with a lower resolution into a higher definition image in telemedicine etc. Become.
  • the present invention can be applied to high definition of moving image content that can be viewed on a computer.
  • moving image content There are many sites on the Internet that distribute video content, and many video content is already stored.
  • it is possible to convert existing moving image content into content of higher definition and higher resolution and improve viewing quality.
  • Nonlinear processing part 20 HPF (high-pass filter) 201 to 20 (m ⁇ 1) Unit delay element 211 to 21 m Multiplier 220 Adder 21 LPF (low pass filter) 22 Subtractor 30 Limiter 40 Adder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　複数フレームに対する繰り返し演算なしでナイキスト周波数を超える周波数成分により画像を先鋭化する。　本発明に係る画像強調装置１は、入力画像を鮮鋭化した出力画像を生成する画像強調装置１であって、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部１０と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部２０と、前記第２信号を調整して第３信号を生成するリミッタ３０と、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器４０と、を備える。

Description

画像強調装置、画像強調方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１２−１７７４７６号（２０１２年８月９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、画像を鮮鋭化して画質を改善するための画像強調装置及び画像強調方法に関し、例えばテレビジョン（ＴＶ）受像機でリアルタイムに表示される動画の鮮鋭化に好適な画像強調装置及び画像強調方法に関する。
　画像を鮮鋭化して画質を改善するための画像強調処理は、従来より広く知られている。例えば、従来のテレビジョン受像機において、表示される画像の輪郭部に相当する映像信号の立ち上がりや立ち下がりを急にする輪郭補償が行われている。この輪郭補償では、入力画像信号（輝度信号）の高周波成分を抽出し、その高周波成分を増幅して入力画像信号に加算することにより、視覚上の画質を向上させている。図１０は、従来の画像強調処理による画像の信号レベルの波形変化を示す図である。図１０（Ａ）は、入力画像信号の水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。図１０（Ｂ）は、入力画像信号から抽出された高周波成分であり、この高周波成分を増幅して入力画像信号に加算することにより、図１０（Ｃ）に示すエッジの立ち上がり変化が急となった出力画像信号を得ることができる。
　また、近年、特に入力画像をより高解像度の出力画像にアップコンバートし、当該アップコンバートした画像の強調処理を行う超解像と呼ばれる技術も提案されている（例えば、非特許文献１参照）。
Ｓ．Ｆａｒｓｉｕ，Ｄ．Ｒｏｂｉｎｓｏｎ，Ｍ．Ｅｌａｄ，ａｎｄ　Ｐ．Ｍｉｌａｎｆａｒ，"Ｆａｓｔ　ａｎｄ　Ｒｏｂｕｓｔ　Ｍｕｌｔｉ−ｆｒａｍｅ　Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ"，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１３，ｎｏ．１０，ｐｐ．１３２７−１３４４，Ｏｃｔｏｂｅｒ　２００４．
　従来の画像強調処理は、線形のデジタル信号処理に基づくものであることから、ナイキスト周波数よりも高い周波数成分、すなわち対象となる画像のサンプリング周波数の１／２よりも高い周波数成分を生成することができない。このため、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
　例えば、フルハイビジョン（ＨＤＴＶ：Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｔｅｌｅｖｉｓｉｏｎ、１０８０×１９２０画素）のテレビジョン受信機で、解像度がＨＤＴＶに満たない画像信号を拡大表示する場合には、画像がぼやけて表示される。また、ＨＤＴＶの解像度を持つ画像信号をより高精細な解像度（例えば４０００×２０００画素程度の４Ｋ解像度）に拡大した場合も同様に画像がぼやけて表示される。このように画像がぼやける原因は、拡大処理後の画像信号には、拡大前の元画像のナイキスト周波数までの周波数成分しか含まれておらず、拡大後の画像のナイキスト周波数近傍の周波数成分が含まれていないためである。
　以下、画像の拡大、強調処理による周波数成分の変化を図１１により説明する。図１１（Ａ）は、サンプリング周波数がｆｓであるデジタル画像信号の周波数スペクトルを示し、図１１（Ｂ）は、このデジタル画像信号をアップコンバートして画素数を水平方向に２倍に拡大した場合の周波数スペクトルである。拡大処理後のサンプリング周波数Ｆｂｓは元のサンプリング周波数ｆｓの２倍となる（Ｆｓｂ＝２・ｆｓ）。ここで、図１１（Ｂ）に示すとおり、アップコンバート後のデジタル画像信号においては、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２と、新たなサンプリング周波数Ｆｂｓに対応する新たなナイキスト周波数Ｆｂｓ／２＝ｆｓとの間には、周波数成分が存在しない。
　図１１（Ｃ）は、アップコンバート後のデジタル画像信号に対し、従来の線形デジタル信号処理による画像強調処理を行った場合の周波数スペクトルを示している。図示の通り、線形デジタル信号処理による画像強調処理により、元のナイキスト周波数ｆｓ／２近傍の周波数成分は増大している。しかし、従来の線形デジタル信号処理による画像強調処理では、元のナイキスト周波数ｆｓ／２を超える周波数成分が生成されることはない。そのため、従来の線形デジタル信号処理による画像強調処理では、例えば図１１（Ｄ）に例示するように、元のナイキスト周波数ｆｓ／２を超えて、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されることはない。すなわち、アップコンバート後のデジタル画像信号に対し、画質改善のために、ナイキスト周波数を超える周波数成分を生成、利用して画像を鮮鋭化することはできなかった。
　また、非特許文献１などに記載の従来の超解像技術は、サンプリング周波数が同じ複数のフレームに繰り返し演算処理を施し、各フレームから解像度の高い画素を選択して合成することにより画像強調処理を行うものである。そのため、画像によっては正しく復元できないことがあるため、動画では破綻画像が突然現れたりするようなチラつきが発生する可能性があり、また、複数フレームを使っての演算の処理量が非常に重いという問題があった。
　そこで本発明は、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能な画像強調装置及び画像強調方法を提供することを目的とする。
　上述した諸課題を解決すべく、本発明に係る画像強調装置は、入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、前記第２信号を調整して第３信号を生成するリミッタと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器と、を備える。
　また、前記非線形処理部は、前記入力画像信号の冪乗を前記第１信号として生成することが好ましい。
　また、前記非線形処理部は、前記入力画像信号の冪乗根を前記第１信号として生成することが好ましい。
　上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当し、装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
　例えば、本発明を方法として実現した画像強調方法は、入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、前記画像強調装置による処理手順が、前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、前記第２信号を調整して第３信号を生成するステップと、前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む。
　また、前記非線形処理ステップにおいて、前記入力画像信号の冪乗を前記第１信号として生成することが好ましい。
　また、前記非線形処理ステップにおいて、前記入力画像信号の冪乗根を前記第１信号として生成することが好ましい。
　本発明に係る画像強調装置及び画像強調方法によれば、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。
本発明の一実施形態に係る画像強調装置の構成を示す図である。 画像の水平方向の信号レベルの波形を示す図である。 高域通過フィルタの構成の一例を示す図である。 低域通過フィルタにより構成した高域通過フィルタの一例を示す図である。 ガンマ処理による非線形処理の評価に用いる原画像である。 ガンマ処理前後の周波数スペクトルである。 本発明による画像強調処理を行った画像を示す図である。 本発明による画像強調処理を行った画像の周波数スペクトルである。 本発明による画像強調処理と従来手法との画像の比較を示す図である。 従来の画像強調処理による画像の信号レベルの波形変化を示す図である。 画像の拡大、強調処理による周波数成分の変化を示す図である。
　以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
　図１は、本発明の一実施形態に係る画像強調装置１の構成を示すブロック図である。この画像強調装置１は、画像を表すデジタル信号として外部から入力される入力画像信号Ｓｉｎに対し、その入力画像信号Ｓｉｎの表す画像を鮮鋭化するための処理（以下「画像強調処理」または単に「強調処理」という）を施す装置であって、非線形処理部１０と、高域通過フィルタ（ＨＰＦ）２０と、リミッタ３０と、加算器４０とを備えている。
　入力画像信号Ｓｉｎの表す画像は、静止画であってもよいし動画であってもよく、入力画像信号Ｓｉｎが動画を表す場合、その動画は、例えば標準画質テレビジョン（ＳＤＴＶ：Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ　Ｔｅｌｅｖｉｓｉｏｎ）または高精細テレビジョン（ＨＤＴＶ：Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｔｅｌｅｖｉｓｉｏｎ）の受像機においてリアルタイムで表示される動画であってもよい。
　以下、図２に示す画像の水平方向の信号レベル（輝度値）の波形を例に、各構成部の動作及び出力される波形の説明を行う。なお、以下の説明では、画像の水平方向の信号レベルの波形について各構成部の説明を行うが、画像の垂直方向の信号レベルの波形や、動画像における画像間の時間方向の信号レベルの波形についても、各構成部は水平方向と同等の処理で画像強調処理を行うことが可能である点に留意されたい。
　図２（Ａ）は、入力画像信号Ｓｉｎの水平方向の信号レベルの波形を示す図であり、特に、水平方向に信号レベルが変化するエッジに相当する部分の波形を示す図である。なお、入力画像信号Ｓｉｎの解像度は、出力画像信号Ｓｏｕｔの解像度に対応するものであり、出力画像の解像度が元の入力画像の解像度より高い場合、入力画像信号Ｓｉｎは、元の入力画像の解像度を出力画像信号Ｓｏｕｔの解像度にアップコンバートしたものである。例えば、画像強調装置１によりＳＤＴＶの画像をＨＤＴＶの画像として出力する場合、入力画像信号Ｓｉｎは、元のＳＤＴＶの画像を既存の線形変換によりＨＤＴＶの解像度に変換した信号となる。
　非線形処理部１０は、入力画像信号Ｓｉｎに対して非線形処理を行うことにより第１信号Ｓ１を生成する。非線形処理部１０による非線形処理は、画像の輪郭を先鋭化することを目的とするものであり、具体的には、図２（Ａ）に示す入力画像信号Ｓｉｎを図２（Ｂ）のような第１信号Ｓ１とし、信号レベルにおいてエッジの立ち上がり変化を急にする処理を行うものである。
　非線形処理部１０による入力画像信号Ｓｉｎから第１信号Ｓ１を生成する処理は、式（１）により一般化することができる。非線形処理部１０による非線形処理は、ｐ／ｑで表される一般的な有理数の指数乗をすべて包含する。
Figure JPOXMLDOC01-appb-M000001
　例えば、非線形処理部１０は、入力画像信号Ｓｉｎの冪乗を第１信号Ｓ１として生成する。非線形処理部１０が入力画像信号Ｓｉｎをｎ乗して第１信号Ｓ１を生成する場合、Ｓ１＝Ｓｉｎ ｎとなる。入力画像信号Ｓｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１ｎ，Ｘ２ｎ，Ｘ３ｎ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。
　例えば、入力画像信号Ｓｉｎが８ビットのデジタル信号であれる場合、各画素の信号レベルは０~２５５の値をとる。このとき、非線形処理部１０が、入力画像信号Ｓｉｎを２乗すると、図２（Ｂ）に例示するように、エッジ部の立ち上がり変化が急になるため、画像の輪郭がより強調されることになる。
　また、例えば、非線形処理部１０は、入力画像信号Ｓｉｎの冪乗根を第１信号Ｓ１として生成する。非線形処理部１０が入力画像信号Ｓｉｎのｎ乗根を第１信号Ｓ１として生成する場合、Ｓ１＝Ｓｉｎ １／ｎとなる。入力画像信号Ｓｉｎはデジタル信号（離散化された信号）であるので、より詳しくは、入力画像信号Ｓｉｎを構成するデータ列をＸ１，Ｘ２，Ｘ３，…としたとき、第１信号Ｓ１は、データ列Ｘ１１／ｎ，Ｘ２１／ｎ，Ｘ３１／ｎ，…によって構成されるデジタル信号である。なお、ｎは任意の実数である。
　入力画像信号Ｓｉｎの冪乗根を第１信号Ｓ１として生成する非線形処理は、人間の知覚特性に基づく輪郭抽出に適している。例えば、人間の感覚に基づく法則として、ヴェーバー‐フェヒナーの法則が知られている。この法則を画像認識に当てはめると、輝度が低い領域における輪郭は、輝度が高い領域における輪郭に比べて知覚されやすいといえる。そのため、非線形処理部１０は、例えばガンマ補正関数（例えば、Ｓ１＝Ｓｉｎ １／２）により、輝度が高い画素より、輝度が低い画素をより引き上げる非線形処理を行う。
　この場合、非線形処理部１０は、式（２）により、ｍビットのデジタル信号の画素値Ｘを正規化した値であるＸ’を算出する。式（２）による正規化後のＸ’の値は０~１の間の値となる。
Figure JPOXMLDOC01-appb-M000002
　ここで、非線形処理部１０は、正規化後のＸ’に式（３）示すガンマ補正関数を適用し、非線形処理後の値Ｙを算出する。
Figure JPOXMLDOC01-appb-M000003
　式（３）により、Ｘ’の値が小さい場合、非線形処理後のＹの値がＸ’に比べて高く引き上げられることになる。すなわち、輝度が高い画素より、輝度が低い画素がより引き上げられる。これにより、例えば図２（Ｂ）に例示するエッジの先鋭化において、特に輝度が低い領域のエッジ強調成分が大きくなるため、特に輝度の低い領域の画像の輪郭がより強調されることになる。
　ＨＰＦ２０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより高周波信号である第２信号Ｓ２を生成する。具体的には、ＨＰＦ２０は、入力画像信号Ｓｉｎを非線形処理して得られた画像の輪郭成分を含む高周波成分を抽出する処理として、図２（Ｂ）の第１信号Ｓ１から、図２（Ｃ）の第２信号Ｓ２を抽出する。ここで、図２（Ｃ）に示す第２信号Ｓ２と、図１０（Ｂ）に示す従来の線形デジタル処理による高周波成分の信号とを比較すると、第２信号Ｓ２は、従来の高周波成分と比べて波形が先鋭化されている。第２信号Ｓ２は、後述するとおり、リミッタ３０を経て画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算されるものである。即ち、第２信号Ｓ２の波形が従来と比べて先鋭化されているということは、従来に比べてより高精細な画像強調処理が可能になるということであり、また、輪郭の先鋭化に伴い、従来の線形デジタル処理で問題となったリンギングの発生を低減させることが可能となる。
　図３は、ＨＰＦ２０の構成の一例を示す図である。図３の通り、ＨＰＦ２０は、ｍ−１個の単位遅延素子２０１~２０（ｍ−１）と、ｍ個の乗算器２１１~２１ｍと、１個の加算器２２０とから構成されるｍタップ（ｍは３以上）のトランスバーサル型のデジタルフィルタとして構成することができる。この場合、各乗算器２１ｊ（ｊ＝１~ｍ、以下同じ）は、入力される信号に係数Ｃｊを乗算してその結果を加算器２２０に出力し、係数Ｃｊは、ＨＰＦ２０が、輪郭成分を含む高周波成分を抽出するように設定されている（例えば、ｍ＝３、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５）。なお、一般に、高域通過フィルタを実現するよりも低域通過フィルタを実現する方が容易である。図４は、低域通貨フィルタにより構成した高域通過フィルタの一例を示す図である。図４の通り、低域通過フィルタ（以下「ＬＰＦ」という）２１と減算器２２を用いた構成により、図１に示すＨＰＦ２０を実現することができる。
　リミッタ３０は、第２信号Ｓ２の振幅（信号レベル）の調整器として機能するものであり、第２信号Ｓ２を調整して第３信号Ｓ３を生成する。具体的には、第２信号Ｓ２の振幅が所定の上限値以下となるようにクリップ処理を行ったり、第２信号Ｓ２に０≦α＜１となる定数αを乗算することにより当該第２信号のレベルのゲイン調整を行う。また、リミッタ３０は、ノイズ除去のため、第２信号Ｓ２における所定の下限値以下の信号値を０とする丸め処理を行うこともできる。リミッタ３０は、クリップ処理、ゲイン調整、丸め処理などを行った第２信号Ｓ２を第３信号Ｓ３として加算器４０に出力する。
　加算器４０は、第３信号Ｓ３を画像の鮮鋭化のための補償用信号として入力画像信号Ｓｉｎに加算することにより出力画像信号Ｓｏｕｔを生成する。すなわち、Ｓｏｕｔ＝Ｓｉｎ＋Ｓ３であり、図２（Ａ）の入力画素信号に図２（Ｃ）の第３信号Ｓ３を加算することにより、図２（Ｄ）に示す画像強調処理後の信号を生成する。この出力画像信号Ｓｏｕｔにおけるエッジ部の立ち上がり変化は、入力画像信号Ｓｉｎのエッジ部の立ち上がり変化よりも急になる。即ち、入力画像信号Ｓｉｎよりも鮮鋭な画像を得ることができる。なお、加算器４０は、入力画像信号Ｓｉｎと第３信号Ｓ３との間でタイミングを調整するための遅延素子を必要に応じて備えるものである。
　本実施形態に係る画像強調装置１は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。以下、非線形処理部１０による非線形処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について更に詳しく説明する。
　いま、入力画像信号Ｓｉｎが（水平方向）位置ｘの関数ｆ（ｘ）で表現されるものとし、入力画像信号Ｓｉｎの基本角周波数をωとすると、このｆ（ｘ）は式（４）のようなフーリエ級数で表現することができる。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｎは、（画像拡大処理前の）サンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２を越えない最高周波数の高調波の次数である。すなわち、
　Ｎω／（２π）＜ｆｓ／２≦（Ｎ＋１）ω／（２π）
である。
　例えば、非線形処理部１０が、入力画像信号Ｓｉｎを２乗することにより、第１信号Ｓ１を生成する場合、第１信号Ｓ１における各項は下記式（５ａ）~（５ｃ）のいずれかで表現される。
Figure JPOXMLDOC01-appb-M000005
 　（ｉ＝±１，±２，…，±Ｎ；ｊ＝±１，±２，…，±Ｎ）
　三角関数に関する公式を用いると、上記式（５ａ）~（５ｃ）は、下記の式（６ａ）~（６ｃ）にそれぞれ書き直すことができる。
Figure JPOXMLDOC01-appb-M000006
　上記式より（ｆ（ｘ））２は、（Ｎ＋１）ω，（Ｎ＋２）ω，…，２Ｎω等の角周波数成分を含むので、ナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。このため、第１信号Ｓ１も、周波数２Ｎω／（２π）という高調波成分等のようにナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。
　したがって、画素数を水平方向に２倍にする画像拡大処理が施された後の画像信号が入力画像信号Ｓｉｎとして本実施形態の画像強調装置１に入力されると、非線形処理部１０の処理により、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第１信号Ｓ１が生成される。ＨＰＦ２０は、第１信号Ｓ１の高域周波数成分を抽出して第２信号Ｓ２を生成するものであり、第２信号Ｓ２は、必然的に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分を含む。また、リミッタ３０が出力する第３信号Ｓ３にも、画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分は含まれる。このため、入力画像信号Ｓｉｎと補償用信号である第３信号Ｓ３とを加算した出力画像信号Ｓｏｕｔにも、同様に画像拡大処理前のナイキスト周波数ｆｓ／２よりも高い周波数成分が含まれる。その結果、出力画像信号Ｓｏｕｔの周波数スペクトルは、例えば図１１（Ｄ）に示すように、元のナイキスト周波数ｆｓ／２を超え、新たなナイキスト周波数Ｆｂｓ／２近傍の周波数成分が生成されたものとなる。
　上記では、非線形処理部１０が入力画像信号Ｓｉｎを２乗して第１信号Ｓ１を生成する例により、画像強調装置１によるナイキスト周波数ｆｓ／２を越える高周波域の補償を説明したが、非線形処理部１０の処理は入力画像信号Ｓｉｎの２乗に限定されないことは言うまでもない。例えば、２乗処理と同様に、任意の冪乗処理により、ナイキスト周波数ｆｓ／２を超える周波数成分が生成されることは、一般的な三角関数の公式などから明らかに導かれる事項である。
　また、任意のガンマ処理（冪乗根）についても、ナイキスト周波数ｆｓ／２を超える周波数成分が生成されるものである。以下、図５、図６により、非線形処理部１０によるガンマ処理により、ナイキスト周波数ｆｓ／２を越える高周波域の補償が可能となる点について説明する。
　図５は、ガンマ処理による非線形処理の評価に用いる原画像であり、図６は、ガンマ処理前後の周波数スペクトルを示す図である。図６（Ａ）は、ガンマ処理前の原画像の周波数スペクトルであり、図６（Ｂ）は、ガンマ処理後の画像の周波数スペクトルである。図６では、非線形処理部１０は、ガンマ処理として入力画像信号Ｓｉｎの２乗根を第１信号Ｓ１としている。すなわち、Ｓ１＝Ｓｉｎ １／２である。図６（Ａ）、図６（Ｂ）を比較すると、図６（Ｂ）に示すガンマ処理後の周波数スペクトルでは、周波数成分の範囲が広がっており、原画像の周波数スペクトルに含まれない周波数成分が生成されていることがわかる。
　以下、本発明の効果を検証するために、本発明に係る画像強調処理を実画像に施した結果について説明する。
　図７は、原画像と本発明による画像強調処理を行った画像とを示す図であり、図８は、それぞれの画像の周波数スペクトルを示す図である。図７（Ａ）の原画像は、元の画像に対して縦・横２倍の拡大処理を施した後の画像であり、この原画像は、拡大処理後のサンプリング周波数Ｆｂｓ＝２ｆｓに対応するナイキスト周波数Ｆｂｓ／２＝ｆｓ近傍の周波数成分を有していない（図８（Ａ）参照）。
　図７（Ｂ）は、非線形処理部１０が入力画像信号Ｓｉｎの２乗根を第１信号Ｓ１として、水平方向と垂直方向に一回ずつ対象画像に画像強調処理を施した後の画像を示している。図７（Ｂ）の画像を図７（Ａ）の画像と比較すると、スカーフやいすの背もたれを中心に、提案手法の画像は鮮鋭度または解像度が向上しており、鮮鋭化により画像全体の画質が向上しているといえる。また、図８（Ｂ）の周波数スペクトルでは、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分が発生しており、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分により画像が先鋭化されていることがわかる。
　図９は、比較のため、本発明による画像強調処理を行った画像と、従来の線形処理による画像強調処理を行った画像とを示す図である。既述のように、従来の線形処理による画像強調処理では、画像処理後の画像がナイキスト周波数Ｆｂｓ／２＝ｆｓ近傍の周波数成分を発生させることはできないため、従来の画像強調処理を当該対象画像に施しても画質は向上せず、例えば、図７（Ａ）の原画像と図９（Ａ）の従来技術による画像との間では、鮮鋭度や解像度感にほとんど差が認められない。一方、図７（Ｂ）に示す本発明による画像は、拡大処理後のナイキスト周波数Ｆｂｓ／２＝ｆｓを超える周波数成分が発生しており、従来技術である図９（Ａ）に比べ、大幅に画像が先鋭化されていることがわかる。
　このように、本実施形態によれば、非線形処理部１０は、入力画像信号Ｓｉｎに非線形処理を行い第１信号Ｓ１を生成し、ＨＰＦ２０は、第１信号Ｓ１に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号Ｓ２を生成し、リミッタ３０は、第２信号Ｓ２を調整して第３信号Ｓ３を生成し、加算器４０は、第３信号Ｓ３を入力画像信号Ｓｉｎに加算して出力画像信号Ｓｏｕｔを生成する。これにより、複数フレームに対する繰り返し演算なしで、ナイキスト周波数を超える周波数成分により画像を先鋭化することが可能となる。また入力信号に対して一意的に出力信号が規定できる処理であるため、従来の超解像処理手法のような画像マッチングがとれず突然に画像破綻を起こすことも無い。
　より詳しくは、非線形処理部１０における非線形処理（例えば式（１））により、入力画像信号Ｓｉｎが有する周波数成分の高調波成分等のナイキスト周波数ｆｓ／２を越える高周波成分が生成され、この高周波成分を利用して、入力画像信号Ｓｉｎに対し鮮鋭化のための処理が施される。すなわち、サンプリング周波数がｆｓであるデジタル画像信号から画像拡大処理によってサンプリング周波数Ｆｂｓ＝２ｆｓの画像信号を生成し、この画像信号を入力画像信号Ｓｉｎとして使用するものとすると、非線形処理部１０の処理に基づき、元のサンプリング周波数ｆｓに対応するナイキスト周波数ｆｓ／２よりも高い周波数成分を含む第３信号Ｓ３が補償用信号として生成され、この第３信号Ｓ３が入力画像信号Ｓｉｎに付加される。これにより、本実施形態における出力画像信号Ｓｏｕｔの周波数スペクトルは図１１（Ｄ）に示すように、なり、拡大処理前のナイキスト周波数ｆｓ／２を超える成分を含み、従来の画像強調装置に比べ、拡大処理後の画像を十分に鮮鋭化できるようになる。なお、上記実施形態においては、画像を２倍に拡大処理する場合を例に説明を行ったが、本発明の効果は、画像を２倍する形態のみに限定されないことは言うまでもない。
　また、非線形処理部１０は、入力画像信号Ｓｉｎの冪乗を第１信号Ｓ１として生成したり、入力画像信号Ｓｉｎの冪乗根を第１信号Ｓ１として生成したりすることができる。すなわち、非線形処理部１０は、比較的簡潔な非線形処理により、第１信号Ｓ１としてナイキスト周波数ｆｓ／２を越える高周波成分を生成することができる。
　また、図１に示す簡単な構成で本実施形態に係る画像強調装置１を実現できるので、この画像強調装置１を高精細テレビジョン（ＨＤＴＶ）や標準画質テレビジョン（ＳＤＴＶ）の受像機等に利用することにより、静止画のみならずリアルタイムで表示される動画についても、大きなコスト増を招くことなく画質を改善することができる。
　また本実施形態は、従来の画像強調装置では補償できなかったナイキスト周波数ｆｓ／２を越える高周波域の補償も可能であることから、特に、拡大処理の施された画像信号の表す画像の鮮鋭化による画質向上において特に効果を奏する。例えば高精細テレビジョン（ＨＤＴＶ）の受信機のディスプレイで、標準画質テレビジョン（ＳＤＴＶ：Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ　Ｔｅｌｅｖｉｓｉｏｎ）の画像信号に拡大処理を施して画像を表示する場合に、本実施形態は、リアルタイムで表示される動画を簡単な構成で十分に鮮鋭化できるという点で大きな効果を奏する。また、現在、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（以下「４ｋディスプレイ」という）やそれに対応したテレビジョン放送のための技術開発が行われており、ＨＤＴＶ用の画像信号をアップコンバートしてこの４ｋディスプレイで表示する場合にも、本実施形態は同様の点で大きな効果を奏する。
　また、例えば人間の知覚特性を利用した画像処理技術として、ＨＤＲ（ハイダイナミックレンジ）合成が知られている。ＨＤＲは、非常に大きなコントラストの元画像（現実）を、コントラストを落とした画像に変換するものである。ＨＤＲでは、コントラストを落とすためのトーンマッピングにガンマ補正関数を用いることによって、輝度の低い画素の引き上げを行っている。本実施形態に係る画像強調装置１は、ＨＤＲ合成のように人間の知覚特性に基づく非線形処理（ガンマ処理）を行うものであり、輝度が暗い領域の輪郭をより先鋭化することにより、人間とってより好ましい形で画像を鮮鋭化して画質を改善することができる。
　本発明は、画像を鮮鋭化して画質を改善するための画像強調装置に適用されるものであり、例えばテレビジョン（ＴＶ）受像機でリアルタイムで表示される動画を鮮鋭化するための画像強調装置に適用することができる。
　また、本発明は、監視カメラの画像強調処理に適用可能であり、例えば、画像の一部を拡大した際のボケを低減することが可能となる。また、暗所に設置された監視カメラの画像や、夜間に撮影された画像などに対して、輝度が暗い領域の輪郭をより先鋭化する画像強調処理が可能になる。
　さらに、本発明は、遠距離から撮像した映像の解像度改善に適用することができる。例えば、接近することが困難な事故現場などを遠方から撮影した画像や、衛星画像などに対し、輪郭を先鋭化する画像強調処理が可能になる。
　さらに、本発明は、アナログコンテンツのハイビジョン化に適用することができる。即ち、既存のアナログコンテンツをハイビジョンコンテンツに変換する際、アップコンバートされた画像の輪郭を先鋭化する画像強調処理を行うことにより、アナログコンテンツをより高精細なデジタルコンテンツとして再製することが可能となる。例えば、アナログテレビコンテンツをハイビジョンコンテンツに変換したり、古い映画コンテンツをより高精細なデジタルコンテンツ（例えばＢｌｕ−ｒａｙ（登録商標）コンテンツ）に変換したりする際に適用可能である。
　さらに、本発明は、医療分野にも適用可能である。例えば、内視鏡等による患部の拡大画像をより高精細な画像へと変換したり、遠隔医療などにおいて、解像度の低い患部の映像をより高精細な画像へと変換したりすることが可能となる。
　さらに、本発明は、コンピュータで視聴可能な動画コンテンツの高精細化に適用可能である。インターネット上には動画コンテンツを配信するサイトが多数存在し、既に多数の動画コンテンツが保存されている。本発明により、既存の動画コンテンツをさらに高精細、高解像度のコンテンツに変換し、視聴品質を向上させることが可能となる。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　１　画像強調装置
　１０　非線形処理部
　２０　ＨＰＦ（高域通過フィルタ）
　２０１~２０（ｍ−１）　単位遅延素子
　２１１~２１ｍ　乗算器
　２２０　加算器
　２１　ＬＰＦ（低域通過フィルタ）
　２２　減算器
　３０　リミッタ
　４０　加算器

Claims (6)

  1. 　入力画像を鮮鋭化した出力画像を生成する画像強調装置であって、
    　前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理部であって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理部と、
    　前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するフィルタ部と、
    　前記第２信号を調整して第３信号を生成するリミッタと、
    　前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成する加算器と、を備える画像強調装置。
  2. 　前記非線形処理部は、前記入力画像信号の冪乗を前記第１信号として生成する、請求項１に記載の画像強調装置。
  3. 　前記非線形処理部は、前記入力画像信号の冪乗根を前記第１信号として生成する、請求項１に記載の画像強調装置。
  4. 　入力画像を鮮鋭化した出力画像を生成する画像強調装置における画像強調方法であって、
    　前記画像強調装置による処理手順が、
    　前記入力画像を表す入力画像信号に非線形処理を行い第１信号を生成する非線形処理ステップであって、前記入力画像信号に対して前記第１信号が連続した非線形関数として表され、且つ、前記入力画像信号に含まれない周波数成分を生成する非線形処理を行う非線形処理ステップと、
    　前記第１信号に含まれる周波数成分の少なくとも直流成分を除去することにより第２信号を生成するステップと、
    　前記第２信号を調整して第３信号を生成するステップと、
    　前記第３信号を前記入力画像信号に加算して前記出力画像を表す出力画像信号を生成するステップと、を含む画像強調方法。
  5. 　前記非線形処理ステップにおいて、前記入力画像信号の冪乗を前記第１信号として生成する、請求項４に記載の画像強調方法。
  6. 　前記非線形処理ステップにおいて、前記入力画像信号の冪乗根を前記第１信号として生成する、請求項４に記載の画像強調方法。
PCT/JP2013/071899 2012-08-09 2013-08-07 画像強調装置、画像強調方法 WO2014025067A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13827925.2A EP2884734B1 (en) 2012-08-09 2013-08-07 Image emphasizing device and image emphasizing method
KR1020147034083A KR20150043244A (ko) 2012-08-09 2013-08-07 화상 강조 장치 및 화상 강조 방법
CN201380029164.0A CN104335568B (zh) 2012-08-09 2013-08-07 图像增强装置、图像增强方法
US14/404,558 US9471962B2 (en) 2012-08-09 2013-08-07 Image enhancement apparatus and image enhancement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-177476 2012-08-09
JP2012177476A JP5396626B1 (ja) 2012-08-09 2012-08-09 画像強調装置、画像強調方法

Publications (1)

Publication Number Publication Date
WO2014025067A1 true WO2014025067A1 (ja) 2014-02-13

Family

ID=50068279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/071899 WO2014025067A1 (ja) 2012-08-09 2013-08-07 画像強調装置、画像強調方法

Country Status (6)

Country Link
US (1) US9471962B2 (ja)
EP (1) EP2884734B1 (ja)
JP (1) JP5396626B1 (ja)
KR (1) KR20150043244A (ja)
CN (1) CN104335568B (ja)
WO (1) WO2014025067A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI564729B (zh) 2015-08-07 2017-01-01 廣達電腦股份有限公司 資料分享系統以及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575313B2 (ja) * 1988-11-11 1993-10-20 Victor Company Of Japan
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011061958A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011099202A1 (ja) * 2010-02-15 2011-08-18 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
WO2011105377A1 (ja) * 2010-02-25 2011-09-01 シャープ株式会社 画像処理装置およびこれを備えた表示装置並びに画像処理方法
WO2012043407A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139969A (ja) * 1994-11-08 1996-05-31 Matsushita Electric Ind Co Ltd 輪郭補正回路
WO2007118097A1 (en) * 2006-04-03 2007-10-18 Omnivision Cdm Optics, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
WO2006040960A1 (ja) * 2004-10-08 2006-04-20 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575313B2 (ja) * 1988-11-11 1993-10-20 Victor Company Of Japan
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011061958A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2011099202A1 (ja) * 2010-02-15 2011-08-18 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
WO2011105377A1 (ja) * 2010-02-25 2011-09-01 シャープ株式会社 画像処理装置およびこれを備えた表示装置並びに画像処理方法
WO2012043407A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 信号処理装置、制御プログラム、および集積回路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. FARSIU; D. ROBINSON; M. ELAD; P. MILANFAR: "Fast and Robust Multi-frame Super-resolution", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 10, October 2004 (2004-10-01), pages 1327 - 1344
See also references of EP2884734A4

Also Published As

Publication number Publication date
US9471962B2 (en) 2016-10-18
EP2884734A1 (en) 2015-06-17
JP5396626B1 (ja) 2014-01-22
EP2884734A4 (en) 2016-03-30
US20150146995A1 (en) 2015-05-28
CN104335568A (zh) 2015-02-04
EP2884734B1 (en) 2019-01-09
CN104335568B (zh) 2017-10-31
KR20150043244A (ko) 2015-04-22
JP2014036383A (ja) 2014-02-24

Similar Documents

Publication Publication Date Title
JP5281690B2 (ja) 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
JP5320538B1 (ja) 画像強調装置、画像強調方法
JP5629902B1 (ja) 画像処理装置、画像処理方法
JP5403450B1 (ja) 画像処理装置、画像処理方法
WO2012124591A1 (ja) 信号処理装置、制御プログラム、および集積回路
JP5396626B1 (ja) 画像強調装置、画像強調方法
JP5730362B2 (ja) 画像処理装置及び画像処理方法
JP4483407B2 (ja) 映像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13827925

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14404558

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147034083

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013827925

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE