WO2012147879A1 - 画像処理装置、表示装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、表示装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2012147879A1
WO2012147879A1 PCT/JP2012/061273 JP2012061273W WO2012147879A1 WO 2012147879 A1 WO2012147879 A1 WO 2012147879A1 JP 2012061273 W JP2012061273 W JP 2012061273W WO 2012147879 A1 WO2012147879 A1 WO 2012147879A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
image
data
image processing
Prior art date
Application number
PCT/JP2012/061273
Other languages
English (en)
French (fr)
Inventor
善光 村橋
合志 清一
沼尾 孝次
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/113,406 priority Critical patent/US20140037226A1/en
Publication of WO2012147879A1 publication Critical patent/WO2012147879A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0247Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes

Definitions

  • the present invention relates to an image processing device, a display device, an image processing method, and an image processing program.
  • noise components are mixed in the transmission path, and the receiver itself But noise components are mixed.
  • an image input device for example, a television imaging device
  • noise components are mixed in the transmission path, and the receiver itself
  • noise components are mixed.
  • analog television broadcasting when the signal level of a received video signal is low, a noise component is significantly mixed in the video signal.
  • noise components are significantly mixed in the video signal.
  • the smoothing value of the noise component in the vertical blanking period is subtracted from or added to the input signal using the magnitude relationship between the input video signal and the output of the median filter. Describes a noise reduction circuit for reducing a noise component remaining in the circuit.
  • Patent Document 2 a method for removing the blur of an image has been proposed (for example, see Patent Document 2).
  • a reference image is generated by synthesizing a plurality of low resolution images having a low spatial resolution. Therefore, there is a problem that a signal in a frequency band higher than the spatial frequency of the original image cannot be generated, and a fine image cannot be obtained.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of generating a fine image.
  • the present invention has been made in view of the above circumstances, and the image processing apparatus according to the first aspect of the present invention generates a harmonic signal of a signal in a predetermined frequency band among the image signals, and generates the generated harmonics.
  • a signal supplementing unit that supplements the image signal with a wave signal is provided.
  • the signal supplementation unit may generate the harmonic signal by applying a non-linear mapping to a signal in a predetermined frequency band.
  • the nonlinear mapping may be a mapping by an odd function.
  • the predetermined frequency band may be a frequency higher than a predetermined frequency in the image signal.
  • the signal supplementation unit includes a supplementary signal generation unit that performs nonlinear mapping on a signal in a predetermined frequency band in the image signal, and a nonlinearity by the supplementary signal generation unit.
  • An adder that adds the mapped signal to the image signal.
  • the supplementary signal generation unit includes a filter unit that applies a linear filter to the image signal, and a non-linear mapping that applies a non-linear mapping to the signal after the linear filter by the filter unit A calculation unit, and the addition unit may add the signal subjected to the non-linear mapping by the non-linear calculation unit to the image signal.
  • the filter unit is configured to pass a frequency component higher than a predetermined frequency in the vertical direction with respect to the image signal, and to the image signal.
  • a horizontal high-pass filter unit that allows a frequency component higher than a predetermined frequency to pass in a horizontal direction, and the non-linear operation unit performs a non-linear mapping on the signal that has passed through the vertical high-pass filter unit.
  • a signal that compensates for a vertical high frequency component is generated, a signal that compensates for a horizontal high frequency component that has been subjected to a non-linear mapping with respect to a signal that has passed through the horizontal high pass filter unit, and the addition unit
  • a signal supplementing the vertical high frequency component and a signal supplementing the horizontal high frequency component may be added to the image signal.
  • the filter unit includes a two-dimensional high-pass filter unit that allows a frequency component higher than a predetermined frequency in the two-dimensional direction to pass through the image signal, and the nonlinear calculation.
  • the unit performs a non-linear mapping on the signal that has passed through the two-dimensional high-pass filter unit, and the addition unit adds the signal that has been subjected to the non-linear mapping by the non-linear operation unit to the image signal. Also good.
  • the image processing apparatus further includes a scaler unit that performs scale conversion to an image having a larger number of pixels than the number of pixels obtained from the image signal, and the signal supplement unit includes an image that has undergone scale conversion by the scaler unit.
  • a harmonic signal of a signal in a predetermined frequency band among signals may be generated, and the generated harmonic signal may be supplemented with the image signal after the scale conversion.
  • the image processing apparatus further includes a noise reduction unit that reduces noise of the image signal, and the signal supplementation unit is a signal in a predetermined frequency band among the image signals after noise reduction by the noise reduction unit. May be supplemented with the image signal after the noise reduction.
  • An image display device includes a signal supplement unit that generates a harmonic signal of a signal in a predetermined frequency band among image signals and supplements the generated harmonic signal with the image signal.
  • a processing device is provided.
  • the image processing method generates a harmonic signal of a signal in a predetermined frequency band among image signals, and supplements the generated harmonic signal with the image signal.
  • An image processing program is a signal supplement for generating a harmonic signal of a signal in a predetermined frequency band in an image signal in a computer and supplementing the generated harmonic signal with the image signal. Make the step execute.
  • a fine image can be generated.
  • FIG. 1 is a schematic block diagram of a liquid crystal display device according to a first embodiment.
  • FIG. 3 is a diagram illustrating a signal connection relationship between a liquid crystal driving unit 15 and a liquid crystal panel 16. It is a schematic block diagram of the image processing part 20 in 1st Embodiment. It is a 1st figure for demonstrating the outline
  • FIG. 3rd figure for demonstrating the outline
  • FIG. It is a 4th figure for demonstrating the outline
  • FIG. It is a figure for demonstrating the process of the signal supplement part.
  • FIG. 12 is a diagram showing signal intensity distributions in the frequency domain of the images in FIGS. 11A to 11D. It is a figure which shows the difference of the spectrum which subtracted the spectrum of the image after noise addition from the spectrum of the image after a noise reduction process. It is a flowchart which shows the flow of a process of the display apparatus 1 in 1st Embodiment.
  • FIG. 1 is a schematic block diagram of a display device 1 according to the first embodiment.
  • the display device 1 includes a detection unit 11, a Y / C (luminance signal / color difference signal) separation unit 12, an image processing unit 20, and RGB (Red: red, Green: green, Blue: blue) conversion.
  • Unit 14 liquid crystal driving unit 15, and liquid crystal panel 16.
  • the display device 1 is connected to the antenna 10.
  • the detection unit 11 receives high-frequency signals of image data of a plurality of channels of terrestrial analog television broadcast supplied from an external antenna 10. Then, the detection unit 11 extracts a modulation signal of a desired channel from the high-frequency signal supplied from the antenna, converts the extracted modulation signal into a baseband signal, and outputs it to the Y / C separation unit 12.
  • the Y / C separation unit 12 demodulates the supplied baseband signal, separates it into a luminance signal Y, a color difference signal Cb, and a color difference signal Cr, and converts each separated signal into a digital signal at a predetermined sampling frequency. Convert to Further, the Y / C separation unit 12 outputs image data including the luminance data Y converted into the digital signal, the color difference data Cb, and the color difference data Cr to the image processing unit 20.
  • the image processing unit 20 compares the supplied luminance data Y, color difference data Cb, and color difference data Cr between pixels in the same frame (pixel space in which pixels are arranged), and noise is superimposed on the processing target pixel. It is determined whether or not.
  • the image processing unit 20 calculates the noise level in units of frames or fields.
  • the image processing unit 20 performs noise reduction processing of the target pixel that is the target of noise reduction by adding and subtracting the noise level estimated from the blanking interval from the processing target pixel determined to have noise superimposed. Do.
  • the image processing unit 20 scales up the luminance signal Y, the color difference signal Cb, and the color difference signal Cr after the noise reduction processing so as to have a predetermined resolution. Then, the image processing unit 20 applies a nonlinear filter to each of the scaled-up luminance signal Y, color difference signal Cb, and color difference signal Cr. Then, the image processing unit 20 outputs an image signal including the luminance signal Y, the color difference signal Cb, and the color difference signal Cr after the nonlinear filter is applied to the image format conversion unit 14.
  • the image format conversion unit 14 converts the image signal into a progressive signal.
  • the image format conversion unit 14 adjusts the number of pixels (scaling processing) in accordance with the resolution of the liquid crystal panel 16 for the progressive signal. Then, the image format conversion unit 14 converts the video signal with the adjusted number of pixels into an RGB signal (Red, Green, Blue color video signal), and outputs the converted RGB signal to the liquid crystal drive unit 15.
  • RGB signal Red, Green, Blue color video signal
  • the liquid crystal drive unit 15 generates a clock signal or the like for displaying video data supplied to the liquid crystal panel 16 on a two-dimensional plane of the screen. Then, the liquid crystal drive unit 15 supplies the generated clock signal to the liquid crystal panel 16.
  • FIG. 2 is a diagram illustrating a signal connection relationship between the liquid crystal driving unit 15 and the liquid crystal panel 16.
  • the liquid crystal driving unit 15 includes a source driver unit 15_1 and a gate driver unit 15_2.
  • the liquid crystal driving unit 15 controls the display elements (liquid crystal elements) PIX arranged at the intersections of the source lines 19 and the gate lines 18 in the liquid crystal panel 16, that is, the liquid crystal elements PIX arranged on the matrix. Display.
  • the liquid crystal element PIX is composed of a TFT (Thin Film Transistor) and a liquid crystal pixel element into which a voltage corresponding to a gradation described later is written (a voltage is applied).
  • TFT Thin Film Transistor
  • the source driver unit 15_1 generates a gradation voltage for driving the pixel element from the supplied RGB signal.
  • the source driver unit 15_1 holds the gradation voltage (source signal which is information on the gradation) by a hold circuit provided therein for each source line 19 (line in the column direction) of the liquid crystal panel 16. .
  • the source driver unit 15_1 supplies the source signal to the TFT source line 19 in the liquid crystal element PIX of the liquid crystal panel 16 in synchronization with the clock signal with respect to the vertical arrangement of the screen.
  • the gate driver unit 15_2 is synchronized with the clock signal for one row of the liquid crystal element PIX on the screen through the gate line 18 (corresponding to the horizontal wiring, main scanning) of the TFT in the liquid crystal element PIX of the liquid crystal panel 16. A predetermined gate signal is supplied.
  • the liquid crystal panel 16 includes an array substrate, a counter substrate, and liquid crystal sealed therebetween. At each intersection of the source line 19 and the gate line 18 on the array substrate, a liquid crystal element PIX, that is, a pixel electrode connected to the TFT and the drain electrode of the TFT, and a counter electrode (configured by a strip electrode on the counter substrate) One set of pixel elements is arranged. In the pixel element, liquid crystal is sealed between the pixel electrode and the counter electrode.
  • the liquid crystal panel 16 has three sub-pixels corresponding to the three primary colors RGB (Red, Green, Blue) for each pixel, that is, for each liquid crystal element PIX.
  • the liquid crystal panel 16 has one TFT for each subpixel.
  • the TFT is selected and turned on when the gate signal supplied from the gate driver unit is supplied to the gate electrode and the gate signal is at a high level, for example.
  • the source signal supplied from the source driver is supplied to the source electrode of the TFT, and when the TFT is in an on state, a gradation voltage is applied to the pixel electrode connected to the drain electrode of the TFT, that is, the pixel element.
  • the orientation of the liquid crystal of the pixel element changes in accordance with the gradation voltage, thereby changing the light transmittance of the liquid crystal in the region of the pixel element.
  • the gradation voltage is held in the liquid crystal capacitance (which constitutes a hold circuit) of the pixel element formed by the liquid crystal portion between the pixel electrode connected to the drain electrode of the TFT and the counter electrode. Orientation is maintained. The alignment of the liquid crystal is maintained until the next signal is supplied to the source electrode and the maintained voltage value is changed by the gradation voltage, so that the light transmittance of the liquid crystal is maintained.
  • the liquid crystal panel 16 performs gradation display on the supplied video data.
  • the transmissive liquid crystal panel has been described here, the present invention is not limited to this, and a reflective liquid crystal panel may be used.
  • FIG. 3 is a schematic block diagram of the image processing unit 20 in the first embodiment.
  • the image processing unit 20 includes a noise reduction unit 21, a scaler unit 22, and a signal supplementation unit 23.
  • the noise reduction unit 21 receives image data in which raster-scanned image signals are sent sample by sample from the Y / C separation unit 12, and reduces noise in the image data.
  • the noise reduction unit 21 outputs the image data after the noise is reduced to the scaler unit 22. Details of the processing of the noise reduction unit 21 will be described later.
  • the scaler unit 22 interpolates an image having a larger number of pixels than the number of pixels obtained from the image data after the noise is reduced by the noise reduction unit 21. This interpolating is performed by interpolating between samples in which pixel values exist with zero pixels. Then, the scaler unit 22 filters the interpolated image data with a low-pass filter having a predetermined cutoff frequency. The scaler unit 22 outputs the filtered data to the signal supplementing unit 23 as image data after scale conversion.
  • the signal supplementing unit 23 supplements the image data after the scale conversion with the data obtained by mapping the signal in the predetermined frequency band among the image data after the scale conversion.
  • the signal supplementation unit 23 includes a supplementation signal generation unit 30 and an addition unit 24.
  • the supplement signal generation unit 30 generates a harmonic signal (for example, an odd-order harmonic signal) of a signal in a predetermined frequency band among the scale-converted image data supplied from the scaler unit 22. Specifically, for example, the supplement signal generation unit 30 generates data obtained by mapping an odd function to a signal in a predetermined frequency band in the scale-converted image data.
  • an example of the odd function mapping is sgn (X_1) ⁇ (X_1) 2 .
  • sgn (X_1) is a function that returns the sign of the argument X_1.
  • the supplementary signal generation unit 30 multiplies signals X_1 in a predetermined frequency band with each other, and multiplies the signal after the multiplication by a sign of the signal in the original predetermined frequency band. By multiplying, data with an odd function mapping is generated.
  • the addition unit 24 adds the data subjected to the above mapping to the scale-converted image data supplied from the scaler unit 22.
  • the adder 24 outputs the added image data to the image format converter 14.
  • the signal supplementing unit 23 supplements the signal to the image data after the scale conversion by the scaler unit.
  • the present invention is not limited to this, and the signal supplementation unit 23 applies a signal obtained by mapping a signal in a predetermined frequency band among the image data after noise reduction by the noise reduction unit 21 to the image data after noise reduction. May be supplemented.
  • the supplementary signal generation unit 30 performs an odd function mapping on a signal in a predetermined frequency band among the image signals after the noise reduction by the noise reduction unit 21, and generates a signal on which the odd function mapping is performed.
  • the adding unit 24 adds the generated signal with the odd function mapping to the image signal after noise reduction.
  • FIGS. 4A to 4D and FIG. 4A to 4D are diagrams for explaining the outline of the processing of the noise reduction unit 21 and the scaler unit 22.
  • FIG. 4A to 4D show the relationship between the luminance component and the spatial frequency in the image data.
  • FIG. 4A shows a signal component Ws and a noise component Wn before noise reduction by the noise reduction unit 21.
  • Ws2 and the noise component Wn2 after noise reduction are shown. Focusing on the noise component Wn2 after noise reduction, noise components distributed at frequencies lower than the cut-off frequency fc of the low-pass filter are removed by noise reduction by the noise reduction unit 21, and noise near the Nyquist frequency region (fo / 2). It is shown that the ingredients remain. Further, when attention is paid to the signal component Ws2, it is shown that the luminance component of the high frequency band is slightly lost for the signal component together with the noise component due to the noise reduction by the noise reduction unit 21.
  • the scaler unit 22 extends the band fo / 2 before upscaling to the band fu / 2 after upscaling by pixel interpolation.
  • the scaler unit 22 cuts off the signal including the signal component Ws3 after noise reduction before interpolation and the signal component Ws3 after noise reduction after interpolation shown in the graph of FIG. 4C.
  • the signal component Ws4 after the low-pass filter and the noise component Wn4 after the low-pass filter obtained by applying the low-pass filter of the frequency (fo / 2) are shown.
  • the graph of FIG. 4D shows a region R1 in which almost no signal component exists due to a low-pass filter having a cutoff frequency (fo / 2).
  • the scaler unit 22 reduces the aliasing component after upscaling by a low-pass filter (LPF) having a cutoff frequency (fo / 2).
  • LPF low-pass filter
  • FIG. 5 is a diagram for explaining the processing of the signal supplementing unit 23.
  • FIG. 5 shows the signal component Ws5 after the signal is supplemented by the signal supplementing unit 23 with respect to the signal including the signal component Ws4 after the low-pass filter and the noise component Wn4 after the low-pass filter.
  • the signal supplementing unit 23 extracts the signal in the high frequency region R2 from the signal components having the spatial frequency fo / 2 or less from the signal component Ws4 after the low-pass filter, and passes the nonlinear function to the extracted signal in the high frequency region R2. Let As a result, the signal supplementing unit 23 supplements the signal to the signal component Ws4 after the low-pass filter at a spatial frequency higher than the spatial frequency fo / 2 where there is almost no signal component, and generates the supplemented signal component Ws5.
  • FIG. 6 is a schematic block diagram of the noise reduction unit 21.
  • the noise reduction unit 21 includes a delay unit 21_1, a signal selection unit 21_2, a voltage comparison unit 21_3, a noise level detection unit 21_4, and a signal output unit 21_5.
  • processing of each unit of the noise reduction unit 21 will be described.
  • a process in which the noise reduction unit 21 reduces noise in luminance data will be described.
  • the same process may be performed in parallel with the luminance data for the color difference data Cb and the color difference data Cr.
  • the delay unit 21_1 adjusts the image signal supplied from the Y / C separation unit 12 to the timing at which pixel data of a pixel (hereinafter referred to as a comparison pixel) to be compared with the target pixel is output from the signal selection unit 21_2.
  • the pixel data of the target pixel is delayed for a predetermined time.
  • the delay unit 21_1 outputs the pixel data of the target pixel to the voltage comparison unit 21_3 and the signal output unit 21_5.
  • the signal selection unit 21_2 sequentially shifts the image signal transmitted by the raster scan by one pixel of data, and stores the pixel data from the shift amount 0 to the shift amount (S1 + S2).
  • the pixel with the shift amount 0 is referred to as the left pixel
  • the pixel shifted by the shift amount S1 is referred to as the target pixel
  • the pixel shifted by the shift amount (S1 + S2) is referred to as the right pixel.
  • the signal selection unit 21_2 compares the left pixel, the target pixel, and the right pixel, and outputs pixel data Sout indicating an intermediate pixel value among the three pixels to the voltage comparison unit 21_3.
  • the voltage comparison unit 21_3 compares the image data Dout of the target pixel supplied from the delay unit 21_1 and the pixel data Sout indicating the intermediate pixel value supplied from the signal selection unit 21_2.
  • the voltage comparison unit 21_3 sets the comparison operator Cout to 1 if the image data Dout of the target pixel is larger than the pixel data Sout indicating the intermediate pixel value, sets the comparison operator Cout to 0 if they are the same, and compares them if they are smaller. Let Cout be -1. Then, the voltage comparison unit 21_3 outputs information indicating the value of the comparison operator Cout to the signal output unit 21_5.
  • the delay unit 21_1 may be omitted, and the voltage comparison unit 21_3 may calculate the comparison operator Cout using the pixel value of the target pixel extracted by the signal selection unit 21_2 as it is.
  • the noise level detection unit 21_4 estimates the noise level based on the image data in the blanking interval. Specifically, for example, the noise level detection unit 21_4 calculates the average value of the luminance data Y included in the image data in the blanking interval, and sets the information indicating the calculated average value as the noise level L to the signal output unit 21_5. Output.
  • the signal output unit 21_5 includes the pixel data Dout of the target pixel supplied from the delay unit 21_1, information indicating the value of the comparison operator Cout supplied from the noise level detection unit 21_4, and the noise supplied from the noise level detection unit. Receive level L. Then, the signal output unit 21_5 performs the following processing on the pixel data of the target pixel.
  • the signal output unit 21_5 generates image data after subtraction by subtracting the noise level L from the pixel data Dout. Further, the signal output unit 21_5 generates image data after addition by adding the noise level L from the pixel data Dout.
  • the signal output unit 21_5 outputs the subtracted image data to the scaler unit 22.
  • the signal output unit 21_5 outputs the pixel data Dout to the scaler unit 22 as it is.
  • the signal output unit 21_5 outputs the added image data to the scaler unit 22 when the value of Cout is ⁇ 1.
  • FIG. 7A and 7B are diagrams for explaining the processing of the signal output unit 21_5.
  • the graph in FIG. 7A shows an example of the relationship between pixel values (luminance data Y, color difference data Cb, color difference data Cr) and the pixel position in the horizontal direction.
  • the graph of FIG. 7B shows an example of the relationship between the pixel values (luminance data Y, color difference data Cb, color difference data Cr) after the noise is reduced from the pixel values in FIG. 7A and the pixel position in the horizontal direction. Yes.
  • each circle represents a pixel value of each pixel supplied from the Y / C separation unit 12.
  • the true pixel value W1 is the pixel value of the original image before being wirelessly transmitted from the TV tower.
  • each pixel value supplied from the Y / C separation unit 12 may deviate from the true pixel value W ⁇ b> 1 due to mixing of noise components during wireless transmission.
  • FIG. 7B shows the pixel values of the target pixels (T1a, T2a, T3a) after noise is reduced from the pixel values of the target pixels (T1, T2, T3).
  • the pixels that are separated by S1 samples in the left direction from the target pixels (T1, T2, and T3) and the pixels that are separated by S2 samples in the right direction are set as comparison pixels.
  • the signal output unit 21_5 subtracts the noise level L1 from the pixel value of the target pixel, and uses the subtracted pixel value as the pixel value of the target pixel T1a after noise reduction. . Further, since the target pixel T2 is smaller than the two comparison pixels, the signal output unit 21_5 adds the noise level L1 from the pixel value of the target pixel, and adds the pixel value of the target pixel T2a after the pixel value noise is reduced. Output.
  • the signal output unit 21_5 subtracts the noise level L1 from the pixel value of the target pixel, and the subtracted pixel value is the pixel of the target pixel T3a after noise reduction. Value.
  • FIG. 8 is a schematic block diagram of the supplement signal generation unit 30.
  • the supplement signal generation unit 30 includes one or more nonlinear mapping units.
  • the supplement signal generation unit 30 includes M nonlinear mapping units 30_i (i is an integer from 1 to M) including nonlinear mapping units 30_1, 30_2,..., 30_M (M is a positive integer). Is provided.
  • the filter unit selects a frequency band and performs a nonlinear calculation suitable for each frequency band. For example, the filter unit 40_1 of the non-linear mapping unit 30_1 selects a band so that a frequency of 0.2 ⁇ fo / 2 is centered, and performs a non-linear operation of X ⁇ 5. Further, the filter unit 40_2 of the non-linear mapping unit 30_2 selects a band so that the frequency is 0.3 ⁇ fo / 2 and performs a non-linear calculation of X ⁇ 3. Thereby, a predetermined nonlinear mapping can be realized according to the frequency band.
  • Each nonlinear mapping unit 30 — i extracts a signal that is a source of a high-frequency component for supplementing the scale-converted image data from the scale-converted image data supplied from the scaler unit 22. Specifically, for example, each nonlinear mapping unit 30_i extracts a high frequency component having a predetermined frequency or higher from the image data. Here, the high frequency component corresponds to an outline of an image region (object) in the image, a fine texture of an object of a human eye, or the like. Each nonlinear mapping unit 30_i performs nonlinear computation on the extracted high frequency component. Each nonlinear mapping unit 30 — i outputs a signal after performing a nonlinear calculation to the adding unit 24.
  • each nonlinear mapping unit 30_i includes a filter unit 40_i and a nonlinear operation unit 70_i.
  • Each filter unit 40_i includes N linear filter units 50_i, j (i is an integer from 1 to M, j is a linear filter unit 50_i, 1,..., 50_i, N (N is a positive integer). Integer from 1 to N).
  • Each filter unit 40_i includes one or more high-pass filters. That is, one or more of N linear filter units 50_i, j (j is an integer from 1 to N) included in each filter unit 40_i is a high-pass filter. Each filter unit 40_i is higher than a predetermined frequency in the predetermined one-dimensional direction or the two-dimensional direction in the image data by the N linear filter units 50_i, j included in each filter unit 40_i. Pass a signal having a frequency. As a result, a signal that is a source of a high-frequency component supplemented to the image data after the scale conversion is extracted. Each filter unit 40_i outputs a signal that is a source of the extracted high-frequency component to the nonlinear arithmetic unit 70_i.
  • each filter unit 40_i includes only the linear filter units 50_i and j.
  • the present invention is not limited thereto, and may include a non-linear filter.
  • Each non-linear operation unit 70_i generates a signal having a higher frequency component than the signal that is the source of the high frequency component, based on the signal that is the source of the high frequency component extracted from each filter unit 40_i. Specifically, for example, each nonlinear arithmetic unit 70_i performs an odd function mapping on a signal that is a source of a high-frequency component extracted within a certain period of time. Each nonlinear operation unit 70 — i outputs image data on which an odd function has been mapped to the addition unit 24.
  • a nonlinear function is represented by the sum of an even function and an odd function.
  • FIG. 9 is a diagram illustrating an example in which waveforms output from the adder 24 are compared in the case where an even function and an odd function are passed through the nonlinear operation unit.
  • FIG. 9 as an example of the original signal supplied from the scaler unit 22, a waveform w91 of the original signal having a step-like change is shown. Further, FIG. 9 shows a waveform w92 of a signal after passing the high-pass filter by the filter unit 40_i with respect to the original signal w91 having a step-like change.
  • the signal after passing through the high-pass filter and the waveform w93 of the signal after passing through the non-linear function of the even function and the signal after passing through the high-pass filter are odd.
  • the waveform w94 of the signal after passing the nonlinear function of the function is shown.
  • the waveform w95 of the signal obtained by adding the original signal and the signal after passing through the even-function nonlinear function is added to the signal after passing through the original signal and the odd-function nonlinear function.
  • the waveform w96 of the signal obtained is shown.
  • the signal after passing through the high-pass filter is a numerical value having a positive value and a negative value.
  • the output is positive when the input is positive, and the output is positive when the input is negative.
  • a positive value is always output. Therefore, when the signal after passing through the nonlinear function of the even function is added to the original signal, the edge (edge) in the image where the pixel value takes a high value is emphasized in the signal after the addition. However, the edge is blurred when the pixel value is low.
  • the output is positive when the input is positive, and the output is negative when the input is negative. It becomes. That is, the sign at each point of the signal after passing the odd nonlinear function is the same as the sign at each point of the signal after passing through the high-pass filter corresponding to each point. Therefore, when the signal after passing through the nonlinear function of the odd function is added to the original signal, the edge is emphasized in both the place where the pixel value takes a high value and the place where the pixel value takes a low value. Therefore, the signal supplementing unit 23 can realize good edge enhancement. In view of this, it is desirable that the nonlinear arithmetic unit 70_i use an odd function.
  • each nonlinear arithmetic unit 70_i can generate odd-order harmonics of the signal that is the source of the high-frequency component by generating image data on which an odd function has been mapped.
  • the adding unit 24 adds the image data on which the odd function mapping is performed to the scale-converted image data supplied from the scaler unit 22, so that the signal is present in a high-frequency band in which almost no signal exists as described above.
  • the generated signal can be supplemented.
  • the mapping by the odd function even if the adding unit 24 adds the image data mapped by the odd function to the image data after the scale conversion, the DC component (average luminance) of the image data after the scale conversion is used. ).
  • Each nonlinear arithmetic unit 70_i in the first embodiment has an advantage that mapping by an odd function hardly affects a direct current component (average luminance), and therefore mapping by an odd function is used. Absent.
  • Each nonlinear operation unit 70 — i may use mapping by an even function. In that case, in order to remove the direct current component generated by the mapping by the even function, each nonlinear arithmetic unit 70_i may apply a filter for removing the direct current component after performing the mapping by the even function.
  • FIG. 10 is a functional block diagram of a confirmation device 80 for confirming the effect of the signal supplementing unit 23.
  • the confirmation device 80 includes an image processing unit 20, a first scaler unit 81, a second scaler unit 82, and an addition unit 83.
  • the first scaler unit 81 upscales original image data that does not include noise input from the outside, and outputs the original image data A after the upscaling to the outside of the confirmation device 80.
  • the addition unit 83 adds the noise N1 input from the outside to the original image data D1 that does not include noise input from the outside, and the noise reduction unit 21 of the image processing unit 20 adds the noise-added image data; Output to the second scaler unit 82. Thereby, the addition part 83 can produce
  • the noise reduction unit 21 is the same as the noise reduction unit 21 shown in FIG.
  • the second scaler unit 82 upscales the image data after the noise addition, and outputs the noise image data B after the upscaling to the outside of the confirmation device 80.
  • the noise reduction unit 21 performs noise reduction processing on the image data after the noise addition.
  • the scaler unit 22 upscales the image data after the noise reduction by the noise reduction unit 21 and applies a low-pass filter to the image data after the upscaling.
  • the scaler unit 22 outputs the image data after the low-pass filter to the signal selection unit 23 and the outside of the confirmation device 80 as the image data C after the noise reduction process.
  • the replenishment signal generation unit 30 of the signal replenishment unit 23 generates non-linear mapping to the image data C after the noise reduction processing, thereby generating mapped data.
  • the adding unit 24 adds the mapped data to the image data C after the noise reduction process, and outputs the image data D after the signal supplement to the outside of the confirmation device 80.
  • FIGS. 11A to 11D are diagrams showing the image data A to D output from the confirmation device 80 of FIG. 10 as images, respectively.
  • 11A to 11D an upscaled original image 81 corresponding to the image data A (FIG. 11A), an upscaled noise image 82 corresponding to the image data B (FIG. 11B), and the image data C are equivalent.
  • An image 83 (FIG. 11C) after noise reduction processing and an image 84 (FIG. 11D) after signal supplementation corresponding to the image data D are shown.
  • noise image 82 after the upscaling (FIG. 11B)
  • noise is superimposed compared to the original image 81 after the upscaling (FIG. 11A).
  • noise is removed from the image 83 after the noise reduction processing (FIG. 11C) compared to the noise image 82 after the upscaling (FIG. 11B), but compared with the original image 81 after the upscaling (FIG. 11A). In such a case, the fineness is impaired.
  • the signal supplementing unit 23 converts the data obtained by performing nonlinear mapping on the signal having a frequency component higher than the predetermined frequency extracted from the scale-converted image data to the image data of the scale-converted image data. By replenishing, a fine image can be generated.
  • FIG. 12 shows the signal intensity distribution in the frequency domain of each image in FIGS. 11A to 11D.
  • the center portion represents a DC component, and the higher the frequency component, the closer to the periphery.
  • the whiter the color the stronger the signal intensity of the frequency component.
  • the vertical axis represents the horizontal frequency Fx of the image, and the horizontal axis represents the vertical frequency Fy of the image.
  • the signal intensity S (Fx, Fy) in the frequency domain is the real component of a signal component whose horizontal frequency component is Fx and whose vertical frequency component is Fy when each image data is Fourier transformed. Is the sum of the square of and the square of the imaginary component.
  • the signal intensity of each frequency component in the diagonal direction is shown.
  • the center of the distribution is the origin.
  • the sign of the horizontal direction is determined by the sign of the imaginary component of the value obtained by Fourier transform in the horizontal direction.
  • the sign in the vertical direction is determined by the sign of the imaginary component of the value Fourier-transformed in the vertical direction.
  • the spectrum 81b of the scaled up original image, the spectrum 82b of the image after noise addition, the spectrum 83b of the image after noise reduction processing, and the spectrum 84b of the image after signal supplementation are shown.
  • the spectrum 84b of the image after signal supplementation shows that the signal intensity in the high frequency region is stronger than the spectrum 83b of the image after noise reduction processing. From this, it can be seen that the signal supplementing unit 23 supplements the image data C after the noise reduction processing with a signal in a high frequency region.
  • FIG. 13 is a diagram showing a difference in spectrum obtained by subtracting the spectrum of the image after noise addition from the spectrum of the image after noise reduction processing.
  • the difference 86 is shown.
  • the gray portion indicates that there is no difference
  • the black portion indicates that the frequency component is decreasing
  • the white portion indicates that the frequency component is increasing.
  • black color is increased in a donut-shaped region surrounded by a small circle C87 and a large circle C88. From this, it can be seen that in the image 83 after the noise reduction processing, higher frequency components are reduced than in the image 82 after the noise addition. This is because one of the reasons that the image 83 after the noise reduction processing is visually inferior to the image 82 after the noise addition is that the signal in the frequency region higher than the predetermined frequency is reduced. It means that there is something.
  • FIG. 14 is a flowchart illustrating a processing flow of the display device 1 (FIG. 1) according to the first embodiment.
  • the detection unit 11 is supplied with a broadcast wave signal received from the antenna, and outputs the supplied signal to the Y / C separation unit 12.
  • the Y / C separation unit 12 demodulates the signal supplied from the detection unit 11, performs Y / C separation, performs A / D conversion, and performs image data (luminance data Y after the A / D conversion).
  • Color difference data Cb, color difference data Cr is output to the image processing unit 20 (step S101).
  • the image processing unit 20 performs predetermined image processing on the image data supplied from the Y / C separation unit 12 (step S102).
  • the image format conversion unit 14 displays an image generated for an I (Interlace) / P (Progressive) conversion (interlaced video device) from a processed image signal in a progressive format. Convert it to a suitable image).
  • the image format converter 14 converts the I / P converted image signal into RGB signals (red, green, and blue gradation data) (step S103).
  • the liquid crystal driving unit 15 generates a clock signal for writing the supplied RGB signals to the liquid crystal elements PIX arranged in a matrix in the liquid crystal panel 16 (step S104).
  • the liquid crystal driving unit 15 converts the gradation data in the RGB signal into a gradation voltage for performing liquid crystal driving (step S105).
  • the liquid crystal driver 15 holds the gradation voltage for each source line in the liquid crystal panel 16 by an internal hold circuit.
  • the liquid crystal driver 15 supplies a predetermined voltage to one of the gate lines in the liquid crystal panel 16, and applies the predetermined voltage to the gate electrode of the TFT of the liquid crystal element (step) S106).
  • the liquid crystal driving unit 15 supplies the gradation voltage held for each source line in the liquid crystal panel 16 (step S107).
  • the gradation voltage is sequentially supplied to the source line within the time when each gate line is selected, and the gradation voltage (gradation degree data) necessary for display is turned on. Data is written to the pixel element connected to the drain of the TFT in the state. As a result, the pixel element changes the transmittance by controlling the orientation of the internal liquid crystal according to the applied gradation voltage. As a result, the video signal received by the detector 11 is displayed on the liquid crystal panel 16 (step S108). Above, the process of the flowchart shown in FIG. 14 is complete
  • FIG. 15 is a flowchart showing details of the processing of the image processing unit 20 in step S102 of FIG.
  • the noise reduction unit 21 reduces the noise of the image data input from the Y / C separation unit 12 (step S201).
  • the scaler unit 22 scales up the image data after noise reduction (step S202).
  • the scaler unit 22 applies a low-pass filter to the scaled-up image data (step S203).
  • each of the filter units 40_i (i is an integer from 1 to M) is parallel to the linear filter units 50_1, 1 to 50_M, 1 with respect to the image data after the low-pass filter. Multiply linear filters. Thereafter, while incrementing j by 1, each filter unit 40_i (i is an integer from 1 to M) is applied to the image data after the previous linear filter unit 50_i, j ⁇ 1 until j becomes N. A corresponding linear filter is applied in parallel (step S204).
  • the non-linear operation unit 270_i passes the non-linear function through the image data after the linear filter output from each filter unit 40_i (step S205).
  • the adding unit 24 adds the image data after passing the nonlinear function to the image data after the low-pass filter supplied from the scaler unit 22 (step S206).
  • the process of the flowchart shown in FIG. 15 is complete
  • the filter unit 40_i extracts the data in the predetermined frequency region included in the image data after the low pass filter by the scaler unit 22. Then, the non-linear operation unit 270 — i passes the non-linear function to the extracted data, and the adding unit 24 adds the data obtained by passing the non-linear function to the image data after the low-pass filter. As a result, the image processing unit 20 adds a signal having a frequency component higher than the frequency component including the image data to the image data, so that a fine image can be obtained.
  • FIG. 16 is a schematic block diagram of a display device 1b according to the second embodiment.
  • symbol is attached
  • the image processing unit 20 is changed to an image processing unit 20b with respect to the configuration of the display device 1 in FIG.
  • FIG. 17 is a schematic block diagram of the image processing unit 20b.
  • symbol is attached
  • the signal supplementing unit 23 is changed to a signal supplementing unit 23b with respect to the configuration of the image processing unit 20 in FIG.
  • the supplementary signal generating unit 30 is changed to a supplementary signal generating unit 130 with respect to the configuration of the signal supplementing unit 23 in FIG.
  • the supplement signal generation unit 130 includes a vertical nonlinear mapping unit 130_1 and a horizontal nonlinear mapping unit 130_2.
  • the vertical nonlinear mapping unit 130_1 includes a vertical signal extraction unit 140 and a first nonlinear calculation unit 170.
  • the vertical signal extraction unit 140 includes a vertical high-pass filter unit 150 and a horizontal low-pass filter unit 160.
  • the vertical high-pass filter unit 150 extracts vertical high-frequency components in the scale-converted image data X supplied from the scaler unit 22, and extracts the extracted image data U VH including the vertical high-frequency components. Output to the horizontal low-pass filter unit 160.
  • the horizontal low-pass filter unit 160 extracts a horizontal low-frequency component in the vertical high-frequency component image data U VH supplied from the vertical high-pass filter unit 150, and extracts the extracted horizontal low-frequency component. Is output to the first nonlinear arithmetic unit 170.
  • the first non-linear operation unit 170 performs non-linear mapping on the signal of the image data W HL including the horizontal low-frequency component supplied from the horizontal low-pass filter unit 160.
  • the first non-linear operation unit 170 performs non-linear mapping on the signal of the image data W HL including the horizontal low-frequency component supplied from the horizontal low-pass filter unit 160.
  • the process of the vertical high-pass filter unit 150 is the process of the horizontal low-pass filter unit 160 first.
  • the present invention is not limited to this, and the vertical high-pass filter unit 150 and the horizontal low-pass filter unit 160 are linear filters, and in principle, either processing may be arranged first.
  • the horizontal nonlinear mapping unit 130_2 includes a horizontal signal extraction unit 140_2 and a second nonlinear calculation unit 170_2.
  • the horizontal signal extraction unit 140_2 includes a vertical low-pass filter unit 150_2 and a horizontal high-pass filter unit 160_2.
  • the vertical low-pass filter unit 150_2 extracts the vertical low-frequency component in the scale-converted image data X, and the extracted image data U VL including the vertical low-frequency component is supplied to the horizontal high-pass filter unit 160_2.
  • the output horizontal high-pass filter unit 160_2 extracts the horizontal high-frequency component in the image data U VL including the vertical low-frequency component supplied from the vertical low-pass filter unit 150_2, and extracts the extracted horizontal and it outputs the image data W HH containing a high frequency component to the second nonlinear operator 170_2.
  • the processing is performed by the horizontal high-pass filter unit 160_2 after the processing by the vertical low-pass filter unit 150_2.
  • the present invention is not limited to this, and the vertical low-pass filter unit 150_2 and the horizontal high-pass filter unit 160_2 are linear filters. In principle, either processing may be arranged first.
  • Second nonlinear operation unit 170_2 performs nonlinear mapping on the signal of the image data W HH containing a high frequency component of the supplied horizontal from the horizontal high-pass filter 160_2.
  • Second nonlinear operation unit 170_2 performs nonlinear mapping on the signal of the image data W HH containing a high frequency component of the supplied horizontal from the horizontal high-pass filter 160_2.
  • the image data X of the scale-converted, and data N V to compensate for high frequency components of the supplied vertically from the first nonlinear operator 170, horizontal supplied from the second nonlinear operator 170_2
  • the data NH supplementing the high frequency component is added, and the image data obtained by the addition is output to the image format conversion unit 23. If the range of pixel values that can be output is finite, such as 0 to 255, the adding unit 24 may be provided with a limiter for suppressing the range.
  • the adding unit 24 may be configured as follows when a high frequency component is included in both the horizontal and vertical directions.
  • the addition unit 24, the signal N V to compensate for the high-frequency component of the vertical may be multiplied by a weight to the signal N H to compensate for horizontal high-frequency component.
  • adding unit 24 also adds the multiplied by weighting the sum of the signals N H to compensate for the high-frequency component of the signal N V and the horizontal to compensate for the high-frequency component of the normal to the image data X of the scale-converted Good.
  • the addition unit 24, the signal N V supplement the high frequency component of the vertical, it may be multiplied by the weight to the sum of the signals N H and the image data X of the scale-converted to compensate for the horizontal high-frequency component.
  • the adder 24, the signal N V to compensate for high frequency components in the vertical, on the basis of the signal N H to compensate for horizontal high-frequency component may be changed to image data X of the scale-converted. According to this, in a pixel in which a high frequency component is included both horizontally and vertically, it is possible to prevent excessive enhancement in the pixel.
  • FIG. 19 is an example of a functional block diagram of the vertical high-pass filter unit 150 according to the second embodiment.
  • the vertical high-pass filter unit 150 includes a vertical pixel reference delay unit 151, a filter coefficient storage unit 152, a multiplication unit 153, and an addition unit 154.
  • the multiplication unit 153 includes seven multipliers up to multipliers 153_1,..., 153_7.
  • the vertical pixel reference delay unit 151 delays the scale-converted image data X supplied from the scaler unit 22 by the number of pixels of the horizontal synchronization signal of one line, and obtains one-line delay data obtained by delaying the delay. Is output to the multiplier 153_1 of the multiplier 153.
  • the vertical pixel reference delay unit 151 further delays the 1-line delay data by the number of pixels of the horizontal synchronization signal of 1 line, and outputs 2-line delay data obtained by the delay to the multiplier 153_2 of the multiplier 153.
  • the vertical pixel reference delay unit 151 multiplies the k-line delay data obtained by delaying by the number of pixels of the horizontal synchronization signal of k (k is an integer from 1 to 7) lines by the multiplication unit 153. To the device 153_k.
  • the filter coefficient storage unit 152 indicating data indicating the vertical coefficient a L-3 after three lines, and data indicating after two lines of vertical coefficient a L-2, after one line vertical coefficient a L-1 Data, data indicating the vertical coefficient a L + 0 of the target line, data indicating the vertical coefficient a L + 1 one line before, data indicating the vertical coefficient a L + 2 two lines before, and a vertical coefficient a L + 3 three lines before Data to be stored is stored.
  • the multiplier 153_1 reads data indicating the vertical coefficient a L-3 three lines before.
  • the multiplier 153_1 multiplies the 1-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L ⁇ 3 three lines before and outputs the data obtained by the multiplication to the adder 154.
  • Multiplier 153_2 reads the data indicating two lines before the vertical coefficient a L-2.
  • Multiplier 153_2 outputs multiplied by 2 lines before the vertical coefficient a L-2 to 2 line delay data inputted from the vertical pixel reference delay unit 151, the data obtained by multiplying the addition unit 154.
  • the multiplier 153_3 reads data indicating the vertical coefficient a L ⁇ 1 one line before.
  • the multiplier 153_3 multiplies the 3-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L ⁇ 1 one line before and outputs data obtained by the multiplication to the adder 154.
  • the multiplier 153_4 reads data indicating the vertical coefficient a L + 0 of the target line.
  • the multiplier 153_4 multiplies the 4-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L + 0 of the target line, and outputs the data obtained by the multiplication to the adder 154.
  • the multiplier 153_5 reads data indicating the vertical coefficient a L + 1 after one line.
  • the multiplier 153_5 multiplies the 5-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L + 1 after one line, and outputs the data obtained by the multiplication to the adder 154.
  • the multiplier 153_6 reads data indicating the vertical coefficient a L + 2 after two lines.
  • the multiplier 153_6 multiplies the 6-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L + 2 after 2 lines, and outputs the data obtained by the multiplication to the adder 154.
  • the multiplier 153_7 reads data indicating the vertical coefficient a L + 3 after three lines.
  • the multiplier 153_7 multiplies the 7-line delay data input from the vertical pixel reference delay unit 151 by the vertical coefficient a L + 3 after 3 lines, and outputs the data obtained by the multiplication to the adder 154.
  • the adder 154 adds the data supplied from the multipliers 153_k, and outputs the added image data to the horizontal low-pass filter 60 as image data U VH including a vertical high frequency component.
  • FIG. 20 is a functional block diagram of the horizontal low-pass filter unit 160 according to the second embodiment.
  • the horizontal low-pass filter unit 160 includes a horizontal pixel reference delay unit 161, a filter coefficient storage unit 162, a multiplication unit 163, and an addition unit 164.
  • the multiplication unit 163 includes seven multipliers up to multipliers 163_1,..., 163_7.
  • the horizontal pixel reference delay unit 161 includes seven one-pixel delay elements up to one-pixel delay elements 161_1,.
  • the one-pixel delay element 161_1 delays the image data U VH including the vertical high-frequency component supplied from the vertical high-pass filter unit 150 by one pixel, and multiplies the one-pixel delay data that is delayed by one pixel. To the multiplier 163_1 and the one-pixel delay element 161_2.
  • the one-pixel delay element 161_2 delays the one-pixel delay data supplied from the one-pixel delay element 161_1 by one pixel, and outputs the two-pixel delay data delayed by one pixel to the multiplier 163_2 of the multiplier 163.
  • the one-pixel delay element 161_k (k is an integer from 1 to 7) delays the one-pixel delay data supplied from the one-pixel delay element 161_k-1 by one pixel and delays by one pixel.
  • the pixel delay data is output to the multiplier 163_k of the multiplier 163.
  • the filter coefficient storage unit 162 stores data indicating the filter coefficient a D + 3 three pixels before, data indicating the filter coefficient a D + 2 two pixels before, data indicating the filter coefficient a D + 1 one pixel before, and data indicating the filter coefficient a D0, data indicating after 1 pixel filter coefficient a D-1, and data indicating after 2 pixel filter coefficient a D-2, after three pixels the filter coefficient a D-3 Data to be stored is stored.
  • the multiplier 163_1 reads out data indicating the filter coefficient a D + 3 three pixels before from the filter coefficient storage unit 162.
  • the multiplier 163_1 multiplies the 1-pixel delay data supplied from the 1-pixel delay element 161_1 by data indicating the filter coefficient a D + 3 three pixels before, and outputs data obtained by the multiplication to the adder 164.
  • the multiplier 163_2 reads out data indicating the filter coefficient a D + 2 two pixels before from the filter coefficient storage unit 162.
  • the multiplier 163_2 multiplies the 2-pixel delay data supplied from the 1-pixel delay element 161_2 by data indicating the filter coefficient a D + 2 two pixels before, and outputs the data obtained by the multiplication to the adder 164.
  • the multiplier 163_3 reads data indicating the filter coefficient a D + 1 one pixel before from the filter coefficient storage unit 162.
  • the multiplier 163_3 multiplies the 3-pixel delay data supplied from the 1-pixel delay element 161_3 by data indicating the filter coefficient a D + 1 one pixel before, and outputs data obtained by the multiplication to the adder 164.
  • the multiplier 163_4 reads data indicating the filter coefficient a D0 of the target pixel from the filter coefficient storage unit 162.
  • the multiplier 163_3 multiplies the 4-pixel delay data supplied from the 1-pixel delay element 161_4 by data indicating the filter coefficient a D0 of the target pixel, and outputs the data obtained by the multiplication to the adder 164.
  • the multiplier 163_5 reads data indicating the filter coefficient a D-1 after one pixel from the filter coefficient storage unit 162.
  • Multiplier 163_5 outputs multiplied by data indicating the filter coefficient a D-1 after one pixel 5 pixel delay data supplied from the one-pixel delay element 161_5, the data obtained by multiplying the addition unit 164.
  • the multiplier 163_6 reads out data indicating the filter coefficient a D-2 after two pixels from the filter coefficient storage unit 162.
  • Multiplier 163_6 outputs multiplied by data indicating 2 after the pixel filter coefficient a D-2 to 6 pixel delay data supplied from the one-pixel delay element 161_6, the data obtained by multiplying the addition unit 164.
  • the multiplier 163_7 reads data indicating the filter coefficient a D-3 after three pixels from the filter coefficient storage unit 162.
  • Multiplier 163_7 outputs multiplied by data indicating the filter coefficient a D-3 at 3 pixels supplied 7 pixel delay data from one pixel delay element 161_7, the data obtained by multiplying the addition unit 164.
  • Adding section 164 adds the data supplied from the multiplier 163_K, and outputs the first nonlinear operator 170 the image data after the addition as image data W HL including a horizontal low-frequency component.
  • the vertical low-pass filter unit 150_2 has the same circuit configuration as that of the vertical high-pass filter unit 150_2, and is different only in the filter coefficient. Therefore, the description of the circuit configuration is omitted.
  • the horizontal high-pass filter unit 160_2 has the same circuit configuration as the horizontal low-pass filter unit 160, and only the filter coefficient is different, so that the description of the circuit configuration is omitted.
  • FIG. 21 is a table T1 showing an example of filter coefficient setting when delaying 7 lines in the vertical direction or 7 pixels in the horizontal direction.
  • FIG. 21 shows the horizontal coefficient used when filtering in the horizontal direction and the vertical coefficient used when filtering in the vertical direction.
  • the coefficients of the vertical high-pass filter unit 150 and the horizontal high-pass filter unit 160_2 are the same.
  • the coefficients of the vertical low-pass filter unit 150_2 and the horizontal low-pass filter unit 160 are the same.
  • the total value of the coefficients of the seven filters in each row is zero.
  • the vertical signal extraction unit 140 and the horizontal signal extraction unit 140_2 include at least one high-pass filter unit, and the total value of the coefficients of the filters needs to be zero. That is, the transfer function of the DC component (DC component) of the high-pass filter included in the vertical signal extraction unit 140 and the horizontal signal extraction unit 140_2 is zero.
  • the processing of the second nonlinear arithmetic unit 170_2 is the same as the processing of the first nonlinear arithmetic unit 170, and thus description thereof is omitted.
  • the first nonlinear arithmetic unit 170 replaces the image data W HL including the horizontal low-frequency component supplied from the horizontal low-pass filter unit 160 with the input data W, the following equation (1) is applied to the input data W. To perform a non-linear operation and output the following signal N (W).
  • sgn (W) is a function that returns the sign of the argument W
  • ck is a nonlinear arithmetic coefficient
  • k is an integer from 1 to K, and is an index of the nonlinear arithmetic coefficient
  • K is a nonlinear arithmetic coefficient.
  • B 2k + 1 is each coefficient of an odd power.
  • the first nonlinear arithmetic unit 170 generates odd harmonics by calculating odd powers.
  • u exp (j ⁇ X) is raised to the (2k + 1) th power
  • FIG. 22 is a functional block diagram of the first nonlinear arithmetic unit 170 in the second embodiment.
  • the first nonlinear calculation unit 170 includes an absolute value calculation unit 171, a power calculation unit 172, a nonlinear calculation coefficient storage unit 173, a multiplication unit 174, an addition unit 175, a code detection unit 176, and a multiplication unit 177.
  • the power calculation unit 172 includes six multipliers 172_p (p is an integer from 1 to 6) including multipliers 172_1,..., 172_6.
  • the multiplication unit 174 includes seven multipliers 174_q (q is an integer from 1 to 7) including multipliers 174_1,.
  • the absolute value calculation unit 171 calculates the absolute value of the image data WHL including the horizontal low-frequency component supplied from the horizontal low-pass filter unit 160, and multiplies the calculated absolute value data r by the power calculation unit 172. To the multiplier 174_1 of the multiplier 172_p and the multiplier 174.
  • Multiplier 172_1 multiplies the absolute value data r respectively supplied from the absolute value calculating section 171, and outputs the square data r 2 obtained by multiplying the multiplier 172_2 and multiplier 174_2.
  • Multiplier 172_2 includes absolute value data r supplied from the absolute value calculator 171, multiplier 172_1 multiplies the squared data r 2 supplied from the third power data r 3 obtained by multiplying the multiplier 172_3 And output to the multiplier 174_3.
  • the multiplier 172_p (where p is an integer from 3 to 5) includes the absolute value data r supplied from the absolute value calculator 171 and the p-th power data supplied from the multiplier 172_p ⁇ 1. multiplied by r p, and outputs the p + 1 power data r p + 1 obtained by multiplying the multiplier 172_p + 1 and the multiplier 174_p + 1.
  • multiplier 172_6 includes absolute value data r supplied from the absolute value calculator 171 multiplies the sixth power data r 6 supplied from the multiplier 172_5, the 7th power data r 7 obtained by multiplying Output to the multiplier 174_7.
  • the nonlinear calculation coefficient storage unit 173 stores data indicating seven nonlinear calculation coefficients up to nonlinear calculation coefficients c 1 ,..., C 7 .
  • Multiplier 174_1 reads data indicating the nonlinear operation coefficient c 1 from the nonlinear operation coefficient storage unit 173.
  • the multiplier 174 ⁇ / b> _ ⁇ b> 1 multiplies the absolute value data r supplied from the absolute value calculation unit 171 by the operation coefficient c 1 and outputs data c 1 r obtained by the multiplication to the addition unit 175.
  • multiplier 174_2 reads the nonlinear operation coefficient C 2 from the nonlinear operation coefficient storage unit 173.
  • Multiplier 174_2 multiplies the nonlinear operation coefficient c 2 to the square data r 2 supplied from the multiplier 172_1, and outputs the data c 2 r 2 obtained by multiplying the addition unit 175.
  • the multiplier 174_q (where q is an integer from 3 to 7) reads out the non-linear operation coefficient c q from the non-linear operation coefficient storage unit 173.
  • the multiplier 174_q multiplies the q-th power data r q supplied from the multiplier 172_q ⁇ 1 by the nonlinear arithmetic coefficient c q and outputs the data c q r q obtained by the multiplication to the adder 175.
  • the code detection unit 176 detects the code of the image data W HL including the horizontal low frequency component supplied from the horizontal low pass filter unit 160.
  • the code detection unit 176 outputs data indicating ⁇ 1 to the multiplication unit 177 if the detected code is less than 0, and multiplies data indicating 1 if the detected code is 0 or more. To 177.
  • Multiplier 177 multiplies data indicating sum N supplied from adder 175 by data (data indicating -1 or data indicating 1) supplied from code detector 176, and data obtained by multiplication and outputs to the adder 24 as data N V to compensate for the high-frequency component of the vertical.
  • the first nonlinear operator operation N V sgn at 170 (W HL)
  • the multiplier of the power calculation unit 172 is only the multiplier 172_1, and the multipliers of the multiplier 174 are only two of the multiplier 174_1 and the multiplier 174_2.
  • the multiplier 172_1 and the multiplier 172_2 are used as the multipliers in the power operation unit 172, and only three multipliers 174_1, 174_2, and 174_3 are used as the multipliers in the multiplier 174.
  • the second nonlinear arithmetic unit 170_2 has the same circuit configuration as that of the first nonlinear arithmetic unit 170, and thus the description thereof is omitted.
  • FIG. 23 is a diagram illustrating an example of the signal intensity distribution of the output signal output from the first nonlinear arithmetic unit 170.
  • the first non-linearity is obtained when the frequency of the sine wave input signal input to the first non-linear operation unit 170 is swept from 0 [Hz] to fs / 4 [Hz] (fs is the sampling frequency).
  • the signal intensity distribution of the output signal output from the calculating part 170 is shown.
  • the vertical axis represents the frequency of the sine wave input signal input to the signal supplementing unit 23b
  • the horizontal axis represents the frequency of the output signal output from the signal supplementing unit 23b.
  • the brightness at each point indicates the signal intensity at the frequency of the output signal output from the signal supplementing unit 23b with respect to the frequency of the input signal.
  • the signal intensity at each point is an absolute value of a value obtained by performing FFT (Fast Fourier Transform) on the output signal.
  • the upper limit band of the input signal is indicated by an arrow A222.
  • the whitened portion is a frequency band including the signal output from the signal supplementing unit 23b.
  • the white portion includes a signal intensity distribution W221 of the input signal and a signal intensity distribution W223 of a third harmonic that is a third harmonic signal of the input signal. That is, the signal output from the signal supplementing unit 23b includes an input signal and a third harmonic signal of the input signal.
  • FIG. 23 further includes a high-frequency signal of 5 times or more, and the input signal and the odd-order harmonic signal of the third order or higher are folded at a frequency (fs / 2) that is a half of the sampling frequency. The signal is included.
  • FIG. 24 is a flowchart showing the flow of processing of the image processing unit 20b in the second embodiment in step S102 of FIG. Since the processing from step S301 to step S303 is the same as the processing from step S201 to step S203, the description thereof is omitted.
  • the vertical high-pass filter unit 150 passes the signal in the frequency region higher than the predetermined frequency in the vertical direction with respect to the scale-converted image data (step S304).
  • the vertical low-pass filter unit 150_2 passes a signal in a frequency region lower than a predetermined frequency in the vertical direction with respect to the image data after the scale conversion (step S305).
  • the horizontal low-pass filter unit 160 passes a signal in a frequency region lower than a predetermined frequency in the horizontal direction with respect to the signal output from the vertical high-pass filter unit 150 (step S306).
  • the horizontal high-pass filter unit 160_2 passes a signal in a frequency region higher than a predetermined frequency in the horizontal direction with respect to the signal output from the vertical low-pass filter unit 150_2 (step S307).
  • the first nonlinear calculation unit 170 performs nonlinear mapping on the signal output from the horizontal low-pass filter unit 160 (step S308).
  • the second nonlinear arithmetic unit 170_2 performs nonlinear mapping using the signal output from the horizontal high-pass filter unit 160_2 as an argument (step S309).
  • a data N V to compensate for the high-frequency component of the vertical output from the first nonlinear operator 170 to the scale-converted image data, horizontal high-frequency outputted from the second nonlinear operator 170_2 Data NH supplementing the component is added (step S310).
  • the process of the flowchart of FIG. 24 is complete
  • the image processing unit 20b extracts a horizontal high-frequency component from the scale-converted image data, and applies a nonlinear mapping to the extracted horizontal high-frequency component.
  • the image processing unit 20b extracts high-frequency components in the vertical direction from the scale-converted image data, and applies a nonlinear mapping to the extracted high-frequency components in the vertical direction. Then, the image processing unit 20b adds the signals obtained by performing the two nonlinear mappings to the image data after the scale conversion.
  • the image processing unit 20b can supplement the image data after the scale conversion with data based on the high frequency component in the horizontal direction and data based on the high frequency component in the vertical direction. Therefore, the signal can be supplemented to the frequency region where the signal hardly exists by the scale conversion. As a result, the image processing unit 20b can generate a fine image.
  • the vertical signal extraction unit 140 includes the vertical high-pass filter unit 150 and the horizontal low-pass filter unit 160 .
  • the vertical signal extraction unit 140 is not limited to this. It is sufficient that at least the vertical high-pass filter unit 150 is provided. Thereby, the vertical signal extraction unit 140 can extract data having a frequency component higher than a predetermined frequency in the vertical direction from the scale-converted image data.
  • the horizontal signal extraction unit 140_2 includes the vertical low-pass filter unit 150_2 and the horizontal high-pass filter unit 160_2 has been described.
  • the horizontal signal extraction unit 140_2 is not limited thereto. It is sufficient that at least the horizontal high-pass filter unit 160_2 is provided. Accordingly, the horizontal signal extraction unit 140_2 can extract data having a frequency component higher than a predetermined frequency in the horizontal direction from the scale-converted image data.
  • FIG. 25 is a block configuration diagram of the first non-linear operation unit 170b according to a modification of the second embodiment.
  • the first nonlinear arithmetic unit 170 b includes a nonlinear data storage unit 178 and a reading unit 179.
  • the non-linear data storage unit 178 are stored in association with the data N V supplement the address Ad and the high-frequency components in the vertical corresponding to the value of the image data W HL including a horizontal low-frequency component.
  • FIG. 26 is an example of a table stored in the non-linear data storage unit 178 in the modification of the second embodiment.
  • the table T2 in FIG. 26, becomes associated with the data N V supplement image data W HL values represented address Ad and the high-frequency component of the vertical three bits including a horizontal low-frequency component.
  • the value of the data N V is the square of the data W HL.
  • the address Ad is represented by 3 bits, when the data W HL is 0 address Ad is 000, the data N V at that time, a 0 is the square of the data W HL.
  • the data N V is 1 is the square of the data W HL.
  • the data N V is 4 is the square of the data W HL.
  • the data N V is 9 is the square of the data W HL.
  • the data N V is 16 is the square of the data W HL.
  • the data N V is 9 is the square of the data W HL.
  • the data N V is 4 is the square of the data W HL.
  • the data N V is 1 is the square of the data W HL.
  • the reading unit 179 uses a bit string in which the value of the image data WHL including the horizontal low-frequency component supplied from the horizontal low-pass filter unit 160 is represented by 3 bits as an address Ad. It reads data N V to compensate for high frequency components in the vertical associated with the address Ad from the non-linear data storage unit 178. Reading unit 179 outputs the data N V to compensate for the high-frequency component of the read vertical to the adder 24.
  • the first nonlinear operator 170b modification of the second embodiment reads the data N V to compensate for high frequency components in the vertical associated with the image data W HL including a horizontal low-frequency component.
  • non-linear operation unit 170b since it is possible to generate the data N V to compensate for high frequency components in the vertical, it is possible to reduce the calculation amount than the first nonlinear operator 170 of the second embodiment .
  • FIG. 27 is a schematic block diagram of a display device 1c according to the third embodiment.
  • symbol is attached
  • the image processing unit 20 is changed to an image processing unit 20c with respect to the configuration of the display device 1 in FIG.
  • FIG. 28 is a schematic block diagram of the image processing unit 20c in the third embodiment.
  • symbol is attached
  • the signal supplementing unit 23 is changed to a signal supplementing unit 23c with respect to the configuration of the image processing unit 20 in FIG.
  • the supplementary signal generating unit 30 is changed to a supplementary signal generating unit 230 with respect to the configuration of the signal supplementing unit 23 in FIG. 3.
  • FIG. 29 is a functional block diagram of the supplement signal generation unit 230 in the third embodiment.
  • the supplement signal generation unit 230 includes a signal extraction unit 240 and a non-linear operation unit 270.
  • the signal extraction unit 240 includes a two-dimensional high-pass filter unit 250 and a two-dimensional low-pass filter unit 260.
  • the two-dimensional high-pass filter unit 250 passes a signal having a frequency higher than the first predetermined frequency f1 in the two-dimensional direction from the scale-converted image data X supplied from the scaler unit 22, thereby generating a high-frequency component.
  • the image data U is generated, and the generated high-frequency component image data U is output to the two-dimensional low-pass filter unit 260.
  • the two-dimensional low-pass filter unit 260 has a second predetermined frequency f2 (where f2> f1) in the two-dimensional direction with respect to the high-frequency component image data U supplied from the two-dimensional high-pass filter unit 250. Pass lower frequency signals. As a result, the two-dimensional low-pass filter unit 260 generates image data W in a predetermined frequency band (f1 to f2), and outputs the generated image data W in the predetermined frequency band to the nonlinear arithmetic unit 270. Accordingly, the two-dimensional low-pass filter unit 260 limits the frequency band of the output signal to a signal up to a predetermined frequency. For this reason, the two-dimensional low-pass filter unit 260 can prevent the low-frequency region from being disturbed by aliasing in the generation of harmonics by the non-linear operation unit 270 later.
  • the non-linear operation unit 270 applies a non-linear mapping (with respect to image data W in a predetermined frequency band supplied from the two-dimensional low-pass filter unit 260 ( For example, mapping with an odd function is performed, and data N subjected to nonlinear mapping is output to the adding unit 24.
  • FIG. 30 is a functional block diagram of the two-dimensional high-pass filter unit 250 in the third embodiment.
  • the two-dimensional high-pass filter unit 250 includes a vertical pixel reference delay unit 251, a filter coefficient storage unit 252, a multiplication unit 253, and an addition unit 254.
  • the multiplication unit 253 includes 25 multipliers 253_ (v, h) up to multipliers 253 _ ( ⁇ 2, ⁇ 2),... 253_ (2, 2).
  • the vertical pixel reference delay unit 251 delays the scale-converted image data X supplied from the scaler unit 251 by a predetermined number of pixels, and multiplies the delayed data.
  • the image data P (0, 0) of the target pixel to be subjected to the two-dimensional high-pass filter is moved v rows vertically upward from the target pixel and h in the horizontal left direction. It is assumed that the image data P (v, h).
  • the delay amount given to the image data P (0, 0) of the target pixel is Dv ⁇ Ns-h.
  • the vertical pixel reference delay unit 251 gives a delay amount of Dv ⁇ Ns ⁇ h to each image data P (v, h) included in the scale-converted image data X, and uses the delayed image data.
  • Each is output to the multiplier 253_ (v, h) of the multiplier 253.
  • the filter storage unit 252 stores information indicating the filter coefficient a (v, h) (here, as an example, v is an integer from ⁇ 2 to 2, and h is an integer from ⁇ 2 to 2). .
  • the multiplier 253_ (v, h) reads information indicating the filter coefficient a (v, h) from the filter storage unit 252.
  • the multiplier 253_ (v, h) multiplies the data delayed from the predetermined number of pixels supplied from the two-dimensional high-pass filter unit 250 by the filter coefficient a (v, h), and adds the multiplied data to the adder 254. Output to.
  • the adding unit 254 adds the data supplied from each multiplier 253_ (v, h), and outputs the added image data to the two-dimensional low-pass filter unit 260 as the high-frequency component image data U.
  • the two-dimensional low-pass filter unit 260 has the same circuit configuration as the two-dimensional high-pass filter unit 250, and only the filter coefficients stored in the filter coefficient storage unit 252 are different. Omitted.
  • FIG. 31 is a flowchart showing the flow of processing of the image processing unit 20c in the third embodiment in step S102 of FIG. Since the process from step S401 to step S403 is the same as the process from step S201 to step S203, the description thereof is omitted.
  • the two-dimensional high-pass filter unit 250 passes the signal in the frequency region higher than the predetermined frequency f1 in the two-dimensional direction with respect to the scale-converted image data (step S404).
  • the two-dimensional low-pass filter unit 260 applies a second predetermined frequency f2 (however, f2) to the image data U of the high-frequency component supplied from the two-dimensional high-pass filter unit 250 in a two-dimensional direction. > F1)
  • a signal having a lower frequency is passed (step S405).
  • the nonlinear arithmetic unit 270 performs nonlinear mapping on the image data W in a predetermined frequency band supplied from the two-dimensional low-pass filter unit 260 (step S406).
  • the adding unit 24 adds the data N that has been subjected to the non-linear mapping supplied from the non-linear operation unit 270 to the scale-converted image data (step S407).
  • the process of the flowchart of FIG. 31 is complete
  • the image processing unit 20c extracts the high-frequency component in the two-dimensional direction from the scale-converted image data, and applies a nonlinear mapping to the extracted high-frequency component in the two-dimensional direction. . Then, the image processing unit 20c adds the signal obtained by performing the nonlinear mapping to the image data after the scale conversion.
  • the image processing unit 20c can supplement the image data after the scale conversion with data based on the high-frequency component in the two-dimensional direction. be able to. As a result, the image processing unit 20c can generate a fine image.
  • the signal extraction unit 240 includes the two-dimensional high-pass filter unit 250 and the two-dimensional low-pass filter unit 260.
  • the signal extraction unit 240 is not limited thereto, and the signal extraction unit 240 includes at least two.
  • a dimensional high-pass filter unit 250 may be provided. Thereby, the signal extraction unit 240 can extract data having a frequency component higher than a predetermined frequency on the two-dimensional plane from the scale-converted image data.
  • the display device (1, 1b, 1c) in each embodiment generates image after scale conversion in which the noise of the image is reduced and the image with reduced noise is scaled up. To do.
  • the display device (1, 1b, 1c) extracts a frequency band signal reduced by noise reduction in each pixel of the scale-converted image, and applies a nonlinear mapping to the extracted frequency band signal.
  • the display device (1, 1b, 1c) corrects the image after the noise reduction processing by adding the pixel value after the nonlinear mapping to the pixel value of the image after the scale conversion at the position of the pixel value. . Thereby, the display device (1, 1b, 1c) can compensate for the signal in a frequency band in which almost no signal exists, and can generate a fine image.
  • the image processing unit (20, 20b, 20c) has been described as a configuration including the scaler unit 22 in common with all the embodiments, but the scaler unit 22 is not provided when scale-up is not necessary. May be. In that case, the image processing unit (20, 20 b, 20 c) may supply the image data after noise reduction output from the noise reduction unit 21 to the signal supplementation unit 23.
  • the image processing unit (20, 20b, 20c) can supplement the image data after noise reduction with data based on the high frequency component included in the image data.
  • the high frequency component reduced by the above can be supplemented to the image data after noise reduction.
  • the image processing unit (20, 20b, 20c) can generate a fine image.
  • the signal supplementation unit (23, 23b, 23c) is a non-linear mapping (as an example of an odd function) for a signal in a predetermined frequency band among the input image signals.
  • mapping an example of an odd function
  • the signal supplementing unit (23, 23b, 23c) may generate a harmonic signal of a signal in a predetermined frequency band among the input image signals, and the generated harmonic signal may be supplemented to the image signal.
  • the image processing units (20, 20b, 20c) in all the embodiments have been described as being realized as a part of the display device (1, 1b, 1c). However, the image processing unit (20 20b, 20c) may be realized as an image processing apparatus.
  • a program for executing each process of the image processing unit (20, 20b, 20c) of each embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system.
  • the above-described various processes relating to the image processing units (20, 20b, 20c) may be performed by executing the above-described processes.
  • the “computer system” referred to here may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
  • the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc. that hold a program for a certain period of time.
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

 画像処理装置は、画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を、その画像信号に補う信号補充部を備える。

Description

画像処理装置、表示装置、画像処理方法および画像処理プログラム
 本発明は、画像処理装置、表示装置、画像処理方法および画像処理プログラムに関する。
 本願は、2011年4月27日に、日本に出願された特願2011-100157号に基づき優先権を主張し、その内容をここに援用する。
 画像入力機器(例えば、テレビジョン撮像装置)から映像をリアルタイムに取り込み、この取り込んだ映像を映像信号として伝送して受像機器で表示する際には、伝送路に雑音成分が混入し、受信機自体でも雑音成分が混入する。例えば、アナログ方式のテレビジョン放送では、受信する映像信号の信号レベルが低いとき、映像信号には雑音成分が顕著に混入する。また、録画されたアナログ方式の映像をデジタル化して伝送路を通して再放送する場合も同様であり、映像信号には雑音成分が顕著に混入する。
 特許文献1には、入力映像信号とメディアンフィルタの出力との大小関係を用いて、入力信号から垂直ブランキング期間の雑音成分の平滑値を減算したり、または加算したりすることにより、帯域内に残留する雑音成分を低減する雑音低減回路が記載されている。
特開平7-250264号公報 特開2010-198599号公報
 しかしながら、弱い映像信号に対して雑音低減処理を行うと、雑音低減が強く働くために原画像からの精細感は失われやすいという問題がある。さらに、雑音が低減された画像の画素数より多い画素数の画像にスケール変換(以下、「アップスケール処理」と称する)することによって、全体としてぼけた印象の画像が表示されてしまうという問題がある。
 一方、従来から、画像のボケを除去する方法が提案されている(例えば、特許文献2参照)。しかし、特許文献2の画像処理方法では、空間解像度が低い複数の低解像度画像を合成することによって基準画像を生成する。そのため、元画像の空間周波数以上の周波数帯域の信号を生成できず、精細感のある画像を得ることができないという問題がある。
 本発明は、上記問題に鑑みてなされたものであり、精細感のある画像を生成することを可能とする技術を提供することを課題とする。
 (1) 本発明は、前記事情に鑑みなされたもので、本発明の第1の態様による画像処理装置は、画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充部を備える。
 (2) なお、第1の態様において、前記信号補充部は、所定の周波数帯域の信号に非線形の写像を施すことにより、前記高調波信号を生成しても良い。
 (3) また、第1の態様において、前記非線形の写像は、奇関数による写像であっても良い。
 (4) また、第1の態様において、前記所定の周波数帯域は、前記画像信号のうち所定の周波数より高い周波数であっても良い。
 (5) また、第1の態様において、前記信号補充部は、前記画像信号のうち所定の周波数帯域の信号に対して非線形の写像を施す補充信号生成部と、前記補充信号生成部により非線形の写像が施された信号を、前記画像信号に加算する加算部と、を備えても良い。
 (6) また、第1の態様において、前記補充信号生成部は、前記画像信号に対して線形フィルタを掛けるフィルタ部と、前記フィルタ部による線形フィルタ後の信号に対して非線形の写像を施す非線形演算部と、を備え、前記加算部は、前記非線形演算部により非線形の写像を施された信号を、前記画像信号に加算しても良い。
 (7) また、第1の態様において、前記フィルタ部は、前記画像信号に対して、垂直方向に所定の周波数より高い周波数成分を通過させる垂直高域通過フィルタ部と、前記画像信号に対して水平方向に所定の周波数より高い周波数成分を通過させる水平高域通過フィルタ部と、を備え、前記非線形演算部は、前記垂直高域通過フィルタ部を通過した信号に対して非線形な写像を施した垂直の高周波数成分を補う信号を生成し、前記水平高域通過フィルタ部を通過した信号に対して非線形な写像を施した水平の高周波数成分を補う信号を生成し、前記加算部は、前記垂直の高周波数成分を補う信号と前記水平の高周波数成分を補う信号とを前記画像信号に加算しても良い。
 (8) また、第1の態様において、前記フィルタ部は、前記画像信号に対して、2次元方向に所定の周波数より高い周波数成分を通過させる2次元高域通過フィルタ部を備え、前記非線形演算部は、前記2次元高域通過フィルタ部を通過した信号に対して非線形な写像を施し、前記加算部は、前記非線形演算部により非線形な写像が施された信号を前記画像信号に加算しても良い。
 (9) また、第1の態様において、前記画像信号から得られる画素数より多い画素数の画像にスケール変換するスケーラー部を更に備え、前記信号補充部は、前記スケーラー部によるスケール変換後の画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記スケール変換後の画像信号に補っても良い。
 (10) また、第1の態様において、前記画像信号のノイズを低減するノイズ低減部を更に備え、前記信号補充部は、前記ノイズ低減部によるノイズ低減後の画像信号うち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記ノイズ低減後の画像信号に補っても良い。
 (11) 本発明の第2の態様による表示装置は、画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充部を備える画像処理装置を備える。
 (12) 本発明の第3の態様による画像処理方法は、画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う。
 (13) 本発明の第3の態様による画像処理プログラムは、コンピュータに、画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充ステップを実行させる。
 本発明によれば、精細感のある画像を生成することができる。
第1の実施形態における液晶表示装置の概略ブロック図である。 液晶駆動部15と液晶パネル16との信号の接続関係を示す図である。 第1の実施形態における画像処理部20の概略ブロック図である。 ノイズ低減部21とスケーラー部22の処理の概要を説明するための第1の図である。 ノイズ低減部21とスケーラー部22の処理の概要を説明するための第2の図である。 ノイズ低減部21とスケーラー部22の処理の概要を説明するための第3の図である。 ノイズ低減部21とスケーラー部22の処理の概要を説明するための第4の図である。 信号補充部23の処理を説明するための図である。 ノイズ低減部の概略ブロック図である。 信号補充部の処理について説明するための第1の図である。 信号補充部の処理について説明するための第2の図である。 補充信号生成部の概略ブロック図である。 非線形演算部において、偶関数と奇関数の非線形関数を通過させた場合において、それぞれ加算部24から出力される波形を比較した一例を示す図である。 信号補充部による効果を確認するための確認装置の機能ブロック図である。 図10の確認装置から出力される画像データAを画像として示す図である。 図10の確認装置から出力される画像データBを画像として示す図である。 図10の確認装置から出力される画像データCを画像として示す図である。 図10の確認装置から出力される画像データDを画像として示す図である。 図11A~図11Dの各画像の周波数領域の信号強度の分布を示す図である。 ノイズ低減処理後の画像のスペクトルからノイズ加算後の画像のスペクトルを減算したスペクトルの差分を示す図である。 第1の実施形態における表示装置1の処理の流れを示すフローチャートである。 図14のステップS102における画像処理部の処理の流れを示したフローチャートである。 第2の実施形態における液晶表示装置の概略ブロック図である。 第2の実施形態における画像処理部の概略ブロック図である。 第2の実施形態における補充信号生成部の機能ブロック図である。 第2の実施形態における垂直高域通過フィルタの機能ブロック図の一例である。 第2の実施形態における水平低域通過フィルタ部の機能ブロック図である。 垂直方向に7ラインまたは水平方向に7画素遅延させるときのフィルタの係数の設定例を示す表である。 第2の実施形態における第1の非線形演算部の機能ブロック図である。 第1の非線形演算部から出力される出力信号の信号強度分布の一例を示す図である。 図14のステップS102における第2の実施形態における画像処理部20bの処理の流れを示したフローチャートである。 第2の実施形態の変形例における第1の非線形演算部170bのブロック構成図である。 第2の実施形態の変形例における非線形データ記憶部に記憶されるテーブルの一例である。 第3の実施形態における表示装置の概略ブロック図である。 第3の実施形態における画像処理部の概略ブロック図である。 第3の実施形態における補充信号生成部の機能ブロック図である。 第3の実施形態における2次元高域通過フィルタ部250の機能ブロック図である。 図14のステップS102における第3の実施形態における画像処理部の処理の流れを示したフローチャートである。
 以下、本発明の実施形態について、図面を参照して詳細に説明する。
 <第1の実施形態>
 図1は、第1の実施形態に係る表示装置1の概略ブロック図である。
 図1において、表示装置1は、検波部11と、Y/C(輝度信号/色差信号)分離部12と、画像処理部20と、RGB(Red:赤、Green:緑、Blue:青)変換部14と、液晶駆動部15と、液晶パネル16とを備える。また、表示装置1はアンテナ10に接続される。
 検波部11は、一例として、外部のアンテナ10から供給される地上アナログテレビジョン放送の複数チャネルの画像データの高周波信号を受け取る。そして、検波部11は、アンテナから供給される高周波信号から希望のチャネルの変調信号を抽出し、抽出した変調信号をベースバンドの信号に変換し、Y/C分離部12へ出力する。
 Y/C分離部12は、供給されたベースバンドの信号を復調し、輝度信号Yと、色差信号Cbと色差信号Crとに分離し、分離したそれぞれの信号を、所定のサンプリング周波数でデジタル信号へ変換する。
 また、Y/C分離部12は、デジタル信号に変換した輝度データYと、色差データCbと色差データCrとを含む画像データを、画像処理部20へ出力する。
 続いて、画像処理部20の処理の概要について説明する。画像処理部20は、供給される輝度データY、色差データCb、色差データCrそれぞれを、同一フレーム(画素が配列された画素空間)内の画素間において比較し、処理対象画素にノイズが重畳しているか否かの判定を行う。
 また、画像処理部20は、フレーム単位あるいはフィールド単位で雑音レベルの算出を行う。画像処理部20は、ノイズが重畳していると判定された処理対象画素から、ブランキング区間から推定された雑音レベルを加減算することで、ノイズ低減の対象となる対象画素のノイズ低減の処理を行う。
 画像処理部20はノイズ低減処理後の輝度信号Y、色差信号Cb、色差信号Crそれぞれを所定の解像度になるようにスケールアップする。そして、画像処理部20はスケールアップ後の輝度信号Y、色差信号Cb、色差信号Crそれぞれに対して、非線形のフィルタを掛ける。そして、画像処理部20は、非線形のフィルタを掛けた後の輝度信号Y、色差信号Cb、色差信号Crを含む画像信号を画像形式変換部14へ出力する。
 この画像処理部20における各画素に対する処理の詳細については後述する。ここで、映像信号がインターレースである場合、フィールド毎にノイズ処理が行われる。一方、映像信号がノンインターレスである場合、フレーム毎にノイズ処理が行われる。
 画像形式変換部14は、画像処理部20から供給された画像信号に対し、その画像信号がインターレース信号であれば、それをプログレッシブ信号に変換する。また、画像形式変換部14は、プログレッシブ信号に対し、液晶パネル16の解像度に合わせて、画素数を調整(スケーリング処理)する。
 そして、画像形式変換部14は、画素数が調整された映像信号をRGB信号(Red、Green、Blueのカラービデオ信号)に変換し、変換したRGB信号を液晶駆動部15へ出力する。
 液晶駆動部15は、液晶パネル16に供給される映像データを、画面の2次元平面上に表示するためのクロック信号等を生成する。そして、液晶駆動部15は、液晶パネル16に対して生成したクロック信号を供給する。
 図2は、液晶駆動部15と液晶パネル16との信号の接続関係を示す図である。
 図2に示すように、液晶駆動部15は、ソースドライバ部15_1とゲートドライバ部15_2とを備える。液晶駆動部15は、液晶パネル16において、ソース線19とゲート線18との交差する点に配置された表示素子(液晶素子)PIX、すなわちマトリクス上に配列した液晶素子PIXの制御を行い、画像表示を行う。この液晶素子PIXは、TFT(Thin Film Transistor、薄膜トランジスタ)と、このTFTにより後述する階調度に対応した電圧が書き込まれる(電圧が印加される)ところの液晶の画素素子とから構成される。
 ソースドライバ部15_1は、供給されたRGB信号から画素素子駆動用に階調化した電圧を生成する。ソースドライバ部15_1は、その階調化した電圧(階調度の情報であるソース信号)を、液晶パネル16のソース線19(列方向の配線)ごとに、内部に設けられたホールド回路で保持する。
 また、ソースドライバ部15_1は、画面の縦方向の配列に対して、クロック信号に同期して、ソース信号を液晶パネル16の液晶素子PIXにおけるTFTのソース線19に供給する。
 ゲートドライバ部15_2は、液晶パネル16の液晶素子PIXにおけるTFTのゲート線18(横方向の配線、主走査に対応)を通じて画面の液晶素子PIXの1行分に対して、クロック信号に同期して、所定のゲート信号を供給する。
 液晶パネル16は、アレイ基板と対向基板と、その間に封入された液晶とを備える。アレイ基板上のソース線19とゲート線18との交点ごとに、液晶素子PIX、すなわちTFTとTFTのドレイン電極に接続される画素電極と対向電極(対向基板上のストリップ電極により構成される)からなる画素素子とが1組ずつ配置される。画素素子には、画素電極と対向電極との間に液晶が封入される。また、液晶パネル16は、画素ごとに、すなわち液晶素子PIX毎に3原色RGB(Red、Green、Blue)に対応する3つのサブ画素を有する。そして、液晶パネル16は、そのサブ画素毎に1つずつの前記TFTを有する。
 TFTは、ゲートドライバ部から供給されたゲート信号がゲート電極に供給され、ゲート信号が例えばハイレベルの時、選択されてオン状態となる。TFTのソース電極には、ソースドライバから供給されたソース信号が供給され、TFTがオン状態の場合、TFTのドレイン電極に接続される画素電極、すなわち画素素子に階調化された電圧が印加される。
 その階調化された電圧に応じて、画素素子の液晶の配向が変化し、これによって画素素子の領域における液晶の光の透過度が変化する。その階調化された電圧がTFTのドレイン電極に接続される画素電極と対向電極との間の液晶部分により構成された画素素子の液晶容量(ホールド回路を構成するもの)に保持され、液晶の配向が維持される。次の信号がソース電極に供給され、階調化された電圧により、維持された電圧値が変更されるまで、液晶の配向が維持されるので、液晶の光の透過度がその間維持される。
 以上説明したようにして、液晶パネル16は、供給された映像データを階調表示する。
 なお、ここでは透過型の液晶パネルについて説明したが、これに限らず反射型の液晶パネルを用いてもよい。
 図3は、第1の実施形態における画像処理部20の概略ブロック図である。画像処理部20は、ノイズ低減部21と、スケーラー部22と、信号補充部23とを備える。
 ノイズ低減部21は、ラスタースキャンされた画像信号が1サンプルずつ送られた画像データをY/C分離部12から受信し、その画像データのノイズを低減する。ノイズ低減部21は、ノイズが低減された後の画像データをスケーラー部22に出力する。ノイズ低減部21の処理の詳細は後述する。
 スケーラー部22は、ノイズ低減部21によりノイズが低減された後の画像データから得られる画素数より多い画素数の画像に、インターポーレートする。このインターポーレートは、画素値が存在するサンプルの間を0の画素で補間することによって行われる。そして、スケーラー部22は、インターポーレートされた画像データに所定のカットオフ周波数をもつローパスフィルタによるフィルタリングを施す。スケーラー部22は、このフィルタリング後のデータをスケール変換後の画像データとして信号補充部23に出力する。
 信号補充部23は、スケール変換後の画像データのうち所定の周波数帯域の信号に対して写像を施したデータを、スケール変換後の画像データに対して補う。ここで、信号補充部23は、補充信号生成部30と、加算部24とを備える。
 補充信号生成部30は、スケーラー部22から供給されたスケール変換後の画像データのうち所定の周波数帯域の信号の高調波信号(例えば、奇数次高調波信号)を生成する。
 具体的には、例えば、補充信号生成部30は、スケール変換後の画像データのうち所定の周波数帯域の信号に対して、奇関数の写像を施したデータを生成する。
 スケール変換後の画像データのうち所定の周波数帯域の信号X_1をすると、奇関数の写像の一例は、sgn(X_1)×(X_1)である。ここで、sgn(X_1)は、引数X_1の符号を返す関数である。補充信号生成部30は、sgn(X_1)×(X_1)を算出するのに、所定の周波数帯域の信号X_1同士を乗算し、乗算後の信号に、元の所定の周波数帯域の信号の符号を乗じることにより、奇関数の写像を施したデータを生成する。
 ここで、奇関数とは、f(x)=-f(-x)の性質をもつ関数であり、たとえば、f(x)=sin(ωx)を与えたとき、その奇関数による写像の結果は、ωの1倍、3倍、5倍、・・・2n+1(nは0以上の整数)倍の奇数次高調波を含むという性質を持つ。
 加算部24は、上述の写像を施したデータを、スケーラー部22から供給されたスケール変換後の画像データに加算する。加算部24は、加算後の画像データを画像形式変換部14に出力する。
 なお、第1の実施形態では、信号補充部23は、スケーラー部によりスケール変換後の画像データに対して信号を補充する場合について説明した。しかし、これに限らず、信号補充部23は、ノイズ低減部21によるノイズ低減後の画像データのうち所定の周波数帯域の信号に対して写像を施した信号を、ノイズ低減後の画像データに対して補ってもよい。
 その場合、補充信号生成部30は、ノイズ低減部21によるノイズ低減後の画像信号のうち所定の周波数帯域の信号に対して奇関数の写像を施し、奇関数の写像が施された信号を生成する。また、加算部24は、生成された奇関数の写像が施された信号を、ノイズ低減後の画像信号に加算する。
 画像処理部20の処理について図4A~図4Dと図5を用いて説明する。図4A~図4Dは、ノイズ低減部21とスケーラー部22の処理の概要を説明するための図である。図4A~図4Dにおいて、画像データにおける輝度成分と空間周波数との関係が示されている。図4Aでは、ノイズ低減部21によるノイズ低減前の信号成分Wsとノイズ成分Wnとを示している。
 図4Bのグラフでは、図4Aのグラフに示されている信号成分Wsとノイズ成分Wnとを含む信号に対して、ノイズ低減部21によりノイズ低減を行うことによって得られたノイズ低減後の信号成分Ws2と、ノイズ低減後のノイズ成分Wn2とを示している。ノイズ低減後のノイズ成分Wn2に着目すると、ノイズ低減部21によるノイズ低減により、ローパスフィルタのカットオフ周波数fcより低い周波数に分布するノイズ成分が除去され、ナイキスト周波数領域付近(fo/2)にノイズ成分が残ることが示されている。また、信号成分Ws2に着目すると、ノイズ低減部21によるノイズ低減によって、ノイズ成分と共に、信号成分についても僅かに高周波帯域の輝度成分が失われることが示されている。
 図4Cのグラフでは、図4Bのグラフに示されているノイズ低減後の信号成分Ws2とノイズ低減後のノイズ成分Wn2とを含む信号に対して、スケーラー部22による補間により得られた補間後のノイズ低減後の信号成分Ws3と、補間後のノイズ低減後のノイズ成分Wn3とを示している。
 図4Cのグラフに示されるように、スケーラー部22は、画素の補間により、アップスケール前の帯域fo/2を、アップスケール後の帯域fu/2に拡張する。
 図4Dのグラフでは、図4Cのグラフに示されている補間前のノイズ低減後の信号成分Ws3と補間後のノイズ低減後の信号成分Ws3とを含む信号に対して、スケーラー部22によってカットオフ周波数(fo/2)のローパスフィルタが施されることにより得られたローパスフィルタ後の信号成分Ws4と、ローパスフィルタ後のノイズ成分Wn4とを示している。
 また、図4Dのグラフでは、カットオフ周波数(fo/2)のローパスフィルタにより信号成分がほとんど存在しない領域R1を示している。
 図4Dに示されるように、スケーラー部22は、カットオフ周波数(fo/2)のローパスフィルタ(LPF)によって、アップスケール後の折り返し成分を低減する。
 図5は、信号補充部23の処理を説明するための図である。図5では、ローパスフィルタ後の信号成分Ws4と、ローパスフィルタ後のノイズ成分Wn4を含む信号に対して、信号補充部23によって信号が補充された後の信号成分Ws5を示している。
 信号補充部23は、ローパスフィルタ後の信号成分Ws4のうち空間周波数fo/2以下の信号成分の中の高周波数領域R2の信号を抽出し、抽出した高周波数領域R2の信号に非線形関数を通過させる。これにより、信号補充部23は、信号成分のほとんど存在しない空間周波数fo/2より高い空間周波数において、ローパスフィルタ後の信号成分Ws4に信号を補い、補充された後の信号成分Ws5を生成する。
 続いて、ノイズ低減部21の処理の詳細について図6を用いて説明する。図6は、ノイズ低減部21の概略ブロック図である。ノイズ低減部21は、遅延部21_1と、信号選択部21_2と、電圧比較部21_3と、雑音レベル検出部21_4と、信号出力部21_5とを備える。
 以下、ノイズ低減部21の各部の処理について説明する。以下、一例として、ノイズ低減部21が輝度データにノイズ低減する処理について説明するが、色差データCbおよび色差データCrについて、輝度データと並列に同様の処理を行ってもよい。
 遅延部21_1は、Y/C分離部12から供給された画像信号を、信号選択部21_2から対象画素と比較する画素(以下、比較画素と称する)の画素データが出力されるタイミングとあわせるよう、対象画素の画素データを所定の時間遅らせる。遅延部21_1は、対象画素の画素データを電圧比較部21_3と、信号出力部21_5とへ出力する。
 信号選択部21_2は、ラスタースキャンで送信された画像信号を順次1画素分のデータずつシフトし、シフト量0からシフト量(S1+S2)までの画素データを保存する。
 ここで、シフト量0の画素を左の画素、シフト量S1だけシフトされた画素を対象画素、シフト量(S1+S2)だけシフトされた画素を右の画素と称する。
 信号選択部21_2は、左の画素と対象画素と右の画素とを比較し、この3つの画素のうちで中間の画素値を示す画素データSoutを電圧比較部21_3に出力する。
 電圧比較部21_3は、遅延部21_1から供給された対象画素の画像データDoutと、信号選択部21_2から供給された中間の画素値を示す画素データSoutとを比較する。
 電圧比較部21_3は、対象画素の画像データDoutが中間の画素値を示す画素データSoutより大きければ比較演算子Coutを1とし、同じであれば比較演算子Coutを0とし、小さければ比較演算子Coutを-1とする。
 そして、電圧比較部21_3は、比較演算子Coutの値を示す情報を信号出力部21_5に出力する。
 なお、遅延部21_1を省略し、電圧比較部21_3は、信号選択部21_2により抽出された対象画素の画素値をそのまま利用して、比較演算子Coutを算出してもよい。
 雑音レベル検出部21_4は、ブランキング区間の画像データに基づいて、雑音レベルを推定する。具体的には、例えば、雑音レベル検出部21_4は、ブランキング区間の画像データに含まれる輝度データYの平均値を算出し、算出した平均値を示す情報を雑音レベルLとして信号出力部21_5に出力する。
 信号出力部21_5は、遅延部21_1から供給された対象画素の画素データDoutと、雑音レベル検出部21_4から供給された比較演算子Coutの値を示す情報と、雑音レベル検出部から供給された雑音レベルLを受け取る。そして、信号出力部21_5は、対象画素の画素データに以下の処理を行う。
 信号出力部21_5は、画素データDoutから雑音レベルLを減算した減算後の画像データを生成する。また、信号出力部21_5は、画素データDoutから雑音レベルLを加算した加算後の画像データを生成する。
 信号出力部21_5は、比較演算子Coutの値が1の場合、減算後の画像データをスケーラー部22に出力する。信号出力部21_5は、Coutの値が0の場合、画素データDoutをそのままスケーラー部22に出力する。信号出力部21_5は、Coutの値が-1の場合、加算後の画像データをスケーラー部22に出力する。
 図7A及び図7Bは、信号出力部21_5の処理について説明するための図である。図7Aのグラフでは、画素値(輝度データY、色差データCb、色差データCr)と水平方向の画素位置との関係の一例を示している。また、図7Bのグラフでは、図7Aにおける画素値からノイズが低減された後の画素値(輝度データY、色差データCb、色差データCr)と水平方向の画素位置との関係の一例を示している。
 図7A及び図7Bにおいて、各丸は、Y/C分離部12から供給された各画素の画素値である。真の画素値W1はテレビ塔から無線送信される前の元々の画像の画素値である。図7Aのグラフに示されているように、無線送信中に雑音成分が混入することにより、Y/C分離部12から供給された各画素値は、真の画素値W1からずれることがある。
 図7Bでは、対象画素(T1、T2、T3)の画素値からノイズが低減された後の対象画素(T1a、T2a、T3a)の画素値を示している。ここで、対象画素(T1、T2、T3)から左方向にS1サンプル離れた画素と、右方向にS2サンプル離れた画素とをそれぞれの比較画素とする。
 対象画素T1は、2つの比較画素よりも大きいので、信号出力部21_5は、対象画素の画素値から雑音レベルL1を減算し、減算した画素値をノイズ低減後の対象画素T1aの画素値とする。
 また、対象画素T2は、2つの比較画素よりも小さいので、信号出力部21_5は、対象画素の画素値から雑音レベルL1を加算し、加算した画素値ノイズ低減後の対象画素T2aの画素値を出力する。
 同様に、対象画素T3は、2つの比較画素よりも大きいので、信号出力部21_5は、対象画素の画素値から雑音レベルL1を減算し、減算した画素値をノイズ低減後の対象画素T3aの画素値とする。
 続いて、図8を用いて補充信号生成部30の処理について説明する。図8は、補充信号生成部30の概略ブロック図である。
 補充信号生成部30は、1つ以上の非線形写像部を備える。具体的には、補充信号生成部30は、非線形写像部30_1、30_2、…、30_M(Mは正の整数)から構成されるM個の非線形写像部30_i(iは1からMまでの整数)を備える。
 非線形写像部30_1~30_Mを複数用意することで、フィルタ部によって周波数帯域を選択し、それぞれの周波数帯域に適した非線形演算を行う。たとえば、非線形写像部30_1のフィルタ部40_1は、0.2×fo/2の周波数を中心にするように帯域を選択し、X^5の非線形演算を行う。さらに、非線形写像部30_2のフィルタ部40_2は、0.3×fo/2の周波数を中心にするように帯域を選択し、X^3の非線形演算を行う。これにより、周波数帯域に応じて、所定の非線形写像を実現することができる。
 各非線形写像部30_iは、スケーラー部22から供給されたスケール変換後の画像データに対して、スケール変換後の画像データに補うための高周波数成分の元となる信号を抽出する。具体的には、例えば、各非線形写像部30_iは、画像データから所定の周波数以上の高周波数成分を抽出する。
 ここで、高周波数成分は、画像中の画像領域(オブジェクト)の輪郭や、人物の目のオブジェクトの細かいテクスチャーなどに相当する。
 各非線形写像部30_iは、抽出した高周波数成分に対して非線形の演算を施す。各非線形写像部30_iは、非線形の演算を施した後の信号を加算部24に出力する。
 ここで、各非線形写像部30_iは、フィルタ部40_iと、非線形演算部70_iとを備える。各フィルタ部40_iは、線形フィルタ部50_i、1、…、50_i、N(Nは正の整数)から構成されるN個の線形フィルタ部50_i、j(iは1からMまでの整数、jは1からNまで整数)を備える。
 各フィルタ部40_iは、1つ以上の高域通過フィルタを備える。すなわち、各フィルタ部40_iが備えるN個の線形フィルタ部50_i、j(jは1からNまで整数)のうち1つ以上は高域通過フィルタである。
 各フィルタ部40_iは、各フィルタ部40_iが備えるN個の線形フィルタ部50_i、jにより、画像データのうち、所定の1次元方向に対してまたは2次元方向に対して、所定の周波数よりも高い周波数を有する信号を通過させる。これにより、スケール変換後の画像データに補う高周波数成分の元となる信号を抽出する。各フィルタ部40_iは、抽出した高周波数成分の元となる信号を非線形演算部70_iに出力する。
 なお、第1の実施形態では、各フィルタ部40_iは、線形フィルタ部50_i、jのみを備えるとしたが、これに限らず、非線形フィルタを備えていてもよい。
 各非線形演算部70_iは、各フィルタ部40_iから抽出された高周波数成分の元となる信号に基づいて、高周波数成分の元となる信号よりも高い周波数成分の信号を生成する。具体的には、例えば、各非線形演算部70_iは、ある時間内に抽出された高周波数成分の元となる信号に対して、奇関数の写像を施す。各非線形演算部70_iは、奇関数の写像が施された画像データを加算部24に出力する。
 一般に、非線形関数は偶関数と奇関数の和で表される。f(x)=-f(-x)の関係があるものを奇関数と呼び、f(x)=f(-x)の関係があるものを偶関数と呼ぶ。ここで、偶関数ではなく、奇関数を用いることの理由について説明する。
 図9は、非線形演算部において、偶関数と奇関数の非線形関数を通過させた場合において、それぞれ加算部24から出力される波形を比較した一例を示す図である。図9では、スケーラー部22から供給される原信号の一例として、ステップ状の変化を有する原信号の波形w91を示している。更に、図9では、ステップ状の変化を有する原信号w91に対して、フィルタ部40_iによるハイパスフィルタを通過させた後の信号の波形w92を示している。
 図9では、更に、ハイパスフィルタを通過させた後の信号に対して、偶関数の非線形関数を通過させた後の信号の波形w93と、ハイパスフィルタを通過させた後の信号に対して、奇関数の非線形関数を通過させた後の信号の波形w94とを示している。更に、図9では、原信号と偶関数の非線形関数を通過させた後の信号とが加算された信号の波形w95と、原信号と奇関数の非線形関数を通過させた後の信号とが加算された信号の波形w96とを示している。
 図9の例において、ハイパスフィルタを通過させた後の信号は、正の値と負の値をもつ数値となっている。ハイパスフィルタを通過させた後の信号に対して、非線形演算部70_iにより偶関数を施された場合、入力が正の場合には出力が正となり、入力が負の場合には出力が正となり、常に正の値が出力される。したがって、偶関数の非線形関数を通過させた後の信号を原信号に加算された場合、加算後の信号は、画素値が高い値をとるところの画像内の輪郭(エッジ)は強調されているものの、画素値が低い値をとるところではエッジがなまってしまう。
 一方、ハイパスフィルタを通過させた後の信号に対して、非線形演算部70_iにより奇関数を施された場合、入力が正の場合には出力が正となり、入力が負の場合には出力が負となる。すなわち、奇関数の非線形関数を通過させた後の信号の各点における符号は、各点に対応するハイパスフィルタを通過させた後の信号の各点における符号と同一となる。したがって、奇関数の非線形関数を通過させた後の信号を原信号に加算された場合、画素値が高い値をとるところも、画素値が低い値をとるところも両方エッジが強調される。よって、信号補充部23は、良好なエッジ強調を実現することができる。このことに鑑みると、非線形演算部70_iは、奇関数を用いることが望ましい。
 これにより、各非線形演算部70_iは、奇関数の写像が施された画像データを生成することにより、高周波数成分の元となる信号の奇数次高調波を発生させることができる。
 加算部24が、この奇関数の写像が施された画像データをスケーラー部22から供給されたスケール変換後の画像データに加算することにより、信号がほとんど存在しない高周波帯域に、上述のようにして発生させた信号を補うことができる。
 また、奇関数による写像を用いることにより、加算部24が、この奇関数で写像された画像データをスケール変換後の画像データに加算しても、スケール変換後の画像データの直流成分(平均輝度)に影響を及ぼしにくいという利点がある。
 第1の実施形態における各非線形演算部70_iは、奇関数による写像が直流成分(平均輝度)に影響を及ぼしにくいという利点があるため、奇関数による写像を用いたが、これに限ったものではない。各非線形演算部70_iは、偶関数による写像を用いてもよい。その場合、各非線形演算部70_iは、偶関数による写像により生成された直流成分を除去するために、偶関数による写像をした後に、直流成分を除去するフィルタを施せばよい。
 続いて、図10および図11A~図11Dを用いて信号補充部23の処理による効果について説明する。図10は、信号補充部23による効果を確認するための確認装置80の機能ブロック図である。確認装置80は、画像処理部20と、第1のスケーラー部81と、第2のスケーラー部82と、加算部83とを備える。
 第1のスケーラー部81は、外部から入力されたノイズが含まれない原画像データをアップスケールして、アップスケール後の原画像データAを確認装置80の外部に出力する。
 加算部83は、外部から入力されたノイズが含まれない原画像データD1に、外部から入力されたノイズN1を加算し、ノイズ加算後の画像データを画像処理部20のノイズ低減部21と、第2のスケーラー部82に出力する。これにより、加算部83は、ノイズが含まれない原画像データD1に対して、人工的にノイズN1を付加した画像データを生成することができる。なお、ノイズ低減部21は、図6に示すノイズ低減部21と同じものである。
 第2のスケーラー部82は、ノイズ加算後の画像データをアップスケールして、アップスケール後のノイズ画像データBを確認装置80の外部に出力する。
 ノイズ低減部21は、ノイズ加算後の画像データに対してノイズ低減処理を施す。スケーラー部22は、ノイズ低減部21によるノイズ低減後の画像データをアップスケールし、アップスケール後の画像データにローパスフィルタを施す。スケーラー部22は、ローパスフィルタ後の画像データをノイズ低減処理後の画像データCとして信号選択部23と、確認装置80の外部とに出力する。
 信号補充部23の補充信号生成部30は、ノイズ低減処理後の画像データCに対して、非線形の写像を施すことにより写像を施したデータを生成する。加算部24は、ノイズ低減処理後の画像データCに写像を施したデータを加算し、信号補充後の画像データDとして確認装置80の外部に出力する。
 図11A~図11Dは、図10の確認装置80から出力される画像データA~Dを、それぞれ画像として示す図である。図11A~図11Dでは、画像データAに相当するアップスケール後の原画像81(図11A)と、画像データBに相当するアップスケール後のノイズ画像82(図11B)と、画像データCに相当するノイズ低減処理後の画像83(図11C)と、画像データDに相当する信号補充後の画像84(図11D)とを示している。
 アップスケール後のノイズ画像82(図11B)は、アップスケール後の原画像81(図11A)と比べて、ノイズが重畳している。
 また、ノイズ低減処理後の画像83(図11C)は、アップスケール後のノイズ画像82(図11B)と比べてノイズが除去されているが、アップスケール後の原画像81(図11A)と比べた場合、精細感が損なわれている。
 一方、信号補充後の画像84(図11D)は、目の力強さ、髪や唇のつや感、肌と背景の輪郭部が、ノイズ低減処理後の画像83(図11C)よりもはっきりしており、精細感が得られているのが分かる。
 このように、信号補充部23が、スケール変換後の画像データから抽出された所定の周波数よりも高い周波数成分を有する信号に非線形写像を施したデータを、スケール変換後の画像データの画像データに補充することにより、精細感のある画像を生成することができる。
 図12は、図11A~図11Dの各画像の周波数領域の信号強度の分布を示したものである。図12に示すスペクトル81b、82b、83b、84bにおいて、中心部が直流成分、周辺に向かうほど高い周波数成分を表している。また、色が白くなるほど、その周波数成分の信号強度が強いことを示している。縦軸は、画像の水平方向の周波数Fxを示し、横軸は、画像の垂直方向の周波数Fyを示している。
 周波数領域の信号強度S(Fx、Fy)は、各画像データをフーリエ変換した場合において、水平方向の周波数成分がFxで、かつ、垂直方向の周波数成分がFyである信号成分について、その実数成分の2乗と虚数成分の2乗の和である。
 これにより、図12のスペクトル81b、82b、83b、84bの斜め方向において、斜め方向における各周波数成分の信号強度が示される。
 ここで、その周波数領域の信号強度(スペクトル)の分布において、分布の中心を原点とする。水平方向の正負は、水平方向にフーリエ変換した値の虚数成分の正負により定まる。垂直方向の正負は、垂直方向にフーリエ変換した値の虚数成分の正負により定まる。
 図12において、スケールアップされた原画像のスペクトル81bと、ノイズ加算後の画像のスペクトル82bと、ノイズ低減処理後の画像のスペクトル83bと、信号補充後の画像のスペクトル84bとが示されている。
 矢印A85で示されるように、信号補充後の画像のスペクトル84bは、ノイズ低減処理後の画像のスペクトル83bと比べて高周波数領域の信号強度が強くなっていることが示されている。このことから、信号補充部23により、ノイズ低減処理後の画像データCに高周波数領域の信号が補充されていることが分かる。
 図13は、ノイズ低減処理後の画像のスペクトルからノイズ加算後の画像のスペクトルを減算したスペクトルの差分を示す図である。図13では、ノイズ低減処理後の画像のスペクトル83bと、ノイズ加算後の画像のスペクトル82bと、ノイズ低減処理後の画像のスペクトルからノイズ加算後の画像のスペクトルを減算することにより得られたスペクトルの差分86とを示している。
 スペクトルの差分86において、灰色の部分は差分がないことを示し、黒色の部分は周波数成分が減少していることを示し、白色の部分は周波数成分が増加していることを示している。スペクトルの差分86において、小さな円C87と大きな円C88とで囲まれたドーナツ状の領域において、黒色が多くなっている。このことから、ノイズ低減処理後の画像83では、ノイズ加算後の画像82よりも高い周波数成分が減少していることが分かる。これは、ノイズ低減処理後の画像83が、ノイズ加算後の画像82に比べて見た目に精細感が失われている1つの原因は、所定の周波数よりも高い周波数領域の信号が減少していることにあることを意味している。
 次に、図14に示すフローチャートを用い、表示装置1全体の動作について説明する。
 図14は、第1の実施形態における表示装置1(図1)の処理の流れを示すフローチャートである。
 検波部11は、アンテナから受信された放送波の信号が供給され、供給された信号をY/C分離部12へ出力する。そして、Y/C分離部12は、検波部11から供給された信号を復調し、Y/C分離を行った後、A/D変換を行い、A/D変換後の画像データ(輝度データY、色差データCb、色差データCr)を画像処理部20へ出力する(ステップS101)。
 次に、画像処理部20は、Y/C分離部12から供給される画像データに対して、所定の画像処理を施す(ステップS102)。次に、画像形式変換部14は、画像処理を施された画像信号から、I(Interlace)/P(Progressive)変換(インターレース方式の映像装置向けに作成された映像を、プログレッシブ方式での表示に適した映像へと変換)する。そして、画像形式変換部14は、I/P変換された画像信号をRGB信号(赤、緑及び青の各々の階調度データ)に変換する(ステップS103)。
 次に、液晶駆動部15は、供給されるRGB信号を、液晶パネル16におけるマトリクス状に配置された液晶素子PIXに書き込むためのクロック信号を生成する(ステップS104)。
 次に、液晶駆動部15は、RGB信号における階調度データを、液晶駆動を行う階調化された電圧に変換する(ステップS105)。
 そして、液晶駆動部15は、液晶パネル16におけるソース線毎に、その階調化された電圧を、内部のホールド回路により保持する。
 次に、液晶駆動部15は、生成したクロック信号に同期し、所定の電圧を液晶パネル16におけるゲート線のいずれかに供給し、液晶素子のTFTのゲート電極に所定の電圧を印加する(ステップS106)。
 次に、液晶駆動部15は、生成したクロック信号に同期し、液晶パネル16におけるソース線毎に保持した、階調化された電圧を供給する(ステップS107)。
 上述した処理により、各ゲート線が選択されている時間内に、階調化された電圧がソース線に順次供給され、表示に必要な階調化された電圧(階調度のデータ)が、オン状態にあるTFTのドレインに接続された画素素子に書き込まれる。これにより、画素素子は、印加された階調化された電圧に応じて、内部の液晶の配向が制御されて透過率が変更される。この結果、液晶パネル16には、検波部11が受信した映像信号が表示される(ステップS108)。以上で、図14に示すフローチャートの処理は終了する。
 図15は、図14のステップS102における画像処理部20の処理の詳細を示すフローチャートである。まず、ノイズ低減部21は、Y/C分離部12から入力された画像データのノイズを低減する(ステップS201)。次に、スケーラー部22は、ノイズ低減後の画像データをスケールアップする(ステップS202)。次に、スケーラー部22は、スケールアップ後の画像データに対してローパスフィルタを掛ける(ステップS203)。
 次に、jが1のとき、各フィルタ部40_i(iは1からMまでの整数)は、ローパスフィルタ後の画像データに対して、並列に線形フィルタ部50_1,1から50_M,1までのM個の線形フィルタを掛ける。以降、jを1ずつ増やしながら、jがNになるまで、各フィルタ部40_i(iは1からMまでの整数)は、直前の線形フィルタ部50_i,j-1後の画像データに対して、並列にそれぞれ対応する線形フィルタを掛ける(ステップS204)。
 次に、非線形演算部270_i(iは1からMまでの整数)は、それぞれ各フィルタ部40_iから出力された線形フィルタ後の画像データに対して、非線形関数を通過させる(ステップS205)。次に、加算部24は、スケーラー部22から供給されたローパスフィルタ後の画像データに、非線形関数を通過させた後の画像データを加算する(ステップS206)。以上で、図15に示すフローチャートの処理は終了する。
 以上、第1の実施形態の画像処理部20は、フィルタ部40_iがスケーラー部22によるローパスフィルタ後の画像データに含まれる所定の周波数領域のデータを抽出する。そして、非線形演算部270_iは、抽出したデータに対して非線形関数を通過させ、加算部24が、ローパスフィルタ後の画像データに非線形関数を通過させたデータを加算する。
 これにより、画像処理部20は、画像データを含む周波数成分よりも高い周波数成分の信号が、その画像データに加算されるので、精細感のある画像を得ることができる。
 <第2の実施形態>
 図16は、第2の実施形態における表示装置1bの概略ブロック図である。なお、図1の第1の実施形態における表示装置1と共通する要素には同一の符号を付し、その具体的な説明を省略する。図16の表示装置1bの構成は、図1の表示装置1の構成に対して、画像処理部20が、画像処理部20bに変更されている。
 続いて、画像処理部20bについて説明する。図17は、画像処理部20bの概略ブロック図である。なお、図3の第1の実施形態における画像処理部20と共通する要素には同一の符号を付し、その具体的な説明を省略する。
 図17の画像処理部20bの構成は、図3の画像処理部20の構成に対して、信号補充部23が信号補充部23bに変更されている。信号補充部23bの構成は、図3の信号補充部23の構成に対して、補充信号生成部30が補充信号生成部130に変更されている。
 続いて、補充信号生成部130について図18を用いて説明する。図18は、第2の実施形態における補充信号生成部130の機能ブロック図である。補充信号生成部130は、垂直非線形写像部130_1と、水平非線形写像部130_2とを備える。
 垂直非線形写像部130_1は、垂直信号抽出部140と、第1の非線形演算部170とを備える。ここで、垂直信号抽出部140は、垂直高域通過フィルタ部150と、水平低域通過フィルタ部160とを備える。
 垂直高域通過フィルタ部150は、スケーラー部22から供給されたスケール変換後の画像データX内の垂直の高周波数成分を抽出して、抽出された垂直の高周波数成分を含む画像データUVHを水平低域通過フィルタ部160に出力する。
 水平低域通過フィルタ部160は、垂直高域通過フィルタ部150から供給された垂直の高周波数成分の画像データUVH内の水平の低周波数成分を抽出して、抽出された水平の低周波数成分を含む画像データWHLを第1の非線形演算部170に出力する。
 第1の非線形演算部170は、水平低域通過フィルタ部160から供給された水平の低周波数成分を含む画像データWHLの信号に対して非線形の写像を行う。これにより、スケール変換後の画像データXの失われた垂直の高周波数成分を補うデータNを生成し、生成した垂直の高周波数成分を補うデータNを加算部24に出力する。
 なお、第2の実施形態において、垂直高域通過フィルタ部150の処理を水平低域通過フィルタ部160の処理を先にした。しかし、これに限らず、垂直高域通過フィルタ部150と水平低域通過フィルタ部160は線形フィルタのため、原理的には、どちらの処理を先に配置してもよい。
 続いて、水平非線形写像部130_2の処理について説明する。水平非線形写像部130_2は、水平信号抽出部140_2と、第2の非線形演算部170_2とを備える。ここで、水平信号抽出部140_2は、垂直低域通過フィルタ部150_2と、水平高域通過フィルタ部160_2とを備える。
 垂直低域通過フィルタ部150_2は、スケール変換後の画像データX内の垂直の低周波数成分を抽出し、抽出された垂直の低周波数成分を含む画像データUVLを水平高域通過フィルタ部160_2に出力する
 水平高域通過フィルタ部160_2は、垂直低域通過フィルタ部150_2から供給された垂直の低周波数成分を含む画像データUVL内の水平の高周波数成分を抽出して、抽出された水平の高周波数成分を含む画像データWHHを第2の非線形演算部170_2に出力する。
 なお、第2の実施形態では、垂直低域通過フィルタ部150_2の処理の後に、水平高域通過フィルタ部160_2で処理した。しかし、これに限らず、垂直低域通過フィルタ部150_2と水平高域通過フィルタ部160_2は線形フィルタのため、原理的には、どちらの処理を先に配置してもよい。
 第2の非線形演算部170_2は、水平高域通過フィルタ部160_2から供給された水平の高周波数成分を含む画像データWHHの信号に対して非線形の写像を行う。これにより、スケール変換後の画像データXの失われた水平の高周波数成分を補うデータNを生成し、生成した水平の高周波数成分を補うデータNを加算部24に出力する。
 加算部24は、スケール変換後の画像データXと、第1の非線形演算部170から供給された垂直の高周波数成分を補うデータNと、第2の非線形演算部170_2から供給された水平の高周波数成分を補うデータNとを加算し、加算により得られた画像データを画像形式変換部23に出力する。
 なお、出力できる画素値のレンジが、たとえば、0~255などのように有限な場合、加算部24は、そのレンジを抑えるためのリミッタを設けてもよい。
 なお、加算部24は、水平と垂直両方に高周波数成分が含まれた場合に、以下のようにしてもよい。例えば、加算部24は、垂直の高周波数成分を補う信号Nと、水平の高周波数成分を補う信号Nとに重みを掛けてもよい。また、加算部24は、垂直の高周波数成分を補う信号Nと水平の高周波数成分を補う信号Nとの和に重みを乗じたものをスケール変換後の画像データXに加算してもよい。また、加算部24は、垂直の高周波数成分を補う信号Nと、水平の高周波数成分を補う信号Nとスケール変換後の画像データXとの和に重みを乗じてもよい。
 すなわち、加算部24は、垂直の高周波数成分を補う信号Nと、水平の高周波数成分を補う信号Nとに基づいて、スケール変換後の画像データXを変更すればよい。これによれば、水平と垂直両方に高周波数成分が含まれた画素において、その画素における強調が過度になることを防止することができる。
 続いて、垂直高域通過フィルタ部150の処理の詳細について図19を用いて説明する。図19は、第2の実施形態における垂直高域通過フィルタ部150の機能ブロック図の一例である。
 垂直高域通過フィルタ部150は、垂直画素参照用遅延部151と、フィルタ係数記憶部152と、乗算部153と、加算部154とを備える。ここで、乗算部153は、乗算器153_1、…、153_7までの7個の乗算器を備える。
 垂直画素参照用遅延部151は、スケーラー部22から供給されたスケール変換後の画像データXに対して、1ラインの水平同期信号の画素数だけ遅延させ、遅延させることにより得られる1ライン遅延データを乗算部153の乗算器153_1に出力する。
 垂直画素参照用遅延部151は、1ライン遅延データを更に1ラインの水平同期信号の画素数だけ遅延させ、遅延させることにより得られる2ライン遅延データを乗算部153の乗算器153_2に出力する。
 以下同様にして、垂直画素参照用遅延部151は、k(kは1から7までの整数)ラインの水平同期信号の画素数だけ遅延させることにより得られるkライン遅延データを乗算部153の乗算器153_kに出力する。
 フィルタ係数記憶部152には、3ライン後の垂直係数aL-3を示すデータと、2ライン後の垂直係数aL-2を示すデータと、1ライン後の垂直係数aL-1を示すデータと、対象ラインの垂直係数aL+0を示すデータと、1ライン前の垂直係数aL+1を示すデータと、2ライン前の垂直係数aL+2を示すデータと、3ライン前の垂直係数aL+3を示すデータとが記憶されている。
 乗算器153_1は、3ライン前の垂直係数aL-3を示すデータを読み出す。乗算器153_1は、垂直画素参照用遅延部151から入力された1ライン遅延データに3ライン前の垂直係数aL-3を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_2は、2ライン前の垂直係数aL-2を示すデータを読み出す。乗算器153_2は、垂直画素参照用遅延部151から入力された2ライン遅延データに2ライン前の垂直係数aL-2を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_3は、1ライン前の垂直係数aL-1を示すデータを読み出す。乗算器153_3は、垂直画素参照用遅延部151から入力された3ライン遅延データに1ライン前の垂直係数aL-1を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_4は、対象ラインの垂直係数aL+0を示すデータを読み出す。乗算器153_4は、垂直画素参照用遅延部151から入力された4ライン遅延データに対象ラインの垂直係数aL+0を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_5は、1ライン後の垂直係数aL+1を示すデータを読み出す。乗算器153_5は、垂直画素参照用遅延部151から入力された5ライン遅延データに1ライン後の垂直係数aL+1を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_6は、2ライン後の垂直係数aL+2を示すデータを読み出す。乗算器153_6は、垂直画素参照用遅延部151から入力された6ライン遅延データに2ライン後の垂直係数aL+2を乗じ、乗じることにより得られたデータを加算部154に出力する。
 乗算器153_7は、3ライン後の垂直係数aL+3を示すデータを読み出す。乗算器153_7は、垂直画素参照用遅延部151から入力された7ライン遅延データに3ライン後の垂直係数aL+3を乗じ、乗じることにより得られたデータを加算部154に出力する。
 加算部154は、各乗算器153_kから供給されたデータを加算し、加算後の画像データを垂直の高周波数成分を含む画像データUVHとして水平低域通過フィルタ部60に出力する。
 続いて、水平低域通過フィルタ部160の処理の詳細について図20を用いて説明する。図20は、第2の実施形態における水平低域通過フィルタ部160の機能ブロック図である。水平低域通過フィルタ部160の水平画素参照用遅延部161と、フィルタ係数記憶部162と、乗算部163と、加算部164とを備える。ここで、乗算部163は、乗算器163_1、…、163_7までの7つの乗算器を備える。
 水平画素参照用遅延部161は、1画素遅延素子161_1、…、161_7までの7つの1画素遅延素子を備える。
 1画素遅延素子161_1は、垂直高域通過フィルタ部150から供給された垂直の高周波数成分を含む画像データUVHを1画素だけ遅延させ、1画素だけ遅延させた1画素遅延データを乗算部163の乗算器163_1と、1画素遅延素子161_2とに出力する。
 1画素遅延素子161_2は、1画素遅延素子161_1から供給された1画素遅延データを1画素だけ遅延させ、1画素だけ遅延させた2画素遅延データを乗算部163の乗算器163_2に出力する。
 同様にして、1画素遅延素子161_k(kは1から7までの整数)は、1画素遅延素子161_k-1から供給された1画素遅延データを1画素だけ遅延させ、1画素だけ遅延させたk画素遅延データを乗算部163の乗算器163_kに出力する。
 フィルタ係数記憶部162には、3画素前のフィルタ係数aD+3を示すデータと、2画素前のフィルタ係数aD+2を示すデータと、1画素前のフィルタ係数aD+1を示すデータと、対象画素のフィルタ係数aD0を示すデータと、1画素後のフィルタ係数aD-1を示すデータと、2画素後のフィルタ係数aD-2を示すデータと、3画素後のフィルタ係数aD-3を示すデータとが記憶されている。
 乗算器163_1は、フィルタ係数記憶部162から3画素前のフィルタ係数aD+3を示すデータを読み出す。乗算器163_1は、1画素遅延素子161_1から供給された1画素遅延データに3画素前のフィルタ係数aD+3を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_2は、フィルタ係数記憶部162から2画素前のフィルタ係数aD+2を示すデータを読み出す。乗算器163_2は、1画素遅延素子161_2から供給された2画素遅延データに2画素前のフィルタ係数aD+2を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_3は、フィルタ係数記憶部162から1画素前のフィルタ係数aD+1を示すデータを読み出す。乗算器163_3は、1画素遅延素子161_3から供給された3画素遅延データに1画素前のフィルタ係数aD+1を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_4は、フィルタ係数記憶部162から対象画素のフィルタ係数aD0を示すデータを読み出す。乗算器163_3は、1画素遅延素子161_4から供給された4画素遅延データに対象画素のフィルタ係数aD0を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_5は、フィルタ係数記憶部162から1画素後のフィルタ係数aD-1を示すデータを読み出す。乗算器163_5は、1画素遅延素子161_5から供給された5画素遅延データに1画素後のフィルタ係数aD-1を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_6は、フィルタ係数記憶部162から2画素後のフィルタ係数aD-2を示すデータを読み出す。乗算器163_6は、1画素遅延素子161_6から供給された6画素遅延データに2画素後のフィルタ係数aD-2を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 同様に、乗算器163_7は、フィルタ係数記憶部162から3画素後のフィルタ係数aD-3を示すデータを読み出す。乗算器163_7は、1画素遅延素子161_7から供給された7画素遅延データに3画素後のフィルタ係数aD-3を示すデータを乗じ、乗じることにより得られたデータを加算部164に出力する。
 加算部164は、各乗算器163_kから供給されたデータを加算し、加算後の画像データを水平の低周波数成分を含む画像データWHLとして第1の非線形演算部170に出力する。
 垂直低域通過フィルタ部150_2は垂直高域通過フィルタ部150_2と回路上の構成は同じであり、フィルタの係数だけ異なるので、その回路構成の説明は省略する。
 同様に、水平高域通過フィルタ部160_2は水平低域通過フィルタ部160と回路上の構成は同じであり、フィルタの係数だけ異なるので、その回路構成の説明は省略する。
 図21は、垂直方向に7ラインまたは水平方向に7画素遅延させるときのフィルタの係数の設定例を示す表T1である。図21では、水平方向にフィルタを掛けるときに用いられる水平係数と、垂直方向にフィルタを掛けるときに用いられる垂直係数とを示している。ここで、垂直高域通過フィルタ部150と水平高域通過フィルタ部160_2の係数は同じである。また、垂直低域通過フィルタ部150_2と水平低域通過フィルタ部160の係数は同じである。
 図21において、各行における7つのフィルタの係数の合計値は0である。
 垂直信号抽出部140および水平信号抽出部140_2は、少なくとも1つの高域通過フィルタ部を備え、そのフィルタの係数の合計値が0であることが必要である。つまり、垂直信号抽出部140および水平信号抽出部140_2が備える高域通過フィルタの直流成分(DC成分)の伝達関数が0である。
 続いて、第1の非線形演算部170の処理について説明する。なお、第2の非線形演算部170_2の処理は第1の非線形演算部170の処理と同一であるので、その説明を省略する。
 第1の非線形演算部170は、水平低域通過フィルタ部160から供給される水平の低周波数成分を含む画像データWHLを入力データWと置き直すと、入力データWに下記の式(1)に従って非線形演算を行い、下記の信号N(W)を出力する。
Figure JPOXMLDOC01-appb-I000001
 ここで、sgn(W)は、引数Wの符号を返す関数であり、cは非線形演算係数であり、kは1からKまでの整数で非線形演算係数のインデックスであり、Kは非線形演算係数の個数である。上式(1)の関数はN(W)=-N(-W)の性質を有する奇関数の性質を有する。
 奇関数はテイラー展開を行うと、奇数のべき乗の級数で表すことができるので、上式(1)は、以下の式(2)のように表すことができる
Figure JPOXMLDOC01-appb-I000002
 ここで、B2k+1は、奇数のべき乗の各係数である。第1の非線形演算部170は奇数のべき乗を算出することにより、奇数次高調波を発生させる。これは、u=exp(jωX)を(2k+1)乗すると、u(2k+1)=exp(jωX)(2k+1)=exp{j(2k+1)ωX}となるように、(2k+1)乗の成分が(2k+1)次高調波を生成するという原理から明らかである。
 図22は、第2の実施形態における第1の非線形演算部170の機能ブロック図である。第1の非線形演算部170は、絶対値計算部171と、べき乗演算部172と、非線形演算係数記憶部173と、乗算部174と、加算部175と、符号検出部176と、乗算部177とを備える。ここで、べき乗演算部172は、乗算器172_1、…、172_6までの6つの乗算器172_p(pは1から6までの整数)を備える。また、乗算部174は、乗算器174_1、…、174_7までの7つの乗算器174_q(qは1から7までの整数)を備える。
 絶対値計算部171は、水平低域通過フィルタ部160から供給された水平の低周波数成分を含む画像データWHLの絶対値を算出し、算出した絶対値データrをべき乗演算部172の各乗算器172_pと乗算部174の乗算器174_1に出力する。
 乗算器172_1は、絶対値計算部171から供給された絶対値データr同士を乗算し、乗算により得られた2乗データrを乗算器172_2と乗算器174_2に出力する。
 乗算器172_2は、絶対値計算部171から供給された絶対値データrと、乗算器172_1から供給された2乗データrを乗算し、乗算により得られた3乗データrを乗算器172_3と乗算器174_3に出力する。
 同様にして、乗算器172_p(但し、ここではpは3から5までの整数)は、絶対値計算部171から供給された絶対値データrと、乗算器172_p-1から供給されたp乗データrを乗算し、乗算により得られたp+1乗データrp+1を乗算器172_p+1と乗算器174_p+1に出力する。
 最後に、乗算器172_6は、絶対値計算部171から供給された絶対値データrと、乗算器172_5から供給された6乗データrを乗算し、乗算により得られた7乗データrを乗算器174_7に出力する。
 非線形演算係数記憶部173には、非線形演算係数c、…、cまでの7つの非線形演算係数を示すデータが記憶されている。
 乗算器174_1は、非線形演算係数記憶部173から非線形演算係数cを示すデータ読み出す。乗算器174_1は、絶対値計算部171から供給された絶対値データrに演算係数cを乗じ、乗じることにより得られたデータcrを加算部175に出力する。
 同様にして、乗算器174_2は、非線形演算係数記憶部173から非線形演算係数Cを読み出す。乗算器174_2は、乗算器172_1から供給された2乗データrに非線形演算係数cを乗じ、乗じることにより得られたデータcを加算部175に出力する。
 同様にして、乗算器174_q(但し、ここではqは3から7までの整数)は、非線形演算係数記憶部173から非線形演算係数cを読み出す。乗算器174_qは、乗算器172_q-1から供給されたq乗データrに非線形演算係数cを乗じ、乗じることにより得られたデータcを加算部175に出力する。
 加算部175は、各乗算器174_q(qは1から7までの整数)から供給されたデータの総和N(=cr+c+c+c+c+c+c)を算出し、算出した総和Nを示すデータを乗算部177に出力する。
 符号検出部176は、水平低域通過フィルタ部160から供給された水平の低周波数成分を含む画像データWHLの符号を検出する。そして、符号検出部176は、検出された符号が0未満であれば、-1を示すデータを乗算部177に出力し、検出された符号が0以上であれば、1を示すデータを乗算部177に出力する。
 乗算部177は、加算部175から供給された総和Nを示すデータに、符号検出部176から供給されたデータ(-1を示すデータまたは1を示すデータ)を乗算し、乗算により得られたデータを垂直の高周波数成分を補うデータNとして加算部24に出力する。
 第2の実施形態では、第1の非線形演算部170における演算がN=sgn(WHL)|WHLとなるように、第1の非線形演算部170の非線形演算係数c=1、c=0(k≠2)とする。そして、べき乗演算部172の乗算器を乗算器172_1のみにし、乗算部174の乗算器を乗算器174_1と乗算器174_2の2つのみにする。その結果、第1の非線形演算部170の非線形演算係数c=1、c=0(k≠3)とする場合よりも少ない乗算器で、3次高調波を生成することができ、回路規模を小さくすることができる。
 なお、第2の実施形態と同様に3次の高調波を発生させるために、第1の非線形演算部170の非線形演算係数c=1、c=0(k≠3)としてもよい。その場合、べき乗演算部172の乗算器を乗算器172_1と乗算器172_2のみにし、乗算部174の乗算器を乗算器174_1と、乗算器174_2と、乗算器174_3の3つのみにする。
 第2の非線形演算部170_2は、第1の非線形演算部170と回路構成が同一であるので、その説明を省略する。
 図23は、第1の非線形演算部170から出力される出力信号の信号強度分布の一例を示す図である。図23では、第1の非線形演算部170に入力される正弦波の入力信号の周波数を0[Hz]~fs/4[Hz](fsはサンプリング周波数)までスイープさせた場合における第1の非線形演算部170から出力される出力信号の信号強度分布を示している。ここで、第1の非線形演算部170の演算はN=sgn(WHL)|WHLを満たす。
 図23において、縦軸は信号補充部23bに入力された正弦波の入力信号の周波数であり、横軸は信号補充部23bから出力された出力信号の周波数である。また、各点における明暗は、入力信号の周波数に対して、信号補充部23bから出力される出力信号の周波数における信号強度を示している。ここで、各点における信号強度は、出力信号がFFT(高速フーリエ変換)された値の絶対値である。
 図23では、入力信号の上限の帯域を矢印A222で示している。また、白くなっている部分は、信号補充部23bから出力された信号が含まれる周波数帯域である。白くなっている部分には、入力信号の信号強度分布W221と、入力信号の3倍高調波信号である3倍高調波の信号強度分布W223とが含まれている。すなわち、信号補充部23bから出力された信号には、入力信号と、入力信号の3倍高調波信号とが含まれている。
 また、図23には、更に5倍以上の高周波信号が含まれ、入力信号と3次以上の奇数次高調波信号とがサンプリング周波数の2分の1の周波数(fs/2)で折り返された信号が含まれている。
 第2の実施形態における表示装置1bにおける画像処理の動作は、図14と同一であるので、その説明を省略する。図24は、図14のステップS102における第2の実施形態における画像処理部20bの処理の流れを示したフローチャートである。
 ステップS301からステップS303までの処理は、ステップS201からステップS203までの処理と同一であるので、その説明を省略する。
 次に、垂直高域通過フィルタ部150は、スケール変換後の画像データに対して、垂直方向に所定の周波数よりも高い周波数領域の信号を通過させる(ステップS304)。
 並行して、垂直低域通過フィルタ部150_2は、スケール変換後の画像データに対して、垂直方向に所定の周波数よりも低い周波数領域の信号を通過させる(ステップS305)。
 次に、水平低域通過フィルタ部160は、垂直高域通過フィルタ部150から出力された信号に対して、水平方向に所定の周波数よりも低い周波数領域の信号を通過させる(ステップS306)。
 並行して、水平高域通過フィルタ部160_2は、垂直低域通過フィルタ部150_2から出力された信号に対して、水平方向に所定の周波数よりも高い周波数領域の信号を通過させる(ステップS307)。
 次に、第1の非線形演算部170は、水平低域通過フィルタ部160から出力された信号に非線形の写像を施す(ステップS308)。並行して、第2の非線形演算部170_2は、水平高域通過フィルタ部160_2から出力された信号を引数とする非線形の写像を施す(ステップS309)。
 加算部24は、スケール変換後の画像データに第1の非線形演算部170から出力された垂直の高周波数成分を補うデータNと、第2の非線形演算部170_2から出力された水平の高周波数成分を補うデータNとを加算する(ステップS310)。以上で、図24のフローチャートの処理を終了する。
 第2の実施形態の画像処理部20bは、スケール変換後の画像データに対して、水平方向の高周波成分を抽出し、抽出した水平方向の高周波成分に対して非線形の写像を施す。並行して、画像処理部20bは、スケール変換後の画像データに対して、垂直方向の高周波成分を抽出し、抽出した垂直方向の高周波成分に対して非線形の写像を施す。そして、画像処理部20bは、スケール変換後の画像データに上記2つの非線形の写像を施した信号を加算する。
 これにより、画像処理部20bは、スケール変換後の画像データに、水平方向の高周波成分に基づいたデータと、垂直方向の高周波成分に基づいたデータとを補充することができる。よって、スケール変換により信号がほとんど存在しない周波数領域に信号を補充することができる。その結果、画像処理部20bは、精細感のある画像を生成することができる。
 なお、第2の実施形態では、垂直信号抽出部140は、垂直高域通過フィルタ部150と水平低域通過フィルタ部160を備える場合について説明したが、これに限らず、垂直信号抽出部140は、少なくとも垂直高域通過フィルタ部150を備えていればよい。これにより、垂直信号抽出部140は、スケール変換後の画像データから垂直方向において所定の周波数より高い周波数成分を有するデータを抽出することができる。
 また、第2の実施形態では、水平信号抽出部140_2は、垂直低域通過フィルタ部150_2と水平高域通過フィルタ部160_2を備える場合について説明したが、これに限らず、水平信号抽出部140_2は、少なくとも水平高域通過フィルタ部160_2を備えていればよい。これにより、水平信号抽出部140_2は、スケール変換後の画像データから水平方向において所定の周波数より高い周波数成分を有するデータを抽出することができる。
 <第2の実施形態の変形例>
 続いて、第1の非線形演算部170の変形例について図25を用いて説明する。なお、第2の実施形態の変形例における第2の非線形演算部170_2bの処理は、第1の非線形演算部170bの処理と同一であるので、その説明を省略する。
 図25は、第2の実施形態の変形例における第1の非線形演算部170bのブロック構成図である。第1の非線形演算部170bは、非線形データ記憶部178と、読出部179とを備える。
 非線形データ記憶部178には、水平の低周波数成分を含む画像データWHLの値に相当するアドレスAdと垂直の高周波数成分を補うデータNとが関連付けられて記憶されている。
 図26は、第2の実施形態の変形例における非線形データ記憶部178に記憶されているテーブルの一例である。図26のテーブルT2には、水平の低周波数成分を含む画像データWHLの値が3ビットで表されたアドレスAdと垂直の高周波数成分を補うデータNとが関連付けられる。図26において、データNの値は、データWHLの2乗である。図26では、アドレスAdは3ビットで表されており、データWHLが0のときアドレスAdは000であり、そのときのデータNは、データWHLの2乗である0である。
 同様にして、WHLが1のときアドレスAdは001であり、データNはデータWHLの2乗である1である。WHLが2のときアドレスAdは010であり、データNはデータWHLの2乗である4である。WHLが3のときアドレスAdは011であり、データNはデータWHLの2乗である9である。WHLが-4のときアドレスAdは100であり、データNはデータWHLの2乗である16である。WHLが-3のときアドレスAdは101であり、データNはデータWHLの2乗である9である。WHLが-2のときアドレスAdは110であり、データNはデータWHLの2乗である4である。WHLが-1のときアドレスAdは111であり、データNはデータWHLの2乗である1である。
 図25に戻って、読出部179は、例えば水平低域通過フィルタ部160から供給された水平の低周波数成分を含む画像データWHLの値が3ビットで表されたビット列をアドレスAdとして、そのアドレスAdに関連付けられた垂直の高周波数成分を補うデータNを非線形データ記憶部178から読み出す。読出部179は、読み出した垂直の高周波数成分を補うデータNを加算部24に出力する。
 これにより、第2の実施形態の変形例の第1の非線形演算部170bは、水平の低周波数成分を含む画像データWHLに関連付けられた垂直の高周波数成分を補うデータNを読み出す。これにより、非線形演算部170bは、垂直の高周波数成分を補うデータNを生成することができるので、第2の実施形態の第1の非線形演算部170よりも計算量を少なくすることができる。
 <第3の実施形態>
 図27は、第3の実施形態における表示装置1cの概略ブロック図である。なお、図1の第1の実施形態における表示装置1と共通する要素には同一の符号を付し、その具体的な説明を省略する。
 図27の表示装置1cの構成は、図1の表示装置1の構成に対して、画像処理部20が、画像処理部20cに変更されている。
 続いて、画像処理部20cについて説明する。図28は、第3の実施形態における画像処理部20cの概略ブロック図である。なお、図3の第1の実施形態における画像処理部20と共通する要素には同一の符号を付し、その具体的な説明を省略する。
 図28の画像処理部20cの構成は、図3の画像処理部20の構成に対して、信号補充部23が信号補充部23cに変更されている。更に、図28の信号補充部23cの構成は、図3の信号補充部23の構成に対して、補充信号生成部30が補充信号生成部230に変更されている。
 続いて、補充信号生成部230について図29を用いて説明する。図29は、第3の実施形態における補充信号生成部230の機能ブロック図である。補充信号生成部230は、信号抽出部240と、非線形演算部270とを備える。ここで、信号抽出部240は、2次元高域通過フィルタ部250と、2次元低域通過フィルタ部260とを備える。
 2次元高域通過フィルタ部250は、スケーラー部22から供給されたスケール変換後の画像データXから2次元方向に第1の所定の周波数f1より高い周波数の信号を通過させることにより高周波数成分の画像データUを生成し、生成した高周波数成分の画像データUを2次元低域通過フィルタ部260に出力する。
 2次元低域通過フィルタ部260は、2次元高域通過フィルタ部250から供給された高周波数成分の画像データUに対して2次元方向に第2の所定の周波数f2(但し、f2>f1)より低い周波数の信号を通過させる。これにより、2次元低域通過フィルタ部260は、所定の周波数帯域(f1~f2)の画像データWを生成し、生成した所定の周波数帯域の画像データWを非線形演算部270に出力する。
 これにより、2次元低域通過フィルタ部260は、出力信号の周波数帯域を所定の周波数までの信号に帯域制限する。このため、2次元低域通過フィルタ部260は、後の非線形演算部270での高調波生成において、エイリアシングによって、低周波数領域に障害を及ぼさないようにすることができる。
 非線形演算部270は、第2の実施形態における第1の非線形演算部270と同様に、2次元低域通過フィルタ部260から供給された所定の周波数帯域の画像データWに対して、非線形写像(例えば、奇関数による写像)を施し、非線形写像を施したデータNを加算部24に出力する。
 続いて、2次元高域通過フィルタ部250の処理の詳細について、図30を用いて説明する。図30は、第3の実施形態における2次元高域通過フィルタ部250の機能ブロック図である。2次元高域通過フィルタ部250は、垂直画素参照用遅延部251と、フィルタ係数記憶部252と、乗算部253と、加算部254とを備える。ここで、乗算部253は、乗算器253_(-2,-2)、…、253_(2,2)までの25個の乗算器253_(v,h)を備える。
 2次元高域通過フィルタ部250は、垂直画素参照用遅延部251はスケーラー部251から供給されたスケール変換後の画像データXに対して、所定の画素数だけ遅延させ、遅延させたデータを乗算部253に出力する。
 図30において、2次元高域通過フィルタをかける対象となる対象画素の画像データP(0,0)に対して、対象画素から垂直上方向にv行、向かって水平左方向にh個移動した画像データP(v,h)とする。
 ここで、水平同期信号の数をNsとし、対象画素の画像データP(0,0)に与える遅延量をDとすると、画像データP(v,h)に与える遅延量は、D-v×Ns-hとなる。
 例えば、垂直画素参照用遅延部251は、スケール変換後の画像データXに含まれる各画像データP(v,h)にD-v×Ns-hの遅延量を与え、遅延させた画像データをそれぞれ乗算部253の乗算器253_(v,h)に出力する。
 フィルタ記憶部252には、フィルタ係数a(v,h)を示す情報(ここでは、一例として、vは-2~2までの整数、hは-2~2までの整数)が記憶されている。
 乗算器253_(v,h)は、フィルタ記憶部252からフィルタ係数a(v,h)を示す情報を読み出す。乗算器253_(v,h)は、2次元高域通過フィルタ部250から供給された所定の画素数だけ遅延させたデータにフィルタ係数a(v,h)を乗じ、乗じたデータを加算部254に出力する。
 加算部254は、各乗算器253_(v,h)から供給されたデータを加算し、加算後の画像データを高周波数成分の画像データUとして2次元低域通過フィルタ部260に出力する。
 なお、2次元低域通過フィルタ部260は、2次元高域通過フィルタ部250と回路構成が同じであり、フィルタ係数記憶部252に記憶されているフィルタ係数のみ異なるだけなので、その詳細な説明を省略する。
 第3の実施形態における表示装置1cにおける画像処理の動作は、図14と同一であるので、その説明を省略する。図31は、図14のステップS102における第3の実施形態における画像処理部20cの処理の流れを示したフローチャートである。
 ステップS401からステップS403までの処理は、ステップS201からステップS203までの処理と同一であるので、その説明を省略する。
 次に、2次元高域通過フィルタ部250は、スケール変換後の画像データに対して、2次元方向に所定の周波数f1よりも高い周波数領域の信号を通過させる(ステップS404)。
 次に、2次元低域通過フィルタ部260は、2次元高域通過フィルタ部250から供給された高周波数成分の画像データUに対して2次元方向に第2の所定の周波数f2(但し、f2>f1)より低い周波数の信号を通過させる(ステップS405)。
 非線形演算部270は、2次元低域通過フィルタ部260から供給された所定の周波数帯域の画像データWに対して、非線形の写像を施す(ステップS406)。
 次に、加算部24は、スケール変換後の画像データに非線形演算部270から供給された非線形の写像が施されたデータNを加算する(ステップS407)。以上で、図31のフローチャートの処理を終了する。
 以上、第3の実施形態の画像処理部20cは、スケール変換後の画像データに対して、2次元方向の高周波成分を抽出し、抽出した2次元方向の高周波成分に対して非線形の写像を施す。そして、画像処理部20cは、スケール変換後の画像データに上記非線形の写像を施した信号を加算する。
 これにより、画像処理部20cは、スケール変換後の画像データに、2次元方向の高周波成分に基づいたデータを補充することができるので、スケール変換により信号がほとんど存在しない周波数領域に信号を補充することができる。その結果、画像処理部20cは、精細感のある画像を生成することができる。
 なお、第3の実施形態において、信号抽出部240は、2次元高域通過フィルタ部250と2次元低域通過フィルタ部260を備えたが、これに限らず、信号抽出部240は、少なくとも2次元高域通過フィルタ部250を備えていればよい。これにより、信号抽出部240は、スケール変換後の画像データから2次元平面上において所定の周波数より高い周波数成分を有するデータを抽出することができる。
 以上、本発明の実施形態に共通して、各実施形態における表示装置(1、1b、1c)は、画像のノイズを低減し、ノイズを低減した画像をスケールアップしたスケール変換後の画像を生成する。表示装置(1、1b、1c)は、スケール変換後の画像の各画素において、ノイズ低減により低減された周波数帯域の信号を抽出し、抽出した周波数帯域の信号に非線形写像を施す。
 そして、表示装置(1、1b、1c)は、非線形写像後の画素値をその画素値の位置にのスケール変換後の画像の画素値に加算することにより、ノイズ低減処理後の画像を補正する。これにより、表示装置(1、1b、1c)は、信号がほとんど存在しない周波数帯域に信号を補い、精細感のある画像を生成することができる。
 また、特許文献2の方法では、複数の低解像度画像を用いる必要があることから、フレームメモリを必要とし、回路規模が大きいが、全ての実施形態における画像処理部(20、20b、20c)は、フレームメモリを必要としないため、回路規模が小さいという利点を有する。
 また、特許文献2の方法では、重み計算のための反復演算を必要とするが、全ての実施形態の画像処理部(20、20b、20c)は、反復演算を必要としないという利点を有する。
 なお、全ての実施形態に共通して、画像処理部(20、20b、20c)は、スケーラー部22を備える構成として説明したが、スケールアップが必要ない場合には、スケーラー部22を備えていなくてもよい。その場合、画像処理部(20、20b、20c)はノイズ低減部21から出力されるノイズ低減後の画像データを信号補充部23に供給すればよい。
 これにより、画像処理部(20、20b、20c)は、ノイズ低減後の画像データに、その画像データに含まれる高周波成分に基づいたデータを補充することができるので、ノイズ低減部21によるノイズ低減により低減された高周波数成分をノイズ低減後の画像データに補充することができる。その結果、画像処理部(20、20b、20c)は、精細感のある画像を生成することができる。
 なお、全ての実施形態に共通して、信号補充部(23、23b、23c)は、入力された画像信号のうち所定の周波数帯域の信号に対して非線形の写像(その一例として、奇関数の写像)を施した信号を、画像信号に補う場合について説明したが、これに限られるものではない。信号補充部(23、23b、23c)は、入力された画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を、その画像信号に補えられればよい。
 なお、全ての実施形態における画像処理部(20、20b、20c)は、表示装置(1、1b、1c)の一部として実現する場合について説明したが、これに限らず、画像処理部(20、20b、20c)は画像処理装置として実現されてもよい。
 また、各実施形態の画像処理部(20、20b、20c)の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、その記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理部(20、20b、20c)に係る上述した種々の処理を行ってもよい。
 なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
 さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
 以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1 1b 1c 表示装置
10 アンテナ
11 検波部
12 Y/C分離部
20 画像処理部
14 画像形式変換部
15 液晶駆動部
16 液晶パネル
20 20b 20c 画像処理部
21 ノイズ低減部
21_1 遅延部
21_2 信号選択部
21_3 電圧比較部
21_4 雑音レベル検出部
21_5 信号出力部
22 スケーラー部
23 23b 23c 信号補充部
24 加算部
30 補充信号生成部
30_1~30M 非線形写像部
40_1~40M フィルタ部
50_1,1~50_M,N 線形フィルタ部
70_1~70M 非線形演算部
130 補充信号生成部
130_1 垂直非線形写像部
130_2 水平非線形写像部
140 垂直信号抽出部
140_2 水平信号抽出部
150 垂直高域通過フィルタ部
150_2 垂直低域通過フィルタ部
151 垂直画素参照用遅延部
152 フィルタ係数記憶部
153 乗算部
154 加算部
160 水平低域通過フィルタ部
160_2 水平高域通過フィルタ部
161 水平画素参照用遅延部
162 フィルタ係数記憶部
163 乗算部
164 加算部
170 第1の非線形演算部
170_2 第2の非線形演算部
171 絶対値計算部
172 べき乗演算部
172_1~172_6 乗算器
173 非線形演算係数記憶部
174 乗算部
174_1~172_7 乗算器
175 加算部
176 符号検出部
177 乗算部
178 非線形データ記憶部
179 読出部
230 補充信号生成部
240 信号抽出部
250 2次元高域通過フィルタ部
251 垂直画素参照用遅延部
252 フィルタ係数記憶部
253 乗算部
254 加算部
260 2次元低域通過フィルタ部
270 非線形演算部

Claims (13)

  1.  画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充部を備える画像処理装置。
  2.  前記信号補充部は、所定の周波数帯域の信号に非線形の写像を施すことにより、前記高調波信号を生成する請求項1に記載の画像処理装置。
  3.  前記非線形の写像は、奇関数による写像である請求項2に記載の画像処理装置。
  4.  前記所定の周波数帯域は、前記画像信号のうち所定の周波数より高い周波数である請求項1に記載の画像処理装置。
  5.  前記信号補充部は、
     前記画像信号のうち所定の周波数帯域の信号に対して非線形の写像を施す補充信号生成部と、
     前記補充信号生成部により非線形の写像が施された信号を、前記画像信号に加算する加算部と、
     を備える請求項1に記載の画像処理装置。
  6.  前記補充信号生成部は、
     前記画像信号に対して線形フィルタを掛けるフィルタ部と、
     前記フィルタ部による線形フィルタ後の信号に対して非線形の写像を施す非線形演算部と、
     を備え、
     前記加算部は、前記非線形演算部により非線形の写像を施された信号を、前記画像信号に加算する請求項5に記載の画像処理装置。
  7.  前記フィルタ部は、
     前記画像信号に対して、垂直方向に所定の周波数より高い周波数成分を通過させる垂直高域通過フィルタ部と、
     前記画像信号に対して水平方向に所定の周波数より高い周波数成分を通過させる水平高域通過フィルタ部と、
     を備え、
     前記非線形演算部は、前記垂直高域通過フィルタ部を通過した信号に対して非線形な写像を施した垂直の高周波数成分を補う信号を生成し、前記水平高域通過フィルタ部を通過した信号に対して非線形な写像を施した水平の高周波数成分を補う信号を生成し、
     前記加算部は、前記垂直の高周波数成分を補う信号と前記水平の高周波数成分を補う信号とを前記画像信号に加算する請求項6に記載の画像処理装置。
  8.  前記フィルタ部は、前記画像信号に対して、2次元方向に所定の周波数より高い周波数成分を通過させる2次元高域通過フィルタ部を備え、
     前記非線形演算部は、前記2次元高域通過フィルタ部を通過した信号に対して非線形な写像を施し、
     前記加算部は、前記非線形演算部により非線形な写像が施された信号を前記画像信号に加算する請求項6に記載の画像処理装置。
  9.  前記画像信号から得られる画素数より多い画素数の画像にスケール変換するスケーラー部を更に備え、
     前記信号補充部は、前記スケーラー部によるスケール変換後の画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記スケール変換後の画像信号に補う請求項1に記載の画像処理装置。
  10.  前記画像信号のノイズを低減するノイズ低減部を更に備え、
     前記信号補充部は、前記ノイズ低減部によるノイズ低減後の画像信号うち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記ノイズ低減後の画像信号に補う請求項1に記載の画像処理装置。
  11.  画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充部を備える画像処理装置を備える表示装置。
  12.  画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う画像処理方法。
  13.  コンピュータに、
     画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、生成した高調波信号を前記画像信号に補う信号補充ステップを実行させるための画像処理プログラム。
PCT/JP2012/061273 2011-04-27 2012-04-26 画像処理装置、表示装置、画像処理方法および画像処理プログラム WO2012147879A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/113,406 US20140037226A1 (en) 2011-04-27 2012-04-26 Image processing device, display device, image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011100157A JP2014135528A (ja) 2011-04-27 2011-04-27 画像処理装置、表示装置、画像処理方法および画像処理プログラム
JP2011-100157 2011-04-27

Publications (1)

Publication Number Publication Date
WO2012147879A1 true WO2012147879A1 (ja) 2012-11-01

Family

ID=47072393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061273 WO2012147879A1 (ja) 2011-04-27 2012-04-26 画像処理装置、表示装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US20140037226A1 (ja)
JP (1) JP2014135528A (ja)
WO (1) WO2012147879A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075232A (zh) * 2013-02-25 2015-11-18 株式会社计测技术研究所 图像处理装置、图像处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744723B2 (ja) * 2016-01-27 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法、コンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298603A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2001292325A (ja) * 2000-04-06 2001-10-19 Casio Comput Co Ltd エッジ強調装置、エッジ強調方法および記録媒体
JP2010034917A (ja) * 2008-07-30 2010-02-12 Hitachi Ltd 信号処理回路
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010146728A1 (ja) * 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69331719T2 (de) * 1992-06-19 2002-10-24 Agfa Gevaert Nv Verfahren und Vorrichtung zur Geräuschunterdrückung
US5602934A (en) * 1993-09-08 1997-02-11 The Regents Of The University Of California Adaptive digital image signal filtering
US7386511B2 (en) * 2000-04-28 2008-06-10 Netdeposit Inc. Methods and systems for processing financial instrument deposits
JP5201038B2 (ja) * 2009-03-18 2013-06-05 株式会社Jvcケンウッド 映像信号処理方法及び映像信号処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298603A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2001292325A (ja) * 2000-04-06 2001-10-19 Casio Comput Co Ltd エッジ強調装置、エッジ強調方法および記録媒体
JP2010034917A (ja) * 2008-07-30 2010-02-12 Hitachi Ltd 信号処理回路
WO2010113342A1 (ja) * 2009-03-31 2010-10-07 シャープ株式会社 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置
WO2010140281A1 (ja) * 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010146728A1 (ja) * 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075232A (zh) * 2013-02-25 2015-11-18 株式会社计测技术研究所 图像处理装置、图像处理方法
EP2961151A4 (en) * 2013-02-25 2016-07-20 Keisoku Giken Co Ltd IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN105075232B (zh) * 2013-02-25 2018-03-20 株式会社计测技术研究所 图像处理装置、图像处理方法

Also Published As

Publication number Publication date
JP2014135528A (ja) 2014-07-24
US20140037226A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
US7782401B1 (en) Method and system for digital image scaling with sharpness enhancement and transient improvement
JP5311741B2 (ja) 多数モード表示に対するスケーリングを実行すべく画像再構築及びサブピクセル・レンダリングを実行するシステム及び方法
JP4635629B2 (ja) サンプリングレート変換装置及び画像信号処理方法
JP6220960B2 (ja) クロマサブサンプリングされた画像フォーマットのためのディザリング
CN104299185A (zh) 一种图像放大方法、图像放大装置及显示设备
US20140009469A1 (en) Method and device for converting image resolution, and electronic device having the device
JP5049703B2 (ja) 画像表示装置、画像処理回路およびその方法
EP2390837B1 (en) Image processing device and method, and image display device
US20110206297A1 (en) Image data converting device, method for converting image data, program and storage medium
JP2019120749A (ja) 表示制御装置、画像投影システム、制御方法およびプログラム
JP5569042B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2014119997A (ja) 画像処理装置およびその制御方法
US9805450B2 (en) Image processing device and display device having the same
WO2012147879A1 (ja) 画像処理装置、表示装置、画像処理方法および画像処理プログラム
JPWO2011108144A1 (ja) 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置
EP2733920B1 (en) Iimage enhancing device and image enhancing method
WO2012056965A1 (ja) 画像処理装置、電子機器、画像処理方法
WO2011145668A1 (ja) 画像処理装置、画像処理回路、画像処理方法及びプログラム
JP2014126774A (ja) 画像処理装置、画像表示装置、および画像処理方法
JP2010171624A (ja) 輪郭補正回路及び補間画素生成回路
US20230206400A1 (en) Gradient adaptive ringing control for image resampling
JP5396626B1 (ja) 画像強調装置、画像強調方法
JP5629902B1 (ja) 画像処理装置、画像処理方法
US20100283799A1 (en) Content adaptive scaler based on a farrow structure
KR101332030B1 (ko) 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12777656

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14113406

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12777656

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP