WO2017195267A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2017195267A1
WO2017195267A1 PCT/JP2016/063845 JP2016063845W WO2017195267A1 WO 2017195267 A1 WO2017195267 A1 WO 2017195267A1 JP 2016063845 W JP2016063845 W JP 2016063845W WO 2017195267 A1 WO2017195267 A1 WO 2017195267A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
reference image
noise reduction
unit
Prior art date
Application number
PCT/JP2016/063845
Other languages
English (en)
French (fr)
Inventor
鈴木　大介
古川　英治
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018516242A priority Critical patent/JP6714078B2/ja
Priority to CN201680085460.6A priority patent/CN109076144B/zh
Priority to PCT/JP2016/063845 priority patent/WO2017195267A1/ja
Publication of WO2017195267A1 publication Critical patent/WO2017195267A1/ja
Priority to US16/162,483 priority patent/US10825145B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program suitable for performing noise reduction on an input video signal.
  • Patent Document 1 a method of reducing uncorrelated noise in the time direction by synthesizing between frame images of moving images is known as in Patent Document 1.
  • a motion vector indicating motion between images is calculated between a base image that is an image of the current frame and a reference image one frame before, and motion compensation is performed on the reference image using the motion vector.
  • weighting synthesis is performed on the reference image and the reference image on which motion compensation has been performed.
  • the weighted and synthesized result is output as a noise-reduced image, held in a frame memory, and used as a reference image for the next frame.
  • the present invention has been made in view of the above-described circumstances, and is capable of reducing the access amount to the frame memory while appropriately performing the cyclic noise reduction processing, the image processing method, and the image processing.
  • the purpose is to provide a program.
  • a multi-resolution decomposition unit that decomposes an input image into a plurality of resolution images, a frame memory that holds a cyclic image one frame before as a reference image, and the input among the plurality of resolution images
  • One of the images having a resolution lower than that of the image is used as a base image, a motion vector detection unit that detects a motion vector between the base image and the reference image, and motion compensation is performed on the reference image based on the motion vector.
  • a motion compensation unit that generates a motion compensated image, a cyclic noise reduction unit that synthesizes the reference image and the motion compensated image to generate a noise reduced reference image that becomes a new cyclic image, and the noise reduced reference image
  • a multi-resolution composition unit that synthesizes a resolution image other than the reference image among the plurality of resolution images.
  • the input image is decomposed into images having a plurality of resolutions by the multi-resolution decomposition unit.
  • a motion vector between the reference image and the reference image is moved by using one of the decomposed images having a resolution lower than that of the input image as a reference image and a cyclic image stored in the frame memory one frame before as a reference image. It is detected by the vector detection unit.
  • the motion compensation unit performs motion compensation on the reference image based on the detected motion vector, thereby generating a motion compensated image.
  • the generated motion compensation image is combined with the reference image by the cyclic noise reduction unit to generate a noise reduction reference image.
  • the noise reduction reference image and an image having a resolution other than the reference image among the decomposed images are combined by the multi-resolution combining unit.
  • the frame memory necessary for performing the cyclic noise reduction processing. And the amount of access to the frame memory can be reduced.
  • a high-resolution display device has a fine pixel pitch, and the pixel pitch is such that pixels cannot be recognized with the naked eye in recent smartphones and the like.
  • the noise reduction processing is performed in units of one pixel, there is almost no noise reduction effect in the subjective evaluation. Therefore, it is more effective to reduce the noise only for the low frequency component, and the power consumption is reduced. It is also efficient from a point of view.
  • the resolution of the reference image may be set based on image information of the input image.
  • the resolution of the reference image on which the cyclic noise reduction processing is flexibly performed is set based on the image information such as the resolution and frame rate of the input image. For this reason, even when various image signals are input, the capacity of the frame memory and the access amount to the frame memory can be reduced.
  • the image processing apparatus includes a selector that sets a resolution of the reference image based on an image size of the input image, and a selector control unit that controls the selector.
  • the selector may be switched so that the resolution of the reference image is constant.
  • the selector is switched by the selector control unit so that the resolution of the reference image on which the cyclic noise reduction processing is performed is constant.
  • the amount of data between the cyclic noise reduction unit and the frame memory can be kept constant at all times, and even with high resolution image signals, the cyclic type can be efficiently performed without increasing power consumption. Noise reduction processing can be performed.
  • the image processing apparatus includes a selector that sets a resolution of the reference image based on an image size of the input image, and a selector control unit that controls the selector.
  • the selector may be switched so that the resolution of the reference image decreases as the frame rate of the input image increases.
  • the selector is switched by the selector control unit so that the resolution of the reference image on which the cyclic noise reduction processing is performed becomes lower as the frame rate of the input image becomes higher.
  • the cyclic noise reduction process can be efficiently performed without increasing the data amount between the cyclic noise reduction unit and the frame memory.
  • This uses human visual characteristics that, when the frame rate is high, a low-pass filter effect appears in the visual sense, making it difficult to recognize the influence of high-frequency noise.
  • the image processing apparatus may include an intra-frame noise reduction unit that performs a noise reduction process by applying a spatial filter to a resolution image other than the reference image.
  • the second aspect of the present invention includes a step of decomposing an input image into a plurality of resolution images, one of the plurality of resolution images having a lower resolution than the input image as a reference image, and the reference image Detecting a motion vector between reference images which are cyclic images one frame before held in a frame memory; generating a motion compensated image by performing motion compensation on the reference image based on the motion vector; A step of synthesizing the reference image and the motion compensation image to generate a noise reduction reference image that becomes a new cyclic image; and a resolution image other than the reference image among the noise reduction reference image and the plurality of resolution images And an image processing method.
  • a process of decomposing an input image into a plurality of resolution images one of the plurality of resolution images having a lower resolution than the input image is set as a reference image, and the reference image Processing for detecting a motion vector between reference images, which are cyclic images one frame before held in a frame memory, and processing for generating a motion compensated image by performing motion compensation on the reference image based on the motion vector; A process for generating a noise reduction reference image that is a new cyclic image by combining the reference image and the motion compensation image; and a resolution image other than the reference image among the noise reduction reference image and the plurality of resolution images. And an image processing program for causing a computer to execute a process for synthesizing these.
  • FIG. 2 It is a figure showing an example of composition of an image processing system concerning the 1st and 2nd embodiments of the present invention. It is the figure which showed schematic structure of the noise reduction part with which the image processing system of FIG. 1 is equipped.
  • FIG. 1 is a diagram showing an image processing system 1 according to the first embodiment of the present invention.
  • the image processing system 1 is, for example, a digital video camera that captures moving images and records video data, a digital still camera with a moving image capturing function, or the like.
  • the image processing system 1 includes an imaging unit 100, a camera image processing unit 200, a noise reduction unit (image processing device) 300, a recording unit 400, and a parameter setting unit (selector control unit) 500.
  • the imaging unit 100 is connected to the camera image processing unit 200 and the parameter setting unit 500.
  • the camera image processing unit 200 and the parameter setting unit 500 are connected to the noise reduction unit 300.
  • the noise reduction unit 300 is connected to the recording unit 400.
  • the imaging unit 100 includes an optical lens, an image sensor, an AD (Analog-to-Digital) converter, and the like, converts light information imaged on the image sensor by the optical lens into electrical information, and further converts the AD converter. Etc. to convert to a digital signal. For example, in the case of shooting a moving image with a frame rate of 60 fps, the imaging operation is repeated 60 times per second, and digital signals representing the frame image are sequentially supplied to the subsequent stage.
  • AD Analog-to-Digital
  • the camera image processing unit 200 performs processing for imaging the digital signal supplied from the imaging unit 100. For example, white balance correction, Y / C conversion, gradation conversion, color correction, and the like are main processing contents. In the case of a single-plate image sensor, demosaic processing is also performed.
  • the noise reduction unit 300 performs noise reduction processing on the image signal NRIN supplied from the camera image processing unit 200 based on the control parameters D1 and D2 set by the parameter setting unit 500. Details will be described later.
  • the recording unit 400 stores the noise-reduced image signal NROUT supplied from the noise reduction unit 300 in an external medium such as a memory card.
  • the parameter setting unit 500 sets the control parameters D1 and D2 based on image information such as the resolution and frame rate of the image supplied from the imaging unit 100.
  • the camera image processing unit 200 and the noise reduction unit 300 that perform image processing are mounted as a circuit on a single silicon chip called an image processing engine.
  • the noise reduction unit 300 includes a multi-resolution decomposition unit 301, intra-frame noise reduction units 311 and 321, a frame memory 331, a motion vector detection unit 332, a motion compensation unit 333, A type noise reduction unit 330 and a multi-resolution synthesis unit 302 are provided.
  • the multiresolution decomposition unit 301 includes downsampling units 310 and 320 and selectors 312 and 322.
  • the down-sampling units 310 and 320 are composed of a low-pass filter (not shown) and a pixel thinning unit. For example, after applying the following 3 ⁇ 3 Gaussian filter to the input image, downsampling is performed by thinning out every other pixel in the vertical and horizontal directions.
  • the selector 312 is configured to output one of the signals input to the input terminal 0 or the input terminal 1 in accordance with the 1-bit control parameter D2 set by the parameter setting unit 500.
  • the selector 322 is configured to output one of the signals input to the input terminal 0 or the input terminal 1 in accordance with the 1-bit control parameter D1 set by the parameter setting unit 500.
  • the image signal NRIN supplied from the camera image processing unit 200 is input to the input terminal 0 of the selector 312, and the image signal NRIN is down-sampled to the input terminal 1 of the selector 312 by the down-sampling unit 310.
  • the received signal is input.
  • the output signal from the selector 312 is input to the input terminal 0 of the selector 322, and the output signal from the selector 312 is down-sampled to the input terminal 1 of the selector 322 by the down-sampling unit 320. Is input.
  • the multi-resolution decomposition unit 301 performs downsampling in two stages, the front stage and the rear stage.
  • the present invention is not limited to this, and the number of downsamplings may be one or three or more. Sampling may be performed.
  • the intra-frame noise reduction units 311 and 321 are configured to perform noise reduction using information on pixels or regions spatially adjacent to the target pixel.
  • a bilateral filter represented by the following equation (1) can be used.
  • k (p) is a normalization function and is expressed by the following equation (2).
  • p is the position of the target pixel
  • p ′ is the position of the reference pixel included in the region ⁇
  • A represents the pixel value.
  • a p is the pixel value of the pixel of interest
  • a p ' is the pixel value of the reference pixel
  • a NR p is the target pixel value after noise reduction.
  • Gd is a distance coefficient, and generally a Gaussian function centered on the target pixel position is used. For g r, a monotone decreasing function that decreases as the difference (A p ⁇ A p ′ ) between the target pixel value and the reference pixel value increases is used.
  • the bilateral filter is obtained by applying an evaluation function based on a difference in pixel value to a normal Gaussian filter, and is effective as an edge-preserving noise reduction filter.
  • the motion vector detection unit 332 is configured to detect a motion vector for each pixel or each region using the output signal from the selector 322 as a reference image and the cyclic image one frame before held in the frame memory 331 as a reference image. ing.
  • a method for detecting a motion vector a block matching method or the like can be employed.
  • the motion compensation unit 333 performs motion compensation on the cyclic image one frame before held in the frame memory 331, that is, the reference image, using the motion vector detected by the motion vector detection unit 332, and the result is motion compensated. It is configured to output as an image.
  • the cyclic noise reduction unit 330 is configured to perform noise reduction processing by combining the motion compensated image output from the motion compensation unit 333 and the reference image output from the selector 322, and output the noise reduced reference image. Has been.
  • the cyclic noise reduction unit 330 is expressed by the following equation (3), where I [n] is a standard image, I [n ⁇ 1] is a reference image, and O [n] is an output noise reduction standard image. By performing the processing, noise reduction processing is performed.
  • ⁇ is a coefficient evaluated for each pixel or each region, and is controlled so as to increase as the matching degree between the standard image and the reference image increases.
  • a difference value between the target pixel of the base image and the target pixel of the reference image a sum of absolute differences (SAD: Summation of Absolute Difference) with respect to the peripheral region of the target pixel, and the like are used.
  • SAD Summation of Absolute Difference
  • the frame memory 331 is configured to hold the noise reduction reference image generated by the cyclic noise reduction unit 330 as a cyclic image.
  • the multi-resolution composition unit 302 includes up-sampling units 340 and 350, adders 341 and 351, and selectors 342 and 352.
  • the upsampling units 340 and 350 are configured to perform upsampling by performing pixel interpolation using bilinear interpolation, bicubic interpolation, or the like.
  • the selector 342 is configured to output one of the signals input to the input terminal 0 or the input terminal 1 in accordance with the 1-bit control parameter D1 set by the parameter setting unit 500.
  • the selector 352 is configured to output one of the signals input to the input terminal 0 or the input terminal 1 in accordance with the 1-bit control parameter D2 set by the parameter setting unit 500.
  • the noise reduction reference image output from the cyclic noise reduction unit 330 is input to the input terminal 0 of the selector 342, and the noise reduction reference is input to the input terminal 1 of the selector 342 by the upsampling unit 340.
  • a signal obtained by adding the signal obtained by up-sampling the image and the signal obtained by reducing the noise of the output signal from the selector 312 by the intra-frame noise reduction unit 321 is input.
  • the signal output from the selector 342 is input to the input terminal 0 of the selector 352, and the output signal from the selector 342 is upsampled to the input terminal 1 of the selector 352 by the upsampling unit 350. And a signal obtained by adding the image signal NRIN to the signal whose noise has been reduced by the intra-frame noise reduction unit 311 is input.
  • the operation of the image processing system 1 having the above configuration will be described.
  • the imaging unit 100 the optical information of the subject imaged on the image sensor via the optical lens is converted into electrical information, and further converted into a digital signal by an AD converter or the like.
  • the converted digital signal is subjected to preprocessing such as white balance correction in the camera image processing unit 200 and then input to the noise reduction unit 300 as an image signal NRIN.
  • image information such as an input image size and a frame rate set in advance in the imaging unit 100 is output to the parameter setting unit 500.
  • control parameters D1 and D2 for controlling the noise reduction unit 300 are set based on the input image information. Specifically, setting is performed by a CPU (Central Processing Unit) (not shown) provided in the parameter setting unit 500 by writing control parameters D1 and D2 in a parameter setting register. Then, the noise reduction unit 300 performs noise reduction processing based on the set control parameters D1 and D2, and outputs a noise-reduced image signal NROUT. Thereafter, the noise-reduced image signal NROUT is recorded in the recording unit 400.
  • a CPU Central Processing Unit
  • the image signal NRIN supplied from the camera image processing unit 200 which is a high-resolution image, is subjected to noise reduction within the frame by applying a spatial filter in the intra-frame noise reduction unit 311.
  • “high resolution” means that the resolution is relatively higher than the resolution of other images intermediately generated within the noise reduction unit 300.
  • the image signal NRIN is reduced to a half size by the downsampling unit 310.
  • “reduction” means reduction in vertical size and horizontal size. That is, when the size is reduced to 1/2, the data amount is 1/4.
  • “enlargement” means enlargement of the vertical size and the horizontal size. That is, when it is enlarged to twice the size, the data amount is four times.
  • the image that has been down-sampled by the down-sampling unit 310 and reduced to a half size (medium resolution image) is subjected to noise reduction within the frame by applying a spatial filter in the intra-frame noise reduction unit 321.
  • the medium resolution image is further reduced to a half size by the downsampling unit 320. Therefore, the output signal of the selector 322 is an image (low resolution image) reduced to 1 ⁇ 4 compared with the image signal NRIN. In other words, it is an image signal having a quarter frequency component of the image signal NRIN.
  • the image signal NRIN is decomposed into three resolution images: a high-resolution image, a medium-resolution image, and a low-resolution image.
  • cyclic noise reduction processing is performed using the low-resolution image of the three resolution images as a reference image.
  • a motion for each pixel or each region is detected from the low-resolution image that is the reference image and the previous frame image held in the frame memory 331 by using a block matching method or the like. Detect vectors.
  • the motion vector may be handled as zero assuming that there is no motion between frames without detecting the motion vector.
  • the motion compensation unit 333 performs motion compensation based on the motion vector detected by the motion vector detection unit 332 so that the frame image read from the frame memory 331 matches the current reference image. A motion compensated image is generated.
  • the cyclic noise reduction process can be performed efficiently, and the effect of the cyclic noise reduction process can be enhanced.
  • the generated motion compensation image and the reference image are combined to generate a low-resolution noise reduction reference image.
  • the generated low-resolution noise reduction reference image is synthesized by matching the resolution with the medium-resolution image subjected to the intra-frame noise reduction process. Specifically, the generated low-resolution noise reduction reference image is enlarged to twice the size by the upsampling unit 340 and added to the image output from the intra-frame noise reduction unit 321 by the adder 341. Thus, a medium-resolution noise reduction image is generated.
  • the generated medium resolution noise reduction reference image is synthesized by matching the resolution with the high resolution image subjected to the intra-frame noise reduction processing. Specifically, the generated medium-resolution noise-reduced image is enlarged to twice the size by the upsampling unit 350 and added to the image output from the intra-frame noise reduction unit 311 by the adder 351. Thus, a high-resolution noise-reduced image is generated.
  • the low-resolution noise reduction reference image subjected to the cyclic noise reduction process and the medium-resolution and high-resolution noise reduced images subjected to the intra-frame noise reduction process, respectively. are combined after the resolutions of the images are matched.
  • the high-resolution noise-reduced image thus generated is output from the noise reduction unit 300 as a noise-reduced image signal NROUT.
  • the cyclic noise reduction processing by the cyclic noise reduction unit 330 is performed only on one of the images having a resolution lower than that of the input image signal NRIN, the cyclic noise reduction processing is performed.
  • the required capacity of the frame memory 331 and the access amount to the frame memory 331 can be reduced.
  • FIG. 3 shows an example of images in the nodes A to F shown in FIG.
  • the image signal after one-step down-sampling at the node B is reduced to 1 ⁇ 2 the size of the original resolution image signal at the node A.
  • the image signal after the two-step down-sampling at the node C and the node D is reduced to 1 ⁇ 4 the size of the image signal at the original resolution at the node A.
  • the image signal NRIN supplied from the camera image processing unit 200 which is a high-resolution image, is subjected to noise reduction in the frame by applying a spatial filter in the noise reduction unit 321 in the frame.
  • the image signal NRIN is reduced to a half size by the downsampling unit 320.
  • cyclic noise reduction processing is performed using the image (medium resolution image) reduced to 1 ⁇ 2 size by the downsampling unit 320 as a reference image. Since the cyclic noise reduction processing has already been described, the description thereof is omitted here.
  • the medium-resolution noise-reduced image generated by the cyclic noise reduction process is enlarged to twice the size by the upsampling unit 340 and added to the image output from the intra-frame noise reduction unit 321 by the adder 341. Thus, a high-resolution noise reduction image is generated.
  • the high-resolution noise-reduced image thus generated is output from the noise reduction unit 300 as a noise-reduced image signal NROUT.
  • the downsampling unit 310 in FIG. 4 serves as the downsampling unit 320
  • the intraframe noise reduction unit 321 serves as the intraframe noise reduction.
  • the upsampling unit 350 plays the role of the upsampling unit 340
  • the adder 351 plays the role of the adder 341. Therefore, it is equivalent to the block diagram shown in FIG.
  • control parameters (D1, D2) (0, 0) are set, as shown in FIG. 5, only cyclic noise reduction is performed.
  • the parameter setting unit 500 controls the selectors 312, 322, 342, and 352 by setting the control parameters D1 and D2 based on the input image information.
  • the resolution of the reference image on which the cyclic noise reduction process is performed in the cyclic noise reduction unit 330 can be appropriately determined according to the image information.
  • the capacity of the frame memory 331 and the access amount to the frame memory 331 can be reduced.
  • FIG. 6 is a chart showing an example of control in the noise reduction unit 300 according to the present embodiment.
  • the input / output resolution that is, the resolution of the image signal NRIN / noise-reduced image signal NROUT, and the parameter setting unit 500 are shown.
  • the relationship between the control parameters D1 and D2 to be set and the resolution of the reference image is shown.
  • the parameter setting unit 500 of the present embodiment sets the control parameters D1 and D2 so that the resolution of the reference image becomes constant according to the resolution of the image signal NRIN.
  • the parameter setting unit 500 has a table in which the control parameters D1 and D2 are associated with each input / output resolution, and the selectors 312, 322, 342, and 352 of the noise reduction unit 300 are switched based on this table. It is configured to perform control.
  • the amount of data between the cyclic noise reduction unit 330 and the frame memory 331 can be kept constant at all times, and even when the image signal NRIN has a high resolution, it is efficient without increasing power consumption.
  • cyclic noise reduction processing can be performed.
  • the noise reduction unit 300 is implemented as hardware, but is not limited thereto, and may be implemented by causing a computer to execute an image processing program that is software.
  • an image processing program that is software.
  • step S1 when the image signal NRIN is input in step S1, multi-resolution decomposition processing is performed on the image signal NRIN in step S2, and the image signal NRIN is decomposed into images having a plurality of resolutions.
  • step S3 a motion vector is detected between an image (standard image) having a resolution lower than the image signal NRIN among the plurality of decomposed images and a cyclic image (reference image) one frame before.
  • step S4 based on the detected motion vector, motion compensation is performed on the reference image to generate a motion compensated image.
  • step S5 a cyclic noise reduction process is performed by combining the reference image and the motion compensated image to generate a noise reduction reference image.
  • step S6 multi-resolution composition processing is performed to synthesize an image having a resolution other than the reference image and the noise reduction reference image, and the result is output as a noise-reduced image signal NROUT in step S7.
  • FIG. 8 is a chart showing an example of control in the noise reduction unit 300 according to the present embodiment.
  • the input / output resolution that is, the resolution and frame rate of the image signal NRIN / noise-reduced image signal NROUT, and parameter setting are shown.
  • the relationship between the control parameters D2 and D1 set in the unit 500, the resolution of the reference image, and the bandwidth is shown.
  • the parameter setting unit 500 of the present embodiment sets the control parameters D1 and D2 so that the resolution of the reference image decreases as the frame rate of the image signal NRIN that is the input signal increases.
  • the parameter setting unit 500 has a table in which the control parameters D1 and D2 are associated with each input / output resolution and each frame rate, and based on this table, the selectors 312 322, and 322 of the noise reduction unit 300 are associated. It is comprised so that control which switches 342,352 may be performed.
  • the above settings are based on human visual characteristics.
  • the temporal resolution of human visual perception is not so high.
  • human visual perception cannot recognize flickering of a non-inverter type fluorescent lamp that flickers at 100 Hz.
  • Random noise is also somewhat affected by human eyes even without performing noise reduction processing. It shows that the image is recognized after being smoothed in the time axis direction.
  • the cyclic noise reduction processing can be efficiently performed without increasing the data amount between the cyclic noise reduction unit 330 and the frame memory 331. it can.
  • the resolution of the reference image is controlled to be equal.
  • the present invention is not limited to this, and the reference when the frame rate is 60 fps is used.
  • the resolution of the image may be smaller than the resolution of the reference image when the frame rate is 30 fps. As the frame rate increases from 30 fps to 120 fps, the resolution of the reference image may be decreased stepwise.
  • the noise reduction unit 300 includes the selectors 312, 322, 342, and 352, and these can be switched according to the image information of the image signal NRIN, that is, the image size, the frame rate, and the like.
  • the selectors 312, 322, 342, and 352 may be omitted.
  • the resolution image that is not subjected to cyclic noise reduction processing is configured to include the intra-frame noise reduction units 311 and 321, but may be configured not to include the intra-frame noise reduction units 311 and 321. Good.
  • Image Processing System 300 Noise Reduction Unit (Image Processing Device) 301 Multi-resolution decomposition unit 302 Multi-resolution composition unit 311, 321 Intra-frame noise reduction unit 312, 322, 342, 352 Selector 330 Cyclic noise reduction unit 331 Frame memory 332 Motion vector detection unit 333 Motion compensation unit 500 Parameter setting unit (selector) Control part)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

巡回型ノイズ低減処理を行う際に必要となるフレームメモリの容量及びアクセス量を削減する。入力画像を複数の解像度画像に分解する多重解像度分解部（３０１）と、１フレーム前の巡回画像を参照画像として保持するフレームメモリ（３３１）と、複数の解像度画像のうち入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像と参照画像の間で動きベクトルを検出する動きベクトル検出部（３３２）と、動きベクトルに基づいて参照画像に動き補償を行って動き補償画像を生成する動き補償部（３３３）と、基準画像と動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する巡回型ノイズリダクション部（３３０）と、ノイズ低減基準画像と複数の解像度画像のうち基準画像以外の解像度画像とを合成する多重解像度合成部（３０２）と、を備える画像処理装置（３００）を提供する。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、入力された映像信号に対してノイズ低減を行うのに好適な画像処理装置、画像処理方法及び画像処理プログラムに関する。
　ノイズ低減方法の一つとして、特許文献１のように、動画像のフレーム画像間で合成を行うことにより、時間方向に無相関なノイズを低減する方法が知られている。特許文献１では、現フレームの画像である基準画像と１フレーム前の参照画像との間で画像間の動きを示す動きベクトルが算出され、その動きベクトルを用いて参照画像に対して動き補償が行われ、動き推定の成否に応じた加算重みに基づいて、基準画像と動き補償が行われた参照画像との重みづけ合成が行われる。そして、重みづけ合成された結果は、ノイズ低減画像として出力されるとともに、フレームメモリに保持されて次のフレームの参照画像として利用される。
特開２０１０－１４７９８５号公報
　ところで、近年、動画像の高画素化が進んでおり、特に、４Ｋ解像度（３８４０×２１６０）の普及が進んできている。このような高画素の動画像に対して、特許文献１のような巡回型ノイズ低減処理を適用する場合、参照画像を保持するためのフレームメモリへのアクセス量が大幅に増大し、リアルタイム処理が困難になるという課題がある。
　本発明は、上述した事情に鑑みてなされたものであって、巡回型ノイズ低減処理を適切に行いつつ、フレームメモリへのアクセス量を削減することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
　本発明の第１の態様は、入力画像を複数の解像度画像に分解する多重解像度分解部と、１フレーム前の巡回画像を参照画像として保持するフレームメモリと、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像と前記参照画像の間で動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する動き補償部と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する巡回型ノイズリダクション部と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する多重解像度合成部と、を備える画像処理装置である。
　上記第１の態様に係る画像処理装置によれば、入力画像が多重解像度分解部によって複数の解像度を有する画像に分解される。分解された画像のうち入力画像よりも解像度の低い画像の一つを基準画像、フレームメモリに保持された１フレーム前の巡回画像を参照画像として、基準画像と参照画像の間の動きベクトルが動きベクトル検出部によって検出される。そして、動き補償部によって、検出された動きベクトルに基づいて参照画像に対する動き補償が行われることにより、動き補償画像が生成される。生成された動き補償画像は、巡回型ノイズリダクション部によって基準画像と合成されてノイズ低減基準画像が生成される。続いて、多重解像度合成部によって、このノイズ低減基準画像と、分解された画像のうち基準画像以外の解像度を有する画像とが合成される。
　このように、入力画像よりも解像度の低い画像の一つに対してのみ、巡回型ノイズリダクション部による巡回型ノイズ低減処理が行われるため、巡回型ノイズ低減処理を行う際に必要となるフレームメモリの容量及びフレームメモリへのアクセス量を削減することができる。
　また、一般的に、高解像度の表示デバイスは画素ピッチも細かく、近年のスマートフォン等では肉眼では画素を認識できないほどの画素ピッチとなっている。この場合、１画素単位でのノイズ低減処理を行ったとしても、主観評価においてノイズ低減の効果はほとんどないため、低周波成分に対してのみノイズ低減を行う方が効果的であり、消費電力の点からも効率的である。
　上記第１の態様に係る画像処理装置において、前記基準画像の解像度が、前記入力画像の画像情報に基づいて設定される構成としてもよい。
　この構成によれば、入力画像の解像度、フレームレート等の画像情報に基づいて、フレキシブルに巡回型ノイズ低減処理が行われる基準画像の解像度が設定される。そのため、様々な画像信号が入力された場合であっても、フレームメモリの容量及びフレームメモリへのアクセス量を削減することができる。
　上記第１の態様に係る画像処理装置において、前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、該セレクタを制御するセレクタ制御部と、を備え、該セレクタ制御部が、前記基準画像の解像度が一定となるように前記セレクタを切り替える構成としてもよい。
　この構成によれば、セレクタが、セレクタ制御部によって、巡回型ノイズ低減処理が行われる基準画像の解像度が一定となるように切り替えられる。
　このようにすることで、巡回型ノイズリダクション部とフレームメモリの間のデータ量を常に一定に抑えることができ、高解像度の画像信号であっても消費電力が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
　上記第１の態様に係る画像処理装置において、前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、該セレクタを制御するセレクタ制御部と、を備え、該セレクタ制御部が、前記入力画像のフレームレートが高くなるほど前記基準画像の解像度が低くなるように、前記セレクタを切り替える構成としてもよい。
　この構成によれば、セレクタが、セレクタ制御部によって、入力画像のフレームレートが高くなるほど巡回型ノイズ低減処理が行われる基準画像の解像度が低くなるように切り替えられる。
　このようにすることで、入力画像が高フレームレートの画像信号であっても、巡回型ノイズリダクション部とフレームメモリの間のデータ量が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
　これは、フレームレートが高くなると、視感上ローパスフィルタ効果が表れるため、高周波ノイズの影響を認識しにくくなるという人間の視覚特性を利用したものである。
　上記第１の態様に係る画像処理装置において、前記基準画像以外の解像度画像に対し空間フィルタを適用してノイズ低減処理を行うフレーム内ノイズリダクション部を備える構成としてもよい。
　本発明の第２の態様は、入力画像を複数の解像度画像に分解する工程と、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する工程と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する工程と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する工程と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する工程と、を備える画像処理方法である。
　本発明の第３の態様は、入力画像を複数の解像度画像に分解する処理と、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する処理と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する処理と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する処理と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する処理と、をコンピュータに実行させる画像処理プログラムである。
　本発明によれば、巡回型ノイズリダクションを行う際に必要となるフレームメモリの容量及びアクセス量を削減することができるという効果を奏する。
本発明の第１及び第２の実施形態に係る画像処理システムの構成例を示した図である。 図１の画像処理システムに備えられるノイズ低減部の概略構成を示した図である。 図２に示されるノイズ低減部における各ノードの画像の一例を示す図表である。 図２に示されるノイズ低減部において制御パラメータ（Ｄ１，Ｄ２）＝（１，０）とした場合の等価回路を示す図である。 図２に示されるノイズ低減部において制御パラメータ（Ｄ１，Ｄ２）＝（０，０）とした場合の等価回路を示す図である。 本発明の第１の実施形態のノイズ低減部の制御例を示す図表である。 図２に示されるノイズ低減部における処理を示すフローチャートである。 本発明の第２の実施形態のノイズ低減部の制御例を示す図表である。
　以下に、本発明に係る画像処理システムの実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係る画像処理システム１を示す図である。画像処理システム１は、例えば、動画像を撮影して映像データを記録するデジタルビデオカメラ、動画撮影機能付きデジタルスチルカメラ等である。
　画像処理システム１は、撮像部１００と、カメラ画像処理部２００と、ノイズ低減部（画像処理装置）３００と、記録部４００と、パラメータ設定部（セレクタ制御部）５００とを備えている。撮像部１００は、カメラ画像処理部２００及びパラメータ設定部５００に接続されている。カメラ画像処理部２００及びパラメータ設定部５００は、ノイズ低減部３００に接続されている。ノイズ低減部３００は、記録部４００に接続されている。
　撮像部１００は、光学レンズ、イメージセンサ、ＡＤ（Analog-to-Digital）変換器等で構成され、光学レンズによってイメージセンサ上に結像された光情報を電気情報に変換し、更にＡＤ変換器等でデジタル信号に変換する。例えば、フレームレートが６０ｆｐｓの動画像を撮影する場合であれば、１秒間に６０回撮像動作を繰り返し、フレーム画像を表すデジタル信号を逐次後段に供給する。
　カメラ画像処理部２００は、撮像部１００より供給されるデジタル信号を画像化するための処理を行う。例えば、ホワイトバランス補正、Ｙ／Ｃ変換、階調変換、色補正等が主要な処理内容である。また、単板式のイメージセンサの場合には、デモザイク処理も行う。
　ノイズ低減部３００は、カメラ画像処理部２００より供給される画像信号ＮＲＩＮに対して、パラメータ設定部５００で設定された制御パラメータＤ１，Ｄ２に基づいてノイズ低減処理を行う。詳細は後述する。
　記録部４００は、ノイズ低減部３００より供給されるノイズ低減後画像信号ＮＲＯＵＴをメモリカード等の外部メディアに保存する。
　パラメータ設定部５００は、撮像部１００から供給される画像の解像度、フレームレート等の画像情報に基づいて、制御パラメータＤ１，Ｄ２を設定する。
　なお、本実施形態において、画像処理を行うカメラ画像処理部２００及びノイズ低減部３００は、画像処理エンジンと称される単一のシリコンチップ上の回路として実装されている。
　以下、ノイズ低減部３００について、図２を参照して詳しく説明する。
　図２に示されるように、ノイズ低減部３００は、多重解像度分解部３０１と、フレーム内ノイズリダクション部３１１，３２１と、フレームメモリ３３１と、動きベクトル検出部３３２と、動き補償部３３３と、巡回型ノイズリダクション部３３０と、多重解像度合成部３０２とを備えている。
　多重解像度分解部３０１は、ダウンサンプリング部３１０，３２０と、セレクタ３１２，３２２とを備えている。
　ダウンサンプリング部３１０，３２０は、不図示のローパスフィルタと画素間引き部とで構成されている。例えば、入力された画像に対し、下記のような３×３ガウシアンフィルタを適用した後で、縦横１画素おきに間引くことでダウンサンプリングが行われる。
Figure JPOXMLDOC01-appb-M000001
　セレクタ３１２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ２に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
　セレクタ３２２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ１に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
　多重解像度分解部３０１の前段は、セレクタ３１２の入力端子０にカメラ画像処理部２００から供給される画像信号ＮＲＩＮが入力され、セレクタ３１２の入力端子１にダウンサンプリング部３１０で画像信号ＮＲＩＮがダウンサンプリングされた信号が入力されるように構成されている。
　多重解像度分解部３０１の後段は、セレクタ３２２の入力端子０にセレクタ３１２からの出力信号が入力され、セレクタ３２２の入力端子１にダウンサンプリング部３２０でセレクタ３１２からの出力信号がダウンサンプリングされた信号が入力されるように構成されている。
　なお、本実施形態では、多重解像度分解部３０１において、前段と後段の２段でダウンサンプリングを行っているが、これに限定されず、１段であってもよく、或いは、３段以上のダウンサンプリングを行うこととしてもよい。
　フレーム内ノイズリダクション部３１１，３２１は、注目画素に対して空間的に隣接する画素又は領域の情報を用いてノイズ低減を行うように構成されている。例えば、以下の（１）式で表されるようなバイラテラルフィルタを用いることができる。
Figure JPOXMLDOC01-appb-M000002
 　ただし、ｋ（ｐ）は正規化関数で、以下の（２）式で表される。
Figure JPOXMLDOC01-appb-M000003
 　ここで、ｐは注目画素の位置、ｐ’は領域Ω内に含まれる参照画素の位置で、Ａは画素値を表す。Ａｐは注目画素の画素値、Ａｐ’は参照画素の画素値、ＡＮＲ ｐはノイズ低減後の注目画素値である。また、ｇｄは距離係数であり、一般的には注目画素位置を中心とするガウシアン型関数が用いられる。ｇｒは注目画素値と参照画素値の差分（Ａｐ－Ａｐ’）が大きいほど小さくなる単調減少関数が用いられる。
　バイラテラルフィルタは、通常のガウシアンフィルタに画素値の差による評価関数を作用させたものであり、エッジ保存型のノイズ低減フィルタとして有効である。
　動きベクトル検出部３３２は、セレクタ３２２からの出力信号を基準画像、フレームメモリ３３１に保持された１フレーム前の巡回画像を参照画像として、画素毎又は領域毎の動きベクトルを検出するように構成されている。動きベクトルを検出する方法としては、ブロックマッチング法等を採用することができる。
　動き補償部３３３は、フレームメモリ３３１に保持された１フレーム前の巡回画像、すなわち参照画像に対し、動きベクトル検出部３３２で検出された動きベクトルを用いて動き補償を行い、その結果を動き補償画像として出力するように構成されている。
　巡回型ノイズリダクション部３３０は、動き補償部３３３から出力される動き補償画像とセレクタ３２２から出力される基準画像とを合成することによりノイズ低減処理を行い、ノイズ低減基準画像を出力するように構成されている。
　巡回型ノイズリダクション部３３０は、基準画像をＩ［ｎ］、参照画像をＩ［ｎ－１］、出力されるノイズ低減基準画像をＯ［ｎ］とすると、以下の式（３）で表される処理をすることにより、ノイズ低減処理が行われる。
Ｏ［ｎ］＝（１－α）・Ｉ［ｎ］＋α・Ｉ［ｎ－１］　　・・・（３）
但し、０≦α＜１
　ここで、αは、画素毎又は領域毎に評価される係数であり、基準画像と参照画像との一致度が高いほど大きくなるように制御される。
　評価関数としては、例えば、基準画像の注目画素と参照画像の注目画素との差分値、注目画素の周辺領域に対する差分絶対値和（ＳＡＤ：Summation　of　Absolute　Difference）等が用いられる。
　フレームメモリ３３１は、巡回型ノイズリダクション部３３０で生成されたノイズ低減基準画像を巡回画像として保持するように構成されている。
　多重解像度合成部３０２は、アップサンプリング部３４０，３５０と、加算器３４１，３５１と、セレクタ３４２，３５２とを備えている。
　アップサンプリング部３４０，３５０は、バイリニア補間、バイキュービック補間等を用いて画素補間をすることでアップサンプリングが行われるように構成されている。
　セレクタ３４２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ１に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
　セレクタ３５２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ２に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
　多重解像度合成部３０２の前段は、セレクタ３４２の入力端子０に巡回型ノイズリダクション部３３０から出力されたノイズ低減基準画像が入力され、セレクタ３４２の入力端子１に、アップサンプリング部３４０によってノイズ低減基準画像がアップサンプリングされた信号と、セレクタ３１２からの出力信号がフレーム内ノイズリダクション部３２１によってノイズ低減された信号とを加算した信号が入力されるように構成されている。
　多重解像度合成部３０２の後段は、セレクタ３５２の入力端子０にセレクタ３４２から出力された信号が入力され、セレクタ３５２の入力端子１に、アップサンプリング部３５０によってセレクタ３４２からの出力信号がアップサンプリングされた信号と、画像信号ＮＲＩＮがフレーム内ノイズリダクション部３１１によってノイズ低減された信号とを加算した信号が入力されるように構成されている。
　次に、上記構成を備える画像処理システム１の作用について説明する。
　ユーザによる撮影が開始されると、撮像部１００において、光学レンズを介してイメージセンサ上に結像された被写体の光情報が電気情報に変換され、さらに、ＡＤ変換器等によりデジタル信号に変換される。変換されたデジタル信号は、カメラ画像処理部２００において、ホワイトバランス補正等の前処理が行われた後、画像信号ＮＲＩＮとしてノイズ低減部３００に入力される。
　また、撮像部１００において予め設定される入力画像サイズ、フレームレート等の画像情報は、パラメータ設定部５００に出力される。
　パラメータ設定部５００では、入力された画像情報に基づいて、ノイズ低減部３００を制御するための制御パラメータＤ１，Ｄ２が設定される。具体的には、パラメータ設定部５００に備えられる不図示のＣＰＵ（Central Processing Unit）が、パラメータ設定用のレジスタに制御パラメータＤ１，Ｄ２を書き込むことにより設定が行われる。
　そして、ノイズ低減部３００において、設定された制御パラメータＤ１，Ｄ２に基づいてノイズ低減処理が行われ、ノイズ低減後画像信号ＮＲＯＵＴが出力される。
　その後、ノイズ低減後画像信号ＮＲＯＵＴは、記録部４００に記録される。
　次に、制御パラメータ（Ｄ１，Ｄ２）＝（１，１）と設定された場合のノイズ低減部３００の作用について説明する。
　制御パラメータ（Ｄ１，Ｄ２）＝（１，１）と設定されているため、セレクタ３１２，３２２，３５２，３５２のいずれについても、各入力端子１に入力された信号が各出力端子に出力される。
　高解像度画像であるカメラ画像処理部２００から供給される画像信号ＮＲＩＮは、フレーム内ノイズリダクション部３１１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
　なお、「高解像度」とは、ノイズ低減部３００の内部で中間生成される他の画像の解像度と比較して相対的に高い解像度であることを意味する。
　一方で、画像信号ＮＲＩＮは、ダウンサンプリング部３１０によって１／２のサイズに縮小される。なお、本明細書において、「縮小」とは、縦サイズ及び横サイズの縮小を意味する。つまり、１／２のサイズに縮小される場合、データ量としては１／４となる。同様に、「拡大」とは、縦サイズ及び横サイズの拡大を意味する。つまり、２倍のサイズに拡大される場合、データ量としては４倍となる。
　ダウンサンプリング部３１０によってダウンサンプリングされて１／２のサイズに縮小された画像（中解像度画像）は、フレーム内ノイズリダクション部３２１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
　一方で、この中解像度画像は、ダウンサンプリング部３２０によって更に１／２のサイズに縮小される。そのため、セレクタ３２２の出力信号は、画像信号ＮＲＩＮと比較すると１／４に縮小された画像（低解像度画像）となっている。言い換えると、画像信号ＮＲＩＮの１／４の周波数成分を有する画像信号である。
　このように、多重解像度分解部３０１では、画像信号ＮＲＩＮが、高解像度画像、中解像度画像及び低解像度画像の３つの解像度画像に分解される。
　続いて、３つの解像度画像のうち、低解像度画像を基準画像として、巡回型ノイズ低減処理が行われる。
　まず、動きベクトル検出部３３２において、基準画像である低解像度画像と、フレームメモリ３３１に保持された１フレーム前のフレーム画像とから、ブロックマッチング法等を使用して、画素毎又は領域毎の動きベクトルを検出する。
　なお、動きベクトルを検出せずに、フレーム間で動きがないものと想定し、動きベクトルをゼロとして扱うこととしてもよい。
　次に、動き補償部３３３において、動きベクトル検出部３３２で検出された動きベクトルに基づいて、フレームメモリ３３１から読み出されたフレーム画像を現在の基準画像に一致させるように動き補償が行われて動き補償画像が生成される。
　こうすることで、被写体に動きがある場合であっても、効率良く巡回型ノイズ低減処理を行うことができ、巡回型ノイズ低減処理の効果を高めることができる。
　次に、巡回型ノイズリダクション部において、生成された動き補償画像と基準画像とが合成されて、低解像度のノイズ低減基準画像が生成される。
　そして、生成された低解像度のノイズ低減基準画像は、フレーム内ノイズリダクション処理がなされた中解像度画像と解像度を一致させることにより合成される。具体的には、生成された低解像度のノイズ低減基準画像は、アップサンプリング部３４０で２倍のサイズに拡大されるとともに、加算器３４１によって、フレーム内ノイズリダクション部３２１から出力される画像と加算されて、中解像度のノイズ低減画像が生成される。
　続いて、生成された中解像度のノイズ低減基準画像は、フレーム内ノイズリダクション処理がなされた高解像度画像と解像度を一致させることにより合成される。具体的には、生成された中解像度のノイズ低減画像は、アップサンプリング部３５０で２倍のサイズに拡大されるとともに、加算器３５１によって、フレーム内ノイズリダクション部３１１から出力される画像と加算されて、高解像度のノイズ低減画像が生成される。
　このように、多重解像度合成部３０２では、巡回型ノイズ低減処理が施された低解像度のノイズ低減基準画像と、フレーム内ノイズ低減処理が施された中解像度及び高解像度のノイズ低減画像とがそれぞれの画像の解像度を一致させた上で合成される。
　こうして生成された高解像度のノイズ低減画像は、ノイズ低減部３００からノイズ低減後画像信号ＮＲＯＵＴとして出力される。
　このように、入力された画像信号ＮＲＩＮよりも解像度の低い画像の一つに対してのみ、巡回型ノイズリダクション部３３０による巡回型ノイズ低減処理が行われるため、巡回型ノイズ低減処理を行う際に必要となるフレームメモリ３３１の容量及びフレームメモリ３３１へのアクセス量を削減することができる。
　図３は、図２に示されるノードＡ～ノードＦにおける画像の例を示している。ノードＢにおける１段階ダウンサンプリング後の画像信号は、ノードＡにおける元解像度の画像信号と比べて１／２のサイズに縮小されている。また、ノードＣ及びノードＤにおける２段階ダウンサンプリング後の画像信号は、ノードＡにおける元解像度の画像信号と比べて１／４のサイズに縮小されている。このことは、巡回型ノイズ低減処理を行う際に必須となるフレームメモリ３３１へのアクセス量も大幅に削減できることを示している。
　次に、制御パラメータ（Ｄ１，Ｄ２）＝（１，０）と設定された場合のノイズ低減部３００の作用について説明する。
　制御パラメータ（Ｄ１，Ｄ２）＝（１，０）と設定されているため、セレクタ３１２，３５２では、各入力端子０に入力された信号が各出力端子に出力され、セレクタ３２２，３４２では、各入力端子１に入力された信号が各出力端子に出力される。よって、この場合の等価回路は、図４のようになる。
　高解像度画像であるカメラ画像処理部２００から供給される画像信号ＮＲＩＮは、フレーム内ノイズリダクション部３２１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
　一方で、画像信号ＮＲＩＮは、ダウンサンプリング部３２０によって１／２のサイズに縮小される。
　続いて、ダウンサンプリング部３２０によって１／２のサイズに縮小された画像（中解像度画像）を基準画像として、巡回型ノイズ低減処理が行われる。巡回型ノイズ低減処理については、既に説明しているためここでは説明を省略する。
　巡回型ノイズ低減処理によって生成された中解像度のノイズ低減画像は、アップサンプリング部３４０で２倍のサイズに拡大されるとともに、加算器３４１によって、フレーム内ノイズリダクション部３２１から出力される画像と加算されて、高解像度のノイズ低減画像が生成される。
　こうして生成された高解像度のノイズ低減画像は、ノイズ低減部３００からノイズ低減後画像信号ＮＲＯＵＴとして出力される。
　制御パラメータ（Ｄ１，Ｄ２）＝（０，１）と設定された場合については、図４におけるダウンサンプリング部３２０の役割をダウンサンプリング部３１０が、フレーム内ノイズリダクション部３２１の役割をフレーム内ノイズリダクション部３１１が、アップサンプリング部３４０の役割をアップサンプリング部３５０が、加算器３４１の役割を加算器３５１が、それぞれ行う。従って、図４に示されるブロック図と等価となるため、説明を省略する。
　制御パラメータ（Ｄ１，Ｄ２）＝（０，０）と設定された場合には、図５に示されるように、巡回型ノイズリダクションのみを行う構成となる。
　このように、パラメータ設定部５００が、入力された画像情報に基づいて制御パラメータＤ１，Ｄ２を設定することにより、セレクタ３１２，３２２，３４２，３５２を制御する。これにより、巡回型ノイズリダクション部３３０において巡回型ノイズ低減処理が行われる基準画像の解像度を画像情報に応じて適切に決定することができる。結果として、フレームメモリ３３１の容量及びフレームメモリ３３１へのアクセス量を削減することができる。
　図６は、本実施形態に係るノイズ低減部３００における制御の一例を示した図表であり、入力／出力解像度、すなわち、画像信号ＮＲＩＮ／ノイズ低減後画像信号ＮＲＯＵＴの解像度と、パラメータ設定部５００で設定される制御パラメータＤ１，Ｄ２と、基準画像の解像度との関係を示している。
　本実施形態のパラメータ設定部５００は、画像信号ＮＲＩＮの解像度に応じて基準画像の解像度が一定になるように制御パラメータＤ１，Ｄ２を設定する。　パラメータ設定部５００は、各入力／出力解像度に対して制御パラメータＤ１，Ｄ２を関連付けたテーブルを有しており、このテーブルをもとにノイズ低減部３００のセレクタ３１２，３２２，３４２，３５２を切り替える制御を行うように構成されている。
　図６に示される例では、画像信号ＮＲＩＮの解像度がフルＨＤ（High-Definition）解像度（水平１９２０×垂直１０８０）の場合、画像信号ＮＲＩＮの有する全ての周波数成分に対して巡回型ノイズ低減処理が行われる。画像信号ＮＲＩＮの解像度が４ｋ解像度（水平３８４０×垂直２１６０）では、１／２の周波数成分に対して、８ｋ解像度（水平７６８０×垂直４３２０）では、１／４の周波数成分に対してそれぞれ巡回型ノイズ低減処理が行われる。それ以上の周波数成分に対しては、フレーム内ノイズ低減処理が行われる。
　これにより、巡回型ノイズリダクション部３３０とフレームメモリ３３１との間のデータ量を常に一定に抑えることができ、画像信号ＮＲＩＮが高い解像度を有する場合であっても消費電力が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
　なお、本実施形態において、ノイズ低減部３００は、ハードウェアとして実装されているが、これに限定されることなく、ソフトウェアである画像処理プログラムをコンピュータに実行させることにより実装されてもよい。
　以下、コンピュータが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図７を参照して説明する。
　まず、ステップＳ１において画像信号ＮＲＩＮが入力されると、ステップＳ２において、画像信号ＮＲＩＮに対して多重解像度分解処理を行い、画像信号ＮＲＩＮを複数の解像度を有する画像に分解する。次に、ステップＳ３において、分解された複数の画像のうち画像信号ＮＲＩＮよりも低い解像度を有する画像（基準画像）と１フレーム前の巡回画像（参照画像）との間で動きベクトルを検出する。そして、ステップＳ４において、検出された動きベクトルに基づいて、参照画像に対して動き補償を行って動き補償画像を生成する。次に、ステップＳ５において、基準画像と動き補償画像とを合成することにより巡回型ノイズ低減処理を行ってノイズ低減基準画像を生成する。続いて、ステップＳ６において、多重解像度合成処理を行い、基準画像以外の解像度を有する画像とノイズ低減基準画像とを合成し、その結果をステップＳ７においてノイズ低減後画像信号ＮＲＯＵＴとして出力する。
（第２の実施形態）
　本発明に係る画像処理装置の第２の実施形態について説明する。
　本実施形態は、上述の第１の実施形態に対して、パラメータ設定部５００の構成が異なる。その他の点については、第１の実施形態と同様であるので説明は省略する。
　図８は、本実施形態に係るノイズ低減部３００における制御の一例を示した図表であり、入力／出力解像度、すなわち、画像信号ＮＲＩＮ／ノイズ低減後画像信号ＮＲＯＵＴの解像度及びフレームレートと、パラメータ設定部５００で設定される制御パラメータＤ２，Ｄ１と、基準画像の解像度と、帯域幅との関係を示している。
　本実施形態のパラメータ設定部５００は、入力信号である画像信号ＮＲＩＮのフレームレートが高くなるほど基準画像の解像度が小さくなるように制御パラメータＤ１，Ｄ２を設定する。パラメータ設定部５００は、各入力／出力解像度及び各フレームレートに対して制御パラメータＤ１，Ｄ２を関連付けたテーブルを有しており、このテーブルをもとに、ノイズ低減部３００のセレクタ３１２，３２２，３４２，３５２を切り替える制御を行うように構成されている。
　上記設定は、人間の視覚特性に基づくものである。一般に、人間の視感の時間分解能はそれほど高くはない。例えば、人間の視感では、１００Ｈｚで明滅する非インバータ式の蛍光灯の明滅を認識できない。これは、つまり、１００ｆｐｓ以上のフレームレートで白と黒を繰り返す動画は、肉眼では灰色として認識されることを示しており、ランダムノイズも特にノイズ低減処理を行わなくても人間の目にはある程度時間軸方向に平滑化されて認識されることを示している。
　図８に示される例では、画像信号ＮＲＩＮのフレームレートが３０ｆｐｓ及び６０ｆｐｓの場合、画像信号ＮＲＩＮの有する全ての周波数成分に対して巡回型ノイズ低減処理が行われる。画像信号ＮＲＩＮのフレームレートが１２０ｆｐｓでは、１／２の周波数成分に対して巡回型ノイズ低減処理が行われ、それ以上の周波数成分に対しては、フレーム内ノイズ低減処理が行われる。
　これにより、画像信号ＮＲＩＮのフレームレートが高い場合であっても、巡回型ノイズリダクション部３３０とフレームメモリ３３１との間のデータ量が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
　なお、図８では、画像信号ＮＲＩＮのフレームレートが３０ｆｐｓと６０ｆｐｓとの場合で、基準画像の解像度が等しくなるように制御されているが、これに限定されず、フレームレートが６０ｆｐｓの場合の基準画像の解像度を、フレームレートが３０ｆｐｓの場合の基準画像の解像度よりも小さくしてもよい。フレームレートが３０ｆｐｓから１２０ｆｐｓに向けて高くなるにしたがって、基準画像の解像度を段階的に小さくしてもよい。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　例えば、上述の実施形態では、ノイズ低減部３００が、セレクタ３１２，３２２，３４２，３５２を備え、画像信号ＮＲＩＮの画像情報、すなわち、画像サイズ、フレームレート等に応じてこれらが切り替えられる構成としたが、入力される画像信号ＮＲＩＮの画像情報が固定の場合には、セレクタ３１２，３２２，３４２，３５２を設けない構成としてもよい。
　また、上述の実施形態では、巡回型ノイズ低減処理を行わない解像度画像については、フレーム内ノイズリダクション部３１１，３２１を備える構成としたが、フレーム内ノイズリダクション部３１１，３２１を備えない構成としてもよい。
１　画像処理システム
３００　ノイズ低減部（画像処理装置）
３０１　多重解像度分解部
３０２　多重解像度合成部
３１１，３２１　フレーム内ノイズリダクション部
３１２，３２２，３４２，３５２　セレクタ
３３０　巡回型ノイズリダクション部
３３１　フレームメモリ
３３２　動きベクトル検出部
３３３　動き補償部
５００　パラメータ設定部（セレクタ制御部）

Claims (7)

  1. 　入力画像を複数の解像度画像に分解する多重解像度分解部と、
    　１フレーム前の巡回画像を参照画像として保持するフレームメモリと、
    　前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像と前記参照画像の間で動きベクトルを検出する動きベクトル検出部と、
    　前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する動き補償部と、
    　前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する巡回型ノイズリダクション部と、
    　前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する多重解像度合成部と、
    を備える画像処理装置。
  2. 　前記基準画像の解像度が、前記入力画像の画像情報に基づいて設定される請求項１に記載の画像処理装置。
  3. 　前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、
    　該セレクタを制御するセレクタ制御部と、
    を備え、
    　該セレクタ制御部が、前記基準画像の解像度が一定となるように前記セレクタを切り替える請求項２に記載の画像処理装置。
  4. 　前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、
    　該セレクタを制御するセレクタ制御部と、
    を備え、
    　該セレクタ制御部が、前記入力画像のフレームレートが高くなるほど前記基準画像の解像度が低くなるように、前記セレクタを切り替える請求項２に記載の画像処理装置。
  5. 　前記基準画像以外の解像度画像に対し空間フィルタを適用してノイズリダクションを行うフレーム内ノイズリダクション部を備える請求項１から請求項４のいずれか一項に記載の画像処理装置。
  6. 　入力画像を複数の解像度画像に分解する工程と、
    　前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する工程と、
    　前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する工程と、
    　前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する工程と、
    　前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する工程と、
    を備える画像処理方法。
  7. 　入力画像を複数の解像度画像に分解する処理と、
    　前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する処理と、
    　前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する処理と、
    　前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する処理と、
    　前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する処理と、
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2016/063845 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム WO2017195267A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018516242A JP6714078B2 (ja) 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム
CN201680085460.6A CN109076144B (zh) 2016-05-10 2016-05-10 图像处理装置、图像处理方法以及存储介质
PCT/JP2016/063845 WO2017195267A1 (ja) 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム
US16/162,483 US10825145B2 (en) 2016-05-10 2018-10-17 Image processing device, image processing method, and non-transitory computer readable medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/063845 WO2017195267A1 (ja) 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/162,483 Continuation US10825145B2 (en) 2016-05-10 2018-10-17 Image processing device, image processing method, and non-transitory computer readable medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2017195267A1 true WO2017195267A1 (ja) 2017-11-16

Family

ID=60267779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063845 WO2017195267A1 (ja) 2016-05-10 2016-05-10 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10825145B2 (ja)
JP (1) JP6714078B2 (ja)
CN (1) CN109076144B (ja)
WO (1) WO2017195267A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546990B1 (ko) 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
CN111754387B (zh) * 2019-03-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
US20220188988A1 (en) * 2019-03-29 2022-06-16 Sony Group Corporation Medical system, information processing device, and information processing method
CN112308771A (zh) * 2019-07-31 2021-02-02 维沃移动通信有限公司 一种图像处理方法、装置及电子设备
CN118056203A (zh) * 2021-12-10 2024-05-17 谷歌有限责任公司 用于处理流式传输输入数据的可扩展硬件架构模板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288595A (ja) * 2006-04-18 2007-11-01 Pioneer Electronic Corp フレーム巡回型ノイズ低減装置
JP2010239513A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像処理装置、方法、プログラム、及び撮像システム
JP2013225779A (ja) * 2012-04-23 2013-10-31 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237413A (en) * 1991-11-19 1993-08-17 Scientific-Atlanta, Inc. Motion filter for digital television system
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CA2397389A1 (en) * 2002-08-09 2004-02-09 Djemel Ziou Image model based on n-pixels and defined in algebraic topology, and applications thereof
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
CN100433062C (zh) * 2006-09-01 2008-11-12 上海大学 一种Contourlet变换域的图像降噪方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
WO2008100640A1 (en) * 2007-02-16 2008-08-21 Marvell World Trade Lte. Methods and systems for improving low resolution and low frame rate video
US8463006B2 (en) * 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
JP5036482B2 (ja) * 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
CN100576881C (zh) * 2007-12-26 2009-12-30 西安交通大学 一种基于多相滤波技术的自适应视频图像缩放引擎
JP4645736B2 (ja) 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9002134B2 (en) * 2009-04-17 2015-04-07 Riverain Medical Group, Llc Multi-scale image normalization and enhancement
US8520734B1 (en) * 2009-07-31 2013-08-27 Teradici Corporation Method and system for remotely communicating a computer rendered image sequence
WO2011086877A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 映像処理装置及び映像表示装置
JP2011199716A (ja) 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012216109A (ja) 2011-04-01 2012-11-08 Sony Corp 画像処理装置と画像処理方法
SG10201606621XA (en) * 2012-01-20 2016-09-29 Ge Video Compression Llc Coding Concept Allowing Parallel Processing, Transport Demultiplexer and Video Bitstream
KR20150020175A (ko) * 2012-04-24 2015-02-25 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
EP3092603B1 (en) * 2014-01-07 2022-05-11 ML Netherlands C.V. Dynamic updating of composite images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288595A (ja) * 2006-04-18 2007-11-01 Pioneer Electronic Corp フレーム巡回型ノイズ低減装置
JP2010239513A (ja) * 2009-03-31 2010-10-21 Olympus Corp 画像処理装置、方法、プログラム、及び撮像システム
JP2013225779A (ja) * 2012-04-23 2013-10-31 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム

Also Published As

Publication number Publication date
JPWO2017195267A1 (ja) 2019-03-14
US20190050968A1 (en) 2019-02-14
CN109076144B (zh) 2021-05-11
US10825145B2 (en) 2020-11-03
JP6714078B2 (ja) 2020-06-24
CN109076144A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP6714078B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5694293B2 (ja) ビデオフレームの画像データを選択的に合成するためのシステムおよび方法
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP5677040B2 (ja) 画像処理装置およびその制御方法
US20050013509A1 (en) High resolution image reconstruction
CN109328454B (zh) 图像处理装置
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
CN110889809B9 (zh) 图像处理方法及装置、电子设备、存储介质
JP2014119997A (ja) 画像処理装置およびその制御方法
JP5569042B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5649927B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2007180851A (ja) Ｒａｗ画像の階調変換装置、プログラム、方法、および電子カメラ
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
WO2005059833A1 (ja) 輝度補正装置および輝度補正方法
JP6408884B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4339671B2 (ja) 撮像装置
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4379100B2 (ja) 撮像装置および方法、並びにプログラム
US20140071314A1 (en) Image processing apparatus and control method thereof
JP2015204489A (ja) 画像処理装置および画像処理方法
JP2015026305A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018516242

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16901616

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16901616

Country of ref document: EP

Kind code of ref document: A1