WO2020031362A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2020031362A1
WO2020031362A1 PCT/JP2018/030009 JP2018030009W WO2020031362A1 WO 2020031362 A1 WO2020031362 A1 WO 2020031362A1 JP 2018030009 W JP2018030009 W JP 2018030009W WO 2020031362 A1 WO2020031362 A1 WO 2020031362A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
box filter
filter
box
synthesis
Prior art date
Application number
PCT/JP2018/030009
Other languages
English (en)
French (fr)
Inventor
康平 栗原
大祐 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020535457A priority Critical patent/JP6896177B2/ja
Priority to PCT/JP2018/030009 priority patent/WO2020031362A1/ja
Publication of WO2020031362A1 publication Critical patent/WO2020031362A1/ja

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • the sum of pixel values or the sum of squares required for calculation of the average or standard deviation (variance) of a rectangular area which is often performed in filter processing, is independent of the kernel size.
  • the calculation can be performed at high speed. If the smoothing filter processing is configured by a combination of processing to which the integral image method can be applied, a filter with low calculation cost can be designed.
  • the filter size is fixed for the entire image.
  • the filter size is set to be large, the edge region is strongly smoothed.
  • the filter size is set small, the smoothing effect on the edge region and the flat region is reduced. For this reason, there is a need for a technique for enhancing the smoothing effect on the vicinity of the edge and the flat region.
  • Patent Literature 1 an edge image is generated in advance for an input image, a target pixel and a target rectangular region of the input image are scanned in the filtering process, and when the target rectangular region includes an edge pixel, a “filter 2.
  • An image processing apparatus that performs smoothing processing by changing any of “size”, “offset”, and “overlap” to perform smoothing processing even near intricate edges has been proposed.
  • the conventional image processing apparatus reduces the filter size in the vicinity of the edge, so that the smoothing effect in the vicinity of the edge is reduced.
  • the conventional image processing apparatus sequentially determines whether or not an edge pixel is included in the rectangular area of interest, and changes the filter size based on the determination result. And the calculation cost increases.
  • one or more aspects of the present invention have an object to improve the smoothing effect on the vicinity of an edge and a flat region while preserving an edge or a gradient by using a plurality of box filters. I do.
  • An image processing apparatus performs a smoothing process using a plurality of box filters having different sizes or aspect ratios to generate a plurality of smoothed images corresponding to the plurality of box filters.
  • a composite box filter processing unit that performs box filter processing on the input image; and the plurality of pixels included in each of the plurality of smoothed images, and the plurality of pixels included in each of the plurality of smoothed images,
  • a synthesis rule specifying unit that specifies a synthesis rule for synthesizing the smoothed image
  • a synthesis processing unit that generates a synthesis filter processing image by executing a synthesis process that synthesizes the plurality of smoothed images according to the synthesis rule.
  • An image processing method performs a smoothing process using a plurality of box filters having different sizes or aspect ratios from each other to generate a plurality of smoothed images corresponding to the plurality of box filters.
  • a synthesis filter image is generated by specifying a synthesis rule to be performed and performing a synthesis process of synthesizing the plurality of smoothed images according to the synthesis rule.
  • FIG. 2 is a block diagram schematically showing a configuration of the image processing apparatus according to the first embodiment.
  • (A)-(E) are schematic diagrams for explaining the integral image method.
  • (A)-(D) are schematic diagrams showing a box filter.
  • FIG. 5 is a schematic diagram for explaining a method of generating an integral image. It is a block diagram which shows an example of an intermediate image synthesis filter processing part schematically.
  • (A) and (B) are block diagrams illustrating an example of a hardware configuration. 5 is a flowchart illustrating an image processing method.
  • FIG. 11 is a block diagram schematically illustrating a configuration of an image processing apparatus according to a modification.
  • FIG. 9 is a block diagram schematically showing a configuration of an image processing device according to a second embodiment.
  • FIG. 1 is a block diagram schematically showing a configuration of an image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 includes an input image synthesis filter processing unit 101 and an intermediate image synthesis filter processing unit 110.
  • the input image synthesis filter processing unit 101 generates a synthesis filter processing image D3 by filtering the input image DIN. Then, the input image synthesis filter processing unit 101 gives the synthesis filter processing image D3 and synthesis weight maps D2-1 to D2-4 to be described later to the intermediate image synthesis filter processing unit 110.
  • the input image synthesis filter processing unit 101 includes a composite box filter processing unit 102, a synthesis rule identification unit 107, and a synthesis processing unit 108.
  • the composite box filter processing unit 102 performs composite box filter processing on the input image DIN.
  • the composite box process is a process of generating a plurality of smoothed images D1-1 to D1-4 corresponding to a plurality of box filters by executing smoothing using a plurality of box filters having mutually different sizes or aspect ratios. is there.
  • the composite box filter processing unit 102 performs edge-preserving smoothing on the input image DIN by an integral image method using a plurality of box filters. Then, the composite box filter processing unit 102 gives the smoothed images D1-1 to D1-4, which are the results of the composite box filter processing, to the combination rule identification unit 107 and the combination processing unit 108.
  • the integral image is expressed by an equation representing the correspondence at a certain coordinate (x, y) when the image composed of the pixel values obtained by summing the pixel values from the origin of the image to a certain pixel of interest is IMG, and the integral image is INTEGRAL. This is shown in (1).
  • the addition value V of an arbitrary rectangular area AR in the image shown in FIG. 2A can be calculated as shown in FIG. 2) to 2 (E), and can be calculated by addition and subtraction of the integral images II1 to II4.
  • the composite box filter processing unit 102 includes a large box filter processing unit 103, a vertical box filter processing unit 104, a horizontal box filter processing unit 105, and a small box filter processing unit 106.
  • Each of the large box filter processing unit 103, the vertical box filter processing unit 104, the horizontal box filter processing unit 105, and the small box filter processing unit 106 uses a box filter having a different size and / or a different aspect ratio, Edge preserving smoothing filter processing is performed by the integral image method.
  • FIGS. 3A to 3D are schematic diagrams showing a box filter used in the composite box filter processing unit 102.
  • the large box filter processing unit 103 uses, for example, a box filter BF1 having a size of M ⁇ M pixels (M is an integer of 2 or more) as shown in FIG. Then, an edge-preserving smoothing filter process is performed on the input image DIN to generate a smoothed image D1-1.
  • the vertical box filter processing unit 104 uses, for example, a box filter BF2 having a size of N ⁇ M pixels (N is an integer of 1 or more that satisfies N ⁇ M) as shown in FIG. Then, edge preserving smoothing filter processing is performed on the input image DIN to generate a smoothed image D1-2.
  • the horizontal box filter processing unit 105 performs edge-preserving smoothing filter processing on the input image DIN using, for example, a box filter BF3 having a size of M ⁇ N pixels as shown in FIG. , And generates a smoothed image D1-3.
  • the small box filter processing unit 106 performs edge-preserving smoothing filter processing on the input image DIN using, for example, a box filter BF4 having a size of N ⁇ N pixels as shown in FIG. , Generate a smoothed image D1-4.
  • the accumulation operation of M pixels in the horizontal direction and the accumulation operation of M pixels in the horizontal direction are performed.
  • a cumulative operation of M pixels in the vertical direction, a cumulative operation of N pixels in the vertical direction, a cumulative operation of N pixels in the horizontal direction, and a horizontal operation are performed six times. It is possible to generate four types of integral images II1 to II4 having a rectangular size.
  • the configuration of the plurality of box filters used in the composite box filter processing unit 102 is not limited to the box filters BF1 to BF4 shown in FIG.
  • the plurality of box filters used in the composite box filter processing unit 102 can be freely configured by box filters different in at least one of size and aspect ratio.
  • the composite box filter processing unit 102 uses three types of box filters, for example, the box filters BF1 to BF3 or the box filters BF2 to BF4, thereby reducing the calculation time as compared with the case of using four types of box filters BF1 to BF4. Can be reduced.
  • the box filter BF1 is the first box filter
  • the box filter BF2 is the second box filter
  • the box filter BF3 is the third box filter
  • the box filter BF4. Is also referred to as a fourth box filter.
  • the box filter BF1 is also called a first box filter
  • the box filter BF2 is also called a second box filter
  • the box filter BF3 is also called a third box filter.
  • the box filter BF4 is also called a first box filter
  • the box filter BF2 is also called a second box filter
  • the box filter BF3 is also called a third box filter.
  • the synthesis rule specifying unit 107 determines a difference between each of a plurality of pixels included in each of the plurality of smoothed images D1-1 to D1-4 and a corresponding pixel of the input image DIN. Then, a combination rule for combining the plurality of smoothed images D1-1 to D1-4 is specified.
  • the synthesis rule specifying unit 107 calculates the weight of each of the plurality of pixels included in each of the plurality of smoothed images D1-1 to D1-4 such that the smaller the difference value is, the larger the weight is.
  • a plurality of combined weight maps D2-1 to D2-4 indicating the calculated weights for each pixel are generated as a combination rule corresponding to the plurality of smoothed images D1-1 to D1-4.
  • An example of a method for calculating the composite weight maps D2-1 to D2-4 is shown below.
  • the coordinate value of the pixel of interest in the smoothed image D1-i (i is any one of 1 to 4) is represented by X, and the difference value between the pixel value of the coordinate value X and the pixel value of the coordinate value X of the input image DIN Is represented as diff i (X), and the composite weight of the pixel of interest X in the composite weight map D2-i corresponding to the smoothed image D1-i is represented as W (X, i). Examples are shown in Equations (3), (4) and (5).
  • the synthesis rule specifying unit 107 indicates the synthesis weight map D2-1 indicating the synthesis weight of each pixel of the smoothed image D1-1 and the synthesis weight of each pixel of the smoothed image D1-2.
  • the synthesis rule specifying unit 107 provides the synthesis weight maps D2-1 to D2-4 to the synthesis processing unit 108 and the intermediate image synthesis filter processing unit 110.
  • the synthesis processing unit 108 executes a synthesis process of synthesizing the plurality of smoothed images D1-1 to D1-4 using the corresponding synthesis weight maps D2-1 to D2-4, so that the synthesis filter processing image D3 Generate
  • the synthesis processing unit 108 synthesizes a plurality of smoothed images D1-1 to D1-4 by performing weighted averaging according to a plurality of synthesis weight maps D2-1 to D2-4. Specifically, the pixel value of each pixel of the smoothed images D1-1 to D1-4 is multiplied by the composite weight of the corresponding pixel in the corresponding plurality of D2-1 to D2-4, and By adding the multiplication value for each pixel, a synthesis filter processing image D3 is generated. Then, the synthesis processing unit 108 provides the synthesis filter processing image D3 to the intermediate image synthesis filter processing unit 110.
  • the synthesis rule specifying unit 107 calculates the synthesis weight maps D2-1 to D2-4, and the synthesis processing unit 108 performs weighted averaging, whereby a pseudo contour or the like in the box filter switching area is obtained. Can be avoided, and image quality can be improved.
  • the intermediate image synthesis filter processing unit 110 performs the composite box filter processing and the synthesis processing on the input image DIN or the synthesis filter processing image D3 one or more times using the synthesis weight maps D2-1 to D2-4. Thus, a composite image DOUT is generated.
  • FIG. 5 is a block diagram schematically illustrating an example of the intermediate image synthesis filter processing unit 110.
  • the intermediate image synthesis filter processing unit 110 includes a plurality of composite box filter processing units 111-1 to 111-k (k is an integer of 2 or more) and a plurality of synthesis processing units 116-1 to 116-k.
  • the composite box filter processing sections 111-1 to 111-k include large box filter processing sections 112-1 to 112-k, vertical box filter processing sections 113-1 to 113-k, and horizontal box filter processing section 114-1. To 114-k and small box filter processing units 115-1 to 115-k.
  • Each of the plurality of composite box filter processing units 111-1 to 111-k performs the same processing on the input image as the composite box filter processing unit 102 shown in FIG. Further, each of the combination processing units 116-1 to 116-k performs the same processing as that of the combination processing unit 108 shown in FIG.
  • the intermediate image synthesis filter processing unit 110 includes a plurality of composite box filter processing units 111-1 to 111-k and a plurality of synthesis processing units 116-1 to 116-k.
  • one composite box filter processing unit and one synthesis processing unit may be provided.
  • box filtering is performed a plurality of times inside the processing.
  • the smoothing performance near the edge can be improved by replacing the ordinary box filter processing with the composite box filter processing.
  • Part or all of the input image synthesizing filter processing unit 101 and the intermediate image synthesizing filter processing unit 110 described above include, for example, a single circuit, a composite circuit, and a program as shown in FIG. It can also be configured with a processing circuit 10 such as an integrated processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuits), or an FPGA (Field Programmable Gate Array).
  • a processing circuit 10 such as an integrated processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuits), or an FPGA (Field Programmable Gate Array).
  • a part or all of the input image synthesis filter processing unit 101 and the intermediate image synthesis filter processing unit 110 are stored in the memory 11 and the memory 11 as shown in FIG. 6B, for example. It can be configured by a processor 12 such as a CPU (Central Processing Unit) that executes a program. Such a program may be provided through a network, or may be provided by being recorded on a recording medium. That is, such a program may be provided as a program product, for example.
  • a processor 12 such as a CPU (Central Processing Unit) that executes a program.
  • a program may be provided through a network, or may be provided by being recorded on a recording medium. That is, such a program may be provided as a program product, for example.
  • FIG. 7 is a flowchart illustrating the image processing method according to the first embodiment.
  • the composite box filter processing unit 102 receives an input of the input image DIN (S10).
  • the composite box filter processing unit 102 performs composite box filter processing on the input image DIN, and provides the plurality of smoothed images D1-1 to D1-4 to the combination rule identification unit 107 and the combination processing unit 108 ( S11).
  • the synthesis rule specifying unit 107 calculates a difference value between the pixel value of each pixel of the plurality of smoothed images D1-1 to D1-4 and the pixel value of the corresponding pixel of the input image DIN.
  • a plurality of composite weight maps D2-1 to D2-4 are calculated for each of the plurality of smoothed images D1-1 to D1-4 such that the weight increases as the difference value decreases (S12). .
  • the synthesis processing unit 108 performs synthesis processing for synthesizing the plurality of smoothed images D1-1 to D1-4 using the plurality of synthesis weight maps D2-1 to D2-4, thereby performing synthesis filter processing.
  • An image D3 is generated (S13).
  • the intermediate image synthesis filter processing unit 110 uses the plurality of synthesis weight maps D2-1 to D2-4 to perform the composite box filter processing and the synthesis processing on the input image DIN or the synthesis filter processing image D3 once. Alternatively, a plurality of times are performed to generate a composite image DOUT (S14).
  • image information such as edges is obtained by smoothing filter processing for reducing artifacts such as image noise or compression distortion while preserving image edges.
  • filter processing for reducing artifacts such as image noise or compression distortion
  • the edge or gradient can be preserved, and the effect of smoothing the vicinity of the edge and the flat region can be enhanced.
  • the composite box filter processing unit 102 includes a large box filter processing unit 103, a vertical box filter processing unit 104, a horizontal box filter processing unit 105, and a small box filter processing unit 106.
  • the filter size in the region near the edge can be set larger, so that the smoothing effect in the region near the edge can be enhanced.
  • the filter size at the time of generating an integral image can be compared with the case where an arbitrary size is set. Can be reduced.
  • the image processing apparatus 100 since the image processing apparatus 100 according to the first embodiment has a configuration including box filter processing and four arithmetic operations of pixels, the integral image method can be applied, and high-speed processing operation is possible.
  • Embodiment 1 is configured as in image processing apparatus 100 shown in FIG. 1, but may be configured as in image processing apparatus 100 # shown in FIG. 8, for example.
  • the image processing apparatus 100 # illustrated in FIG. 8 is different from the image processing apparatus 100 illustrated in FIG. 1 in an input image synthesis filter processing unit 101 #.
  • the reduction processing unit 120 reduces the input image DIN, thereby reducing the overall calculation cost. Let me.
  • Other configurations are the same as those of the image processing apparatus 100 shown in FIG.
  • Embodiment 2 shows an example in which the composite box filter processing is applied to a guided filter, which is a type of edge-preserving smoothing filter.
  • FIG. 9 is a block diagram schematically illustrating a configuration of an image processing device 200 according to the second embodiment.
  • the image processing device 200 includes an input image synthesis filter processing unit 101, an intermediate image synthesis filter processing unit 110, and a calculation unit 230.
  • the input image synthesizing filter processing unit 101 and the intermediate image synthesizing filter processing unit 110 in the image processing device 200 according to the second embodiment are different from the input image synthesizing filter processing unit 101 and the intermediate image synthesizing in the image processing device 100 according to the first embodiment. This is the same as the filter processing unit 110.
  • the synthesis rule specifying unit 107 also provides the calculation unit 230 with the plurality of synthesis weight maps D2-1 to D2-4, and the synthesis processing unit 108 also provides the synthesis filter processing image D3 to the calculation unit 230,
  • the synthesis filter processing unit 110 provides the synthesis image DOUT to the calculation unit 230.
  • the calculation unit 230 performs a calculation in the filter processing using the guided filter. First, the filter processing using the guided filter will be described.
  • the pixel value corresponding to the pixel position x of the variance varI of the input image I is represented by Expression (8).
  • the variance varDIN is subjected to gradation conversion based on Expression (9) to obtain a coefficient a.
  • eps is a constant parameter that determines the degree of edge preservation.
  • the coefficient b is derived based on the equation (10).
  • the calculation unit 230 derives a guided filter output value q based on the linear regression coefficients a and b obtained by Expressions (9) and (10).
  • MBF 0 (I) indicates a synthesis filter processing image D3 which is a processing result of the input image I in the input image synthesis filter processing unit 101
  • MBF 0 (I) indicates a synthesis image DOUT which is a processing result in the intermediate image synthesis filter processing unit 110.
  • a complex box filter is applied by replacing a part of the equation (8) with the following equation (11) and replacing the equation (10) with the following equation (12).
  • a guided filter can be realized.
  • the processing corresponding to the intermediate image synthesis filter processing unit 110 described in the first embodiment includes the square processing of the input image of Expression (8) and the linear approximation coefficients a and b of Expression (10).
  • the arithmetic unit 230 adds the composite image DOUT and the composite filter processing image D3 as the sum of squares of the guided filter processing, and defines the linear relationship between the input image DIN and the output image DOUT # in the guided filter processing.
  • the synthesis filter processing image D3 is used to calculate the approximation coefficient.
  • the edge preservation can be performed while maintaining the high calculation speed.
  • the smoothing effect can be further enhanced.
  • the present invention is not limited to the first and second embodiments.
  • the combining rule specifying unit 107 generates the combining weight maps D2-1 to D2-4 using the above equations (3) to (5).
  • the first and second embodiments It is not limited to a simple example.
  • the difference between the smoothed image and the input image generally becomes smaller as the size of the box filter becomes smaller. Become. Therefore, in most of the pixels in the combination weight maps D2-1 to D2-4, the combination weight of the pixels of the smoothed image by the small-sized box filter becomes heavy.
  • the adjustment can be performed so that the synthesis weight of the pixels of the smoothed image by the box filter having a size as large as possible becomes heavy.
  • an offset that increases as the reciprocal of the area of the box filter increases may be used.
  • the coordinate X of the difference value diff i Equation (13) shows the pixel value calculation method of.
  • the combined weight w (X, i) may have a non-linear relationship by being calculated by, for example, the following equation (14) instead of the equation (5).
  • g is a constant parameter that adjusts the relationship between w1 and w.
  • the synthesis rule specifying unit 107 determines, in the synthesis weight maps D2-1 to D2-4, the pixel value of each pixel of the smoothed images D1-1 to D1-4 and the pixel value of the corresponding pixel of the input image DIN.
  • the composite weight maps D2-1 to D2-4 may be generated using Expressions (15) and (16) such that the pixel value that minimizes the difference value from is selected. In such a case, w (X, i) is set to 0 or 1.
  • the synthesis rule specifying unit 107 calculates a plurality of differences calculated by one pixel of the input image DIN and a plurality of pixels corresponding to one pixel in the plurality of smoothed images D1-1 to D1-4. Among the values, the pixel corresponding to the smallest difference value is specified, and a plurality of combined weight maps D2-1 to D2-1 to indicate the specified pixel corresponding to the plurality of smoothed images D1-1 to D1-4. D2-4 can be generated as a synthesis rule.
  • the combination processing unit 108 selects the pixel values of the pixels specified from the plurality of smoothed images D1-1 to D1-4 according to the plurality of combination weight maps D2-1 to D2-4, thereby Are synthesized with the smoothed images D1-1 to D1-4. This makes it possible to reduce the amount of calculation as compared with the case where weighted averaging is performed by switching a plurality of box filter processing results.
  • 100, 200 image processing apparatus ⁇ 101 ⁇ input image synthesis filter processing section, ⁇ 102 ⁇ composite box filter processing section, ⁇ 103 ⁇ large box filter processing section, ⁇ 104 ⁇ vertical box filter processing section, ⁇ 105 ⁇ horizontal box filter processing section, ⁇ 106 ⁇ small box filter processing section, 107 ⁇ synthesis rule specifying section, ⁇ 108 ⁇ synthesis processing section, ⁇ 110 ⁇ intermediate image synthesis filter processing section, ⁇ 111-1 to 111-k ⁇ composite box filter processing section, ⁇ 116-1 to 116-k ⁇ plural synthesis processing sections, ⁇ 120 ⁇ reduction processing section, 230 arithmetic unit.

Abstract

互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、複数のボックスフィルタに対応する複数の平滑化画像（Ｄ１－１～Ｄ１－４）を生成する複合ボックスフィルタ処理を入力画像（ＤＩＮ）に行う複合ボックスフィルタ処理部（１０２）と、複数の平滑化画像（Ｄ１－１～Ｄ１－４）の各々に含まれる複数の画素の各々と、入力画像（ＤＩＮ）の対応する画素との差分値に応じて、複数の平滑化画像（Ｄ１－１～Ｄ１－４）を合成する合成ルールを特定する合成ルール特定部（１０７）と、合成ルールに従って複数の平滑化画像（Ｄ１－１～Ｄ１－４）を合成する合成処理を実行することで、合成フィルタ処理画像（Ｄ３）を生成する合成処理部（１０８）とを備える。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関する。
　画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減するエッジを保存して平滑化するフィルタ処理技術がある。この技術では、一般的に、ある画素に注目して、その注目画素の周辺の矩形領域に存在する画素を加算平均することで平滑化が行われる。画像フィルタ処理は、一般に、フィルタサイズに依存して計算コストが増大する。
　ここでインテグラルイメージ手法と呼ばれるアプローチを用いると、フィルタ処理でよく行われる、矩形領域の平均又は標準偏差（分散）の計算に必要な画素値の和又は自乗和を、カーネルサイズに依存せずに、高速に算出することが可能となる。平滑化フィルタ処理をインテグラルイメージ手法が適用可能な処理の組合せで構成すれば、計算コストの少ないフィルタを設計することができる。
　ここで、インテグラルイメージ手法では、フィルタサイズが画像全体で固定となる。フィルタサイズを大きく設定した場合には、エッジ領域を強く平滑化してしまう。一方、フィルタサイズを小さく設定した場合、エッジ領域及び平坦領域に対する平滑化効果が低くなる。このため、エッジ近傍及び平坦領域に対する平滑化効果を高めるための手法が求められている。
　例えば、特許文献１には、予め入力画像に対してエッジ画像を生成し、フィルタ処理では入力画像の注目画素及び注目矩形領域を走査し、注目矩形領域にエッジ画素が含まれる場合は、「フィルタサイズ」、「オフセット」及び「オーバラップ」のいずれかを変更して平滑化処理を行うことで、入り組んだエッジ近辺でも平滑化処理を行う画像処理装置が提案されている。
特開２００２－１３５５９２号公報
　しかしながら、従来の画像処理装置は、エッジ近傍ではフィルタサイズを縮小するため、エッジ近傍の平滑化効果が低くなる。また、従来の画像処理装置は、注目矩形領域内にエッジ画素が含まれるかを逐次判定し、その判定結果を基にフィルタサイズを変更するため、画像全体処理となるインテグラルイメージ手法を適用できず、計算コストが大きくなる。
　そこで、本発明の１又は複数の態様は、複数のボックスフィルタを用いることで、エッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができるようにすることを目的とする。
　本発明の１態様に係る画像処理装置は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値に応じて、前記複数の平滑化画像を合成する合成ルールを特定する合成ルール特定部と、前記合成ルールに従って前記複数の平滑化画像を合成する合成処理を実行することで、合成フィルタ処理画像を生成する合成処理部と、を備えることを特徴とする。
　本発明の１態様に係る画像処理方法は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値に応じて、前記複数の平滑化画像を合成する合成ルールを特定し、前記合成ルールに従って前記複数の平滑化画像を合成する合成処理を実行することで、合成フィルタ処理画像を生成することを特徴とする。
　本発明の１又は複数の態様によれば、複数のボックスフィルタを用いることで、エッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができる。
実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 （Ａ）～（Ｅ）は、インテグラルイメージ手法を説明するための概略図である。 （Ａ）～（Ｄ）は、ボックスフィルタを示す概略図である。 インテグラルイメージの生成方法を説明するための概略図である。 中間画像合成フィルタ処理部の一例を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、ハードウェア構成例を示すブロック図である。 画像処理方法を示すフローチャートである。 変形例に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。
実施の形態１．
　図１は、実施の形態１に係る画像処理装置１００の構成を概略的に示すブロック図である。
　画像処理装置１００は、入力画像合成フィルタ処理部１０１と、中間画像合成フィルタ処理部１１０とを備える。
　入力画像合成フィルタ処理部１０１は、入力画像ＤＩＮをフィルタ処理することで、合成フィルタ処理画像Ｄ３を生成する。そして、入力画像合成フィルタ処理部１０１は、合成フィルタ処理画像Ｄ３及び後述する合成重みマップＤ２－１～Ｄ２－４を中間画像合成フィルタ処理部１１０に与える。
　入力画像合成フィルタ処理部１０１は、複合ボックスフィルタ処理部１０２と、合成ルール特定部１０７と、合成処理部１０８とを備える。
　複合ボックスフィルタ処理部１０２は、複合ボックスフィルタ処理を入力画像ＤＩＮに行う。複合ボックス処理は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、複数のボックスフィルタに対応する複数の平滑化画像Ｄ１－１～Ｄ１－４を生成する処理である。例えば、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮに対して、複数のボックスフィルタを用いて、インテグラルイメージ手法により、エッジ保存平滑化を行う。そして、複合ボックスフィルタ処理部１０２は、複合ボックスフィルタ処理の結果である平滑化画像Ｄ１－１～Ｄ１－４を合成ルール特定部１０７及び合成処理部１０８に与える。
　まず、インテグラルイメージ手法について説明する。
　インテグラルイメージは、画像の原点からある注目画素までの画素値を総和した画素値からなる画像をＩＭＧ、インテグラルイメージをＩＮＴＥＧＲＡＬとした場合の、ある座標（ｘ，ｙ）での対応関係を式（１）に示す。
Figure JPOXMLDOC01-appb-M000001
　インテグラルイメージを用いることで、例えば、図２（Ａ）に示されている画像中の任意の矩形領域ＡＲの加算値Ｖは、式（２）に示されているように、図２（Ｂ）～図２（Ｅ）に示されているインテグラルイメージＩＩ１～ＩＩ４の加減算で算出可能となる。
Figure JPOXMLDOC01-appb-M000002
　図１に戻り、複合ボックスフィルタ処理部１０２は、大ボックスフィルタ処理部１０３と、垂直ボックスフィルタ処理部１０４と、水平ボックスフィルタ処理部１０５と、小ボックスフィルタ処理部１０６とを備える。
　大ボックスフィルタ処理部１０３、垂直ボックスフィルタ処理部１０４、水平ボックスフィルタ処理部１０５及び小ボックスフィルタ処理部１０６の各々は、異なるサイズ及び異なるアスペクト比の少なくとも何れか一方を有するボックスフィルタを用いて、インテグラルイメージ手法により、エッジ保存平滑化フィルタ処理を行う。
　図３（Ａ）～（Ｄ）は、複合ボックスフィルタ処理部１０２で使用されるボックスフィルタを示す概略図である。
　大ボックスフィルタ処理部１０３は、例えば、図３（Ａ）に示されているような、横幅×縦幅がＭ×Ｍ画素（Ｍは、２以上の整数）のサイズからなるボックスフィルタＢＦ１を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１－１を生成する。
　垂直ボックスフィルタ処理部１０４は、例えば、図３（Ｂ）に示されているような、Ｎ×Ｍ画素（Ｎは、Ｎ＜Ｍを満たす１以上の整数）のサイズからなるボックスフィルタＢＦ２を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１－２を生成する。
　水平ボックスフィルタ処理部１０５は、例えば、図３（Ｃ）に示されているような、Ｍ×Ｎ画素のサイズからなるボックスフィルタＢＦ３を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１－３を生成する。
　小ボックスフィルタ処理部１０６は、例えば、図３（Ｄ）に示されているような、Ｎ×Ｎ画素のサイズからなるボックスフィルタＢＦ４を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１－４を生成する。
　通常、インテグラルイメージは、水平方向と垂直方向との２回、画素の累積演算を行うことで生成される。このため、４種類の矩形サイズのインテグラルイメージを生成するには、通常、２×４＝８回の累積演算が必要である。
　しかしながら、図３に示されているような、ボックスフィルタＢＦ１～ＢＦ４を使用することで、図４に示されているように、水平方向のＭ画素の累積演算と、水平方向のＭ画素の累積演算結果を用いた、垂直方向のＭ画素の累積演算と、水平方向のＭ画素の累積演算結果を用いた、垂直方向のＮ画素の累積演算と、水平方向のＮ画素の累積演算と、水平方向のＮ画素の累積演算を用いた、垂直方向のＭ画素の累積演算と、水平方向のＮ画素の累積演算を用いた、垂直方向のＮ画素の累積演算との６回の累積演算で、４種類の矩形サイズのインテグラルイメージＩＩ１～ＩＩ４を生成することができる。
　なお、複合ボックスフィルタ処理部１０２で用いられる複数のボックスフィルタの構成は、図３に示されているボックスフィルタＢＦ１～ＢＦ４に限定されない。複合ボックスフィルタ処理部１０２で用いられる複数のボックスフィルタは、サイズ及びアスペクト比の少なくとも何れか一方の異なるボックスフィルタにより自由に構成することが可能である。複合ボックスフィルタ処理部１０２は、例えば、ボックスフィルタＢＦ１～ＢＦ３又はボックスフィルタＢＦ２～ＢＦ４の３種類のボックスフィルタを用いることで、４種類のボックスフィルタＢＦ１～ＢＦ４を用いる場合と比較して演算時間を削減することができる。
　なお、ボックスフィルタＢＦ１～ＢＦ４の４種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ１を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタ、ボックスフィルタＢＦ４を第４のボックスフィルタともいう。
　ボックスフィルタＢＦ１～ＢＦ３の３種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ１を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタともいう。
　ボックスフィルタＢＦ２～ＢＦ４の３種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ４を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタともいう。
　図１に戻り、合成ルール特定部１０７は、複数の平滑化画像Ｄ１－１～Ｄ１－４の各々に含まれる複数の画素の各々と、入力画像ＤＩＮの対応する画素との差分値に応じて、複数の平滑化画像Ｄ１－１～Ｄ１－４を合成する合成ルールを特定する。
　例えば、合成ルール特定部１０７は、その差分値が小さいほど大きな重みとなるように、複数の平滑化画像Ｄ１－１～Ｄ１－４の各々に含まれる複数の画素の各々の重みを算出し、複数の平滑化画像Ｄ１－１～Ｄ１－４に対応して、算出された重みを画素毎に示す複数の合成重みマップＤ２－１～Ｄ２－４を、合成ルールとして生成する。合成重みマップＤ２－１～Ｄ２－４の算出方法の例を下記に示す。
　平滑化画像Ｄ１－ｉ（ｉは、１～４の何れか）における注目画素の座標値をＸと表し、座標値Ｘにおける画素値と、入力画像ＤＩＮの座標値Ｘにおける画素値との差分値をｄｉｆｆｉ（Ｘ）と表し、平滑化画像Ｄ１－ｉに対応する合成重みマップＤ２－ｉの注目画素Ｘの合成重みをＷ（Ｘ，ｉ）と表した場合の、合成重みの算出方法の一例を式（３）、式（４）および式（５）に示す。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　以上のようにして、合成ルール特定部１０７は、平滑化画像Ｄ１－１の各々の画素の合成重みを示す合成重みマップＤ２－１、平滑化画像Ｄ１－２の各々の画素の合成重みを示す合成重みマップＤ２－２、平滑化画像Ｄ１－３の各々の画素の合成重みを示す合成重みマップＤ２－３、及び、平滑化画像Ｄ１－４の各々の画素の合成重みを示す合成重みマップＤ２－４を生成する。そして、合成ルール特定部１０７は、合成重みマップＤ２－１～Ｄ２－４を合成処理部１０８及び中間画像合成フィルタ処理部１１０に与える。
　合成処理部１０８は、対応する合成重みマップＤ２－１～Ｄ２－４を用いて、複数の平滑化画像Ｄ１－１～Ｄ１－４を合成する合成処理を実行することで、合成フィルタ処理画像Ｄ３を生成する。例えば、合成処理部１０８は、複数の合成重みマップＤ２－１～Ｄ２－４に従って重み付き加算平均を行うことにより、複数の平滑化画像Ｄ１－１～Ｄ１－４を合成する。具体的には、平滑化画像Ｄ１－１～Ｄ１－４の各々の画素の画素値に対して、対応する複数のＤ２－１～Ｄ２－４における対応する画素の合成重みを乗算して、その乗算値を画素毎に加算することで、合成フィルタ処理画像Ｄ３を生成する。そして、合成処理部１０８は、合成フィルタ処理画像Ｄ３を、中間画像合成フィルタ処理部１１０に与える。
　以上のようにして、合成ルール特定部１０７が合成重みマップＤ２－１～Ｄ２－４を算出し、合成処理部１０８が重み付き加算平均を行うことで、ボックスフィルタの切り替え領域での疑似輪郭等のアーティファクトの発生を回避することができ、画質向上を図ることができる。
　中間画像合成フィルタ処理部１１０は、合成重みマップＤ２－１～Ｄ２－４を用いて、入力画像ＤＩＮ又は合成フィルタ処理画像Ｄ３に対して、複合ボックスフィルタ処理及び合成処理を１回又は複数回行うことで、合成画像ＤＯＵＴを生成する。
　図５は、中間画像合成フィルタ処理部１１０の一例を概略的に示すブロック図である。
　中間画像合成フィルタ処理部１１０は、複数の複合ボックスフィルタ処理部１１１－１～１１１－ｋ（ｋは、２以上の整数）と、複数の合成処理部１１６－１～１１６－ｋとを備える。
　複合ボックスフィルタ処理部１１１－１～１１１－ｋは、大ボックスフィルタ処理部１１２－１～１１２－ｋと、垂直ボックスフィルタ処理部１１３－１～１１３－ｋと、水平ボックスフィルタ処理部１１４－１～１１４－ｋと、小ボックスフィルタ処理部１１５－１～１１５－ｋとを備える。
　複数の複合ボックスフィルタ処理部１１１－１～１１１－ｋの各々は、入力された画像に対して、図１に示されている複合ボックスフィルタ処理部１０２と同様の処理を行う。
　また、合成処理部１１６－１～１１６－ｋの各々も、図１に示されている合成処理部１０８と同様の処理を行う。
　なお、図５に示されている例では、中間画像合成フィルタ処理部１１０は、複数の複合ボックスフィルタ処理部１１１－１～１１１－ｋと、複数の合成処理部１１６－１～１１６－ｋとを備えているが、１つの複合ボックスフィルタ処理部及び１つの合成処理部を備えていてもよい。
　エッジ保存平滑化フィルタ等の高度なフィルタ処理では、処理の内部で、複数回のボックスフィルタ処理を行う。ここで、通常のボックスフィルタ処理を複合ボックスフィルタ処理に置き換えることでエッジ近傍の平滑化性能を向上させることができる。
　以上に記載された入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０の一部又は全部は、例えば、図６（Ａ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路１０で構成することもできる。
　また、入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０の一部又は全部は、例えば、図６（Ｂ）に示されているように、メモリ１１と、メモリ１１に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１２とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　次に、実施の形態１に係る画像処理装置１００が行う画像処理方法について説明する。
　図７は、実施の形態１に係る画像処理方法を示すフローチャートである。
　まず、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮの入力を受ける（Ｓ１０）。
　次に、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮに対して複合ボックスフィルタ処理を行い、複数の平滑化画像Ｄ１－１～Ｄ１－４を合成ルール特定部１０７及び合成処理部１０８に与える（Ｓ１１）。
　次に、合成ルール特定部１０７は、複数の平滑化画像Ｄ１－１～Ｄ１－４の各々の画素の画素値と、入力画像ＤＩＮの対応する画素の画素値との差分値を算出し、その差分値が小さい程、重みが大きくなるような複数の合成重みマップＤ２－１～Ｄ２－４を、複数の平滑化画像Ｄ１－１～Ｄ１－４の各々に対応して、算出する（Ｓ１２）。
　次に、合成処理部１０８は、複数の平滑化画像Ｄ１－１～Ｄ１－４を、複数の合成重みマップＤ２－１～Ｄ２－４を用いて合成する合成処理を行うことで、合成フィルタ処理画像Ｄ３を生成する（Ｓ１３）。
　そして、中間画像合成フィルタ処理部１１０は、複数の合成重みマップＤ２－１～Ｄ２－４を用いて、入力画像ＤＩＮ又は合成フィルタ処理画像Ｄ３に対して、複合ボックスフィルタ処理及び合成処理を１回又は複数回を行い、合成画像ＤＯＵＴを生成する（Ｓ１４）。
　以上のように、実施の形態１に係る画像処理装置１００によれば、画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減する平滑化フィルタ処理で、エッジ等の画像情報に応じてフィルタサイズを適応的に変化させることでエッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができる。
　また、複合ボックスフィルタ処理部１０２は、大ボックスフィルタ処理部１０３、垂直ボックスフィルタ処理部１０４、水平ボックスフィルタ処理部１０５及び小ボックスフィルタ処理部１０６から構成することで、一般的な正方形状の大ボックスフィルタ処理部１０３及び小ボックスフィルタ処理部１０６で構成する場合と比較して、エッジ近傍領域でのフィルタサイズを大きく設定できるため、エッジ近傍領域での平滑化効果を高めることができる。
　更に、垂直ボックスフィルタ処理部１０４及び水平ボックスフィルタ処理部１０５のフィルタサイズを、Ｎ×Ｍ画素及びＭ×Ｎ画素とすることで、任意のサイズを設定した場合と比較してインテグラルイメージ生成時の計算量を減らすことができる。
　また、実施の形態１に係る画像処理装置１００は、ボックスフィルタ処理と画素の四則演算からなる構成のため、インテグラルイメージ手法を適用することができ、高速な処理演算が可能である。
　実施の形態１は、図１に示されている画像処理装置１００のように構成されているが、例えば、図８に示されている画像処理装置１００＃のように構成されていてもよい。
　図８に示されている画像処理装置１００＃は、図１に示されている画像処理装置１００と比較して、入力画像合成フィルタ処理部１０１＃が異なっている。
　図８に示されている画像処理装置１００＃では、入力画像ＤＩＮを複合ボックスフィルタ処理部１０２に入力する前に、縮小処理部１２０で入力画像ＤＩＮを縮小することで、全体の計算コストを低減させている。その他の構成については、図１に示されている画像処理装置１００と同様である。
　実施の形態２.
　実施の形態２は複合ボックスフィルタ処理を、エッジ保存平滑化フィルタの一種であるガイデッドフィルタに適用した例を示す。
　図９は、実施の形態２に係る画像処理装置２００の構成を概略的に示すブロック図である。
　画像処理装置２００は、入力画像合成フィルタ処理部１０１と、中間画像合成フィルタ処理部１１０と、演算部２３０とを備える。
　実施の形態２に係る画像処理装置２００における入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０は、実施の形態１に係る画像処理装置１００における入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０と同様である。
　但し、合成ルール特定部１０７は、複数の合成重みマップＤ２－１～Ｄ２－４を演算部２３０にも与え、合成処理部１０８は、合成フィルタ処理画像Ｄ３を演算部２３０にも与え、中間画像合成フィルタ処理部１１０は、合成画像ＤＯＵＴを演算部２３０に与える。
　演算部２３０は、ガイデッドフィルタを用いたフィルタ処理における演算を行う。
　まず、ガイデッドフィルタを用いたフィルタ処理に関して説明する。
　ガイデッドフィルタの出力であるベース成分をｑ、入力画像ＤＩＮをＩとした場合、ｑとＩは式（６）のような線形関係で表される。
Figure JPOXMLDOC01-appb-M000006
 　ここで、入力画像Ｉのある画素ｘを中心とした局所領域をΩとした場合、式（７）が成立する。
Figure JPOXMLDOC01-appb-M000007
 　ここで、ｙは、Ω（ｘ）を範囲とする局所領域の画素位置を示す。
　次に、線形回帰係数ａ及びｂの導出方法を説明する。
　入力画像Ｉの分散ｖａｒＩの画素位置ｘに対応する画素値は、式（８）で表される。
Figure JPOXMLDOC01-appb-M000008
　次に、分散値が極端に少ない領域のみ平滑化処理を行い、その他の領域のテクスチャを保存するため、分散ｖａｒＤＩＮを式（９）に基づき階調変換を行い、係数ａを得る。ｅｐｓは、エッジ保存の度合いを決定する定数パラメータである。
Figure JPOXMLDOC01-appb-M000009
　また係数ｂは、式（１０）に基づき導出する。
Figure JPOXMLDOC01-appb-M000010
　演算部２３０は、式（９）及び式（１０）で得られた線形回帰係数ａ及びｂを基にガイデッドフィルタ出力値ｑを導出する。
　ここで、入力画像Ｉに対する入力画像合成フィルタ処理部１０１での処理結果である合成フィルタ処理画像Ｄ３をＭＢＦ０（Ｉ）、中間画像合成フィルタ処理部１１０での処理結果である合成画像ＤＯＵＴをＭＢＦ１（Ｉ）と表現する場合、式（８）の一部を、下記の式（１１）に置き換え、式（１０）を、下記の式（１２）に置き換えることで、複合ボックスフィルタを適用したガイデッドフィルタを実現できる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　具体的には、実施の形態１に記載の中間画像合成フィルタ処理部１１０に対応する処理は、式（８）の入力画像の自乗処理、及び、式（１０）の直線近似係数ａ及びｂに対する平滑化処理として、複合ボックスフィルタ処理又は合成処理を行うことを示す。言い換えると、演算部２３０は、ガイデッドフィルタ処理の自乗和として、合成画像ＤＯＵＴ及び合成フィルタ処理画像Ｄ３の加算を行い、ガイデッドフィルタ処理における入力画像ＤＩＮと出力画像ＤＯＵＴ＃との線系関係を定義する近似係数の算出に合成フィルタ処理画像Ｄ３を用いる。
　実施の形態２に係る画像処理装置２００によれば、エッジ保存平滑化フィルタとして強力かつ高速なガイデッドフィルタに、複合ボックスフィルタ処理を適用することで、演算速度の高さを確保しつつ、エッジ保存平滑化の効果を更に高めることができる。
　以上で説明したように、画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減する平滑化フィルタ処理で、エッジ等の画像情報に応じてフィルタサイズを適応的に変化させることでエッジ近傍及び平坦領域に対する平滑化効果を高めることが可能となる。
　また、以上のように実施の形態１及び２について説明したが、本発明は、これらの実施の形態１及び２に限るものではない。
　例えば、合成ルール特定部１０７は、上記の式（３）～式（５）を用いて合成重みマップＤ２－１～Ｄ２－４を生成しているが、実施の形態１及び２は、このような例に限定されない。
　上記の式（３）～式（５）を用いて合成重みマップＤ２－１～Ｄ２－４を生成すると、通常、ボックスフィルタのサイズが小さいほど、平滑化画像と入力画像との差分値が小さくなる。そのため、合成重みマップＤ２－１～Ｄ２－４の大半の画素では、小さいサイズのボックスフィルタによる平滑化画像の画素の合成重みが重くなる。
　ここで、ボックスフィルタの面積が大きいほど小さくなるオフセット、又は、平滑化画像の全体の差分値の平均値が大きくなるほど大きくなるオフセットを設定して、算出された差分値から減算することで、エッジ近傍領域以外の領域では、できるだけ大きいサイズのボックスフィルタによる平滑化画像の画素の合成重みが重くなるように調整することができる。
　なお、ボックスフィルタの面積が大きいほど小さくなるオフセットは、例えば、ボックスフィルタの面積の逆数が大きくなるほど大きくなるオフセットを用いればよい。
　具体的には、ｉ番目の平滑化画像の座標Ｘの画素値をＬＰＦｉ（ｘ）、入力画像ＤＩＮの座標Ｘの画素値をＩＮ（Ｘ）とした場合における、差分値ｄｉｆｆｉの座標Ｘの画素値算出方法を式（１３）に示す。
Figure JPOXMLDOC01-appb-M000013
　以上のように、算出された差分値からオフセットを減算することで、エッジ近傍領域以外の領域ではできるだけ大きいサイズのボックスフィルタによる影響が大きくなるように制御することができ、平坦領域に対する平滑化効果を更に高めることができる。
　また、合成重みｗ（Ｘ，ｉ）は、式（５）によらず、例えば、下記の式（１４）により算出することで、非線形な関係を持たせてもよい。ここで、ｇはｗ１とｗとの関係を調整する定数パラメータである。
Figure JPOXMLDOC01-appb-M000014
　さらに、合成ルール特定部１０７は、合成重みマップＤ２－１～Ｄ２－４において、平滑化画像Ｄ１－１～Ｄ１－４の各々の画素の画素値と、入力画像ＤＩＮの対応する画素の画素値との差分値が最も小さくなる画素値が選択されるように、式（１５）及び式（１６）を用いて、合成重みマップＤ２－１～Ｄ２－４が生成されてもよい。このような場合、ｗ（Ｘ，ｉ）は、０か１に設定される。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　以上のように合成ルール特定部１０７は、入力画像ＤＩＮの１つの画素と、複数の平滑化画像Ｄ１－１～Ｄ１－４における１つの画素に対応する複数の画素とにより算出された複数の差分値の内、最も値の小さい差分値に対応する画素を特定し、複数の平滑化画像Ｄ１－１～Ｄ１－４に対応して、特定された画素を示す複数の合成重みマップＤ２－１～Ｄ２－４を、合成ルールとして生成することができる。
　この場合、合成処理部１０８は、複数の合成重みマップＤ２－１～Ｄ２－４に従って、複数の平滑化画像Ｄ１－１～Ｄ１－４から特定された画素の画素値を選択することで、複数の平滑化画像Ｄ１－１～Ｄ１－４を合成する。
　これにより、複数のボックスフィルタ処理結果を切り替えて重み付き加算平均を行う場合と比較して、演算量を削減することができる。
　なお、式（１５）及び式（１６）を用いて、合成重みマップＤ２－１～Ｄ２－４を生成する場合でも、式（１３）に示されるようにして、差分値からオフセットが減算されてもよい。
　１００，２００　画像処理装置、　１０１　入力画像合成フィルタ処理部、　１０２　複合ボックスフィルタ処理部、　１０３　大ボックスフィルタ処理部、　１０４　垂直ボックスフィルタ処理部、　１０５　水平ボックスフィルタ処理部、　１０６　小ボックスフィルタ処理部、　１０７　合成ルール特定部、　１０８　合成処理部、　１１０　中間画像合成フィルタ処理部、　１１１－１～１１１－ｋ　複合ボックスフィルタ処理部、　１１６－１～１１６－ｋ　複数の合成処理部、　１２０　縮小処理部、　２３０　演算部。

Claims (16)

  1. 　互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、
    　前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値に応じて、前記複数の平滑化画像を合成する合成ルールを特定する合成ルール特定部と、
    　前記合成ルールに従って前記複数の平滑化画像を合成する合成処理を実行することで、合成フィルタ処理画像を生成する合成処理部と、を備えること
    　を特徴とする画像処理装置。
  2. 　前記合成ルール特定部は、前記差分値が小さいほど大きな重みとなるように、前記複数の画素の各々の重みを算出し、前記複数の平滑化画像に対応して、前記算出された重みを画素毎に示す複数の合成重みマップを、前記合成ルールとして生成し、
    　前記合成処理部は、前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成すること
    　を特徴とする請求項１に記載の画像処理装置。
  3. 　前記合成ルール特定部は、前記入力画像に含まれる１つの画素と、前記複数の平滑化画像に含まれる、前記１つの画素に対応する複数の画素と、により算出された複数の前記差分値の内、最も値の小さい差分値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、前記合成ルールとして生成し、
    　前記合成処理部は、前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を前記合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成すること
    　を特徴とする請求項１に記載の画像処理装置。
  4. 　前記合成ルール特定部は、前記差分値からオフセットを減算した値が小さいほど大きな重みとなるように、前記複数の画素の各々の重みを算出し、前記複数の平滑化画像に対応して、前記算出された重みを画素毎に示す複数の合成重みマップを、前記合成ルールとして生成し、
    　前記合成処理部は、前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成すること
    　を特徴とする請求項１に記載の画像処理装置。
  5. 　前記合成ルール特定部は、前記入力画像に含まれる１つの画素と、前記複数の平滑化画像に含まれる、前記１つの画素に対応する複数の画素と、により算出された複数の前記差分値からオフセットを減算した複数の値の内、最も小さい値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、前記合成ルールとして生成し、
    　前記合成処理部は、前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を前記合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成すること
    　を特徴とする請求項１に記載の画像処理装置。
  6. 　前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなること
    　を特徴とする請求項４又は５に記載の画像処理装置。
  7. 　前記オフセットは、前記平滑化画像に含まれる前記複数の画素の画素値に対応して算出された前記差分値の平均値が大きいほど大きくなること
    　を特徴とする請求項４又は５に記載の画像処理装置。
  8. 　前記複合ボックスフィルタ処理部は、前記複数のボックスフィルタとして、正方形の第１のボックスフィルタと、長方形の第２のボックスフィルタと、前記第２のボックスフィルタとはアスペクト比が異なる長方形の第３のボックスフィルタと、前記第１のボックスフィルタよりもサイズが小さい正方形の第４のボックスフィルタとを用いること
    　を特徴とする請求項１から７の何れか一項に記載の画像処理装置。
  9. 　前記第２のボックスフィルタは、縦幅が前記第１のボックスフィルタの縦幅と同じであり、横幅が前記第４のボックスフィルタの横幅と同じであり、
    　前記第３のボックスフィルタは、縦幅が前記第４のボックスフィルタの縦幅と同じであり、横幅が前記第１のボックスフィルタの横幅と同じであること
    　を特徴とする請求項８に記載の画像処理装置。
  10. 　前記複合ボックスフィルタ処理部は、前記複数のボックスフィルタとして、正方形の第１のボックスフィルタと、長方形の第２のボックスフィルタと、前記第２のボックスフィルタとはアスペクト比が異なる長方形の第３のボックスフィルタとを用いること
    　を特徴とする請求項１から７の何れか一項に記載の画像処理装置。
  11. 　前記第２のボックスフィルタは、縦幅が前記第１のボックスフィルタと同じであり、横幅が、前記第１のボックスフィルタの横幅よりも小さく、
    　前記第３のボックスフィルタは、縦幅が前記第２のボックスフィルタの横幅と同じであり、横幅が前記第１のボックスフィルタの横幅と同じであること
    　を特徴とする請求項１０に記載の画像処理装置。
  12. 　前記第２のボックスフィルタは、横幅が前記第１のボックスフィルタと同じであり、縦幅が、前記第１のボックスフィルタの縦幅よりも大きく、
    　前記第３のボックスフィルタは、横幅が前記第２のボックスフィルタの縦幅と同じであり、縦幅が前記第１のボックスフィルタの縦幅と同じであること
    　を特徴とする請求項１０に記載の画像処理装置。
  13. 　前記複合ボックスフィルタ処理部は、インテグラルイメージを用いて、前記平滑化を実行すること
    　を特徴とする請求項１から１２の何れか一項に記載の画像処理装置。
  14. 　前記入力画像又は前記合成フィルタ処理画像に対して、前記複合ボックスフィルタ処理及び前記合成処理を少なくとも１回実行することで、合成画像を生成する中間画像合成フィルタ処理部をさらに備えること
    　を特徴とする請求項１から１３の何れか一項に記載の画像処理装置。
  15. 　ガイデッドフィルタ処理の自乗和として、前記合成画像及び前記合成フィルタ処理画像の加算を行い、前記ガイデッドフィルタ処理における前記入力画像と出力画像の線系関係を定義する近似係数の算出に前記合成フィルタ処理画像を用いる演算部をさらに備えること
    　を特徴とする請求項１４に記載の画像処理装置。
  16. 　互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、
    　前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値に応じて、前記複数の平滑化画像を合成する合成ルールを特定し、
    　前記合成ルールに従って前記複数の平滑化画像を合成する合成処理を実行することで、合成フィルタ処理画像を生成すること
    　を特徴とする画像処理方法。
PCT/JP2018/030009 2018-08-10 2018-08-10 画像処理装置及び画像処理方法 WO2020031362A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020535457A JP6896177B2 (ja) 2018-08-10 2018-08-10 画像処理装置及び画像処理方法
PCT/JP2018/030009 WO2020031362A1 (ja) 2018-08-10 2018-08-10 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030009 WO2020031362A1 (ja) 2018-08-10 2018-08-10 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2020031362A1 true WO2020031362A1 (ja) 2020-02-13

Family

ID=69415395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030009 WO2020031362A1 (ja) 2018-08-10 2018-08-10 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP6896177B2 (ja)
WO (1) WO2020031362A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
JP2012104078A (ja) * 2010-11-15 2012-05-31 Nec Corp 画像特徴検出システム、画像認識システム、画像特徴検出方法、画像認識方法、およびプログラム
WO2017203875A1 (ja) * 2016-05-26 2017-11-30 株式会社日立製作所 画像診断装置、及び画像取得方法
WO2018055684A1 (ja) * 2016-09-21 2018-03-29 株式会社島津製作所 画像処理装置
WO2018070100A1 (ja) * 2016-10-14 2018-04-19 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
JP2012104078A (ja) * 2010-11-15 2012-05-31 Nec Corp 画像特徴検出システム、画像認識システム、画像特徴検出方法、画像認識方法、およびプログラム
WO2017203875A1 (ja) * 2016-05-26 2017-11-30 株式会社日立製作所 画像診断装置、及び画像取得方法
WO2018055684A1 (ja) * 2016-09-21 2018-03-29 株式会社島津製作所 画像処理装置
WO2018070100A1 (ja) * 2016-10-14 2018-04-19 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MITSUI, TOMOKAZU ET AL.: "Fast Human Detection Method Using Approximated Texton Features", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J94 -D, no. 7, 1 July 2011 (2011-07-01), pages 1135 - 1144, XP055686149 *

Also Published As

Publication number Publication date
JP6896177B2 (ja) 2021-06-30
JPWO2020031362A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
JP4727720B2 (ja) 画像処理方法および画像処理装置
Vishwakarma et al. Color image enhancement techniques: a critical review
JP5822157B2 (ja) ノイズ低減装置、ノイズ低減方法及びプログラム
KR100532121B1 (ko) 이미지 세부묘사 향상 방법 및 장치
US20160171667A1 (en) Multiple phase method for image deconvolution
JP2022130642A (ja) コンピュータビジョンのための適応バイラテラル（ｂｌ）フィルタリング
Wang et al. A graph-based joint bilateral approach for depth enhancement
JP4399449B2 (ja) 画像ノイズ低減システム、画像ノイズ低減方法およびコンピュータ・プログラム
Mahajan et al. Adaptive and non-adaptive image interpolation techniques
EP2053557B1 (en) Image processing device, image processing program, and image processing method
WO2016075914A1 (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム
KR20150090515A (ko) 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
WO2020031362A1 (ja) 画像処理装置及び画像処理方法
US20130120461A1 (en) Image processor and image processing method
US20030068092A1 (en) Noise reduction apparatus, noise reduction method, program and medium
US9349167B2 (en) Image processing method and image processing apparatus
US9679355B2 (en) Image processing device
Gao et al. Multiscale decomposition based high dynamic range tone mapping method using guided image filter
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8346021B2 (en) Content adaptive scaler based on a farrow structure
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JP2010211552A (ja) 画像処理方法及びコンピュータプログラム
JP4992438B2 (ja) 画像処理装置および画像処理プログラム
Peng et al. The color demosaicing and image scaling based on improve Hamilton-Adams
JP4235217B2 (ja) フィルタリング型画像補正装置およびフィルタリング型画像補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929020

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535457

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18929020

Country of ref document: EP

Kind code of ref document: A1