WO2010131296A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2010131296A1
WO2010131296A1 PCT/JP2009/002117 JP2009002117W WO2010131296A1 WO 2010131296 A1 WO2010131296 A1 WO 2010131296A1 JP 2009002117 W JP2009002117 W JP 2009002117W WO 2010131296 A1 WO2010131296 A1 WO 2010131296A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
pixel value
reliability
pixel
image
Prior art date
Application number
PCT/JP2009/002117
Other languages
English (en)
French (fr)
Inventor
三島直
馬場雅裕
五十川賢造
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/002117 priority Critical patent/WO2010131296A1/ja
Publication of WO2010131296A1 publication Critical patent/WO2010131296A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for restoring and emphasizing an image while suppressing ringing.
  • the ringing occurrence degree is determined from the edge strength of the input image, and ringing is avoided by combining the weighted average of the input image and the restored image according to the determination result.
  • Technology is disclosed (e.g., Patent Document 1).
  • An object of the present invention is to determine the likelihood of occurrence of ringing by the interaction of an input image and a filter coefficient, and to obtain a restored image while suppressing ringing more accurately.
  • the present invention provides a convolution unit for obtaining a pixel value after filtering of the target pixel based on a weighted sum of filter values of each pixel value in a filter range including the target pixel of the input image;
  • the central region feature value is calculated from the absolute value of the weighted sum obtained by multiplying the filter coefficient with each pixel value of the input image in the central region including the target pixel within the filter range.
  • An absolute value of a weighted sum obtained by multiplying each of the pixel values of the input image in the peripheral region excluding the central region within the filter range and the feature amount calculation unit of 1.
  • a second feature amount calculation unit for calculating the peripheral region feature amount from the second region; a reliability calculation unit for calculating the reliability of the pixel value after the filtering; and the pixel value after the filtering according to the reliability And combining the pixel value of the input image with the pixel value of the target image to obtain the output pixel value of the target pixel, wherein the reliability calculation unit determines that the peripheral region feature amount is larger than the central region feature amount.
  • the image processing apparatus is characterized in that the reliability is calculated to be lower than when the peripheral region feature amount is smaller than the central region feature amount.
  • FIG. 1 is a diagram showing an image processing apparatus according to a first embodiment.
  • FIG. 2 is a view showing the operation of the image processing apparatus of the embodiment of FIG. 1;
  • FIG. FIG. 7 is a view showing a modified example of the image processing apparatus of the first embodiment.
  • FIG. 7 is a view showing an image processing apparatus according to a second embodiment.
  • FIG. 5 is a view showing an operation of the image processing apparatus of the first embodiment.
  • FIG. 13 is a view showing the operation of the image processing apparatus of the third embodiment.
  • the image processing apparatus is provided, together with the input image, with filter coefficients designed for the purpose of restoring degradation / emphasis on the input image.
  • An output image is obtained by filtering the input image using the filter coefficients.
  • a spatial convolution operation is performed to obtain a weighted average value obtained by multiplying a filter coefficient with a pixel within a convolution operation range (hereinafter, referred to as a filter range) including the target pixel in the target input image Is called filtering.
  • the image processing apparatus of the present embodiment can be provided, for example, as an image processing apparatus incorporated in an imaging device.
  • FIG. 1 is a diagram showing an image processing apparatus according to the present embodiment.
  • the image processing apparatus according to the present embodiment includes a region setting unit 101, a feature amount calculation unit 102 for the central region, a feature amount calculation unit 103 for the peripheral region, a reliability calculation unit 104, a convolution operation unit 105, and an image combining unit 106.
  • the area setting unit 101 divides the inside of the filter range into a central area and a peripheral area based on the input filter coefficient. In addition, the region setting unit 101 appropriately generates a new filter coefficient for calculating the feature amount in the subsequent stage, and calculates a correction coefficient for correcting the filter coefficient.
  • the feature amount calculation unit 102 calculates the central region feature amount from the absolute value of the weighted sum obtained by multiplying each pixel value of the input image in the central region including the pixel of interest within the filter range by the filter coefficient. calculate.
  • the feature amount calculation unit 103 calculates the peripheral region feature amount from the absolute value of the weighted sum obtained by multiplying each pixel value of the input image in the peripheral region excluding the central region within the filter range by the filter coefficient. calculate.
  • the reliability calculation unit 104 uses the central region feature amount calculated by the feature amount calculation unit 102 and the peripheral region feature amount calculated by the feature amount calculation unit 103 to determine the reliability of the filter for the input image (reliability of the pixel value after filtering Degree).
  • the convolution operation unit 105 performs filtering on the input image using the input filter coefficient to obtain a pixel value after filtering.
  • the image combining unit combines the pixel value after filtering and the pixel value of the input image according to the reliability to obtain the output pixel value of the target pixel.
  • a filter designed to restore degradation / emphasize an input image will be described in detail.
  • a point spread function (hereinafter referred to as “PSF”) representing a lens blur of a camera is given as a degradation process indicating the way of degradation.
  • FIG. 2 is a diagram showing an example of PSF approximately represented by a Gaussian function.
  • An example of PSF (Gaussian function) is shown in equation (1).
  • i and j are positions from the center (target pixel) of the filter.
  • Q is a normalization constant (for making the sum 1).
  • the natural number r ⁇ 1 is a value indicating the size of the application range of the PSF (filter). That is, the filter range is a range of (2r + 1) ⁇ (2r + 1) centered on the pixel of interest. ⁇ > 0 is the standard deviation of the Gaussian function, and indicates the magnitude of blurring.
  • the eighth row and the eighth column are the filter centers.
  • FIG. 3 is a graph of the eighth line of the above filter coefficients.
  • the value obtained by the convolution operation using the filter of FIG. 3 is the pixel value after filtering of the pixel of interest.
  • FIG. 3 an example in which the filter shown in FIG. 3 is input will be described.
  • the filter coefficients for such image restoration are designed by learning a filter that solves the inverse problem between the correct image and the deteriorated image deteriorated by the above-described deterioration process, like a winner filter. be able to.
  • the filter coefficient may be designed in advance and stored in a memory like a lookup table, or after the deterioration process is input, the filter coefficient is calculated according to the deterioration process. It may be a configuration.
  • the degradation process can be determined, for example, if an imaging system for inputting an image is known. In the present embodiment, the filter coefficient is externally input.
  • FIG. 4 is a diagram showing a generation mechanism of ringing.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the pixel value.
  • a row of pixels 401 of an input image and a row of pixels 402 of a restored image restored by filtering with the filter coefficients described above are shown. It can be seen from FIG. 4 left that the blunt edge 403 is a sharp edge 404. It can also be seen that ringing 406 occurs around strong edge 405 at the same time. This is due to the filter coefficients and the features of the input image. It can also be understood from FIG. 3 that coefficient values having a certain degree of amplitude are present even in the peripheral region 407 of the filter coefficient.
  • the component of the strong edge 405 is multiplied by the filter coefficient of the surrounding area 407 having a certain amplitude, and the convolution is performed on the central pixel It will be rare. Then, the component of the strong edge 405 of the peripheral region 407 is convoluted to a flat portion where no edge or the like originally existed, and ringing occurs. Although ringing is likely to occur around strong edges 405 in the input image, it is not determined by the input image alone, but by the interaction of the input image and the filter coefficients.
  • the inside of the filter range is divided into a central region and a peripheral region, and the determination is made by comparing values in the case where each pixel of each region is filtered.
  • FIG. 5 is a diagram showing a two-dimensional filter shape which is a size r of the application range of the filter.
  • the filter coefficient is denoted by w m, n .
  • FIG. 5 shows the example of a square in FIG. 5, of course, filter shapes other than square, such as a rectangle, may be used.
  • the pixel value of the position i, j of the input image is denoted as y i, j .
  • the pixel value of the position i, j of the output image obtained by the image processing apparatus of the present embodiment is denoted as x i, j .
  • FIG. 6 is a diagram showing the operation of the image processing apparatus of this embodiment. First, one pixel in an input image is selected as a pixel of interest (i, j) (S601).
  • the convolution operation unit 105 performs convolution operation using the input image and the input filter coefficient, and obtains a pixel value after filtering corresponding to the pixel of interest (i, j) (S602).
  • the convolution operation can be calculated as the following equation (2).
  • the sum of the filter coefficients is normalized to 1 in advance.
  • the input filter coefficients are designed to perform image restoration. Therefore, y i, j ⁇ obtained in the convolution operation of Equation (2) (in which “the letter P with the hat symbol ⁇ ” is written in the text, “P ⁇ ” is represented) is a pixel after filtering Indicates a value.
  • the region setting unit 101 generates a new filter coefficient w ′ (S603).
  • the correction amount u i, j of the pixel value of the restored image multiplied by the filter coefficient with respect to the input image is as shown in Expression (3).
  • equation (2) is substituted into equation (3), equation (4) can be modified.
  • the sum of the new filter coefficients is zero instead of one. Note that the value obtained by adding the pixel value y i, j of the pixel of interest to the value obtained by the convolution operation using the new filter coefficient, and the value obtained by the convolution operation using the filter where the sum of the input filter coefficients is 1 Is equal to
  • the feature amount obtained by the convolution operation using the new filter coefficient w ′ m, n represents a correction amount as to how much the pixel is restored.
  • the feature amount uc i, j of the central region C and the feature amount us i, j of the peripheral region S can be shown as follows.
  • m, n ⁇ C represents that the position m, n is an element in the set C.
  • the ringing is likely to occur when the absolute value of the feature value in the peripheral area S is larger than the absolute value of the feature value in the central area C of the filter. In other words, ringing is likely to occur when
  • the area setting unit 101 divides the inside of the filter range into the central area C and the peripheral area S (S604).
  • FIG. 7 is a view showing an example in which the filter of FIG. 2A is divided into the peripheral area S and the central area C.
  • the criteria for separation can be set as follows. Since the sum of the filter coefficients w ′ m, n is 0, the following holds for the central region C and the peripheral region S.
  • the absolute values of the sums of the respective filter coefficients are equal.
  • the absolute value of the sum of filter coefficients deviates from 0, uc i, j and us i, j do not have the same value even if the input image has uniform pixel values.
  • the accuracy of the reliability decreases due to the comparison of
  • the central region C and the peripheral region S should be divided in consideration of the balance of filter strength. This balance can be evaluated with the power in the domain of the filter coefficients.
  • the power pc i, j of the filter coefficient of the central region C and the power ps i, j of the filter coefficient of the peripheral region S can be calculated by equation (9).
  • the region setting unit 101 appropriately calculates a correction coefficient for correcting the filter coefficient (S605).
  • equation (6) for calculating the feature amount of each region can be used.
  • the filter coefficient sum absolute value of each region is not necessarily zero. In that case, it is desirable to correct the filter coefficients. Therefore, calculation is made using new filter coefficients in which the filter coefficients are corrected so that the sum total absolute value of the filter coefficients in the central region C and the sum total absolute value of the filter coefficients in the peripheral region S become zero.
  • the respective correction coefficients e c and e s can be calculated as in equation (10).
  • the feature amount calculation unit 102 calculates a feature amount uc i, j of the central region C, and the feature amount calculation unit 103 calculates a feature amount us i, j of the peripheral region S (S606).
  • the feature amount is calculated from the equation (6) or from the following equation (12) when the correction coefficient is obtained in step S605.
  • the reliability calculation unit 104 calculates the reliability of the restored image based on the filter coefficient input to the target image (S607).
  • the reliability takes a real value from 0 to 1.
  • the lower the probability of ringing occurrence the higher the reliability of the restored image by the filter coefficient is to be a value close to 1, and the higher the probability of the ringing occurrence, the lower the reliability of the restored image by the filter coefficient. Try to take values close to 0 as.
  • the occurrence probability of ringing is determined by the central region feature amount and the peripheral region feature amount. That is, when the peripheral region feature amount is dominantly larger than the central region feature amount, it is determined that there is a strong edge in the periphery and ringing is likely to occur. For example, such reliability can be obtained from equation (13).
  • the constant ⁇ > 0 is a weighting constant for the superiority of the central region feature quantity.
  • the reliability may be designed as the following equation (14) using a logistic function.
  • ⁇ > 0 is a constant that controls the slope of the logistic function curve.
  • a step function (ramp function) of a broken line may be used.
  • the combining unit combines the image based on the reliability calculated in step S 607 to obtain an output image.
  • the reliability is closer to 1, the ratio of the restored image obtained by the convolution operation unit 905 in S602 is increased.
  • the output image is synthesized by weighted averaging such that the proportion of the input image increases as the reliability approaches 0.
  • the output image x i, j can be calculated as the following equation (15).
  • the restored image is used in the region where it is determined that ringing does not occur, and the input image is used in the region where ringing is likely to occur, so that a restored image in which ringing is suppressed can be obtained as a whole. .
  • FIG. 8 shows a modified example of the image processing apparatus of the present embodiment.
  • a filter and a setting method of the central area C and the peripheral area S corresponding to the filter are stored in the storage unit 802 in advance.
  • the filter selection unit 801 selects the filter stored in the storage unit 802 according to the pixel of interest.
  • the degradation process (PSF) of blur due to the lens of the camera is known, it is possible to obtain in advance the filter and the setting method of the filter central area C and the peripheral area S for each pixel of interest. Therefore, according to the image processing apparatus of FIG. 8, it is not necessary to sequentially set the area and the like, and it is possible to reduce the amount of calculation.
  • PSF degradation process
  • the likelihood of ringing is accurately determined by the interaction between the input image and the filter coefficient, not the likelihood of the occurrence of ringing being determined from the characteristics of the input image alone. This makes it possible to restore the image efficiently while suppressing ringing.
  • the image processing apparatus is different from the image processing apparatus according to the first embodiment shown in FIG. 1 in that filters are combined according to the reliability, and an input image is filtered by the combined filter to obtain an output image.
  • the restored image of the filtering result and the input image are synthesized based on the calculated reliability to generate an output image, but the synthesizing step (S602) of the first embodiment is a linear operation. Therefore, it is also possible to design a configuration for obtaining equivalent results by transforming the filter coefficients themselves as in the present embodiment.
  • FIG. 9 is a diagram showing an image processing apparatus of the present embodiment.
  • the point having the filter coefficient combining unit 906 and the convolution operation performed by the convolution operation unit 905 are different from the image processing apparatus in FIG.
  • the filter coefficient combining unit 906 combines the input filter coefficient with the through filter that outputs the input image as it is according to the reliability calculated by the reliability calculation unit 104.
  • the filter coefficient combining unit 906 performs a convolution operation on the input image with the new filter coefficients obtained by the filter coefficient combining unit 906 to obtain an output image.
  • the pixel value of the input image at the pixel position i, j is y i, j
  • the pixel value of the output image is x i, j .
  • FIG. 10 is a diagram showing the operation of the image processing apparatus of the present embodiment. Descriptions of steps S601, S603 to S607, and S609 are omitted because they are the same as in FIG.
  • the input filter coefficient w i, j and the filter coefficient for letting through the input image (only 1 at the filter center and all other coefficients are 0) Synthesize.
  • the ratio of the input filter coefficient is increased as the reliability approaches 1 and the new filter coefficient w ′ ′ m, n is synthesized by weighted averaging such that the ratio of the input image increases as the reliability approaches 0.
  • synthesis of the filter is as follows.
  • the restored image is used in the region where it is determined that ringing does not occur, and the input image is used in the region where ringing is likely to occur, so a filter coefficient that can obtain a restored image in which ringing is suppressed as a whole.
  • w ′ ′ m, n can be calculated.
  • the image processing apparatus does not use an input image as an input image but an image to be synthesized with a restored image according to the reliability, as a second restored image with a second filter coefficient.
  • the power of the input filter is larger than the power of the second filter.
  • the second filter coefficient learns a filter that solves the inverse problem between the correct image and the deteriorated image deteriorated by the above-described deterioration process, like the winner filter. Etc. can be designed. At this time, a filter can be generated by making the degree of deterioration of the deteriorated image smaller in the second filter coefficient than in the input filter.
  • FIG. 11 is a diagram showing an image processing apparatus of the present embodiment.
  • the image processing apparatus of the present embodiment further includes a second convolution operation unit 1105.
  • the second convolution unit 1105 obtains a second restored image based on a second filter coefficient whose filter power is smaller than the input filter coefficient.
  • the power of the filter coefficients can generally be defined by the magnitude of the power spectrum by Fourier transform.
  • the sum of absolute values of filter coefficients can also be evaluated.
  • FIG. 12 is a diagram showing the operation of the image processing apparatus of the third embodiment.
  • the second convolution operation unit 1105 performs filtering on the input image using the second filter coefficient to generate a second restored image.
  • the left side of Expression (17) indicates the pixel value after the second filtering.
  • the second restored image and the restored image obtained in S602 are combined based on the reliability.
  • the ratio of the restored image is increased as the reliability is closer to 1, and the output image is synthesized by weighted averaging such that the ratio of the second restored image is increased as the reliability is closer to 0.
  • the restored image is used in the region where it is determined that ringing does not occur, and the second restored image is used in the region where ringing is likely to occur, so that a restored image with suppressed ringing as a whole is obtained. be able to.
  • the output image x i, j synthesized by weighted averaging can be calculated as in the following equation (18).
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various inventions can be formed by appropriate combinations of a plurality of constituent elements disclosed in the above embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components in different embodiments may be combined as appropriate.
  • the image processing apparatus can also be realized, for example, by using a general-purpose computer apparatus as basic hardware.
  • the program to be executed has a module configuration including the above-described functions.
  • the program is a file in an installable format or an executable format and recorded in a computer-readable recording medium such as a CD-ROM, CD-R, DVD, etc. and provided, or provided by incorporating it in a ROM etc. in advance. It is also good.
  • 101 area setting unit 102: feature amount calculation unit 103: feature amount calculation unit 104: reliability calculation unit 105, 905: convolution operation unit 106: image Combining unit, 906: filter coefficient combining unit, 1105: second convolution operation unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　入力画像とフィルタ係数との交互作用によってリンギングの発生し易さを判断し、より的確に画像の復元が行える技術を提供する。畳み込み演算部１０５は注目画素を含むフィルタ範囲内の画素値のフィルタ係数による重み付き和に基づいてフィルタリング後の注目画素の値を求める。第１の算出部はフィルタ範囲内で注目画素を含む中心領域Ｃ内の入力画像の各画素値に対してフィルタ係数を乗算して第１の重み付き和を算出する。第２の算出部はフィルタ範囲内で中心領域Ｃを除いた周辺領域内の入力画像の各画素値に対してフィルタ係数を乗算して第２の重み付き和を算出する。信頼度算出部は、第１の重み付き和の絶対値よりも第２の重み付き和の絶対値の方が大きい場合にはフィルタリング後の画素値の信頼度を低く見積もり、そうでない場合には当該画素値の信頼度を高く算出する。出力画素値算出部は信頼度に応じて注目画素の出力画素値を求める。

Description

画像処理装置
　本発明は、リンギングを抑制しながら画像を復元・強調処理する画像処理装置及び画像処理方法に関する。
入力画像に対して、フィルタリングすることにより復元・強調された出力画像を得る方法がある。
　復元フィルタリングによって復元画像に発生するリンギングに対して、リンギングの発生度合いを入力画像のエッジの強さから判別し、判別結果に応じて入力画像と復元画像の加重平均によって合成することによりリンギングを回避する技術が開示されている（例えば特許文献１）。
しかし、上記従来技術では入力画像のエッジ強度だけで判断すると、強いエッジに関しては復元フィルタの結果が使われるため復元されるが、それ以外の部分ではリンギングが発生するかもしれないとして入力画像が使われてしまい、リンギングの発生を抑制できない場合があった。
特開２００６－１２９２３６号　公報
本発明は、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを判断し、より的確にリンギングを抑制しつつ復元した画像を得ることを目的とする。
　上記課題を解決するために本発明は、入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和に基づいて前記注目画素のフィルタリング後の画素値を求める畳み込み部と、前記フィルタ範囲内で、前記注目画素を含む中心領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する第１の特徴量算出部と、前記フィルタ範囲内で、前記中心領域を除いた周辺領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する第２の特徴量算出部と、前記フィルタリング後の画素値の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記フィルタリング後の画素値と前記入力画像の画素値とを合成し、前記注目画素の出力画素値を得る合成部と、を有し、前記信頼度算出部は、前記周辺領域特徴量が前記中心領域特徴量より大きい場合には、前記周辺領域特徴量が前記中心領域特徴量より小さい場合よりも、前記信頼度を低く算出することを特徴とする画像処理装置を提供する。
　　そこで本実施形態では、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを判断し、より的確にリンギングを抑制しつつ復元した画像を得ることができる。
第１の実施形態の画像処理装置を示す図。 PSFの例を示す図。 画像復元のフィルタ係数の例を示す図。 リンギングの発生メカニズムを説明する図。 フィルタ係数の領域設定方法を説明する図。 図１の実施形態の画像処理装置の動作を示す図。 フィルタを周辺領域Sと中心領域Cとに分けた例を示す図。 第１の実施形態の画像処理装置の変更例を示す図。 第２の実施形態の画像処理装置を示す図。 第１の実施形態の画像処理装置の動作を示す図。 第３の実施形態の画像処理装置を示す図。 第３の実施形態の画像処理装置の動作を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
（第１の実施形態）　
本実施形態の画像処理装置は、入力画像と共に、入力画像に対して劣化を復元する／画像を強調する目的で設計されたフィルタ係数が与えられる。該フィルタ係数を用いて入力画像をフィルタリングすることにより出力画像を得る。なお、対象となる入力画像中の注目画素を含めた畳み込み演算の範囲内（以下、フィルタ範囲内と記載）の画素に対してフィルタ係数を乗算した重み付き平均値を求める、空間的な畳み込み演算をフィルタリングと呼ぶ。本実施形態の画像処理装置は、例えば撮像装置に組み込まれた画像処理装置として提供することができる。
図１は、本実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、領域設定部１０１、中心領域に対する特徴量算出部１０２、周辺領域に対する特徴量算出部１０３、信頼度算出部１０４、畳み込み演算部１０５、画像合成部１０６を備える。
領域設定部１０１は、入力されたフィルタ係数に基づいて、フィルタ範囲内を中心領域と周辺領域とに分割する。また、領域設定部１０１は、後段の特徴量を算出するための新たなフィルタ係数の生成や、フィルタ係数の補正する補正係数の算出を適宜行う。
特徴量算出部１０２は、フィルタ範囲内で、注目画素を含む中心領域内の入力画像の各画素値に対して、フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する。　
特徴量算出部１０３は、フィルタ範囲内で中心領域を除いた周辺領域内の入力画像の各画素値に対して、フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する。　
信頼度算出部１０４は、特徴量算出部１０２が算出した中心領域特徴量と特徴量算出部１０３が算出した周辺領域特徴量とから、入力画像に対するフィルタの信頼度（フィルタリング後の画素値の信頼度）を算出する。　
　畳み込み演算部１０５は、入力画像に対して、入力されたフィルタ係数によるフィルタリングを行いフィルタリング後の画素値を求める。　
画像合成部は１０６、信頼度に応じてフィルタリング後の画素値と入力画像の画素値とを合成し、注目画素の出力画素値を得る。　
次に、入力画像に対して劣化を復元する／画像を強調する目的で設計されたフィルタについて詳細に説明する。劣化のあり方を示した劣化過程として、例えばカメラのレンズボケを表現した点広がり関数Point Spread Function（以下PSFと記載）がある。
図２は、ガウス関数によって近似的に表現されたPSFの例を示す図である。PSFの例（ガウス関数）を式（１）に示す。
Figure JPOXMLDOC01-appb-M000001
ここで、i, jはフィルタの中心（注目画素）からの位置である。Ｑは正規化定数（総和を１にするためのもの）である。自然数ｒ≧１はPSF（フィルタ）の適用範囲の大きさを示す値である。つまり、フィルタ範囲は注目画素を中心とする（２ｒ＋１）×（２ｒ＋１）の範囲となる。σ＞０はガウス関数の標準偏差であり、ボケの大きさを示している。σ＝２、ｒ＝３のガウス関数を劣化過程とした場合の画像復元のフィルタ係数（ｒ＝７）は以下のように設計することができる。ｒ＝７より、フィルタ範囲は１５ｘ１５のサイズである。また、８行８列目がフィルタ中心である。
Figure JPOXMLDOC01-appb-M000002
図３は、上記のフィルタ係数の8行目をグラフ化したものである。図３のフィルタによる畳み込み演算によって求まった値が、注目画素のフィルタリング後の画素値となる。本実施形態では、図３に示したフィルタが入力された例について示す。
このような画像復元のためのフィルタ係数はウィナーフィルタのように、正解画像と正解画像を前述した劣化過程によって劣化させた劣化画像との間の逆問題を解くフィルタを学習させるなどして設計することができる。なおこのフィルタ係数は、あらかじめ設計しておきそのフィルタ係数をルックアップテーブルのようにメモリに格納しておいても良いし、劣化過程が入力された後、劣化過程に応じてフィルタ係数を算出する構成であっても構わない。劣化過程は、例えば画像を入力する撮像系が分かれば定めることが出来る。なお、本実施形態では、フィルタ係数は外部から入力される構成とした。
しかし、このような画像復元のフィルタリングをおこなった場合には、真のエッジの周辺に偽のエッジが繰り返し現れるリンギングという現象によって画質劣化が発生することが知られている。次に、リンギングの発生メカニズムについて詳細に説明する。
図４は、リンギングの発生メカニズムを示す図である。左・右の両図共に横軸が画素位置を示し、縦軸が画素値を示す。入力画像のある一列の画素群４０１と、それを前述のフィルタ係数によるフィルタリングによって復元した復元画像の一列の画素群４０２を示す。図４左図から、鈍ったエッジ４０３がシャープなエッジ４０４になっていることが分かる。同時に強いエッジ４０５の周辺にリンギング４０６が発生していることも分かる。これはフィルタ係数と入力画像の特徴に起因している。フィルタ係数の周辺領域４０７でもある程度の振幅をもった係数値が存在していることが図３からも分かる。フィルタ係数の周辺領域４０７と入力画像における強いエッジ４０５が重なるとき、この強いエッジ４０５の成分に対して、ある程度の振幅を持った周辺領域４０７のフィルタ係数が乗算され、中心画素に対して畳み込まれてしまうことになる。すると本来エッジなどは存在しなかった平坦な部分に、周辺領域４０７の強いエッジ４０５の成分が畳み込まれてしまいリンギングが発生する。入力画像における強いエッジ４０５の周辺ではリンギングが発生しやすいが、それは入力画像のみで決定されるものではなく、入力画像とフィルタ係数の交互作用によって決定されるものである。
本実施形態では、入力画像の特徴のみではなく、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさをより的確に判断する。具体的には、フィルタ範囲内を中心領域と周辺領域とに分け、それぞれの領域の各画素にフィルタをかけた場合の値の比較によって判断する。
図５は、フィルタの適用範囲の大きさｒとする２次元のフィルタ形状を示す図である。図５ではフィルタ中心からr=３の範囲内をフィルタの適用範囲とする例を示している。またフィルタ中心からの位置をｍ,ｎとしたとき、フィルタ係数はｗｍ,ｎと記す。図５では正方形の例を示しているがもちろん長方形など正方形以外のフィルタ形状でも構わない。フィルタの中心が注目画素であり、ドットで描いた領域（ｒ＝１）が中心領域で、斜線で示した領域（ｒ＝２、３）が周辺領域である。
次に、本実施形態の画像処理装置の動作について詳細に示す。以下、入力画像の位置i,jの画素値をyi,jと記す。また、本実施形態の画像処理装置によって求めた出力画像の位置i,jの画素値をxi,jと記す。
図６は、本実施形態の画像処理装置の動作を示す図である。　
まず、入力画像のうち１つの画素を注目画素（i，j）として選択する（Ｓ６０１）。
次に、畳み込み演算部１０５は、入力画像と入力されたフィルタ係数によって畳み込み演算を行い、注目画素（i，j）に対応するフィルタリング後の画素値を得る（Ｓ６０２）。畳み込み演算は、以下の式（２）のように計算できる。なお、フィルタ係数の総和は１となるよう予め正規化されている。
Figure JPOXMLDOC01-appb-M000003
入力されたフィルタ係数が画像の復元を行うように設計されている。そのため、式（２）の畳み込み演算によって求まったｙi,j＾（数式中の「ハット記号＾の付された文字Ｐ」を、本文中では「Ｐ＾」を表記する）はフィルタリング後の画素値を示す。
次に、領域設定部１０１は新たなフィルタ係数ｗ’を生成する（Ｓ６０３）。フィルタ係数を乗じた復元画像の、入力画像に対する画素値の補正量ui,jは、式（３）のようになる。
Figure JPOXMLDOC01-appb-M000004
式（３）に式（２）を代入すると式（４）と変形できる。　
Figure JPOXMLDOC01-appb-M000005
ここで｛－ｒ≦ｍ≦ｒ，－r≦ｎ≦ｒ｝＼0,0はフィルタ中心（0,0）Ｔを除くフィルタ内の点ということを意味している。つまりフィルタ中心のフィルタ係数をｗ’０,０＝ｗ０,０－１とした新たなフィルタ係数ｗ’m,nによって式（５）と書くことができる。
Figure JPOXMLDOC01-appb-M000006
新しいフィルタ係数の総和は１ではなく０となる。なお、新たなフィルタ係数による畳み込み演算によって求まった値に対して注目画素の画素値yi,jを足した値と、入力されたフィルタ係数の総和が１となるフィルタによる畳み込み演算によって求まった値とは等しい。
この新たなフィルタ係数ｗ’m,nによる畳み込み演算で得られる特徴量は当該画素がどれくらい復元されるかという補正量を表している。中心領域Ｃの特徴量uci,j、周辺領域Ｓの特徴量usi,jはそれぞれ以下のように示すことが出来る。
Figure JPOXMLDOC01-appb-M000007
ここでｍ,ｎ∈Ｃは位置ｍ,ｎが集合Ｃ内の要素であることを表している。リンギングが発生しやすいのは、フィルタの中心領域Ｃの特徴量の絶対値よりも周辺領域Ｓの特徴量の絶対値の方が大きい場合である。上記条件を言い換えると、リンギングの発生しやすいのは|uci,j|<|usi,j|のときである。
次に、領域設定部１０１が、フィルタ範囲内を中心領域Ｃと周辺領域Ｓに分割する（Ｓ６０４）。
図７は、図２（ａ）のフィルタを周辺領域Ｓと中心領域Ｃとに分けた例を示す図である。
切り分けの基準は以下のように設定することができる。フィルタ係数ｗ’m,nの総和は０であるから中心領域Ｃ・周辺領域Ｓに関して以下が成り立つ。
Figure JPOXMLDOC01-appb-M000008
よって領域を二つに分けた場合には、それぞれのフィルタ係数の総和の絶対値は等しい。フィルタ係数の総和の絶対値が０から離れることは、入力画像が一様な画素値をもっていたとしてもuci,j ,usi,jが同じ値とならない。そうすると、|uci,j|，|usi,j|の大小比較による信頼度の精度が落ちる。そこで領域の切り分けの基準としては、それぞれの領域のフィルタ係数の総和の絶対値（A）ができるだけ０に近づくように設定することが好ましい。
しかしながら、中心領域Ｃか周辺領域Ｓのどちらかの係数の総和の値を非常に大きく取ってみる場合を考えると、式（８）となり、
Figure JPOXMLDOC01-appb-M000009
フィルタ係数の総和の絶対値が0に近づくため、上記評価基準からすれば良い切り分けといえる。しかし特徴量を算出することを考えるとバランスが悪く、片方を評価していないのと等価である。そこでフィルタの強さのバランスを考慮して中心領域Ｃと周辺領域Ｓとに分割するべきである。このバランスはフィルタ係数の領域内のパワーで評価することが可能である。中心領域Ｃのフィルタ係数のパワーpci,j、周辺領域Ｓのフィルタ係数のパワーpsi,jはそれぞれ式（９）で算出することが出来る。
Figure JPOXMLDOC01-appb-M000010
これは、中心領域Ｃ、周辺領域Ｓそれぞれのフィルタ係数の絶対値の総和となっており、フィルタの強さを評価している。上記のバランスを保つためには、Pci,j（中心領域のフィルタ係数の絶対値和）とPsi,j（周辺領域のフィルタ係数の絶対値和）ができるだけ等しくなるように設定する、という条件を設定すればよい。つまり、　
それぞれの領域のフィルタ係数の総和の絶対値（A）ができるだけ０に近づくように　
Pci,jとPsi,jができるだけ等しくなるように　
領域を設定すればよい。
　次に、領域設定部１０１は、フィルタ係数の補正する補正係数の算出を適宜行う（Ｓ６０５）。後段で算出する中心領域特徴量・周辺領域特徴量としては、それぞれの領域の特徴量を算出する式（６）を用いることができる。ただし、Ｓ６０４で述べたように、それぞれの領域のフィルタ係数総和絶対値が０になるとは限らない。その場合、フィルタ係数を補正することが望ましい。そこで中心領域Ｃのフィルタ係数の総和絶対値、周辺領域Ｓのフィルタ係数の総和絶対値がそれぞれ０となるようにフィルタ係数を補正した新たなフィルタ係数で計算する。それぞれの補正係数ec、esは式（１０）のように計算できる。
Figure JPOXMLDOC01-appb-M000011
ここでＮｕｍ（Ｃ）はＣの要素数を表す。これらの補正係数を用いると
Figure JPOXMLDOC01-appb-M000012
とそれぞれの総和は０になる。
次に、特徴量算出部１０２は、中心領域Ｃの特徴量uci,jを算出し、特徴量算出部１０３は、周辺領域Ｓの特徴量usi,jを算出する（Ｓ６０６）。特徴量は式（６）から、またはＳ６０５で補正係数を求めた場合には以下の式（１２）から算出する。
Figure JPOXMLDOC01-appb-M000013
この補正後の特徴量によれば、一様な入力画像に対してuci,j＝usi,j＝０が成り立つ。それによって、後段の|uci,j|，|usi,j|の大小比較による信頼度を、より精度よく求めることが出来る。
次に、信頼度算出部１０４は、注目画像に対して入力されたフィルタ係数による復元画像の信頼度を算出する（Ｓ６０７）。信頼度は、０から１までの実数値を取る。リンギングが発生する確率が低い程、フィルタ係数による復元画像の信頼度が高いものとして１に近い値を取るようにし、リンギングが発生する確率が高い程、フィルタ係数による復元画像の信頼度が低いものとして０に近い値を取るようにする。リンギングの発生確率は中心領域特徴量・周辺領域特徴量によって判定する。すなわち中心領域特徴量に比べて、周辺領域特徴量が優位に大きい場合には、周辺に強いエッジがありそれによりリンギングが発生しやすいと判断する。例えば、そのような信頼度を式（１３）から求めることが出来る。
Figure JPOXMLDOC01-appb-M000014
ここで定数α＞０は中心領域特徴量の優位性に対する重み定数である。
また、信頼度はロジスティック関数を使って以下の式（１４）ように設計しても良い。
Figure JPOXMLDOC01-appb-M000015
ここでβ＞０はロジスティック関数のカーブの傾きを制御する定数である。折れ線のステップ関数（ランプ関数）などを用いても良い。
次に、合成部はステップＳ６０７で算出した信頼度に基づいて画像を合成し、出力画像を得る。信頼度が１に近いほどＳ６０２で畳み込み演算部９０５が求めた復元画像の割合を大きくする。また、信頼度が０に近いほど入力画像の割合が大きくなるような加重平均によって出力画像を合成する。加重平均によって出力画像ｘｉ,ｊは以下の式（１５）のように計算できる。
Figure JPOXMLDOC01-appb-M000016
このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では入力画像が用いられるため、全体としてリンギングの抑制された復元画像を得ることができる。
　入力画像の全ての画素について出力画像を求めたか判定する（Ｓ６０９）。出力画像を求めていない画素が残っている場合には、Ｓ６０１に戻り次の画素を注目画素として選択する。出力画像を求めていない画素が残っていない場合には、出力画像を出力する。
図８に、本実施形態の画像処理装置の変更例を示す。図８の変更例では、あらかじめ記憶部８０２にフィルタと、該フィルタと対応する中心領域Ｃ及び周辺領域Ｓの設定方法とが格納されている。
フィルタ選択部８０１は、注目画素に応じて記憶部８０２に記憶されたフィルタを選択する。
例えばカメラのレンズによるボケの劣化過程（PSF）が既知の場合、注目画素毎にあらかじめフィルタと、該フィルタ中心領域Ｃ及び周辺領域Ｓの設定方法を求めることが可能である。そのため、図８の画像処理装置によれば、領域の設定などを逐次的に行う必要がなく演算量を削減することが可能である。
以上により本実施形態では、入力画像の特徴のみからリンギングの発生しやすさを判断するのではなく、入力画像とフィルタ係数の交互作用によってリンギングの発生しやすさを的確に判断している。それによって、リンギングを抑制しつつ効率よく画像の復元が可能となる。
（第２の実施形態）　
本実施形態の画像処理装置は、図１に示した第１の実施形態の画像処理装置とは異なり、信頼度に応じてフィルタを合成し、合成されたフィルタによって入力画像をフィルタリングして出力画像を求める。第１の実施形態ではフィルタリング結果の復元画像と入力画像を算出された信頼度を元にして合成して出力画像を生成したが、第１の実施形態の合成ステップ（Ｓ６０２）は線形操作であるため、本実施形態のようにフィルタ係数自体を変換することで等価な結果を得る構成も設計可能である。
図９は、本実施形態の画像処理装置を示す図である。フィルタ係数合成部９０６を有する点と、畳み込み演算部９０５が行う畳み込み演算とが図１の画像処理装置と異なる。
　フィルタ係数合成部９０６は、信頼度算出部１０４が算出した信頼度に応じて、入力されたフィルタ係数と、入力画像をそのまま出力するスルーフィルタとを合成する。
フィルタ係数合成部９０６は、フィルタ係数合成部９０６が求めた新たなフィルタ係数によって、入力画像に畳み込み演算を行って出力画像を得る。
次に、本実施形態の画像処理装置の動作について詳細に示す。以下、第１の実施形態と同様に画素位置i,jにおける入力画像の画素値をyi,jと、出力画像の画素値をxi,jとする。
図１０は、本実施形態の画像処理装置の動作を示す図である。Ｓ６０１、Ｓ６０３～Ｓ６０７、Ｓ６０９は、図６と同様の処理を行うため説明は省略する。
Ｓ１００８では、入力されたフィルタ係数ｗi,jと入力画像をスルーさせるフィルタ係数（フィルタ中心のみ１でその他の係数はすべて0）とを、Ｓ６０７で算出された信頼度Pi,jに基づいて合成する。信頼度が１に近いほど入力されたフィルタ係数の割合を大きくし、信頼度が０に近いほど入力画像の割合が大きくなるような加重平均によって新たなフィルタ係数ｗ”ｍ,ｎを合成する。算出された信頼度を用いるとフィルタの合成は以下のようになる。
Figure JPOXMLDOC01-appb-M000017
このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では入力画像が用いられるため、全体としてリンギングの抑制された復元画像が得られるフィルタ係数ｗ”ｍ,ｎを計算することができる。
Ｓ１００９では、Ｓ１００８で計算された新たな合成フィルタ係数を用いて式（１６）によって畳み込みを実行し、出力画像xi,jを得る。
Figure JPOXMLDOC01-appb-M000018
入力画像の全ての画素について出力画像を求めたか判定する（Ｓ６０９）。出力画像を求めていない画素が残っている場合には、Ｓ６０１に戻り次の画素を注目画素として選択する。出力画像を求めていない画素が残っていない場合には、出力画像を出力する。
（第３の実施形態）　
　本実施形態の画像処理装置は、図１の画像処理装置と異なり、信頼度に応じて復元画像と合成する画像を入力画像ではなく、第2のフィルタ係数による第２の復元画像とする。なお、入力されるフィルタのパワーの方が第2のフィルタのパワーよりも大きい。第２の復元画像ではリンギングが発生しない場合には、入力画像と合成するよりも復元性能が高まる。
例えば第2のフィルタ係数は、第１の実施形態と同様にウィナーフィルタのように、正解画像と正解画像を前述した劣化過程によって劣化させた劣化画像との間の逆問題を解くフィルタを学習させるなどして設計することができる。その際に、入力されるフィルタよりも劣化画像の劣化度合いを第2のフィルタ係数の方が小さくなるようにすることにより、フィルタを生成することが出来る。
図１１は、本実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、第２の畳み込み演算部１１０５をさらにを備える。
第２の畳み込み演算部１１０５は、入力されたフィルタ係数よりもフィルタのパワーが小さい第２のフィルタ係数による第２の復元画像を得る。フィルタ係数のパワーは、一般的にはフーリエ変換によるパワースペクトルの大きさで定義できる。なお、簡易的にはフィルタ係数の絶対値和でも評価できる。
図１２は、第３の実施形態の画像処理装置の動作を示す図である。　
Ｓ１２０２では、第2畳み込み演算部１１０５が、第2のフィルタ係数を用いて入力画像に対してフィルタリングをおこない、第2の復元画像を生成する。式（１７）の左辺は、第２のフィルタリング後の画素値を示す。
Figure JPOXMLDOC01-appb-M000019
Ｓ１２０８では信頼度に基づいて、第２の復元画像とＳ６０２で求めた復元画像とを合成する。信頼度が１に近いほど復元画像の割合を大きくし、信頼度が０に近いほど第2の復元画像の割合が大きくなるような加重平均によって出力画像を合成する。このようにすることによってリンギングが発生しないと判断された領域では復元画像が用いられ、リンギングが発生しそうな領域では第2の復元画像が用いられるため、全体としてリンギングの抑制された復元画像を得ることができる。加重平均によって合成される出力画像ｘｉ,ｊは以下の式（１８）のように計算できる。
Figure JPOXMLDOC01-appb-M000020
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
また、上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD－R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
　　１０１・・・領域設定部、１０２・・・特徴量算出部、１０３・・・特徴量算出部、１０４・・・信頼度算出部、１０５、９０５・・・畳み込み演算部、１０６・・・画像合成部、９０６・・・フィルタ係数合成部、１１０５・・・第２の畳み込み演算部

Claims (5)

  1. 入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和に基づいて前記注目画素のフィルタリング後の画素値を求める畳み込み部と、
    前記フィルタ範囲内で、前記注目画素を含む中心領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から中心領域特徴量を算出する第１の特徴量算出部と、
    　前記フィルタ範囲内で、前記中心領域を除いた周辺領域内の前記入力画像の各画素値に対して、前記フィルタ係数を乗算して求めた重み付き和の絶対値から周辺領域特徴量を算出する第２の特徴量算出部と、
    　前記フィルタリング後の画素値の信頼度を算出する信頼度算出部と、
    　前記信頼度に応じて前記フィルタリング後の画素値と前記入力画像の画素値とを合成し、前記注目画素の出力画素値を得る合成部と、
    を有し、前記信頼度算出部は、前記周辺領域特徴量が前記中心領域特徴量より大きい場合には、前記周辺領域特徴量が前記中心領域特徴量より小さい場合よりも、前記信頼度を低く算出することを特徴とする画像処理装置。
  2. 前記中心領域と、前記周辺領域とは、それぞれ領域に対応する前記フィルタ係数の総和が０に近づくように、かつ、前記中心領域と前記周辺領域とでフィルタの強度がほぼ同じになるように設定される、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記合成部は、前記信頼度が所定の基準よりも低い場合には、前記入力画像を前記出力画素値として求め、前記信頼度が所定の基準以上の場合には、前記フィルタリング後の画素値を前記出力画素値として求める、
    ことを特徴とする請求項２記載の画像処理装置。
  4. 　前記合成部は、前記信頼度が高い程、前記フィルタリング後の画素値に対して強い重みを乗じ、前記信頼度が低い程、前記入力画像の注目画素値に対して強い重みを乗じて、加重平均した画素値を前記出力画素値とすること、
    を特徴とする請求項２記載の画像処理装置。
  5. 前記畳み込み部は、前記フィルタリング後の画素値を、入力画像の注目画素を含むフィルタ範囲内の各画素値のフィルタ係数による重み付き和と、前記入力画像の注目画素の画素値との和から求めることを特徴とする請求項３に記載の画像処理装置。
PCT/JP2009/002117 2009-05-14 2009-05-14 画像処理装置 WO2010131296A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/002117 WO2010131296A1 (ja) 2009-05-14 2009-05-14 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/002117 WO2010131296A1 (ja) 2009-05-14 2009-05-14 画像処理装置

Publications (1)

Publication Number Publication Date
WO2010131296A1 true WO2010131296A1 (ja) 2010-11-18

Family

ID=43084694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002117 WO2010131296A1 (ja) 2009-05-14 2009-05-14 画像処理装置

Country Status (1)

Country Link
WO (1) WO2010131296A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015146380A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2017098832A1 (ja) * 2015-12-09 2017-06-15 Eizo株式会社 画像処理装置及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0260289A (ja) * 1988-08-25 1990-02-28 Sharp Corp デコーダ
JPH02200066A (ja) * 1989-01-30 1990-08-08 Hitachi Ltd エツジ検出回路
JPH09135370A (ja) * 1995-09-05 1997-05-20 Matsushita Electric Ind Co Ltd リンギング検出器およびフィルタ
JP2004343334A (ja) * 2003-05-14 2004-12-02 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体
JP2005057496A (ja) * 2003-08-04 2005-03-03 Sharp Corp 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006129236A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006262372A (ja) * 2005-03-18 2006-09-28 Casio Comput Co Ltd フィルタ装置
WO2006117844A1 (ja) * 2005-04-27 2006-11-09 Mitsubishi Denki Kabushiki Kaisha 画像処理装置、画像処理方法、及び情報端末装置
JP2008160819A (ja) * 2006-11-29 2008-07-10 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
JP2008306656A (ja) * 2007-06-11 2008-12-18 Sony Corp 画像信号処理装置、画像信号処理方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0260289A (ja) * 1988-08-25 1990-02-28 Sharp Corp デコーダ
JPH02200066A (ja) * 1989-01-30 1990-08-08 Hitachi Ltd エツジ検出回路
JPH09135370A (ja) * 1995-09-05 1997-05-20 Matsushita Electric Ind Co Ltd リンギング検出器およびフィルタ
JP2004343334A (ja) * 2003-05-14 2004-12-02 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体
JP2005057496A (ja) * 2003-08-04 2005-03-03 Sharp Corp 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006129236A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006262372A (ja) * 2005-03-18 2006-09-28 Casio Comput Co Ltd フィルタ装置
WO2006117844A1 (ja) * 2005-04-27 2006-11-09 Mitsubishi Denki Kabushiki Kaisha 画像処理装置、画像処理方法、及び情報端末装置
JP2008160819A (ja) * 2006-11-29 2008-07-10 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
JP2008306656A (ja) * 2007-06-11 2008-12-18 Sony Corp 画像信号処理装置、画像信号処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Proceedings of the 2005 IEICE General Conference, Joho-System 2, 07 March, 2005 (07.03.05)", article YUKI CHIBA ET AL.: "PSF o Mochiita Rekka Gazo Fukugen ni Okeru Ringing Teigen Shuho no Kento", pages: 43 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015146380A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN106134178A (zh) * 2014-03-28 2016-11-16 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2017098832A1 (ja) * 2015-12-09 2017-06-15 Eizo株式会社 画像処理装置及びプログラム
RU2679542C1 (ru) * 2015-12-09 2019-02-11 ЭЙДЗО Корпорейшн Устройство и программа для обработки изображений
US10664956B2 (en) 2015-12-09 2020-05-26 Eizo Corporation Image processing apparatus and program

Similar Documents

Publication Publication Date Title
US9405960B2 (en) Face hallucination using convolutional neural networks
JP4775700B2 (ja) 画像処理装置及び画像処理方法
CN102930506B (zh) 图像处理装置、图像处理方法和图像拾取装置
JP2023001217A (ja) 画像処理システム及び医用情報処理システム
JP4517872B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7978926B2 (en) Edge ringing artifact suppression methods and apparatuses
JP2022501662A (ja) 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
US20130050540A1 (en) Image processing apparatus, image capture apparatus and image processing method
WO2013145554A1 (ja) 画像処理装置及び画像処理方法
CN102147915B (zh) 一种权重的稀疏边缘正则化图像复原方法
US20110158541A1 (en) Image processing device, image processing method and program
JP2013003610A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US11830173B2 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
EP4109396A1 (en) Image de-blurring
JP2012049603A (ja) 画像処理装置および画像処理プログラム
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2010212782A (ja) 画像鮮鋭化装置、画像鮮鋭化方法
WO2010131296A1 (ja) 画像処理装置
JP5928465B2 (ja) 劣化復元システム、劣化復元方法およびプログラム
CN112073603B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6350205B2 (ja) 処理装置、処理方法および処理プログラム
JP6566780B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP4109395A1 (en) Image processing method, image processing apparatus, image processing system, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09844571

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09844571

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP