WO2017183273A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2017183273A1
WO2017183273A1 PCT/JP2017/005696 JP2017005696W WO2017183273A1 WO 2017183273 A1 WO2017183273 A1 WO 2017183273A1 JP 2017005696 W JP2017005696 W JP 2017005696W WO 2017183273 A1 WO2017183273 A1 WO 2017183273A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixel value
image
color
demosaicing
Prior art date
Application number
PCT/JP2017/005696
Other languages
English (en)
French (fr)
Inventor
忠和 角戸
恵太 中山
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2018512795A priority Critical patent/JP6644877B2/ja
Publication of WO2017183273A1 publication Critical patent/WO2017183273A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus that interpolates RGB color information from a RAW image obtained from a single-plate sensor or the like.
  • a CCD sensor or a CMOS sensor includes a single-plate system that captures RGB colors with a single sensor and a multi-panel system that optically separates RGB.
  • a color image is generated by using RGB color information (R pixel value, G pixel value, B pixel value) for each pixel.
  • RGB color information R pixel value, G pixel value, B pixel value
  • values are obtained through primary color filters. Only one color information is output at the pixel position.
  • An image lacking pixel information as read from the sensor is called a RAW image.
  • a sensor that generates this RAW image often uses a Bayer pattern as a primary color filter.
  • the RAW image is left as it is, and two of the three pieces of color information are missing. Therefore, in order to compensate for the missing two color information, a process of interpolating RGB color information called a demosaicing process is performed.
  • a demosaicing process the simplest method is linear interpolation, in which missing color information to be interpolated is interpolated from surrounding color information of the same color. That is, when R color information is missing, interpolation is performed using the average value of surrounding R pixels. If the image is a single region with a small frequency component, good interpolation can be performed using linear interpolation. However, in an area where an edge portion of an image having a high frequency component exists, color information which is not originally possessed by the subject, which is called false color, is interpolated.
  • the false color will be described with reference to FIG. Assume that color information at pixel position 2 is missing and is interpolated by linear interpolation. Interpolation is performed using color information P1 at pixel position 1 and color information P3 at pixel position 3 by linear interpolation. As a result, the interpolated color information P2a is an average value of the two color information P1 and P3. At this time, as shown in the figure, for example, when the color information P2b originally possessed by the subject has a larger value than the interpolated color information P2a, the interpolated color information P2a becomes color information originally possessed by the subject, and false color Will occur. In this way, false colors are likely to occur near the edges.
  • the ACPI method adaptive color brain interpolation method
  • an edge direction is evaluated from a RAW image, and interpolation is performed using pixels arranged in a direction with little change in color information. This can suppress false colors, but it selects only one of the limited interpolation directions that is as orthogonal as possible to the edge gradient direction, and cannot completely prevent false colors. .
  • Color moire is a phenomenon that occurs in a subject video having a high-frequency component.
  • the demosaicing process is performed with four RGGB pixels as one set. At this time, the number of R / B pixels is only 1/4 of the number of pixels. For this reason, aliasing occurs in the high frequency components, and color information cannot be reproduced correctly, or a periodic shading pattern occurs.
  • JP 2005-354610 A Japanese Patent No. 4520886
  • the present invention has been made in view of such a situation, and an object thereof is to sufficiently suppress visually conspicuous false colors with a relatively small processing amount.
  • the present invention provides a demosaicing processor that obtains a RAW image and performs a demosaicing process, and a median filter that uses a predetermined pixel area for the R pixel value and the B pixel value for the processing result of the demosaicing processor. And a filtering unit that implements a plurality of times.
  • the RAW image has an RGB array in which a certain unit pattern is periodically arranged (having translational symmetry in two dimensions), and the filtering unit performs processing before the median filter is applied.
  • the R pixel value, the G pixel value, and the B pixel value obtained by the demosaicing process as the color information of each pixel, in each pixel, (R pixel value ⁇ G pixel value), and (B pixel value ⁇ G pixel value) may be calculated, the median filter may be applied to the calculated value, and the G pixel value used for the difference may be added to the value after filtering.
  • the demosaicing processor may perform processing using an adaptive color brain interpolation method as the demosaicing processing.
  • an image quality adjustment processor that executes one or a plurality of types of image quality adjustment processing may be provided between the demosaicing processor and the filtering unit.
  • image quality adjustment processing is not only image processing generally used for cameras such as ⁇ correction, but also what emphasizes image features such as dark portion correction of night surveillance video. set to target.
  • FIG. 1 is a block diagram of an image processing system 1 according to an embodiment.
  • 9 is a flowchart for explaining processing of a false color remover 14 according to the embodiment.
  • color moire is reduced by a non-linear iterative method using a median filter after the demosaicing process.
  • the median filter uses pixels in an arbitrary m ⁇ n region.
  • FIG. 3 is a block diagram showing a schematic configuration of the image processing system IV 1 according to the present embodiment. Here, mainly the processing characteristic of the present embodiment is noted.
  • the image processing system IV 1 includes a camera 20 and an image processing device 10.
  • the camera 20 has a single-plate sensor, and the sensor surface is covered with the above-described Bayer pattern on-chip color filter.
  • the camera 20 has a RAW image output function and can output a RAW image to the image processing apparatus 10. That is, the RAW image has pixel data in an RGB array of Bayer pattern.
  • the image processing apparatus 10 includes a RAW image input unit 11, a demosaicing processor 12, an image quality adjustment processor 13, a false color remover 14, and an image output unit 15.
  • the RAW image input unit 11 acquires a RAW image from the camera 20. It is assumed that the RAW image is subjected to black level correction, fixed pattern noise correction, and the like before being transferred to the demosaicing processor 12.
  • the demosaicing processor 12 performs a demosaicing process on the RAW image from the RAW image input unit 11 and outputs a color-separated RGB image.
  • the ACPI method is used as the demosaicing process, but other interpolation methods such as a VNG (Variable Number of Gradients) method can be arbitrarily applied.
  • the image quality adjustment processor 13 operates gamma correction, dark area (black) correction, highlight (knee) correction, brightness area operations such as tone mapping, and hue / saturation area operations such as independent color masking and haze removal.
  • various types of image processing useful for improving image quality and visibility including space domain operations and time domain operations, are executed. Since the process of the image quality adjustment processor 13 may enhance or restore the false color, it is considered that the false color removal process using the median filter is more effective when applied after the image quality adjustment process.
  • the false color remover 14 calculates a difference value between G pixels for R pixels and B pixels in the RGB color information of the image data after the demosaicing process as an iterative process, and calculates The median filter of m ⁇ n pixels is repeatedly applied to the subsequent difference pixel data as many times as specified by the user. This reduces the color moire caused by the demosaicing process.
  • the image output unit 15 outputs the image data processed by the false color remover 14 to a predetermined storage device or display device.
  • a predetermined storage device or display device In the case of RGB output (4: 4: 4 format), the image output unit 15 outputs without performing any conversion process, and when performing Y / C output, the image output unit 15 performs RGB ⁇ YC conversion process. Output.
  • An arithmetic expression used for the conversion process is a standardized arithmetic expression such as BT.709.
  • FIG. 4 shows details of the iterative process performed by the false color remover 14.
  • the false color remover 14 obtains a user instruction and sets the number of iterations (S10). If it has already been set, this setting process is skipped.
  • the false color remover 14 calculates a difference value between the G pixel value and the R pixel value and the B pixel value at each pixel position of the RGB image after the demosaicing process (S11). That is, for example, when the pixel value X (R pixel value, G pixel value, B pixel value) of a certain pixel is X i (R i , G i , B i ), RG difference pixel data ⁇ X i (R i ⁇ G i , B i -G i ) is calculated.
  • the false color remover 14 performs median filter processing of m ⁇ n pixels on the image data represented by the calculated RG difference pixel data ⁇ X i (R i ⁇ G i , B i ⁇ G i ).
  • the median filter process is a process of calculating a median value of data of m ⁇ n pixels (windows) around the pixel to be processed and adopting the calculated median value as a processing result.
  • the padding process is performed by copying the pixel value at the edge of the image to m ⁇ n.
  • the median calculation result does not change depending on whether padding processing is performed.
  • the false color remover 14 adds the G pixel value (Gi) subtracted in S11 to each pixel data ⁇ Xf (Rf, Bf) after the median filter processing (S13), and R and B after the addition processing are added.
  • the pixel value is held as a processing result (S14). That is, (R i , G i , B i ) is overwritten with (R f + G i , G i , B f + G i ). Note that the G pixel value is not processed and the input pixel value is held as it is.
  • the process returns to S11.
  • the R pixel value, G pixel value, and B pixel value obtained in the previous processing are used.
  • the iteration method process ends. Note that the processing in each step from S11 to S14 is performed for all pixels in the image. Pixel values that have existed since a RAW image can be excluded from processing, but there is no significant difference in the effect.
  • FIG. 5 shows an example of hardware implementation of median filter processing by the false color remover 14.
  • the configuration in FIG. 5 corresponds to an operation on the R pixel value in S11 to S13 in the iterative processing shown in FIG. 4, and the same applies to the B pixel value.
  • the median filter window size is 3 ⁇ 3. Further, in order to perform a plurality of repetitive processes, the configuration of FIG. 5 may be simply cascaded.
  • the R pixel value (R i j ) and the G pixel value (G i j ) in the j-th iteration are input to the subtractor 40, and the subtractor 40 calculates the difference between them, and the flip-flop (FF) 31 And output to the 1H delay line 41.
  • Each of the flip-flops (FF) 31 to 39 is a register that holds one pixel value, and holds a value corresponding to 3 ⁇ 3 pixels from which a median is calculated.
  • the 1H delay lines 41 and 42 are digital delay lines that hold pixel values for one horizontal line, and may be composed of a first-in first-out (FIFO) memory or the like. Since the difference from the subtractor 40 can be negative, the bit depth is increased by one than before the subtraction.
  • the median filter 43 takes out the median value of the nine input pixel values and outputs it as a filtered pixel value (R f j ).
  • the median filter 43 is, for example, a hard-coded bubble sort algorithm, and can be realized by providing nine stages of nine parallel registers that can compare values adjacent to each other and performing a pipeline operation.
  • the 2H + 2 tap delay line 44 has a delay from when the pixel value (R i j ) is input to the subtractor 40 until the corresponding filtered pixel value (R f j ) is output from the median filter 43. The same delay is applied to the G pixel value (G i j ).
  • the adder 45 adds the filtered pixel value (R f j ) and the delayed pixel value (R i j ) and outputs the result.
  • the 1H delay lines 41 and 42 and the 2H + 2 tap delay line 44 can be configured using an embedded block RAM (EBR) inside the FPGA.
  • EBR embedded block RAM
  • One EBR has a capacity of about 18 Kbit and 36 Kbit, and a very high transfer bandwidth can be used as compared with an external RAM.
  • Other median filters 43 and the like can be configured by combining Programmable Function Unit (PFU) or slice, which is a basic unit of FPGA. As described above, since the false color remover 14 of this example does not require a multiplier (DSP slice), it may be easily incorporated using the remaining resources in the FPGA.
  • PFU Programmable Function Unit
  • DSP slice multiplier
  • lateral lateral chromatic aberration becomes conspicuous in the vicinity of both sides thereof.
  • Table 1 shows actually measured values of the color moire reduction effect by the false color remover 14 described with reference to FIGS.
  • an objective evaluation value is introduced.
  • the evaluation result is evaluated using a color difference formula of the CIELAB color system, and the smaller the difference value ( ⁇ Eab) means that a pixel value closer to the original subject is obtained. It can be confirmed from the objective evaluation that there is an effect by performing the repeated processing a plurality of times.
  • the difference value ( ⁇ Eab) is 1.94.
  • the difference value ( ⁇ Eab) was 1.3095, and the effect of reducing color moire was confirmed.
  • the difference value ( ⁇ Eab) was 1.2663.
  • FIG. 6 shows another hardware implementation example of the median filter processing by the false color remover 14. This example differs from FIG. 5 in that a switching median filter 48 is provided instead of the median filter 43.
  • symbol is attached
  • the output of FF 35 that outputs the value of the pixel corresponding to the center of the filter window is taken out and supplied to the comparator 46 and the subtractor 49.
  • the comparator 46 compares the center pixel value with a predetermined threshold value, and outputs a Boolean logic value as a result.
  • the pixel address generator 47 dominates the operation timing of the entire hardware in FIG. 6 and can output an address indicating where the central pixel value output from the FF 35 is located in the image.
  • the switching median filter (SMF) 48 of this example is an order statistical filter or a stack filter whose operation can be switched depending on conditions given from the comparator 46 or the pixel address generator 47.
  • the central pixel is a pixel existing in the Bayer array (that is, not a pixel generated by interpolation)
  • the central pixel value is output as it is without a median filter. In other cases, it operates as a normal median filter.
  • the S / N in the low luminance region can be improved and the color gradation can be accurately reproduced in the R and B channels having relatively low sensitivity. Also, by maintaining the original signal from the Bayer array, the image edges can be preserved.
  • the original signal from the Bayer array is output as it is, but if the original signal is larger than the output of the filter, the original signal may be discarded and the output of the filter may be used.
  • conditional filter operation is not limited to the above-described combinations, and the evaluation results of noise and high-frequency components may be used as conditions, and Double Window Modified Trimmed Mean filter, stack filter, ⁇ filter, etc. may be used. Good.
  • the subtractor 49 subtracts the center pixel value from the FF 35 from the filtered pixel value from the SMF 48 and outputs the result to the multiplier 50 as a correction amount.
  • the multiplier 50 multiplies the correction amount by a predetermined fixed constant and outputs the result to the subtracter 51 as the G correction amount.
  • the subtractor 51 subtracts the G correction amount from the multiplier 50 from the G pixel value from the 2H + 2 tap delay line 44 and outputs the result.
  • a pixel value having a decimal is obtained by using a filter with averaging, and the pixel value having the fixed point value can be used during the iterative calculation inside the false color remover 14. Further, the output of the false color remover 14 can be obtained. For example, at the time of color space conversion, a fixed-point pixel value can be multiplied by a conversion coefficient of BT.709.
  • a color moire reduction effect can be obtained by iteratively processing a non-linear filter such as a median filter.
  • the iterative process is not necessarily performed continuously in the same process, and a part of a plurality of iterative processes may be performed before the process of the image quality adjustment processor 13 or output from the image output unit 14 Then, software processing by a personal computer or the like may be performed.
  • the on-chip color filter is not limited to the Bayer filter, even when one of the four colors is a complementary color filter, or when one of the G pixels of the Bayer filter is replaced with a total transmission or infrared transmission filter, It can be applied if G pixel values (or pseudo luminance values) are generated at all pixel positions by interpolation.
  • the present invention can be used by being incorporated in devices such as digital cameras and video cameras, as well as image editing software used for RAW development or post-production, and cloud services for storing and editing images. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

RAW画像のデモザイキング処理により生じる偽色や色モアレを低減する技術が開示される。画像処理装置10の中で、RAW画像入力部11は、カメラ20からRAW画像を取得し、デモザイキング処理器12は、取得されたRAW画像に対してデモザイキング処理を施す。偽色除去器14は、デモザイキング処理後の画像データのＲＧＢの色情報において、Ｒ画素とＢ画素に対して、Ｇ画素との差分値を算出し、算出後の差分画素データに対してm×n画素のメディアンフィルタを複数回繰り返し施し、デモザイキング処理によって生じる色モアレを低減する。

Description

画像処理装置
　本発明は、画像処理装置及び画像処理方法に係り、例えば単板式センサなどから得られるRAW画像からＲＧＢ色情報を補間する画像処理装置に関する。
　近年、ビデオ監視の分野において一般的に使用される画像の解像度は、これまでのアナログ解像度（720pix×480pix）からFull HD解像度（1920pix×1080pix）へ移行し、画質が飛躍的に向上した。今後は、さらに高解像度化する流れがある。また、安全・安心が求められる社会情勢の中で、監視分野ではカメラで撮影した映像を忠実に再現することに加えて、カメラで撮影した映像から、人・動物・物（例えば自動車や二輪車）など様々な情報を検出する画像処理技術も向上している。そうした画像処理の中でも画像の視認性や忠実性を高める技術が近年重要視されている。
　一般に、ＣＣＤセンサやＣＭＯＳセンサには、１つのセンサでＲＧＢの各色を取り込む単板方式と、光学的にＲＧＢを分離した多板方式がある。カラー画像は、画素毎にＲＧＢの色情報（Ｒ画素値、Ｇ画素値、Ｂ画素値）を使って生成されるが、単板方式のセンサでは、原色フィルタを通して値が得られることから、各画素位置で１色の色情報しか出力しない。このセンサから読み出されたままの、画素情報が欠落している画像はRAW画像と呼ばれる。このRAW画像を生成するセンサには、原色フィルタとしてBayerパターンが用いられることが多い。
　図１に示す様に、RAW画像はそのままでは、３つの色情報のうち２つの色情報が欠落している。そこで、欠落した２つの色情報を補うために、デモザイキング処理と呼ばれるＲＧＢの色情報を補間する処理を行う。デモザイキング処理として、最も単純な手法は線形補間であり、補間対象の欠落している色情報を周辺の同色の色情報から補間する。すなわち、Ｒの色情報が欠落している場合には、周囲のＲ画素の平均値にて補間することになる。画像の周波数成分の少ない単一的な領域であれば、線形補間を用いて良好な補間を行うことができる。しかしながら、周波数成分の高い画像のエッジ部分が存在する領域では、偽色と呼ばれる、被写体が本来持っていない色情報を補間してしまう。
　図２を用いて、偽色について説明する。画素位置２の色情報が欠落し、それを線形補間によって補間する場合を想定する。線形補間によって画素位置１の色情報P1と画素位置３の色情報P3を用いて補間する。結果として補間された色情報P2aは、２つの色情報P1、P3の平均値となる。このとき、図示のように、例えば本来被写体が持つ色情報P2bが、補間された色情報P2aよりも大きな値である場合、補間された色情報P2aは本来被写体が持たない色情報となり、偽色が発生していることになる。この様に、偽色はエッジ付近で生じやすい。
　偽色を防ぐために、画像のエッジ方向に応じて補間処理の方法を変える手法があり、例えばACPI法（適応型カラーブレーン補間法）が知られる。ACPI法では、RAW画像からエッジ方向を評価し、色情報の変化の少ない方向に並んでいる画素を用いて補間を行う。これにより偽色を抑制することはできるが、限られた数個の補間方向のうち、エッジの勾配方向にできるだけ直交する一つを選んでいるに過ぎず、偽色を完全に防ぐことはできない。
　更に単板式センサでは、偽色以外にも色モアレという現象が発生する。色モアレは、高周波成分がある被写体映像で発生する現象である。単板式のセンサの場合、ＲＧＧＢの４画素を１組としてデモザイキング処理を行うが、このとき、Ｒ／Ｂの画素数は画素数に対して1/4の解像度しかない。そのため高周波成分に対してエイリアシングが発生し、色情報を正しく再現できない、或いは、周期的な濃淡模様が生じてしまう。
　なお、デモザイキング処理には、これまで様々な手法が提案されており、更に、それらで生じるノイズ等を低減し画像品位を向上させる技術も知られる（例えば特許文献１及び２参照）。
特開２００５－３５４６１０号公報 特許第４５２０８８６号公報
Jim S Jimmy Li and Sharmil Randhawa, "Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation",IEEE Transactions on Image Processing, 2009年9月, vol.18, No.9, pp.1946-1957 Xin Li, "Demosaicing by Successive Approximation", IEEE Transactions on Image Processing, 2005年3月, vol.14, No.3, pp.370-379
　従来のデモザイキング処理では、視覚的に目立たない程度に偽色を確実に抑圧することができなかった。なお、確実な抑圧という点では、全ての色チャネルに対して共通の空間LPF（低域通過フィルタ）を施す方法があるが、解像感が低下してしまう。最近では、超解像やディープラーニングを用いた手法も報告されているが、ごく一部の画像の領域で生じている不具合への対処としては、処理負荷が大きすぎるという問題がある。
　本発明は、このような状況に鑑みなされたもので、比較的少ない処理量で、視覚的に目立つ偽色を十分に抑圧することを目的とする。
　本発明は、RAW画像を取得し、デモザイキング処理を施すデモザイキング処理器と、前記デモザイキング処理器による処理結果に対して、Ｒ画素値及びＢ画素値に関して所定の画素領域を用いてメディアンフィルタを複数回実施するフィルタリング部とを備える。
　また、前記RAW画像は、ある単位パターンが周期的に配置された（２次元上で並進対称性を有する）ＲＧＢ配列を有しており、前記フィルタリング部は、前記メディアンフィルタを施す前段の処理として、各画素の色情報としてデモザイキング処理で得られたＲ画素値、Ｇ画素値及びＢ画素値に対して、それぞれの画素において、（Ｒ画素値－Ｇ画素値）、及び（Ｂ画素値－Ｇ画素値）を算出し、それら算出された値に対して前記メディアンフィルタを施し、フィリタリング後の値に対して差分に用いた前記Ｇ画素値を加算してもよい。
　また、前記デモザイキング処理器は、前記デモザイキング処理として適応型カラーブレーン補間法を用いて処理してもよい。
　また、デモザイキング処理器とフィルタリング部の間に一つもしくは複数種類の画質調整処理を実行する画質調整処理器を備えていても良い。ここで、画質調整処理と呼んでいるものは、γ補正のような一般的にカメラに採用される画像処理だけでなく、夜間監視映像の暗部補正など画像の特徴を大きく強調するようなものも対象とする。
　本発明によると、RAW画像のデモザイキング処理により生じる色モアレ等を確実に低減することができる。
背景技術に係る、単板方式センサ出力画素の補間プロセスを説明する図。 背景技術に係る、線形補間による偽色を説明する図。 実施形態に係る、画像処理システム1のブロック図。 実施形態に係る、偽色除去器14の処理を説明するフローチャート。 偽色除去器14によるメディアンフィルタ処理のハードウェア実装例。 偽色除去器14によるメディアンフィルタ処理の別のハードウェア実装例。
　次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態では、デモザイキング処理の後段でメディアンフィルタを用いた非線形反復法によって色モアレを低減する。メディアンフィルタは任意のm×n領域の画素を用いる。
　図３は、本実施形態に係る画像処理システム 1の概略構成を示すブロック図である。ここでは、主に本実施形態に特徴的な処理に着目して示している。
　画像処理システム 1は、カメラ20と画像処理装置10とを備える。カメラ20は、単板方式のセンサを有し、センサ面には上述したBayerパターンのオンチップカラーフィルタを被せている。このカメラ20は、RAW画像出力機能を有し、画像処理装置10へRAW画像を出力することができる。すなわち、RAW画像は、BayerパターンのＲＧＢ配列の画素データを有する。
　画像処理装置10は、RAW画像入力部11と、デモザイキング処理器12と、画質調整処理器13と、偽色除去器14と、画像出力部15とを備える。
　RAW画像入力部11は、カメラ20からRAW画像を取得する。RAW画像は、デモザイキング処理器12に渡す前に、黒レベル補正や固定パターン雑音補正等がされていることを前提とする。
　デモザイキング処理器12は、RAW画像入力部11からのRAW画像に対してデモザイキング処理を施し、色分離されたRGB画像を出力する。本例ではデモザイキング処理としてACPI法を用いるが、ＶＮＧ（Variable Number of Gradients）法のような他の補間法を任意に適用することができる。
　画質調整処理器13は、γ補正、暗部（ブラック）補正、ハイライト（ニー）補正や、トーンマッピング等の輝度領域の操作や、独立色マスキング、かすみ除去などの色相や彩度の領域の操作や、空間領域の操作や、時間領域の操作を含む、画質や視認性の向上に有用な各種の画像処理を実行する。画質調整処理器13の処理は、偽色を強調し或いは復活させる場合があるため、メディアンフィルタによる偽色除去処理は画質調整処理後に適用する方が、効果が確かであると考えられる。
　偽色除去器14（反復フィルタリング部）は、反復法処理として、デモザイキング処理後の画像データのRGBの色情報において、Ｒ画素とＢ画素に対して、Ｇ画素の差分値を算出し、算出後の差分画素データに対してm×n画素のメディアンフィルタをユーザ指定回数だけ繰り返し施す。これによって、デモザイキング処理によって生じる色モアレを低減する。
　画像出力部15は、偽色除去器14における処理後の画像データを、所定の記憶装置または表示装置に出力する。なお、画像出力部15はRGB出力（4:4:4フォーマット）の場合には、特に変換処理を行わず出力し、Ｙ／Ｃ出力をする場合には、ＲＧＢ→ＹＣ変換処理を実施して出力する。変換処理に使用する演算式はBT.709など規格化された演算式を用いる。
　図４に偽色除去器14による反復法処理の詳細が示される。偽色除去器14は、ユーザの指示を取得し、反復を行う回数を設定する(S10)。既に設定されている場合は、この設定処理はスキップされる。
　次に、偽色除去器14は、デモザイキング処理後のRGB画像の各画素位置において、Ｒ画素値とＢ画素値に対して、Ｇ画素値との差分値を算出する(S11)。すなわち、例えば、ある画素の画素値Ｘ（Ｒ画素値、Ｇ画素値、Ｂ画素値）がXi(Ri, Gi, Bi)とした場合、ＲＧ差分画素データΔXi(Ri-Gi, Bi-Gi)を算出する。
　次に、偽色除去器14は、算出後のＲＧ差分画素データΔXi(Ri-Gi, Bi-Gi)で表される画像データに対して、m×n画素のメディアンフィルタ処理を実施する(S12)。なお、メディアンフィルタ処理とは処理対象画素の周辺m×n画素（ウィンドウ）のデータの中央値を算出し、算出した中央値を処理結果として採用する処理である。このとき、画像端では周辺画素がm×n存在しないケースが発生する。その場合には、存在しない画素は中央値算出の対象から除外して処理を行う。もしくは、パディング処理として画像端の画素値をm×nになるようにコピーして処理を行う。パディング処理の有無によって、中央値算出の結果は変わらない。
　その後、偽色除去器14は、メディアンフィルタ処理後の各画素データΔXf(Rf, Bf)に、S11で減算したＧ画素値（Ｇｉ）を加算し(S13)、加算処理後のＲ、Ｂの画素値を処理結果として保持する(S14）。すなわち、(Ri, Gi, Bi)を、(Rf+Gi, Gi, Bf+Gi)で上書きする。なお、Ｇ画素値については、処理を行わず、入力される画素値をそのまま保持する。
　ここで、反復回数が設定回数に達していない場合（S15のＮ）、S11の処理に戻る。このとき、S11以降の処理では、前回処理で得られたＲ画素値、Ｇ画素値及びＢ画素値が用いられる。反復回数が設定回数に達した場合（S15のＹ）、反復法処理は終了する。なお、S11からS14の各ステップの処理は、画像内の全画素について行われる。RAW画像のときから存在した画素値については、処理の対象から除外することもできるが、効果に大きな違いは無い。
　図５に、偽色除去器14によるメディアンフィルタ処理のハードウェア実装例が示される。図５の構成は、図４で示した反復処理の内のS11からS13についての、Ｒ画素値への操作に相当し、Ｂ画素値についても同様である。なおメディアンフィルタのウィンドウサイズは3×3としてある。また複数回の反復処理を行うには、図５の構成を単にカスケード接続すればよい。
　最初に、j番目の反復におけるＲ画素値(Ri j)、Ｇ画素値(Gi j)が減算器40に入力され、減算器40はそれらの差分を算出し、フリップフロップ(FF)31と1H遅延線41へ出力される。フリップフロップ(FF)31～39は、それぞれ１つの画素値を保持するレジスタであり、メディアンの算出元となる3×3画素分の値を保持する。1H遅延線41、42は、１水平ライン分の画素値を保持するデジタル遅延線であり、先入れ先出し（FIFO）メモリ等で構成され得る。減算器40からの差分は負になり得るので、減算前よりもビット深度が１つ増える。
　メディアンフィルタ43は、入力された９個の画素値の中央値を取り出して、フィルタされた画素値(Rf j)として出力する。メディアンフィルタ43は、例えば、バブルソートのアルゴリズムをハードコーディングしたもので、隣同士で値を比較できる９個並列のレジスタを９段設けて、パイプライン動作させることで実現されうる。
　2H+2タップ遅延線44は、画素値(Ri j)が減算器40に入力されてから、対応するフィルタされた画素値(Rf j)がメディアンフィルタ43から出力されるまでの遅延と同じ遅延を、Ｇ画素値(Gi j)に施す。加算器45は、フィルタされた画素値(Rf j)と遅延された画素値(Ri j)を加算して、出力する。
　図５の構成をFPGAで実現する場合、1H遅延線41、42や2H+2タップ遅延線44は、FPGA内部の組み込みブロックRAM(EBR)を用いて構成されうる。１つのEBRは18Kbit、36Kbit程度の容量を有し、外部RAMに比較して非常に高い転送帯域幅が利用可能である。それ以外のメディアンフィルタ43等は、FPGAの基本的な単位であるProgrammable Function Unit（PFU）或いはスライスを組合せて構成されうる。この様に、本例の偽色除去器14は乗算器（DSPスライス）を必要としないため、FPGA内部の余ったリソースを利用して、容易に組み込むことができる場合がある。アスペクト比が高い、つまり横長の画像では、その両側付近で横方向の倍率色収差が目立つようになる。単一の種類のウィンドウを用いてそのような収差による偽色をも補正しようとする場合、アスペクト比に合せてウィンドウも横長にした方がよい場合がある。
　図４及び図５で説明した偽色除去器14による、色モアレ低減効果の実測値を表１に示す。
Figure JPOXMLDOC01-appb-T000001
 ここでは、客観的評価値を導入している。評価結果には、CIELAB表色系の色差式を用いて評価しており、差分値（ΔＥab）が小さいほど本来の被写体に近い画素値が得られていることを意味する。反復処理を複数回実施することで効果があることが客観的評価からも確認できる。具体的には、デモザイキング処理（ＡＣＰＩ）のみでは、差分値（ΔＥab）は1.94である。デモザイキング処理を行った結果に対して反復処理を１回のみ実施した結果、差分値（ΔＥab）は1.3095となり、色モアレの低減効果が確認された。そしてさらに反復処理を３回実施した結果、差分値（ΔＥab）は1.2663となり、複数回実施することで、さらに色モアレ低減の効果を確認することができた。
　図６に、偽色除去器14によるメディアンフィルタ処理の別のハードウェア実装例が示される。この例は、メディアンフィルタ43に代えて、スイッチングメディアンフィルタ48を備えた点などにおいて、図５と異なる。なお図５と同一の構成には同一の符号を付して、説明を省略する。この例では、フィルタウィンドウの中心に対応する画素の値を出力するFF35の出力が取り出され、比較器46と、減算器49に与えられる。
　比較器46は、中心画素値を、所定の閾値と比較し、その結果のブール論理値を出力する。画素アドレス生成器47は、図６のハードウェア全体の動作タイミングを支配しており、FF35から出力されている中心画素値が、画像中のどこに位置するかを示すアドレスを出力することができる。
　本例のスイッチングメディアンフィルタ(SMF)48は、比較器46や画素アドレス生成器47から与えられた条件などによって、動作を切替えることができる順序統計フィルタ或いはスタックフィルタである。一例として、中心画素値が閾値より小さい場合、SMF48はα-トリムド平均値フィルタとして動作し、そこでは、ソートされたN個（N＝m×n。本例では9個）の画素値の列における両端のαN個が破棄され、中心寄りの(1-α)N個の画素値の算術平均が出力される。また、中心画素が、Bayer配列中に存在した画素である（つまり補間によって生成された画素ではない）場合、メディアンフィルタなしで中心画素値がそのまま出力される。その他の場合は、通常のメディアンフィルタとして動作する。トリムド平均値フィルタを用いた場合、相対的に感度が低いＲやＢチャンネルにおいて、低輝度領域でのS/Nを改善し、色の階調を緻密に再現することができる。また、Bayer配列からの原信号を維持することで、画像のエッジを保存できる。
　この例では、Bayer配列からの原信号はそのまま出力するとしたが、フィルタの出力と比較して原信号の方が大きい場合は、原信号を破棄してフィルタの出力を用いるようにしてもよい。なお、コンディショナルなフィルタ動作は上述の組合せに限られず、条件として、雑音や高周波成分の評価結果を用いてもよく、フィルタとしてDouble Window Modified Trimmed Meanフィルタ、スタックフィルタ、εフィルタなどを用いてもよい。
　減算器49は、SMF48からのフィルタされた画素値から、FF35からの中心画素値を減算し、修正量として乗算器50へ出力する。乗算器50は、修正量に所定の固定定数を乗算し、Ｇ修正量として減算器51へ出力する。減算器51は、2H+2タップ遅延線44からのＧ画素値から、乗算器50からのＧ修正量を減算して、出力する。これらの構成は、Ｒ画素値の修正による輝度の変化を補償するために設けてあり、必須ではない。補償の強さは、所定の固定定数を適切に選ぶことによって決定される。固定定数を乗算する乗算器50は、PFUやスライスによって構成されうる。
　本例では、平均化を伴うフィルタを用いたことにより、小数を持つ画素値が得られ、その固定小数点の値を持つ画素値を偽色除去器14内部の反復計算の間、使用することができ、更に偽色除去器14の出力とすることができる。例えば色空間の変換の際に、固定小数点の画素値を、BT.709 の変換係数と乗算することができる。
　以上説明した様に、本実施形態の画像処理システム 1によると、メディアンフィルタのような非線形フィルタを反復処理することで色モアレ低減効果を得ることができる。反復処理は、必ずしも同一処理を連続して行うものに限らず、複数回の反復処理の一部を、画質調整処理器13の処理の前に行ってもよく、或いは画像出力部14からの出力された後にパソコン等によるソフトウェア処理で行ってもよい。また、オンチップカラーフィルタは、ベイヤーフィルタに限らず、４色を1組とする補色フィルタや、ベイヤーフィルタのＧ画素の１つを全透過或いは赤外透過フィルタに置換した場合であっても、補間によってＧ画素値（もしくは擬似輝度値）を全画素位置で生成すれば適用できる。
1 画像処理システム、　10 画像処理装置、　11 RAW画像入力部、　12 デモザイキング処理器、　13 画質調整処理器、　14 偽色除去器（反復フィルタリング部）、　15 画像出力部、　20 カメラ
　本発明は、ディジタルカメラ、ビデオカメラ等の機器に組みこまれて利用されるほか、RAW現像もしくはポストプロダクション等で用いられる画像編集ソフトウェアや、画像を保管・編集するクラウドサービスにおいても利用することができる。

Claims (5)

  1. 　２次元上で並進対称性を有するカラーフィルタを設けた撮像素子から取得したＲＡＷ画像に、デモザイキング処理を施すデモザイキング処理器(12)と、
    　前記デモザイキング処理器による処理結果に対して、各Ｒ画素値及びＢ画素値に関して所定のウィンドウを用いてメディアンフィルタを複数回実施する偽色除去器(14)と、を備える画像処理装置。
  2. 　前記偽色除去器(14)は、前記メディアンフィルタを施す前段の処理として、各画素の色情報としてデモザイキング処理で得られたＲ画素値、Ｇ画素値及びＢ画素値に対して、それぞれの画素において、（Ｒ画素値－Ｇ画素値）、及び（Ｂ画素値－Ｇ画素値）を算出し、それら算出された値に対して前記メディアンフィルタを施し、フィリタリング後の値に対して差分に用いた前記Ｇ画素値を加算することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記ＲＡＷ画像は、ＢａｙｅｒパターンのＲＧＢ配列を有しており、
    　前記デモザイキング処理器(12)は、前記デモザイキング処理として適応型カラーブレーン補間法を用いて処理するものであり、
    　前記デモザイキング処理器(12)による処理結果に対し、前記デモザイキング処理に渡される前に、画質や視認性を向上させる、少なくとも輝度領域もしくは色領域の画像処理を行って画質調整処理器(13)を更に備えることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記偽色除去器(14)によって複数回実施されるメディアンフィルタは、スイッチングメディアンフィルタであって、前記ウィンドウの中心画素の値が所定の閾値より小さい場合、α-トリムド平均値フィルタとして動作し、或いは、前記中心画素が、Bayer配列中に存在した画素である場合、前記中心画素値をそのまま出力する動作をし、
    　前記メディアンフィルタが複数回実施される間、画素値のビット深度は前記偽色除去器に入力される前に比べて増加することを特徴とする請求項２又は３に記載の画像処理装置。
  5. 　前記ウィンドウは、前記ＲＡＷ画像のアスペクト比に対応させて横長の矩形状に設定されることを特徴とする請求項２乃至４に記載の画像処理装置。
PCT/JP2017/005696 2016-04-20 2017-02-16 画像処理装置 WO2017183273A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018512795A JP6644877B2 (ja) 2016-04-20 2017-02-16 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-084343 2016-04-20
JP2016084343 2016-04-20

Publications (1)

Publication Number Publication Date
WO2017183273A1 true WO2017183273A1 (ja) 2017-10-26

Family

ID=60115985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005696 WO2017183273A1 (ja) 2016-04-20 2017-02-16 画像処理装置

Country Status (2)

Country Link
JP (1) JP6644877B2 (ja)
WO (1) WO2017183273A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299398B1 (ja) 2022-10-14 2023-06-27 株式会社 日立産業制御ソリューションズ 画像処理装置および画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840124B (zh) * 2021-10-12 2023-08-18 锐芯微电子股份有限公司 图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217123A (ja) * 1999-01-20 2000-08-04 Canon Inc 撮像装置及び前記撮像装置における画像処理方法
JP2001022923A (ja) * 1999-07-08 2001-01-26 Sanyo Electric Co Ltd 画像データ処理装置
WO2006043414A1 (ja) * 2004-10-19 2006-04-27 Megachips Lsi Solutions Inc. 画像処理方法及び画像処理装置
JP2009077051A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 撮像装置及びその撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217123A (ja) * 1999-01-20 2000-08-04 Canon Inc 撮像装置及び前記撮像装置における画像処理方法
JP2001022923A (ja) * 1999-07-08 2001-01-26 Sanyo Electric Co Ltd 画像データ処理装置
WO2006043414A1 (ja) * 2004-10-19 2006-04-27 Megachips Lsi Solutions Inc. 画像処理方法及び画像処理装置
JP2009077051A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 撮像装置及びその撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299398B1 (ja) 2022-10-14 2023-06-27 株式会社 日立産業制御ソリューションズ 画像処理装置および画像処理方法
JP2024058362A (ja) * 2022-10-14 2024-04-25 株式会社 日立産業制御ソリューションズ 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP6644877B2 (ja) 2020-02-12
JPWO2017183273A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
US9013611B1 (en) Method and device for generating a digital image based upon a selected set of chrominance groups
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
JP4952251B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、および画像処理装置
JP4290193B2 (ja) 画像処理装置
KR101327789B1 (ko) 이미지의 다양한 노이즈들을 동시에 저감하는 방법 및 장치
WO2011152174A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9237257B1 (en) Circuits for and methods of generating a digital image
KR20110029001A (ko) 베이어 영상에서의 이미지 처리 방법 및 장치
JP2011216083A (ja) デジタル画像を処理する方法、デジタル入力画像を拡大する方法およびデジタル入力画像を平滑化する方法
US7903900B2 (en) Low complexity color de-noising filter
JP2012256202A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8253829B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR20070078463A (ko) 이미지 센서 노이즈 저감 장치 및 방법
US9569816B2 (en) Debanding image data using bit depth expansion
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
JP2011151739A (ja) 画像処理装置
US8532373B2 (en) Joint color channel image noise filtering and edge enhancement in the Bayer domain
JP6644877B2 (ja) 画像処理装置
US8385671B1 (en) Digital camera and method
US9495731B2 (en) Debanding image data based on spatial activity
US20140037207A1 (en) System and a method of adaptively suppressing false-color artifacts
Adams Jr et al. Digital camera image processing chain design
Deever et al. Digital camera image formation: Processing and storage
KR100700017B1 (ko) 조정 가능한 임계값을 이용한 컬러 보간 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018512795

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785618

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785618

Country of ref document: EP

Kind code of ref document: A1