JP6569751B2 - Image processing apparatus, camera, and image processing program - Google Patents

Image processing apparatus, camera, and image processing program Download PDF

Info

Publication number
JP6569751B2
JP6569751B2 JP2018036764A JP2018036764A JP6569751B2 JP 6569751 B2 JP6569751 B2 JP 6569751B2 JP 2018036764 A JP2018036764 A JP 2018036764A JP 2018036764 A JP2018036764 A JP 2018036764A JP 6569751 B2 JP6569751 B2 JP 6569751B2
Authority
JP
Japan
Prior art keywords
color
pixel
color difference
component
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018036764A
Other languages
Japanese (ja)
Other versions
JP2018088719A (en
Inventor
暁彦 宇津木
暁彦 宇津木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018036764A priority Critical patent/JP6569751B2/en
Publication of JP2018088719A publication Critical patent/JP2018088719A/en
Application granted granted Critical
Publication of JP6569751B2 publication Critical patent/JP6569751B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

本発明は、画像処理装置、カメラおよび画像処理プログラムに関する。   The present invention relates to an image processing apparatus, a camera, and an image processing program.

Bayer配列などのカラーフィルターアレイを備えたイメージセンサーによって撮影されたRaw画像に基づいて色補間処理を行って画像を生成する場合、高周波成分を持つ構造において、色モアレなどの偽色が発生する場合がある。そのため、従来、色差平滑化によって偽色を除去する処理が行われている。   When generating an image by performing color interpolation processing based on a raw image taken by an image sensor equipped with a color filter array such as a Bayer array, when false colors such as color moire occur in a structure with high-frequency components There is. For this reason, conventionally, processing for removing false colors by color difference smoothing has been performed.

特開２００９−２００６３５号公報JP 2009-200355 A

色差平滑化を行うと、色がある被写体の彩度が低下したり、周囲に色滲みが発生したりする場合がある。色モアレの除去を行うためには広範囲を参照する色差平滑化が必要となるが、上記不具合が顕著になるため、色差平滑化の参照範囲を広くすることができないという問題がある。   When color difference smoothing is performed, the saturation of a subject with color may decrease or color blur may occur around the subject. In order to remove color moiré, color difference smoothing that refers to a wide range is required, but the above-mentioned problem becomes prominent and there is a problem that the reference range for color difference smoothing cannot be widened.

本発明の第１の態様による画像処理装置は、第一の色成分の分光感度を有する第一の色画素と、前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素と、の画素列が配置される原画像の原画像データを取得する画像入力部と、前記第一の色画素が有する第一の色差を平滑化によって生成する第一の色差生成部と、前記第一の色画素が有する第二の色差を、前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成部と、前記第二の色差の値の分布範囲と、前記第一の色差の値とに基づいて、前記第一の色画素が有する第三の色差を生成する色差平滑制御部と、前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差とに基づき、出力画像を生成する画像生成部とを備え、前記第一の色差生成部は、前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成し、第二の色差生成部は、前記第一の色画素が有する第二の色差を、前記第一の色画素から前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成し、前記分布範囲は、前記第二の色差の値の最小値から最大値までの範囲である、画像処理装置である。
本発明の第２の態様によるカメラは、第１の態様による画像処理装置と、被写体光を受光し、前記被写体光に含まれる前記第一の色成分および前記第二の色成分のそれぞれの分光感度に応じて前記原画像の前記原画像データを生成する撮像素子とを備え、前記画像入力部は、前記撮像素子によって生成された前記原画像データを取得する。
本発明の第３の態様による画像処理プログラムは、第一の色成分の分光感度を有する第一の色画素と、前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素と、の画素列が配列される原画像の原画像データを取得する画像入力処理と、前記第一の色画素が有する第一の色差を平滑化によって生成する第一の色差生成処理と、前記第一の色画素が有する第二の色差を、前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成処理と、前記第二の色差の値の分布範囲と、前記第一の色差の値とに基づいて、前記第一の色画素が有する第三の色差を生成する色差平滑制御処理と、前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差とに基づき、出力画像を生成する画像生成処理とをコンピュータに実行させる画像処理プログラムであって、前記第一の色差生成処理は、前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成し、前記第二の色差生成処理は、前記第一の色画素が有する第二の色差を、前記第一の色画素から前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成し、前記分布範囲は、前記第二の色差の値の最小値から最大値までの範囲である、画像処理プログラムである。
本発明の第４の態様による画像処理装置は、複数の画素が配列された原画像を取得する画像入力部と、前記複数の画素に含まれる注目画素について、前記注目画素を含む第１の範囲に含まれる画素の色成分に基づいて、前記注目画素の第１の色差を生成する第１の色差生成部と、前記注目画素を含み、かつ前記第１の範囲よりも小さい第２の範囲に含まれる画素の色成分に基づいて、前記注目画素の複数の第２の色差を生成する第２の色差生成部と、前記複数の第２の色差の最小値および最大値と、前記第１の色差とに基づいて、前記注目画素の色差を決定する色差制御部と、前記注目画素の色成分と前記決定された色差とに基づいて出力画像を生成する画像生成部と、を備える。 An image processing apparatus according to the first aspect of the present invention includes a first color pixel having a spectral sensitivity of a first color component and a second color component having a spectral sensitivity different from the first color component. An image input unit that acquires original image data of an original image in which a pixel row of two color pixels is arranged, and a first color difference generation that generates the first color difference of the first color pixel by smoothing A second color difference generating unit that generates a second color difference of the first color pixel based on the second color component of the second color pixel, and a second color difference of the second color difference. A color difference smoothing control unit that generates a third color difference of the first color pixel based on a value distribution range and a value of the first color difference, and the second color pixel An image generation unit that generates an output image based on the color component of the first color pixel and the third color difference of the first color pixel; Wherein the first color difference generating section, a first color difference with the first color pixel, generated by performing smoothing in the first range including the first color pixel, the second The color difference generation unit has the second color difference that the first color pixel has in the second color pixel that is located in a second range that is smaller than the first range from the first color pixel. The image processing device is generated based on a second color component, and the distribution range is a range from a minimum value to a maximum value of the second color difference value.
A camera according to a second aspect of the present invention includes the image processing apparatus according to the first aspect, and subject light received, and the first and second color components included in the subject light, respectively. An image sensor that generates the original image data of the original image according to sensitivity, and the image input unit acquires the original image data generated by the image sensor.
An image processing program according to a third aspect of the present invention includes a first color pixel having a spectral sensitivity of a first color component and a second color component having a spectral sensitivity different from the first color component. An image input process for acquiring original image data of an original image in which a pixel array of two color pixels is arranged, and a first color difference generation for generating a first color difference of the first color pixel by smoothing Processing, a second color difference generation process for generating a second color difference of the first color pixel based on the second color component of the second color pixel, and a second color difference of the second color difference. Based on the value distribution range and the first color difference value, a color difference smoothing control process for generating a third color difference included in the first color pixel, and the second color pixel included in the second color pixel. An output image is generated based on the color component of the first color pixel and the third color difference of the first color pixel. An image processing program for executing the image generation processing in a computer, the first color difference generating process, the first color difference the first color pixel has a first containing the first color pixel The second color difference generation process generates a second color difference of the first color pixel that is smaller than the first range from the first color pixel. Generated based on the second color component of the second color pixel located in the second range, the distribution range is a range from the minimum value to the maximum value of the second color difference value, An image processing program.
An image processing apparatus according to a fourth aspect of the present invention includes an image input unit that acquires an original image in which a plurality of pixels are arranged, and a first range that includes the target pixel with respect to the target pixel included in the plurality of pixels. A first color difference generation unit that generates a first color difference of the target pixel based on a color component of the pixel included in the pixel, and a second range that includes the target pixel and is smaller than the first range. A second color difference generation unit configured to generate a plurality of second color differences of the pixel of interest based on a color component of the pixel included; a minimum value and a maximum value of the plurality of second color differences; A color difference control unit that determines a color difference of the target pixel based on the color difference; and an image generation unit that generates an output image based on the color component of the target pixel and the determined color difference.

本発明によれば、色差平滑化の参照範囲を広くしながら、色差平滑化による彩度の低下や色滲みを抑制することができる。   ADVANTAGE OF THE INVENTION According to this invention, the fall of the saturation by color difference smoothing and a color blur can be suppressed, expanding the reference range of color difference smoothing.

本発明の一実施の形態における画像処理装置および画像処理装置に入力されるＲＡＷ画像を出力するカメラの構成を示す図である。It is a figure which shows the structure of the camera which outputs the raw image input into the image processing apparatus and image processing apparatus in one embodiment of this invention. 本発明の一実施の形態における画像処理を示すフローチャートである。It is a flowchart which shows the image processing in one embodiment of this invention. 輝度生成を説明するために用いられるＲＡＷ画像の画素構成例を示す図である。It is a figure which shows the pixel structural example of the RAW image used in order to demonstrate a brightness | luminance production | generation. 色差生成を説明するために用いられるＲＡＷ画像の画素構成例を示す図である。It is a figure which shows the pixel structural example of the RAW image used in order to demonstrate color difference production | generation. 平滑化色差生成を説明するために用いられる平滑化フィルターの一例を示す図である。It is a figure which shows an example of the smoothing filter used in order to demonstrate smoothing color difference production | generation. ＲＡＷ画像上の平滑化色差生成時に参照される広域画素参照範囲および局所色差生成時に参照される局所画素参照範囲を示す図である。It is a figure which shows the wide pixel reference range referred at the time of smoothing color difference production | generation on a RAW image, and the local pixel reference range referred at the time of local color difference production | generation. 色差上限maxCrおよび色差下限minCrの決定方法を説明するための図である。FIG. 6 is a diagram for explaining a method of determining a color difference upper limit maxCr and a color difference lower limit minCr. 本発明の一実施の形態における画像処理の適用例を示す図である。It is a figure which shows the example of application of the image processing in one embodiment of this invention. 本発明の一実施の形態における画像処理の適用例を示す図である。It is a figure which shows the example of application of the image processing in one embodiment of this invention. 本発明の一実施の形態における画像処理の適用例を示す図である。It is a figure which shows the example of application of the image processing in one embodiment of this invention. 本発明の一実施の形態における画像処理の適用例を示す図である。It is a figure which shows the example of application of the image processing in one embodiment of this invention. 本発明の変形例として、画像処理装置を内蔵するカメラの構成を示す図である。FIG. 11 is a diagram illustrating a configuration of a camera incorporating an image processing apparatus as a modification of the present invention. 本発明による画像処理装置が画像処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。It is a figure which shows the provision form of the computer program product for the image processing apparatus by this invention to perform an image process.

図１は、本発明の一実施の形態における画像処理装置１００および画像処理装置１００に入力されるＲＡＷ画像を出力するカメラ２００の構成を示す図である。カメラ２００は、レンズ２１０とイメージセンサー２２０と原画像読み出し部２３０とを有する。レンズ２１０は、被写体５００から到来する被写体光５１０を透過させて、イメージセンサー２２０に被写体の光学像を結像させる。原画像読み出し部２３０による撮像制御に従って、イメージセンサー２２０は、被写体光５１０のＧ成分、Ｒ成分およびＢ成分の各色成分を、光電変換により、各色成分の分光感度に応じてＧ成分値、Ｒ成分値およびＢ成分値の各色成分値に変換し、その各色成分値を出力する。このようにして、イメージセンサー２２０からはＲＡＷ画像（原画像）のＲＡＷ画像データが生成および出力される。このＲＡＷ画像３００には、例えば図３に示すように、Ｇ成分の分光感度を有するＧ画素とＲ成分の分光感度を有するＲ画素とが横方向（ｘ方向）に配列されたＧＲ画素列が縦方向（ｙ方向）に並置され、かつＢ成分の分光感度を有するＢ画素とＧ成分の分光感度を有するＧ画素とが横方向（ｘ方向）に配列されたＢＧ画素列が縦方向（ｙ方向）に並置され、さらにＧＲ画素列とＢＧ画素列とが交互に縦方向（ｙ方向）に並置される。   FIG. 1 is a diagram illustrating a configuration of an image processing apparatus 100 and a camera 200 that outputs a RAW image input to the image processing apparatus 100 according to an embodiment of the present invention. The camera 200 includes a lens 210, an image sensor 220, and an original image reading unit 230. The lens 210 transmits the subject light 510 coming from the subject 500 and forms an optical image of the subject on the image sensor 220. In accordance with the imaging control by the original image reading unit 230, the image sensor 220 photoelectrically converts each color component of the G component, the R component, and the B component of the subject light 510 according to the spectral sensitivity of each color component. Each color component value is converted into a color component value and a B component value, and each color component value is output. In this way, the RAW image data of the RAW image (original image) is generated and output from the image sensor 220. For example, as shown in FIG. 3, the RAW image 300 includes a GR pixel column in which G pixels having a G component spectral sensitivity and R pixels having an R component spectral sensitivity are arranged in the horizontal direction (x direction). A BG pixel array in which B pixels having a B component spectral sensitivity and G pixels having a G component spectral sensitivity are arranged in the horizontal direction (x direction) and juxtaposed in the vertical direction (y direction) Direction), and GR pixel rows and BG pixel rows are alternately juxtaposed in the vertical direction (y direction).

画像処理装置１００は、画像処理プログラムを実行するコンピュータであり、例えばＰＣである。画像処理装置１００は、その画像処理プログラムを実行することによって、画像入力部１０１０、平滑化色差生成部１０２０、局所色差生成部１０３０、色差平滑制御部１０４０、および画像生成部１０５０を機能的に有する。画像入力部１０１０、平滑化色差生成部１０２０、局所色差生成部１０３０、色差平滑制御部１０４０、および画像生成部１０５０は、それぞれ、図２に示す画像処理の各ステップを行う。   The image processing apparatus 100 is a computer that executes an image processing program, for example, a PC. The image processing apparatus 100 functionally includes an image input unit 1010, a smoothed color difference generation unit 1020, a local color difference generation unit 1030, a color difference smoothing control unit 1040, and an image generation unit 1050 by executing the image processing program. . The image input unit 1010, the smoothed color difference generation unit 1020, the local color difference generation unit 1030, the color difference smoothing control unit 1040, and the image generation unit 1050 perform each step of the image processing illustrated in FIG.

図２は、本実施の形態における画像処理装置１００において行われる画像処理を示すフローチャートである。ステップＳ２００において、画像入力部１０１０が、例えばBayer配列のカラーフィルターアレイを備えたイメージセンサー２２０によって撮像され、原画像読み出し部２３０によって出力されたＲＡＷ画像３００のＲＡＷ画像データを取得する。以後、ＲＡＷ画像３００の配列をBayer配列であるとして説明する。   FIG. 2 is a flowchart showing image processing performed in the image processing apparatus 100 according to the present embodiment. In step S <b> 200, the image input unit 1010 acquires RAW image data of the RAW image 300 captured by the image sensor 220 including, for example, a Bayer array color filter array and output by the original image reading unit 230. Hereinafter, description will be made assuming that the array of the RAW image 300 is the Bayer array.

ステップＳ２１０において、画像生成部１０５０が、公知の任意の方法で輝度を生成する。例えば、次の方法で輝度Yを各画素に生成すればよい。すなわち、図３に示す各G画素位置(x,y)については、式（１）に示すように、輝度YはG画素が有するG成分の分光感度に等しい。図４に示す各RB画素位置(x,y)については、|G(x-1,y)-G(x+1,y)|+th < |G(x,y-1)-G(x,y+1)|の場合、輝度Yは式（２）によって生成され、|G(x-1,y)-G(x+1,y)|> |G(x,y-1)-G(x,y+1)|+thの場合、輝度Yは式（３）によって生成され、上記いずれでもない場合、輝度Yは式（４）によって生成される。ただし、パラメータthの値は、G画素値に含まれるノイズの標準偏差の３倍程度とする。
Y(x,y)= G(x,y) （１）
Y(x,y)= (G(x-1,y) ＋G(x+1,y))/2 （２）
Y(x,y)= (G(x,y-1) ＋G(x,y+1))/2 （３）
Y(x,y)= (G(x-1,y) ＋G(x+1,y)＋G(x,y-1) ＋G(x,y+1))/4 （４） In step S210, the image generation unit 1050 generates luminance by any known method. For example, the luminance Y may be generated for each pixel by the following method. That is, for each G pixel position (x, y) shown in FIG. 3, the luminance Y is equal to the spectral sensitivity of the G component of the G pixel, as shown in Equation (1). For each RB pixel position (x, y) shown in FIG. 4, | G (x−1, y) −G (x + 1, y) | + th <| G (x, y−1) −G ( In the case of x, y + 1) |, the luminance Y is generated by equation (2), and | G (x-1, y) -G (x + 1, y) |> | G (x, y-1) In the case of -G (x, y + 1) | + th, the luminance Y is generated by the equation (3). However, the value of the parameter th is about three times the standard deviation of the noise included in the G pixel value.
Y (x, y) = G (x, y) (1)
Y (x, y) = (G (x-1, y) + G (x + 1, y)) / 2 (2)
Y (x, y) = (G (x, y-1) + G (x, y + 1)) / 2 (3)
Y (x, y) = (G (x-1, y) + G (x + 1, y) + G (x, y-1) + G (x, y + 1)) / 4 (4)

ステップＳ２２０において、平滑化色差生成部１０２０が、各RB画素位置(x,y)において、公知の方法で色差の中間値を生成する。この処理では、公知の方法で画像構造が縦方向か、横方向か、どちらでもないかを判定し、その結果に応じた方向の画素を参照して色差の中間値を生成する。   In step S220, the smoothed color difference generation unit 1020 generates a color difference intermediate value by a known method at each RB pixel position (x, y). In this processing, it is determined whether the image structure is vertical or horizontal by a known method, and an intermediate value of the color difference is generated by referring to the pixel in the direction corresponding to the result.

まず、方向の判定は、例えば次のようにすればよい。すなわち、|G(x-1,y)-G(x+1,y)|+th < |G(x,y-1)-G(x,y+1)|の場合、画像構造は「横方向」であると判定し、|G(x-1,y)-G(x+1,y)|> |G(x,y-1)-G(x,y+1)|+thの場合、画像構造は「縦方向」であると判定し、それらのいずれでもない場合、画像構造は「どちらでもない」と判定する。   First, the direction may be determined as follows, for example. That is, if | G (x-1, y) -G (x + 1, y) | + th <| G (x, y-1) -G (x, y + 1) | | G (x-1, y) -G (x + 1, y) |> | G (x, y-1) -G (x, y + 1) | + th In this case, it is determined that the image structure is “vertical direction”, and when it is neither of them, it is determined that the image structure is “neither”.

そして、画素位置(x,y)に配置された画素がR画素の場合、平滑化色差生成部１０２０は、画像構造に応じた次の式（５）〜（７）によって、画素位置(x,y)における色差の中間値Cr1を生成する。画像構造が「横方向」と判定された場合、色差の中間値Cr1は式（５）により生成される。画像構造が「縦方向」と判定された場合、色差の中間値Cr1は式（６）により生成される。画像構造が「どちらでもない」と判定された場合、色差の中間値Cr1は式（７）により生成される。
Cr1 = R−(G(x-1,y) ＋G(x+1,y))/2 （５）
Cr1 = R−(G(x,y-1) ＋G(x,y+1))/2 （６）
Cr1 = R−(G(x-1,y) ＋G(x+1,y)＋G(x,y-1) ＋G(x,y+1))/4 （７） When the pixel arranged at the pixel position (x, y) is an R pixel, the smoothing color difference generation unit 1020 uses the following expressions (5) to (7) according to the image structure to calculate the pixel position (x, An intermediate value Cr1 of the color difference in y) is generated. When it is determined that the image structure is “lateral direction”, the intermediate value Cr1 of the color difference is generated by the equation (5). When it is determined that the image structure is “vertical direction”, the intermediate value Cr1 of the color difference is generated by Expression (6). When it is determined that the image structure is “neither”, the color difference intermediate value Cr1 is generated by Expression (7).
Cr1 = R− (G (x-1, y) + G (x + 1, y)) / 2 (5)
Cr1 = R− (G (x, y-1) + G (x, y + 1)) / 2 (6)
Cr1 = R- (G (x-1, y) + G (x + 1, y) + G (x, y-1) + G (x, y + 1)) / 4 (7)

画素位置(x,y)に配置されている画素がB画素の場合は、上記RをB、CrをCbと置き換えて処理すればよい。こうして、平滑化色差生成部１０２０は、画像構造に応じて、画素位置(x,y)における色差の中間値Cb1を生成する。   When the pixel arranged at the pixel position (x, y) is a B pixel, the processing may be performed by replacing R with B and Cr with Cb. Thus, the smoothed color difference generation unit 1020 generates the color difference intermediate value Cb1 at the pixel position (x, y) according to the image structure.

次に、平滑化色差生成部１０２０が、各RB画素位置(x,y)において、公知の方法で色差の中間値Cr1およびCb1を平滑化して、平滑化色差CrSおよびCbSを生成する。この処理は、例えば次のように行えばよい。図４（ａ）に示す画素位置(x,y)に配置されている画素がR画素の場合には、図５に示す重み付け平滑化フィルターを用いて、平滑化色差生成対象画素位置(x,y)の平滑化色差CrSを生成する。平滑化色差生成対象画素位置(x,y)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y)、(x-2,y)、(x+2,y)、(x+4,y)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ３＝(1, 2, 2, 2, 1)をかけることにより、ｙ行目に対応する中間値tmp3が得られる。これは、式（１０）で表される。同様にして、平滑化色差生成対象画素位置(x,y)のＲ画素の４行上の画素位置(x,y-4)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y-4)、(x-2,y-4)、(x+2,y-4)、(x+4,y-4)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ１＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の４行上の（ｙ−４）行目に対応する中間値tmp1が得られる。これは、式（８）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の２行上の画素位置(x,y-2)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y-2)、(x-2,y-2)、(x+2,y-2)、(x+4,y-2)における色差の中間値Cr1に対して、図５に示すような重み付けフィルターＦ２＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の２行上の（ｙ−２）行目に対応する中間値tmp2が得られる。これは、式（９）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の２行下の画素位置(x,y+2)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y+2)、(x-2,y+2)、(x+2,y+2)、(x+4,y+2)における色差の中間値Cr1に対して、図５に示すような重み付けフィルターＦ４＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の２行下の（ｙ＋２）行目に対応する中間値tmp4が得られる。これは、式（１１）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の４行下の画素位置(x,y+4)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y+4)、(x-2,y+4)、(x+2,y+4)、(x+4,y+4)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ５＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の４行下の（ｙ＋４）行目に対応する中間値tmp5が得られる。これは、式（１２）で表される。
tmp1 = Cr1(x-4,y-4)+2*Cr1(x-2,y-4) +2*Cr1(x,y-4) +2*Cr1(x+2,y-4) +Cr1(x+4,y-4)
（８）
tmp2 = Cr1(x-4,y-2)+2*Cr1(x-2,y-2) +2*Cr1(x,y-2) +2*Cr1(x+2,y-2) +Cr1(x+4,y-2)
（９）
tmp3 = Cr1(x-4,y)+2*Cr1(x-2,y) +2*Cr1(x,y) +2*Cr1(x+2,y) +Cr1(x+4,y)
（１０）
tmp4 = Cr1(x-4,y+2)+2*Cr1(x-2,y+2) +2*Cr1(x,y+2) +2*Cr1(x+2,y+2) +Cr1(x+4,y+2)
（１１）
tmp5 = Cr1(x-4,y+4)+2*Cr1(x-2,y+4) +2*Cr1(x,y+4) +2*Cr1(x+2,y+4) +Cr1(x+4,y+4)
（１２） Next, the smoothed color difference generation unit 1020 smoothes the color difference intermediate values Cr1 and Cb1 by a known method at each RB pixel position (x, y) to generate the smoothed color differences CrS and CbS. This processing may be performed as follows, for example. When the pixel arranged at the pixel position (x, y) shown in FIG. 4A is an R pixel, the weighted smoothing filter shown in FIG. The smoothed color difference CrS of y) is generated. Pixel position (x-4, y), (x-2) where R pixel at smoothing color difference generation target pixel position (x, y) and two R pixels on both sides in the horizontal direction (on the same line) are arranged , y), (x + 2, y), (x + 4, y), a weighted smoothing filter F3 = (1, 2, 2, 2, as shown in FIG. By applying 1), an intermediate value tmp3 corresponding to the y-th row is obtained. This is expressed by equation (10). Similarly, two R pixels at the pixel position (x, y-4) on the four rows of the R pixel at the smoothed color difference generation target pixel position (x, y) and two sides in the horizontal direction (on the same line). Color difference at pixel positions (x-4, y-4), (x-2, y-4), (x + 2, y-4), (x + 4, y-4) where the R pixels are arranged By applying a weighted smoothing filter F1 = (1, 2, 2, 2, 1) as shown in FIG. 5 to the intermediate value Cr1, the R of the pixel position (x, y) to be smoothed color difference generation An intermediate value tmp1 corresponding to the (y-4) th row above the fourth row of pixels is obtained. This is expressed by equation (8). The R pixel at the pixel position (x, y-2) on the two rows of the R pixel at the smoothed color difference generation target pixel position (x, y) and two R pixels on both sides in the horizontal direction (on the same line) Intermediate value Cr1 of the color difference at the arranged pixel position (x-4, y-2), (x-2, y-2), (x + 2, y-2), (x + 4, y-2) By applying a weighting filter F2 = (1, 2, 2, 2, 1) as shown in FIG. 5, two rows above the R pixel at the smoothed color difference generation target pixel position (x, y). (Y-2) An intermediate value tmp2 corresponding to the line is obtained. This is expressed by equation (9). The R pixel at the pixel position (x, y + 2) two rows below the R pixel at the smoothed color difference generation target pixel position (x, y) and two R pixels on both sides in the horizontal direction (on the same line) Intermediate value Cr1 of color difference at the arranged pixel position (x-4, y + 2), (x-2, y + 2), (x + 2, y + 2), (x + 4, y + 2) By applying a weighting filter F4 = (1, 2, 2, 2, 1) as shown in FIG. 5, two rows below the R pixel at the smoothed color difference generation target pixel position (x, y) An intermediate value tmp4 corresponding to the (y + 2) line is obtained. This is expressed by equation (11). The R pixel at the pixel position (x, y + 4) four rows below the R pixel at the smoothed color difference generation target pixel position (x, y) and two R pixels on both sides in the horizontal direction (on the same line) Intermediate value Cr1 of the color difference at the arranged pixel position (x-4, y + 4), (x-2, y + 4), (x + 2, y + 4), (x + 4, y + 4) By applying a weighted smoothing filter F5 = (1, 2, 2, 2, 1) as shown in FIG. 5, four rows of R pixels at the smoothed color difference generation target pixel position (x, y) An intermediate value tmp5 corresponding to the lower (y + 4) line is obtained. This is expressed by equation (12).
tmp1 = Cr1 (x-4, y-4) + 2 * Cr1 (x-2, y-4) + 2 * Cr1 (x, y-4) + 2 * Cr1 (x + 2, y-4) + Cr1 (x + 4, y-4)
(8)
tmp2 = Cr1 (x-4, y-2) + 2 * Cr1 (x-2, y-2) + 2 * Cr1 (x, y-2) + 2 * Cr1 (x + 2, y-2) + Cr1 (x + 4, y-2)
(9)
tmp3 = Cr1 (x-4, y) + 2 * Cr1 (x-2, y) + 2 * Cr1 (x, y) + 2 * Cr1 (x + 2, y) + Cr1 (x + 4, y)
(10)
tmp4 = Cr1 (x-4, y + 2) + 2 * Cr1 (x-2, y + 2) + 2 * Cr1 (x, y + 2) + 2 * Cr1 (x + 2, y + 2) + Cr1 (x + 4, y + 2)
(11)
tmp5 = Cr1 (x-4, y + 4) + 2 * Cr1 (x-2, y + 4) + 2 * Cr1 (x, y + 4) + 2 * Cr1 (x + 2, y + 4) + Cr1 (x + 4, y + 4)
(12)

このようにして求めた中間値tmp1〜tmp5に対して、それぞれ図５に示す重み（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）＝(1, 2, 2, 2, 1)を乗じて加算し、その加算合計値を重み付け平滑化フィルターＦ１〜Ｆ５および重みＷ１〜Ｗ５全体での重み合計値６４で割ることによって、すなわち式（１３）によって、平滑化色差CrSが求まる。こうして、平滑化色差生成部１０２０は、図４（ａ）に示す画素位置(x,y)に配置されている画素がR画素の場合の画素位置(x,y)における平滑化色差CrSを、図６に示すような画素位置(x,y)に配置されているR画素を含む９画素×９画素の広域画素参照範囲ＳＦにおける平滑化を行うことによって生成する。９画素×９画素の広域画素参照範囲ＳＦには、図６に示すように、８１個の画素位置(x-4,y-4)、(x-3,y-4)、(x-2,y-4)、(x-1,y-4)、(x,y-4)、(x+1,y-4)、(x+2,y-4)、(x+3,y-4)、(x+4,y-4)、(x-4,y-3)、(x-3,y-3)、(x-2,y-3)、(x-1,y-3)、(x,y-3)、(x+1,y-3)、(x+2,y-3)、(x+3,y-3)、(x+4,y-3)、(x-4,y-2)、(x-3,y-2)、(x-2,y-2)、(x-1,y-2)、(x,y-2)、(x+1,y-2)、(x+2,y-2)、(x+3,y-2)、(x+4,y-2)、(x-4,y-1)、(x-3,y-1)、(x-2,y-1)、(x-1,y-1)、(x,y-1)、(x+1,y-1)、(x+2,y-1)、(x+3,y-1)、(x+4,y-1)、(x-4,y)、(x-3,y)、(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)、(x+3,y)、(x+4,y)、(x-4,y+1)、(x-3,y+1)、(x-2,y+1)、(x-1,y+1)、(x,y+1)、(x+1,y+1)、(x+2,y+1)、(x+3,y+1)、(x+4,y+1)、(x-4,y+2)、(x-3,y+2)、(x-2,y+2)、(x-1,y+2)、(x,y+2)、(x+1,y+2)、(x+2,y+2)、(x+3,y+2)、(x+4,y+2)、(x-4,y+3)、(x-3,y+3)、(x-2,y+3)、(x-1,y+3)、(x,y+3)、(x+1,y+3)、(x+2,y+3)、(x+3,y+3)、(x+4,y+3)、(x-4,y+4)、(x-3,y+4)、(x-2,y+4)、(x-1,y+4)、(x,y+4)、(x+1,y+4)、(x+2,y+4)、(x+3,y+4)、および(x+4,y+4)が含まれる。
平滑化色差CrS(x,y)= (tmp1+ 2*tmp2+ 2*tmp3+ 2*tmp4+ tmp5)/64 （１３） The intermediate values tmp1 to tmp5 thus determined are multiplied by weights (W1, W2, W3, W4, W5) = (1, 2, 2, 2, 1) shown in FIG. The smoothed color difference CrS is obtained by dividing the added total value by the weighted total value 64 of the weighted smoothing filters F1 to F5 and the weights W1 to W5 as a whole, that is, by Expression (13). Thus, the smoothed color difference generation unit 1020 calculates the smoothed color difference CrS at the pixel position (x, y) when the pixel arranged at the pixel position (x, y) shown in FIG. It is generated by performing smoothing in a wide pixel reference range SF of 9 pixels × 9 pixels including R pixels arranged at the pixel position (x, y) as shown in FIG. The wide pixel reference range SF of 9 pixels × 9 pixels has 81 pixel positions (x-4, y-4), (x-3, y-4), (x-2) as shown in FIG. , y-4), (x-1, y-4), (x, y-4), (x + 1, y-4), (x + 2, y-4), (x + 3, y -4), (x + 4, y-4), (x-4, y-3), (x-3, y-3), (x-2, y-3), (x-1, y -3), (x, y-3), (x + 1, y-3), (x + 2, y-3), (x + 3, y-3), (x + 4, y-3 ), (X-4, y-2), (x-3, y-2), (x-2, y-2), (x-1, y-2), (x, y-2), (x + 1, y-2), (x + 2, y-2), (x + 3, y-2), (x + 4, y-2), (x-4, y-1), (x-3, y-1), (x-2, y-1), (x-1, y-1), (x, y-1), (x + 1, y-1), (x + 2, y-1), (x + 3, y-1), (x + 4, y-1), (x-4, y), (x-3, y), (x-2, y ), (X-1, y), (x, y), (x + 1, y), (x + 2, y), (x + 3, y), (x + 4, y), (x -4, y + 1), (x-3, y + 1), (x-2, y + 1), (x-1, y + 1), (x, y + 1), (x + 1 , y + 1), (x + 2, y + 1), (x + 3, y + 1), (x + 4, y + 1), (x-4, y + 2), (x-3 , y + 2), (x-2, y + 2), (x-1, y + 2), (x, y + 2), (x + 1, y + 2), (x + 2, y +2), (x + 3, y + 2), (x + 4, y + 2), (x-4, y + 3), (x-3, y + 3), (x-2, y +3), (x-1, y + 3), (x, y + 3), (x + 1, y + 3), (x + 2, y + 3), (x + 3, y + 3 ), (X + 4, y + 3), (x-4, y + 4), (x-3, y + 4), (x-2, y + 4), (x-1, y + 4) ), (X, y + 4) (X + 1, y + 4), it contains (x + 2, y + 4), (x + 3, y + 4), and (x + 4, y + 4).
Smoothing color difference CrS (x, y) = (tmp1 + 2 * tmp2 + 2 * tmp3 + 2 * tmp4 + tmp5) / 64 (13)

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。こうして、平滑化色差生成部１０２０は、図４（ｂ）に示す画素位置(x,y)に配置されている画素がB画素の場合の画素位置(x,y)における平滑化色差CbSを、画素位置(x,y)に配置されているB画素を含む９画素×９画素の広域画素参照範囲における平滑化を行うことによって生成する。   When the pixel arranged at the pixel position (x, y) is a B pixel, the above Cr may be replaced with Cb. Thus, the smoothed color difference generation unit 1020 calculates the smoothed color difference CbS at the pixel position (x, y) when the pixel arranged at the pixel position (x, y) shown in FIG. It is generated by performing smoothing in a wide pixel reference range of 9 pixels × 9 pixels including the B pixel arranged at the pixel position (x, y).

ステップＳ２３０においては、局所色差生成部１０３０が、各RB画素位置(x,y)において、局所色差CrA〜CrFおよびCbA〜CbFを生成する。画素位置(x,y)におけるR画素が有する局所色差CrAは、そのR画素のR成分と、そのR画素の近傍の局所画素参照範囲ＬＦに位置するG画素が有するG成分とに基づいて生成される。局所画素参照範囲ＬＦには、画素位置(x,y)、(x-1,y)、(x+1,y)、(x,y-1)、および(x,y+1)が含まれる。局所色差CrA〜CrFの生成に用いられる局所画素参照範囲ＬＦは、平滑化色差CrSの生成に用いられる広域画素参照範囲ＳＦよりも小さい。同様に、画素位置(x,y)におけるB画素が有する局所色差CbAは、そのB画素のB成分と、そのB画素の近傍の局所画素参照範囲に位置するG画素が有するG成分とに基づいて生成される。   In step S230, the local color difference generation unit 1030 generates local color differences CrA to CrF and CbA to CbF at each RB pixel position (x, y). The local color difference CrA of the R pixel at the pixel position (x, y) is generated based on the R component of the R pixel and the G component of the G pixel located in the local pixel reference range LF in the vicinity of the R pixel. Is done. The local pixel reference range LF includes pixel positions (x, y), (x-1, y), (x + 1, y), (x, y-1), and (x, y + 1). It is. The local pixel reference range LF used for generating the local color differences CrA to CrF is smaller than the wide-area pixel reference range SF used for generating the smoothed color difference CrS. Similarly, the local color difference CbA of the B pixel at the pixel position (x, y) is based on the B component of the B pixel and the G component of the G pixel located in the local pixel reference range near the B pixel. Generated.

画素位置(x,y)に配置される画素がR画素の場合には、局所色差生成部１０３０は、例えば次の式（１４）〜（１９）で表されるように、画素位置(x,y)に配置されるR画素が有する６パターンの局所色差CrA〜CrFを、そのR画素が有するR成分と、そのR画素の近傍の局所画素参照範囲ＬＦ内であってそのR画素に隣接する二つのG画素がそれぞれ有するG成分に基づく色差生成処理A〜Fを行うことによって、生成する。式（１４）に示す色差生成処理Aでは、局所色差CrAを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の左右に隣接する画素位置(x-1,y)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１５）に示す色差生成処理Bでは、局所色差CrBを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上下に隣接する画素位置(x,y-1)および(x,y+1)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１６）に示す色差生成処理Cでは、局所色差CrCを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上および左に隣接する画素位置(x,y-1)および(x-1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１７）に示す色差生成処理Dでは、局所色差CrDを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上および右に隣接する画素位置(x,y-1)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１８）に示す色差生成処理Eでは、局所色差CrEを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の下および左に隣接する画素位置(x,y+1)および(x-1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１９）に示す色差生成処理Fでは、局所色差CrFを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の下および右に隣接する画素位置(x,y+1)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。
色差生成処理A：CrA(x,y) = R(x,y)−(G(x-1,y) ＋G(x+1,y))/2 （１４）
色差生成処理B：CrB(x,y) = R(x,y)−(G(x,y-1) ＋G(x,y+1))/2 （１５）
色差生成処理C：CrC(x,y) = R(x,y)−(G(x,y-1) ＋G(x-1,y))/2 （１６）
色差生成処理D：CrD(x,y) = R(x,y)−(G(x,y-1) ＋G(x+1,y))/2 （１７）
色差生成処理E：CrE(x,y) = R(x,y)−(G(x,y+1) ＋G(x-1,y))/2 （１８）
色差生成処理F：CrF(x,y) = R(x,y)−(G(x,y+1) ＋G(x+1,y))/2 （１９） When the pixel arranged at the pixel position (x, y) is an R pixel, the local color difference generation unit 1030, for example, as represented by the following equations (14) to (19), the pixel position (x, 6 patterns of local color differences CrA to CrF possessed by the R pixel arranged in y) are adjacent to the R pixel within the R component of the R pixel and the local pixel reference range LF in the vicinity of the R pixel. It is generated by performing color difference generation processes A to F based on the G component each of the two G pixels has. In the color difference generation process A shown in Expression (14), the local color difference CrA is calculated by using the R component of the R pixel arranged at the pixel position (x, y) and the right and left of the R pixel within the local pixel reference range LF. Is generated based on the G component of each of the G pixels at pixel positions (x−1, y) and (x + 1, y) adjacent to. In the color difference generation process B shown in Expression (15), the local color difference CrB is calculated by using the R component of the R pixel arranged at the pixel position (x, y) and the upper and lower of the R pixel within the local pixel reference range LF. Are generated based on the G components of the G pixels at the pixel positions (x, y-1) and (x, y + 1) adjacent to. In the color difference generation process C shown in Expression (16), the local color difference CrC is calculated by using the R component of the R pixel arranged at the pixel position (x, y) and the local pixel reference range LF above the R pixel. And the G components of the G pixels at the pixel positions (x, y-1) and (x-1, y) adjacent to the left are generated. In the color difference generation processing D shown in Expression (17), the local color difference CrD is calculated by using the R component of the R pixel arranged at the pixel position (x, y) and the local pixel reference range LF above the R pixel. And the G components of the G pixels at the pixel positions (x, y−1) and (x + 1, y) adjacent to the right are generated. In the color difference generation process E shown in the equation (18), the local color difference CrE is calculated based on the R component of the R pixel arranged at the pixel position (x, y) and the local pixel reference range LF below the R pixel. And the G components of the G pixels at the pixel positions (x, y + 1) and (x-1, y) adjacent to the left are generated. In the color difference generation process F shown in the equation (19), the local color difference CrF is calculated based on the R component of the R pixel arranged at the pixel position (x, y) and the local pixel reference range LF below the R pixel. And the G components of the G pixels at the pixel positions (x, y + 1) and (x + 1, y) adjacent to the right, respectively.
Color difference generation processing A: CrA (x, y) = R (x, y) − (G (x−1, y) + G (x + 1, y)) / 2 (14)
Color difference generation processing B: CrB (x, y) = R (x, y) − (G (x, y−1) + G (x, y + 1)) / 2 (15)
Color difference generation processing C: CrC (x, y) = R (x, y) − (G (x, y−1) + G (x−1, y)) / 2 (16)
Color difference generation processing D: CrD (x, y) = R (x, y) − (G (x, y−1) + G (x + 1, y)) / 2 (17)
Color difference generation processing E: CrE (x, y) = R (x, y) − (G (x, y + 1) + G (x−1, y)) / 2 (18)
Color difference generation processing F: CrF (x, y) = R (x, y) − (G (x, y + 1) + G (x + 1, y)) / 2 (19)

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。こうして、局所色差生成部１０３０は、画素位置(x,y)に配置されるB画素が有する６つの局所色差CbA〜CbFを、そのB画素が有するB成分と、そのB画素の近傍の局所画素参照範囲内であってそのB画素に隣接する二つのG画素がそれぞれ有するG成分に基づく６パターンの色差生成処理を行うことによって、生成する。   When the pixel arranged at the pixel position (x, y) is a B pixel, the above Cr may be replaced with Cb. In this way, the local color difference generation unit 1030 includes the six local color differences CbA to CbF of the B pixel arranged at the pixel position (x, y), the B component of the B pixel, and the local pixels in the vicinity of the B pixel. It is generated by performing six patterns of color difference generation processing based on the G component that each of the two G pixels adjacent to the B pixel within the reference range has.

ステップＳ２３５において、色差平滑制御部１０４０が、各RB画素位置（x，y）において、例えば次の処理を行い、画像生成用色差Cr3,Cb3を生成する。すなわち、画素位置(x,y)にR画素が配置されている場合は、平滑化色差CrS(x,y)＜色差下限minCr(x,y)ならば、式（２０）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、色差下限minCr(x,y)が画像生成用色差Cr3(x,y)として生成される。平滑色差CrS(x,y)＞色差上限maxCr(x,y)ならば、式（２１）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、色差上限maxCr(x,y)が画像生成用色差Cr3(x,y)として生成される。そのどちらでもなければ、式（２２）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、平滑化色差CrS(x,y)が画像生成用色差Cr3(x,y)として生成される。なお、色差下限minCr(x,y)および色差上限maxCr(x,y)は、それぞれ、ステップＳ２３０において局所色差生成部１０３０によって生成された、各R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値である。画素位置(x,y)にR画素が配置されている場合において、R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲にそのR画素の平滑化色差CrS(x,y)が含まれるときは、色差平滑制御部１０４０は、その平滑化色差CrS(x,y)を画像生成用色差Cr3(x,y)として生成する。R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲にそのR画素の平滑化色差CrS(x,y)が含まれないときは、色差平滑制御部１０４０は、その局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値を画像生成用色差Cr3(x,y)として生成する。境界値の一つである色差下限minCr(x,y)はその分布範囲の最小値であり、もう一つの境界値である色差上限maxCr(x,y)はその分布範囲の最大値である。例えば、図７に示す例では、６パターンの色差生成処理によるCrA〜CrFの最小値および最大値がそれぞれ局所色差CrBの値およ局所色差CrCの値である。
Cr3(x,y)= minCr(x,y) （２０）
Cr3(x,y)= maxCr(x,y) （２１）
Cr3(x,y)= CrS(x,y) （２２） In step S235, the color difference smoothing control unit 1040 performs the following processing, for example, at each RB pixel position (x, y) to generate image generation color differences Cr3 and Cb3. That is, when the R pixel is arranged at the pixel position (x, y), if the smoothed color difference CrS (x, y) <the color difference lower limit minCr (x, y), the image generation is performed according to the equation (20). Color difference Cr3 (x, y) is generated. That is, the color difference lower limit minCr (x, y) is generated as the image generation color difference Cr3 (x, y). If smooth color difference CrS (x, y)> color difference upper limit maxCr (x, y), the color difference Cr3 (x, y) for image generation is generated by Expression (21). That is, the color difference upper limit maxCr (x, y) is generated as the image generation color difference Cr3 (x, y). Otherwise, the image generation color difference Cr3 (x, y) is generated according to the equation (22). That is, the smoothed color difference CrS (x, y) is generated as the image generation color difference Cr3 (x, y). Note that the color difference lower limit minCr (x, y) and the color difference upper limit maxCr (x, y) are respectively generated by the local color difference generation unit 1030 in step S230 and the local color difference CrA (at each R pixel position (x, y). x, y) to the boundary value of the distribution range of values of CrF (x, y). When the R pixel is arranged at the pixel position (x, y), the R is in the distribution range of values of the local color difference CrA (x, y) to CrF (x, y) at the R pixel position (x, y). When the pixel smoothing color difference CrS (x, y) is included, the color difference smoothing control unit 1040 generates the smoothing color difference CrS (x, y) as the image generation color difference Cr3 (x, y). When the local color difference CrA (x, y) to CrF (x, y) distribution range of the R pixel position (x, y) does not include the smoothed color difference CrS (x, y) of the R pixel, The color difference smoothing control unit 1040 generates the boundary value of the distribution range of the values of the local color differences CrA (x, y) to CrF (x, y) as the image generation color difference Cr3 (x, y). One of the boundary values, the color difference lower limit minCr (x, y), is the minimum value of the distribution range, and the other boundary value, the color difference upper limit maxCr (x, y), is the maximum value of the distribution range. For example, in the example shown in FIG. 7, the minimum value and the maximum value of CrA to CrF by the six patterns of color difference generation processing are the local color difference CrB value and the local color difference CrC value, respectively.
Cr3 (x, y) = minCr (x, y) (20)
Cr3 (x, y) = maxCr (x, y) (21)
Cr3 (x, y) = CrS (x, y) (22)

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。B画素位置(x,y)における局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲にそのB画素の平滑化色差CbS(x,y)が含まれるときは、色差平滑制御部１０４０は、その平滑化色差CbS(x,y)を画像生成用色差Cb3(x,y)として生成する。B画素位置(x,y)における局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲にそのB画素の平滑化色差CbS(x,y)が含まれないときは、色差平滑制御部１０４０は、その局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲の境界値を画像生成用色差Cb3(x,y)として生成する。境界値の一つである色差下限minCb(x,y)はその分布範囲の最小値であり、もう一つの境界値である色差上限maxCb(x,y)はその分布範囲の最大値である。   When the pixel arranged at the pixel position (x, y) is a B pixel, the above Cr may be replaced with Cb. If the distribution range of the local color difference CbA (x, y) to CbF (x, y) at the B pixel position (x, y) includes the smoothed color difference CbS (x, y) of that B pixel, the color difference The smoothing control unit 1040 generates the smoothed color difference CbS (x, y) as the image generation color difference Cb3 (x, y). When the smooth color difference CbS (x, y) of the B pixel is not included in the distribution range of values of the local color difference CbA (x, y) to CbF (x, y) at the B pixel position (x, y), The color difference smoothing control unit 1040 generates the boundary value of the distribution range of the values of the local color differences CbA (x, y) to CbF (x, y) as the image generation color difference Cb3 (x, y). One of the boundary values, the color difference lower limit minCb (x, y) is the minimum value of the distribution range, and the other boundary value, the color difference upper limit maxCb (x, y), is the maximum value of the distribution range.

ステップＳ２５０において、画像生成部１０５０は、ステップＳ２１０においてG画素が有するG成分に基づいて生成した全画素位置における輝度を生成し、ステップＳ２３５において、R画素が有する画像生成用色差Cr3(x,y)に基づいて全画素位置における画像生成用色差Cr3を生成し、B画素が有する画像生成用色差Cb3(x,y)に基づいて全画素位置における画像生成用色差Cb3を生成する。すなわち、画像生成部１０５０は、画像生成用色差Cr3,Cb3を全画素に補間生成し、ステップＳ２１０において生成した全画素の輝度を用い、全画素について、G=Y、R=Y+Cr、B=Y+CbとすることによってRGB成分を生成することができる。画像生成部１０５０は、このようにして生成したＲＧＢ出力画像に対して、さらに彩度強調や輪郭強調などの公知の画像処理を施してから出力する。   In step S250, the image generation unit 1050 generates luminance at all pixel positions generated based on the G component of the G pixel in step S210. In step S235, the image generation color difference Cr3 (x, y) of the R pixel. ) To generate an image generation color difference Cr3 at all pixel positions, and generate an image generation color difference Cb3 at all pixel positions based on the image generation color difference Cb3 (x, y) of the B pixel. That is, the image generation unit 1050 interpolates and generates image generation color differences Cr3 and Cb3 for all pixels, uses the luminance of all pixels generated in step S210, and uses G = Y, R = Y + Cr, B for all pixels. RGB components can be generated by setting = Y + Cb. The image generation unit 1050 outputs the generated RGB output image after further performing known image processing such as saturation enhancement and contour enhancement.

本実施の形態における画像処理装置１００によると、色差平滑化による弊害を抑制できることを、具体例に基づいて説明する。図８は、円形枠で囲まれた色差平滑化対象のR画素位置(x,y)の右側に赤い被写体を撮像したことによる赤い領域８０があるＲＡＷ画像３００を表す。図８において、赤い領域８０は、ハッチングにより図示されている。赤い領域８０は赤い平坦な領域であり、それ以外の領域は白い平坦な領域である。平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦは、色差平滑化対象のR画素位置(x,y)を中心とする９画素×９画素の範囲であり、例えば特開２００９−２００６３５号公報に開示されるような公知技術で通常用いられる５画素×５画素よりも広い。白い平坦な領域に属する画素位置(x,y)における本来の色差は0だが、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦが赤い領域８０に属する多くの画素位置を含むので、平滑化色差CrS(x,y)は大きな値になってしまう。一方、局所色差生成部１０３０による局所色差生成時の局所画素参照範囲ＬＦは、白い平坦な領域のみを含むので、局所色差CrA(x,y)〜CrF(x,y)は全てほぼ０になる。したがって、色差下限minCr(x,y)と色差上限maxCr(x,y)もほぼ０になる。そして、色差平滑制御部１０４０が、平滑化色差CrS(x,y)を色差下限minCr(x,y)と色差上限maxCr(x,y)にはさまれる範囲に制限することにより、画像生成用色差Cr3(x,y)の色差もほぼ０となる。このようにして、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦを従来よりも広くした場合であっても、色の滲み出しを抑制された色差を生成することができる。   Based on a specific example, it will be described that the image processing apparatus 100 according to the present embodiment can suppress adverse effects caused by color difference smoothing. FIG. 8 shows a RAW image 300 having a red region 80 obtained by imaging a red subject on the right side of the R pixel position (x, y) to be subjected to color difference smoothing surrounded by a circular frame. In FIG. 8, the red region 80 is illustrated by hatching. The red area 80 is a red flat area, and the other areas are white flat areas. The wide pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020 is a range of 9 pixels × 9 pixels centering on the R pixel position (x, y) to be subjected to color difference smoothing. It is wider than 5 pixels × 5 pixels that are normally used in the known technology as disclosed in Japanese Patent No. The original color difference at the pixel position (x, y) belonging to the white flat area is 0, but the wide area pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020 includes many pixel positions belonging to the red area 80. Therefore, the smoothed color difference CrS (x, y) becomes a large value. On the other hand, since the local pixel reference range LF at the time of local color difference generation by the local color difference generation unit 1030 includes only a white flat region, the local color differences CrA (x, y) to CrF (x, y) are almost zero. . Accordingly, the color difference lower limit minCr (x, y) and the color difference upper limit maxCr (x, y) are also substantially zero. Then, the color difference smoothing control unit 1040 limits the smoothed color difference CrS (x, y) to a range between the color difference lower limit minCr (x, y) and the color difference upper limit maxCr (x, y), thereby generating an image. The color difference of the color difference Cr3 (x, y) is also almost zero. In this way, even when the wide pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020 is made wider than before, a color difference with suppressed color bleeding can be generated.

次に、本実施の形態における画像処理装置１００によると、適切に偽色を除去できることを説明する。まず、図９のように少し傾いた白黒の縦縞構造の被写体の偽色除去について説明する。図９のように、白地に黒の少し傾いた縦縞９０が横方向に２画素おきに出現する２画素周期構造の縞模様では、Bayer配列のＲＡＷ画像３００に基づいて縦横の方向を判定することは困難である。したがって、平滑化色差生成部１０２０による色差の中間値Cr1(x,y)の生成の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば円形枠で囲まれた画素位置(x,y)で表される色差生成箇所では、縦縞９０の一部を含んだ画素（局所画素参照範囲ＬＦ内の画素と等しい）を参照するのでGの項が暗くなり、偽色が発生してしまう。一方、円形枠で囲まれた画素位置(x,y)から上下に４画素離れた画素位置(x,y-4)および(x,y+4)では、式（７）によれば、逆符号の偽色が発生する。すなわち、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内において偽色が互いに打ち消しあい、平滑化色差CrS(x,y)は小さな値になる。   Next, it will be described that the false color can be appropriately removed according to the image processing apparatus 100 in the present embodiment. First, the false color removal of a subject having a black and white vertical stripe structure slightly inclined as shown in FIG. 9 will be described. As shown in FIG. 9, the vertical and horizontal directions are determined based on the Bayer array RAW image 300 in the case of a two-pixel periodic structure stripe pattern in which vertical black stripes 90 appear slightly every other pixel in the horizontal direction on a white background. It is difficult. Therefore, when the smoothed color difference generation unit 1020 generates the color difference intermediate value Cr1 (x, y), it is determined that the image structure is “neither”, and Expression (7) is used. According to Equation (7), for example, at a color difference generation location represented by a pixel position (x, y) surrounded by a circular frame, a pixel including a part of the vertical stripe 90 (a pixel in the local pixel reference range LF and Is equal), the term of G becomes dark and false color occurs. On the other hand, in the pixel positions (x, y-4) and (x, y + 4) that are 4 pixels away from the pixel position (x, y) surrounded by the circular frame, A false color of the code occurs. That is, the false colors cancel each other out within the wide pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020, and the smoothing color difference CrS (x, y) becomes a small value.

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrB(x,y)を式（１４）によって生成する際には、画素位置(x,y)、(x,y-1)および(x,y+1)からなるほぼ平坦な範囲ＬＦＢを参照するので、局所色差CrB(x,y)はほぼ０になる。局所色差CrB(x,y)以外の局所色差CrA(x,y)、CrC(x,y)、CrD(x,y)、CrE(x,y)およびCrF(x,y)を生成する際には、暗いGを参照するので、それらの局所色差はすべて大きな値になる。したがって、色差下限minCr(x,y)として局所色差CrB(x,y)が選ばれる。平滑化色差CrS(x,y)は、色差下限minCr(x,y)、すなわちほぼ０になる局所色差CrB(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。   When the local color difference CrB (x, y) is generated by the equation (14) among the plurality of color differences generated by the local color difference generation unit 1030, the pixel positions (x, y), (x, y-1) are generated. ) And (x, y + 1) are referred to as a substantially flat range LFB, so that the local color difference CrB (x, y) is almost zero. When generating local color differences CrA (x, y), CrC (x, y), CrD (x, y), CrE (x, y) and CrF (x, y) other than local color difference CrB (x, y) Since they refer to dark G, their local color differences are all large. Accordingly, the local color difference CrB (x, y) is selected as the color difference lower limit minCr (x, y). Since the smoothed color difference CrS (x, y) is larger than the color difference lower limit minCr (x, y), that is, the local color difference CrB (x, y) that becomes almost zero, it is smoothed as the color difference Cr3 (x, y) for image generation. Color difference CrS (x, y) is adopted, and false colors are removed.

次に、図１０のような斜め輪郭線を有する暗い領域９１が存在する場合の偽色除去について説明する。この場合、平滑化色差生成部１０２０による色差の中間値Cr1(x,y)の生成の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば円形枠で囲まれた画素位置(x,y)で表される箇所では、暗い領域９１の一部を含んだ画素（局所画素参照範囲ＬＦ内の画素と等しい）を参照するのでGの項が暗くなり、偽色が発生してしまう。一方、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内のほとんどの色差は０なので、平滑化色差CrS(x,y)は小さな値になる。   Next, false color removal when there is a dark region 91 having an oblique outline as shown in FIG. 10 will be described. In this case, when the color difference intermediate value Cr1 (x, y) is generated by the smoothing color difference generation unit 1020, it is determined that the image structure is “neither”, and Expression (7) is used. According to Expression (7), for example, at a place represented by a pixel position (x, y) surrounded by a circular frame, a pixel including a part of the dark region 91 (equal to a pixel in the local pixel reference range LF) ), The term of G becomes dark and false color occurs. On the other hand, since most of the color differences in the wide pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020 are 0, the smoothing color difference CrS (x, y) is a small value.

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrE(x,y)を式（１８）によって生成する際には、画素位置(x,y)、(x-1,y)および(x,y+1)からなる平坦な参照範囲ＬＦＥを参照するので、局所色差CrE(x,y)はほぼ０になる。局所色差CrE(x,y)以外の局所色差CrA(x,y)、CrB(x,y)、CrC(x,y)、CrD(x,y)およびCrF(x,y)を生成する際には、暗いGを参照するので、それらの局所色差は大きな値になる。したがって、色差下限minCr(x,y)として局所色差CrE(x,y)が選ばれる。平滑化色差CrS(x,y)は色差下限minCr(x,y)、すなわちほぼ０になる局所色差CrE(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。   Of the plurality of color differences generated by the local color difference generation unit 1030, when the local color difference CrE (x, y) is generated by the equation (18), the pixel position (x, y), (x-1, y) is generated. ) And (x, y + 1) are referred to, and the local color difference CrE (x, y) is almost zero. When generating local color differences CrA (x, y), CrB (x, y), CrC (x, y), CrD (x, y) and CrF (x, y) other than local color difference CrE (x, y) Since they refer to dark G, their local color differences are large. Therefore, the local color difference CrE (x, y) is selected as the color difference lower limit minCr (x, y). Since the smoothed color difference CrS (x, y) is larger than the color difference lower limit minCr (x, y), that is, the local color difference CrE (x, y) that becomes almost zero, the smoothed color difference as the color difference Cr3 (x, y) for image generation CrS (x, y) is adopted to remove false colors.

本実施の形態における画像処理装置１００は、画像入力部１０１０と、平滑化色差生成部１０２０と、局所色差生成部１０３０と、色差平滑制御部１０４０と、画像生成部１０５０とを有する。画像入力部１０１０は、Ｒ成分の分光感度を有するＲ画素またはＢ成分の分光感度を有するＢ画素とＧ成分の分光感度を有するＧ画素とが配列される画素列が並置されるＲＡＷ画像３００の、ＲＡＷ画像データを取得する。平滑化色差生成部１０２０は、Ｒ画素が有する平滑化色差CrS(x,y)またはＢ画素が有する平滑化色差CbS(x,y)を、そのＲ画素またはＢ画素を含む広域画素参照範囲における平滑化を行うことによって生成する。局所色差生成部１０３０は、Ｒ画素が有する局所色差CrA(x,y)〜CrF(x,y)またはＢ画素が有する局所色差CbA(x,y)〜CbF(x,y)を、Ｒ画素またはＢ画素の近傍の、広域画素参照範囲よりも局所画素参照範囲に位置するＲ画素またはＢ画素が有するＲ成分またはＢ成分に基づいて生成する。色差平滑制御部１０４０は、局所色差の値の分布範囲に平滑化色差CrS(x,y)またはCbS(x,y)の値が含まれるときはその平滑化色差CrS(x,y)またはCbS(x,y)を、局所色差の値の分布範囲に平滑化色差CrS(x,y)またはCbS(x,y)の値が含まれないときはその分布範囲の境界値を、Ｒ画素またはＢ画素が有する画像生成用色差Cr3(x,y)またはCb3(x,y)として生成する。画像生成部１０５０は、Ｇ画素が有するＧ成分と、Ｒ画素またはＢ画素が有する画像生成用色差Cr3(x,y)またはCb3(x,y)とに基づき、出力画像を生成する。これにより、偽色を除去しながら、色の滲み出しが抑制された出力画像を生成することができる。   The image processing apparatus 100 according to the present embodiment includes an image input unit 1010, a smoothed color difference generation unit 1020, a local color difference generation unit 1030, a color difference smoothing control unit 1040, and an image generation unit 1050. The image input unit 1010 includes a RAW image 300 in which a pixel row in which R pixels having an R component spectral sensitivity or B pixels having a B component spectral sensitivity and G pixels having a G component spectral sensitivity are arranged side by side is arranged. , RAW image data is acquired. The smoothing color difference generation unit 1020 uses the smoothing color difference CrS (x, y) of the R pixel or the smoothing color difference CbS (x, y) of the B pixel in the wide pixel reference range including the R pixel or B pixel. Generated by performing smoothing. The local color difference generation unit 1030 converts the local color differences CrA (x, y) to CrF (x, y) included in the R pixel or the local color differences CbA (x, y) to CbF (x, y) included in the B pixel into the R pixel. Or it produces | generates based on R component or B component which R pixel or B pixel located in a local pixel reference range rather than a wide pixel reference range of the vicinity of B pixel has. The color difference smoothing control unit 1040, when the value of the smoothed color difference CrS (x, y) or CbS (x, y) is included in the distribution range of the local color difference value, the smoothed color difference CrS (x, y) or CbS. (x, y), if the distribution range of the local color difference value does not include the smoothing color difference CrS (x, y) or CbS (x, y), the boundary value of the distribution range is set to R pixels or It is generated as a color difference Cr3 (x, y) or Cb3 (x, y) for image generation of the B pixel. The image generation unit 1050 generates an output image based on the G component of the G pixel and the image generation color difference Cr3 (x, y) or Cb3 (x, y) of the R pixel or B pixel. Accordingly, it is possible to generate an output image in which color bleeding is suppressed while removing false colors.

上述した一実施の形態における画像処理装置１００を以下のように変形してもよい。
（１）局所色差生成部１０３０は、画素位置(x,y)におけるR画素に対応する局所色差CrA(x,y)〜CrF(x,y)に加え、以下の式（２３）を用いた色差生成処理Gを行うことによって、局所色差CrG(x,y)をさらに生成しても良い。
CrG(x,y) = (R(x-2,y)+ R(x,y-2)+ R(x,y+2)+ R(x+2,y))/4
−(G(x-1,y)+ G(x,y-1)+ G(x,y+1)+ G(x+1,y))/4 （２３） The image processing apparatus 100 according to the embodiment described above may be modified as follows.
(1) The local color difference generation unit 1030 uses the following equation (23) in addition to the local color differences CrA (x, y) to CrF (x, y) corresponding to the R pixel at the pixel position (x, y). A local color difference CrG (x, y) may be further generated by performing the color difference generation process G.
CrG (x, y) = (R (x-2, y) + R (x, y-2) + R (x, y + 2) + R (x + 2, y)) / 4
− (G (x−1, y) + G (x, y−1) + G (x, y + 1) + G (x + 1, y)) / 4 (23)

この場合において、色差平滑制御部１０４０は、各R画素位置(x,y)において、局所色差CrA(x,y)〜CrG(x,y)の最大値を色差上限maxCr(x,y)とし、局所色差CrA(x,y)〜CrG(x,y)の最小値を色差下限minCr(x,y)とする。B画素位置における局所色差Cbについても同様である。その適用例を、図１１を用いて説明する。   In this case, the color difference smoothing control unit 1040 sets the maximum value of the local color differences CrA (x, y) to CrG (x, y) as the color difference upper limit maxCr (x, y) at each R pixel position (x, y). The minimum value of local color differences CrA (x, y) to CrG (x, y) is defined as a color difference lower limit minCr (x, y). The same applies to the local color difference Cb at the B pixel position. An example of the application will be described with reference to FIG.

図１１は、１本の斜め方向のＲＢ画素列の画素位置に暗く細い斜め線９２があるＲＡＷ画像３００の例である。平滑化色差生成部１０２０による色差の中間値Cr1の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば図１１の円形枠で囲まれた画素位置(x,y)における色差の中間値Cr1は、局所画素参照範囲ＬＦ内の画素と同じ画素を参照して生成される。暗く細い斜め線９２に含まれる画素位置(x,y)のRが小さいので負の偽色が発生する。一方、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内のほとんどの色差は０なので、平滑化色差CrS(x,y)は小さな値になる。   FIG. 11 is an example of a RAW image 300 having a dark thin diagonal line 92 at a pixel position in one diagonal RB pixel row. In the case of the color difference intermediate value Cr1 by the smoothing color difference generation unit 1020, it is determined that the image structure is “neither”, and Expression (7) is used. According to Expression (7), for example, the intermediate value Cr1 of the color difference at the pixel position (x, y) surrounded by the circular frame in FIG. 11 is generated by referring to the same pixel as the pixel in the local pixel reference range LF. The Since the R at the pixel position (x, y) included in the dark thin diagonal line 92 is small, a negative false color is generated. On the other hand, since most of the color differences in the wide pixel reference range SF at the time of smoothing by the smoothing color difference generation unit 1020 are 0, the smoothing color difference CrS (x, y) is a small value.

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrG(x,y)を式（２３）によって生成する際には、局所画素参照範囲ＬＦを拡張した平坦な参照範囲ＬＦｇａ、ＬＦｇｂ、ＬＦｇｃおよびＬＦｇｄを参照するので、局所色差CrG(x,y)はほぼ０になる。局所色差CrG(x,y)以外の局所色差CrA(x,y)、CrB(x,y)、CrC(x,y)、CrD(x,y)、CrE(x,y)およびCrF(x,y)を生成する際には、暗いRを参照するので、それらの局所色差は負の値になる。したがって、色差上限maxCr(x,y)として色差CrG(x,y)が選ばれる。平滑化色差CrS(x,y)は色差上限maxCr(x,y) 、すなわちほぼ０になる局所色差CrG(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。なお、参照範囲ＬＦｇａは、画素位置(x-2,y)および(x-1,y)を含む。参照範囲ＬＦｇｂは、画素位置(x,y-2)および(x,y-1)を含む。参照範囲ＬＦｇｃは、画素位置(x,y+2)および(x,y+1)を含む。参照範囲ＬＦｇｃは、画素位置(x+2,y)および(x+1,y)を含む。画素位置(x,y)におけるB画素に対応する局所色差についても同様である。   When the local color difference CrG (x, y) is generated by the equation (23) among the plurality of color differences generated by the local color difference generation unit 1030, a flat reference range LFga obtained by extending the local pixel reference range LF, Since LFgb, LFgc, and LFgd are referenced, the local color difference CrG (x, y) is almost zero. Local color difference other than local color difference CrG (x, y) CrA (x, y), CrB (x, y), CrC (x, y), CrD (x, y), CrE (x, y) and CrF (x , y) is generated, since dark R is referred to, their local color difference becomes a negative value. Therefore, the color difference CrG (x, y) is selected as the color difference upper limit maxCr (x, y). Since the smoothed color difference CrS (x, y) is larger than the color difference upper limit maxCr (x, y), that is, the local color difference CrG (x, y) that becomes almost zero, the smoothed color difference as the image generation color difference Cr3 (x, y) CrS (x, y) is adopted to remove false colors. The reference range LFga includes pixel positions (x−2, y) and (x−1, y). The reference range LFgb includes pixel positions (x, y-2) and (x, y-1). The reference range LFgc includes pixel positions (x, y + 2) and (x, y + 1). The reference range LFgc includes pixel positions (x + 2, y) and (x + 1, y). The same applies to the local color difference corresponding to the B pixel at the pixel position (x, y).

（２）局所色差生成部１０３０は、局所色差CrAおよびCrBを算出し、色差平滑制御部１０４０は、各R画素位置(x,y)において、局所色差CrA、CrBの最大値を色差上限maxCr(x,y)とし、局所色差CrA、CrBの最小値を色差下限minCr(x,y)としても良い。局所色差Cbについても同様である。このように算出する色差の数を減らすことにより、局所色差の値の分布範囲は上述した一実施の形態に比べて同じであるかまたは狭くなるので、色差平滑化の弊害がより強く抑制される。その一方で、図９のように特に偽色が強く発生する構造においては、上述した一実施の形態と同様の偽色抑制効果がある。 (2) The local color difference generation unit 1030 calculates the local color differences CrA and CrB, and the color difference smoothing control unit 1040 calculates the maximum value of the local color differences CrA and CrB at each R pixel position (x, y) as the color difference upper limit maxCr ( x, y), and the minimum value of the local color differences CrA, CrB may be used as the color difference lower limit minCr (x, y). The same applies to the local color difference Cb. By reducing the number of color differences calculated in this way, the distribution range of local color difference values is the same as or narrower than that of the above-described embodiment, so that the adverse effects of color difference smoothing are more strongly suppressed. . On the other hand, in the structure in which false color is particularly strong as shown in FIG. 9, there is a false color suppression effect similar to that of the above-described embodiment.

（３）平滑化色差生成部１０２０は、色差の中間値Cr1と画像生成用色差Cr3とを参照して平滑化を行っても良い。例えば、ＲＡＷ画像３００の上側（縦方向の座標yが小さい方）の画素から順に、本発明の処理を行う場合、画素位置(x,y)の画素を処理する時点で、それより上側の画素位置にはすでに画像生成用色差Cr3が生成されている。したがって、例えば画素位置(x,y)にR画素が配置されている場合には、式（８）〜（１３）に代えて式（２４）〜（２９）を用いて色差を平滑化して平滑化色差CrSを算出することが出来る。なお、画素位置(x,y)にB画素が配置されている場合は、局所色差Crを局所色差Cbに置き換えて処理すればよい。
tmp1´ = Cr3(x-4,y-4)+2*Cr3(x-2,y-4) +2*Cr3(x,y-4) +2*Cr3(x+2,y-4) +Cr3(x+4,y-4)
（２４）
tmp2´ = Cr3(x-4,y-2)+2*Cr3(x-2,y-2) +2*Cr3(x,y-2) +2*Cr3(x+2,y-2) +Cr3(x+4,y-2)
（２５）
tmp3 = Cr(x-4,y)+2*Cr(x-2,y) +2*Cr(x,y) +2*Cr(x+2,y) +Cr(x+4,y)
（２６）
tmp4 = Cr(x-4,y+2)+2*Cr(x-2,y+2) +2*Cr(x,y+2) +2*Cr(x+2,y+2) +Cr(x+4,y+2)
（２７）
tmp5 = Cr(x-4,y+4)+2*Cr(x-2,y+4) +2*Cr(x,y+4) +2*Cr(x+2,y+4) +Cr(x+4,y+4)
（２８）
CrS(x,y)= (tmp1´+ 2*tmp2´+ 2*tmp3+ 2*tmp4+ tmp5)/64
（２９） (3) The smoothing color difference generation unit 1020 may perform smoothing with reference to the color difference intermediate value Cr1 and the image generation color difference Cr3. For example, when the processing of the present invention is performed in order from the pixel on the upper side of the RAW image 300 (the one with the smaller vertical coordinate y), the pixel on the upper side of the pixel at the pixel position (x, y) is processed. The image generation color difference Cr3 is already generated at the position. Therefore, for example, when an R pixel is arranged at the pixel position (x, y), the color difference is smoothed by using equations (24) to (29) instead of equations (8) to (13). The color difference CrS can be calculated. If a B pixel is arranged at the pixel position (x, y), the local color difference Cr may be replaced with the local color difference Cb.
tmp1´ = Cr3 (x-4, y-4) + 2 * Cr3 (x-2, y-4) + 2 * Cr3 (x, y-4) + 2 * Cr3 (x + 2, y-4) + Cr3 (x + 4, y-4)
(24)
tmp2´ = Cr3 (x-4, y-2) + 2 * Cr3 (x-2, y-2) + 2 * Cr3 (x, y-2) + 2 * Cr3 (x + 2, y-2) + Cr3 (x + 4, y-2)
(25)
tmp3 = Cr (x-4, y) + 2 * Cr (x-2, y) + 2 * Cr (x, y) + 2 * Cr (x + 2, y) + Cr (x + 4, y)
(26)
tmp4 = Cr (x-4, y + 2) + 2 * Cr (x-2, y + 2) + 2 * Cr (x, y + 2) + 2 * Cr (x + 2, y + 2) + Cr (x + 4, y + 2)
(27)
tmp5 = Cr (x-4, y + 4) + 2 * Cr (x-2, y + 4) + 2 * Cr (x, y + 4) + 2 * Cr (x + 2, y + 4) + Cr (x + 4, y + 4)
(28)
CrS (x, y) = (tmp1´ + 2 * tmp2´ + 2 * tmp3 + 2 * tmp4 + tmp5) / 64
(29)

すなわち、平滑化色差生成部１０２０は、画素位置(x,y)にR画素が配置されている場合、広域画素参照範囲ＳＦに位置する他のR画素が画像生成用色差Cr3を有するとき、広域画素参照範囲ＳＦに位置する他のR画素が有する画像生成用色差Cr3を用いて平滑化を行うことによって、平滑化色差CrSを生成する。画素位置(x,y)にB画素が配置されている場合、広域画素参照範囲ＳＦに位置する他のB画素が画像生成用色差Cb3を有するとき、広域画素参照範囲ＳＦに位置する他のB画素が有する画像生成用色差Cb3を用いて平滑化を行うことによって、平滑化色差CbSを生成する。   That is, when the R pixel is arranged at the pixel position (x, y), the smoothing color difference generation unit 1020 has a wide area when the other R pixel located in the wide area pixel reference range SF has the image generation color difference Cr3. Smoothing color difference CrS is generated by performing smoothing using the image generation color difference Cr3 possessed by other R pixels located in the pixel reference range SF. When the B pixel is arranged at the pixel position (x, y), when another B pixel located in the wide pixel reference range SF has the image generation color difference Cb3, another B pixel located in the wide pixel reference range SF The smoothing color difference CbS is generated by performing smoothing using the image generation color difference Cb3 of the pixel.

このようにすると、平滑化された画像生成用色差Cr3またはCb3を参照してさらに平滑化することになるので、上述した一実施の形態よりも強い平滑化に相当することになり、偽色を強く除去することができる。また、色差平滑制御部１０４０により色の滲み出しを抑制された画像生成用色差Cr3またはCb3を参照しているので、強い色差平滑化を行うわりには色がにじみ出しにくい。   In this way, since smoothing is further performed with reference to the smoothed color difference Cr3 or Cb3 for image generation, this corresponds to a smoothing stronger than the above-described one embodiment, and false colors are It can be removed strongly. In addition, since the image generation color difference Cr3 or Cb3, in which the color bleeding control is suppressed by the color difference smoothing control unit 1040, is referred to, it is difficult for the color to ooze instead of performing strong color difference smoothing.

さらに、式（２４）〜（２９）に代えて式（３０）〜（３２）を用いて平滑化色差CrS(x,y)を算出しても良い。
tmp2´ = Cr3(x-4,y-2)+2*Cr3(x-2,y-2) +2*Cr3(x,y-2) +2*Cr3(x+2,y-2) +Cr3(x+4,y-2)
（３０）
tmp3 = Cr(x-4,y)+2*Cr(x-2,y) +2*Cr(x,y) +2*Cr(x+2,y) +Cr(x+4,y)
（３１）
CrS(x,y)= (3*tmp2´+ tmp3)/32
（３２） Further, the smoothed color difference CrS (x, y) may be calculated using equations (30) to (32) instead of equations (24) to (29).
tmp2´ = Cr3 (x-4, y-2) + 2 * Cr3 (x-2, y-2) + 2 * Cr3 (x, y-2) + 2 * Cr3 (x + 2, y-2) + Cr3 (x + 4, y-2)
(30)
tmp3 = Cr (x-4, y) + 2 * Cr (x-2, y) + 2 * Cr (x, y) + 2 * Cr (x + 2, y) + Cr (x + 4, y)
(31)
CrS (x, y) = (3 * tmp2´ + tmp3) / 32
(32)

この算出式によると、上述した一実施の形態に比べて広域画素参照範囲が狭いので演算コストを削減できる。また、偽色除去された画像生成用色差Cr3を強く参照して平滑化を行うので、強い偽色除去効果がある。色差Cbについても、上記と同様にしてもよい。   According to this calculation formula, the calculation cost can be reduced because the wide-area pixel reference range is narrower than in the above-described embodiment. Further, since the smoothing is performed with strong reference to the image generation color difference Cr3 from which the false color is removed, there is a strong false color removal effect. The color difference Cb may be the same as described above.

（４）ステップＳ２１０において、輝度Ｙとして各画素のＧ成分値を用いたが、輝度Ｙとして各画素のＧ成分、Ｒ成分およびＢ成分の加重平均値を用いても良い。その場合は、Ｇ成分についても平滑化による偽色除去効果を奏することとなる。 (4) Although the G component value of each pixel is used as the luminance Y in step S210, the weighted average value of the G component, R component, and B component of each pixel may be used as the luminance Y. In that case, the false color removal effect by the smoothing is also obtained for the G component.

（５）ステップＳ２３５において、色差平滑制御部１０４０は、局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値（最小値および最大値）を色差下限minCr(x,y)および色差上限maxCr(x,y)とした。しかし、色差下限minCr(x,y)および色差上限maxCr(x,y)は、局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値に基づいて決定されれば、他の値であっても良い。例えば、境界値に対して所定値増減させた値を色差下限minCr(x,y)および色差上限maxCr(x,y)としてもよい。あるいは、最小値の次に小さな値を色差下限minCr(x,y)とし、最大値の次に大きな値を色差上限maxCr(x,y)としてもよい。 (5) In step S235, the color difference smoothing control unit 1040 uses the boundary value (minimum value and maximum value) of the distribution range of the local color difference CrA (x, y) to CrF (x, y) as the color difference lower limit minCr (x , y) and the color difference upper limit maxCr (x, y). However, the color difference lower limit minCr (x, y) and the color difference upper limit maxCr (x, y) are determined based on the boundary value of the distribution range of values of the local color difference CrA (x, y) to CrF (x, y). For example, other values may be used. For example, values obtained by increasing or decreasing the boundary value by a predetermined value may be used as the color difference lower limit minCr (x, y) and the color difference upper limit maxCr (x, y). Alternatively, the next smallest value after the minimum value may be the color difference lower limit minCr (x, y), and the next largest value after the maximum value may be the color difference upper limit maxCr (x, y).

（６）上述した一実施の形態における画像処理装置１００は、カメラ２００には内蔵されていない。したがって、カメラ２００内部のイメージセンサー２２０によって撮像されたＲＡＷ画像を、原画像読み出し部２３０を介して画像処理装置１００内の画像入力部１０１０が取得する。しかし、画像処理装置１００をカメラ２００に内蔵しても本発明は適用できる。図１２は、本発明の変形例として、画像処理装置１００を内蔵するカメラ２００の構成を示す図である。カメラ２００は、原画像読み出し部２３０と画像処理装置１００とを含む制御装置２５０を有しているほかは、上述した一実施の形態で説明したとおりである。図２に示すフローチャートを用いて説明した画像処理装置１００による画像処理は、制御装置２５０によるカメラ２００全体の制御の一部として、制御装置２５０により管理される。 (6) The image processing apparatus 100 according to the embodiment described above is not built in the camera 200. Therefore, the RAW image captured by the image sensor 220 inside the camera 200 is acquired by the image input unit 1010 in the image processing apparatus 100 via the original image reading unit 230. However, the present invention can be applied even if the image processing apparatus 100 is built in the camera 200. FIG. 12 is a diagram showing a configuration of a camera 200 incorporating the image processing apparatus 100 as a modification of the present invention. The camera 200 is the same as that described in the above-described embodiment except that the camera 200 includes the control device 250 including the original image reading unit 230 and the image processing device 100. The image processing by the image processing apparatus 100 described with reference to the flowchart shown in FIG. 2 is managed by the control apparatus 250 as part of the control of the entire camera 200 by the control apparatus 250.

（７）画像処理装置１００が上述の実施形態および変形例の各々における画像処理を実行するためのコンピュータプログラム製品は、図１３に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じて画像処理装置１００に提供される。 (7) As shown in FIG. 13, a computer program product for the image processing apparatus 100 to execute image processing in each of the above-described embodiments and modifications is a program storage medium 2000 (for example, a CD-ROM) or communication. It is provided to the image processing apparatus 100 through a data signal transmitted through a network 4000 (for example, the Internet).

画像処理装置１００は、プログラム記憶媒体２０００を介して画像処理プログラムの提供を受ける。あるいは、以下の供給形態で画像処理プログラムが提供されても良い。画像処理装置１００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は画像処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に画像処理プログラムを格納する。サーバー３０００はハードディスクから読み出した画像処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介して画像処理装置１００へ転送する。以上のように、画像処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。   The image processing apparatus 100 is provided with an image processing program via the program storage medium 2000. Alternatively, the image processing program may be provided in the following supply form. The image processing apparatus 100 has a connection function with the communication network 4000. The server 3000 is a computer that provides an image processing program, and stores the image processing program in a storage medium such as a hard disk. The server 3000 places the image processing program read from the hard disk on a carrier wave as a data signal and transfers the image processing program to the image processing apparatus 100 via the communication network 4000. As described above, the image processing program is preferably supplied by various forms of computer program products including provision as data signals via the program storage medium 2000 and the communication network 4000.

８０ 赤い領域、９０ 縦縞、９１ 暗い領域、９２ 斜め線、
１００ 画像処理装置、２００ カメラ、
２１０ レンズ、２２０ イメージセンサー、２３０ 原画像読み出し部、
２５０ 制御装置、３００ ＲＡＷ画像、
５００ 被写体、５１０ 被写体光、
１０１０ 画像入力部、１０２０ 平滑化色差生成部、１０３０ 局所色差生成部、
１０４０ 色差平滑制御部、１０５０ 画像生成部、
２０００ プログラム記憶媒体、３０００ サーバー、４０００ 通信ネットワーク 80 red areas, 90 vertical stripes, 91 dark areas, 92 diagonal lines,
100 image processing device, 200 camera,
210 lens, 220 image sensor, 230 original image reading unit,
250 control device, 300 RAW image,
500 subjects, 510 subject light,
1010 Image input unit, 1020 smoothing color difference generation unit, 1030 local color difference generation unit,
1040 color difference smoothing control unit, 1050 image generation unit,
2000 program storage medium, 3000 server, 4000 communication network

Claims (9)

第一の色成分の分光感度を有する第一の色画素と、前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素と、の画素列が配置される原画像の原画像データを取得する画像入力部と、
前記第一の色画素が有する第一の色差を平滑化によって生成する第一の色差生成部と、
前記第一の色画素が有する第二の色差を、前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成部と、
前記第二の色差の値の分布範囲と、前記第一の色差の値とに基づいて、前記第一の色画素が有する第三の色差を生成する色差平滑制御部と、
前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差とに基づき、出力画像を生成する画像生成部とを備え、
前記第一の色差生成部は、前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成し、
第二の色差生成部は、前記第一の色画素が有する第二の色差を、前記第一の色画素から前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成し、
前記分布範囲は、前記第二の色差の値の最小値から最大値までの範囲である、画像処理装置。 A pixel row of a first color pixel having a spectral sensitivity of a first color component and a second color pixel having a spectral sensitivity of a second color component different from the first color component is arranged. An image input unit for acquiring original image data of the original image;
A first color difference generation unit that generates the first color difference of the first color pixel by smoothing;
A second color difference generation unit configured to generate a second color difference of the first color pixel based on the second color component of the second color pixel;
A color difference smoothing control unit that generates a third color difference of the first color pixel based on the distribution range of the second color difference value and the first color difference value;
An image generation unit configured to generate an output image based on the second color component of the second color pixel and the third color difference of the first color pixel ;
The first color difference generation unit generates the first color difference of the first color pixel by performing smoothing in a first range including the first color pixel,
The second color difference generation unit includes the second color pixel that is located in a second range that is smaller than the first range from the first color pixel, with respect to the second color difference of the first color pixel. Generated based on the second color component
The image processing apparatus , wherein the distribution range is a range from a minimum value to a maximum value of the second color difference value . 請求項１に記載の画像処理装置において、
前記第二の色差生成部は、前記第一の色画素が有する第二の色差を、前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素に隣接する二つの前記第二の色画素がそれぞれ有する前記第二の色成分に基づいて生成する画像処理装置。 The image processing apparatus according to claim 1 .
The second color difference generation unit includes a second color difference included in the first color pixel, the first color component included in the first color pixel, and the second color difference included in the second range. An image processing device that generates an image based on the second color component of each of the two second color pixels adjacent to one color pixel. 請求項２に記載の画像処理装置において、
前記第二の色差生成部は、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上下に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の左右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上および右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上および左に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の下および右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の下および左に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の範囲内であって、前記第二の色差を生成する対象である前記第一の色画素の上下左右に隣接する前記第二の色画素が有する前記第二の色成分と、前記第二の範囲内であって、該第二の色画素に隣接し、かつ該第二の色画素に対して前記第一の色画素とは反対側に隣接する他の前記第一の色画素が有する第一の色成分と基づいて生成する色差生成処理と、
のうちの、少なくとも２つの色差生成処理を行うことによって、前記第一の色画素が有する少なくとも２つの前記第二の色差を生成する画像処理装置。 The image processing apparatus according to claim 2 ,
The second color difference generation unit includes:
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. A color difference generation process that is generated on the basis of the second color component of each of the second color pixels adjacent above and below the first color pixel;
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. Color difference generation processing that is generated based on the second color components of the second color pixels adjacent to the left and right of the first color pixels,
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. A color difference generation process that is generated based on the second color component of each of the second color pixels adjacent to the upper and right sides of the first color pixel;
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. A color difference generation process that is generated based on the second color component of each of the second color pixels adjacent to the left and above the first color pixel;
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. A color difference generation process that is generated based on the second color component of each of the second color pixels adjacent to the lower and right sides of the first color pixel;
The second color difference of the first color pixel is within the second range with the first color component of the first color pixel that is the target for generating the second color difference. A color difference generation process that is generated based on the second color component of each of the second color pixels adjacent to the left and below the first color pixel;
The second color difference of the first color pixel is within the second range, and is adjacent to the top, bottom, left, and right of the first color pixel that is the target for generating the second color difference. The second color component of a second color pixel; and the first color pixel within the second range, adjacent to the second color pixel and relative to the second color pixel. A color difference generation process that is generated based on the first color component of the other first color pixel adjacent to the opposite side of the first color pixel;
An image processing device that generates at least two second color differences of the first color pixel by performing at least two color difference generation processes. 請求項１から３までのいずれか一項に記載の画像処理装置において、
前記画像生成部は、前記第二の色画素が有する前記第二の色成分に基づいて前記第一の色画素の第一の色画素位置における前記第二の色成分を補間するとともに、前記第一の色画素が有する前記第三の色差に基づいて前記第二の色画素の第二の色画素位置における前記第三の色差を補間し、前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差と、前記第一の色画素位置における前記第二の色成分と、前記第二の色画素位置における前記第三の色差に基づき、前記出力画像を生成する画像処理装置。 In the image processing device according to any one of claims 1 to 3 ,
The image generation unit interpolates the second color component at a first color pixel position of the first color pixel based on the second color component of the second color pixel, and Interpolating the third color difference at the second color pixel position of the second color pixel based on the third color difference of one color pixel, and the second color of the second color pixel Component, the third color difference of the first color pixel, the second color component at the first color pixel position, and the third color difference at the second color pixel position, An image processing apparatus that generates the output image. 請求項１から４までのいずれか一項に記載の画像処理装置において、
前記第一の色差生成部は、前記第一の範囲に位置する他の前記第一の色画素が前記第三の色差を有するとき、前記第一の範囲に位置する他の前記第一の色画素が有する前記第三の色差を用いて前記平滑化を行うことによって、前記第一の色差を生成する画像処理装置。 In the image processing device according to any one of claims 1 to 4 ,
When the other first color pixel located in the first range has the third color difference, the first color difference generator generates the other first color located in the first range. An image processing apparatus that generates the first color difference by performing the smoothing using the third color difference of a pixel. 請求項１から５までのいずれか一項に記載の画像処理装置と、
被写体光を受光し、前記被写体光に含まれる前記第一の色成分および前記第二の色成分のそれぞれの分光感度に応じて前記原画像の前記原画像データを生成する撮像素子とを備え、
前記画像入力部は、前記撮像素子によって生成された前記原画像データを取得するカメラ。 An image processing apparatus according to any one of claims 1 to 5 ,
An image sensor that receives subject light and generates the original image data of the original image according to the spectral sensitivities of the first color component and the second color component included in the subject light,
The image input unit is a camera that acquires the original image data generated by the imaging element. 第一の色成分の分光感度を有する第一の色画素と、前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素と、の画素列が配列される原画像の原画像データを取得する画像入力処理と、
前記第一の色画素が有する第一の色差を平滑化によって生成する第一の色差生成処理と、
前記第一の色画素が有する第二の色差を、前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成処理と、
前記第二の色差の値の分布範囲と、前記第一の色差の値とに基づいて、前記第一の色画素が有する第三の色差を生成する色差平滑制御処理と、
前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差とに基づき、出力画像を生成する画像生成処理とをコンピュータに実行させる画像処理プログラムであって、
前記第一の色差生成処理は、前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成し、
前記第二の色差生成処理は、前記第一の色画素が有する第二の色差を、前記第一の色画素から前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成し、
前記分布範囲は、前記第二の色差の値の最小値から最大値までの範囲である、画像処理プログラム。 A pixel row of a first color pixel having a spectral sensitivity of a first color component and a second color pixel having a spectral sensitivity of a second color component different from the first color component is arranged. Image input processing for acquiring original image data of the original image;
A first color difference generation process for generating a first color difference of the first color pixel by smoothing;
A second color difference generation process for generating a second color difference of the first color pixel based on the second color component of the second color pixel;
A color difference smoothing control process for generating a third color difference of the first color pixel based on the distribution range of the second color difference value and the first color difference value;
An image processing program for causing a computer to execute an image generation process for generating an output image based on the second color component of the second color pixel and the third color difference of the first color pixel. Because
The first color difference generation process generates the first color difference of the first color pixel by performing smoothing in a first range including the first color pixel,
In the second color difference generation process, the second color difference that the first color pixel has is located in a second range that is smaller than the first range from the first color pixel. Generating based on the second color component of the pixel,
The image processing program, wherein the distribution range is a range from a minimum value to a maximum value of the second color difference value. 複数の画素が配列された原画像を取得する画像入力部と、  An image input unit for acquiring an original image in which a plurality of pixels are arranged;
前記複数の画素に含まれる注目画素について、前記注目画素を含む第１の範囲に含まれる画素の色成分に基づいて、前記注目画素の第１の色差を生成する第１の色差生成部と、  A first color difference generation unit configured to generate a first color difference of the target pixel based on a color component of a pixel included in the first range including the target pixel for the target pixel included in the plurality of pixels;
前記注目画素を含み、かつ前記第１の範囲よりも小さい第２の範囲に含まれる画素の色成分に基づいて、前記注目画素の複数の第２の色差を生成する第２の色差生成部と、  A second color difference generation unit configured to generate a plurality of second color differences of the target pixel based on color components of pixels including the target pixel and included in a second range smaller than the first range; ,
前記複数の第２の色差の最小値および最大値と、前記第１の色差とに基づいて、前記注目画素の色差を決定する色差制御部と、  A color difference control unit that determines a color difference of the pixel of interest based on the minimum and maximum values of the plurality of second color differences and the first color difference;
前記注目画素の色成分と前記決定された色差とに基づいて出力画像を生成する画像生成部と、を備える画像処理装置。  An image processing apparatus comprising: an image generation unit configured to generate an output image based on a color component of the target pixel and the determined color difference. 請求項８に記載の画像処理装置において、  The image processing apparatus according to claim 8.
前記原画像の前記複数の画素は、それぞれの画素がひとつの色成分を有し、  The plurality of pixels of the original image, each pixel has one color component,
前記出力画像の画素は、それぞれの画素が少なくとも２以上の色成分を有する、画像処理装置。  The pixel of the output image is an image processing apparatus in which each pixel has at least two or more color components.
JP2018036764A 2018-03-01 2018-03-01 Image processing apparatus, camera, and image processing program Active JP6569751B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018036764A JP6569751B2 (en) 2018-03-01 2018-03-01 Image processing apparatus, camera, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018036764A JP6569751B2 (en) 2018-03-01 2018-03-01 Image processing apparatus, camera, and image processing program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013158958A Division JP6299104B2 (en) 2013-07-31 2013-07-31 Image processing apparatus, camera, and image processing program

Publications (2)

Publication Number Publication Date
JP2018088719A JP2018088719A (en) 2018-06-07
JP6569751B2 true JP6569751B2 (en) 2019-09-04

Family

ID=62493650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018036764A Active JP6569751B2 (en) 2018-03-01 2018-03-01 Image processing apparatus, camera, and image processing program

Country Status (1)

Country Link
JP (1) JP6569751B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123063A (en) * 2001-10-18 2003-04-25 Olympus Optical Co Ltd Image processor
JP5045421B2 (en) * 2007-12-21 2012-10-10 ソニー株式会社 Imaging apparatus, color noise reduction method, and color noise reduction program
JP2009188963A (en) * 2008-02-09 2009-08-20 Fujitsu Microelectronics Ltd Image processing circuit, image processing method, and camera
JP5423697B2 (en) * 2011-02-09 2014-02-19 株式会社ニコン Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP5701640B2 (en) * 2011-02-18 2015-04-15 株式会社東芝 Image processing device

Also Published As

Publication number Publication date
JP2018088719A (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP4054184B2 (en) Defective pixel correction device
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
KR20120112051A (en) Image processing device, image processing method, and program
JP5709131B2 (en) Image processing system
US11202045B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2010016814A (en) Image processing apparatus and method, and computer-readable medium
JP2011171885A (en) Image processing apparatus and image processing method
JP2015106889A (en) Pixel interpolation device, imaging apparatus, program and integrated circuit
JP6041133B2 (en) Image processing apparatus, image processing method, image processing program, and chip circuit
JP2010016812A (en) Image processing apparatus and method, and computer-readable medium
JP3905708B2 (en) Image interpolation device
JP6569751B2 (en) Image processing apparatus, camera, and image processing program
US20140355872A1 (en) Method for determining interpolating direction for color demosaicking
JP2009194721A (en) Image signal processing device, image signal processing method, and imaging device
JP6299104B2 (en) Image processing apparatus, camera, and image processing program
JP5673186B2 (en) Imaging apparatus and interpolation processing method of imaging apparatus
JP4270892B2 (en) False color reduction device
JP4334150B2 (en) Image interpolation device
JP4105942B2 (en) Image processing device
KR100960176B1 (en) Image signal processing device, image signal processing circuit, image signal processing method, and recording medium
JP6461184B2 (en) Image processing unit, imaging apparatus, image processing program, and image processing method
JP4334152B2 (en) Image interpolation device
KR20230164604A (en) Systems and methods for processing images acquired by multispectral rgb-nir sensor
JP4334151B2 (en) Image interpolation device
JP4666786B2 (en) Image interpolation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250