WO2009101767A1 - 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム Download PDF

Info

Publication number
WO2009101767A1
WO2009101767A1 PCT/JP2009/000307 JP2009000307W WO2009101767A1 WO 2009101767 A1 WO2009101767 A1 WO 2009101767A1 JP 2009000307 W JP2009000307 W JP 2009000307W WO 2009101767 A1 WO2009101767 A1 WO 2009101767A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
correction
color
imaging
pixel value
Prior art date
Application number
PCT/JP2009/000307
Other languages
English (en)
French (fr)
Inventor
Akihiko Utsugi
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US12/808,817 priority Critical patent/US8284278B2/en
Priority to CN2009801048594A priority patent/CN101946519B/zh
Priority to EP09710403A priority patent/EP2242278A4/en
Publication of WO2009101767A1 publication Critical patent/WO2009101767A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image processing device, an imaging device, a correction coefficient calculation method, and an image processing method.
  • an image pickup device in which image pickup pixels and focus detection pixels are mixed on the same substrate, picks up a subject image formed by the image pickup lens on the image pickup device, and detects the focus adjustment state of the image
  • an imaging apparatus configured as described above (for example, Patent Document 1).
  • Each imaging pixel is provided with a color filter of R (red), G (green), or B (blue) so as to be a Bayer array pattern, whereas the focus detection pixel
  • a white filter is installed. Therefore, in the image data picked up by the image pickup device, a pixel value corresponding to a normal color filter cannot be obtained at the position of the focus detection pixel.
  • Patent Document 1 a method for interpolating the pixel value for imaging at the position of the focus detection pixel using the pixel value of the imaging pixel in the vicinity of the focus detection pixel is proposed by Patent Document 1 or the like.
  • the present inventor has found that the spectral characteristic of the color filter of the imaging pixel near the focus detection pixel is abnormal due to the effect of processing the filter of the focus detection pixel to be white. Therefore, only by correcting the pixel value at the focus detection pixel position by a known method such as Patent Document 1, there is a problem that an unnatural band-like structure is generated in the captured image due to the abnormality of the color filter.
  • an object of the present invention is to provide a technique capable of correcting a malfunction of a captured image caused by an abnormality of a color filter of an imaging pixel.
  • the image processing apparatus has an abnormality in a color filter among a plurality of imaging pixels of an imaging device having a plurality of color filters in which a plurality of imaging pixels are arranged two-dimensionally.
  • a position information storage unit that stores position information of the imaging pixel, a correction coefficient storage unit that stores a correction coefficient that corrects the pixel value of the imaging pixel having an abnormality, and a correction that sets the position of the correction target pixel using the position information
  • the pixel value of the correction target pixel is corrected by calculating a weighted sum of the pixel value of the correction target pixel and the other color pixel value using a correction coefficient and the other color pixel data extraction unit that extracts a certain other color pixel value.
  • Comprising a pixel data correction unit that, the.
  • the imaging element has a focus detection pixel having a spectral characteristic different from that of the imaging pixel in a part of the region
  • the position information storage unit stores the position information of the focus detection pixel and is stored in the correction coefficient storage unit.
  • the correction coefficient is a coefficient corresponding to the distance from the focus detection pixel
  • the correction target pixel position setting unit may set the position of the imaging pixel near the focus detection pixel as the position of the correction target pixel.
  • an imaging pixel data estimation unit that interpolates the imaging pixel value at the position of the focus detection pixel using the pixel value of the correction target pixel corrected by the pixel data correction unit may be further provided.
  • the imaging device of the present invention includes an imaging device and the image processing device of the present invention.
  • a plurality of inspection images are obtained by irradiating the imaging element with a plurality of inspection lights having different spectral characteristics.
  • the inspection image generation procedure to be generated, the inspection target pixel position setting procedure for setting the position of the imaging pixel having an abnormality as the position of the inspection target pixel, and the inspection target for extracting the pixel value of the imaging pixel having an abnormality as the inspection target pixel value A pixel data extraction procedure, and another color pixel data extraction procedure for extracting another color pixel value that is a pixel value of an imaging pixel having a color different from the color filter color of the inspection target pixel around the position of the inspection target pixel;
  • the image processing program of the present invention realizes the processing of the image processing apparatus of the present invention by a computer.
  • the present invention it is possible to correct a defect in a captured image caused by an abnormality in the color filter of the imaging pixel.
  • FIG. 1 is a block diagram showing a configuration of an electronic camera 10 according to an embodiment of the present invention.
  • the figure which shows the arrangement of the cell of the image sensor The figure which shows the flow of the image data between the memory
  • FIG. 1 is a configuration diagram of an electronic camera 10 according to an embodiment of the present invention.
  • the electronic camera 10 includes an imaging lens 1, an imaging device 2, an A / D conversion unit 3, a buffer memory 4, a CPU 5, a card interface (card I / F) 6, an operation member 8, a storage unit 9, a display unit 11, and image processing.
  • the unit 12 is configured.
  • the buffer memory 4, the CPU 5, the card I / F 6, the operation member 8, the storage unit 9, the display unit 11, and the image processing unit 12 are connected via a bus 13 so that information can be transmitted.
  • FIG. 1 shows only the main part of the electronic camera 10. For example, in FIG. 1, a timing generator that emits timing pulses for shooting instructions to the image sensor 2 and the A / D converter 3 in accordance with a command from the CPU 5 is omitted.
  • the imaging lens 1 is composed of a plurality of optical lenses, and forms a subject image on the light receiving surface of the imaging element 2.
  • the image pickup device 2 is a CCD in which any one of a plurality of image pickup pixels arranged on the light receiving surface is provided with a color filter of R (red), G (green), or B (blue) in a Bayer array type.
  • a CMOS semiconductor image sensor or the like is appropriately selected and used.
  • the image sensor 2 of the present embodiment has a plurality of focus detection pixels (AF pixels) arranged one-dimensionally in the horizontal scanning direction in a partial region on the light receiving surface.
  • AF pixels focus detection pixels
  • each AF pixel outputs a detection signal obtained by dividing the left or right pupil according to the luminance of white light.
  • FIG. 2 shows a part of image data centered on an area where AF pixels are arranged, among image data captured by the image sensor 2.
  • Each cell represents one pixel.
  • Symbols R, G, and B at the head of each cell indicate an imaging pixel having each color filter.
  • symbols X and Y indicate AF pixels that are sensitive to light beams from the left side or the right side, and they are alternately arranged one-dimensionally in the horizontal scanning direction. The two-digit number following these symbols indicates the pixel position.
  • the image sensor 2 operates based on a timing pulse generated by a timing generator (not shown) in response to a command from the CPU 5, and acquires a subject image formed by the imaging lens 1 provided in front.
  • the image signal output from the image sensor 2 is converted into a digital signal by the A / D converter 3.
  • the digital image signal is temporarily recorded in a frame memory (not shown) and then recorded in the buffer memory 4.
  • the buffer memory 4 any non-volatile memory among semiconductor memories can be appropriately selected and used.
  • the CPU 5 When the power of the electronic camera 10 is turned on by the user operating the power button on the operation member 8, the CPU 5 reads the control program and the image processing program stored in the storage unit 9 and initializes the electronic camera 10. When the CPU 5 receives an instruction from the user via the operation member 8, the CPU 5 outputs a subject imaging command to a timing generator (not shown) based on the control program, or the image processing unit 12 based on the image processing program. The image processing of the captured image is performed, and the recording on the card memory 7 and the display on the display unit 11 are controlled. As the CPU 5, a CPU of a general computer can be used.
  • the card memory 7 is detachably attached to the card I / F 6.
  • the image recorded in the buffer memory 4 is subjected to image processing by the image processing unit 12 based on an instruction from the CPU 5 and then recorded in the card memory 7 as a file in JPEG format or YUV format.
  • the operation member 8 outputs an operation signal corresponding to the content of the member operation by the user to the CPU 5.
  • the operation member 8 includes operation members such as a power button, a mode setting button such as a shooting mode, and a release button.
  • the operation member 8 may be a touch panel type button provided on the front surface of the screen of the display unit 11 to be described later.
  • the storage unit 9 stores image data captured by the electronic camera 10, and stores various programs such as a control program for the CPU 5 to control the electronic camera 10 and an image processing program to be executed by the image processing unit 12. Further, the storage unit 9 also stores position information of AF pixels of the image sensor 2 and data such as correction coefficients used for an image processing program obtained in advance. Programs and data stored in the storage unit 9 can be appropriately referred to from the CPU 5 via the bus 13. The storage unit 9 can be used by appropriately selecting a storage device such as a general hard disk device or a magneto-optical disk device.
  • Display unit 11 displays a through image, a captured image, a mode setting screen, or the like.
  • a liquid crystal monitor or the like can be appropriately selected and used for the display unit 11.
  • the image processing unit 12 is a digital front-end circuit that performs interpolation calculation on the imaged pixel value at the pixel position of the AF pixel, together with image processing such as contour enhancement processing and white balance correction, based on an instruction for image processing of the CPU 5.
  • the CPU 5 When the power button of the operation member 8 is pressed by the user, the CPU 5 reads the control program and the image processing program stored in the storage unit 9 of the electronic camera 10 and initializes the electronic camera 10. The CPU 5 stands by until an instruction for imaging the subject from the user is issued. When the release button of the operation member 8 is pressed by the user, the CPU 5 determines that an imaging instruction has been issued, and performs the processes of steps S10 to S19.
  • the color filter installed in each of the imaging pixels is a Bayer array pattern
  • a green (G) imaging pixel value is interpolated at the position of the AF pixel of the symbol X
  • the symbol Y A blue (B) imaging pixel value is interpolated at the pixel position of the AF pixel.
  • the region where the spectral characteristics of the color filter of the image sensor 2 are abnormal is a region having a width of three pixels on one side with the AF pixel column as the center.
  • Step S10 The CPU 5 issues an imaging command to a timing generator (not shown).
  • a timing generator (not shown) emits a timing pulse to the image sensor 2, and the image sensor 2 images a subject imaged by the imaging lens 1.
  • the captured image data is recorded in the buffer memory 4 via the A / D conversion unit 3.
  • the CPU 5 issues a command for transferring the image data to the image processing unit 12 to the buffer memory 4.
  • the buffer memory 4 transfers the image data captured in step S ⁇ b> 10 to the image processing unit 12 via the bus 13.
  • Step S11 The correction target pixel position setting unit 101 of the image processing unit 12 reads AF pixel position information from the position information storage unit 102 of the storage unit 9.
  • the position information storage unit 102 stores coordinates V1 in the vertical scanning direction and coordinates H1 and H2 of the start and end points in the horizontal scanning direction of the AF pixel row.
  • H1 and H2 are the coordinates of a column in which there are R imaging pixels in the vertical scanning direction.
  • the correction target pixel position setting unit 101 sets the coordinates of the correction target pixel in the horizontal scanning direction from H1 to H2, the left and right pupil-divided focus detection pixels as a pair, and sequentially changes two pixels at a time.
  • the position of the imaging pixel within the pixel is set as the correction target pixel position.
  • the correction target pixel position setting unit 101 captures R21, G31, R41, G22, B32, G42, R61, G71, R81, G62, B72, and G82 imaging pixels. Is set as the correction target pixel position.
  • the correction target pixel position setting unit 101 determines the positions of the imaging pixels of R23, G33, R43, G24, B34, G44, R63, G73, R83, G64, B74, and G84 in the pair of AF pixel rows X53 and Y54. Set as correction target pixel position.
  • Step S12 The correction target pixel data extraction unit 103 of the image processing unit 12 extracts the pixel value of the correction target pixel position set by the correction target pixel position setting unit 101 in step S11.
  • Step S13 In order to correct the correction target pixel, the other color pixel data extraction unit 104 of the image processing unit 12 determines the other color pixel value of the color different from the correction target pixel from the average value of the pixel values of the adjacent imaging pixels. Ask. For example, in order to correct the pixel value R (x1, y1 + 1) of the imaging pixel R43 that is the correction target pixel, the other color pixel values G (x1, y1 + 1) and B (x1, y1 + 1) are obtained from the following equation (1). The coordinates (x1, y1) indicate the coordinates of the AF pixel X53.
  • G (x1, y1 + 1) (G (x1-1, y1 + 1) + G (x1 + 1, y1 + 1) + G (x1, y1 + 2)) / 3
  • B (x1, y1 + 1) (B (x1-1, y1 + 2) + B (x1 + 1, y1 + 2)) / 2 (1)
  • Other color pixel values are similarly extracted for other correction target pixels.
  • Step S14 The pixel data correction unit 105 of the image processing unit 12 reads the correction coefficient from the correction coefficient storage unit 106 of the storage unit 9.
  • the types of correction coefficients in this embodiment are as follows.
  • Step S15 The pixel data correction unit 105 of the image processing unit 12 calculates a pixel value corrected at each correction target pixel position using the other color pixel value obtained in step S13.
  • the pixel values in the imaging pixels R23, G33, R43, G24, B34, G44, R63, G73, R83, G64, B74, and G84 are expressed using the coordinates (x1, y1) of X53, R (x1 , Y1 + 3), G (x1, y1 + 2), R (x1, y1 + 1), G (x1 + 1, y1 + 3), B (x1 + 1, y1 + 2), G (x1 + 1, y1 + 1), R (x1, y-1), G ( x1, y1-2), G (x1, y1-3), G (x1 + 1, y1-1), B (x1 + 1, y1-2), and G (x1 + 1, y1-3).
  • corrected pixel values are defined as R ′ (x1, y1 + 3), G ′ (x1, y1 + 2), R ′ (x1, y1 + 1), G ′ (x1 + 1, y1 + 3), B ′ (x1 + 1, y1 + 2), G '(X1 + 1, y1 + 1), R' (x1, y-1), G '(x1, y1-2), G' (x1, y1-3), G '(x1 + 1, y1-1), B' ( Assuming that x1 + 1, y1-2) and G ′ (x1 + 1, y1-3), for example, corrected pixel values in the imaging pixels R43, B34, and G24 are expressed by the following equations (2) to (4) using correction coefficients.
  • R ′ (x1, y1 + 1) R (x1, y1 + 1) + kR1_R ⁇ R (x1, y1 + 1) + kR1_G ⁇ G (x1, y1 + 1) + kR1_B ⁇ B (x1, y1 + 1) (2)
  • B ′ (x1 + 1, y1 + 2) B (x1 + 1, y1 + 2) + kB2_R ⁇ R (x1 + 1, y1 + 2) + kB2_G ⁇ G (x1 + 1, y1 + 2) + kB2_B ⁇ B (x1 + 1, y1 + 2) (3)
  • G ′ (x1 + 1, y1 + 3) G (x1 + 1, y1 + 3) + kB3_R ⁇ R (x1 + 1, y1 + 3) + kB3_G ⁇ G (x1 + 1, y1 + 3) + kB3_B ⁇ B (x1 + 1, y1 + 1) +
  • Step S16 The image processing unit 12 determines whether all correction target pixels have been corrected. When correction processing has been performed for all correction target pixels, the image processing unit 12 proceeds to step S17 (YES side). If the correction process has not been completed, the image processing unit 12 proceeds to step S12 (NO side). The image processing unit 12 performs the processing from step S12 to step S15 on the correction target pixel in the vicinity of the next pair of AF pixel rows.
  • Step S17 The pixel data substitution unit of the image processing unit 12 updates the image data using the corrected pixel value obtained in step S15 as the pixel value of the correction target pixel.
  • Step S18 The pixel data estimation unit 108 of the image processing unit 12 calculates a pixel value for imaging at the position of the AF pixel in the corrected image data using, for example, a known method described in Patent Document 1 or the like. Then, image data in which the abnormality due to the influence of the AF pixel is corrected is generated. Then, the image processing unit 12 performs known image processing such as white balance processing, Bayer interpolation processing, saturation enhancement, contour enhancement, and noise removal on the image data generated in step S18 to generate an image that can be viewed. To do. The image processing unit 12 transfers the image data to the buffer memory 4 and records it.
  • known image processing such as white balance processing, Bayer interpolation processing, saturation enhancement, contour enhancement, and noise removal
  • Step S19 The CPU 5 converts the image data in the buffer memory 4 into a file in JPEG format, YUV format, etc., and records it in the card memory 7 via the bus 13 and the card I / F 6, thereby completing a series of operations. To do.
  • an image sensor 2 incorporated in the product or an image sensor having the same performance as the image sensor 2 is prepared.
  • the imaging element 2 is irradiated with a plurality of types of illumination with various spectral intensity distributions so that the amount of light does not change depending on the location, and inspection image data for each of the spectral intensity distributions is acquired.
  • step S11 the correction target pixel setting unit 101 performs the same process as setting the correction target pixel position, and sets the inspection target pixel position. Then, the inspection target pixel value is extracted in the same manner as the correction target pixel data is extracted in step S12. In step S13, the same process as that for extracting the other color pixel value is performed to obtain the other color pixel value at the inspection target pixel position. Further, pixel values of normal imaging pixels of R, G, and B that are not abnormal in the color filter at a position sufficiently away from the AF pixel position are extracted, and set as normal pixel values R ′′, G ′′, and B ′′. These inspection object pixel values, other color pixel values, and normal pixel values are extracted from each of the plurality of inspection image data.
  • the correction coefficient to be obtained is set as a common undetermined coefficient for a plurality of inspection image data corresponding to the distance from the AF pixel row.
  • the correction coefficients of the R imaging pixels at a distance of one pixel from the AF pixel column are kR1_R, kR1_G, and kR1_B, and the R imaging pixels R43 and R63 on both sides of the AF pixel X53 (coordinates (x1, y1))
  • a value F obtained by the following equation (5) is calculated.
  • correction coefficients (kR1_R, kR1_G, kR1_B) that minimize the integrated F value are calculated by the method of least squares. Specifically, the equations representing the integrated values can be partially differentiated by kR1_R, kR1_G, or kR1_B, respectively, and a simultaneous linear equation can be derived from the condition that the partial differential value is zero. Similarly, the correction coefficient of the G image pickup pixel at a distance of one pixel from the AF pixel row is obtained.
  • the correction coefficient obtained above does not depend much on the position in the horizontal scanning direction.
  • the correction coefficient obtained in the above step or the correction coefficient obtained at an appropriate position may be stored in the correction coefficient storage unit 106.
  • the characteristics of the color filter around the AF pixel greatly depend on the position in the horizontal scanning direction, it is necessary to store the correction coefficient corresponding to each position in the correction coefficient storage unit 106.
  • the light amount of the color component that should be transmitted through the color filter is insufficient, or the color component that should not be transmitted through the color filter is excessively transmitted.
  • by adding a value obtained by applying an appropriate correction coefficient to the pixel value of each RGB imaging pixel representing the amount of light transmitted through the RGB color filter, to the pixel value having an abnormality in the color filter It is possible to reproduce the output equivalent to the normal pixel value by adjusting the excess amount.
  • the abnormality due to the influence of the AF pixel can be corrected by performing the process of obtaining the pixel value at the AF pixel position.
  • the present invention can be applied to a general color filter abnormality.
  • the position information and correction coefficient of the pixel are obtained by inspection, and the position information storage unit 102 and the correction are performed respectively. If the processing of the present invention is performed on an image that is stored in the coefficient storage unit 106 and captured by the electronic camera 10 incorporating the image sensor, the abnormality of the image due to the abnormality of the color filter can be corrected.
  • an image picked up by the image pickup device 2 having AF pixels is processed.
  • the present invention is not limited to this, and an image picked up by an image pickup device in which no AF pixel is installed is used. Is also applicable.
  • the arrangement direction of the AF pixels is the horizontal scanning direction.
  • the present invention is not limited to this, and the AF pixels may be arranged in the vertical scanning direction or other directions.
  • each AF pixel is a focus detection pixel that pupil-divides a light beam from the left or right side.
  • the present invention is not limited to this, and each AF pixel receives a light beam from the left and right sides.
  • a focus detection pixel having pixels for pupil division may be used.
  • the region having an abnormal spectral characteristic of the color filter of the image sensor 2 is a region having a width of three pixels on one side centered on the AF pixel column, but the present invention is not limited to this, and the AF The present invention can also be applied to a region having an arbitrary width with the pixel column as the center.
  • the present invention can also be applied to a program for realizing the processing in the image processing apparatus according to the present invention by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明は、二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の複数の撮像画素のうち、カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、補正対象画素の画素値を抽出する補正対象画素データ抽出部と、補正対象画素の周囲にあり補正対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、補正係数を用いて、補正対象画素の画素値と他色画素値との加重和を算出することにより補正対象画素の画素値を補正する画素データ補正部と、を備える。

Description

画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
　本発明は、画像処理装置、撮像装置、補正係数算出方法及び画像処理方法に関する。
　同一基板上に撮像画素と焦点検出画素とを混在させて配置した撮像素子を備え、撮像素子上に撮像レンズによって結像される被写体像を撮像するとともに、その像の焦点調節状態を検出するようにした撮像装置が知られている（例えば特許文献1）。各撮像画素には、ベイヤ配列型のパターンとなるように、Ｒ（赤）、Ｇ（緑）又はＢ（青）のいずれかのカラーフィルタが設置されるのに対して、焦点検出画素には、どのような色の被写体に対しても焦点検出を可能とするために、白色のフィルタが設置される。したがって、上記の撮像装置よって撮像された画像データにおいて、焦点検出画素の位置では通常のカラーフィルタに応じた画素値は得られない。そこで、焦点検出画素の近傍の撮像画素の画素値を用いて、焦点検出画素の位置における撮像用の画素値を補間する方法が、特許文献１等によって提案されている。
特開２００７－２８２１０９号公報
　しかしながら、焦点検出画素のフィルタを白色に加工する影響で、焦点検出画素の近傍の撮像用画素のカラーフィルタの分光特性に異常が生じることを本発明者は発見した。したがって、特許文献１等の公知の方法で焦点検出画素位置の画素値を補正するだけでは、上記カラーフィルタの異常に起因して撮影画像に不自然な帯状の構造が生じるという問題がある。
　上記従来技術が有する問題に鑑み、本発明の目的は、撮像画素のカラーフィルタの異常に起因する撮影画像の不具合を補正することができる技術を提供することにある。
　　上記課題を解決するために、この発明の画像処理装置は、二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の複数の撮像画素のうち、カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、補正対象画素の画素値を抽出する補正対象画素データ抽出部と、補正対象画素の周囲にあり補正対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、補正係数を用いて、補正対象画素の画素値と他色画素値との加重和を算出することにより補正対象画素の画素値を補正する画素データ補正部と、を備える。
　また、撮像素子は一部の領域に撮像画素とは分光特性が異なる焦点検出用画素を有し、位置情報記憶部は、焦点検出用画素の位置情報を記憶し、補正係数記憶部に記憶される補正係数は、焦点検出用画素からの距離に応じた係数であり、補正対象画素位置設定部は、焦点検出用画素の近傍の撮像画素の位置を補正対象画素の位置として設定しても良い。
　また、画素データ補正部によって補正された補正対象画素の画素値を用いて、焦点検出用画素の位置における撮像用の画素値を補間する撮像画素データ推定部をさらに備えても良い。
　この発明の撮像装置は、撮像素子と、この発明の画像処理装置と、を備える。
　また、この発明の画像処理装置の補正係数記憶部に記憶される補正係数を算出する補正係数算出方法において、撮像素子に対して分光特性の異なる複数の検査光を照射して複数の検査画像を生成する検査画像生成手順と、異常がある撮像画素の位置を検査対象画素の位置として設定する検査対象画素位置設定手順と、異常がある撮像画素の画素値を検査対象画素値として抽出する検査対象画素データ抽出手順と、検査対象画素の位置の周囲にあり検査対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出手順と、検査対象画素と同じ色のカラーフィルタを有しカラーフィルタが正常である撮像画素の画素値を正常画素値として抽出する正常画素データ生成手順と、検査対象画素値と他色画素値との加重和を算出することにより正常画素値を近似する加重係数を、複数の検査画像について共通する係数として算出する加重係数生成手順と、を有する。
　この発明の画像処理プログラムは、この発明の画像処理装置の処理をコンピュータで実現する。
　本発明によると、撮像画素のカラーフィルタの異常に起因する撮影画像の不具合を補正することができる。
本発明の一の実施形態に係る電子カメラ１０の構成を示すブロック図 撮像素子のセルの配置を示す図 電子カメラ１０の記憶部９と画像処理部１２との間における画像データのフローを示す図 本実施形態の電子カメラ１０での画像処理のフローチャート
　図１は、本発明の一の実施形態に係る電子カメラ１０の構成図である。
　電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、カードインタフェース（カードＩ／Ｆ）６、操作部材８、記憶部９、表示部１１及び画像処理部１２から構成される。バッファメモリ４、ＣＰＵ５、カードＩ／Ｆ６、操作部材８、記憶部９、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。なお、図１は電子カメラ１０の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
　撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。
　撮像素子２は、その受光面上に配置された複数の撮像画素の各々に、Ｒ（赤）、Ｇ（緑）又はＢ（青）のいずれかのカラーフィルタがベイヤ配列型に設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子２は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出画素（ＡＦ画素）を有する。それらのＡＦ画素には、白色のフィルタが設置され、且つ撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類のものがある。即ち、ＡＦ画素の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図２は、撮像素子２によって撮像された画像データのうち、ＡＦ画素が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各カラーフィルタを有する撮像画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
　この撮像素子２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ４に記録される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
　ＣＰＵ５は、ユーザによる操作部材８の電源釦操作によって電子カメラ１０の電源が入れられると、記憶部９に記憶されている制御プログラムや画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、操作部材８を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力したり、画像処理プログラムに基づいて、画像処理部１２に撮像した画像の画像処理をさせたり、カードメモリ７への記録や表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。
　カードＩ／Ｆ６には、カードメモリ７が脱着可能に装着される。バッファメモリ４に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１２で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ７に記録される。
　操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材８には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材８は、後述する表示部１１の画面の前面に設けられるタッチパネル形式の釦であっても良い。
　記憶部９は、電子カメラ１０が撮像した画像データを記録したり、ＣＰＵ５が電子カメラ１０を制御するための制御プログラムや画像処理部１２に行わせる画像処理プログラム等の各種プログラム等を記憶する。さらに、記憶部９は、撮像素子２のＡＦ画素の位置情報や予め求めた画像処理プログラムに用いる補正係数等のデータをも記憶する。記憶部９に記憶されるプログラムやデータは、バス１３を介して、ＣＰＵ５から適宜参照することができる。記憶部９は、一般的なハードディスク装置や光磁気ディスク装置等の記憶装置を適宜選択して用いることができる。
　表示部１１は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。
　画像処理部１２は、ＣＰＵ５の画像処理に指示に基づいて、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の画素位置における撮像画素値を補間計算を行うディジタルフロントエンド回路である。
　次に、本実施形態に係る電子カメラ１０について、図３のＣＰＵ５に基づいた記憶部９と画像処理部１２とにおける画像データのフローとともに、図４の画像処理のフローチャートを参照しながら説明する。
　ユーザにより操作部材８の電源釦が押されると、ＣＰＵ５は、電子カメラ１０の記憶部９に記憶されている制御プログラム及び画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、ユーザからの被写体の撮像指示が出されるまで待機する。ユーザによって操作部材８のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、ステップＳ１０～ステップＳ１９の処理を行う。なお、本実施形態において、撮像画素の各々に設置されるカラーフィルタがベイヤ配列のパターンであることから、記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像画素値が補間される。以下の説明において、本実施形態では、撮像素子２のカラーフィルタの分光特性に異常が生じた領域を、ＡＦ画素列を中心とした片側３画素幅の領域であるとする。
　ステップＳ１０：ＣＰＵ５は、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子２に発し、撮像素子２は撮像レンズ１によって結像される被写体を撮像する。撮像された画像データは、Ａ／Ｄ変換部３を介して、バッファメモリ４に記録される。ＣＰＵ５は、バッファメモリ４に対して、画像データを画像処理部１２へ転送する指令を出す。バッファメモリ４は、バス１３を介して、ステップＳ１０で撮影した画像データを画像処理部１２へ転送する。
　ステップＳ１１：画像処理部１２の補正対象画素位置設定部１０１が、記憶部９の位置情報記憶部１０２からＡＦ画素位置情報を読み込む。ここで、位置情報記憶部１０２には、ＡＦ画素列の垂直走査方向の座標Ｖと水平走査方向の始点及び終点の座標Ｈ１及びＨ２が記憶されている。なお、Ｈ１及びＨ２は、垂直走査方向においてＲの撮像画素がある列の座標とする。補正対象画素位置設定部１０１は、補正対象画素の水平走査方向の座標をＨ１からＨ２まで、左側及び右側の瞳分割する焦点検出画素を一対として、２画素ずつ順次換えながら、ＡＦ画素列から３画素以内にある撮像画素の位置を補正対象画素位置として設定する。例えば、一対のＡＦ画素列として、Ｘ５１とＹ５２とすると、補正対象画素位置設定部１０１は、Ｒ２１、Ｇ３１、Ｒ４１、Ｇ２２、Ｂ３２、Ｇ４２、Ｒ６１、Ｇ７１、Ｒ８１、Ｇ６２、Ｂ７２及びＧ８２の撮像画素の位置を補正対象画素位置として設定する。次に、補正対象画素位置設定部１０１は、一対のＡＦ画素列Ｘ５３とＹ５４におけるＲ２３、Ｇ３３、Ｒ４３、Ｇ２４、Ｂ３４、Ｇ４４、Ｒ６３、Ｇ７３、Ｒ８３、Ｇ６４、Ｂ７４及びＧ８４の撮像画素の位置を補正対象画素位置として設定する。
　ステップＳ１２：画像処理部１２の補正対象画素データ抽出部１０３は、ステップＳ１１において、補正対象画素位置設定部１０１が設定した補正対象画素位置の画素値を抽出する。
　ステップＳ１３：画像処理部１２の他色画素データ抽出部１０４は、補正対象画素を補正するために、補正対象画素とは異なる色の他色画素値を隣接する撮像画素の画素値の平均値から求める。例えば、補正対象画素である撮像画素Ｒ４３の画素値Ｒ（ｘ１，ｙ１＋１）を補正するため、他色画素値Ｇ（ｘ１，ｙ１＋１）及びＢ（ｘ１，ｙ１＋１）を次式（１）から求める。なお、座標（ｘ１，ｙ１）は、ＡＦ画素Ｘ５３の座標を示す。
Ｇ（ｘ１，ｙ１＋１）＝（Ｇ（ｘ１－１，ｙ１＋１）＋Ｇ（ｘ１＋１，ｙ１＋１）＋Ｇ（ｘ１，ｙ１＋２））／３
Ｂ（ｘ１，ｙ１＋１）＝（Ｂ（ｘ１－１，ｙ１＋２）＋Ｂ（ｘ１＋１，ｙ１＋２））／２　…（１）
他の補正対象画素についても同様にして他色画素値を抽出する。
　ステップＳ１４：画像処理部１２の画素データ補正部１０５が、記憶部９の補正係数記憶部１０６から補正係数を読み込む。本実施形態における補正係数の種類は次の通り。
　ＡＦ画素から１画素の距離にあるＲ画素の補正係数（kR1_R，kR1_G，kR1_B）
　ＡＦ画素から１画素の距離にあるＧ画素の補正係数（kG1_R，kG1_G，kG1_B）
　ＡＦ画素から２画素の距離にあるＢ画素の補正係数（kB2_R，kB2_G，kB2_B）
　ＡＦ画素から２画素の距離にあるＧ画素の補正係数（kG2_R，kG2_G，kG2_B）
　ＡＦ画素から３画素の距離にあるＲ画素の補正係数（kR3_R，kR3_G，kR3_B）
　ＡＦ画素から３画素の距離にあるＢ画素の補正係数（kG3_R，kG3_G，kG3_B）
補正係数の値はＡＦ画素近傍のカラーフィルタの特性によって異なるが、例えば、
（kR1_R，kR1_G，kR1_B）＝（０．０１５，０．０１１，０．０１２）
などの値を持つ。なお、ＡＦ画素近傍のカラーフィルタの特性がＡＦ画素列の配列方向（水平走査方向）にあまり依存しない場合、ＡＦ画素列からの距離が同じで同じ色の撮像画素に対しては同じ補正係数を用いれば良い。一方、ＡＦ画素近傍のカラーフィルタの特性が水平走査方向の座標に大きく依存する場合、補正係数は水平走査方向の座標に応じた値のものを用いる必要がある。なお、補正係数の算出方法については後述する。
　ステップＳ１５：画像処理部１２の画素データ補正部１０５は、ステップＳ１３で求めた他色画素値を用いて、各補正対象画素位置で補正した画素値を算出する。例えば、撮像画素Ｒ２３、Ｇ３３、Ｒ４３、Ｇ２４、Ｂ３４、Ｇ４４、Ｒ６３、Ｇ７３、Ｒ８３、Ｇ６４、Ｂ７４及びＧ８４における画素値を、上記Ｘ５３の座標（ｘ１，ｙ１）を用いて表すと、Ｒ（ｘ１，ｙ１＋３）、Ｇ（ｘ１，ｙ１＋２）、Ｒ（ｘ１，ｙ１＋１）、Ｇ（ｘ１＋１，ｙ１＋３）、Ｂ（ｘ１＋１，ｙ１＋２），Ｇ（ｘ１＋１，ｙ１＋１）、Ｒ（ｘ１，ｙ－１）、Ｇ（ｘ１，ｙ１－２）、Ｇ（ｘ１，ｙ１－３）、Ｇ（ｘ１＋１，ｙ１－１）、Ｂ（ｘ１＋１，ｙ１－２）及びＧ（ｘ１＋１，ｙ１－３）となる。それらの補正された画素値を、Ｒ’（ｘ１，ｙ１＋３）、Ｇ’（ｘ１，ｙ１＋２）、Ｒ’（ｘ１，ｙ１＋１）、Ｇ’（ｘ１＋１，ｙ１＋３）、Ｂ’（ｘ１＋１，ｙ１＋２）、Ｇ’（ｘ１＋１，ｙ１＋１）、Ｒ’（ｘ１，ｙ－１）、Ｇ’（ｘ１，ｙ１－２）、Ｇ’（ｘ１，ｙ１－３）、Ｇ’（ｘ１＋１，ｙ１－１）、Ｂ’（ｘ１＋１，ｙ１－２）及びＧ’（ｘ１＋１，ｙ１－３）とすると、例えば、撮像画素Ｒ４３、Ｂ３４及びＧ２４における補正された画素値は、補正係数を用いて、次式（２）～（４）のようにそれぞれ算出される。
Ｒ’（ｘ１，ｙ１＋１）＝Ｒ（ｘ１，y１＋１）＋kR1_R×Ｒ（ｘ１，ｙ１＋１）＋kR1_G×Ｇ（ｘ１，y１＋１）十kR1_B×Ｂ（ｘ１，ｙ１＋１）　…（２）
Ｂ’（ｘ１＋１，ｙ１＋２）＝Ｂ（ｘ１＋１，ｙ１＋２）＋kB2_R×Ｒ（ｘ１＋１，ｙ１＋２）＋kB2_G×Ｇ（ｘ１＋１，ｙ１＋２）＋kB2_B×Ｂ（ｘ１＋１，ｙ１＋２）　…（３）
Ｇ’（ｘ１＋１，ｙ１＋３）＝Ｇ（ｘ１＋１，ｙ１＋３）＋kB3_R×Ｒ（ｘ１＋１，ｙ１＋３）＋kB3_G×Ｇ（ｘ１＋1，ｙ１＋３）＋kB3_B×Ｂ（ｘ１＋１，ｙ１＋３）　…（４）
他の画素値についても同様に求める。
　ステップＳ１６：画像処理部１２は、全て補正対象画素の補正を行ったか否かを判定する。全ての補正対象画素についての補正処理が行った場合、画像処理部１２は、ステップＳ１７（ＹＥＳ側）へ移行する。補正処理が済んでいない場合、画像処理部１２は、ステップＳ１２（ＮＯ側）へ移行する。画像処理部１２は、次の一対のＡＦ画素列近傍にある補正対象画素に対して、ステップＳ１２からステップＳ１５までの処理を行う。
　ステップＳ１７：画像処理部１２の画素データ代入部は、ステップＳ１５で求めた補正した画素値を補正対象画素の画素値として、画像データを更新する。
　ステップＳ１８：画像処理部１２の画素データ推定部１０８は、例えば、特許文献１等に記載の公知の手法を用いて、補正された画像データにおけるＡＦ画素の位置における撮像用の画素値を算出し、ＡＦ画素の影響による異常が補正された画像データを生成する。そして、画像処理部１２は、ステップＳ１８で生成された画像データに対して、ホワイトバランス処理、ベイヤ補間処理、彩度強調、輪郭強調、ノイズ除去等の公知の画像処理を施し鑑賞できる画像を生成する。画像処理部１２は、その画像データを、バッファメモリ４へ転送し記録する。
　ステップＳ１９：ＣＰＵ５は、バッファメモリ４にある画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１３とカードＩ／Ｆ６とを介して、カードメモリ７に記録して、一連の作業を終了する。
　次に、補正係数記憶部１０６に記憶される補正係数の求め方について説明する。
　補正係数を求めるにあたり、製品に組み込まれる撮像素子２又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子２に対して、複数種類の様々な分光強度分布の照明を場所に応じて光量が変わらないように照射し、それぞれの分光強度分布の照明についての検査画像データを取得する。
　次に、ステップＳ１１で補正対象画素設定部１０１が補正対象画素位置を設定するのと同じ処理を行って検査対象画素位置を設定する。そして、ステップＳ１２で補正対象画素データを抽出するのと同様に検査対象画素値を抽出する。ステップＳ１３で他色画素値を抽出するのと同様の処理を行い、検査対象画素位置における他色画素値を求める。さらに、ＡＦ画素位置から十分離れた箇所にあるカラーフィルタに異常のないＲ、Ｇ及びＢの正常な撮像画素の画素値を抽出し、それらを正常画素値Ｒ”、Ｇ”及びＢ”とする。これら検査対象画素値、他色画素値及び正常画素値について、複数の検査画像データの各々から抽出する。
　そして、求めたい補正係数を、ＡＦ画素列からの距離に応じた複数の検査画像データについての共通の未定係数とする。例えば、ＡＦ画素列から１画素の距離にあるＲの撮像画素の補正係数をkR1_R、kR1_G及びkR1_Bとし、ＡＦ画素Ｘ５３（座標（ｘ１，ｙ１））の両隣のＲの撮像画素Ｒ４３とＲ６３について、次式（５）によって求まる値Ｆを算出する。
Ｆ＝（Ｒ”－Ｒ（ｘ１，y１＋１）－（kR1_R×Ｒ（ｘ１，ｙ１＋１）＋kR1_G×Ｇ（ｘ１，ｙ１＋１）＋kR1_B×Ｂ（ｘ１，ｙ１＋１）））２＋（Ｒ”－Ｒ（ｘ１，ｙ１－１）－（kR1_R×Ｒ（ｘ１，ｙ１－１）＋kR1_G×Ｇ（ｘ１，ｙ１－１）＋kR1_B×Ｂ（ｘ１，ｙ１－１）））２　…（５）
したがって、ＡＦ画素列から１画素の距離で、水平走査方向の座標Ｈ１からＨ２にある全てのＲの撮像画素について、同様にして式（５）のＦ値をそれぞれ求める。各検査画像データにおいて求めた全てのＦ値を積算する。積算したＦ値を最小にする補正係数（kR1_R，kR1_G，kR1_B）の値を、最小二乗法で算出する。具体的には、積算した値を表す式をkR1_R、kR1_G又はkR1_Bでそれぞれ偏微分し、その偏微分値が０となる条件から連立一次方程式を導出することにより求めることができる。同様にして、ＡＦ画素列から１画素の距離にあるＧの撮像画素の補正係数等について求める。
　なお、ＡＦ画素周辺のカラーフィルタの特性が並び方向である水平走査方向の位置にあまり依存しない場合、上記で求めた補正係数は水平走査方向の位置にあまり依存しないので、水平走査方向の各位置で求めた補正係数の平均又は適当な位置において求めた補正係数を、補正係数記憶部１０６に記憶すれば良い。一方、ＡＦ画素周辺のカラーフィルタの特性が水平走査方向の位置に大きく依存する場合、各位置に応じた補正係数を補正係数記憶部１０６に記憶する必要がある。
　カラーフィルタに異常がある場合、そのカラーフィルタで本来透過するはずの色成分の光量が不足したり、本来あまり透過しないはずの色成分が過剰に透過したりする。本実施形態によると、ＲＧＢのカラーフィルタを透過した光量を表すＲＧＢそれぞれの撮像画素の画素値に適切な補正係数をかけた値をカラーフィルタに異常がある画素値に加えることにより、上記不足分や過剰分を調整して正常な画素値と同等の出力を再現することができる。そのようにしてカラーフィルタの異常を補正した後に、ＡＦ画素位置の画素値を求める処理を行うことにより、ＡＦ画素の影響による異常を補正することができる。
　上述した実施の形態は、ＡＦ画素列周辺のカラーフィルタの異常を補正する場合について説明したが、本発明は、一般的なカラーフィルタの異常について適用可能である。例えば、撮像素子の生産工程の不具合によりある画素のカラーフィルタが剥れて分光感度に異常が生じている場合、検査によってその画素の位置情報と補正係数を求め、それぞれ位置情報記憶部１０２と補正係数記憶部１０６に記憶させておき、その撮像素子を組み込んだ電子カメラ１０で撮影した画像に対して本発明の処理を行えば、カラーフィルタの異常に起因する画像の異常を補正できる。
　なお、本実施形態では、ＡＦ画素を有する撮像素子２で撮像された画像を処理したが、本発明はこれに限定されず、ＡＦ画素を設置されていない撮像素子によって撮像された画像に対しても適用できる。
　なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
　なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
　なお、本実施形態では、撮像素子２のカラーフィルタの分光特性に異常のある領域は、ＡＦ画素列を中心とした片側３画素幅の領域としたが、本発明はこれに限定されず、ＡＦ画素列を中心として任意の大きさの幅を有する領域に対しても適用することができる。
　なお、本発明に係る画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。

Claims (6)

  1. 　二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の前記複数の撮像画素のうち、前記カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、
    　前記異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、
    　前記位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、
    　前記補正対象画素の画素値を抽出する補正対象画素データ抽出部と、
    　前記補正対象画素の周囲にあり前記補正対象画素の前記カラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、
    　前記補正係数を用いて、前記補正対象画素の画素値と前記他色画素値との加重和を算出することにより前記補正対象画素の画素値を補正する画素データ補正部と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記撮像素子は一部の領域に前記撮像画素とは分光特性が異なる焦点検出用画素を有し、
    　前記位置情報記憶部は、前記焦点検出用画素の位置情報を記憶し、
    　前記補正係数記憶部に記憶される前記補正係数は、前記焦点検出用画素からの距離に応じた係数であり、
    　前記補正対象画素位置設定部は、前記焦点検出用画素の近傍の撮像画素の位置を前記補正対象画素の位置として設定する
    　ことを特徴とする画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記画素データ補正部によって補正された前記補正対象画素の画素値を用いて、前記焦点検出用画素の位置における撮像用の画素値を補間する撮像画素データ推定部をさらに備えることを特徴とする画像処理装置。
  4. 　撮像素子と、
    　請求項１ないし３のいずれか１項に記載の画像処理装置と、
    　を備えることを特徴とする撮像装置。
  5. 　請求項１ないし３のいずれか１項に記載の画像処理装置の前記補正係数記憶部に記憶される前記補正係数を算出する補正係数算出方法において、
    　前記撮像素子に対して分光特性の異なる複数の検査光を照射して複数の検査画像を生成する検査画像生成手順と、
    　前記異常がある撮像画素の位置を検査対象画素の位置として設定する検査対象画素位置設定手順と、
    　前記異常がある撮像画素の画素値を検査対象画素値として抽出する検査対象画素データ抽出手順と、
    　前記検査対象画素の位置の周囲にあり前記検査対象画素の前記カラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出手順と、
    　前記検査対象画素と同じ色の前記カラーフィルタを有し前記カラーフィルタが正常である撮像画素の画素値を正常画素値として抽出する正常画素データ生成手順と、
    　前記検査対象画素値と前記他色画素値との加重和を算出することにより前記正常画素値を近似する加重係数を、前記複数の検査画像について共通する係数として算出する加重係数生成手順と、
    　を有することを特徴とする補正係数算出方法。
  6. 　請求項１ないし３のいずれか１項に記載の画像処理装置の処理をコンピュータで実現するための画像処理プログラム。
     
PCT/JP2009/000307 2008-02-14 2009-01-27 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム WO2009101767A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/808,817 US8284278B2 (en) 2008-02-14 2009-01-27 Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
CN2009801048594A CN101946519B (zh) 2008-02-14 2009-01-27 图像处理装置、成像装置、校正系数计算方法
EP09710403A EP2242278A4 (en) 2008-02-14 2009-01-27 PICTURE PROCESSING DEVICE, PICTURE DEVICE, METHOD OF CORRECTION COEFFICIENCY CALCULATION AND PICTURE PROCESSING PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008-033511 2008-02-14
JP2008033511 2008-02-14
JP2008-132920 2008-05-21
JP2008132920A JP5298638B2 (ja) 2008-02-14 2008-05-21 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2009101767A1 true WO2009101767A1 (ja) 2009-08-20

Family

ID=40956802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000307 WO2009101767A1 (ja) 2008-02-14 2009-01-27 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US8284278B2 (ja)
EP (1) EP2242278A4 (ja)
JP (1) JP5298638B2 (ja)
CN (1) CN101946519B (ja)
WO (1) WO2009101767A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP5379664B2 (ja) * 2009-12-11 2013-12-25 キヤノン株式会社 画像表示装置およびその制御方法
CN102176742B (zh) * 2011-03-14 2012-10-10 浙江兆晟科技有限公司 图像校正系数的获取方法、非均匀图像校正方法及系统
JP2013152207A (ja) * 2011-12-31 2013-08-08 Shibaura Mechatronics Corp 検査装置及び検査方法
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
US9826183B2 (en) 2012-03-30 2017-11-21 Nikon Corporation Image-capturing device and image sensor
JP5968025B2 (ja) * 2012-04-11 2016-08-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法
WO2018020687A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN116074495B (zh) * 2023-03-07 2023-06-16 合肥埃科光电科技股份有限公司 一种图像传感器坏点的检测校正方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6229395A (ja) * 1985-07-30 1987-02-07 Matsushita Electric Ind Co Ltd 固体撮像素子の画素欠陥検出装置
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2007282109A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4421793B2 (ja) * 2001-07-13 2010-02-24 富士フイルム株式会社 ディジタルカメラ
EP1583356B1 (en) * 2002-12-27 2013-04-10 Nikon Corporation Image processing device and image processing program
US7301571B2 (en) * 2003-01-17 2007-11-27 Fujifilm Corporation Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP3941698B2 (ja) * 2003-01-23 2007-07-04 ソニー株式会社 画素補正回路及び画素補正方法
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP4457874B2 (ja) * 2004-12-06 2010-04-28 ソニー株式会社 映像信号処理装置及び方法
TWI283833B (en) * 2005-07-07 2007-07-11 Sunplus Technology Co Ltd Color image dead pixel calibration method and its system
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4857877B2 (ja) 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
JP5615155B2 (ja) * 2009-12-22 2014-10-29 キヤノン株式会社 画像処理装置及び方法
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6229395A (ja) * 1985-07-30 1987-02-07 Matsushita Electric Ind Co Ltd 固体撮像素子の画素欠陥検出装置
JP2000156823A (ja) * 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2007282109A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2242278A4 *

Also Published As

Publication number Publication date
EP2242278A4 (en) 2011-07-06
CN101946519B (zh) 2013-04-03
US8284278B2 (en) 2012-10-09
EP2242278A1 (en) 2010-10-20
JP5298638B2 (ja) 2013-09-25
CN101946519A (zh) 2011-01-12
US20100277625A1 (en) 2010-11-04
JP2009219096A (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
JP5298638B2 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP5200955B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US9729805B2 (en) Imaging device and defective pixel correction method
JP2010062640A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4974586B2 (ja) 顕微鏡用撮像装置
JP2013198160A (ja) 透明フィルタピクセルを備えるイメージングシステム
JP2007329555A (ja) 撮像制御装置、撮像システム、および撮像制御方法
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
JP2000244823A (ja) 撮像素子の欠陥画素補正装置
JP2014036262A (ja) 撮像装置
JP2007158628A (ja) 撮像装置及び画像処理方法
JP5359553B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6060552B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP5095294B2 (ja) 撮像装置、撮像方法
JP5412945B2 (ja) 撮像素子、画像処理装置、撮像装置及び画像処理プログラム
JP2009060589A (ja) 撮像装置
JP6051592B2 (ja) 画像処理装置および撮像装置
JP4309237B2 (ja) 撮像装置
JP4695871B2 (ja) 画像処理装置および画像処理方法
JP2014164236A (ja) 撮像装置
JP2023090494A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4911479B2 (ja) 信号処理方法及びその装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980104859.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09710403

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12808817

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009710403

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE