JP4166974B2 - Pixel flaw detection and correction device - Google Patents

Pixel flaw detection and correction device Download PDF

Info

Publication number
JP4166974B2
JP4166974B2 JP2001356812A JP2001356812A JP4166974B2 JP 4166974 B2 JP4166974 B2 JP 4166974B2 JP 2001356812 A JP2001356812 A JP 2001356812A JP 2001356812 A JP2001356812 A JP 2001356812A JP 4166974 B2 JP4166974 B2 JP 4166974B2
Authority
JP
Japan
Prior art keywords
pixel
value
interest
data
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001356812A
Other languages
Japanese (ja)
Other versions
JP2003158744A (en
Inventor
俊幸 佐野
太郎 樋爪
学 矢田
一徳 隅谷
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下電器産業株式会社 filed Critical 松下電器産業株式会社
Priority to JP2001356812A priority Critical patent/JP4166974B2/en
Publication of JP2003158744A publication Critical patent/JP2003158744A/en
Application granted granted Critical
Publication of JP4166974B2 publication Critical patent/JP4166974B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、撮像装置のディジタル画像処理に関し、特に固体撮像素子の欠陥による画像のキズを検出し補正する画素キズ検出・補正装置およびそれを用いた撮像装置に関する。 The present invention relates to digital image processing of the image pickup apparatus, and more particularly to fault detection and pixel defect detection and correction circuitry to correct and an imaging apparatus using the same flaws in the image by a solid-state imaging device.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来、CCDやCMOSセンサといった固体撮像素子には、製造上、入射する光量とは無関係な出力を発生する欠陥画素が存在してしまうことがある。 Conventionally, a CCD or CMOS sensors such solid-state imaging device, the manufacturing, which may result in defective pixel exists for generating an independent output from the incident light intensity. これは画像には黒い点の黒キズ、白い点の白キズとして現れる。 This black defect of black dots in the image, appear as white spots of white dots. また、デバイスの温度が高くなったときにはCCDやCMOSセンサの電荷蓄積に異常が発生し、温度キズと呼ばれるキズが画像に発生してしまうことがある。 Further, when the temperature of the device is increased abnormality occurs in the charge accumulation of the CCD or CMOS sensor, it may scratch called temperature flaw occurs in the image.
このようなキズに対しては補正処理を行い画質の劣化を抑えることが求められる。 It is required to prevent the deterioration of performs a correction processing image quality for such flaws. 例えば、どの画素を補正するかを決定するキズ検出の方式として、テーブル方式とキズ検出方式とがある。 For example, as a method of flaw detection for determining whether to correct any pixel, there is a table method and flaw detection method. テーブル方式は予め補正位置情報をテーブルに格納しておき、その位置の画素を補正する方式である。 Table scheme may be stored in advance correction position information in the table, a method of correcting the pixel at that position. もう一方のキズ検出方式は、以下のような従来例を挙げて説明する。 The other flaw detection method will be described by way of conventional example as follows.
【0003】 [0003]
特開2001−16599公報の記載によると、欠陥画素検出部および欠陥画素補正処理部には、Y/C分離処理部において処理されたY/C画像信号それぞれが入力され、欠陥画素検出部によりキズが検出され、欠陥画素補正処理部により検出されたキズが補正される。 JP According to 2001-16599 publication of the defective pixel detection unit and a defective pixel correction unit, Y / C separation process are processed Y / C image signals in unit is inputted, scratched by the defective pixel detection unit There are detected, flaws detected by the defective pixel correction unit is corrected.
また、特開2000−59799公報の記載によると、注目画素のCCD信号の値と、注目画素の周辺に存在する注目画素と同一の色成分を持つ周辺画素のCCD信号とを比較してキズを検出する。 Further, according to the description of JP 2000-59799 publication, the value of the CCD signal of the target pixel, the flaws by comparing the CCD signal of the peripheral pixels having the same color component and the target pixel present around the pixel of interest To detect.
また、特開2001−86517公報の記載によると、注目画素が持つ色とは別の色フィルタを持つ周辺の画素の周波数特性から、検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときには、その画素はキズであると判定する。 Further, according to the description of JP 2001-86517 publication, the frequency characteristic of the pixel near the color with the pixel of interest with a different color filter, after the inspection target pixel is checked that no high-frequency components, the when the inspection target pixel is detected to have a high frequency component, it is determined that the pixel is wound.
【0004】 [0004]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、最初に挙げたテーブル方式は、生産段階で予め補正位置情報をテーブルに格納しておく方法であるため、補正できる画素の位置が固定されてしまい、温度キズや経年劣化により増加する欠陥画素のキズに対応できないという問題があった。 However, the table method mentioned initially, for a method for storing in advance correction position information in the table at the production stage, the position of the correction can pixel will be fixed, defective pixel increases with temperature scratches and aging there is a problem that can not cope with the flaw.
また、上記特開2001−16599公報記載の技術のように、変換処理部においてYC分離処理を行い(Y信号は輝度信号、C信号は色信号)、Y/C分離後の画像信号を用いて欠陥画素を検出・補正する方法では、Y信号を生成するためのLPF、つまり加算平均処理でキズの情報が広がってしまい正確なキズ検出・補正が難しいという問題があった。 Also, as in the technique described above JP 2001-16599 publication performs YC separation processing in the conversion processing section (Y signal luminance signal, C signal color signals), by using the image signal after the Y / C separation in the method of detecting and correcting defective pixels, there is a problem that LPF for generating a Y signal, that is, averaging process flaw information spread will accurate flaw detection and correction in a difficult. さらにY信号でキズの検出・補正を行った情報をC信号処理系に与え、C信号の補正を行う必要があるため、処理が複雑となり、回路規模が増大する要因になるという問題があった。 Further provides information which was detected and correction of scratches Y signal in C signal processing system, it is necessary to correct the C signal, processing is complicated, there is a problem that a factor of the circuit scale increases .
【0005】 [0005]
また、上記特開2000−59799公報に記載のように、注目画素のCCD信号の値と、注目画素の周辺に存在し注目画素と同一の色成分である周辺画素のCCD信号とを比較してキズを検出する方法や、上記特開2001−86517公報に記載のように、注目画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性から検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときには、その画素はキズであると判定する方法には、以下のような問題がある。 In addition, as disclosed in JP 2000-59799 publication, compares the values ​​of the CCD signal of the target pixel, and a CCD signal of peripheral pixels of the same color component and the target pixel exists in the periphery of the pixel of interest a method of detecting flaws, as described in the JP 2001-86517 publication, the inspection target pixel from the frequency characteristics in the periphery of the pixel is the color with the pixel of interest with a different color filter has no high frequency components after checking, when the inspection target pixel is detected to have a high frequency component, the method determines that the pixel is a flaw, there are the following problems.
すなわち、単板カメラでは、補色・原色共に複数色のフィルタを交互に配置するため、同一色のフィルタは飛び飛びの画素に配置されている。 That is, in the single-plate camera, for alternately arranging a plurality of colors of filters are complementary-colors both the same color filters are arranged in a pixel of discrete. このため、平均値を求めるなど複数の画素の値が必要になった場合には、それぞれの画素間の空間的な距離が離れてデータの相関が低くなってしまい、キズ検出・補正の精度を上げることが難しいという問題があった。 Therefore, when the value of a plurality of pixels, such as an average value is needed, the correlation of the spatial distance apart data between each pixel becomes low, the accuracy of flaw detection and correction there has been a problem that it is difficult to raise is.
【0006】 [0006]
本発明は、上記従来の問題を解決するためになされたもので、固体撮像素子の欠陥画素から発生した画素キズを、Y/C分離する前に、簡単な構成により精度良く検出して補正できる固体撮像素子のキズ検出・補正装置および方法を提供し、それにより画質の劣化が少ない高画質な画像が得られる撮像装置を提供するものである。 The present invention has been made to solve the conventional problems described above, a pixel flaw generated from defective pixels of the solid-state image pickup device, before Y / C separation, can be corrected accurately detected with a simple configuration It provides flaw detection and correction circuitry and method of the solid-state imaging device is thus intended to provide an imaging device degradation in image quality is less high-quality image is obtained.
【0007】 [0007]
【課題を解決するための手段】 In order to solve the problems]
本発明における画素キズ検出・補正装置は、補色フィルタが被着された固体撮像素子から出力された画素キズを含む映像信号をディジタル化するA/D変換手段と、ディジタル化した映像信号の注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一の色フィルタの画素値を推定する推定手段 、前記推定手段にて推定された画素値と前記注目画素から1画素飛ばした左右の注目画素と同一の色フィルタの画素値とを比較して、最大値、中央値および最小値を求める比較手段と、前記注目画素の画素値から前記最大値を引いた値が白キズ判定余裕より大きいときは、前記注目画素を白キズと判定して前記中央値をキズ補正後の画素値とし、前記最小値から前記注目画素の画素値を引いた値が、前記黒 Pixel flaw detection and correction apparatus of the present invention, the pixel of interest and the A / D converter for digitizing the video signal including a pixel flaws output from the solid-state imaging device complementary color filter is deposited, digitized video signal estimating means and the target pixel and the estimated pixel value in said estimating means for estimating a pixel value of the same color filter and the pixel of interest based on the sequence of the complementary color filter from the pixel values of the pixels of different colors filters around the compares the pixel value of one pixel the same color filter and the left and right of the pixel of interest flew from the maximum value, minus a comparison means for determining the median and the minimum value, the maximum value from the pixel value of the pixel of interest If the value is greater than the white defect determination margin, the pixel of interest is determined that the white defects and the pixel value after the defect correction of the median value obtained by subtracting the pixel value of the target pixel from the minimum value, the black ズ判定余裕より大きいときは、前記注目画素を黒キズと判定して前記中央値をキズ補正後の画素値とするキズ補正手段とを有する構成を有している。 When greater than's determination margin has a structure having a defect correcting means to pixel value after the defect correction of the median the pixel of interest is determined that the black defect. この構成により、固体撮像素子の欠陥画素によるキズを、Y/C分離前の信号に対し近傍画素の値を用いて検出・補正することにより、高精度なキズ検出・補正を行うことができる。 With this configuration, the flaws by the defect pixel of the solid-state imaging device, by detecting and correcting using the values ​​of neighboring pixels with respect to the Y / C separation signal before, it is possible to perform highly accurate flaw detection and correction.
【0008】 [0008]
本発明における画素キズ検出・補正装置では、前記推定手段は、前記注目画素の周囲8画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定するという構成を有している。 In the pixel defect detection and correction apparatus of the present invention, prior Symbol estimating means, based on an array of pixel values and a complementary color filter of the surrounding eight pixels of the pixel of interest, if you estimate the pixel value of the color filter of the pixel of interest It has a configuration in which say. この構成により、Y/C分離前の信号に対して近傍画素の値を用いて検出・補正することにより、Y信号生成のLPFの影響を受けない高精度なキズ検出を行うことができる。 With this configuration, by detecting and correcting using the values ​​of neighboring pixels with respect to the Y / C separation signal before it is possible to perform highly accurate flaw detection is not affected by the LPF of the Y signal generation.
【0009】 [0009]
本発明における画素キズ検出・補正装置では、前記比較手段は前記推定手段において推定された画素値と、 前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出し、前記推定手段において推定された画素値と、 前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出するという構成を有している。 In the pixel defect detection and correction apparatus of the present invention, prior Symbol comparison means, wherein a pixel value estimated in the estimation unit, the white defect to the maximum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest a value obtained by adding the determination margin, by comparing the value obtained by multiplying the determined margin coefficient to the maximum value, detects white defects of pixels by comparing the pixel value of the pixel of interest and its smaller one, the estimated a pixel value estimated in section, a value obtained by subtracting the black defect determination margin from the minimum value of the pixel values of the left and right of the same color filter skipping one pixel the target pixel, multiplied by a determined allowance coefficient to the minimum value compared bets, has a configuration called you detect the black defect of the pixel by comparing the pixel value of the pixel of interest and its larger one. この構成により、画素値が低い時は、判定余裕係数を積算した値の方を閾値として選ぶことにより、画像の暗い部分で高精度なキズ検出することができる。 This configuration, when the low pixel value, by choosing the direction of by integrating the determined margin coefficient value as a threshold, it is possible to highly accurate flaw detection in the dark parts of the image.
【0010】 [0010]
本発明における画素キズ検出・補正装置では、前記補正手段は前記推定手段において推定された画素値と前記注目画素を1画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正するという構成を有している。 In the pixel defect detection and correction device according to the present invention, the correction means that to correct the flaw pixels by the pixel values of the same color filter of the right and left with every other pixel pixel value and the pixel of interest which is estimated in the estimating means has a configuration called. この構成により、注目画素のより近傍の値でキズ補正を行うため、キズ補正の精度を良くすることができる。 This configuration for performing defect correction more near the value of the pixel of interest, it is possible to improve the accuracy of defect correction.
【0011】 [0011]
本発明に関連する撮像装置は、補色フィルタが被着された補色単板固体撮像素子から出力された画素キズを含む映像信号をディジタル化するA/D変換手段と、ディジタル化した映像信号の画素キズを検出して補正するキズ検出・補正手段と、画素キズを補正した画像信号を処理する画像信号処理手段とを有するという構成を有している。 An imaging device related to the present invention, the A / D converting means for complementary color filters to digitize the video signal including a pixel flaws outputted from the adherend complementary color single-plate solid-state imaging device, a pixel of the digitized video signal has a flaw detecting and correcting means to detect and correct flaws, the configuration of having the image signal processing means for processing an image signal obtained by correcting the pixel flaw. この構成により、補色単板固体撮像素子を用いた撮像装置においてもキズによる画質の劣化が少ない高品質な画像を得ることができる。 With this configuration, it is possible to obtain a high quality image is less deterioration in image quality due to flaws in the image pickup apparatus using the complementary single-plate solid-state imaging device.
【0012】 [0012]
本発明におけるプログラムは、 請求項1に記載の画素キズ検出・補正装置用のプログラムであって、コンピュータに、 注目画素の周囲8画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定する手順と、前記推定された画素値と、前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出する手順と、前記推定された画素値と、前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを Programs in the present invention is a program for pixel flaw detection and correction device according to claim 1, the computer, based on an array of pixel values and a complementary color filter of the surrounding eight pixels of the pixel of interest of the pixel of interest a step of estimating the pixel value of the color filter, wherein the estimated pixel value, a value obtained by adding the white defect determination margin to the maximum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest, the by comparing the value obtained by multiplying the determined margin coefficient to the maximum value, the procedure for detecting the white defects of pixels by comparing the pixel value of the pixel of interest and its smaller one, and the estimated pixel value, the and a value obtained by subtracting the black defect determination margin from the minimum value of the pixel values of the left and right of the same color filter skipping 1 the pixel of interest, by comparing the value obtained by multiplying the determined margin coefficient to the minimum value, and that the larger and a pixel value of the pixel of interest 較することにより画素の黒キズを検出する手順と、前記推定された画素値と前記注目画素を1画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正する手順と、を実行させるという構成を有している。 A step of detecting black defect pixel by compare, to execute a procedure to correct the flaw pixels by the pixel values of the left and right of the same color filter said discrete one pixel pixel value and the pixel of interest which is estimated It has a configuration that. この構成により、このプログラムにより画素値推定、キズ検出処理およびキズ補正処理アルゴリズムを具現化して、MPU、プログラム可能なDSP等でキズ検出・補正処理を実現することができるので、キズ検出・補正回路を削減することができる。 With this configuration, a pixel value estimated by this program, embody flaw detection process and the defect correction processing algorithms, MPU, it is possible to realize a flaw detection and correction process by the programmable DSP or the like, flaw detection and correction circuit it can be reduced.
【0013】 [0013]
本発明におけるコンピュータ読み取り可能な記録媒体は、 請求項5に記載のプログラムを記録したという構成を有している。 A computer-readable recording medium of the present invention has a configuration that records a program of claim 5. この構成により、記録媒体に記録されたプログラムに従って動作するマイコンやプログラム可能なDSP等により、ソフトウェアで実現するこの画素キズ検出・補正処理を他のコンピュータで容易に実施することができることとなる。 With this configuration, a microcomputer or a programmable DSP that operates according to the program recorded in the recording medium, a software implementation and thus can be easily carried out the pixel flaw detection and correction process on another computer.
【0014】 [0014]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、添付図面に基づき、本発明の第1ないし第4の実施の形態を詳細に説明する。 Hereinafter, with reference to the accompanying drawings, illustrating the first to fourth embodiments of the present invention in detail.
(第1の実施の形態) (First Embodiment)
まず、図1ないし図7を参照して、本発明の第1の実施の形態における画素キズ検出・補正装置について説明する。 First, with reference to FIGS. 1 to 7 will be described pixel defect detection and correction apparatus according to the first embodiment of the present invention. 最初、図1を参照して、本実施の形態における画素キズ検出・補正装置の構成を説明する。 First, referring to FIG. 1, illustrating the configuration of a pixel flaw detection and correction apparatus according to this embodiment.
図1において、レンズ11は入射光を集光し、被写体の映像を補色フィルタ12が披着されたCCDやCMOSセンサ等の固体撮像素子13に結像する。 In Figure 1, the lens 11 is incident light is condensed, for forming an image of an object on a solid-state image pickup device 13 such as a CCD or CMOS sensor complementary color filter 12 is 披着. アナログ処理ブロック15はアナログ映像信号を調整するオフセット調整やアナログゲインといった回路群から構成される。 Analog processing block 15 is composed of circuits such as an offset adjustment and analog gain adjusting the analog video signal. A/D変換装置16はアナログ映像信号を量子化してディジタル処理できるようにする。 A / D converter 16 to an analog video signal can be digitally processed quantization. キズ検出・補正ブロック17はディジタル信号化された映像データをディジタル処理するためのMPU、DSP等と映像信号を蓄積するメモリで構成され、キズ検出・補正したキズ補正映像信号18を出力する。 MPU for the flaw detection and correction block 17 for digitally processing video data digital signals of, consists of a memory for storing a DSP or the like and the video signal, and outputs a flaw corrected video signal 18 which is flaw detection and correction. また、キズ検出・補正ブロック17は、注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一の色フィルタの画素値を推定する推定手段と、前記推定手段において推定された画素値と注目画素を1画素飛ばして左右の同色フィルタの画素値と注目画素の画素値とを比較する比較手段と、前記推定手段において推定された画素値と注目画素を1画素飛ばして左右の同色フィルタの画素値とによりキズを補正するキズ補正手段とを有する。 Also, flaw detection and correction block 17, an estimation unit for estimating the pixel values ​​of the same color filter and the pixel of interest based on the sequence of the complementary color filter from the pixel values ​​of the pixels of different colors filters around the current pixel, the estimated comparison means for comparing the pixel value of the pixel of interest and pixel values ​​of the same color filter of the right and left skip 1 the pixel of interest and the estimated pixel value in the unit, the pixel of interest and the estimated pixel value in the estimation means 1 and a defect correcting means for correcting the flaw by the pixel values ​​of the same color filter of the right and left skip pixels.
【0015】 [0015]
次に、図1を参照して、本発明の第1の実施の形態における画素キズ検出・補正装置の動作を概略説明する。 Next, referring to FIG. 1, the operation of the pixel flaw detection and correction apparatus according to the first embodiment of the present invention is schematically described. まず、被写体からの入射光は固体撮像素子13にて、光電変換により電気信号に変換される。 First, incident light from an object is in the solid-state imaging device 13, is converted into an electric signal by photoelectric conversion. その際に固体撮像素子13に存在する欠陥画素により信号に画素キズと呼ばれるノイズを生じてしまうことがある。 In this case it may occur a noise referred to as pixel flaw on the signal by defective pixels present on the solid-state imaging device 13 in. キズを含んだ映像信号14はアナログ処理ブロック15においてゲイン調整などのアナログ処理された後、A/D変換装置16においてディジタル化される。 After the video signal 14 including the flaws that have been analog processing such as gain adjustment in the analog processing block 15, and digitized in the A / D converter 16. ディジタル化された映像信号はYC分離することなく、キズ検出・補正ブロック17に入力される。 Digitized video signal without YC separation, is input to the flaw detection and correction block 17. キズ検出・補正ブロック17では、注目画素の周囲の色フィルタの異なる画素の値から補色フィルタの配列を元に注目画素の値を推定し、その推定値と注目画素を1画素飛ばした左右の同色フィルタの画素値と注目画素の値とを比較することにより、画素のキズの検出・補正を行い、キズ補正後の映像信号18を出力する。 In flaw detection and correction block 17, the value of the pixel of interest based on the sequence of the complementary color filter from the value of the pixels having different color filters around the current pixel to estimate the right and left of the same color that every other pixel of interest pixel and the estimated value by comparing the value of the pixel of interest and the pixel value of the filter, it performs detection and correction of scratches pixel, and outputs the video signal 18 after defect correction. 以下にその詳細内容を順に説明する。 Below to explain the details in the order.
【0016】 [0016]
まず、図2を参照して、本発明の実施の形態における補色単板カメラの色フィルタの配列例について説明する。 First, with reference to FIG. 2, the arrangement of a color filter of complementary single-plate camera in the embodiment of the present invention. 補色フィルタの配列は、Ye(イエロー)21、Cy(シアン)22、Mg(マゼンダ)23、G(グリーン)24の4種類の色フィルタを、YeとCyを交互に並べたラインと、MgとGを交互に並べたラインを交互に並べたものになっており、MgとGの配列はライン毎に入れ替わっている。 Sequences complementary color filter, the Ye (yellow) 21, Cy (cyan) 22, Mg (magenta) 23, G (green) 24 4 kinds of color filters, and a line obtained by arranging Ye and Cy are alternately and Mg It has become an ordered alternately lines arranged alternately G, arrangement of Mg and G are reversed for each line. これら1つの色フィルタが固体撮像素子13の1個の開口部に対応するように接着される。 These one color filter is bonded so as to correspond to one opening portion of the solid-state imaging device 13. このような配列はフィールド色差順次配列と呼ばれる。 Such sequences are referred to as field color difference sequential arrangement.
【0017】 [0017]
次に、図3を参照して、本発明の実施の形態における映像信号の出力方法の例について説明する。 Next, with reference to FIG. 3, an example of a method of outputting the video signal in the embodiment of the present invention. インタレース方式によると、固体撮像素子13の出力は縦2個の開口部で光電変換された電荷が1つのデータとして順次取り出される。 According to interlaced output of the solid-state imaging device 13 charges photoelectrically converted by the vertical two openings are sequentially taken out as one data. つまり、「Ye+Mg」31、「Cy+G」32というように縦2個を組にして順に出力される。 In other words, "Ye + Mg" 31, two vertically in the set are sequentially outputted such as "Cy + G" 32. 1ライン終了したら2個縦にずらして、再び縦2個の電荷を1つのデータとして出力してゆく。 Shifted in the two vertical When 1 line is completed, slide into outputs a vertical two of charge as one of the data again. これを全画素分行ったものをAフィールドと呼ぶ。 What you have done this for all pixels is referred to as A field. Aフィールドのデータを全て出力したら、縦2個の開口部の組み合わせを1個縦にずらして、同様にもう一度縦2個のデータを組にして全画素分のデータを出力するこれをBフィールドと呼び、Aフィールド、Bフィールド2つのフィールドで1つの画像データとする。 After outputting all the data of the A field, a combination of vertical two openings by shifting to one vertical, and this B field to output all pixels of data to a set similarly again vertical two data referred to as one image data in the a field, B field two fields.
【0018】 [0018]
次に、図4を参照して、本発明の実施の形態における映像信号の出力例について説明する。 Next, referring to FIG. 4, it will be described an example of output video signal according to the embodiment of the present invention. 上記のインタレース方式で読み出されたデータは、YM(Ye+Mg)41、CG(Cy+G)42を交互に並べたラインと、YG(Ye+G)43、CM(Cy+Mg)44を交互に並べたラインが交互に繰り返したものとなる。 Data read by the interlaced, YM (Ye + Mg) 41, CG (Cy + G) 42 and line arranged alternately, YG (Ye + G) 43, CM (Cy + Mg) 44 a arranged alternately line the thing that was repeated alternately.
ここで、十分に近い画素のデータは、ほとんど同じ入射光を違う色フィルタを通してから光電変換した値であることから、以下の関係が近似的に成立するYM=CM+YG−CG 式(1) Here, data sufficiently close pixels, most because it is converted value photoelectric since through the different color filters the same incident light, YM = CM + YG-CG expression following relation holds approximately (1)
YG=CG+YM−CM 式(2) YG = CG + YM-CM formula (2)
CG=YG+CM−YM 式(3) CG = YG + CM-YM formula (3)
CM=YM+CG−YG 式(4) CM = YM + CG-YG formula (4)
【0019】 [0019]
図4に示す信号の並びとこれらの式は、全ての画素データがその周囲のデータの斜め方向のデータと上下のデータの和から左右のデータを引くことで近似的に求められることを示している。 Arrangement and these equations signals shown in Figure 4, indicate that all of the pixel data is approximately determined by subtracting the left and right data from the sum of the upper and lower data and the oblique direction of the data of the data of the surrounding there. そこで本発明では、注目画素のキズ検出を、その画素の周囲の画素データから式(1)〜(4)で求めた値と、注目画素を1画素飛ばして左右の同色フィルタの出力データ値とを用いて行う。 Accordingly, in the present invention, the flaw detection of the target pixel, a value obtained by Equation (1) to (4) from the periphery of the pixel of the pixel data, the output data values ​​of the left and right of the same color filter skipping 1 the pixel of interest It carried out using a.
図4に示した映像信号出力例の太枠部分45を説明のために、図5に示すように、a A video signal output examples of the thick frame portion 45 shown in FIG. 4 for purposes of explanation, as shown in FIG. 5, a Data〜o Data~o Dataと表現する。 Data to be expressed. 中央のh The center of the h Dataに注目し、このデータがキズであるかどうかを検出する方法を説明する。 Focus on Data, the data will be described a method for detecting whether or not a flaw. ここでh Where h DataはYGであるから、h Since Data is YG, h Dataの周囲の画素データからYGxを推定する。 Data for estimating the YGx from surrounding pixel data. YG=CG+YM−CMであるから、YGxは以下の式で求めることができる。 Because it is YG = CG + YM-CM, YGx can be obtained by the following equation.
【0020】 [0020]
ここで、h Here, h Dataが画像のエッジ付近等、値が急激に変動する部分である時、推定したYGxが真の値と大きく離れていることがあるので、h Data is near the edge of the image or the like, when the value is a portion that varies rapidly, because it may estimated YGx is away greatly from the true value, h Dataと同じ色フィルタの前後のデータであるf Is a before and after the data of the same color filter and the Data f Data、j Data, j Dataと推定したYGxの3つの値を用いてh h with three values ​​of YGx estimated with Data Dataがキズであるかどうかを判定する。 Data determines whether it is a flaw. h DataとYGx、f Data and YGx, f Data、j Data, j Dataの最大値との差分が閾値を超えたならば白キズと判定する。 If the difference between the maximum value of the Data has exceeded the threshold is determined that white flaws. つまり、下式が成立するならばh In other words, if the following equation is satisfied h Dataを白キズと判定する。 Data for determining the white scratches.
また、YGx、 f In addition, YGx, f Data、 j Data, j Dataの最小値とh The minimum value of the Data and h Dataとの差が閾値を超えたならば黒キズと判定する、つまり、下式が成立するならばh If the difference between the Data exceeds the threshold value determines that black defect, that is, if the following equation is satisfied h Dataを黒キズと判定する。 Determining the Data and black scratches.
【0021】 [0021]
上記の説明で、h In the above explanation, h DataはYGのデータであったが、CG、YM、CMのデータであっても、式(1)〜式(4)の関係から周囲画素データの加算減算の位置関係が変わらないことがわかるので、a While Data was data YG, CG, YM, be data of CM, since it is understood that the relationship of Equation (1) to (4) does not change the positional relationship of the addition subtraction surrounding pixel data , a Data〜o Data~o Dataを用いたキズ検出は全く同じ手順で行うことができる。 Flaw detection using Data can be carried out exactly the same procedure.
【0022】 [0022]
次に、図6のブロック図を参照して、本発明の第1の実施の形態におけるキズ検出・補正ブロック(図1の17)において行われる注目画素の値を周囲画素のデータから推定する機能について説明する。 Next, with reference to the block diagram of FIG. 6, the ability to estimate the value of the pixel of interest is performed in flaw detection and correction block (17 in FIG. 1) in the first embodiment of the present invention from the data of the surrounding pixels It will be described. 固体撮像素子13からの画像信号入力61をラインメモリ62で一旦蓄積して、1ライン分遅延させることで3ライン分のデータを同時に得ることができる。 An image signal input 61 from the solid-state imaging device 13 and temporarily stored in line memory 62, it is possible to obtain 3 lines of data simultaneously by delaying one line. 得られた3ライン分のデータに遅延器63を用いて1画素分遅延させることで、横5個分のデータを同時に得ることができる。 Resulting in 3 possible to the line delayed one pixel by using the delay unit 63 to the data of the horizontal 5 pieces of data can be obtained simultaneously. 式(5)を満たすようにそれぞれのデータを加減算することで推定データ64を得ることができる。 Can be obtained estimation data 64 by subtracting the respective data so as to satisfy the equation (5). 推定したデータ64と注目画素を1画素飛ばした左右の同色フィルタの画素のデータ65と注目画素のデータ66とを、キズ検出・補正ブロック17のキズを検出・補正する機能ブロックに出力する。 The estimated data 64 and data 65 of the pixel of the left and right of the same color filters the target pixel skipping one pixel and the data 66 of the target pixel, and outputs to the function block for detecting and correcting flaws flaw detection and correction block 17.
【0023】 [0023]
次に、図7のブロック図を参照して、本発明の第1の実施の形態におけるキズ検出・補正ブロック(図1の17)において行われる注目画素のキズを検出し補正する機能について説明する。 Next, with reference to the block diagram of FIG. 7, a description will be given of a first flaw detection and correction block according to the embodiment functions detecting and correcting flaws of the pixel of interest is performed in (17 in FIG. 1) of the present invention . まず、上記で推定した推定データ71と注目画素を1画素飛ばした左右の同色フィルタの画素のデータ72との大小比較を行い、その最大値74、中央値75、最小値76を求める。 First, the comparison between the data 72 of the pixels of the same color filter of the right and left with every other pixel of interest pixel and the estimated data 71 estimated by the above, the maximum value 74, median 75, obtains the minimum value 76. キズの誤検出を避けるため、最大値74には白キズ判定余裕データ77を加算し、最小値76から黒キズ判定余裕データ78を減算する。 To avoid scratches false detection, the maximum value 74 by adding the white defect determination margin data 77 subtracts the black defect determination margin data 78 from the minimum value 76. 注目画素のデータ73と最大値74に白キズ判定余裕データ77を加算したデータとを大小比較し、注目画素のデータ73と最小値76から黒キズ判定余裕データ78を減算したデータとを大小比較して、以下の関係が成立するなら、注目画素はキズでは無いと判定される。 An addition data a white scratch determination margin data 77 in the data 73 and the maximum value 74 of the pixel of interest and compares, compares the data 73 and minimum value 76 of the pixel of interest and the data obtained by subtracting the black defect determination margin data 78 and, if the following relation is established, the target pixel is determined not to be scratched.
式(8)が成立した場合、選択器79において、注目画素はキズでは無いと判定され、注目画素のデータ73をそのまま出力データ710として出力する。 If the expression (8) is satisfied, the selector 79, the pixel of interest is determined not to be scratched, and outputs the data 73 of the pixel of interest as it is as the output data 710. 式(8)が成立しない場合には、注目画素はキズと判定され、中央値75をキズ補正した出力データ710として出力する。 If the equation (8) is not satisfied, the pixel of interest is determined to scratches, and outputs the median value 75 as the output data 710 defect correction.
【0024】 [0024]
以上説明したように、本発明の第1の実施の形態における画素キズ検出・補正装置によると、従来のYC分離後にキズ補正処理を行う方法に比べて、キズ検出・補正処理のための処理をY信号C信号それぞれに持つ必要がなく、Y信号処理系で行ったキズ検出の結果を用いてC信号の処理を行うといった必要もないために、回路の構成が簡単になる。 As described above, in the first pixel flaw detection and correction apparatus according to an embodiment of the present invention, compared with a method of performing defect correction processing after conventional YC separation processing for flaw detection and correction process Y signal C signal need not have each, in order not necessary such performs processing of C signal using the results of the flaw detection was performed by the Y signal processing system, the circuit configuration is simplified. また、同じ色フィルタの画素値どうしを演算することによりキズの検出・補正を行う方法に比べて、注目画素のより近傍の値でキズ検出・補正を行うため、検出・補正の精度を良くすることができる。 Moreover, compared with a method for detecting and correcting flaws by calculating the pixel values ​​with each other of the same color filter, for performing the flaw detection and correction in a more near the value of the pixel of interest, to improve the accuracy of detection and correction be able to.
【0025】 [0025]
(第2の実施の形態) (Second Embodiment)
次に、図2、図4および図6を参照して、本発明の第2の実施の形態におけるキズ検出・補正ブロック(図1の17)において行われる画素値推定方法について説明する。 Next, with reference to FIGS. 2, 4 and 6, will be described pixel value estimation method performed in the second flaw detection and correction block according to the embodiment of the present invention (17 in Figure 1).
上記のように、補色単板カメラの色フィルタは図2に示すように配置されており、縦2画素を1個のデータとして読み出すので、データの並びは図4に示すようになる。 As described above, the color filter of complementary single-plate camera is arranged as shown in FIG. 2, the read vertical 2 pixels as one data, the data sequence is as shown in FIG. このとき、ある画素データが正常なデータであるかどうかは、周囲の画素データと比較をすることで判定する。 In this case, whether a pixel data is normal data, it determines by comparison with the surrounding pixel data. ところが、補色単板カメラの画素出力はそれぞれの色フィルタの影響を受けているため、周囲の画素データと直接比較することはできない。 However, since the pixel output of the complementary single-plate camera is affected by the respective color filters, it can not be compared directly with the surrounding pixel data.
【0026】 [0026]
本方式では、空間的に近い画像データ間では式(1)〜式(4)の関係が擬似的に成立すること、図4に示した画像データの並びから、式(1)〜式(4)において、推定する画素の周囲のデータを加算、減算する相対的な位置関係が全て同じであること、の2つの特性を利用して、図6に示すように、入力データ61に対してラインメモリ62と遅延器63を用いてデータのタイミングを合わせ、注目画素の8近傍画素のうち、斜め4方向と左右の画素を加算し、上下の画素を減算することにより注目画素の値を推定する。 In this method, between spatially close image data that the relationship of formula (1) to (4) is established in a pseudo manner, the arrangement of the image data shown in FIG. 4, equations (1) to (4 in), adds the data of the surrounding pixels to estimate, that all the relative positional relationship to subtract the same, by utilizing the two characteristics of, as shown in FIG. 6, the line for the input data 61 timed data by using the memory 62 and delay unit 63, among the eight neighboring pixels of the target pixel, by adding the left and right pixel and four oblique directions, to estimate the value of the pixel of interest by subtracting the upper and lower pixels .
【0027】 [0027]
このように、本発明の第2の実施の形態における画素値推定方法は、近傍画素間では入射する光の強度の相関が高いことと、補色フィルタ配列をインタレース読み出しした信号列間では、同じ位置関係の演算において注目画素の近傍の色フィルタの異なる画素値により注目画素の色フィルタに換算した画素値を簡単に求めることができることから、簡単な構成で注目画素の画素値を精度良く推定することができる。 Thus, the pixel value estimation method in the second embodiment of the present invention are that high correlation of the intensity of the incident light between neighboring pixels, a complementary color filter array between interlaced readout signal sequence is the same since it is possible to obtain the pixel values ​​in terms of color filter of the pixel of interest by different pixel values ​​of the color filters adjacent to the pixel of interest in the calculation of the positional relationship easier, to accurately estimate the pixel value of the pixel of interest with a simple configuration be able to.
【0028】 [0028]
(第3の実施の形態) (Third Embodiment)
次に、図8を参照して、本発明の第3の実施の形態における、キズ検出・補正ブロック(図1の17)の比較手段において行われるキズ検出方法(キズ検出のための判定方法)について説明する。 Next, with reference to FIG. 8, in the third embodiment of the present invention, (the determination method for flaw detection) flaw detection method performed in the comparison means flaw detection and correction block (17 in FIG. 1) It will be described.
本実施の形態におけるキズ判定方法では、画像の変動分をキズと誤判定するのを避けるために、データの最大値に対して判定余裕の閾値(白キズ判定余裕データ)を加算し、データの最小値から判定余裕の閾値(黒キズ判定余裕データ)を減算する。 The defect judgment method of the present embodiment, in order to avoid erroneous determination of the variation in the image and the flaw, by adding the determination margin threshold (white defect judgment allowance data) with respect to the maximum value of the data, the data subtracting the threshold (black defect determination margin data) of the determination margin from the minimum value.
画像データの一般的な特徴として、画像の一部のn×n(nは3など小さな整数)画素を取り出して、それぞれの値を比較した場合、画像の暗い部分を取り出した場合はそれぞれの画素間での変化は小さく、逆に画像の明るい部分を取り出した場合では画素間の変化が大きい。 As a general feature of the image data, (the n small integer such as 3) a portion of the n × n image removed pixels, when comparing the respective values, when taking out the dark portions of the image of each pixel change between small variation between pixels is large when retrieving the bright portion of the image in reverse.
【0029】 [0029]
このため、画像の明るい部分での誤判定を避けるために、判定余裕の閾値を大きく設定すると画像の暗い部分では、画素間での変化は小さいにもかかわらず、設定した閾値以下のキズは検出できないという問題が発生する。 Therefore, in order to avoid erroneous determination in the bright parts of the image, the threshold is set large to the dark portion of the image of the determination margin, despite the changes small between pixels, the following flaws set threshold detector a problem that can not be generated. 逆に画像の暗い部分のキズ検出精度を上げるために判定余裕の閾値を小さくすると、画像の明るい部分では画像の変動が大きいために誤検出が発生してしまう。 Conversely reducing the threshold of the determination afford to improve the flaw detection accuracy of the dark part of the image, the bright portions of the image become erroneous detection occurs because variation in the image is large. そこで、画像の暗い部分では画素間での変化は小さいので、判定余裕の閾値を小さくするようにすればよい。 Therefore, the change between the pixel in the dark portion of the image is small, it is sufficient to reduce the threshold of the determination margin. そこで、本実施の形態における比較手段では、図7に示すキズ検出・補正機能ブロックに対し、下記図8に示すような機能の追加を行う。 Therefore, in the comparison means in the present embodiment, with respect to scratch detection and correction function blocks shown in FIG. 7, perform additional functions, such as shown in the following Figure 8.
【0030】 [0030]
図8は、本発明の第3の実施の形態における、画像データ値の大きさと変動の相関を考慮したキズ検出・補正機能ブロックを示す。 Figure 8 shows the third embodiment of the present invention, the image data values ​​of size and flaw detection and correction function blocks in consideration of correlation between variations. 図7と同じく、推定ブロックにて推定したデータ81と注目画素を1画素飛ばして左右の同色フィルタの画素のデータ82との大小比較を行い、その最大値84、中央値85、最小値86を求める。 As with Figure 7, skip 1 the pixel of interest and data 81 estimated by estimation block performs comparison between data 82 of the pixel of the left and right of the same color filter, the maximum value 84, the median 85, the minimum value 86 Ask. キズの誤検出を避けるため、最大値84に白キズ判定余裕データ87を加算したものと、最大値84に白キズ判定余裕比率89(白キズ判定余裕比率89>1)を積算したものとを比較し、その小さい方を白キズ判定値811とする。 To avoid scratches false detection, and those obtained by adding a white scratch determination margin data 87 to the maximum value 84, and that by integrating the white defect determination margin ratio 89 (white defect determination margin ratio 89> 1) to the maximum value 84 comparison, its smaller one as white defect determination value 811. これにより、値が小さいときは白キズ判定余裕比率89を積算したものが白キズ判定値811となり、値が大きいときは白キズ判定余裕データ87を加算したものが白キズ判定値811となる。 Accordingly, those obtained by integrating the white defect determination margin ratio 89 if the value is small becomes white defect determination value 811, is obtained by adding a white scratch determination margin data 87 is large values ​​becomes white defect determination value 811. このことにより、値が小さい時の判定精度を上げることができる。 Thus, it is possible to improve the accuracy of determining when the value is small. 同様に、最小値86は黒キズ判定余裕データ88を減算したものと、黒キズ判定余裕比率810(0<黒キズ判定余裕比率810<1)を積算したものを比較し、その大きい方を黒キズ判定値812とする。 Similarly, black minimum value 86 and minus the black defect determination margin data 88 is compared with those obtained by integrating black defect determination margin ratio 810 (0 <black defect determination margin ratio 810 <1), the greater of the and scratches the determination value 812. 白キズの時と同様に値が小さい時は黒キズ判定余裕比率810を積算したものが黒キズ判定値812となり、値が小さい時の判定精度を上げることができる。 When Similarly values ​​in the case of the white defects is small it can be obtained by integrating the black defect determination margin ratio 810 increases the accuracy of determining when next black defect determination value 812, the value is small.
【0031】 [0031]
次に、この白キズ判定値811と黒キズ判定値812との大小比較を行い、以下の式(9)に示す関係が成立する場合には、注目画素はキズでは無いものと判定される。 Next, the white performs comparison between defect judgment value 811 and the black defect judgment value 812, if the relationship shown in the following equation (9) is satisfied, the pixel of interest is determined as not the flaw.
白キズ判定値>注目画素のデータ>黒キズ判定値 式(9) White defect determination value> data of the pixel of interest> black defect determination value (9)
【0032】 [0032]
選択器813では、上式(9)が成立した場合は、注目画素はキズでは無いと判定され、注目画素のデータ83をそのまま出力データ814とする。 The selector 813, when the above equation (9) is satisfied, the pixel of interest is determined not to be scratched, as the output data 814 of the data 83 of the pixel of interest. 上式(9)が成立しない場合には、注目画素はキズと判定され、中央値85をキズ補正した出力データ814として出力する。 When the above equation (9) is not satisfied, the pixel of interest is determined to scratches, and outputs the median value 85 as the output data 814 obtained by defect correction.
このように、本発明の第3の実施の形態におけるキズ検出方法は、画素値が小さな時にはキズ判定余裕比率を積算した方の値がキズ判定値となり、キズ判定余裕データを加減算したもののみをキズ判定する方法よりも画像の暗い部分で高精度なキズ検出を行うことができる。 Thus, flaw detection method in the third embodiment of the present invention, the value of the person obtained by integrating defect judgment margin ratio becomes flaw determination value when the pixel value is small, only those obtained by adding or subtracting a defect judgment margin data it is possible to perform highly accurate flaw detection in the dark parts of the image than the flaw determining method.
【0033】 [0033]
(第4の実施の形態) (Fourth Embodiment)
次に、図2および図9を参照して、本発明の第4の実施の形態における撮像装置について説明する。 Next, with reference to FIGS. 2 and 9, a description will be given of an imaging apparatus according to the fourth embodiment of the present invention. 図9において、固体撮像素子93には図2に示した配列の補色フィルタ92が被着される。 9, the solid-state imaging device 93 complementary color filters 92 of the sequence shown in FIG. 2 is deposited. レンズ91を通して集められた光は固体撮像素子13にて、光電変換により電気信号に変換される。 The light collected through a lens 91 at the solid-state imaging device 13, is converted into an electric signal by photoelectric conversion. その際に固体撮像素子93に存在する欠陥画素により信号に画素キズと呼ばれるノイズを生じてしまうことがある。 In this case it may occur a noise referred to as pixel flaw on the signal by a defective pixel present in the solid-state imaging device 93. キズを含んだ映像信号94はアナログ処理ブロック95においてゲイン調整などのアナログ処理された後、A/D変換装置96にてディジタル化される。 Video signal 94 containing the flaw after being analog processing such as gain adjustment in the analog processing block 95, is digitized by the A / D converter 96. ディジタル化された映像信号をYC分離処理せずにキズ検出・補正ブロック97に入力する。 Input to the flaw detecting and correcting block 97 a digitized video signal without YC separation processing.
【0034】 [0034]
キズ検出・補正ブロック97では、注目画素の周囲の、色フィルタの異なる画素の値から補色フィルタの配列を元に注目画素の値を推定し、推定した画素値と、注目画素を1画素飛ばした左右の同色フィルタの画素値と、注目画素の値とを比較することにより画素のキズを検出して補正し、キズ補正後のキズ補正映像信号98を出力する。 In flaw detection and correction block 97, around the current pixel to estimate the value of the target pixel array based on the complementary color filter from the value of the pixels having different color filters, and estimated pixel values ​​and every other pixel of interest pixel and the pixel values ​​of the left and right of the same color filter, and detecting and correcting flaws in the pixel by comparing the value of the pixel of interest, and outputs a flaw corrected video signal 98 after defect correction. キズ補正映像信号98を画像信号処理ブロック99において、YC分離処理を行った後、ゲイン調整やガンマ調整、色調整等の画像信号処理を行い、最終的な画像データ910を出力する。 In flaw corrected video signal 98 image signal processing block 99, after the YC separation processing, gain adjustment, gamma adjustment, performs image signal processing such as color adjustment, and outputs a final image data 910.
【0035】 [0035]
以上説明したように、本発明の第4の実施の形態における撮像装置は、YC分離前にキズ検出・補正処理をを行った後、画像信号処理を行うようにしたことにより、簡単な構成で、固体撮像素子の欠陥画素から発生するキズを精度良く検出・補正して、キズによる画質の劣化が少ない高品質な画像を得ることができる撮像装置を実現することができる。 As described above, the imaging apparatus in the fourth embodiment of the present invention, after the flaw detection and correction process prior to YC separation, by which to perform the image signal processing, with a simple structure can flaws generated from the defective pixels of the solid-state imaging device to accurately detect and correction, to realize an imaging apparatus capable of obtaining a high-quality image is less deterioration in image quality due to scratches.
【0036】 [0036]
以上説明した本発明の第1ないし第4の実施の形態の説明においては、画素キズ検出・補正装置の構成をブロック図で示し、その機能及び動作について説明したが、同様の処理をコンピュータを用いて実現することが可能である。 In the description of the first to fourth embodiments of the present invention described above, shows the structure of a pixel flaw detection and correction circuitry in block diagram, it has been described its function and operation, using a computer the same process it is possible to realize Te. この場合、注目画素の色フィルタの画素値の推定処理、画素キズ検出処理および画素キズの補正処理を実行するプログラムとして作成し、ROMや外部記録媒体等に記録する。 In this case, the estimation processing of the pixel values ​​of the color filter of the pixel of interest, to create a program that executes a correction process of a pixel flaw detection process and the pixel flaws, is recorded in the ROM or the external recording medium or the like. そして、この記録媒体または通信回線等からプログラムを読み込んでMPU等のプロセッサおよびメモリを備えた他のコンピュータ上で実行することにより、他のコンピュータにおいても、画素キズ検出および補正を実現することができ、キズ検出・補正回路を削減することができる。 Then, by executing on the recording medium or other computer with a processor and a memory such as an MPU reads the program from the communication line or the like, in other computers, it is possible to realize a pixel flaw detection and correction , it is possible to reduce the flaw detection and correction circuit.
【0037】 [0037]
【発明の効果】 【Effect of the invention】
本発明における画素キズ検出・補正装置およびそれを用いた撮像装置は、上記のように構成され、特に、YC分離処理を行う前に、注目画素と、注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一色フィルタの画素値を推定した推定値と、注目画素を1画素飛ばした左右の同色フィルタの画素値とを用いた演算により、固体撮像素子の欠陥画素から発生したキズを精度良く検出して補正することができ、キズによる画質の劣化が少ない高品質な画像を得ることができる。 Imaging device using a pixel flaw detection and correction circuitry, and that in the present invention is constructed as described above, particularly, before the YC separation processing, and the pixel of interest, pixels around different color filters of the pixel of interest the calculation using the estimated value estimated pixel values ​​of the same color filter and the pixel of interest based on the sequence of the complementary color filter from the pixel values, the pixel values ​​of the left and right of the same color filter skipping 1 the pixel of interest, the solid-state imaging device the scratches generated from defective pixels can be corrected accurately detected, it is possible to obtain a high-quality image is less deterioration in image quality due to scratches.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1の実施の形態における画素キズ検出・補正装置の構成を示すブロック図、 1 is a block diagram showing a configuration of a pixel flaw detection and correction apparatus according to the first embodiment of the present invention,
【図2】本発明の実施の形態における画素キズ検出・補正装置で使用する色フィルタの配列例を示す図、 2 is a diagram showing an arrangement of a color filter used in a pixel flaw detection and correction apparatus according to an embodiment of the present invention,
【図3】本発明の実施の形態の画素キズ検出・補正装置における映像信号の出力方法の例を示す図、 It illustrates an example of a method of outputting a video signal in the embodiment of the pixel flaw detection and correction circuitry of the present invention; FIG,
【図4】本発明の実施の形態の画素キズ検出・補正装置における映像信号の出力例を示す図、 Diagram showing an example of the output of the video signal in the embodiment of the pixel flaw detection and correction circuitry of the present invention; FIG,
【図5】本発明の実施の形態の画素キズ検出・補正装置における映像信号の例を示す図、 Illustrates an example of a video signal in Figure 5 embodiment of the pixel flaw detection and correction circuitry of the present invention,
【図6】本発明の実施の形態の画素キズ検出・補正装置における注目画素の値を周囲画素のデータから推定する機能ブロックを示す図、 6 shows a functional block for estimating the value of the pixel of interest from the data of the surrounding pixels in the pixel defect detection and correction apparatus according to an embodiment of the present invention,
【図7】本発明の実施の形態の画素キズ検出・補正装置における注目画素のキズを検出・補正する機能ブロックを示す図、 7 is a diagram showing functional blocks for detecting and correcting flaws of the target pixel in the pixel defect detection and correction apparatus according to an embodiment of the present invention,
【図8】本発明の第3の実施の形態の画素キズ検出・補正装置における画像データ値の大きさと変動の相関を考慮したキズ検出・補正ブロックのブロック図、 [8] The third size and a block diagram of a consideration to flaw detection and correction block correlation of the variation of the image data value in the pixel defect detection and correction apparatus according to an embodiment of the present invention,
【図9】本発明の第4の実施の形態における画素キズ検出・補正装置を用いた撮像装置の構成を示すブロック図。 9 is a block diagram showing a configuration of an imaging device using a pixel flaw detection and correction apparatus according to a fourth embodiment of the present invention.
【符号の説明】 DESCRIPTION OF SYMBOLS
11、91 レンズ12、92 補色フィルタ13、93 固体撮像素子14、94 映像信号15、95 アナログ処理ブロック16、96 A/D変換装置17、97 キズ検出・補正ブロック18、98 キズ補正映像信号21 Ye(イエロー) 11, 91 lenses 12,92 complementary filter 13,93 solid-state imaging device 14,94 video signal 15,95 analog processing block 16,96 A / D converter 17,97 flaw detecting and correcting block 18,98 flaw corrected video signal 21 Ye (yellow)
22 Cy(シアン) 22 Cy (cyan)
23 Mg(マゼンダ) 23 Mg (magenta)
24 G(グリーン) 24 G (green)
31 YM(Ye+Mg) 31 YM (Ye + Mg)
32 CG(Cy+G) 32 CG (Cy + G)
41 YM 41 YM
42 CG 42 CG
43 YG 43 YG
44 CM 44 CM
45 図5に切り出される部分61 画像信号入力62 ラインメモリ63 遅延器64、71、81 推定データ65 注目画素の1画素飛ばして左右の同色フィルタの画素のデータ66、73、83 注目画素のデータ72 注目画素の1画素飛ばして左右の同色フィルタの画素のデータ74 最大値75 中央値76 最小値77 白キズ判定余裕データ78 黒キズ判定余裕データ79、813 選択器710、814 出力データ82 注目画素の1画素飛ばして左右の同色フィルタの画素のデータ84 最大値85 中央値86 最小値87 白キズ判定余裕データ88 黒キズ判定余裕データ89 白キズ判定余裕比率810 黒キズ判定余裕比率811 白キズ判定値812 黒キズ判定値99 画像信号処理ブロック910 画像データ 45 parts 61 the image signal input 62 line memory 63 delayer 64,71,81 estimation data 65 data 72 of the data 66,73,83 target pixel of pixels of the left and right of the same color filter skipping one pixel of the target pixel to be cut out in FIG. 5 of the target pixel 1 pixel skipping to the left and right of the same color filter pixel data 74 maximum 75 median 76 minimum 77 white scratch determination margin data 78 black defect determination margin data 79,813 selector 710,814 output data 82 of interest of the pixel of 1 pixel skipping the data 84 maximum value of the pixel of the left and right of the same color filter 85 median 86 minimum 87 white scratch determination margin data 88 black defect determination margin data 89 white defect determination margin ratio 810 black defect determination margin ratio 811 white defect determination value 812 black defect determination value 99 image signal processing block 910 image data

Claims (6)

  1. 補色フィルタが被着された固体撮像素子から出力された画素キズを含む映像信号をディジタル化するA/D変換手段と、 A / D converting means for digitizing the video signal complementary color filter comprises a pixel flaws that have been output from the solid-state imaging device that has been deposited,
    ディジタル化した映像信号の注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素の画素値を推定する推定手段と、 And estimating means for estimating a pixel value of the pixel of interest based on the sequence of the complementary color filter from the pixel values ​​of pixels around different color filters of the pixel of interest of the video signal digitized,
    前記推定手段にて推定された画素値と前記注目画素から1画素飛ばした左右の注目画素と同一の色フィルタの画素値とを比較して、最大値、中央値および最小値を求める比較手段と、 Compares the pixel value of the right and left same color filter and the pixel of interest with every other pixel and the estimated pixel values ​​from the pixel of interest by the estimating means, the maximum value, comparison means for determining the median and the minimum value ,
    前記注目画素の画素値から前記最大値を引いた値が白キズ判定余裕より大きいときは、前記注目画素を白キズと判定して前記中央値をキズ補正後の画素値とし、前記最小値から前記注目画素の画素値を引いた値が、前記黒キズ判定余裕より大きいときは、前記注目画素を黒キズと判定して前記中央値をキズ補正後の画素値とするキズ補正手段とを有することを特徴とする画素キズ検出・補正装置。 Wherein when the value obtained by subtracting the maximum value from the pixel value of the pixel of interest is larger than the white defect determination margin, the pixel of interest is determined that the white defects and the pixel value after the defect correction of the median from the minimum value minus the pixel values ​​of the pixel of interest, is greater than the black defect determination margin, and a defect correcting means to pixel value after the defect correction of the median the pixel of interest is determined that the black defect pixel flaw detection and correction apparatus characterized by.
  2. 記推定手段は、前記注目画素の周囲8画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定することを特徴とする請求項1に記載の画素キズ検出・補正装置 Before Symbol estimating means, based on an array of pixel values and a complementary color filter of the surrounding eight pixels of the target pixel, according to claim 1, wherein the benzalkonium to estimate the pixel value of the color filter of the pixel of interest pixel flaw detection and correction device.
  3. 記比較手段は Before Symbol comparison means,
    前記推定手段において推定された画素値と、 前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出し、 The multiplying a pixel value estimated in the estimation unit, and a value obtained by adding the white defect determination margin to the maximum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest, a determination margin coefficient to the maximum value was compared with the value, it detects white defects of pixels by comparing the pixel value of the pixel of interest and its smaller one,
    前記推定手段において推定された画素値と、 前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出することを特徴とする請求項1または請求項2に記載の画素キズ検出・補正装置 The multiplying a pixel value estimated in the estimation unit, and a value obtained by subtracting the black defect determination margin from the minimum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest, a determination margin coefficient to the minimum value was then compared with the value, the larger of the pixel flaw detection according to claim 1 or claim 2, wherein the benzalkonium detecting the black defect of the pixel by comparing the pixel value of the pixel of interest and correction circuitry.
  4. 前記補正手段は前記推定手段において推定された画素値と前記注目画素を1画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正することを特徴とする請求項1ないし請求項3のいずれかに記載の画素キズ検出・補正装置 Wherein the correction means, according to claim 1 or claim, wherein the benzalkonium to correct the flaw pixels by the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest and the estimated pixel value in said estimating means pixel flaw detection and correction apparatus according to any one of claim 3.
  5. 請求項1に記載の画素キズ検出・補正装置用のプログラムであって、 A program for pixel flaw detection and correction device according to claim 1,
    コンピュータに、 On the computer,
    注目画素の周囲8画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定する手順と、 Based on an array of pixel values and a complementary color filter of the surrounding eight pixels of the pixel of interest, the procedure for estimating the pixel value of the color filter of the pixel of interest,
    前記推定された画素値と、前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出する手順と、 Wherein the estimated pixel value, a value obtained by adding the white defect determination margin to the maximum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest, a value obtained by multiplying the determined margin coefficient to the maximum value compare, and procedures for detecting white defects of pixels by comparing the pixel value of the pixel of interest and its smaller one,
    前記推定された画素値と、前記注目画素を1画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出する手順と、 Wherein the estimated pixel value, a value obtained by subtracting the black defect determination margin from the minimum value of the pixel values of the left and right of the same color filter skipping one pixel the pixel of interest, a value obtained by multiplying the determined margin coefficient to the minimum value compare, and procedures for detecting black defect of the pixel by comparing the pixel value of the pixel of interest and its large person,
    前記推定された画素値と前記注目画素を1画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正する手順と、 A step of correcting the flaw pixels by the pixel values of the left and right of the same color filter skipping the estimated pixel pixel value and the pixel of interest has been,
    を実行させるためのプログラム。 Program for the execution.
  6. 請求項5に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 Computer readable recording medium recording a program of claim 5.
JP2001356812A 2001-11-22 2001-11-22 Pixel flaw detection and correction device Expired - Fee Related JP4166974B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001356812A JP4166974B2 (en) 2001-11-22 2001-11-22 Pixel flaw detection and correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001356812A JP4166974B2 (en) 2001-11-22 2001-11-22 Pixel flaw detection and correction device

Publications (2)

Publication Number Publication Date
JP2003158744A JP2003158744A (en) 2003-05-30
JP4166974B2 true JP4166974B2 (en) 2008-10-15

Family

ID=19168263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001356812A Expired - Fee Related JP4166974B2 (en) 2001-11-22 2001-11-22 Pixel flaw detection and correction device

Country Status (1)

Country Link
JP (1) JP4166974B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3747909B2 (en) 2002-12-24 2006-02-22 ソニー株式会社 Pixel defect detection and correction apparatus and pixel defect detection and correction method
US7388609B2 (en) * 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
JP4559049B2 (en) * 2003-08-26 2010-10-06 ノーリツ鋼機株式会社 Printing apparatus and printing method
JP5008122B2 (en) * 2005-10-31 2012-08-22 株式会社日立国際電気 Defective pixel correction method and defective pixel correction apparatus of the solid-state imaging device
JP2007251698A (en) * 2006-03-16 2007-09-27 Sharp Corp Method and circuit for correcting defective pixel
JP5900194B2 (en) 2012-07-02 2016-04-06 ソニー株式会社 Signal processing apparatus, signal processing method, a program, a solid-state imaging device and an electronic apparatus,

Also Published As

Publication number Publication date
JP2003158744A (en) 2003-05-30

Similar Documents

Publication Publication Date Title
KR101253760B1 (en) Image processing device and method, imaging device, and computer program
US7508975B2 (en) Image sensor
US7847829B2 (en) Image processing apparatus restoring color image signals
KR101267661B1 (en) Improvement of poor color and full colored image cfa
US7362894B2 (en) Image processing apparatus and method, recording medium, and program
US7990447B2 (en) Solid-state image sensor
JP5935876B2 (en) The image processing apparatus, an imaging device, image processing method, and program
US20080062409A1 (en) Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera
JP4054184B2 (en) Defective pixel correction device
JP4709084B2 (en) Image processing apparatus and image processing method
US8164665B2 (en) Method and apparatus for controlling pixel sensor elements
US8571346B2 (en) Methods and devices for defective pixel detection
US7623163B2 (en) Method and apparatus for color interpolation
US7015961B2 (en) Digital image system and method for combining demosaicing and bad pixel correction
JP4501855B2 (en) Image signal processing apparatus, an imaging apparatus, an image signal processing method and computer program
CN101385359B (en) Imaging device, image processing device and image processing method
JP4547223B2 (en) Imaging system, the noise reduction processing apparatus and an imaging processing program
JP5011814B2 (en) Imaging apparatus, image processing method, and computer program
JP4914303B2 (en) The image processing apparatus and an imaging apparatus, an image processing method and an imaging method, an image processing program
US20050243181A1 (en) Device and method of detection of erroneous image sample data of defective image samples
EP1298921B1 (en) Solid-state imaging apparatus
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US7970231B2 (en) Image processing method
KR101130023B1 (en) Solid-state image sensing device
JP4194336B2 (en) The semiconductor integrated circuit, the defective pixel correction method, and an image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061110

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20061130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080731

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees