JP4794978B2 - Image processing apparatus, control method, and program - Google Patents

Image processing apparatus, control method, and program Download PDF

Info

Publication number
JP4794978B2
JP4794978B2 JP2005310550A JP2005310550A JP4794978B2 JP 4794978 B2 JP4794978 B2 JP 4794978B2 JP 2005310550 A JP2005310550 A JP 2005310550A JP 2005310550 A JP2005310550 A JP 2005310550A JP 4794978 B2 JP4794978 B2 JP 4794978B2
Authority
JP
Japan
Prior art keywords
correction process
imaging data
image processing
defective pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005310550A
Other languages
Japanese (ja)
Other versions
JP2007124056A (en
JP2007124056A5 (en
Inventor
敏治 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005310550A priority Critical patent/JP4794978B2/en
Publication of JP2007124056A publication Critical patent/JP2007124056A/en
Publication of JP2007124056A5 publication Critical patent/JP2007124056A5/ja
Application granted granted Critical
Publication of JP4794978B2 publication Critical patent/JP4794978B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像素子を用いて撮像した画像データを処理する画像処理装置、制御方法、及びプログラムに関し、特に、撮像素子の欠陥画素に対処する技術に関する。   The present invention relates to an image processing apparatus, a control method, and a program for processing image data captured using an image sensor, and more particularly to a technique for dealing with defective pixels of an image sensor.

従来、ＣＣＤ、ＣＭＯＳ等により構成されたイメージセンサ（以下、撮像素子と称する）を用いて静止画像や動画像を撮像し、記録及び再生するディジタルカメラ等の画像処理装置が知られている。この種の画像処理装置で使用される撮像素子は、その製造過程等において画素単位で欠陥（キズ）が生じ、光反応はあるものの異常に高レベルの撮像信号を出力する白キズ等の画素が含まれている場合がある。   2. Description of the Related Art Conventionally, an image processing apparatus such as a digital camera that captures a still image or a moving image by using an image sensor (hereinafter referred to as an image sensor) configured by a CCD, a CMOS, or the like, and records and reproduces the image is known. An image sensor used in this type of image processing apparatus has defects (scratches) in units of pixels in its manufacturing process, etc., and although there is a photoreaction, pixels such as white scratches that output an abnormally high level image signal are present. May be included.

図９は、このようなキズをもつ画素（以下、キズ画素と称する）を含む撮像素子のキズ分布（ヒストグラム）を例示したものである。図９のヒストグラムでは、Ａ点およびＢ点の画素の領域でキズ画素が多いことがわかる。このＡ点の画素は、通常の撮影条件（例えば常温で電荷蓄積時間１／１２５秒）でもキズ画素としてわかる程の高いキズレベルである。一方、Ｂ点の画素は、通常の撮影条件ではほとんど認識できない程度の低いキズレベルであるが、例えば高温で電荷蓄積時間３０秒といった撮影条件でキズが目立ってくる程度のキズレベルである。 FIG. 9 exemplifies a flaw distribution (histogram) of an image sensor including such a flawed pixel (hereinafter referred to as a flaw pixel). In the histogram of FIG. 9, it can be seen that there are many scratched pixels in the pixel area of point A and point B. The pixel at point A has a scratch level that is high enough to be recognized as a scratch pixel even under normal shooting conditions (for example, charge accumulation time 1/125 seconds at room temperature). On the other hand, the pixel at the point B, but in normal shooting condition is a low degree of Kizureberu barely recognized a Kizureberu enough to conspicuous scratches shooting conditions such charge accumulation time of 30 seconds at high temperature if example embodiment.

このようなキズ画素の影響を低減するために、近年の画像処理装置においては、欠陥画素補正処理（以後、キズ補正処理と称する）を行うのが一般的である。このキズ補正処理を行なうためのキズ画素の判別は、主に、次のようにして行なっている。   In order to reduce the influence of such flaw pixels, in recent image processing apparatuses, it is common to perform defective pixel correction processing (hereinafter referred to as flaw correction processing). The determination of a flaw pixel for performing this flaw correction processing is mainly performed as follows.

すなわち、撮像素子を工場から出荷する前に、所定のＩＳＯ感度、温度等の条件の下に標準の電荷蓄積時間で撮像動作を行なった場合の撮像素子の出力を評価し、その評価結果に基づいてキズ画素を判別する方法が採られている。そして、キズ画素を判別した撮像素子を画像処理装置に組み込む際に、キズ画素であると判別された各画素の位置データと、そのキズレベルを記述したキズ画素データファイルを、当該画像処理装置内の所定の不揮発性メモリに記憶するようにしている。   That is, before shipping the image pickup device from the factory, the output of the image pickup device when the image pickup operation is performed with the standard charge accumulation time under the conditions such as predetermined ISO sensitivity and temperature is evaluated, and based on the evaluation result. A method for discriminating flawed pixels is employed. Then, when the image sensor that has determined the flaw pixel is incorporated into the image processing apparatus, the position data of each pixel that has been determined to be a flaw pixel and a flaw pixel data file that describes the flaw level are stored in the image processing apparatus. The data is stored in a predetermined non-volatile memory.

そして、画像処理装置で撮像した撮像データに対するキズ補正処理では、キズ画素に隣接する画素（互いに同色の場合もある）の撮像データを用いてキズ画素に係る撮像データに対する補間演算処理を行うことにより、キズ画素に起因する画質劣化を低減している（例えば、特許文献１，２参照）。   In the defect correction process for the image data captured by the image processing apparatus, the interpolation calculation process is performed on the image data related to the defect pixel using the image data of the pixels adjacent to the defect pixel (which may be the same color as each other). , Image quality deterioration due to scratch pixels is reduced (see, for example, Patent Documents 1 and 2).

しかしながら、上記のように隣接画素データを用いて補間補正処理を行う場合、キズ画素の近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合には、補正跡が残ってしまい、キズ補正処理による画質劣化を招いてしまう。例えば、高輝度部と暗部がある被写体を撮像する場合に、境界の暗部に対応する位置の画素がキズ画素であるときは、隣接の高輝度部と暗部の平均出力値で補間すると、暗部であるにも拘らず明るめの画素データとして補正されてしまう。   However, when interpolation correction processing is performed using adjacent pixel data as described above, a correction trace remains if there is a shading boundary in the vicinity of a flaw pixel or if the contrast changes rapidly. As a result, the image quality is deteriorated due to the scratch correction process. For example, when imaging a subject with a high-brightness part and a dark part, if the pixel at the position corresponding to the dark part at the boundary is a scratch pixel, interpolation with the average output value of the adjacent high-brightness part and dark part will result in the dark part. Nevertheless, it is corrected as bright pixel data.

特に、キズレベルの低いキズ画素に関しては、キズが目立ちにくい条件で撮像された撮像データに対してキズ補正処理を行なうと、補正前の画質よりも補正後の画質の方が悪くなる所謂、過補正という状態が発生する。また、画素数の多い撮像素子においては、キズ画素の比率も高くなるため、過補正となる画素が増えてしまう傾向にある。   In particular, with respect to a flaw pixel with a low flaw level, when flaw correction processing is performed on image data captured under conditions in which flaws are not conspicuous, the image quality after correction becomes worse than the image quality before correction, so-called overcorrection. This occurs. Further, in an image sensor with a large number of pixels, the ratio of flawed pixels also increases, so that the number of overcorrected pixels tends to increase.

そこで、過補正の回避策として、補正後の画質劣化が目立つキズ画素であるか否かを判別し、画質劣化が目立たないキズ画素であると判定したキズ画素については、そのキズ画素に係る撮像データに対する補間補正処理を省略する提案がなされている（例えば、特許文献３参照）。   Therefore, as a measure to avoid overcorrection, it is determined whether or not the image quality deterioration after correction is a conspicuous flaw pixel, and for a flaw pixel that is determined to be a flaw pixel in which the image quality deterioration is not conspicuous, imaging related to the flaw pixel There has been a proposal that omits interpolation correction processing for data (see, for example, Patent Document 3).

しかし、上記提案では過補正を回避することはできるが、キズ画素に係る撮像データ自体は無補正状態で存在するため、撮像データに対して画像処理を行なった場合等にキズが見えてしまうという問題も残る。   However, in the above proposal, overcorrection can be avoided, but the image data itself related to the flawed pixel exists in an uncorrected state, so that the flaw appears when image processing is performed on the imaged data. The problem remains.

また、オプティカルブラック領域によりキズ画素を判別し、キズ画素と判別された画素の出力データを、オプティカルブラック領域の出力データに基づいてオフセット補正する提案もなされている（例えば、特許文献４参照）。   In addition, a proposal has been made that discriminates a defective pixel from the optical black area and offset-corrects the output data of the pixel determined to be a defective pixel based on the output data of the optical black area (see, for example, Patent Document 4).

この提案のキズ補正処理は、補正基準がオプティカルブラック領域の出力データであり、一定方向にキズ画素が発生する線キズに対しては有効である。しかし、点キズや高温での長秒時撮影等でノイズが大きくなる条件下では、暗電流等に起因してオプティカルブラック領域の出力データにズレが生じる場合があり、このズレがオフセット補正に悪影響を及ぼす可能性がある。
特開平１０−４２２０１号公報 特開２００３−３３３４３５号公報 特開２００４−２３６８３号公報 特開２００５−１３６８３４号公報 This proposed flaw correction process is effective for line flaws in which flaw pixels are generated in a fixed direction, with the correction reference being optical black region output data. However, under conditions where the noise becomes large due to point scratches or long-time shooting at high temperatures, the output data in the optical black area may be shifted due to dark current, etc., and this shift adversely affects offset correction. May affect.
Japanese Patent Laid-Open No. 10-42201 JP 2003-333435 A JP 2004-23683 A JP 2005-136634 A

本発明は、このような背景の下になされたもので、画質劣化を可及的に回避しつつ画素欠陥補正処理を行ない得る画像処理装置、制御方法、及びプログラムを提供することを目的とする。   The present invention has been made under such a background, and an object thereof is to provide an image processing apparatus, a control method, and a program capable of performing pixel defect correction processing while avoiding image quality degradation as much as possible. .

上記目的を達成するため、本発明は、撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする。
To achieve the above object, the present invention is an image processing apparatus performing image processing on image pickup data captured using the image sensor, a storage means for the position and the defect level of the defective pixels of the imaging device is stored, wherein A correction unit configured to correct the imaging data based on the position of the defective pixel stored in the storage unit and the defect level; and the correction unit performs an interpolation correction process on the imaging data or the imaging Whether to perform an offset correction process on the data, and for the imaging data relating to a defective pixel having a defect level higher than a predetermined level stored in the storage unit, the offset correction process is performed. Without executing, the interpolation correction process is executed, and the imaging data relating to the defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. Against performs the offset correction process, characterized in that it does not execute the interpolation correction.

本発明によれば、画質劣化を可及的に回避しつつ画素欠陥補正を行ない得る撮像装置、制御方法、及びプログラムを提供することが可能となる。
According to the present invention, it is possible to provide an imaging apparatus, a control method, and a program that can perform pixel defect correction while avoiding image quality degradation as much as possible.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。図１は本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.

本画像処理装置は、装置本体としての画像処理装置１００と、画像処理装置１００に対し着脱可能に装着される記録媒体２００，２１０と、画像処理装置１００に対し着脱可能に装着されるレンズユニット３００を備えている。   The image processing apparatus includes an image processing apparatus 100 as a main body of the apparatus, recording media 200 and 210 that are detachably attached to the image processing apparatus 100, and a lens unit 300 that is detachably attached to the image processing apparatus 100. It has.

画像処理装置１００のシャッタ１２は、撮像素子１４への露光量を制御する。撮像素子１４は、被写体の光学像を電気信号に変換する。レンズユニット３００のレンズ３１０に入射した光線は、一眼レフ方式によって、絞り３１２、レンズマウント３０６、及び画像処理装置１００のレンズマウント１０６、ミラー１３０、シャッタ１２を介して、被写体の光学像として撮像素子１４上に結像される。   The shutter 12 of the image processing apparatus 100 controls the exposure amount to the image sensor 14. The image sensor 14 converts an optical image of a subject into an electrical signal. A light beam incident on the lens 310 of the lens unit 300 is imaged as an optical image of a subject through the diaphragm 312, the lens mount 306, the lens mount 106 of the image processing apparatus 100, the mirror 130, and the shutter 12 by a single lens reflex method. 14 is imaged.

Ａ／Ｄ変換器１６は、撮像素子１４のアナログ信号出力をディジタル信号に変換する。タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するものであり、メモリ制御回路２２及びシステム制御回路５０により制御される。   The A / D converter 16 converts the analog signal output of the image sensor 14 into a digital signal. The timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14, the A / D converter 16, and the D / A converter 26, and is controlled by the memory control circuit 22 and the system control circuit 50.

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。   The image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on the image data from the A / D converter 16 or the image data from the memory control circuit 22. The image processing circuit 20 performs predetermined arithmetic processing using the captured image data, and performs TTL AWB (auto white balance) processing based on the arithmetic result.

システム制御回路５０は、その演算結果に基づいてシャッタ制御部４０、測距部４２、測光部４６等を適宜制御することにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理を行う。   The system control circuit 50 appropriately controls the shutter control unit 40, the distance measurement unit 42, the photometry unit 46, and the like based on the calculation result, thereby performing TTL (through-the-lens) AF (auto focus) processing, AE (automatic exposure) processing and EF (flash light control) processing are performed.

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデジタルデータは、画像処理回路２０とメモリ制御回路２２を介して、或いはメモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。   The memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the image display memory 24, the D / A converter 26, the memory 30, and the compression / decompression circuit 32. The digital data output from the A / D converter 16 is written into the image display memory 24 or the memory 30 via the image processing circuit 20 and the memory control circuit 22 or via the memory control circuit 22.

画像表示メモリ２４は、表示用の画像データを記憶する。Ｄ／Ａ変換器２６は、メモリ制御回路２２から出力されたディジタル信号をアナログ信号に変換し、画像表示部２８に出力する。メモリ３０は、撮影した静止画像データや動画像データを格納するためのメモリであり、その記憶容量は、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な容量となっている。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。   The image display memory 24 stores image data for display. The D / A converter 26 converts the digital signal output from the memory control circuit 22 into an analog signal and outputs the analog signal to the image display unit 28. The memory 30 is a memory for storing captured still image data and moving image data, and has a storage capacity sufficient for storing a predetermined number of still image data and moving image data for a predetermined time. ing. The memory 30 can also be used as a work area for the system control circuit 50.

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長するものであり、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、その圧縮・伸長に係る画像データをメモリ３０に書き込む。   The compression / decompression circuit 32 compresses / decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads the image data stored in the memory 30, performs compression processing or decompression processing, and compresses / decompresses the image data. Is written in the memory 30.

シャッタ制御部４０は、測光部４６からの測光情報に基づいて、レンズユニット３００の絞り３１２を駆動する絞り駆動機構３４０と連携しながら、シャッタ１２を開閉制御する。測距部４２は、ＡＦ（オートフォーカス）処理を行なう際に利用される。温度計４４は、撮影環境の温度を検出するために備えられている。この温度計４４を撮像素子１４内に設けた場合は、撮像素子１４の暗電流をより正確に予想することが可能となる。測光部４６は、ＡＥ（自動露出）処理を行なう際に利用される。   The shutter control unit 40 controls the opening and closing of the shutter 12 based on the photometric information from the photometric unit 46 in cooperation with the aperture driving mechanism 340 that drives the aperture 312 of the lens unit 300. The distance measuring unit 42 is used when performing AF (autofocus) processing. The thermometer 44 is provided for detecting the temperature of the photographing environment. When this thermometer 44 is provided in the image sensor 14, the dark current of the image sensor 14 can be predicted more accurately. The photometry unit 46 is used when performing AE (automatic exposure) processing.

システム制御回路５０は、画像処理装置１００全体を制御するものであり、メモリ５２に記憶されたプログラムに基づいて後述の各フローチャートに示す処理を実行する。メモリ５２は、上記のプログラムの他、システム制御回路５０の動作用の定数、変数等も記憶している。   The system control circuit 50 controls the entire image processing apparatus 100, and executes processing shown in each flowchart described later based on a program stored in the memory 52. The memory 52 stores constants and variables for operation of the system control circuit 50 in addition to the above programs.

表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像を用いて動作状態、メッセージ等を表示出力するＬＣＤ、ＬＥＤ等を備えている。この表示部５４は、画像処理装置１００の操作部７０の近辺の視認し易い位置に単数或いは複数個設置されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。   The display unit 54 includes an LCD, an LED, and the like that display and outputs an operation state, a message, and the like using characters and images according to execution of a program in the system control circuit 50. One or a plurality of the display units 54 are installed at positions in the vicinity of the operation unit 70 of the image processing apparatus 100 that are easily visible. The display unit 54 has a part of its function installed in the optical viewfinder 104.

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。この不揮発性メモリ５６には、各種パラメータ、ＩＳＯ感度などの設定値、設定モード等が記憶される。   The nonvolatile memory 56 is an electrically erasable / recordable memory, and for example, an EEPROM or the like is used. The nonvolatile memory 56 stores various parameters, setting values such as ISO sensitivity, setting modes, and the like.

また、不揮発性メモリ５６には、キズ画素データファイルも格納されている。このキズ画素データファイルは、撮像素子１４を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間、すなわち露光時間で撮像素子１４を露光し、その撮像素子１４から出力される画像データを画素単位で評価してキズ画素を判定して作成されたものである。このキズ画素データファイルは、各キズ画素に関する位置データ（Ｘ，Ｙ）とキズレベルデータ（レベル１〜５）を纏めたものである。以下、個々のキズ画素の位置データとキズレベルデータとを、キズ画素データと称する。   The non-volatile memory 56 also stores a flaw pixel data file. The flaw pixel data file is an image output from the image sensor 14 by exposing the image sensor 14 with a standard charge accumulation time, that is, an exposure time, under a predetermined environment before shipping the image sensor 14 from the factory. The data is created by evaluating the data in units of pixels and determining scratch pixels. This flaw pixel data file is a collection of position data (X, Y) and flaw level data (levels 1 to 5) relating to each flaw pixel. Hereinafter, the position data and the scratch level data of each scratch pixel are referred to as scratch pixel data.

また、不揮発性メモリ５６には、撮像時に撮像素子１４から実際に出力される画像データを上記のキズ画素データに基づいて補正する場合に使用する補正パターン情報も格納されている。この補正パターン情報は、テーブル化されており、電荷蓄積時間とＩＳＯ感度の組み合わせに応じて、補正の内容をパターン化したものである。この補正パターンテーブルと上記のキズ画像データを用いたキズ補正処理の詳細は、後述する。   The non-volatile memory 56 also stores correction pattern information used when image data actually output from the image sensor 14 at the time of imaging is corrected based on the flaw pixel data. The correction pattern information is tabulated, and the correction contents are patterned according to the combination of the charge accumulation time and ISO sensitivity. Details of the flaw correction processing using this correction pattern table and the flaw image data will be described later.

モードダイアルスイッチ６０は、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、パノラマ撮影モード等の各種の撮影モードを切り替え設定することができる。   The mode dial switch 60 can switch and set various shooting modes such as an automatic shooting mode, a program shooting mode, a shutter speed priority shooting mode, an aperture priority shooting mode, a manual shooting mode, a portrait shooting mode, and a panoramic shooting mode. .

シャッタスイッチ６２は、不図示のシャッタボタンの半押し状態でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作がシステム制御回路５０の制御の下に開始される。   The shutter switch 62 is turned on when a shutter button (not shown) is half-pressed, and performs operations such as AF (auto focus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash dimming) processing. Is started under the control of the system control circuit 50.

シャッタスイッチ６４は、不図示のシャッタボタンの完全な押下状態でＯＮとなる。シャッタスイッチ６４がＯＮされると、システム制御回路５０の制御の下に一連の処理が開始される。この一連の処理としては、撮像素子１４に対する露光処理、撮像素子１４からのアナログ画像信号のＡ／Ｄ変換処理、Ａ／Ｄ変換に係る画像データに対する画像処理、圧圧縮処理、記録処理等がある。   The shutter switch 64 is turned on when a shutter button (not shown) is completely pressed. When the shutter switch 64 is turned on, a series of processes is started under the control of the system control circuit 50. As this series of processing, there are exposure processing for the image sensor 14, A / D conversion processing of analog image signals from the image sensor 14, image processing for image data related to A / D conversion, pressure compression processing, recording processing, and the like. .

再生スイッチ６６は、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００，２１０から読み出して画像表示部２８に表示する再生動作を指示するものである。単写／連写スイッチ６８は、シャッタスイッチ６４がＯＮされた場合に１駒の撮影を行って待機状態とする単写モードと、シャッタスイッチ６４がＯＮされている間は連続して撮影を行い続ける連写モードとを設定することができる。ＩＳＯ感度設定スイッチ６９は、撮像素子１４或いは画像処理回路２０におけるゲインの設定を変更することにより、ＩＳＯ感度（撮影感度）を設定することができる。   The reproduction switch 66 is for instructing a reproduction operation for reading out a photographed image from the memory 30 or the recording media 200 and 210 and displaying it on the image display unit 28 in the photographing mode state. The single-shot / continuous-shot switch 68 continuously takes pictures while the shutter switch 64 is ON, and the single-shot mode in which one picture is taken when the shutter switch 64 is turned ON to enter a standby state. The continuous shooting mode can be set. The ISO sensitivity setting switch 69 can set the ISO sensitivity (shooting sensitivity) by changing the gain setting in the image sensor 14 or the image processing circuit 20.

操作部７０は、各種ボタン、スイッチ、タッチパネル等により構成されている。このボタンとしては、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。   The operation unit 70 includes various buttons, switches, a touch panel, and the like. These buttons include a menu button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, a shooting image quality selection button, an exposure correction button, a date / time setting button, and the like.

電源スイッチ７２は、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、電源スイッチ７２は、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００，２１０等の各種付属装置の電源オン、電源オフの設定も併せて切り替え設定することができる。   The power switch 72 can switch between power-on and power-off modes of the image processing apparatus 100. The power switch 72 can also switch and set the power on and power off settings of various attached devices such as the lens unit 300, the external strobe, and the recording media 200 and 210 connected to the image processing apparatus 100.

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、システム制御回路５０の指示等に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。コネクタ８２，８４は、電源制御部８０と電源８６とを接続する。電源８６は、アルカリ電池、リチウム電池等の一次電池や、ＮｉＣｄ電池、Ｌｉ電池等の二次電池、充電器、ＡＣアダプタ等から構成されている。   The power supply control unit 80 is configured by a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like, and controls the DC-DC converter based on an instruction from the system control circuit 50 and the necessary voltage. Is supplied to each part for a necessary period. The connectors 82 and 84 connect the power control unit 80 and the power source 86. The power source 86 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery or a Li battery, a charger, an AC adapter, or the like.

インタフェース９０，９４は、メモリカードやハードディスク等の記録媒体２００，２１０とのインタフェースを司る。コネクタ９２，９６は、画像処理装置１００と記録媒体２００、２１０とを接続する。記録媒体着脱検知部９８は、コネクタ９２，９６に記録媒体２００、２１０が装着されているか否かを検知する。   The interfaces 90 and 94 manage the interface with the recording media 200 and 210 such as a memory card and a hard disk. The connectors 92 and 96 connect the image processing apparatus 100 and the recording media 200 and 210. The recording medium attachment / detachment detection unit 98 detects whether or not the recording media 200 and 210 are attached to the connectors 92 and 96.

光学ファインダ１０４は、レンズユニット３００のレンズ３１０に入射した光線をミラー１３０，１３２等を介して導入し、光学像として結像表示することができる。この光学ファインダ１０４には、表示部５４の一部の表示機能、例えば、合焦表示、手振れ警告表示、シャッタスピード表示、絞り値表示等の表示機能を有している。   The optical finder 104 can introduce a light beam incident on the lens 310 of the lens unit 300 through the mirrors 130 and 132 and can display it as an optical image. The optical viewfinder 104 has some display functions of the display unit 54, for example, display functions such as in-focus display, camera shake warning display, shutter speed display, and aperture value display.

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０により画像処理装置１００を他の機器と接続する場合はコネクタとして機能し、無線通信の場合はアンテナとして機能する。インタフェース１２０は、レンズマウント１０６内において、画像処理装置１００をレンズユニット３００と接続するためのインタフェースである。   The communication unit 110 has various communication functions such as RS232C, USB, IEEE1394, P1284, SCSI, modem, LAN, and wireless communication. The connector / antenna 112 functions as a connector when the image processing apparatus 100 is connected to another device by the communication unit 110, and functions as an antenna in the case of wireless communication. The interface 120 is an interface for connecting the image processing apparatus 100 to the lens unit 300 in the lens mount 106.

コネクタ１２２は、画像処理装置１００をレンズユニット３００と電気的に接続する。レンズユニット３００は、交換レンズタイプとして構成されている。レンズマウント３０６は、レンズユニット３００を画像処理装置１００と機械的に結合する。撮影レンズ群３１０は、被写体像を取り込む。絞り３１２は、撮影レンズ群３１０から入る光量を調節する。インタフェース３２０は、レンズマウント３０６内において、レンズユニット３００を画像処理装置１００と接続するためのインタフェースを司る。コネクタ３２２は、レンズユニット３００を画像処理装置１００と電気的に接続する。   The connector 122 electrically connects the image processing apparatus 100 to the lens unit 300. The lens unit 300 is configured as an interchangeable lens type. The lens mount 306 mechanically couples the lens unit 300 with the image processing apparatus 100. The taking lens group 310 captures a subject image. The diaphragm 312 adjusts the amount of light entering from the photographing lens group 310. The interface 320 controls an interface for connecting the lens unit 300 to the image processing apparatus 100 in the lens mount 306. The connector 322 electrically connects the lens unit 300 to the image processing apparatus 100.

絞り制御機構３４０は、画像処理装置１００の測光部４６からの測光情報に基づいてシャッタ１２を制御するシャッタ制御部４０と連携しながら、絞り３１２の開口量を調節する。測距制御機構３４２は、合焦動作を行なうべく撮影レンズ群３１０の所定レンズ位置を変化させる。ズーム制御機構３４４は、変倍動作を行なうべく撮影レンズ群３１０の所定レンズの位置を変化させる。レンズ制御回路３５０は、レンズユニット３００全体を制御する。   The aperture control mechanism 340 adjusts the aperture amount of the aperture 312 in cooperation with the shutter control unit 40 that controls the shutter 12 based on the photometric information from the photometric unit 46 of the image processing apparatus 100. The distance measurement control mechanism 342 changes a predetermined lens position of the photographic lens group 310 to perform a focusing operation. The zoom control mechanism 344 changes the position of a predetermined lens of the photographing lens group 310 so as to perform a zooming operation. The lens control circuit 350 controls the entire lens unit 300.

次に、画像処理装置１００の主要な動作を図２，３のフローチャートに基づいて説明する。   Next, main operations of the image processing apparatus 100 will be described based on the flowcharts of FIGS.

電池交換等により画像処理装置１００に対して電源が投入されると、システム制御回路５０は、画像処理装置１００の各部において必要な所定の初期設定を行う（ステップＳ１０１）。次に、システム制御回路５０は、電源スイッチ７２がＯＮ／ＯＦＦの何れに設定されているかを判別する（ステップＳ１０２）。電源スイッチ７２がＯＦＦに設定されている場合は、システム制御回路５０は、各表示部の表示を終了状態に変更し、各種のパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により、画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０３）、ステップＳ１０２に戻る。   When power is turned on to the image processing apparatus 100 due to battery replacement or the like, the system control circuit 50 performs predetermined initial settings necessary for each unit of the image processing apparatus 100 (step S101). Next, the system control circuit 50 determines whether the power switch 72 is set to ON / OFF (step S102). When the power switch 72 is set to OFF, the system control circuit 50 changes the display of each display unit to the end state, records various parameters, setting values, and setting modes in the nonvolatile memory 56, and The control unit 80 performs predetermined end processing such as shutting off unnecessary power sources of the respective units of the image processing apparatus 100 (step S103), and then returns to step S102.

一方、電源スイッチ７２がＯＮに設定されている場合は、システム制御回路５０は、電源制御部８０により、電池等の電源８６の残容量が画像処理装置１００の動作に問題を来たさない程度に充分であるか否かを判別する（ステップＳ１０４）。その結果、電源８６の残容量が不充分であれば、システム制御回路５０は、表示部５４を用いて所定の警告を行い（ステップＳ１０５）、ステップＳ１０２に戻る。一方、電源８６の残容量が充分であれば、システム制御回路５０は、モードダイアルスイッチ６０により設定されたモードを判別する（ステップＳ１０６）。   On the other hand, when the power switch 72 is set to ON, the system control circuit 50 causes the power control unit 80 to prevent the remaining capacity of the power source 86 such as a battery from causing a problem in the operation of the image processing apparatus 100. It is determined whether it is sufficient (step S104). As a result, if the remaining capacity of the power source 86 is insufficient, the system control circuit 50 issues a predetermined warning using the display unit 54 (step S105), and returns to step S102. On the other hand, if the remaining capacity of the power supply 86 is sufficient, the system control circuit 50 determines the mode set by the mode dial switch 60 (step S106).

その結果、モードダイアルスイッチ６０により撮影モード以外のモードが設定されている場合は、システム制御回路５０は、そのモードに応じた処理を行なって（ステップＳ１０７）、ステップＳ１０２に戻る。一方、モードダイアルスイッチ６０により撮影モードが設定されている場合は、システム制御回路５０は、記録媒体２００，２１０に何らかの問題があるか否かを判別する（ステップＳ１０８）。   As a result, when a mode other than the shooting mode is set by the mode dial switch 60, the system control circuit 50 performs processing according to the mode (step S107) and returns to step S102. On the other hand, when the shooting mode is set by the mode dial switch 60, the system control circuit 50 determines whether or not there is any problem with the recording media 200 and 210 (step S108).

その結果、記録媒体２００，２１０に何らかの問題がある場合は、システム制御回路５０は、ステップＳ１０５に進み、表示部５４を用いて所定の警告を行なう。一方、記録媒体２００，２１０に問題がない場合は、システム制御回路５０は、表示部５４を用いて画像処理装置１００の各種設定状態の表示出力や音声出力を行う（ステップＳ１０９）。   As a result, if there is any problem with the recording media 200 and 210, the system control circuit 50 proceeds to step S105 and issues a predetermined warning using the display unit 54. On the other hand, when there is no problem in the recording media 200 and 210, the system control circuit 50 performs display output and audio output of various setting states of the image processing apparatus 100 using the display unit 54 (step S109).

次に、システム制御回路５０は、シャッタスイッチ６２のＯＮ／ＯＦＦ状態を判別する（ステップＳ１１０）。シャッタスイッチ６２がＯＦＦの場合は、システム制御回路５０は、ステップＳ１０２に戻る。シャッタスイッチ６２がＯＮの場合は、システム制御回路５０は、測距処理を行って撮影レンズ群３１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する測距・測光処理を行う（ステップＳ１１１）。   Next, the system control circuit 50 determines the ON / OFF state of the shutter switch 62 (step S110). If the shutter switch 62 is OFF, the system control circuit 50 returns to step S102. When the shutter switch 62 is ON, the system control circuit 50 performs a distance measurement process to focus the photographing lens group 310 on the subject, and performs a light measurement process to determine an aperture value and a shutter time. Is performed (step S111).

次に、システム制御回路５０は、シャッタスイッチ６４のＯＮ／ＯＦＦ状態を判別する（ステップＳ１１２）。シャッタスイッチ６４がＯＦＦの場合は、システム制御回路５０は、シャッタスイッチ６２のＯＮ／ＯＦＦ状態を再度判別する（ステップＳ１１３）。その結果、シャッタスイッチ６２がＯＦＦであれば、システム制御回路５０は、ステップＳ１０２に戻り、シャッタスイッチ６２がＯＮであれば、ステップＳ１１２に戻る。そのステップＳ１１２にて、シャッタスイッチ６４がＯＮされていると判別された場合は、システム制御回路５０は、メモリ３０の画像記憶バッファ領域の残容量が、撮影した新たな画像データを記憶するのに充分であるか否かを判別する（ステップＳ１１４）。その結果、画像記憶バッファ領域の残容量が不充分であれば、システム制御回路５０は、表示部５４を用いて所定の警告を行った後に（ステップＳ１１５）、ステップＳ１０２に戻る。   Next, the system control circuit 50 determines the ON / OFF state of the shutter switch 64 (step S112). If the shutter switch 64 is OFF, the system control circuit 50 determines again the ON / OFF state of the shutter switch 62 (step S113). As a result, if the shutter switch 62 is OFF, the system control circuit 50 returns to step S102, and if the shutter switch 62 is ON, returns to step S112. If it is determined in step S112 that the shutter switch 64 is ON, the system control circuit 50 uses the remaining capacity of the image storage buffer area of the memory 30 to store the new image data that has been taken. It is determined whether it is sufficient (step S114). As a result, if the remaining capacity of the image storage buffer area is insufficient, the system control circuit 50 issues a predetermined warning using the display unit 54 (step S115), and then returns to step S102.

一方、画像記憶バッファ領域の残容量が充分であれば、システム制御回路５０は、撮像素子１４から撮像信号を読み出して、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２等を介してメモリ３０の画像記憶バッファ領域に書き込む撮影処理を行なう（ステップＳ１１６）。この撮影処理の詳細は、後述する。   On the other hand, if the remaining capacity of the image storage buffer area is sufficient, the system control circuit 50 reads the image pickup signal from the image pickup device 14 and passes through the A / D converter 16, the image processing circuit 20, the memory control circuit 22, and the like. Then, a photographing process for writing into the image storage buffer area of the memory 30 is performed (step S116). Details of this photographing process will be described later.

次に、システム制御回路５０は、本実施の形態に特有な欠陥画素補正処理（キズ補正処理）を行なう（ステップＳ１１７）。このキズ補正処理の詳細は、後述する。   Next, the system control circuit 50 performs defective pixel correction processing (scratch correction processing) unique to the present embodiment (step S117). Details of the scratch correction processing will be described later.

次に、システム制御回路５０は、メモリ３０の画像記憶バッファ領域上のキズ補正処理後の画像データに対して、画像処理回路２０を用いてＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種の画像処理を行う（ステップＳ１１８）。そして、システム制御回路５０は、キズ補正処理や画像処理が施されたメモリ３０の画像記憶バッファ領域上の画像データに対して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２を用いて行なう（ステップＳ１１９）。   Next, the system control circuit 50 uses the image processing circuit 20 to perform AWB (auto white balance) processing, gamma conversion processing, color conversion on the image data after the scratch correction processing in the image storage buffer area of the memory 30. Various image processing including processing is performed (step S118). The system control circuit 50 uses the compression / decompression circuit 32 to perform image compression processing corresponding to the set mode on the image data in the image storage buffer area of the memory 30 that has been subjected to scratch correction processing and image processing. (Step S119).

次に、システム制御回路５０は、キズ補正処理、画像処理、及び圧縮処理が施された画像データをメモリ３０の画像記憶バッファ領域から読み出して、メモリカード、コンパクトフラッシュ（登録商標）カード等の記録媒体２００又は２１０に書き込む記録処理を開始する（ステップＳ１２０）。そして、システム制御回路５０は、シャッタスイッチ６２の状態を確認し（ステップＳ１２１）、シャッタスイッチ６２がＯＦＦされ次第、ステップＳ１０２に戻る。   Next, the system control circuit 50 reads the image data subjected to the defect correction process, the image process, and the compression process from the image storage buffer area of the memory 30 and records it on a memory card, a compact flash (registered trademark) card or the like. Recording processing to be written on the medium 200 or 210 is started (step S120). Then, the system control circuit 50 confirms the state of the shutter switch 62 (step S121), and returns to step S102 as soon as the shutter switch 62 is turned off.

次に、上記ステップＳ１１６における撮影処理の詳細を、図４，５のフローチャートに基づいて説明する。   Next, details of the photographing process in step S116 will be described based on the flowcharts of FIGS.

撮影処理においては、システム制御回路５０は、まず、ミラー１３０を不図示のミラー駆動機構によってミラーアップ位置に移動させる（ステップＳ３０１）。次に、システム制御回路５０は、メモリ５２等に記憶される測光データに基づいて、絞り制御機構３４０によって絞り３１２を所定の絞り値まで駆動させる（ステップＳ３０２）。   In the photographing process, the system control circuit 50 first moves the mirror 130 to the mirror up position by a mirror driving mechanism (not shown) (step S301). Next, the system control circuit 50 drives the aperture 312 to a predetermined aperture value by the aperture control mechanism 340 based on the photometric data stored in the memory 52 or the like (step S302).

次に、システム制御回路５０は、撮像素子１４上の残留電荷をクリアして（ステップＳ３０３）、撮像素子１４での新たな電荷蓄積動作を開始させる（ステップＳ３０４）。そして、システム制御回路５０は、シャッタ制御部４０によってシャッタ１２を開かせることにより（ステップＳ３０５）、撮像素子１４に対する露光を開始させる（ステップＳ３０６）。   Next, the system control circuit 50 clears the residual charge on the image sensor 14 (step S303), and starts a new charge accumulation operation in the image sensor 14 (step S304). Then, the system control circuit 50 causes the shutter control unit 40 to open the shutter 12 (step S305), thereby starting exposure to the image sensor 14 (step S306).

次に、システム制御回路５０は、フラッシュ４８が必要であるか否かを判別し（ステップＳ３０７）、フラッシュ４８が必要であれば、フラッシュ４８を発光させる（ステップＳ３０８）。次に、システム制御回路５０は、撮像素子１４に対する露光動作の終了タイミングとなったか否かを測光データに基づいて判別し（ステップＳ３０９）、露光動作の終了タイミングとなった場合は、シャッタ制御部４０によってシャッタ１２を閉じさせる（ステップＳ３１０）。   Next, the system control circuit 50 determines whether or not the flash 48 is necessary (step S307), and if the flash 48 is necessary, causes the flash 48 to emit light (step S308). Next, the system control circuit 50 determines whether or not the exposure operation end timing for the image sensor 14 has come (step S309). If the exposure operation end timing is reached, the shutter control unit The shutter 12 is closed by 40 (step S310).

次に、システム制御回路５０は、レンズユニット３００の絞り制機構３４０によって絞り３１２を開放の絞り値まで駆動すると共に（ステップＳ３１１）、ミラー１３０を不図示のミラー駆動機構によってミラーダウン位置に移動させる（ステップＳ３１２）。そして、システム制御回路５０は、設定した電荷蓄積時間が経過するのを待って（ステップＳ３１３でＹＥＳ）、撮像素子１４での電荷蓄積動作を終了させる（ステップＳ３１４）。   Next, the system control circuit 50 drives the aperture 312 to the open aperture value by the aperture control mechanism 340 of the lens unit 300 (step S311), and moves the mirror 130 to the mirror down position by a mirror drive mechanism (not shown). (Step S312). Then, the system control circuit 50 waits for the set charge accumulation time to elapse (YES in step S313), and ends the charge accumulation operation in the image sensor 14 (step S314).

次に、システム制御回路５０は、撮像素子１４から信号電荷を読み出して、Ａ／Ｄ変換器１６にてＡ／Ｄ変換処理、画像処理回路２０にて画像処理を施させ、これら処理が施された撮影画像データをメモリ制御回路２２等を介してメモリ３０に書き込ませる（ステップＳ３１５）。そして、システム制御回路５０は、図３，４のフローにリターンする。   Next, the system control circuit 50 reads out the signal charge from the image sensor 14, causes the A / D converter 16 to perform A / D conversion processing, and the image processing circuit 20 to perform image processing. The captured image data is written into the memory 30 via the memory control circuit 22 or the like (step S315). Then, the system control circuit 50 returns to the flow of FIGS.

次に、キズ補正処理を詳細に説明する。前述のように、不揮発性メモリ５６には、キズ画素データファイルが記憶されている。このキズ画素データファイルには、撮像素子１４を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間（標準露光時間）で撮像素子１４を露光し、その撮像素子１４から出力される撮像データを画素単位で評価してキズ画素を判定したキズ画素データが纏められている。   Next, the scratch correction process will be described in detail. As described above, the non-volatile memory 56 stores a flaw pixel data file. The flaw pixel data file is output from the image sensor 14 by exposing the image sensor 14 with a standard charge accumulation time (standard exposure time) under a predetermined environment before shipping the image sensor 14 from the factory. Scratch pixel data obtained by evaluating image pickup data in units of pixels and determining scratch pixels is collected.

また、このキズ画素データは、各キズ画素の位置データ（Ｘ，Ｙ）とキズレベルデータ（レベル１〜５）により構成されている。なお、このレベルデータの大小関係は、レベル１＜レベル２＜レベル３＜レベル４＜レベル５となっている。   The flaw pixel data is composed of flaw pixel position data (X, Y) and flaw level data (levels 1 to 5). It should be noted that the magnitude relationship of the level data is level 1 <level 2 <level 3 <level 4 <level 5.

しかしながら、白キズの多くは撮像素子１４の露光時間（電荷蓄積時間）に応じてレベルが大きくなる傾向があり、また、同じキズレベルの白キズであっても、設定されたＩＳＯ感度によってキズレベルが変化する。なお、ＩＳＯ感度は、画像処理装置においては、撮像素子１４のゲイン、画像処理回路２０のゲイン等に応じて変化するものである。   However, many white scratches tend to increase in level according to the exposure time (charge accumulation time) of the image sensor 14, and even for white scratches of the same scratch level, the scratch level changes depending on the set ISO sensitivity. To do. In the image processing apparatus, the ISO sensitivity changes according to the gain of the image sensor 14, the gain of the image processing circuit 20, and the like.

そこで、本実施の形態では、前述のように、電荷蓄積時間とＩＳＯ感度の組み合わせに応じて、補正の内容をパターン化した補正パターンテーブルと上記のキズ画像データファイルを用いてキズ補正処理を行なっている。   Therefore, in the present embodiment, as described above, the defect correction process is performed using the correction pattern table in which the correction contents are patterned and the above-described defect image data file in accordance with the combination of the charge accumulation time and the ISO sensitivity. ing.

次に、このキズ補正処理の詳細を、図６〜８のフローチャートに基づいて説明する。   Next, details of this scratch correction processing will be described based on the flowcharts of FIGS.

キズ補正処理では、システム制御回路５０は、まず、キズ補正処理を行う際に使用するための補正パターンを選択する（図６のステップＳ４０１）。ここで、図６の他のステップを説明する前に、図６のステップＳ４０１における補正パターン選択処理の詳細を、図７，８のフローチャートに基づいて説明しておく。   In the scratch correction process, the system control circuit 50 first selects a correction pattern to be used when performing the scratch correction process (step S401 in FIG. 6). Here, before describing the other steps in FIG. 6, the details of the correction pattern selection processing in step S401 in FIG. 6 will be described based on the flowcharts in FIGS.

補正パターン選択処理では、システム制御回路５０は、まず、不揮発性メモリ５６に格納されているＩＳＯ感度の設定値（例えば、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００）を確認する（ステップＳ５０１）。次に、システム制御回路５０は、シャッタ速度、すなわち撮像素子１４の電荷蓄積時間（ｔ）の設定値を確認する（ステップＳ５０２）。   In the correction pattern selection process, the system control circuit 50 first checks the ISO sensitivity setting values (for example, ISO 100, ISO 200, ISO 400) stored in the nonvolatile memory 56 (step S501). Next, the system control circuit 50 confirms the shutter speed, that is, the set value of the charge accumulation time (t) of the image sensor 14 (step S502).

そして、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）であるか否かを判別する（ステップＳ５０３）。電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）の場合は、システム制御回路５０は、キズが目立ちやすくなる撮影条件であると認定して、補正パターン５を選択する（ステップＳ５０４）。この補正パターン５は、レベルの低いキズレベル１のキズ画素に係る撮像データから、レベルの高いキズレベル５のキズ画素に係る撮像データまでの全てを、補間補正処理の対象とするものである。   Then, the system control circuit 50 determines whether or not the set value of the charge accumulation time (t) is a long time (t> T2) (step S503). When the set value of the charge accumulation time (t) is a long time (t> T2), the system control circuit 50 recognizes that the image capturing condition is conspicuous and selects the correction pattern 5 (step S504). This correction pattern 5 is for subjecting the interpolation correction processing to everything from imaging data relating to a scratch pixel of a scratch level 1 having a low level to imaging data relating to a scratch pixel having a scratch level 5 having a high level.

この補間補正処理としては、本実施の形態では、キズ補正対象のキズ画素に隣接する同色の画素の撮像データを用いて、キズ補正対象のキズ画素に係る撮像データを補正する点キズ補正処理を行なっている。この点キズ補正処理の具体的な方法としては、キズ画素の出力データを隣接する画素の出力データで置換する方法、或いは周囲の画素の出力データの中央値や平均値で補間する方法等が考えられる。   As this interpolation correction processing, in this embodiment, point scratch correction processing is performed in which imaging data of a pixel of the same color adjacent to the scratch pixel to be corrected is used to correct imaging data related to the scratch pixel to be corrected. Is doing. As a specific method of this point flaw correction processing, a method of replacing the output data of flaw pixels with the output data of adjacent pixels, or a method of interpolating with the median value or the average value of the output data of surrounding pixels is considered. It is done.

電荷蓄積時間（ｔ）の設定値が長秒時（ｔ＞Ｔ２）でない場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）であるか否かを判別する（ステップＳ５０５）。その結果、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）である場合は、システム制御回路５０は、補正パターン１を選択する（ステップＳ５０６）。 If the set value of the charge accumulation time (t) is not a time long seconds (t> T2), the system control circuit 50, the set value of the charge accumulation time (t) is a short second (t <T1), one且set value of I SO sensitivity is determined whether or not the low sensitivity (ISO100) (step S505). As a result, when the set value of the charge accumulation time (t) is short seconds (t <T1) and the set value of ISO sensitivity is low sensitivity (ISO 100), the system control circuit 50 changes the correction pattern 1 Select (step S506).

この補正パターン１は、レベルが高い（例えば、レベル５）キズ画素に係る撮像データだけを補間補正処理の対象とし、キズレベルが低い（例えば、レベル１〜４）キズ画素に係る撮像データはオフセット補正処理の対象とするものである。このオフセット補正処理は、キズ補正対象のキズ画素に係る撮像データを所定の量だけオフセットするものである。   In this correction pattern 1, only imaging data related to a scratch pixel having a high level (for example, level 5) is subjected to interpolation correction processing, and imaging data related to a scratch pixel having a low scratch level (for example, level 1 to 4) is offset corrected. The target of processing. This offset correction process is to offset the imaging data related to the defect pixel to be corrected by a predetermined amount.

ステップＳ５０５にて、補正パターン１の上記の撮影条件ではないと判別された場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）であるか否か、又は、電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）であるか否かを判別する（ステップＳ５０７）。   If it is determined in step S505 that the above photographing condition of the correction pattern 1 is not satisfied, the system control circuit 50 sets the charge accumulation time (t) to a short second (t <T1) and ISO. Whether or not the sensitivity setting value is medium sensitivity (ISO200), or the charge accumulation time (t) setting value is at an intermediate second (T1 <t ≦ T2), and the ISO sensitivity setting value is low sensitivity It is determined whether or not it is (ISO100) (step S507).

その結果、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）である場合、又は電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が低感度（ＩＳＯ１００）である場合は、システム制御回路５０は、補正パターン２を選択する（ステップＳ５０８）。   As a result, when the set value of the charge accumulation time (t) is short seconds (t <T1) and the set value of the ISO sensitivity is medium sensitivity (ISO 200), or the set value of the charge accumulation time (t) is When the time is intermediate (T1 <t ≦ T2) and the ISO sensitivity setting value is low sensitivity (ISO100), the system control circuit 50 selects the correction pattern 2 (step S508).

この補正パターン２は、補間補正処理を行なうキズレベルを補正パターン１の場合よりも下げ（例えば、キズレベル５とキズレベル４）、他のキズレベル（例えば、キズレベル１〜３）のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。   In this correction pattern 2, the scratch level at which the interpolation correction process is performed is lower than in the case of the correction pattern 1 (for example, the scratch level 5 and the scratch level 4), and the imaging data relating to the scratch pixels of other scratch levels (for example, scratch levels 1 to 3) is The target of the offset correction process.

補正パターン２の上記の撮影条件を満たしていない場合は、システム制御回路５０は、電荷蓄積時間（ｔ）の設定値が短秒（ｔ＜Ｔ１）であり、且つＩＳＯ感度の設定値が高感度（ＩＳＯ４００）であるか否か、又は電荷蓄積時間（ｔ）の設定値が中間秒時（Ｔ１＜ｔ≦Ｔ２）であり、且つＩＳＯ感度の設定値が中感度（ＩＳＯ２００）であるか否かを判別する（ステップＳ５０９）。   When the above photographing condition of the correction pattern 2 is not satisfied, the system control circuit 50 sets the charge accumulation time (t) to a short second (t <T1) and the ISO sensitivity to a high sensitivity. (ISO400), or whether the set value of the charge accumulation time (t) is an intermediate time (T1 <t ≦ T2) and whether the set value of the ISO sensitivity is medium sensitivity (ISO200) Is discriminated (step S509).

その結果、ステップＳ５０９の撮影条件を満たしている場合は、システム制御回路５０は、補正パターン３を選択する（ステップＳ５１０）。この補正パターン３は、補間補正処理を行なうキズレベルを補正パターン２の場合よりも下げ（例えば、キズレベル５〜３）、他のキズレベル（例えば、キズレベル１〜２）のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。   As a result, when the photographing condition in step S509 is satisfied, the system control circuit 50 selects the correction pattern 3 (step S510). In this correction pattern 3, the scratch level at which interpolation correction processing is performed is lower than that in the case of the correction pattern 2 (for example, scratch levels 5 to 3), and the imaging data relating to the scratch pixels of other scratch levels (for example, scratch levels 1 to 2) The target of the offset correction process.

補正パターン３の上記の撮影条件を満たしていない場合は、システム制御回路５０は、補正パターン４を選択する（ステップＳ５１１）。この補正パターン４は、補間補正処理を行なうキズレベルを補正パターン３の場合よりも下げ（例えば、キズレベル５〜２）、他のキズレベル（例えば、キズレベル１）のキズ画素に係る撮像データをオフセット補正処理の対象とするものである。   If the above photographing condition of the correction pattern 3 is not satisfied, the system control circuit 50 selects the correction pattern 4 (step S511). In this correction pattern 4, the scratch level at which interpolation correction processing is performed is lower than in the case of the correction pattern 3 (for example, scratch levels 5 to 2), and the image data relating to the scratch pixels at other scratch levels (for example, scratch level 1) is offset-corrected. It is intended for.

このように、補正パターン選択処理では、電荷蓄積時間とＩＳＯ感度との組み合せのパターンに応じて、補間補正処理とオフセット補正処理の何れの補正処理を行なうかを決定するキズレベルを変更している。   As described above, in the correction pattern selection process, the scratch level that determines which correction process to perform, the interpolation correction process or the offset correction process, is changed according to the combination pattern of the charge accumulation time and the ISO sensitivity.

なお、上記の補正パターン選択処理は、実際には、前述のように補正パターンテーブルを用いて行なわれるものである。従って、電荷蓄積時間とＩＳＯ感度の設定値を確認した後は、それら設定値に基づいて補正パターンテーブル上で対応する補正パターンを検索することにより、迅速に補正パターンを選択することが可能となる。   The correction pattern selection process is actually performed using the correction pattern table as described above. Therefore, after confirming the set values of the charge accumulation time and the ISO sensitivity, it is possible to quickly select a correction pattern by searching for a corresponding correction pattern on the correction pattern table based on the set values. .

次に、図６のキズ補正処理の説明に戻る。システム制御回路５０は、上記のようにして補正パターンを選択した後（図６のステップＳ４０１）、不揮発性メモリ５６に格納されているキズ画素データファイルの中から、キズレベルの大きい順に１つのキズレベルを指定し、そのキズレベルに係る全てのキズ画素の位置データを読み出す（ステップＳ４０２）。   Next, the description returns to the defect correction process in FIG. After selecting the correction pattern as described above (step S401 in FIG. 6), the system control circuit 50 selects one scratch level from the scratch pixel data file stored in the nonvolatile memory 56 in descending order of the scratch level. Designation is performed, and the position data of all the flaw pixels related to the flaw level is read (step S402).

次に、システム制御回路５０は、ステップＳ４０２にて読み出した位置データの中の１つの位置データを指定し、その位置に係る撮像データをメモリ３０から読み出す（ステップＳ４０３）。この場合の位置データの指定順は、例えば、Ｘ座標値については、「０」から順に着目していき、Ｙ座標値については、Ｘ座標値を固定した状態で「０」から順に指定していく方法、或いは、撮像素子１４での蓄積電荷の転送順に従う方法等が考えられる。   Next, the system control circuit 50 designates one position data among the position data read out in step S402, and reads out imaging data relating to the position from the memory 30 (step S403). In this case, for example, the position data is specified in order from “0” for the X coordinate value, and for the Y coordinate value, the X coordinate value is fixed and specified from “0” in order. Or a method according to the order of transfer of accumulated charges in the image sensor 14.

次に、システム制御回路５０は、ステップＳ４０２にて指定したキズレベルが、ステップＳ４０１にて選択した補正パターンにおいてオフセット補正処理の対象となっているか否かを判別する（ステップＳ４０４）。その結果、オフセット補正処理の対象となっていない場合、すなわち、現在指定しているキズレベルが、現在選択している補正パターンにおいて補間補正処理の対象となっている場合は、システム制御回路５０は、現在指定しているキズ画素に隣接する同色の画素の撮影画像データをメモリ３０から読み出す（ステップＳ４０５）。   Next, the system control circuit 50 determines whether or not the scratch level specified in step S402 is the target of offset correction processing in the correction pattern selected in step S401 (step S404). As a result, when it is not the target of the offset correction process, that is, when the currently designated scratch level is the target of the interpolation correction process in the currently selected correction pattern, the system control circuit 50 The captured image data of the same color pixel adjacent to the currently designated flaw pixel is read from the memory 30 (step S405).

次に、システム制御回路５０は、読み出した隣接画素の撮像データの値に基づいて、現在指定している位置のキズ画素に係る撮像データを補正する（ステップＳ４０６）。この場合、システム制御回路５０は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びＩＳＯ感度に応じた係数を用いて、キズ画素毎に補間補正量を算出して、補間補正処理を行なっている。   Next, the system control circuit 50 corrects the imaging data related to the scratch pixel at the currently designated position based on the value of the imaging data of the read adjacent pixel (step S406). In this case, the system control circuit 50 calculates an interpolation correction amount for each scratch pixel using a coefficient according to the currently specified scratch level, the currently set charge accumulation time and ISO sensitivity, and performs interpolation correction processing. Is doing.

そして、システム制御回路５０は、補正後の撮像データをメモリ３０上の撮像データの指定に係る位置に上書きして（ステップＳ４０９）、ステップＳ４１０に進む。   Then, the system control circuit 50 overwrites the corrected imaging data on the position related to the designation of the imaging data on the memory 30 (step S409), and proceeds to step S410.

ステップＳ４０４にて、現在指定しているキズレベルがオフセット補正処理の対象となっていると判別された場合は、システム制御回路５０は、ステップＳ４０３にて読み出した撮像データが所定レベル以上（例えば飽和状態）であるか否かを判別する（ステップＳ４０７）。   If it is determined in step S404 that the currently designated scratch level is the target of the offset correction process, the system control circuit 50 determines that the imaging data read in step S403 is equal to or higher than a predetermined level (for example, a saturated state). ) Is determined (step S407).

その結果、所定レベル以上でなければ、システム制御回路５０は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びＩＳＯ感度に応じた係数を用いて、キズ画素毎にオフセット量を算出し、そのオフセット量に基づいて、現在位置指定しているキズ画素に係る撮像データをオフセット補正する（ステップＳ４０８）。すなわち、オフセット補正を行う際のオフセット量は、補正に係るキズ画素のキズレベルに応じて変更され、各キズ画素間で同一のオフセット量が用いられることはない。   As a result, if it is not equal to or higher than the predetermined level, the system control circuit 50 calculates an offset amount for each flaw pixel using a coefficient according to the currently designated flaw level, the currently set charge accumulation time, and ISO sensitivity. Then, based on the offset amount, the imaging data relating to the flaw pixel whose current position is specified is offset-corrected (step S408). That is, the offset amount when performing the offset correction is changed according to the scratch level of the scratch pixel related to the correction, and the same offset amount is not used between the scratch pixels.

そして、システム制御回路５０は、オフセット補正後の撮像データをメモリ３０上の撮像データの指定に係る位置に上書きして（ステップＳ４０９）、ステップＳ４１０に進む。   Then, the system control circuit 50 overwrites the image data after the offset correction on the position related to the designation of the image data on the memory 30 (step S409), and proceeds to step S410.

一方、ステップＳ４０７にて所定レベル以上、すなわち飽和状態であると判別された場合は、補正処理を行なうことにより各画素間で画素データのレベルが不均一となり、却ってキズが目立ってしまうので、システム制御回路５０は、何ら補正を行なうことなく、ステップＳ４１０に進む。   On the other hand, if it is determined in step S407 that the level is equal to or higher than the predetermined level, that is, the saturation state, the pixel data level is uneven among the pixels by performing the correction process, and scratches are conspicuous. The control circuit 50 proceeds to step S410 without performing any correction.

このステップＳ４１０では、システム制御回路５０は、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了したか否かを判別する。その結果、完了していなければ、システム制御回路５０は、ステップＳ４０３に戻ることにより、次の位置のキズ画素に対して同様の処理を行なう。一方、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了していれば、ステップＳ４０２に戻ることにより、次のキズレベルに係るキズ画素に対して同様の処理を行なう。   In this step S410, the system control circuit 50 determines whether or not the above correction processing has been completed for all the scratch pixels related to the currently designated scratch level. As a result, if not completed, the system control circuit 50 returns to step S403, and performs the same process on the flaw pixel at the next position. On the other hand, if the above correction processing for all the scratch pixels related to the currently specified scratch level has been completed, the process returns to step S402 to perform the same processing for the scratch pixels related to the next scratch level.

このように、本実施の形態では、撮像素子１４のキズ画素のキズレベルをキズ画素データファイルに基づいて判定し、キズレベルが所定レベルより高いキズ画素に係る撮像データは、他の画素の撮像データに基づく補間補正処理を行い、キズレベルが所定レベルより低いキズ画素に係る撮像データは、オフセット補正処理を行なっている。   As described above, in the present embodiment, the scratch level of the scratch pixel of the image sensor 14 is determined based on the scratch pixel data file, and the imaging data related to the scratch pixel whose scratch level is higher than the predetermined level is the imaging data of other pixels. Interpolation correction processing based on this is performed, and imaging data relating to a scratch pixel whose scratch level is lower than a predetermined level is subjected to offset correction processing.

従って、過補正を回避すると共にキズ画素に係る撮像データを可及的に放逐し、また、オフセット補正処理も適正に行なうことができ、画質劣化を可及的に回避しつつキズ補正処理を行なうことが可能となる。   Therefore, it is possible to avoid over-correction, displace the imaging data related to the defective pixel as much as possible, and to appropriately perform the offset correction processing, and to perform the defect correction processing while avoiding image quality deterioration as much as possible. It becomes possible.

なお、本発明は、上記の実施の形態に限定されることはない。例えば、上記の実施の形態では、オフセット補正処理を行なう場合、キズ画素のキズレベルに応じてオフセット量を変化させており、キズ画素によってオフセット量が異なっている。しかし、例えば、図９のような、或るキズレベル帯には多数のキズ画素が分布している等の撮像素子に固有のキズ分布の特徴に着目し、所定レベル以下のキズレベルの場合には、撮影条件に応じた固定のオフセット量を各キズ画素に対して共通に用いてオフセット補正処理を行ってもよい。   The present invention is not limited to the above embodiment. For example, in the above embodiment, when the offset correction process is performed, the offset amount is changed according to the scratch level of the scratch pixel, and the offset amount differs depending on the scratch pixel. However, for example, paying attention to the characteristics of the flaw distribution unique to the image sensor such as a large flaw pixel distribution in a certain flaw level band as shown in FIG. The offset correction process may be performed by using a fixed offset amount corresponding to the shooting condition in common for each scratch pixel.

また、上記の実施の形態では、補間補正処理とオフセット補正処理の何れを行なうかを判別するためのキズレベルを撮影条件に応じて変化させているが、この判別用のキズレベルを固定し（例えば、キズレベル１）、この固定したキズレベル以下のキズ画素に係る撮像データに対してオフセット補正処理を行なうようにしてもよい。   In the above embodiment, the scratch level for determining whether to perform the interpolation correction processing or the offset correction processing is changed according to the shooting conditions. However, the scratch level for determination is fixed (for example, Scratch level 1), offset correction processing may be performed on image data relating to a scratch pixel below the fixed scratch level.

また、オフセット補正処理の代わりに、撮像素子のゲインを変化させるゲイン補正処理を行なうことも可能である。   Further, instead of the offset correction process, a gain correction process for changing the gain of the image sensor can be performed.

さらに、上記の実施の形態では、キズレベルの低いキズ画素であっても、その撮像データが所定レベル以上の場合には、オフセット補正処理を行わないようにしており、ここでの所定レベルとは、主に撮像素子の出力、すなわちＲＡＷ画像が飽和状態になるレベルを想定している。しかし、ＲＡＷ画像の飽和に限定することなく、例えばＪＰＥＧ変換に対応した飽和レベルを所定レベルとしても何ら問題はない。換言すれば、画像データを保存等する場合の圧縮方式に応じて、オフセット補正処理を行なうか否かを判別するためのキズレベルを変更してもよい。   Furthermore, in the above-described embodiment, even if the pixel has a low scratch level, if the imaging data is equal to or higher than a predetermined level, the offset correction processing is not performed. The predetermined level here is The level at which the output of the image sensor, that is, the RAW image is saturated is assumed. However, the present invention is not limited to RAW image saturation. For example, there is no problem even if a saturation level corresponding to JPEG conversion is set to a predetermined level. In other words, the scratch level for determining whether or not to perform the offset correction process may be changed according to the compression method used when storing the image data.

また、ＪＰＥＧ画像の飽和レベルとＲＡＷ画像の飽和レベルとでは、レベル的に差があるので、画素出力レベルに応じてオフセット補正を行わない等のシーケンスが複雑化する要因を排除すべく、単純に、所定値以下のキズレベルのキズ画素を全てオフセット補正処理の対象とすることも可能である。   In addition, since there is a difference in level between the saturation level of the JPEG image and the saturation level of the RAW image, in order to eliminate factors that complicate the sequence such as not performing offset correction according to the pixel output level, simply It is also possible to set all the flaw pixels having a flaw level equal to or lower than the predetermined value as the target of the offset correction process.

また、電荷蓄積時間、ＩＳＯ感度に基づいて補正パターンを規定することなく、絞り値、シャッタ速度に対応する撮像素子の露光量、ＩＳＯ感度に基づいて補正パターンを規定することも可能である。また、環境温度をも考慮して補正パターンを規定することも可能である。   It is also possible to define the correction pattern based on the exposure value of the image sensor corresponding to the aperture value and the shutter speed and the ISO sensitivity without defining the correction pattern based on the charge accumulation time and the ISO sensitivity. It is also possible to define the correction pattern in consideration of the environmental temperature.

さらに、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。   Furthermore, an object of the present invention is to supply a storage medium in which a program code of software for realizing the functions of the embodiment is recorded to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus as the storage medium. This can also be achieved by reading and executing the stored program code.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。   Examples of the storage medium for supplying the program code include a floppy (registered trademark) disk, a hard disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a DVD-ROM, a DVD-RAM, and a DVD. -RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM, etc. can be used. Alternatively, the program code may be downloaded via a network.

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。   Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This includes the case where the CPU or the like provided in the board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to an embodiment of the present invention. 上記の画像処理装置の主要な動作を示すフローチャートである。It is a flowchart which shows main operation | movement of said image processing apparatus. 図２の続きのフローチャートである。FIG. 3 is a flowchart continued from FIG. 2. 撮影動作を示すフローチャートである。It is a flowchart which shows imaging | photography operation | movement. 図４の続きのフローチャートである。FIG. 5 is a flowchart continued from FIG. 4. キズ補正処理を示すスフローチャートである。It is a flowchart which shows a crack correction process. 補正パターン選択処理を示すフローチャートである。It is a flowchart which shows a correction pattern selection process. 図７の続きのフローチャートである。FIG. 8 is a flowchart continued from FIG. 7. 撮像素子のキズ画素分布例を示す図である。It is a figure which shows the example of a flaw pixel distribution of an image pick-up element.

符号の説明Explanation of symbols

１４…撮像素子
１２…シャッタ
４０…シャッタ制御部
４４…温度計
５０…システム制御回路
３０，５２…メモリ
５６…不揮発性メモリ
６９…ＩＳＯ感度スイッチ
３１２…絞り 14 ... Image sensor 12 ... Shutter 40 ... Shutter controller 44 ... Thermometer 50 ... System control circuit 30, 52 ... Memory 56 ... Non-volatile memory 69 ... ISO sensitivity switch 312 ... Aperture

Claims (11)

撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、
前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、
前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、
前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする画像処理装置。 In an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
Storage means for storing the position and defect level of the defective pixel of the image sensor;
A correction unit that corrects the imaging data based on the position of the defective pixel and the defect level stored in the storage unit ;
The correction means selects whether to perform an interpolation correction process for the imaging data or to perform an offset correction process for the imaging data,
For the imaging data related to the defective pixel having a defect level higher than a predetermined level stored in the storage unit, the interpolation correction process is performed without performing the offset correction process,
Image processing characterized in that the offset correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. apparatus. 撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、In an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、Storage means for storing the position and defect level of the defective pixel of the image sensor;
前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、A correction unit that corrects the imaging data based on the position of the defective pixel and the defect level stored in the storage unit;
前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像素子のゲイン補正処理を実行するかを選択するものであって、The correction means selects whether to perform an interpolation correction process on the imaging data or to perform a gain correction process of the image sensor,
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行することなく、前記補間補正処理を実行し、For the imaging data related to the defective pixel whose defect level is higher than a predetermined level stored in the storage means, the interpolation correction process is executed without executing the gain correction process,
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行し、前記補間補正処理を実行しないことを特徴とする画像処理装置。Image processing characterized in that the gain correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. apparatus. 前記補正手段は、前記所定レベルを撮影条件に応じて変更することを特徴とする請求項１または２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the correction unit changes the predetermined level according to a shooting condition. 前記撮影条件は、環境温度、前記撮像素子の電荷蓄積時間、露光量、ＩＳＯ感度の何れかを含むことを特徴とする請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3 , wherein the imaging condition includes any one of an environmental temperature, a charge accumulation time of the image sensor, an exposure amount, and ISO sensitivity. 前記補正手段は、前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データであっても、前記撮像データの出力レベルが所定値以上の場合には、前記オフセット補正処理を実行しないことを特徴とする請求項１に記載の画像処理装置。 Said correcting means, said also the defect level stored in the storage means is an imaging data relating to the defective pixel is the predetermined level or less, when the output level of the imaging data is above a predetermined value, the offset The image processing apparatus according to claim 1 , wherein correction processing is not executed . 前記所定値は、前記撮像素子の出力が飽和する値であることを特徴とする請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5 , wherein the predetermined value is a value at which an output of the image sensor is saturated. 前記撮像素子の出力が飽和する値は、前記撮像素子を用いて撮像された撮像データを圧縮する場合の圧縮方式に応じて異なることを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6 , wherein a value at which the output of the image sensor is saturated varies depending on a compression method when compressing image data captured using the image sensor. 前記補正手段は、前記欠陥レベルに応じて、前記オフセット補正処理を実行する際のオフセット量を変化させることを特徴とする請求項１に記載の画像処理装置。 It said correcting means in accordance with the defect level, the image processing apparatus according to claim 1, characterized in that changing the offset amount when executing the offset correction process. 撮像素子を用いて撮像された撮像データを画像処理する画像処理装置の制御方法において、
記憶手段に記憶される前記撮像素子の欠陥画素の位置と欠陥レベルを読み出す読み出し工程と、
前記読み出し工程にて読み出した前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正工程を備え、
前記補正工程は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする制御方法。 In a control method of an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
A reading step of reading out the position and defect level of the defective pixel of the image sensor stored in the storage means;
A correction step of correcting the imaging data based on the position of the defective pixel read out in the reading step and the defect level ;
The correction step selects whether to perform an interpolation correction process on the imaging data or an offset correction process on the imaging data,
For the imaging data related to the defective pixel having a defect level higher than a predetermined level stored in the storage unit, the interpolation correction process is performed without performing the offset correction process,
A control method characterized in that the offset correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or less than the predetermined level. . 撮像素子を用いて撮像された撮像データを画像処理する画像処理装置の制御方法において、In a control method of an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
記憶手段に記憶される前記撮像素子の欠陥画素の位置と欠陥レベルを読み出す読み出し工程と、A reading step of reading out the position and defect level of the defective pixel of the image sensor stored in the storage means;
前記読み出し工程にて読み出した前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正工程を備え、A correction step of correcting the imaging data based on the position of the defective pixel read out in the reading step and the defect level;
前記補正工程は、前記撮像データに対して補間補正処理を実行するか、前記撮像素子のゲイン補正処理を実行するかを選択するものであって、The correction step selects whether to perform an interpolation correction process for the imaging data or to perform a gain correction process for the image sensor,
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行することなく、前記補間補正処理を実行し、For the imaging data related to the defective pixel whose defect level is higher than a predetermined level stored in the storage means, the interpolation correction process is executed without executing the gain correction process,
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行し、前記補間補正処理を実行しないことを特徴とする制御方法。A control method characterized in that the gain correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or less than the predetermined level. . 請求項９または１０に記載の制御方法を実行するプログラム。
The program which performs the control method of Claim 9 or 10.
JP2005310550A 2005-10-25 2005-10-25 Image processing apparatus, control method, and program Expired - Fee Related JP4794978B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005310550A JP4794978B2 (en) 2005-10-25 2005-10-25 Image processing apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005310550A JP4794978B2 (en) 2005-10-25 2005-10-25 Image processing apparatus, control method, and program

Publications (3)

Publication Number Publication Date
JP2007124056A JP2007124056A (en) 2007-05-17
JP2007124056A5 JP2007124056A5 (en) 2008-11-27
JP4794978B2 true JP4794978B2 (en) 2011-10-19

Family

ID=38147441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005310550A Expired - Fee Related JP4794978B2 (en) 2005-10-25 2005-10-25 Image processing apparatus, control method, and program

Country Status (1)

Country Link
JP (1) JP4794978B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994B (en) * 2007-08-10 2012-11-14 佳能株式会社 Image-pickup apparatus and control method therof
JP5186937B2 (en) * 2008-02-05 2013-04-24 株式会社ニコン Image processing apparatus, electronic camera, and allowable value setting method
JP5152979B2 (en) * 2008-05-14 2013-02-27 富士フイルム株式会社 Radiation image processing method and apparatus
JP5371331B2 (en) * 2008-09-01 2013-12-18 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2012070319A (en) * 2010-09-27 2012-04-05 Mitsubishi Electric Corp Image processing method, image processing apparatus, and image processing program
JP2012105023A (en) * 2010-11-09 2012-05-31 Canon Inc Image processing apparatus, image pickup device, and image processing method
JP5762002B2 (en) 2011-01-06 2015-08-12 キヤノン株式会社 Imaging device
JP2013093685A (en) 2011-10-25 2013-05-16 Sumitomo Electric Ind Ltd Imaging apparatus
JP6180882B2 (en) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 Solid-state imaging device, signal processing device, and electronic device
JP6746359B2 (en) * 2015-05-08 2020-08-26 キヤノン株式会社 Image processing device, imaging device, image processing method, program, and storage medium
WO2016181620A1 (en) * 2015-05-08 2016-11-17 キヤノン株式会社 Image processing device, imaging device, image processing method, program, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173656B1 (en) * 1997-12-03 2007-02-06 Intel Corporation Method and apparatus for processing digital pixel output signals
JP4845256B2 (en) * 2000-10-18 2011-12-28 キヤノン株式会社 Image processing device
JP2005073233A (en) * 2003-08-07 2005-03-17 Canon Inc Imaging device
JP2006148439A (en) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc Imaging apparatus

Also Published As

Publication number Publication date
JP2007124056A (en) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4794978B2 (en) Image processing apparatus, control method, and program
JP4378341B2 (en) Imaging apparatus and correction method
JP2007174124A (en) Imaging apparatus and correction method
JP2005045552A (en) Imaging device and its method
JP2004172972A (en) Image pickup device
JP4761570B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US9467635B2 (en) Image processing apparatus and image processing method
JP4819479B2 (en) Imaging apparatus and image data correction method
JP3605084B2 (en) Image data correction device, image processing device, image data correction method, program, and storage medium
JP2007228055A (en) Electronic camera
JP2003333434A (en) Device and method for picking-up image, program, and recording medium
JP4393177B2 (en) Imaging apparatus and imaging method
JP4411053B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND STORAGE MEDIUM
JP3703436B2 (en) Image processing apparatus, image processing method, and program
JP2006148794A (en) Imaging apparatus, correction processing method, correction processing program and storage medium
JP2005333620A (en) Image processing apparatus and image processing method
JP2006109162A (en) Imaging apparatus, imaging method, program, and storage medium
JP5967897B2 (en) Imaging apparatus, control method therefor, and program
JP4682104B2 (en) Imaging device
JP5028467B2 (en) Image processing device
JP2005051697A (en) Imaging apparatus
JP2005057691A (en) Imaging apparatus and method
JP2006108878A (en) Imaging apparatus
JP2005184609A (en) Electronic camera
JP2009124420A (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees