JP4794978B2 - Image processing apparatus, control method, and program - Google Patents
Image processing apparatus, control method, and program Download PDFInfo
- Publication number
- JP4794978B2 JP4794978B2 JP2005310550A JP2005310550A JP4794978B2 JP 4794978 B2 JP4794978 B2 JP 4794978B2 JP 2005310550 A JP2005310550 A JP 2005310550A JP 2005310550 A JP2005310550 A JP 2005310550A JP 4794978 B2 JP4794978 B2 JP 4794978B2
- Authority
- JP
- Japan
- Prior art keywords
- correction process
- imaging data
- image processing
- defective pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像素子を用いて撮像した画像データを処理する画像処理装置、制御方法、及びプログラムに関し、特に、撮像素子の欠陥画素に対処する技術に関する。 The present invention relates to an image processing apparatus, a control method, and a program for processing image data captured using an image sensor, and more particularly to a technique for dealing with defective pixels of an image sensor.
従来、CCD、CMOS等により構成されたイメージセンサ(以下、撮像素子と称する)を用いて静止画像や動画像を撮像し、記録及び再生するディジタルカメラ等の画像処理装置が知られている。この種の画像処理装置で使用される撮像素子は、その製造過程等において画素単位で欠陥(キズ)が生じ、光反応はあるものの異常に高レベルの撮像信号を出力する白キズ等の画素が含まれている場合がある。 2. Description of the Related Art Conventionally, an image processing apparatus such as a digital camera that captures a still image or a moving image by using an image sensor (hereinafter referred to as an image sensor) configured by a CCD, a CMOS, or the like, and records and reproduces the image is known. An image sensor used in this type of image processing apparatus has defects (scratches) in units of pixels in its manufacturing process, etc., and although there is a photoreaction, pixels such as white scratches that output an abnormally high level image signal are present. May be included.
図9は、このようなキズをもつ画素(以下、キズ画素と称する)を含む撮像素子のキズ分布(ヒストグラム)を例示したものである。図9のヒストグラムでは、A点およびB点の画素の領域でキズ画素が多いことがわかる。このA点の画素は、通常の撮影条件(例えば常温で電荷蓄積時間1/125秒)でもキズ画素としてわかる程の高いキズレベルである。一方、B点の画素は、通常の撮影条件ではほとんど認識できない程度の低いキズレベルであるが、例えば高温で電荷蓄積時間30秒といった撮影条件でキズが目立ってくる程度のキズレベルである。
FIG. 9 exemplifies a flaw distribution (histogram) of an image sensor including such a flawed pixel (hereinafter referred to as a flaw pixel). In the histogram of FIG. 9, it can be seen that there are many scratched pixels in the pixel area of point A and point B. The pixel at point A has a scratch level that is high enough to be recognized as a scratch pixel even under normal shooting conditions (for example,
このようなキズ画素の影響を低減するために、近年の画像処理装置においては、欠陥画素補正処理(以後、キズ補正処理と称する)を行うのが一般的である。このキズ補正処理を行なうためのキズ画素の判別は、主に、次のようにして行なっている。 In order to reduce the influence of such flaw pixels, in recent image processing apparatuses, it is common to perform defective pixel correction processing (hereinafter referred to as flaw correction processing). The determination of a flaw pixel for performing this flaw correction processing is mainly performed as follows.
すなわち、撮像素子を工場から出荷する前に、所定のISO感度、温度等の条件の下に標準の電荷蓄積時間で撮像動作を行なった場合の撮像素子の出力を評価し、その評価結果に基づいてキズ画素を判別する方法が採られている。そして、キズ画素を判別した撮像素子を画像処理装置に組み込む際に、キズ画素であると判別された各画素の位置データと、そのキズレベルを記述したキズ画素データファイルを、当該画像処理装置内の所定の不揮発性メモリに記憶するようにしている。 That is, before shipping the image pickup device from the factory, the output of the image pickup device when the image pickup operation is performed with the standard charge accumulation time under the conditions such as predetermined ISO sensitivity and temperature is evaluated, and based on the evaluation result. A method for discriminating flawed pixels is employed. Then, when the image sensor that has determined the flaw pixel is incorporated into the image processing apparatus, the position data of each pixel that has been determined to be a flaw pixel and a flaw pixel data file that describes the flaw level are stored in the image processing apparatus. The data is stored in a predetermined non-volatile memory.
そして、画像処理装置で撮像した撮像データに対するキズ補正処理では、キズ画素に隣接する画素(互いに同色の場合もある)の撮像データを用いてキズ画素に係る撮像データに対する補間演算処理を行うことにより、キズ画素に起因する画質劣化を低減している(例えば、特許文献1,2参照)。
In the defect correction process for the image data captured by the image processing apparatus, the interpolation calculation process is performed on the image data related to the defect pixel using the image data of the pixels adjacent to the defect pixel (which may be the same color as each other). , Image quality deterioration due to scratch pixels is reduced (see, for example,
しかしながら、上記のように隣接画素データを用いて補間補正処理を行う場合、キズ画素の近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合には、補正跡が残ってしまい、キズ補正処理による画質劣化を招いてしまう。例えば、高輝度部と暗部がある被写体を撮像する場合に、境界の暗部に対応する位置の画素がキズ画素であるときは、隣接の高輝度部と暗部の平均出力値で補間すると、暗部であるにも拘らず明るめの画素データとして補正されてしまう。 However, when interpolation correction processing is performed using adjacent pixel data as described above, a correction trace remains if there is a shading boundary in the vicinity of a flaw pixel or if the contrast changes rapidly. As a result, the image quality is deteriorated due to the scratch correction process. For example, when imaging a subject with a high-brightness part and a dark part, if the pixel at the position corresponding to the dark part at the boundary is a scratch pixel, interpolation with the average output value of the adjacent high-brightness part and dark part will result in the dark part. Nevertheless, it is corrected as bright pixel data.
特に、キズレベルの低いキズ画素に関しては、キズが目立ちにくい条件で撮像された撮像データに対してキズ補正処理を行なうと、補正前の画質よりも補正後の画質の方が悪くなる所謂、過補正という状態が発生する。また、画素数の多い撮像素子においては、キズ画素の比率も高くなるため、過補正となる画素が増えてしまう傾向にある。 In particular, with respect to a flaw pixel with a low flaw level, when flaw correction processing is performed on image data captured under conditions in which flaws are not conspicuous, the image quality after correction becomes worse than the image quality before correction, so-called overcorrection. This occurs. Further, in an image sensor with a large number of pixels, the ratio of flawed pixels also increases, so that the number of overcorrected pixels tends to increase.
そこで、過補正の回避策として、補正後の画質劣化が目立つキズ画素であるか否かを判別し、画質劣化が目立たないキズ画素であると判定したキズ画素については、そのキズ画素に係る撮像データに対する補間補正処理を省略する提案がなされている(例えば、特許文献3参照)。 Therefore, as a measure to avoid overcorrection, it is determined whether or not the image quality deterioration after correction is a conspicuous flaw pixel, and for a flaw pixel that is determined to be a flaw pixel in which the image quality deterioration is not conspicuous, imaging related to the flaw pixel There has been a proposal that omits interpolation correction processing for data (see, for example, Patent Document 3).
しかし、上記提案では過補正を回避することはできるが、キズ画素に係る撮像データ自体は無補正状態で存在するため、撮像データに対して画像処理を行なった場合等にキズが見えてしまうという問題も残る。 However, in the above proposal, overcorrection can be avoided, but the image data itself related to the flawed pixel exists in an uncorrected state, so that the flaw appears when image processing is performed on the imaged data. The problem remains.
また、オプティカルブラック領域によりキズ画素を判別し、キズ画素と判別された画素の出力データを、オプティカルブラック領域の出力データに基づいてオフセット補正する提案もなされている(例えば、特許文献4参照)。 In addition, a proposal has been made that discriminates a defective pixel from the optical black area and offset-corrects the output data of the pixel determined to be a defective pixel based on the output data of the optical black area (see, for example, Patent Document 4).
この提案のキズ補正処理は、補正基準がオプティカルブラック領域の出力データであり、一定方向にキズ画素が発生する線キズに対しては有効である。しかし、点キズや高温での長秒時撮影等でノイズが大きくなる条件下では、暗電流等に起因してオプティカルブラック領域の出力データにズレが生じる場合があり、このズレがオフセット補正に悪影響を及ぼす可能性がある。
本発明は、このような背景の下になされたもので、画質劣化を可及的に回避しつつ画素欠陥補正処理を行ない得る画像処理装置、制御方法、及びプログラムを提供することを目的とする。 The present invention has been made under such a background, and an object thereof is to provide an image processing apparatus, a control method, and a program capable of performing pixel defect correction processing while avoiding image quality degradation as much as possible. .
上記目的を達成するため、本発明は、撮像素子を用いて撮像された撮像データを画像処理する画像処理装置において、前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする。
To achieve the above object, the present invention is an image processing apparatus performing image processing on image pickup data captured using the image sensor, a storage means for the position and the defect level of the defective pixels of the imaging device is stored, wherein A correction unit configured to correct the imaging data based on the position of the defective pixel stored in the storage unit and the defect level; and the correction unit performs an interpolation correction process on the imaging data or the imaging Whether to perform an offset correction process on the data, and for the imaging data relating to a defective pixel having a defect level higher than a predetermined level stored in the storage unit, the offset correction process is performed. Without executing, the interpolation correction process is executed, and the imaging data relating to the defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. Against performs the offset correction process, characterized in that it does not execute the interpolation correction.
本発明によれば、画質劣化を可及的に回避しつつ画素欠陥補正を行ない得る撮像装置、制御方法、及びプログラムを提供することが可能となる。
According to the present invention, it is possible to provide an imaging apparatus, a control method, and a program that can perform pixel defect correction while avoiding image quality degradation as much as possible.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。図1は本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
本画像処理装置は、装置本体としての画像処理装置100と、画像処理装置100に対し着脱可能に装着される記録媒体200,210と、画像処理装置100に対し着脱可能に装着されるレンズユニット300を備えている。
The image processing apparatus includes an
画像処理装置100のシャッタ12は、撮像素子14への露光量を制御する。撮像素子14は、被写体の光学像を電気信号に変換する。レンズユニット300のレンズ310に入射した光線は、一眼レフ方式によって、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130、シャッタ12を介して、被写体の光学像として撮像素子14上に結像される。
The
A/D変換器16は、撮像素子14のアナログ信号出力をディジタル信号に変換する。タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するものであり、メモリ制御回路22及びシステム制御回路50により制御される。
The A /
画像処理回路20は、A/D変換器16からの画像データ或いはメモリ制御回路22からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
The
システム制御回路50は、その演算結果に基づいてシャッタ制御部40、測距部42、測光部46等を適宜制御することにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理を行う。
The
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16から出力されたデジタルデータは、画像処理回路20とメモリ制御回路22を介して、或いはメモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
The memory control circuit 22 controls the A /
画像表示メモリ24は、表示用の画像データを記憶する。D/A変換器26は、メモリ制御回路22から出力されたディジタル信号をアナログ信号に変換し、画像表示部28に出力する。メモリ30は、撮影した静止画像データや動画像データを格納するためのメモリであり、その記憶容量は、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な容量となっている。また、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。
The
圧縮・伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮・伸長するものであり、メモリ30に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、その圧縮・伸長に係る画像データをメモリ30に書き込む。
The compression /
シャッタ制御部40は、測光部46からの測光情報に基づいて、レンズユニット300の絞り312を駆動する絞り駆動機構340と連携しながら、シャッタ12を開閉制御する。測距部42は、AF(オートフォーカス)処理を行なう際に利用される。温度計44は、撮影環境の温度を検出するために備えられている。この温度計44を撮像素子14内に設けた場合は、撮像素子14の暗電流をより正確に予想することが可能となる。測光部46は、AE(自動露出)処理を行なう際に利用される。
The shutter control unit 40 controls the opening and closing of the
システム制御回路50は、画像処理装置100全体を制御するものであり、メモリ52に記憶されたプログラムに基づいて後述の各フローチャートに示す処理を実行する。メモリ52は、上記のプログラムの他、システム制御回路50の動作用の定数、変数等も記憶している。
The
表示部54は、システム制御回路50でのプログラムの実行に応じて、文字、画像を用いて動作状態、メッセージ等を表示出力するLCD、LED等を備えている。この表示部54は、画像処理装置100の操作部70の近辺の視認し易い位置に単数或いは複数個設置されている。また、表示部54は、その一部の機能が光学ファインダ104内に設置されている。
The display unit 54 includes an LCD, an LED, and the like that display and outputs an operation state, a message, and the like using characters and images according to execution of a program in the
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。この不揮発性メモリ56には、各種パラメータ、ISO感度などの設定値、設定モード等が記憶される。 The nonvolatile memory 56 is an electrically erasable / recordable memory, and for example, an EEPROM or the like is used. The nonvolatile memory 56 stores various parameters, setting values such as ISO sensitivity, setting modes, and the like.
また、不揮発性メモリ56には、キズ画素データファイルも格納されている。このキズ画素データファイルは、撮像素子14を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間、すなわち露光時間で撮像素子14を露光し、その撮像素子14から出力される画像データを画素単位で評価してキズ画素を判定して作成されたものである。このキズ画素データファイルは、各キズ画素に関する位置データ(X,Y)とキズレベルデータ(レベル1〜5)を纏めたものである。以下、個々のキズ画素の位置データとキズレベルデータとを、キズ画素データと称する。
The non-volatile memory 56 also stores a flaw pixel data file. The flaw pixel data file is an image output from the
また、不揮発性メモリ56には、撮像時に撮像素子14から実際に出力される画像データを上記のキズ画素データに基づいて補正する場合に使用する補正パターン情報も格納されている。この補正パターン情報は、テーブル化されており、電荷蓄積時間とISO感度の組み合わせに応じて、補正の内容をパターン化したものである。この補正パターンテーブルと上記のキズ画像データを用いたキズ補正処理の詳細は、後述する。
The non-volatile memory 56 also stores correction pattern information used when image data actually output from the
モードダイアルスイッチ60は、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、ポートレート撮影モード、パノラマ撮影モード等の各種の撮影モードを切り替え設定することができる。
The
シャッタスイッチ62は、不図示のシャッタボタンの半押し状態でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理等の動作がシステム制御回路50の制御の下に開始される。
The
シャッタスイッチ64は、不図示のシャッタボタンの完全な押下状態でONとなる。シャッタスイッチ64がONされると、システム制御回路50の制御の下に一連の処理が開始される。この一連の処理としては、撮像素子14に対する露光処理、撮像素子14からのアナログ画像信号のA/D変換処理、A/D変換に係る画像データに対する画像処理、圧圧縮処理、記録処理等がある。
The
再生スイッチ66は、撮影モード状態において、撮影した画像をメモリ30或いは記録媒体200,210から読み出して画像表示部28に表示する再生動作を指示するものである。単写/連写スイッチ68は、シャッタスイッチ64がONされた場合に1駒の撮影を行って待機状態とする単写モードと、シャッタスイッチ64がONされている間は連続して撮影を行い続ける連写モードとを設定することができる。ISO感度設定スイッチ69は、撮像素子14或いは画像処理回路20におけるゲインの設定を変更することにより、ISO感度(撮影感度)を設定することができる。
The
操作部70は、各種ボタン、スイッチ、タッチパネル等により構成されている。このボタンとしては、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。
The
電源スイッチ72は、画像処理装置100の電源オン、電源オフの各モードを切り替え設定することができる。また、電源スイッチ72は、画像処理装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200,210等の各種付属装置の電源オン、電源オフの設定も併せて切り替え設定することができる。
The
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、システム制御回路50の指示等に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。コネクタ82,84は、電源制御部80と電源86とを接続する。電源86は、アルカリ電池、リチウム電池等の一次電池や、NiCd電池、Li電池等の二次電池、充電器、ACアダプタ等から構成されている。
The power
インタフェース90,94は、メモリカードやハードディスク等の記録媒体200,210とのインタフェースを司る。コネクタ92,96は、画像処理装置100と記録媒体200、210とを接続する。記録媒体着脱検知部98は、コネクタ92,96に記録媒体200、210が装着されているか否かを検知する。
The
光学ファインダ104は、レンズユニット300のレンズ310に入射した光線をミラー130,132等を介して導入し、光学像として結像表示することができる。この光学ファインダ104には、表示部54の一部の表示機能、例えば、合焦表示、手振れ警告表示、シャッタスピード表示、絞り値表示等の表示機能を有している。
The
通信部110は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信等の各種通信機能を有する。コネクタ/アンテナ112は、通信部110により画像処理装置100を他の機器と接続する場合はコネクタとして機能し、無線通信の場合はアンテナとして機能する。インタフェース120は、レンズマウント106内において、画像処理装置100をレンズユニット300と接続するためのインタフェースである。
The
コネクタ122は、画像処理装置100をレンズユニット300と電気的に接続する。レンズユニット300は、交換レンズタイプとして構成されている。レンズマウント306は、レンズユニット300を画像処理装置100と機械的に結合する。撮影レンズ群310は、被写体像を取り込む。絞り312は、撮影レンズ群310から入る光量を調節する。インタフェース320は、レンズマウント306内において、レンズユニット300を画像処理装置100と接続するためのインタフェースを司る。コネクタ322は、レンズユニット300を画像処理装置100と電気的に接続する。
The
絞り制御機構340は、画像処理装置100の測光部46からの測光情報に基づいてシャッタ12を制御するシャッタ制御部40と連携しながら、絞り312の開口量を調節する。測距制御機構342は、合焦動作を行なうべく撮影レンズ群310の所定レンズ位置を変化させる。ズーム制御機構344は、変倍動作を行なうべく撮影レンズ群310の所定レンズの位置を変化させる。レンズ制御回路350は、レンズユニット300全体を制御する。
The
次に、画像処理装置100の主要な動作を図2,3のフローチャートに基づいて説明する。
Next, main operations of the
電池交換等により画像処理装置100に対して電源が投入されると、システム制御回路50は、画像処理装置100の各部において必要な所定の初期設定を行う(ステップS101)。次に、システム制御回路50は、電源スイッチ72がON/OFFの何れに設定されているかを判別する(ステップS102)。電源スイッチ72がOFFに設定されている場合は、システム制御回路50は、各表示部の表示を終了状態に変更し、各種のパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御部80により、画像処理装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(ステップS103)、ステップS102に戻る。
When power is turned on to the
一方、電源スイッチ72がONに設定されている場合は、システム制御回路50は、電源制御部80により、電池等の電源86の残容量が画像処理装置100の動作に問題を来たさない程度に充分であるか否かを判別する(ステップS104)。その結果、電源86の残容量が不充分であれば、システム制御回路50は、表示部54を用いて所定の警告を行い(ステップS105)、ステップS102に戻る。一方、電源86の残容量が充分であれば、システム制御回路50は、モードダイアルスイッチ60により設定されたモードを判別する(ステップS106)。
On the other hand, when the
その結果、モードダイアルスイッチ60により撮影モード以外のモードが設定されている場合は、システム制御回路50は、そのモードに応じた処理を行なって(ステップS107)、ステップS102に戻る。一方、モードダイアルスイッチ60により撮影モードが設定されている場合は、システム制御回路50は、記録媒体200,210に何らかの問題があるか否かを判別する(ステップS108)。
As a result, when a mode other than the shooting mode is set by the
その結果、記録媒体200,210に何らかの問題がある場合は、システム制御回路50は、ステップS105に進み、表示部54を用いて所定の警告を行なう。一方、記録媒体200,210に問題がない場合は、システム制御回路50は、表示部54を用いて画像処理装置100の各種設定状態の表示出力や音声出力を行う(ステップS109)。
As a result, if there is any problem with the
次に、システム制御回路50は、シャッタスイッチ62のON/OFF状態を判別する(ステップS110)。シャッタスイッチ62がOFFの場合は、システム制御回路50は、ステップS102に戻る。シャッタスイッチ62がONの場合は、システム制御回路50は、測距処理を行って撮影レンズ群310の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する測距・測光処理を行う(ステップS111)。
Next, the
次に、システム制御回路50は、シャッタスイッチ64のON/OFF状態を判別する(ステップS112)。シャッタスイッチ64がOFFの場合は、システム制御回路50は、シャッタスイッチ62のON/OFF状態を再度判別する(ステップS113)。その結果、シャッタスイッチ62がOFFであれば、システム制御回路50は、ステップS102に戻り、シャッタスイッチ62がONであれば、ステップS112に戻る。そのステップS112にて、シャッタスイッチ64がONされていると判別された場合は、システム制御回路50は、メモリ30の画像記憶バッファ領域の残容量が、撮影した新たな画像データを記憶するのに充分であるか否かを判別する(ステップS114)。その結果、画像記憶バッファ領域の残容量が不充分であれば、システム制御回路50は、表示部54を用いて所定の警告を行った後に(ステップS115)、ステップS102に戻る。
Next, the
一方、画像記憶バッファ領域の残容量が充分であれば、システム制御回路50は、撮像素子14から撮像信号を読み出して、A/D変換器16、画像処理回路20、メモリ制御回路22等を介してメモリ30の画像記憶バッファ領域に書き込む撮影処理を行なう(ステップS116)。この撮影処理の詳細は、後述する。
On the other hand, if the remaining capacity of the image storage buffer area is sufficient, the
次に、システム制御回路50は、本実施の形態に特有な欠陥画素補正処理(キズ補正処理)を行なう(ステップS117)。このキズ補正処理の詳細は、後述する。
Next, the
次に、システム制御回路50は、メモリ30の画像記憶バッファ領域上のキズ補正処理後の画像データに対して、画像処理回路20を用いてAWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種の画像処理を行う(ステップS118)。そして、システム制御回路50は、キズ補正処理や画像処理が施されたメモリ30の画像記憶バッファ領域上の画像データに対して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路32を用いて行なう(ステップS119)。
Next, the
次に、システム制御回路50は、キズ補正処理、画像処理、及び圧縮処理が施された画像データをメモリ30の画像記憶バッファ領域から読み出して、メモリカード、コンパクトフラッシュ(登録商標)カード等の記録媒体200又は210に書き込む記録処理を開始する(ステップS120)。そして、システム制御回路50は、シャッタスイッチ62の状態を確認し(ステップS121)、シャッタスイッチ62がOFFされ次第、ステップS102に戻る。
Next, the
次に、上記ステップS116における撮影処理の詳細を、図4,5のフローチャートに基づいて説明する。 Next, details of the photographing process in step S116 will be described based on the flowcharts of FIGS.
撮影処理においては、システム制御回路50は、まず、ミラー130を不図示のミラー駆動機構によってミラーアップ位置に移動させる(ステップS301)。次に、システム制御回路50は、メモリ52等に記憶される測光データに基づいて、絞り制御機構340によって絞り312を所定の絞り値まで駆動させる(ステップS302)。
In the photographing process, the
次に、システム制御回路50は、撮像素子14上の残留電荷をクリアして(ステップS303)、撮像素子14での新たな電荷蓄積動作を開始させる(ステップS304)。そして、システム制御回路50は、シャッタ制御部40によってシャッタ12を開かせることにより(ステップS305)、撮像素子14に対する露光を開始させる(ステップS306)。
Next, the
次に、システム制御回路50は、フラッシュ48が必要であるか否かを判別し(ステップS307)、フラッシュ48が必要であれば、フラッシュ48を発光させる(ステップS308)。次に、システム制御回路50は、撮像素子14に対する露光動作の終了タイミングとなったか否かを測光データに基づいて判別し(ステップS309)、露光動作の終了タイミングとなった場合は、シャッタ制御部40によってシャッタ12を閉じさせる(ステップS310)。
Next, the
次に、システム制御回路50は、レンズユニット300の絞り制機構340によって絞り312を開放の絞り値まで駆動すると共に(ステップS311)、ミラー130を不図示のミラー駆動機構によってミラーダウン位置に移動させる(ステップS312)。そして、システム制御回路50は、設定した電荷蓄積時間が経過するのを待って(ステップS313でYES)、撮像素子14での電荷蓄積動作を終了させる(ステップS314)。
Next, the
次に、システム制御回路50は、撮像素子14から信号電荷を読み出して、A/D変換器16にてA/D変換処理、画像処理回路20にて画像処理を施させ、これら処理が施された撮影画像データをメモリ制御回路22等を介してメモリ30に書き込ませる(ステップS315)。そして、システム制御回路50は、図3,4のフローにリターンする。
Next, the
次に、キズ補正処理を詳細に説明する。前述のように、不揮発性メモリ56には、キズ画素データファイルが記憶されている。このキズ画素データファイルには、撮像素子14を工場から出荷する前に、所定の環境の下に標準の電荷蓄積時間(標準露光時間)で撮像素子14を露光し、その撮像素子14から出力される撮像データを画素単位で評価してキズ画素を判定したキズ画素データが纏められている。
Next, the scratch correction process will be described in detail. As described above, the non-volatile memory 56 stores a flaw pixel data file. The flaw pixel data file is output from the
また、このキズ画素データは、各キズ画素の位置データ(X,Y)とキズレベルデータ(レベル1〜5)により構成されている。なお、このレベルデータの大小関係は、レベル1<レベル2<レベル3<レベル4<レベル5となっている。
The flaw pixel data is composed of flaw pixel position data (X, Y) and flaw level data (
しかしながら、白キズの多くは撮像素子14の露光時間(電荷蓄積時間)に応じてレベルが大きくなる傾向があり、また、同じキズレベルの白キズであっても、設定されたISO感度によってキズレベルが変化する。なお、ISO感度は、画像処理装置においては、撮像素子14のゲイン、画像処理回路20のゲイン等に応じて変化するものである。
However, many white scratches tend to increase in level according to the exposure time (charge accumulation time) of the
そこで、本実施の形態では、前述のように、電荷蓄積時間とISO感度の組み合わせに応じて、補正の内容をパターン化した補正パターンテーブルと上記のキズ画像データファイルを用いてキズ補正処理を行なっている。 Therefore, in the present embodiment, as described above, the defect correction process is performed using the correction pattern table in which the correction contents are patterned and the above-described defect image data file in accordance with the combination of the charge accumulation time and the ISO sensitivity. ing.
次に、このキズ補正処理の詳細を、図6〜8のフローチャートに基づいて説明する。 Next, details of this scratch correction processing will be described based on the flowcharts of FIGS.
キズ補正処理では、システム制御回路50は、まず、キズ補正処理を行う際に使用するための補正パターンを選択する(図6のステップS401)。ここで、図6の他のステップを説明する前に、図6のステップS401における補正パターン選択処理の詳細を、図7,8のフローチャートに基づいて説明しておく。
In the scratch correction process, the
補正パターン選択処理では、システム制御回路50は、まず、不揮発性メモリ56に格納されているISO感度の設定値(例えば、ISO100、ISO200、ISO400)を確認する(ステップS501)。次に、システム制御回路50は、シャッタ速度、すなわち撮像素子14の電荷蓄積時間(t)の設定値を確認する(ステップS502)。
In the correction pattern selection process, the
そして、システム制御回路50は、電荷蓄積時間(t)の設定値が長秒時(t>T2)であるか否かを判別する(ステップS503)。電荷蓄積時間(t)の設定値が長秒時(t>T2)の場合は、システム制御回路50は、キズが目立ちやすくなる撮影条件であると認定して、補正パターン5を選択する(ステップS504)。この補正パターン5は、レベルの低いキズレベル1のキズ画素に係る撮像データから、レベルの高いキズレベル5のキズ画素に係る撮像データまでの全てを、補間補正処理の対象とするものである。
Then, the
この補間補正処理としては、本実施の形態では、キズ補正対象のキズ画素に隣接する同色の画素の撮像データを用いて、キズ補正対象のキズ画素に係る撮像データを補正する点キズ補正処理を行なっている。この点キズ補正処理の具体的な方法としては、キズ画素の出力データを隣接する画素の出力データで置換する方法、或いは周囲の画素の出力データの中央値や平均値で補間する方法等が考えられる。 As this interpolation correction processing, in this embodiment, point scratch correction processing is performed in which imaging data of a pixel of the same color adjacent to the scratch pixel to be corrected is used to correct imaging data related to the scratch pixel to be corrected. Is doing. As a specific method of this point flaw correction processing, a method of replacing the output data of flaw pixels with the output data of adjacent pixels, or a method of interpolating with the median value or the average value of the output data of surrounding pixels is considered. It is done.
電荷蓄積時間(t)の設定値が長秒時(t>T2)でない場合は、システム制御回路50は、電荷蓄積時間(t)の設定値が短秒(t<T1)であり、且つISO感度の設定値が低感度(ISO100)であるか否かを判別する(ステップS505)。その結果、電荷蓄積時間(t)の設定値が短秒(t<T1)であり、且つISO感度の設定値が低感度(ISO100)である場合は、システム制御回路50は、補正パターン1を選択する(ステップS506)。
If the set value of the charge accumulation time (t) is not a time long seconds (t> T2), the
この補正パターン1は、レベルが高い(例えば、レベル5)キズ画素に係る撮像データだけを補間補正処理の対象とし、キズレベルが低い(例えば、レベル1〜4)キズ画素に係る撮像データはオフセット補正処理の対象とするものである。このオフセット補正処理は、キズ補正対象のキズ画素に係る撮像データを所定の量だけオフセットするものである。
In this
ステップS505にて、補正パターン1の上記の撮影条件ではないと判別された場合は、システム制御回路50は、電荷蓄積時間(t)の設定値が短秒(t<T1)であり、且つISO感度の設定値が中感度(ISO200)であるか否か、又は、電荷蓄積時間(t)の設定値が中間秒時(T1<t≦T2)であり、且つISO感度の設定値が低感度(ISO100)であるか否かを判別する(ステップS507)。
If it is determined in step S505 that the above photographing condition of the
その結果、電荷蓄積時間(t)の設定値が短秒(t<T1)であり、且つISO感度の設定値が中感度(ISO200)である場合、又は電荷蓄積時間(t)の設定値が中間秒時(T1<t≦T2)であり、且つISO感度の設定値が低感度(ISO100)である場合は、システム制御回路50は、補正パターン2を選択する(ステップS508)。
As a result, when the set value of the charge accumulation time (t) is short seconds (t <T1) and the set value of the ISO sensitivity is medium sensitivity (ISO 200), or the set value of the charge accumulation time (t) is When the time is intermediate (T1 <t ≦ T2) and the ISO sensitivity setting value is low sensitivity (ISO100), the
この補正パターン2は、補間補正処理を行なうキズレベルを補正パターン1の場合よりも下げ(例えば、キズレベル5とキズレベル4)、他のキズレベル(例えば、キズレベル1〜3)のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。
In this correction pattern 2, the scratch level at which the interpolation correction process is performed is lower than in the case of the correction pattern 1 (for example, the scratch level 5 and the scratch level 4), and the imaging data relating to the scratch pixels of other scratch levels (for example,
補正パターン2の上記の撮影条件を満たしていない場合は、システム制御回路50は、電荷蓄積時間(t)の設定値が短秒(t<T1)であり、且つISO感度の設定値が高感度(ISO400)であるか否か、又は電荷蓄積時間(t)の設定値が中間秒時(T1<t≦T2)であり、且つISO感度の設定値が中感度(ISO200)であるか否かを判別する(ステップS509)。
When the above photographing condition of the correction pattern 2 is not satisfied, the
その結果、ステップS509の撮影条件を満たしている場合は、システム制御回路50は、補正パターン3を選択する(ステップS510)。この補正パターン3は、補間補正処理を行なうキズレベルを補正パターン2の場合よりも下げ(例えば、キズレベル5〜3)、他のキズレベル(例えば、キズレベル1〜2)のキズ画素に係る撮像データは、オフセット補正処理の対象とするものである。
As a result, when the photographing condition in step S509 is satisfied, the
補正パターン3の上記の撮影条件を満たしていない場合は、システム制御回路50は、補正パターン4を選択する(ステップS511)。この補正パターン4は、補間補正処理を行なうキズレベルを補正パターン3の場合よりも下げ(例えば、キズレベル5〜2)、他のキズレベル(例えば、キズレベル1)のキズ画素に係る撮像データをオフセット補正処理の対象とするものである。
If the above photographing condition of the correction pattern 3 is not satisfied, the
このように、補正パターン選択処理では、電荷蓄積時間とISO感度との組み合せのパターンに応じて、補間補正処理とオフセット補正処理の何れの補正処理を行なうかを決定するキズレベルを変更している。 As described above, in the correction pattern selection process, the scratch level that determines which correction process to perform, the interpolation correction process or the offset correction process, is changed according to the combination pattern of the charge accumulation time and the ISO sensitivity.
なお、上記の補正パターン選択処理は、実際には、前述のように補正パターンテーブルを用いて行なわれるものである。従って、電荷蓄積時間とISO感度の設定値を確認した後は、それら設定値に基づいて補正パターンテーブル上で対応する補正パターンを検索することにより、迅速に補正パターンを選択することが可能となる。 The correction pattern selection process is actually performed using the correction pattern table as described above. Therefore, after confirming the set values of the charge accumulation time and the ISO sensitivity, it is possible to quickly select a correction pattern by searching for a corresponding correction pattern on the correction pattern table based on the set values. .
次に、図6のキズ補正処理の説明に戻る。システム制御回路50は、上記のようにして補正パターンを選択した後(図6のステップS401)、不揮発性メモリ56に格納されているキズ画素データファイルの中から、キズレベルの大きい順に1つのキズレベルを指定し、そのキズレベルに係る全てのキズ画素の位置データを読み出す(ステップS402)。
Next, the description returns to the defect correction process in FIG. After selecting the correction pattern as described above (step S401 in FIG. 6), the
次に、システム制御回路50は、ステップS402にて読み出した位置データの中の1つの位置データを指定し、その位置に係る撮像データをメモリ30から読み出す(ステップS403)。この場合の位置データの指定順は、例えば、X座標値については、「0」から順に着目していき、Y座標値については、X座標値を固定した状態で「0」から順に指定していく方法、或いは、撮像素子14での蓄積電荷の転送順に従う方法等が考えられる。
Next, the
次に、システム制御回路50は、ステップS402にて指定したキズレベルが、ステップS401にて選択した補正パターンにおいてオフセット補正処理の対象となっているか否かを判別する(ステップS404)。その結果、オフセット補正処理の対象となっていない場合、すなわち、現在指定しているキズレベルが、現在選択している補正パターンにおいて補間補正処理の対象となっている場合は、システム制御回路50は、現在指定しているキズ画素に隣接する同色の画素の撮影画像データをメモリ30から読み出す(ステップS405)。
Next, the
次に、システム制御回路50は、読み出した隣接画素の撮像データの値に基づいて、現在指定している位置のキズ画素に係る撮像データを補正する(ステップS406)。この場合、システム制御回路50は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びISO感度に応じた係数を用いて、キズ画素毎に補間補正量を算出して、補間補正処理を行なっている。
Next, the
そして、システム制御回路50は、補正後の撮像データをメモリ30上の撮像データの指定に係る位置に上書きして(ステップS409)、ステップS410に進む。
Then, the
ステップS404にて、現在指定しているキズレベルがオフセット補正処理の対象となっていると判別された場合は、システム制御回路50は、ステップS403にて読み出した撮像データが所定レベル以上(例えば飽和状態)であるか否かを判別する(ステップS407)。
If it is determined in step S404 that the currently designated scratch level is the target of the offset correction process, the
その結果、所定レベル以上でなければ、システム制御回路50は、現在指定しているキズレベル、現在設定されている電荷蓄積時間及びISO感度に応じた係数を用いて、キズ画素毎にオフセット量を算出し、そのオフセット量に基づいて、現在位置指定しているキズ画素に係る撮像データをオフセット補正する(ステップS408)。すなわち、オフセット補正を行う際のオフセット量は、補正に係るキズ画素のキズレベルに応じて変更され、各キズ画素間で同一のオフセット量が用いられることはない。
As a result, if it is not equal to or higher than the predetermined level, the
そして、システム制御回路50は、オフセット補正後の撮像データをメモリ30上の撮像データの指定に係る位置に上書きして(ステップS409)、ステップS410に進む。
Then, the
一方、ステップS407にて所定レベル以上、すなわち飽和状態であると判別された場合は、補正処理を行なうことにより各画素間で画素データのレベルが不均一となり、却ってキズが目立ってしまうので、システム制御回路50は、何ら補正を行なうことなく、ステップS410に進む。
On the other hand, if it is determined in step S407 that the level is equal to or higher than the predetermined level, that is, the saturation state, the pixel data level is uneven among the pixels by performing the correction process, and scratches are conspicuous. The
このステップS410では、システム制御回路50は、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了したか否かを判別する。その結果、完了していなければ、システム制御回路50は、ステップS403に戻ることにより、次の位置のキズ画素に対して同様の処理を行なう。一方、現在指定しているキズレベルに係る全てのキズ画素に対する上記の補正処理が完了していれば、ステップS402に戻ることにより、次のキズレベルに係るキズ画素に対して同様の処理を行なう。
In this step S410, the
このように、本実施の形態では、撮像素子14のキズ画素のキズレベルをキズ画素データファイルに基づいて判定し、キズレベルが所定レベルより高いキズ画素に係る撮像データは、他の画素の撮像データに基づく補間補正処理を行い、キズレベルが所定レベルより低いキズ画素に係る撮像データは、オフセット補正処理を行なっている。
As described above, in the present embodiment, the scratch level of the scratch pixel of the
従って、過補正を回避すると共にキズ画素に係る撮像データを可及的に放逐し、また、オフセット補正処理も適正に行なうことができ、画質劣化を可及的に回避しつつキズ補正処理を行なうことが可能となる。 Therefore, it is possible to avoid over-correction, displace the imaging data related to the defective pixel as much as possible, and to appropriately perform the offset correction processing, and to perform the defect correction processing while avoiding image quality deterioration as much as possible. It becomes possible.
なお、本発明は、上記の実施の形態に限定されることはない。例えば、上記の実施の形態では、オフセット補正処理を行なう場合、キズ画素のキズレベルに応じてオフセット量を変化させており、キズ画素によってオフセット量が異なっている。しかし、例えば、図9のような、或るキズレベル帯には多数のキズ画素が分布している等の撮像素子に固有のキズ分布の特徴に着目し、所定レベル以下のキズレベルの場合には、撮影条件に応じた固定のオフセット量を各キズ画素に対して共通に用いてオフセット補正処理を行ってもよい。 The present invention is not limited to the above embodiment. For example, in the above embodiment, when the offset correction process is performed, the offset amount is changed according to the scratch level of the scratch pixel, and the offset amount differs depending on the scratch pixel. However, for example, paying attention to the characteristics of the flaw distribution unique to the image sensor such as a large flaw pixel distribution in a certain flaw level band as shown in FIG. The offset correction process may be performed by using a fixed offset amount corresponding to the shooting condition in common for each scratch pixel.
また、上記の実施の形態では、補間補正処理とオフセット補正処理の何れを行なうかを判別するためのキズレベルを撮影条件に応じて変化させているが、この判別用のキズレベルを固定し(例えば、キズレベル1)、この固定したキズレベル以下のキズ画素に係る撮像データに対してオフセット補正処理を行なうようにしてもよい。 In the above embodiment, the scratch level for determining whether to perform the interpolation correction processing or the offset correction processing is changed according to the shooting conditions. However, the scratch level for determination is fixed (for example, Scratch level 1), offset correction processing may be performed on image data relating to a scratch pixel below the fixed scratch level.
また、オフセット補正処理の代わりに、撮像素子のゲインを変化させるゲイン補正処理を行なうことも可能である。 Further, instead of the offset correction process, a gain correction process for changing the gain of the image sensor can be performed.
さらに、上記の実施の形態では、キズレベルの低いキズ画素であっても、その撮像データが所定レベル以上の場合には、オフセット補正処理を行わないようにしており、ここでの所定レベルとは、主に撮像素子の出力、すなわちRAW画像が飽和状態になるレベルを想定している。しかし、RAW画像の飽和に限定することなく、例えばJPEG変換に対応した飽和レベルを所定レベルとしても何ら問題はない。換言すれば、画像データを保存等する場合の圧縮方式に応じて、オフセット補正処理を行なうか否かを判別するためのキズレベルを変更してもよい。 Furthermore, in the above-described embodiment, even if the pixel has a low scratch level, if the imaging data is equal to or higher than a predetermined level, the offset correction processing is not performed. The predetermined level here is The level at which the output of the image sensor, that is, the RAW image is saturated is assumed. However, the present invention is not limited to RAW image saturation. For example, there is no problem even if a saturation level corresponding to JPEG conversion is set to a predetermined level. In other words, the scratch level for determining whether or not to perform the offset correction process may be changed according to the compression method used when storing the image data.
また、JPEG画像の飽和レベルとRAW画像の飽和レベルとでは、レベル的に差があるので、画素出力レベルに応じてオフセット補正を行わない等のシーケンスが複雑化する要因を排除すべく、単純に、所定値以下のキズレベルのキズ画素を全てオフセット補正処理の対象とすることも可能である。 In addition, since there is a difference in level between the saturation level of the JPEG image and the saturation level of the RAW image, in order to eliminate factors that complicate the sequence such as not performing offset correction according to the pixel output level, simply It is also possible to set all the flaw pixels having a flaw level equal to or lower than the predetermined value as the target of the offset correction process.
また、電荷蓄積時間、ISO感度に基づいて補正パターンを規定することなく、絞り値、シャッタ速度に対応する撮像素子の露光量、ISO感度に基づいて補正パターンを規定することも可能である。また、環境温度をも考慮して補正パターンを規定することも可能である。 It is also possible to define the correction pattern based on the exposure value of the image sensor corresponding to the aperture value and the shutter speed and the ISO sensitivity without defining the correction pattern based on the charge accumulation time and the ISO sensitivity. It is also possible to define the correction pattern in consideration of the environmental temperature.
さらに、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。 Furthermore, an object of the present invention is to supply a storage medium in which a program code of software for realizing the functions of the embodiment is recorded to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus as the storage medium. This can also be achieved by reading and executing the stored program code.
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.
又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。 Examples of the storage medium for supplying the program code include a floppy (registered trademark) disk, a hard disk, a magneto-optical disk, a CD-ROM, a CD-R, a CD-RW, a DVD-ROM, a DVD-RAM, and a DVD. -RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM, etc. can be used. Alternatively, the program code may be downloaded via a network.
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This includes the case where the CPU or the like provided in the board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
14…撮像素子
12…シャッタ
40…シャッタ制御部
44…温度計
50…システム制御回路
30,52…メモリ
56…不揮発性メモリ
69…ISO感度スイッチ
312…絞り
14 ...
Claims (11)
前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、
前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、
前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする画像処理装置。 In an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
Storage means for storing the position and defect level of the defective pixel of the image sensor;
A correction unit that corrects the imaging data based on the position of the defective pixel and the defect level stored in the storage unit ;
The correction means selects whether to perform an interpolation correction process for the imaging data or to perform an offset correction process for the imaging data,
For the imaging data related to the defective pixel having a defect level higher than a predetermined level stored in the storage unit, the interpolation correction process is performed without performing the offset correction process,
Image processing characterized in that the offset correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. apparatus.
前記撮像素子の欠陥画素の位置と欠陥レベルが記憶される記憶手段と、Storage means for storing the position and defect level of the defective pixel of the image sensor;
前記記憶手段に記憶される前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正手段を備え、A correction unit that corrects the imaging data based on the position of the defective pixel and the defect level stored in the storage unit;
前記補正手段は、前記撮像データに対して補間補正処理を実行するか、前記撮像素子のゲイン補正処理を実行するかを選択するものであって、The correction means selects whether to perform an interpolation correction process on the imaging data or to perform a gain correction process of the image sensor,
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行することなく、前記補間補正処理を実行し、For the imaging data related to the defective pixel whose defect level is higher than a predetermined level stored in the storage means, the interpolation correction process is executed without executing the gain correction process,
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行し、前記補間補正処理を実行しないことを特徴とする画像処理装置。Image processing characterized in that the gain correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or lower than the predetermined level. apparatus.
記憶手段に記憶される前記撮像素子の欠陥画素の位置と欠陥レベルを読み出す読み出し工程と、
前記読み出し工程にて読み出した前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正工程を備え、
前記補正工程は、前記撮像データに対して補間補正処理を実行するか、前記撮像データに対してオフセット補正処理を実行するかを選択するものであって、
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行することなく、前記補間補正処理を実行し、
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記オフセット補正処理を実行し、前記補間補正処理を実行しないことを特徴とする制御方法。 In a control method of an image processing apparatus that performs image processing on imaging data imaged using an imaging element,
A reading step of reading out the position and defect level of the defective pixel of the image sensor stored in the storage means;
A correction step of correcting the imaging data based on the position of the defective pixel read out in the reading step and the defect level ;
The correction step selects whether to perform an interpolation correction process on the imaging data or an offset correction process on the imaging data,
For the imaging data related to the defective pixel having a defect level higher than a predetermined level stored in the storage unit, the interpolation correction process is performed without performing the offset correction process,
A control method characterized in that the offset correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or less than the predetermined level. .
記憶手段に記憶される前記撮像素子の欠陥画素の位置と欠陥レベルを読み出す読み出し工程と、A reading step of reading out the position and defect level of the defective pixel of the image sensor stored in the storage means;
前記読み出し工程にて読み出した前記欠陥画素の位置と前記欠陥レベルに基づいて前記撮像データを補正する補正工程を備え、A correction step of correcting the imaging data based on the position of the defective pixel read out in the reading step and the defect level;
前記補正工程は、前記撮像データに対して補間補正処理を実行するか、前記撮像素子のゲイン補正処理を実行するかを選択するものであって、The correction step selects whether to perform an interpolation correction process for the imaging data or to perform a gain correction process for the image sensor,
前記記憶手段に記憶される前記欠陥レベルが所定レベルより高い欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行することなく、前記補間補正処理を実行し、For the imaging data related to the defective pixel whose defect level is higher than a predetermined level stored in the storage means, the interpolation correction process is executed without executing the gain correction process,
前記記憶手段に記憶される前記欠陥レベルが前記所定レベル以下である欠陥画素に係る撮像データに対しては、前記ゲイン補正処理を実行し、前記補間補正処理を実行しないことを特徴とする制御方法。A control method characterized in that the gain correction process is executed and the interpolation correction process is not executed for imaging data relating to a defective pixel whose defect level stored in the storage means is equal to or less than the predetermined level. .
The program which performs the control method of Claim 9 or 10.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005310550A JP4794978B2 (en) | 2005-10-25 | 2005-10-25 | Image processing apparatus, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005310550A JP4794978B2 (en) | 2005-10-25 | 2005-10-25 | Image processing apparatus, control method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007124056A JP2007124056A (en) | 2007-05-17 |
JP2007124056A5 JP2007124056A5 (en) | 2008-11-27 |
JP4794978B2 true JP4794978B2 (en) | 2011-10-19 |
Family
ID=38147441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005310550A Expired - Fee Related JP4794978B2 (en) | 2005-10-25 | 2005-10-25 | Image processing apparatus, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4794978B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009022634A1 (en) * | 2007-08-10 | 2009-02-19 | Canon Kabushiki Kaisha | Image-pickup apparatus and control method therof |
JP5186937B2 (en) * | 2008-02-05 | 2013-04-24 | 株式会社ニコン | Image processing apparatus, electronic camera, and allowable value setting method |
JP5152979B2 (en) * | 2008-05-14 | 2013-02-27 | 富士フイルム株式会社 | Radiation image processing method and apparatus |
JP5371331B2 (en) * | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM |
JP2012070319A (en) * | 2010-09-27 | 2012-04-05 | Mitsubishi Electric Corp | Image processing method, image processing apparatus, and image processing program |
JP2012105023A (en) * | 2010-11-09 | 2012-05-31 | Canon Inc | Image processing apparatus, image pickup device, and image processing method |
JP5762002B2 (en) | 2011-01-06 | 2015-08-12 | キヤノン株式会社 | Imaging device |
JP2013093685A (en) | 2011-10-25 | 2013-05-16 | Sumitomo Electric Ind Ltd | Imaging apparatus |
JP6180882B2 (en) * | 2013-10-31 | 2017-08-16 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device, signal processing device, and electronic device |
CN113596431B (en) * | 2015-05-08 | 2023-11-17 | 佳能株式会社 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
JP6746359B2 (en) * | 2015-05-08 | 2020-08-26 | キヤノン株式会社 | Image processing device, imaging device, image processing method, program, and storage medium |
JP7499695B2 (en) * | 2020-12-24 | 2024-06-14 | ゼタテクノロジーズ株式会社 | Solid-state imaging device, signal processing method for solid-state imaging device, and electronic device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7173656B1 (en) * | 1997-12-03 | 2007-02-06 | Intel Corporation | Method and apparatus for processing digital pixel output signals |
JP4845256B2 (en) * | 2000-10-18 | 2011-12-28 | キヤノン株式会社 | Image processing device |
JP2005073233A (en) * | 2003-08-07 | 2005-03-17 | Canon Inc | Imaging device |
JP2006148439A (en) * | 2004-11-18 | 2006-06-08 | Konica Minolta Photo Imaging Inc | Imaging apparatus |
-
2005
- 2005-10-25 JP JP2005310550A patent/JP4794978B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007124056A (en) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4794978B2 (en) | Image processing apparatus, control method, and program | |
JP4378341B2 (en) | Imaging apparatus and correction method | |
JP2007174124A (en) | Imaging apparatus and correction method | |
JP2005045552A (en) | Imaging device and its method | |
JP2004172972A (en) | Image pickup device | |
JP4761570B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
US9467635B2 (en) | Image processing apparatus and image processing method | |
JP4819479B2 (en) | Imaging apparatus and image data correction method | |
JP3605084B2 (en) | Image data correction device, image processing device, image data correction method, program, and storage medium | |
JP2007228055A (en) | Electronic camera | |
JP2003333434A (en) | Device and method for picking-up image, program, and recording medium | |
JP4393177B2 (en) | Imaging apparatus and imaging method | |
JP4411053B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND STORAGE MEDIUM | |
JP3703436B2 (en) | Image processing apparatus, image processing method, and program | |
JP2006148794A (en) | Imaging apparatus, correction processing method, correction processing program and storage medium | |
JP2005333620A (en) | Image processing apparatus and image processing method | |
JP2006109162A (en) | Imaging apparatus, imaging method, program, and storage medium | |
JP5967897B2 (en) | Imaging apparatus, control method therefor, and program | |
JP4682104B2 (en) | Imaging device | |
JP5028467B2 (en) | Image processing device | |
JP2005051697A (en) | Imaging apparatus | |
JP2005057691A (en) | Imaging apparatus and method | |
JP2006108878A (en) | Imaging apparatus | |
JP2005184609A (en) | Electronic camera | |
JP2009124420A (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |