JP4977541B2 - Digital camera and operation control method thereof - Google Patents
Digital camera and operation control method thereof Download PDFInfo
- Publication number
- JP4977541B2 JP4977541B2 JP2007186420A JP2007186420A JP4977541B2 JP 4977541 B2 JP4977541 B2 JP 4977541B2 JP 2007186420 A JP2007186420 A JP 2007186420A JP 2007186420 A JP2007186420 A JP 2007186420A JP 4977541 B2 JP4977541 B2 JP 4977541B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- image data
- defective pixel
- conversion element
- digital camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 100
- 230000002950 deficient Effects 0.000 claims description 72
- 238000012937 correction Methods 0.000 claims description 65
- 230000035945 sensitivity Effects 0.000 claims description 41
- 230000003321 amplification Effects 0.000 claims description 25
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
この発明は,ディジタル・カメラおよびその動作制御方法に関する。 The present invention relates to a digital camera and an operation control method thereof.
CCDなどの固体電子撮像素子においては,欠陥画素が発生することがあるために,欠陥画素補正が行われることがある。欠陥画素は,露光時間が長いときに目立つので露光時間にもとづいて欠陥画素補正を行うかどうかを決定するものがある(特許文献1,2)。
しかしながら,固体電子撮像素子に設けられている多数の光電変換素子はすべて一律に同じ感度のものではなく,異なる感度のものが混在することが多い。露光時間が長い場合に,すべての欠陥画素を補正すると,補正する必要の無い欠陥画素にまで補正することとなり,得られる画像の画質が低下することがある。 However, many photoelectric conversion elements provided in a solid-state electronic image pickup device are not all of the same sensitivity, but often have different sensitivities. If all the defective pixels are corrected when the exposure time is long, the defective pixels that do not need to be corrected are corrected, and the image quality of the obtained image may deteriorate.
この発明は,補正が必要な欠陥画素について補正をすることを目的とする。 An object of the present invention is to correct a defective pixel that needs to be corrected.
この発明によるディジタル・カメラは,受光面上に感度の異なる多数の光電変換素子が配置されており,被写体を撮像することにより,被写体像を表す画像データを出力する固体電子撮像素子,感度の異なる上記光電変換素子ごとに,欠陥画素の補正を行うかどうかを判定する判定手段,上記固体電子撮像素子から出力された画像データのうち,上記判定手段によって欠陥画素の補正を行なうと判定された上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データであって,あらかじめ定められている欠陥画素に対応する画像データを補正する補正手段,ならびに上記固体電子撮像素子から出力された画像データのうち,上記補正手段によって補正された画像データおよび上記補正手段によって補正されなかった画像データを,感度の異なる上記光電変換素子ごとに異なる増幅率で増幅する増幅回路を備え,上記判定手段が,上記異なる増幅率のうち,欠陥画素の補正を行うかどうかを判定する対象の上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データの増幅率についての値を用いて,露光時間についての値を補正した値がしきい値を超えた場合に欠陥画素の補正を行うと判定するものである。 In the digital camera according to the present invention, a large number of photoelectric conversion elements having different sensitivities are arranged on a light receiving surface, and a solid-state electronic image sensor that outputs image data representing a subject image by imaging the subject differs in sensitivity. Determining means for determining whether or not to correct a defective pixel for each photoelectric conversion element, Of the image data output from the solid-state electronic image sensor, the determination means determined to correct a defective pixel Image data obtained on the basis of signal charges accumulated in the photoelectric conversion element, and correction means for correcting image data corresponding to a predetermined defective pixel, and an image output from the solid-state electronic image sensor Among the data, the image data corrected by the correcting means and the image data not corrected by the correcting means are The photoelectric conversion elements having different amplification factors for each of the photoelectric conversion elements having different sensitivities are provided, and the determination means includes the photoelectric conversion elements to be determined as to whether or not to correct defective pixels among the different amplification factors. Using the value for the amplification factor of the image data obtained based on the accumulated signal charge, it is determined that the defective pixel is corrected when the value obtained by correcting the value for the exposure time exceeds the threshold value. Is.
この発明は,上記ディジタル・カメラの動作制御方法も提供している。すなわち,この方法は,固体電子撮像素子が,受光面上に感度の異なる多数の光電変換素子が配置されており,被写体を撮像することにより,被写体像を表す画像データを出力し,判定手段が,感度の異なる上記光電変換素子ごとに,欠陥画素の補正を行うかどうかを判定し,補正手段が,上記固体電子撮像素子から出力された画像データのうち,上記判定手段によって欠陥画素の補正を行なうと判定された上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データであって,あらかじめ定められている欠陥画素に対応する画像データを補正し,増幅回路が,上記固体電子撮像素子から出力された画像データのうち,上記補正手段によって補正された画像データおよび上記補正手段によって補正されなかった画像データを,感度の異なる上記光電変換素子ごとに異なる増幅率で増幅し,上記判定手段が,上記異なる増幅率のうち,欠陥画素の補正を行うかどうかを判定する対象の上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データの増幅率についての値を用いて,露光時間についての値を補正した値がしきい値を超えた場合に欠陥画素の補正を行うと判定するものである。 The present invention also provides an operation control method for the digital camera. That is, in this method, a solid-state electronic image sensor is provided with a large number of photoelectric conversion elements having different sensitivities on the light receiving surface, and by imaging the subject, image data representing the subject image is output. Determining whether or not to correct the defective pixel for each of the photoelectric conversion elements having different sensitivities, and correcting means corrects the defective pixel by the determining means out of the image data output from the solid-state electronic image sensor. Image data obtained based on the signal charges accumulated in the photoelectric conversion element determined to be performed, the image data corresponding to a predetermined defective pixel is corrected, and an amplifier circuit Of the image data output from the image sensor, the image data corrected by the correcting means and the image data not corrected by the correcting means are processed. Signal charges accumulated in the photoelectric conversion elements to be subjected to the determination by the determination means to determine whether or not to correct a defective pixel out of the different amplification factors. Using the value for the amplification factor of the image data obtained based on the above, it is determined that the defective pixel is corrected when the value obtained by correcting the value for the exposure time exceeds the threshold value.
この発明によると,固体電子撮像素子の受光面上には感度の異なる多数の光電変換素子が配置されており,被写体を撮像することにより被写体像を表す画像データが得られる。欠陥画素補正を行うかどうかが,感度の異なる光電変換素子ごとに判定される。欠陥画素判定を行うと判定された光電変換素子に蓄積された信号電荷にもとづいて得られた被写体像を表す画像データであって,あらかじめ定められた欠陥画素に対応する画像データが補正される。補正された画像データおよび補正されていない画像データが,感度の異なる光電変換素子ごとに異なる増幅率で増幅される。欠陥画素の補正が行われるかどうかの判定は,異なる増幅率のうち,欠陥画素の補正を行うかどうかを判定する対象の光電変換素子に蓄積された信号電荷にもとづいて得られた増幅率についての値を用いて,露光時間についての値を補正して得られた値がしきい値を超えた場合に行われるものと判定される。 According to the present invention, a large number of photoelectric conversion elements having different sensitivities are arranged on the light receiving surface of the solid-state electronic image sensor, and image data representing the subject image can be obtained by imaging the subject. Whether or not to perform defective pixel correction is determined for each photoelectric conversion element having a different sensitivity. Image data representing a subject image obtained based on the signal charge accumulated in the photoelectric conversion element determined to perform the defective pixel determination, and corresponding to the predetermined defective pixel is corrected. The corrected image data and the uncorrected image data are amplified with different amplification factors for the photoelectric conversion elements having different sensitivities. The determination of whether or not the defective pixel is corrected is based on the amplification factor obtained based on the signal charge accumulated in the photoelectric conversion element to be determined whether or not to correct the defective pixel among the different amplification factors. Using this value, it is determined that the value obtained by correcting the value for the exposure time exceeds the threshold value.
この発明によると感度の異なる光電変換素子ごとに,欠陥画素補正が行われるかどうかが判定され,行われると判定された場合に欠陥画素補正が行われる。欠陥画素補正を行うかどうかを感度の異なる光電変換素子ごとに決定できるようになる。 According to the present invention, it is determined whether or not defective pixel correction is performed for each photoelectric conversion element having different sensitivities, and when it is determined to be performed, defective pixel correction is performed. Whether or not to perform defective pixel correction can be determined for each photoelectric conversion element having a different sensitivity.
感度が異なる光電変換素子から得られる画像データについては,感度に応じて増幅率を変えて画像データが増幅されることがある。増幅率を変えて画像データが増幅されると,欠陥画素補正を行う必要があると考えられる露光時間のしきい値も感度の異なる光電変換素子ごとに変わる。この発明によると,異なる増幅率のうち欠陥画素の補正を行うかどうかを判定する対象の光電変換素子に蓄積された信号電荷にもとづいて得られた画像データの増幅率についての値を用いて,露光時間についての値を補正して欠陥画素の補正を行うかどうかを判定しているので,感度の異なる光電変換素子に応じて増幅率を変えて画像データを増幅しても欠陥画素を行うかどうかの判定が比較的正確に行うことができる。 For image data obtained from photoelectric conversion elements having different sensitivities, the image data may be amplified by changing the amplification factor according to the sensitivity. When the image data is amplified by changing the amplification factor, the threshold value of the exposure time considered to be necessary to correct the defective pixel also changes for each photoelectric conversion element having a different sensitivity. According to the present invention, using the value of the amplification factor of the image data obtained based on the signal charge accumulated in the photoelectric conversion element to be determined whether or not to correct the defective pixel among the different amplification factors, Since it is determined whether or not the defective pixel is corrected by correcting the value for the exposure time, whether or not the defective pixel is performed even if the image data is amplified by changing the amplification factor according to the photoelectric conversion element having different sensitivity The determination of whether or not can be performed relatively accurately.
感度の異なる上記光電変換素子ごとの増幅率を記憶するメモリをさらに備えてもよい。この場合,上記増幅回路は,上記メモリに記憶されている増幅率を用いて上記補正手段によって補正された画像データを補正するものとなろう。 You may further provide the memory which memorize | stores the amplification factor for every said photoelectric conversion element from which a sensitivity differs. In this case, the amplification circuit will correct the image data corrected by the correction means using the amplification factor stored in the memory.
ディジタル・カメラ周辺の温度を検出する温度検出手段,および上記温度検出手段によって検出された温度にもとづいて上記しきい値を変更する変更手段をさらに備えてもよい。 Temperature detecting means for detecting the temperature around the digital camera and changing means for changing the threshold based on the temperature detected by the temperature detecting means may be further provided.
上記固体電子撮像素子は,たとえば,異なる色のカラー・フィルタが受光領域に付されている多数の光電変換素子,異なる色のカラー・フィルタもしくは透明のフィルタが受光領域に付されている多数の光電変換素子,または異なる受光領域の大きさをもつ多数の光電変換素子を備えているものである。 The solid-state electronic image sensor includes, for example, a large number of photoelectric conversion elements in which color filters of different colors are attached to the light receiving area, and a large number of photoelectric conversion elements in which color filters of different colors or transparent filters are attached to the light receiving area. A conversion element or a large number of photoelectric conversion elements having different light receiving area sizes is provided.
図1は,この発明の実施例を示すもので,ディジタル・カメラの電気的構成を示すブロック図である。 FIG. 1 shows an embodiment of the present invention and is a block diagram showing an electrical configuration of a digital camera.
ディジタル・カメラの全体の動作は,CPU8によって統括される。 The entire operation of the digital camera is controlled by the CPU 8.
ディジタル・カメラには,電源ボタン,シャッタ・レリーズ・ボタン,モード・スイッチなどのスイッチ類を含む操作スイッチ9が設けられている。この操作スイッチ9から出力された信号は,CPU8に入力する。また,ディジタル・カメラには露光時間その他の時間を計時するためのタイマ11およびディジタル・カメラの周辺温度を計測する温度センサ12も設けられている。
The digital camera is provided with an operation switch 9 including switches such as a power button, a shutter release button, and a mode switch. A signal output from the operation switch 9 is input to the CPU 8. The digital camera is also provided with a timer 11 for measuring the exposure time and other times and a
駆動回路7によって,レンズ/バリア/シャッタ/絞り1および撮像素子2が駆動させられる。レンズ/バリア/シャッタ/絞り1を通過した光線束は,撮像素子2の受光面に入射する。
The
図2は,撮像素子2の受光面の一部を示している。
FIG. 2 shows a part of the light receiving surface of the
撮像素子2の受光面20には,多数の光電変換素子21が水平方向および垂直方向に配置されている。これらの光電変換素子21が画素に対応する。光電変換素子21の受光面(受光領域)上には赤色成分の光を透過するフィルタ(Rで示す),緑色成分の光を透過するフィルタ(Gで示す)または青色成分の光を透過するフィルタ(Bで示す)が形成されている。露光量に応じた信号電荷が光電変換素子21に蓄積される。蓄積された信号電荷は垂直転送路および水平転送路(いずれも図示略)を介して,画像データとして撮像素子2から出力される。赤色成分の光を透過するフィルタR,緑色成分の光を透過するフィルタGまたは青色成分の光を透過するフィルタBの透過率が異なることから,赤色成分の光を透過するフィルタR,緑色成分の光を透過するフィルタGまたは青色成分の光を透過するフィルタBが形成されている光電変換素子21の感度が異なることとなる。
A large number of
図1に戻って,撮像素子2から赤色成分の画像データ,緑色成分の画像データまたは青色成分の画像データが順に出力される。撮像素子2から出力された画像データはオフセット補正回路3を介して欠陥補正回路4に入力する。
Returning to FIG. 1, the image data of the red component, the image data of the green component, or the image data of the blue component are sequentially output from the
欠陥補正回路4は,撮像素子2の欠陥画素(いわゆる撮像素子2の傷などのことであり,光電変換素子21に信号電荷が蓄積されているにもかかわらず,その蓄積量に応じた画像データが得られない画素)を補正する回路である。欠陥画素の位置についてはあらかじめ検出されており,その位置を示すデータがメモリ10に格納されている。この実施例によるディジタル・カメラは,あらかじめ検出されている欠陥画素のすべてについて欠陥画素補正が行われるものではなく,所定の判定式が成立する欠陥画素について欠陥画素補正が行われる。
The
とくに,この実施例においては,所定の判定式に用いられるパラメータが撮像素子の感度に応じて異なる。上述したように撮像素子2の光電変換素子21は,受光面に形成されているフィルタが赤色の光成分を透過するものか,緑色の光成分を透過するものか,青色の光成分を透過するものかに応じて感度が異なることから,白バランス調整が行われる。この白バランス調整におけるゲインが赤色成分の画像データか,緑色成分の画像データか,青色成分の画像データかによって異なる。これらの赤色成分の画像データ,緑色成分の画像データまたは青色成分の画像データごとに異なるゲインを用いて,上述した判定式の計算が行なわれる。
In particular, in this embodiment, the parameters used for the predetermined determination formula differ depending on the sensitivity of the image sensor. As described above, the
欠陥画素補正回路4から出力された画像データはゲイン補正回路5に入力し,白バランス調整が行われる。白バランス調整後に,欠陥画素の補正をしてもよい。ゲイン補正回路5から出力された画像データは信号処理回路6において,色補間,データ圧縮などの所定の信号処理が行われて画像表示装置14に入力する。画像表示装置14に,撮像により得られた被写体像が表示される。
The image data output from the defective
シャッタ・レリーズ・ボタンが押されると,上述のようにして信号処理回路6から出力された画像データがメモリ・カード・インターフェイス13に接続されているメモリ・カード(図示略)に記録される。
When the shutter release button is pressed, the image data output from the
図3は,ディジタル・カメラの処理手順を示すフローチャートである。 FIG. 3 is a flowchart showing the processing procedure of the digital camera.
撮像素子2によって被写体が撮像される(ステップ31)。ISO感度のAPEX値(たとえば,ISO100であれば5)Sv,露光時間のAPEX値(たとえば,1秒であれば0)Tv,ゲインGaなどが取得される(ステップ32)。ISO感度は固定であればメモリ10に記憶されており,ユーザによる設定ができる場合には設定された値が読み取られよう。また,露光時間はタイマ11によって計時される。ゲインGaは,白バランス・ゲインであり,例えば,赤色成分の画像データについては1.2,緑色成分の画像データについては1,青色成分の画像データについては1.8である。
The subject is imaged by the image sensor 2 (step 31). An APEX value of ISO sensitivity (for example, 5 for ISO 100) Sv, an APEX value of exposure time (for example, 0 for 1 second) Tv, gain Ga, and the like are acquired (step 32). If the ISO sensitivity is fixed, it is stored in the
つづいて,赤色成分(R画素)の画像データ,緑色成分(G画素)の画像データ,青色成分(B画素)の画像データごとに式1の判定式の計算が行われる(ステップ33)。欠陥画素の画像データについて式1が成立する場合に欠陥画素補正が行われる。しきい値Thは例えば,固定値であり,5である。この式1が,画像データの増幅率についての値を用いて,露光時間を補正するものである。 Subsequently, the determination formula of Expression 1 is calculated for each of the red component (R pixel) image data, the green component (G pixel) image data, and the blue component (B pixel) image data (step 33). When Equation 1 is satisfied for the image data of the defective pixel, the defective pixel correction is performed. The threshold value Th is, for example, a fixed value and is 5. Equation 1 corrects the exposure time using a value for the amplification factor of the image data.
Sv+log2(Ga)−Tv>Th・・・式1 Sv + log2 (Ga) -Tv> Th ... Formula 1
欠陥画素補正回路4に入力した画像データであって,欠陥画素に相当する光電変換素子21から得られた画像データがR画素,G画素またはB画素のどのものかが判別される(ステップ34)。
It is determined whether the image data inputted from the defective
R画素の画像データであれば,R画素のゲインGaを用いて式1を算出した場合に,式1(判定式)が成立するかどうかが判定される。式1が成立すれば(ステップ35でYES),欠陥画素補正が必要な時間以上露光されていたと考えられるので,そのR画素の欠陥画素について欠陥補正回路4において欠陥画素補正が行われる(ステップ36)。式1が成立しなければ(ステップ35でNO),ステップ36の処理はスキップされ,そのR画素の欠陥画素について欠陥画素補正は行われない。
In the case of R pixel image data, it is determined whether Formula 1 (determination formula) is satisfied when Formula 1 is calculated using the gain Ga of the R pixel. If Equation 1 is satisfied (YES in step 35), it is considered that the defective pixel has been exposed for a time necessary for correction, and therefore, the defective pixel correction is performed in the
同様に,G画素の画像データであれば,G画素のゲインGaを用いて式1を算出した場合に式1が成立するかどうかが判定される。式1が成立すれば(ステップ37でYES),そのG画素の欠陥画素について欠陥画素補正が行われる(ステップ38)。式1が成立しなければ(ステップ37でNO),ステップ38の処理はスキップされ,そのG画素の欠陥画素について欠陥画素補正は行われない。
Similarly, in the case of G pixel image data, it is determined whether Equation 1 is satisfied when Equation 1 is calculated using the gain Ga of the G pixel. If Expression 1 is satisfied (YES in step 37), defective pixel correction is performed for the defective pixel of the G pixel (step 38). If Equation 1 does not hold (NO in step 37), the process of
さらに,B画素の画像データであれば,B画素のゲインGaを用いて式1を算出した場合に式1が成立するかどうかが判定される。式1が成立すれば(ステップ39でYES),そのB画素の欠陥画素について欠陥画素補正が行われる(ステップ40)。式1が成立しなければ(ステップ39でNO),ステップ40の処理はスキップされ,そのB画素の欠陥画素について欠陥画素補正は行われない。
Further, in the case of image data of B pixels, it is determined whether Equation 1 is satisfied when Equation 1 is calculated using the gain Ga of B pixels. If Equation 1 is satisfied (YES in step 39), defective pixel correction is performed for the defective pixel of the B pixel (step 40). If Equation 1 does not hold (NO in step 39), the process of
一駒分の画像のすべての画素の画像データについてステップ34から40までの処理が繰り返される(ステップ41)。一駒分の画像の画像データについてのステップ34から40までの処理が終了すると(ステップ41でYES),その画像データについて上述した画素補間,データ圧縮などの所定の画像信号処理が行われる(ステップ42)。
The processing from
撮像素子に感度の異なる光電変換素子が含まれている場合には,露光時間にもとづいて欠陥画素補正をするかしないかを決定するときに,感度をごとに露光時間を調整する必要があるが,上述した式1の判定式は,画素ごとに異なるゲインを考慮しているので(すなわち,光電変換素子の感度の相違を考慮しているので),その露光時間を調整して欠陥画素補正をするかしないかを決定できる。 When the image sensor includes photoelectric conversion elements with different sensitivities, it is necessary to adjust the exposure time for each sensitivity when deciding whether or not to perform defective pixel correction based on the exposure time. Since the above-described determination formula 1 considers a different gain for each pixel (that is, considers a difference in sensitivity of photoelectric conversion elements), the exposure time is adjusted to correct a defective pixel. You can decide whether or not to do it.
図4は,温度としきい値Thとの関係を示している。 FIG. 4 shows the relationship between temperature and threshold value Th.
上述した式1の判定式は,しきい値Thは固定であったが,ディジタル・カメラの周辺温度に応じてしきい値Thを変えるようにしてもよい。周辺温度は上述したように,温度センサ12を用いて計測できる。
Although the threshold value Th is fixed in the determination formula of the above-described formula 1, the threshold value Th may be changed according to the ambient temperature of the digital camera. The ambient temperature can be measured using the
温度(℃)が0度,10度,20度,30度,40度,50度と上がるにつれて,しきい値Thが8,7,6,5,4,3と下がる。温度変化に応じて光電変換素子の感度も変わるので,温度変化を考慮して,欠陥画素補正を行うかどうかを判定できるようになる。 As the temperature (° C.) increases to 0 °, 10 °, 20 °, 30 °, 40 °, and 50 °, the threshold Th decreases to 8, 7, 6, 5, 4, and 3. Since the sensitivity of the photoelectric conversion element also changes in accordance with the temperature change, it is possible to determine whether or not to perform defective pixel correction in consideration of the temperature change.
図5は,撮像素子の受光面22に形成されている光電変換素子21の一例である。
FIG. 5 is an example of the
上述したのと同様に,撮像素子の受光面22の水平方向および垂直方向に多数の光電変換素子21が配置されている。この図においても図2に示すものと同様に,光電変換素子21の受光面に形成されているフィルタのうち赤色の光成分を透過するものについてはRの符号が付され,緑色の光成分を透過するものについてはGの符号が付され,青色の光成分を透過するものについてはBの符号が付されている。上述のように,Rの符号が付されたフィルタが形成されている光電変換素子に蓄積された信号電荷にもとづいてR画素の画像データが得られ,Gの符号が付されたフィルタが形成されている光電変換素子に蓄積された信号電荷にもとづいてG画素の画像データが得られ,Bの符号が付されたフィルタが形成されている光電変換素子に蓄積された信号電荷にもとづいてB画素の画像データが得られる。
As described above, a large number of
この実施例における撮像素子の受光面にはカラー・フィルタが形成されていない光電変換素子21Aが設けられている。カラー・フィルタが形成されていない光電変換素子21Aには符号Yが付されている。カラー・フィルタが形成されていない光電変換素子21Aの感度はカラー・フィルタが形成されている光電変換素子21の感度よりも高い。これらの光電変換素子21Aに蓄積された信号電荷にもとづいて,輝度データが得られる。
In this embodiment, a
図6は,図5に示す光電変換素子の配列をもつ撮像素子を用いて被写体を撮像する場合のディジタル・カメラの処理手順を示すフローチャートである。この図において図3に示す処理と同一の処理については同一符号を付して説明を省略する。 FIG. 6 is a flowchart showing a processing procedure of the digital camera when the subject is imaged using the image sensor having the photoelectric conversion element array shown in FIG. In this figure, the same processes as those shown in FIG.
上述したように,カラー・フィルタが形成されていない光電変換素子21Aに相当する画素をY画素と呼ぶことにする。R画素,G画素,B画素,Y画素ごとに式1の判定式が計算される(ステップ33A)。撮像素子に,カラー・フィルタが形成されていない光電変換素子が配置されている場合には,たとえば,R画素のゲインGaは2.4,G画素のゲインGaは2,B画素のゲインGaは3.6,Y画素のゲインGaは1となる。それぞれのゲインGaを用いて上述した式1の判定式が計算される。R画素,G画素,B画素,Y画素のそれぞれの画像データが入力した場合に,式1の判定式が成立すると(ステップ35,37,39,43のそれぞれにおいてYES),欠陥画素補正が行われる(ステップ36,38,40,44)。
As described above, a pixel corresponding to the
図7は,他の撮像素子の受光面の一例である。 FIG. 7 is an example of a light receiving surface of another image sensor.
撮像素子の受光面上には水平方向および垂直方向に多数の光電変換素子24および25が配置されている。一方の光電変換素子(主光電変換素子)24の受光面の面積は,他方の光電変換素子(副光電変換素子)25の受光面の面積より大きい。このために,副光電変換素子25の感度は主光電変換素子24の感度の20倍となっている。奇数行奇数列に主光電変換素子24が配置され,偶数行偶数列に副光電変換素子25が配置されているが,偶数行偶数列に主光電変換素子24が配置され,奇数行奇数列に副光電変換素子25が配置されてもよい。
A large number of
図8は,主光電変換素子24の感度と副光電変換素子25の感度とを示している。
FIG. 8 shows the sensitivity of the main
上述のように,主光電変換素子24の面積は副光電変換素子25の面積よりも大きいから,同じ明るさであれば副光電変換素子25よりも主光電変換素子24の方が蓄積される信号電荷の量が多い。主光電変換素子24に蓄積される信号電荷の量は,明るさL0で飽和する。副光電変換素子25の方が主光電変換素子24よりも感度が高いことがわかる。
As described above, since the area of the main
図9は,さらに他の撮像素子の受光面の一例である。 FIG. 9 is an example of a light receiving surface of still another image sensor.
水平方向および垂直方向に多数の光電変換素子27が配置されている。これらの光電変換素子27は,主受光領域28と副受光領域29とに分けられている。主受光領域28の面積は副受光領域29の面積よりも大きい。このように,一つの光電変換素子27の受光領域が主受光領域28と副受光領域29とに分けられている場合においても,図7に示す撮像素子と同様に,副受光領域29の感度の方が主受光領域28の感度よりも高い。
A large number of
光電変換素子27の主受光領域28にはRの符号,Gの符号またはBの符号が付され,光電変換素子27の副受光領域29にはrの符号,gの符号またはbの符号が付されている。Rの符号またはrの符号が付されている光電変換素子27には赤色の光成分をもつ信号電荷が蓄積される。Gの符号またはgの符号が付されている光電変換素子27には緑色の光成分をもつ信号電荷が蓄積される。Bの符号またはbの符号が付されている光電変換素子27には青色の光成分をもつ信号電荷が蓄積される。
The main
図10は,図7に示すように主光電変換素子24と副光電変換素子25とを有する撮像素子または図9に示すように主受光領域28と副受光領域29とが形成されている撮像素子が設けられているディジタル・カメラの処理手順を示すフローチャートである。この図において,図3に示す処理と同一の処理については同一符号を付して説明を省略する。
10 shows an image sensor having a main
主光電変換素子24または主受光領域28に蓄積された信号電荷にもとづいて得られる画像データによって表される画素を主画素,副光電変換素子25または主受光領域29に蓄積された信号電荷にもとづいて得られる画像データによって表される画素を副画素とする。
The pixel represented by the image data obtained based on the signal charge accumulated in the main
主画素のゲインGaは,たとえば1であり,副画素のゲインGaは,たとえば20である。これらのゲインGaを用いて,主画素,副画素ごとに上述した式1の判定式が計算される(ステップ51)。 The gain Ga of the main pixel is 1, for example, and the gain Ga of the sub-pixel is 20, for example. Using these gains Ga, the above-described determination formula 1 is calculated for each main pixel and sub-pixel (step 51).
主画素について式1の判定式が成立すれば(ステップ52でYES),主画素の欠陥画素補正が行われる(ステップ53)。副画素について式1の判定式が成立すれば(ステップ54でYES),副画素の欠陥画素補正が行われる(ステップ55)。 If the determination formula 1 is satisfied for the main pixel (YES in step 52), defective pixel correction of the main pixel is performed (step 53). If the determination formula 1 is satisfied for the subpixel (YES in step 54), defective pixel correction of the subpixel is performed (step 55).
一駒分の画像データについてステップ52から55の処理が繰り返される(ステップ56)。一駒分の画像データについてステップ52から55の処理が終了すると(ステップ56でYES),画像信号処理が行われる(ステップ57)。
上述の実施例においては,主画素と副画素とのゲインを考慮して式1の判定式を計算しているが,図9に示すように光電変換素子27の受光面にカラー・フィルタが形成されている場合にはそのカラー・フィルタのゲインおよび主画素と副画素のゲインも考慮して式1の判定式を計算するようにしてもよい。
In the above-described embodiment, the judgment formula of Formula 1 is calculated in consideration of the gains of the main pixel and the sub-pixel, but a color filter is formed on the light receiving surface of the
図11から図13は,変形例を示すもので,ディジタル・カメラのブロック図を示している。これらの図において,図1に示すものと同じものについては同じ符号を付して説明を省略する。 FIG. 11 to FIG. 13 show a modification, and show a block diagram of a digital camera. In these drawings, the same components as those shown in FIG.
図11に示すブロック図のディジタル・カメラには,ゲイン補正テーブル・メモリ15が設けられている。このゲイン補正テーブル・メモリ15には,画素ごとのゲインを示すデータが格納されているゲイン補正テーブルが記憶されている。ゲイン補正テーブル・メモリ15に記憶されているゲイン補正テーブルを示すデータは欠陥補正回路4およびゲイン補正回路5に与えられる。ゲイン補正テーブルを示すデータを用いて上述した欠陥補正を行うかどうかを判定する式1の判定式が計算される。また,ゲイン補正テーブルを示すデータを用いてゲイン補正回路5における白バランス調整が行われる。
A gain
図12に示すブロック図のディジタル・カメラには,オフセット/ゲイン補正テーブル・メモリ16が設けられている。このオフセット/ゲイン補正テーブル・メモリ16には,上述したゲイン補正テーブルのほかにオフセット補正テーブルが記憶されている。オフセット補正テーブルを用いてオフセット補正回路3におけるオフセット補正を実施できる。
The digital camera of the block diagram shown in FIG. 12 is provided with an offset / gain
図13に示すブロック図におけるディジタル・カメラは,上述したように欠陥補正を欠陥補正回路4において行うものではなく,ソフトウエアにより実施するものである。また,ディジタル・カメラにはストロボ65も設けられている。
The digital camera in the block diagram shown in FIG. 13 does not perform defect correction in the
ディジタル・カメラの全体の動作は,CPU66によって統括される。
The overall operation of the digital camera is controlled by the
上述したように,撮像素子2から出力された画像データはディジタル信号処理回路61に入力し,オフセット補正などの所定のディジタル信号処理が行われる。ディジタル信号処理化回路61から出力された画像データはメモリ62に与えられ,一時的に記憶される。画像データは,メモリ62から読み出されて上述したように欠陥画素補正の判定処理がCPU66の制御のもとに行われる。欠陥画素補正をすると判定された欠陥画素についてはCPU66の制御により,その補正が実行される。
As described above, the image data output from the
2 撮像素子
4 欠陥補正回路
5 ゲイン補正回路
8 CPU
21,21A,24,25,27 光電変換素子
2
21, 21A, 24, 25, 27 Photoelectric conversion element
Claims (5)
感度の異なる上記光電変換素子ごとに,欠陥画素の補正を行うかどうかを判定する判定手段,
上記固体電子撮像素子から出力された画像データのうち,上記判定手段によって欠陥画素の補正を行なうと判定された上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データであって,あらかじめ定められている欠陥画素に対応する画像データを補正する補正手段,ならびに
上記固体電子撮像素子から出力された画像データのうち,上記補正手段によって補正された画像データおよび上記補正手段によって補正されなかった画像データを,感度の異なる上記光電変換素子ごとに異なる増幅率で増幅する増幅回路を備え,
上記判定手段が,
上記異なる増幅率のうち,欠陥画素の補正を行うかどうかを判定する対象の上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データの増幅率についての値を用いて露光時間についての値を補正した値が,しきい値を超えた場合に欠陥画素の補正を行うと判定するものである,
ディジタル・カメラ。 A solid-state electronic image sensor that outputs a plurality of photoelectric conversion elements with different sensitivities on the light-receiving surface and outputs image data representing a subject image by imaging the subject,
Determining means for determining whether or not to correct a defective pixel for each of the photoelectric conversion elements having different sensitivities;
Of the image data output from the solid-state electronic image sensor, the image data obtained based on the signal charge accumulated in the photoelectric conversion element determined to correct the defective pixel by the determination means, Correction means for correcting image data corresponding to a predetermined defective pixel, and among image data output from the solid-state electronic image sensor, image data corrected by the correction means and not corrected by the correction means Amplifying circuit for amplifying the obtained image data at a different amplification factor for each photoelectric conversion element having a different sensitivity,
The determination means is
Said different among the amplification factor, the value exposure time using for amplification ratio of the image data obtained based on correction whether the signal charge accumulated in the subject of the photoelectric conversion element is determined performs the defective pixel When the value corrected for the value exceeds the threshold value , it is determined that the defective pixel is corrected.
Digital camera.
上記増幅回路は,上記メモリに記憶されている増幅率を用いて上記補正手段によって補正された画像データを補正するものである,
請求項1に記載のディジタル・カメラ。 A memory for storing an amplification factor for each of the photoelectric conversion elements having different sensitivities;
The amplifying circuit corrects the image data corrected by the correcting means using the amplification factor stored in the memory.
The digital camera according to claim 1.
上記温度検出手段によって検出された温度にもとづいて上記しきい値を変更する変更手段,
をさらに備えた請求項1または2に記載のディジタル・カメラ。 Temperature detecting means for detecting the temperature around the digital camera, and changing means for changing the threshold based on the temperature detected by the temperature detecting means;
The digital camera according to claim 1, further comprising:
請求項1から3のうち,いずれか一項に記載のディジタル・カメラ。 The solid-state electronic imaging device includes a large number of photoelectric conversion elements having color filters of different colors attached to the light receiving region, and a large number of photoelectric conversion elements having color filters of different colors or transparent filters attached to the light receiving region. Or a large number of photoelectric conversion elements having different light receiving area sizes,
The digital camera according to any one of claims 1 to 3.
判定手段が,感度の異なる上記光電変換素子ごとに,欠陥画素の補正を行うかどうかを判定し,
補正手段が,上記固体電子撮像素子から出力された画像データのうち,上記判定手段によって欠陥画素の補正を行なうと判定された上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データであって,あらかじめ定められている欠陥画素に対応する画像データを補正し,
増幅回路が,上記固体電子撮像素子から出力された画像データのうち,上記補正手段によって補正された画像データおよび上記補正手段によって補正されなかった画像データを,感度の異なる上記光電変換素子ごとに異なる増幅率で増幅し,
上記判定手段が,上記異なる増幅率のうち,欠陥画素の補正を行うかどうかを判定する対象の上記光電変換素子に蓄積された信号電荷にもとづいて得られた画像データの増幅率についての値を用いて露光時間についての値を補正した値が,しきい値を超えた場合に欠陥画素の補正を行うと判定する,
ディジタル・カメラの動作制御方法。
The solid-state electronic image sensor has a large number of photoelectric conversion elements with different sensitivities on the light-receiving surface. By imaging the subject, image data representing the subject image is output.
The determination means determines whether to correct the defective pixel for each of the photoelectric conversion elements having different sensitivities,
Image data obtained based on the signal charge accumulated in the photoelectric conversion element determined to be corrected by the determination means among the image data output from the solid-state electronic image sensor by the correction means And correcting the image data corresponding to the predetermined defective pixel,
The amplification circuit differs among the photoelectric conversion elements having different sensitivities, among the image data output from the solid-state electronic image sensor, the image data corrected by the correction unit and the image data not corrected by the correction unit. Amplify with gain,
Among the different amplification factors, the determination means determines a value for the amplification factor of the image data obtained based on the signal charge accumulated in the photoelectric conversion element to be determined whether or not to correct a defective pixel. value obtained by correcting the value of the exposure time used is determined that the correction of the defective pixel when the threshold is exceeded,
Digital camera operation control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007186420A JP4977541B2 (en) | 2007-07-18 | 2007-07-18 | Digital camera and operation control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007186420A JP4977541B2 (en) | 2007-07-18 | 2007-07-18 | Digital camera and operation control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009027289A JP2009027289A (en) | 2009-02-05 |
JP4977541B2 true JP4977541B2 (en) | 2012-07-18 |
Family
ID=40398711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007186420A Expired - Fee Related JP4977541B2 (en) | 2007-07-18 | 2007-07-18 | Digital camera and operation control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4977541B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5330119B2 (en) * | 2009-06-25 | 2013-10-30 | 富士フイルム株式会社 | Image sensor manufacturing method and image sensor |
JP5544285B2 (en) * | 2010-12-21 | 2014-07-09 | 株式会社日立製作所 | Image signal processing apparatus and image signal processing method |
JP6355459B2 (en) * | 2014-07-03 | 2018-07-11 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP7391041B2 (en) * | 2018-12-11 | 2023-12-04 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging devices and electronic equipment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2956655B2 (en) * | 1997-06-06 | 1999-10-04 | ソニー株式会社 | Video camera |
JP2003333435A (en) * | 2002-03-08 | 2003-11-21 | Canon Inc | Correcting device, image pickup device, correcting method, correcting computer program |
-
2007
- 2007-07-18 JP JP2007186420A patent/JP4977541B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009027289A (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8634002B2 (en) | Image processing device and method for image correction | |
JP3748267B2 (en) | Imaging device | |
JP4695552B2 (en) | Image processing apparatus and method | |
JP6346479B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
US8497925B2 (en) | Solid-state imaging device, color filter arrangement method therefor and image recording apparatus | |
JP4997359B2 (en) | Imaging apparatus and color mixing correction method | |
JP5526287B2 (en) | Imaging apparatus and imaging method | |
JP4985220B2 (en) | Image processing apparatus, camera, image processing program, and image processing method | |
JP6230760B1 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
JP5475393B2 (en) | Imaging system and correction method | |
JP2005328421A (en) | Imaging apparatus and imaging method | |
US8970747B2 (en) | Imaging device | |
JP4977541B2 (en) | Digital camera and operation control method thereof | |
JP4993670B2 (en) | Imaging apparatus and control method thereof | |
CN100525383C (en) | Image-data noise reduction apparatus and method of controlling same | |
WO2018025323A1 (en) | Image processing apparatus, image processing method and program | |
JP5640316B2 (en) | Imaging device | |
JP4732795B2 (en) | Solid-state imaging device and image correction method | |
JP2009303020A (en) | Image capturing apparatus and defective pixel correcting method | |
JP4852490B2 (en) | Imaging apparatus and post-view image generation method thereof | |
JP2009302653A (en) | Image pickup device | |
JP5267290B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2013070322A (en) | Defective pixel detection device, imaging device, and defective pixel detection program | |
JP2006108880A (en) | Imaging apparatus | |
JP2011055336A (en) | Imaging apparatus and signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4977541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |