JP4710617B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP4710617B2 JP4710617B2 JP2006004743A JP2006004743A JP4710617B2 JP 4710617 B2 JP4710617 B2 JP 4710617B2 JP 2006004743 A JP2006004743 A JP 2006004743A JP 2006004743 A JP2006004743 A JP 2006004743A JP 4710617 B2 JP4710617 B2 JP 4710617B2
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- switching
- output signal
- types
- switching point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 129
- 238000006243 chemical reaction Methods 0.000 claims description 241
- 238000012937 correction Methods 0.000 claims description 89
- 239000003086 colorant Substances 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 238000012546 transfer Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 12
- 102100036497 Telomeric repeat-binding factor 1 Human genes 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 108010033711 Telomeric Repeat Binding Protein 1 Proteins 0.000 description 8
- 102000007316 Telomeric Repeat Binding Protein 2 Human genes 0.000 description 8
- 108010033710 Telomeric Repeat Binding Protein 2 Proteins 0.000 description 8
- 239000003990 capacitor Substances 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 3
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 3
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 3
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は撮像装置及び撮像方法に係り、特に、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method, and more particularly, to an imaging apparatus and an imaging method using imaging elements having a plurality of types of photoelectric conversion characteristics.
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。 Conventionally, an imaging device such as a digital camera has been provided with an imaging element having a plurality of pixels that convert incident light into an electrical signal. In recent years, image sensors having a plurality of types of photoelectric conversion characteristics have been proposed.
この複数種類の光電変換特性を有する撮像素子としては、例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサがある(特許文献1参照)。これによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することが可能となる。 As an image sensor having a plurality of types of photoelectric conversion characteristics, for example, there is a linear log conversion type sensor that switches between a linear conversion operation for linearly converting incident light into an electrical signal and a logarithmic conversion operation for logarithmic conversion based on the amount of incident light ( Patent Document 1). According to this, since the dynamic range of the electric signal is wide compared to an image sensor that performs only a linear conversion operation, it is possible to express all luminance information as an electric signal even when shooting a subject with a wide luminance range. Become.
しかし、複数種類の光電変換特性を有する撮像素子を使用すると、複数の特性によって変化する出力信号が得られるため、信号処理の演算が複雑になるという問題があった。 However, when an image pickup device having a plurality of types of photoelectric conversion characteristics is used, an output signal that varies depending on the plurality of characteristics can be obtained.
そこで、例えばリニアログ変換型センサでは、線形領域及び対数領域を含む出力信号のうち、対数領域の出力信号を演算又はLUTを使用した変換により線形化して、出力信号全体を単一の線形変換された状態にする処理が行われている。 Therefore, for example, in the linear log conversion type sensor, the output signal in the logarithmic region out of the output signal including the linear region and the logarithmic region is linearized by calculation or conversion using LUT, and the entire output signal is converted into a single linear conversion. Processing to make a state is performed.
このような線形化処理においては、線形領域及び対数領域の出力信号をそれぞれ数式化したグラフを出力信号モデルとして使用していた。
しかし、実際の撮像素子の出力信号は、線形領域から対数領域になだらかに変化しており、線形領域と対数領域の境界である変曲点近傍領域において、線形変換された出力信号と対数変換された出力信号が混在する領域がある。したがって、上記の出力信号モデルに従って線形化処理を行った場合、変曲点近傍領域で出力信号モデルとの乖離が生じ、変換誤差が生じるという問題があった。 However, the output signal of the actual image sensor changes smoothly from the linear region to the logarithmic region, and is logarithmically transformed with the linearly transformed output signal in the region near the inflection point that is the boundary between the linear region and the logarithmic region. There are areas where output signals are mixed. Therefore, when linearization processing is performed according to the above output signal model, there is a problem that a deviation from the output signal model occurs in the region near the inflection point, resulting in a conversion error.
本発明の課題は、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法において、撮像素子の出力信号を単一の線形信号に変換する際の変換誤差を最小限に抑制することを可能とする撮像装置及び撮像方法を提供することにある。 An object of the present invention is to minimize a conversion error when converting an output signal of an image sensor into a single linear signal in an image pickup apparatus and an image pickup method using an image sensor having a plurality of types of photoelectric conversion characteristics. It is an object of the present invention to provide an imaging apparatus and an imaging method that enable this.
上記課題を解決するために請求項1記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、複数の変換特性の切換点を設定する切換点制御部と、前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部と、注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部と、を備えることを特徴とする。
In order to solve the above-mentioned problem, an invention according to
請求項1記載の発明によれば、複数の変換特性の切換点を設定することにより、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の画素からの出力信号を得ることができる。これにより、特性変換で切換点近傍領域に生じた変換誤差を、その切換点近傍領域に対応する他の近傍画素からの出力信号における切換点近傍領域以外の領域を使用して補正することが可能となる。 According to the first aspect of the present invention, by setting a plurality of switching points of conversion characteristics, it is possible to obtain output signals from a plurality of pixels that are correlated with each other and that do not overlap in the vicinity of the switching point. As a result, it is possible to correct the conversion error that occurs in the area near the switching point due to the characteristic conversion by using an area other than the area near the switching point in the output signal from other neighboring pixels corresponding to the area near the switching point. It becomes.
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、切換点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。 That is, when characteristic conversion is performed using an output signal model obtained by formulating the output signal of each characteristic, the actual output signal changes gently, so that a deviation from the output signal model occurs in the region near the switching point. Therefore, the conversion error can be corrected by obtaining an output signal when there is no conversion error by using a region other than the switching point vicinity region in the output signals from other neighboring pixels.
請求項2記載の発明は、請求項1記載の撮像装置であって、前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。
The invention according to
請求項2記載の発明によれば、複数の画素を規則的なグループに分けて、そのグループ毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。
According to the invention of
請求項3記載の発明は、請求項1記載の撮像装置であって、前記切換点制御部は連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。 A third aspect of the present invention is the imaging apparatus according to the first aspect, wherein the switching point control unit sets the switching point so that regions near the switching point of the conversion characteristic do not overlap each other for a plurality of consecutive frames. It is characterized by doing.
請求項3記載の発明によれば、動画を撮影する場合において、複数のフレーム毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。 According to the third aspect of the present invention, when a moving image is shot, by setting a switching point for each of a plurality of frames, setting a switching point for a plurality of conversion characteristics while suppressing an influence on a captured image. Is possible.
請求項4記載の発明は、請求項3記載の撮像装置であって、前記切換点制御部は前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする。 The invention according to claim 4 is the imaging apparatus according to claim 3, wherein the switching point control unit divides the plurality of pixels into regular groups, and a switching point vicinity region of the conversion characteristic is determined for each group. The switching point is set so as not to overlap, and the switching point is set by inverting the switching point for each frame.
請求項4記載の発明によれば、動画を撮影する場合において、画素のグループ毎に設定した切換点をフレーム毎に反転させることにより、複数フレームにつき異なる切換点を容易に設定することが可能となる。 According to the fourth aspect of the present invention, when shooting a moving image, it is possible to easily set different switching points for a plurality of frames by inverting the switching points set for each group of pixels for each frame. Become.
請求項5記載の発明は、請求項2又は請求項4記載の撮像装置であって、前記切換点制御部は前記撮像素子の縦の画素列毎に2種類の前記切換点を設定することを特徴とする。
The invention according to
請求項5記載の発明によれば、縦の画素列毎に2種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。 According to the fifth aspect of the present invention, it is possible to correct the conversion error by using the output signals from other neighboring pixels by setting two types of switching points for each vertical pixel column. . Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors.
請求項6記載の発明は、請求項2又は請求項4記載の撮像装置であって、前記切換点制御部は前記撮像素子の縦の画素列毎に4種類の前記切換点を設定することを特徴とする。
The invention according to claim 6 is the imaging apparatus according to
請求項6記載の発明によれば、縦の画素列毎に4種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。 According to the sixth aspect of the invention, by setting four types of switching points for each vertical pixel column, it becomes possible to correct conversion errors using output signals from other neighboring pixels. . Thus, for example, when each pixel is provided with an RGB filter, it is possible to perform correction between the same colors for each of RGB.
請求項7記載の発明は、請求項2又は請求項4記載の撮像装置であって、前記切換点制御部は前記撮像素子の横の画素行毎に2種類の前記切換点を設定することを特徴とする。
The invention according to claim 7 is the imaging apparatus according to
請求項7記載の発明によれば、横の画素行毎に2種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。 According to the seventh aspect of the present invention, by setting two kinds of switching points for each horizontal pixel row, it becomes possible to correct the conversion error using the output signals from other neighboring pixels. . Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors. In addition, correction can be performed without sacrificing the vertical resolution.
請求項8記載の発明は、請求項2又は請求項4記載の撮像装置であって、前記切換点制御部は前記撮像素子の横の画素行毎に4種類の前記切換点を設定することを特徴とする。
The invention according to
請求項8記載の発明によれば、横の画素行毎に4種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。
According to the invention described in
請求項9記載の発明は、請求項1〜請求項8いずれか一項に記載の撮像装置であって、前記信号補正部は前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする。
The invention according to
請求項9記載の発明によれば、切換点の異なる近傍画素からの複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。 According to the ninth aspect of the invention, since a plurality of output signals from neighboring pixels having different switching points are correlated with each other, the output of the target pixel when there is no conversion error from the output signals from other neighboring pixels Find the interpolation value corresponding to the signal value and replace the output signal value of the pixel of interest with the interpolation value, or correct the conversion error by multiplying the coefficient according to the ratio between the output signal value of the pixel of interest and the interpolation value Is possible.
請求項10記載の発明は、請求項9記載の撮像装置であって、前記信号補正部は前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする。 According to a tenth aspect of the present invention, in the imaging device according to the ninth aspect, the signal correction unit performs correction when a difference between an output signal value of the target pixel and the interpolation value is outside an allowable error range. It is characterized by that.
請求項10記載の発明によれば、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。 According to the tenth aspect of the present invention, the conversion is performed only when the difference between the output signal value of the target pixel and the interpolation value is outside the allowable error range, that is, when the conversion error is large enough to affect the captured image. Since the error is corrected, unnecessary processing can be omitted and signal processing can be made more efficient.
請求項11記載の発明は、請求項1〜請求項10いずれか一項に記載の撮像装置であって、前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする。
The invention according to
請求項11記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、請求項1〜請求項10と同様の作用を得ることができる。 According to the eleventh aspect of the present invention, in the image pickup apparatus including the image pickup element having the logarithmic conversion characteristic, the same effects as in the first to tenth aspects can be obtained.
請求項12記載の発明は、請求項1〜請求項10いずれか一項に記載の撮像装置であって、前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする。
The invention according to
請求項12記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、請求項1〜請求項10と同様の作用を得ることができる。 According to the twelfth aspect of the present invention, in the image pickup apparatus including the image pickup element having the linear conversion characteristic, the same effects as those of the first to tenth aspects can be obtained.
請求項13記載の発明は、請求項1〜請求項10いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする。 A thirteenth aspect of the present invention is the imaging apparatus according to any one of the first to tenth aspects, wherein the plurality of types of conversion characteristics are logarithmic conversion characteristics and linear conversion characteristics.
請求項13記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、請求項1〜請求項10と同様の作用を得ることができる。 According to the thirteenth aspect of the present invention, in the image pickup apparatus including the linear log conversion type sensor, the same effects as those of the first to tenth aspects can be obtained.
請求項14記載の発明は、請求項1〜請求項10いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする。
The invention according to
請求項14記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、請求項1〜請求項10と同様の作用を得ることができる。 According to the fourteenth aspect of the present invention, in the image pickup apparatus including the plurality of image pickup elements having the linear conversion characteristics having different conversion coefficients, the same effects as in the first to tenth aspects can be obtained.
請求項15記載の発明は、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子を使用する撮像方法であって、複数の変換特性の切換点を設定する切換点制御工程と、前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換工程と、注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正工程と、を備えることを特徴とする。
The invention according to
請求項15記載の発明によれば、複数の変換特性の切換点を設定することにより、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の出力信号を得ることができる。これにより、特性変換で切換点近傍領域に生じた変換誤差を、その切換点近傍領域に対応する他の近傍画素からの出力信号における切換点近傍領域以外の領域を使用して補正することが可能となる。 According to the fifteenth aspect of the present invention, by setting a plurality of conversion characteristic switching points, it is possible to obtain a plurality of output signals that are correlated with each other and that do not overlap in the vicinity of the switching points. As a result, it is possible to correct the conversion error that occurs in the area near the switching point due to the characteristic conversion by using an area other than the area near the switching point in the output signal from other neighboring pixels corresponding to the area near the switching point. It becomes.
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、切換点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。 That is, when characteristic conversion is performed using an output signal model obtained by formulating the output signal of each characteristic, the actual output signal changes gently, so that a deviation from the output signal model occurs in the region near the switching point. Therefore, the conversion error can be corrected by obtaining an output signal when there is no conversion error by using a region other than the switching point vicinity region in the output signals from other neighboring pixels.
請求項16記載の発明は、請求項15記載の撮像方法であって、前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。 A sixteenth aspect of the invention is the imaging method according to the fifteenth aspect of the invention, wherein the plurality of pixels are divided into regular groups in the switching point control step, and a switching point vicinity region of the conversion characteristic is determined for each group. The switching point is set so as not to overlap.
請求項16記載の発明によれば、複数の画素を規則的なグループに分けて、そのグループ毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。 According to the sixteenth aspect of the present invention, by dividing a plurality of pixels into a regular group and setting a switching point for each group, a plurality of switching points of conversion characteristics are suppressed while suppressing an influence on a photographed image. Can be set.
請求項17記載の発明は、請求項15記載の撮像方法であって、前記切換点制御工程では連続する複数のフレーム毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定することを特徴とする。 According to a seventeenth aspect of the present invention, in the imaging method according to the fifteenth aspect, in the switching point control step, the switching points are set so that regions near the switching points of the conversion characteristics do not overlap each other for a plurality of consecutive frames. It is characterized by doing.
請求項17記載の発明によれば、動画を撮影する場合において、複数のフレーム毎に切換点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。 According to the seventeenth aspect of the present invention, in the case of shooting a moving image, by setting a switching point for each of a plurality of frames, setting a switching point of a plurality of conversion characteristics while suppressing an influence on a captured image. Is possible.
請求項18記載の発明は、請求項17記載の撮像方法であって、前記切換点制御工程では前記複数の画素を規則的なグループに分け、そのグループ毎に前記変換特性の切換点近傍領域が重ならないように前記切換点を設定し、前記フレーム毎に前記切換点を反転させることによって前記切換点を設定することを特徴とする。
The invention according to
請求項18記載の発明によれば、動画を撮影する場合において、画素のグループ毎に設定した切換点をフレーム毎に反転させることにより、複数フレームにつき異なる切換点を容易に設定することが可能となる。
According to the invention described in
請求項19記載の発明は、請求項16又は請求項18記載の撮像方法であって、前記切換点制御工程では前記撮像素子の縦の画素列毎に2種類の前記切換点を設定することを特徴とする。
The invention according to
請求項19記載の発明によれば、2種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。 According to the nineteenth aspect of the present invention, by setting two types of switching points, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors.
請求項20記載の発明は、請求項16又は請求項18記載の撮像方法であって、前記切換点制御工程では前記撮像素子の縦の画素列毎に4種類の前記切換点を設定することを特徴とする。
The invention according to
請求項20記載の発明によれば、4種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。 According to the twentieth aspect of the present invention, by setting four types of switching points, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel is provided with an RGB filter, it is possible to perform correction between the same colors for each of RGB.
請求項21記載の発明は、請求項16又は請求項18記載の撮像方法であって、前記切換点制御工程では前記撮像素子の横の画素行毎に2種類の前記切換点を設定することを特徴とする。
The invention according to
請求項21記載の発明によれば、2種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。 According to the twenty-first aspect of the present invention, by setting two types of switching points, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors. In addition, correction can be performed without sacrificing the vertical resolution.
請求項22記載の発明は、請求項16又は請求項18記載の撮像方法であって、前記切換点制御工程では前記撮像素子の横の画素行毎に4種類の前記切換点を設定することを特徴とする。 According to a twenty-second aspect of the present invention, in the imaging method according to the sixteenth or eighteenth aspect, in the switching point control step, four types of the switching points are set for each horizontal pixel row of the imaging element. Features.
請求項22記載の発明によれば、4種類の切換点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。 According to the twenty-second aspect, by setting four types of switching points, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel is provided with an RGB filter, it is possible to perform correction between the same colors for each of RGB. In addition, correction can be performed without sacrificing the vertical resolution.
請求項23記載の発明は、請求項15〜請求項22いずれか一項に記載の撮像方法であって、前記信号補正工程では前記変換誤差を生じた注目画素の出力信号値を前記他の近傍画素の出力信号から求めた補間値に相当する値とする補正を行うことを特徴とする。
The invention according to
請求項23記載の発明によれば、切換点の異なる複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。 According to the twenty-third aspect of the present invention, since the plurality of output signals having different switching points are correlated with each other, this corresponds to the output signal value of the target pixel when there is no conversion error from the output signals from other neighboring pixels. Conversion error can be corrected by obtaining the interpolation value to be replaced and replacing the output signal value of the target pixel with the interpolation value or by multiplying the coefficient according to the ratio between the output signal value of the target pixel and the interpolation value. .
請求項24記載の発明は、請求項23記載の撮像方法であって、前記信号補正工程では前記注目画素の出力信号値と前記補間値との差が許容誤差範囲外である場合に補正を行うことを特徴とする。 According to a twenty-fourth aspect of the present invention, in the imaging method according to the twenty-third aspect, in the signal correction step, correction is performed when a difference between the output signal value of the target pixel and the interpolation value is outside an allowable error range. It is characterized by that.
請求項24記載の発明によれば、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。 According to the twenty-fourth aspect of the present invention, the conversion is performed only when the difference between the output signal value of the target pixel and the interpolation value is outside the allowable error range, that is, when the conversion error is large enough to affect the captured image. Since the error is corrected, unnecessary processing can be omitted and signal processing can be made more efficient.
請求項25記載の発明は、請求項15〜請求項24いずれか一項に記載の撮像方法であって、前記複数種類の変換特性のうち少なくとも一つは対数変換特性であることを特徴とする。
The invention according to claim 25 is the imaging method according to any one of
請求項25記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、請求項15〜請求項24と同様の作用を得ることができる。 According to the twenty-fifth aspect of the present invention, in the image pickup apparatus including the image pickup element having the logarithmic conversion characteristic, the same effects as in the fifteenth to twenty-fourth aspects can be obtained.
請求項26記載の発明は、請求項15〜請求項24いずれか一項に記載の撮像方法であって、前記複数種類の変換特性のうち少なくとも一つは線形変換特性であることを特徴とする。
The invention according to claim 26 is the imaging method according to any one of
請求項26記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、請求項15〜請求項24と同様の作用を得ることができる。 According to the twenty-sixth aspect of the present invention, in the image pickup apparatus including the image pickup element having linear conversion characteristics, the same effects as in the fifteenth to twenty-fourth aspects can be obtained.
請求項27記載の発明は、請求項15〜請求項24いずれか一項に記載の撮像方法であって、前記複数種類の変換特性は対数変換特性及び線形変換特性であることを特徴とする。 A twenty-seventh aspect of the present invention is the imaging method according to any one of the fifteenth to twenty-fourth aspects, wherein the plurality of types of conversion characteristics are logarithmic conversion characteristics and linear conversion characteristics.
請求項27記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、請求項15〜請求項24と同様の作用を得ることができる。 According to the twenty-seventh aspect of the present invention, in the imaging apparatus including the linear log conversion type sensor, the same effects as those of the fifteenth to twenty-fourth aspects can be obtained.
請求項28記載の発明は、請求項15〜請求項24いずれか一項に記載の撮像方法であって、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であることを特徴とする。
The invention according to claim 28 is the imaging method according to any one of
請求項28記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、請求項15〜請求項24と同様の作用を得ることができる。 According to the twenty-eighth aspect of the present invention, in the image pickup apparatus including the plurality of image pickup elements having linear conversion characteristics having different conversion coefficients, the same effects as in the fifteenth to twenty-fourth aspects can be obtained.
請求項1又は請求項15記載の発明によれば、切換点の異なる他の近傍画素からの出力信号における切換点近傍領域以外の領域を利用した補正を行い、切換点近傍領域における変換誤差を最小限に抑制することができる。 According to the first or fifteenth aspect of the present invention, correction is performed using a region other than the region near the switching point in the output signal from another neighboring pixel having a different switching point to minimize the conversion error in the region near the switching point. It can be suppressed to the limit.
請求項2又は請求項16記載の発明によれば、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。 According to the second or sixteenth aspect of the present invention, it is possible to set a plurality of conversion characteristic switching points while suppressing the influence on the photographed image.
請求項3又は請求項17記載の発明によれば、撮影画像への影響を抑えつつ、複数の変換特性の切換点を設定することが可能となる。 According to the invention described in claim 3 or claim 17, it is possible to set a plurality of conversion characteristic switching points while suppressing the influence on the photographed image.
請求項4又は請求項18記載の発明によれば、複数フレームにつき異なる切換点を容易に設定することが可能となる。 According to the invention of claim 4 or claim 18, it is possible to easily set different switching points for a plurality of frames.
請求項5又は請求項19記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。 According to the fifth or nineteenth aspect of the present invention, it is possible to correct the conversion error using output signals from other neighboring pixels having different switching points.
請求項6又は請求項20記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して同一色間で変換誤差の補正を行うことが可能となる。 According to the invention of claim 6 or claim 20, it is possible to correct the conversion error between the same colors by using the output signals from other neighboring pixels having different switching points.
請求項7又は請求項21記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことができる。 According to the seventh or twenty-first aspect of the present invention, it is possible to correct the conversion error using output signals from other neighboring pixels having different switching points. Further, the correction can be performed without sacrificing the vertical resolution.
請求項8又は請求項22記載の発明によれば、切換点の異なる他の近傍画素からの出力信号を利用して同一色間で変換誤差の補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことができる。
According to the invention described in
請求項9又は請求項23記載の発明によれば、切換点の異なる複数の出力信号の相関関係を利用して補間値を求め、変換誤差を補正することが可能となる。 According to the ninth or twenty-third aspect of the present invention, it is possible to obtain an interpolation value using the correlation between a plurality of output signals having different switching points, and to correct the conversion error.
請求項10又は請求項24記載の発明によれば、不要な処理を省いて信号処理を効率化することが可能となる。 According to the tenth or twenty-fourth aspect of the present invention, signal processing can be made efficient by omitting unnecessary processing.
請求項11又は請求項25記載の発明によれば、対数変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。 According to the eleventh or twenty-fifth aspect of the present invention, an effect similar to the above can be obtained in an imaging device including an imaging device having logarithmic conversion characteristics.
請求項12又は請求項26記載の発明によれば、線形変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。 According to the twelfth or twenty-sixth aspect of the present invention, the same effect as described above can be obtained in an imaging device including an imaging device having linear conversion characteristics.
請求項13又は請求項27記載の発明によれば、リニアログ変換型センサを備えた撮像装置において、上記と同様の効果を得ることができる。 According to the thirteenth or twenty-seventh aspect of the present invention, the same effect as described above can be obtained in the imaging apparatus including the linear log conversion type sensor.
請求項14又は請求項28記載の発明によれば、変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置において、上記と同様の効果を得ることができる。 According to the fourteenth or twenty-eighth aspect of the present invention, an effect similar to the above can be obtained in an imaging apparatus including an imaging device having a plurality of linear conversion characteristics having different conversion coefficients.
本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described with reference to the drawings.
図1に、本実施形態に係る撮像装置1の機能的構成を示す。
FIG. 1 shows a functional configuration of the
図1に示すように、撮像装置1はシステム制御部2を備えている。システム制御部2はCPU(Central Processing Unit)、書き換え可能な半導体素子で構成されるRAM(Random Access Memory)及び不揮発性の半導体メモリで構成されるROM(Read Only Memory)から構成されている。
As shown in FIG. 1, the
また、システム制御部2には撮像装置1の各構成部分が接続されており、システム制御部2は、ROMに記録された処理プログラムをRAMに展開してCPUによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。
Further, each component of the
図1に示すように、システム制御部2には、レンズユニット3、絞り制御部4、撮像素子5、アンプ6、ADコンバータ(ADC)7、タイミング生成部8、変曲点制御部9、黒基準補正部10、線形化信号補正部11、AE・AWB評価値検出部12及び画像処理部13が接続されている。
As shown in FIG. 1, the
レンズユニット3は、被写体光像を撮像素子5の撮像面に結像する複数のレンズ及びそのレンズによって集光される光の量を調整する絞り部から構成されている。
The lens unit 3 includes a plurality of lenses that form a subject light image on the imaging surface of the
絞り制御部4は、レンズユニット3においてレンズにより集光される光の量を調整する絞り部を駆動制御するようになっている。すなわち、絞り制御部4は、システム制御部2から入力される制御値に基づき、撮像素子5の撮像動作開始直前に絞り部を開口させてから所定の露光時間の経過後に絞り部を閉塞させ、また、非撮像時は撮像素子5への入射光を遮断することによって、入射光量を制御するようになっている。
The diaphragm control unit 4 drives and controls the diaphragm unit that adjusts the amount of light collected by the lens in the lens unit 3. That is, based on the control value input from the
撮像素子5は、レンズユニット3を透過した入射光を電気信号に光電変換して取り込むようになっている。
The
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点を介して連続的に変化するようになっている。 Here, the imaging device of the present invention is an imaging device having a plurality of pixels that convert incident light into an electric signal by a plurality of types of conversion characteristics, and an output signal of the plurality of conversion characteristics continuously changes via a switching point. It is supposed to be.
本実施形態の撮像素子5は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子5の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「切換点」の下位概念となる語である。
The
以下に、本実施形態の撮像素子5の構成例を示す。
Below, the structural example of the image pick-up
図2に示すように、本実施形態の撮像素子5は行列配置(マトリクス配置)された複数の画素G11〜Gmn(但し、n,mは1以上の整数)を有している。各画素G11〜Gmnは、入射光を光電変換して電気信号を出力するものである。
As shown in FIG. 2, the
また、画素G11〜Gmnのレンズユニット3側には、ベイヤ配列の色(RGB)フィルタが配置されている。なお、本実施形態では色フィルタの配置をベイヤ配列としているが、色フィルタの配置はこれに限られるものではない。 Also, a Bayer array color (RGB) filter is arranged on the lens unit 3 side of the pixels G 11 to G mn . In this embodiment, the arrangement of the color filters is a Bayer array, but the arrangement of the color filters is not limited to this.
また、本実施形態の撮像素子5は各画素にRGBフィルタを備えるものとしたが、シアン(Cyan)、マゼンタ(Magenta)、イエロー(Yellow)など他の色フィルタを備えるものとしてもよい。
In addition, the
図2に示すように、各画素G11〜Gmnには、レンズユニット3から入射した光を電荷に光電変換するフォトダイオードDと、フォトダイオードDから読み出された電荷を蓄積するキャパシタCと、フォトダイオードD及びキャパシタCのリセット動作及び電荷の読み出しを制御するトランジスタQ1,Q2と、キャパシタCから読み出された電荷を電圧に変換するトランジスタQ3と、各画素G11〜Gmnからの電圧信号の読み出しを制御するトランジスタQ4とがそれぞれ設けられている。 As shown in FIG. 2, each of the pixels G 11 to G mn includes a photodiode D that photoelectrically converts light incident from the lens unit 3 into electric charge, and a capacitor C that accumulates electric charge read from the photodiode D. , Transistors Q 1 and Q 2 for controlling the reset operation of the photodiode D and the capacitor C and reading of the charge, the transistor Q 3 for converting the charge read from the capacitor C into a voltage, and the pixels G 11 to G mn a transistor Q 4 for controlling the reading of the voltage signal from, respectively.
図2に示すように、トランジスタQ1には信号入力ラインLR1〜LRnが接続されると共に、電源電圧VDDが接続されている。また、トランジスタQ2には信号入力ラインLT1〜LTnが接続されており、トランジスタQ3には電源電圧VDDが接続されていると共に、トランジスタQ4が接続されている。また、トランジスタQ4には信号読出ラインLSY1〜LSYnが接続されていると共に、トランジスタQ5が接続されている。更に、トランジスタQ5には信号読出ラインLSx1〜LSxnが接続されている。なお、トランジスタQ1〜Q5は、PチャネルのMOSトランジスタである。 As shown in FIG. 2, the transistor Q 1 is together with the signal input line L R1 ~L Rn are connected, the power supply voltage V DD is connected. Further, the transistor Q 2 is the signal input line L T1 ~L Tn is connected, together with the power supply voltage V DD to the transistor Q 3 is connected, the transistor Q 4 is connected. Further, the transistor Q 4 are together with the signal reading line L SY1 ~L SYn are connected, the transistor Q 5 is connected. Additionally, the signal reading line L Sx1 ~L Sxn is connected to the transistor Q 5. The transistors Q 1 to Q 5 are P-channel MOS transistors.
信号入力ラインLR1〜LRn及び信号入力ラインLT1〜LTnは各画素G11〜Gmnが備えるトランジスタQ1,Q2に対して転送信号φTRF,リセット信号φRST(図3参照)をそれぞれ入力するようになっている。これら信号入力ラインLR1〜LRn及び信号入力ラインLT1〜LTnにはタイミング生成部8が接続されており、所定のタイミングでトランジスタQ1,Q2に転送信号φTRF,リセット信号φRSTを入力することにより、各画素G11〜Gmnのリセット動作や露光動作の開始及び終了を制御するようになっている。
The signal input lines L R1 to L Rn and the signal input lines L T1 to L Tn correspond to the transistors Q 1 and Q 2 included in the pixels G 11 to G mn , the transfer signal φ TRF and the reset signal φ RST (see FIG. 3). Are entered respectively. A
信号読出ラインLSY1〜LSYnは各画素G11〜Gmnが備えるトランジスタQ4に対して信号φSY(図3参照)を入力するようになっている。この信号読出ラインLSY1〜LSYnには垂直シフトレジスタ19が接続されており、タイミング生成部8からの信号に基づき信号を入力する対象の信号読出ラインLSY1〜LSYnをY方向に切り換えることによって、Y方向に配列された各画素Gm1〜Gmnから順次信号を読み出せる状態とするようになっている。
The signal readout lines L SY1 to L SYn are adapted to input a signal φ SY (see FIG. 3) to the transistors Q 4 provided in the pixels G 11 to G mn . It is connected a
信号読出ラインLSx1〜LSxnはトランジスタQ5に対して信号φSx(図3参照)を入力するようになっている。この信号読出ラインLSx1〜LSxnには水平シフトレジスタ20が接続されており、タイミング生成部8からの信号に基づき信号を入力する対象の信号読出ラインLSx1〜LSxnをX方向に切り換えることによって、X方向に配列された各画素G1n〜Gmnから順次信号を読み出せる状態とするようになっている。
Signal reading line L Sx1 ~L Sxn is adapted to input a signal to the transistor Q 5 phi Sx (see Figure 3).
このように、垂直シフトレジスタ19及び水平シフトレジスタ20による信号φSx,φSYの入力によって、行列配置された複数の画素G11〜Gmnのうち任意の位置の画素Gmnで生成された電気信号を順次導出できるようになっており、各画素G11〜Gmnから導出された撮像素子5の出力端の電気信号とグランドとの間の信号変化がアンプ6に出力されるようになっている。
As described above, the electric signals generated by the pixel G mn at an arbitrary position among the plurality of pixels G 11 to G mn arranged in a matrix by the input of the signals φ Sx and φ SY by the
このような回路構成をとることにより、各画素G11〜Gmnは図3に示すような動作を行うようになっている。 By adopting such a circuit configuration, each of the pixels G 11 to G mn performs an operation as shown in FIG.
なお、図3における説明の便宜上、図2に示す4つの画素を画素G11,G12,G21,G22として、タイミング生成部8が信号入力ラインLR1より画素G12,G22のトランジスタQ1にリセット信号φRST1を入力すると共に信号入力ラインLR2より画素G11,G21のトランジスタQ1にリセット信号φRST2を入力し、また、信号入力ラインLT1より画素G12,G22のトランジスタQ2に転送信号φTRF1を入力すると共に信号入力ラインLT2より画素G11,G21のトランジスタQ2に転送信号φTRF2を入力するものとする。また、垂直シフトレジスタ19が信号読出ラインLSY1より画素G12,G22のトランジスタQ4に信号φSY1を入力すると共に信号読出ラインLSY2より画素G11,G21のトランジスタQ4に信号φSY2を入力するものとし、水平シフトレジスタ20が信号読出ラインLSx1より画素G21,G22に接続されたトランジスタQ5に信号φSx1を入力すると共に信号読出ラインLSx2より画素G11,G12に接続されたトランジスタQ5に信号φSx2を入力するものとする。
For convenience of description in FIG. 3, the four pixels shown in FIG. 2 are designated as pixels G 11 , G 12 , G 21 , and G 22 , and the
撮影の開始に際しては、図3に示すように、転送信号φTRF1,φTRF2をHとして各画素が備えるトランジスタQ2をONにし、リセット信号φRST1,φRST2をHとして各画素が備えるトランジスタQ1をONにすると、フォトダイオードD及びキャパシタCの電圧は電源電圧VDDと同じ電圧にリセットされる。そして、転送信号φTRF1をM、転送信号φTRF2をLとしてトランジスタQ2をOFFにすると共に、リセット信号φRST1,φRST2をLとしてトランジスタQ1をOFFにすると、リセット動作が完了するようになっている。 At the start of shooting, as shown in FIG. 3, the transfer signal phi TRF1, phi TRF2 ON the transistor Q 2 to which each pixel is provided with a H, the transistor Q included in each pixel reset signal phi RST1, the phi RST2 as H When 1 is turned on, the voltages of the photodiode D and the capacitor C are reset to the same voltage as the power supply voltage V DD . Then, a transfer signal phi TRF1 M, a transfer signal phi TRF2 with the transistor Q 2 is turned OFF as L, a reset signal phi RST1, when the OFF transistor Q 1 and phi RST2 as L, so that the reset operation is completed It has become.
また、タイミング生成部8は、各画素に入力する転送信号φTRF1,φTRF2をHとしてトランジスタQ2をONとすることにより電荷を転送し、転送信号φTRF1,φTRF2をLとしてトランジスタQ2をOFFとして電荷の転送を終了させるようになっている。
The
また、電荷の転送が終了すると、信号φSY1をHとして画素G12,G22のトランジスタQ4をONにした状態で、信号φSx1をHとして画素G21,G22に接続されたトランジスタQ5をONにすることによって、トランジスタQ3で電荷から変換された電圧信号が画素G22から読み出される。また、信号φSY1をHとして画素G12,G22のトランジスタQ4をONにした状態で、信号φSx2をHとして画素G11,G12に接続されたトランジスタQ5をONにすることによって、画素G12から信号が読み出される。更に、信号φSY2をHとして画素G11,G21のトランジスタQ4をONにした状態で、信号φSx1をHとして画素G21,G22に接続されたトランジスタQ5をONにすることによって、画素G21から信号が読み出される。また、信号φSY2をHとして画素G11,G21のトランジスタQ4をONにした状態で、信号φSx2をHとして画素G11,G12に接続されたトランジスタQ5をONにすることによって、画素G11から信号が読み出される。このようにして、画素G11,G12,G21,G22から順次信号が読み出されるようになっている。 Further, when the charge transfer is completed, the signal phi SY1 in a state that was a transistor Q 4 pixels G 12, G 22 is turned ON as H, the signal phi Sx1 pixel G 21 as H, it is connected to the G 22 transistors Q By turning ON 5 , the voltage signal converted from the electric charge by the transistor Q 3 is read from the pixel G 22 . Further, in a state where the signal phi SY1 transistor Q 4 pixels G 12, G 22 is turned ON as H, by the transistors Q 5 connected to the pixel G 11, G 12 the signal phi Sx2 as H in ON , signals are read from the pixels G 12. Further, in a state where the signal phi SY2 the transistor Q 4 of the pixel G 11, G 21 is turned ON as H, by the transistors Q 5 connected to the pixel G 21, G 22 the signal phi Sx1 as H in ON , signals are read from the pixels G 21. Further, in a state where the signal phi SY2 the transistor Q 4 of the pixel G 11, G 21 is turned ON as H, by the transistors Q 5 connected to the pixel G 11, G 12 the signal phi Sx2 as H in ON , signals are read out from the pixel G 11. In this manner, signals are sequentially read from the pixels G 11 , G 12 , G 21 , and G 22 .
ここで、本実施形態の各画素G11〜GmnにはフォトダイオードDと並列して図示しないキャパシタが設けられており、線形変換動作では入射光量に応じて発生した電荷が図示しないキャパシタに蓄積され、図示しないキャパシタが飽和するときに線形変換動作から対数変換動作に切り換わるようになっている。 Here, in each of the pixels G 11 to G mn of this embodiment, a capacitor (not shown) is provided in parallel with the photodiode D, and charges generated according to the amount of incident light are accumulated in the capacitor (not shown) in the linear conversion operation. When the capacitor (not shown) is saturated, the linear conversion operation is switched to the logarithmic conversion operation.
これにより、線形変換動作では入射光量の積分値に応じた信号が出力され、対数変換動作では信号を読み出す時点の入射光量に応じた信号が出力されることから、図4のグラフに実線で示すように、撮像素子5の出力信号は入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。
As a result, in the linear conversion operation, a signal corresponding to the integral value of the incident light amount is output, and in the logarithmic conversion operation, a signal corresponding to the incident light amount at the time of reading the signal is output. As described above, the output signal of the
また、図3に示すように、トランジスタQ2に入力する転送信号φTRF1,φTRF2はそれぞれ2値の電圧信号となっている。より詳細には、転送信号φTRF1は入射光量が所定の閾値を超えたときにトランジスタQ2をサブスレッショルド領域で動作させるための電圧値VMと、トランジスタQ2を導通状態にする電圧値VHとの2つの値をとるようになっている。また、転送信号φTRF2は入射光量が所定の閾値を超えたときにトランジスタQ2をサブスレッショルド領域で動作させるための電圧値VLと、トランジスタQ2を導通状態にする電圧値VHとの2つの値をとるようになっている。 Further, as shown in FIG. 3, the transfer signal phi TRF1 to be input to the transistor Q 2, phi TRF2 has a voltage signal, respectively binary. More specifically, the transfer signal phi TRF1 is a voltage value VM for operating the transistor Q 2 when the amount of incident light exceeds a predetermined threshold value in the sub-threshold region, and the voltage value VH to the transistor Q 2 to a conductive state The two values are taken. The transfer signal phi TRF2 is a voltage value VL for operating the transistor Q 2 in the sub-threshold region when the amount of incident light exceeds a predetermined threshold value, the two of the voltage value VH to the transistor Q 2 to a conductive state It is supposed to take a value.
この転送信号φTRF1,φTRF2のoff時の電圧を低くすると、各画素Gm1〜Gmnが備えるトランジスタQ2のゲート・ソース間のポテンシャル差が大きくなり、トランジスタQ2がカットオフ状態で動作する被写体輝度の割合が大きくなる。 The transfer signal phi TRF1, Lowering the voltage at the time of off of phi TRF2, the potential difference between the gate and source of the transistor Q 2 to which included in each pixel G m1 ~G mn increases, the operating transistor Q 2 is a cut-off state The ratio of subject brightness to be increased.
したがって、入射光量の輝度範囲が狭い場合はoff時の電圧値を低くして線形変換動作する輝度範囲を広くし、また、入射光量の輝度範囲が広い場合はoff時の電圧値を高くして対数変換動作する輝度範囲を広くして、被写体の特性に合った光電変換特性とすることが可能である。また、電圧値を最小として常に線形変換動作する状態とすることや、電圧値を最大として常に対数変換動作する状態とすることもできる。これにより、転送信号φTRF1,φTRF2のoff時の電圧値を制御して、線形変換動作と対数変換動作との境界である変曲点を任意に設定することが可能となっている。 Therefore, when the luminance range of the incident light amount is narrow, the voltage value at the time of off is lowered to widen the luminance range for linear conversion operation, and when the luminance range of the incident light amount is wide, the voltage value at the off time is increased. It is possible to widen the luminance range in which the logarithmic conversion operation is performed so as to obtain photoelectric conversion characteristics that match the characteristics of the subject. Further, the linear conversion operation can always be performed with the voltage value minimized, or the logarithmic conversion operation can always be performed with the voltage value maximized. Thereby, it is possible to arbitrarily set an inflection point which is a boundary between the linear conversion operation and the logarithmic conversion operation by controlling the voltage values when the transfer signals φTRF1 and φTRF2 are turned off.
本実施形態では、転送信号φTRF1のoff時の電圧はMレベル、φTRF2のoff時の電圧はLレベルとすることにより、横の画素行毎に変曲点の設定を変更することが可能となっている。 In this embodiment, the inflection point setting can be changed for each horizontal pixel row by setting the voltage when the transfer signal φTRF1 is off to the M level and the voltage when φTRF2 is off to the L level. It has become.
このように、本実施形態の撮像素子5は横の画素行毎に変曲点の設定を変えることが可能な構成となっているが、縦の画素列毎に変曲点の設定を変えることが可能な構成とすることもできる。
As described above, the
例えば、図5に示すように、信号入力ラインLTA1〜LTAn及び信号入力ラインLTB1〜LTBnをそれぞれ縦の画素列毎に接続することにより、縦の画素列毎に変曲点の設定を変えることができる。 For example, as shown in FIG. 5, inflection points are set for each vertical pixel column by connecting the signal input lines L TA1 to L TAn and the signal input lines L TB1 to L TBn for each vertical pixel column. Can be changed.
この場合、図6に示すように、信号入力ラインLTA1〜LTAnではoff時の電圧をMレベルとし、信号入力ラインLTB1〜LTBnではoff時の電圧をLレベルとすればよい。 In this case, as shown in FIG. 6, the off-time voltage may be set to M level in the signal input lines L TA1 to L TAn and the off-time voltage may be set to L level in the signal input lines L TB1 to L TBn .
また、本実施形態の撮像素子5はリニアログ変換型センサとして構成されているが、本発明の撮像装置は、複数種類の変換特性のうち少なくとも一つが対数変換特性又は線形変換特性である撮像素子や、図7のグラフに実線で示すように、変換係数が異なる複数(図7では3種類)の線形変換特性を有する撮像素子を備えた構成とすることも可能である。
In addition, although the
図1に戻り、撮像素子5には、アンプ6及びADコンバータ(ADC)7がこの順に接続されており、撮像素子5及びADコンバータ7にはタイミング生成部8が接続されている。また、タイミング生成部8には変曲点制御部9が接続されており、変曲点制御部9は撮像素子5に接続されている。
Returning to FIG. 1, an amplifier 6 and an AD converter (ADC) 7 are connected to the
更に、ADコンバータ7には黒基準補正部10及び線形化信号補正部11がこの順に接続されており、線形化信号補正部11にはAE・AWB評価値検出部12及び画像処理部13がそれぞれ接続されている。
Further, a black
このうち、アンプ6は、撮像素子5から出力された電気信号を所定の規定レベルに増幅して撮影画像のレベル不足を補償するようになっている。
Of these, the amplifier 6 amplifies the electrical signal output from the
また、ADコンバータ7は、アンプ6において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。 The AD converter 7 converts the electrical signal amplified by the amplifier 6 from an analog signal to a digital signal.
また、タイミング生成部8は、所定のタイミングパルスを生成して撮像素子5に出力することにより撮像素子5の撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出しなど)を制御するようになっている。すなわち、システム制御部2からの撮影制御信号に基づき、信号入力ラインLR1〜LRn及び信号入力ラインLT1〜LTnより各画素G11〜GmnのトランジスタQ1,Q2に転送信号φTRF,リセット信号φRSTを入力すると共に、垂直シフトレジスタ19及び水平シフトレジスタ20に水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号などを入力するようになっている。
In addition, the
また、タイミング生成部8は、A/Dコンバータ7において用いられるA/D変換用のクロックも生成する。
The
また、変曲点制御部9は、複数の変換特性の切換点を設定する切換点制御部としての機能を果たすものである。本実施形態の撮像装置1は、複数の変曲点を設定し、注目画素の出力信号の変曲点近傍領域における変換誤差を、その出力信号の変曲点近傍領域に対応する他の近傍画素からの出力信号の領域を使用して補正する必要から、撮像素子5の画素G11〜Gmnを規則的なグループに分け、そのグループ毎に変曲点近傍領域が重ならないように変曲点を設定するようになっている。
The inflection
この「複数のグループ」としては、例えば、所定の画素行又は所定の画素列とすることが考えられる。すなわち、縦の画素列毎に2種類又は4種類の変曲点を設定することや、横の画素行毎に2種類又は4種類の変曲点を設定することなどが可能である。 As the “plural groups”, for example, a predetermined pixel row or a predetermined pixel column may be considered. That is, two or four types of inflection points can be set for each vertical pixel column, or two or four types of inflection points can be set for each horizontal pixel row.
また、連続して画像を撮影する場合は、連続する複数のフレーム毎に変曲点近傍領域が重ならないように変曲点を設定するようになっている。すなわち、動画のように連続して画像データの出力を行う場合であって、あまり動きの速い被写体を撮影しない場合は、前後の2フレーム間又は2以上の複数フレーム間で異なるように変曲点を設定することにより、補正を行うようになっている。 In addition, when continuously capturing images, the inflection points are set so that the inflection point neighboring areas do not overlap each other for a plurality of consecutive frames. In other words, when image data is output continuously like a moving image and a subject that does not move very fast is taken, the inflection point is different so that it differs between the two frames before and after or two or more frames. By setting, correction is performed.
この場合、画素間の変曲点は異なるものとして設定する必要はなく、画素構成を簡易化することができる。また、連続して画像を撮影する場合にも、複数の画素G11〜Gmnを規則的なグループに分け、そのグループ毎に変曲点近傍領域が重ならないように変曲点を設定し、フレーム毎に変曲点を反転させて変曲点を設定することも可能である。 In this case, the inflection points between the pixels need not be set differently, and the pixel configuration can be simplified. In addition, when continuously capturing images, the plurality of pixels G 11 to G mn are divided into regular groups, and inflection points are set so that the inflection point neighboring areas do not overlap for each group, It is also possible to set the inflection point by inverting the inflection point for each frame.
本実施形態の撮像素子5では、上述のように色フィルタの配置がベイヤ配列となっており、RGB毎に異なる変曲点をそれぞれ最低2種類ずつ設定することが好ましい。また、最低でもGに関して2つの異なる変曲点を設定し、RB間に関して異なる変曲点を設定することが好ましい。
In the
例えば、図2に示す構成の撮像素子5を使用する場合は、横の画素行毎に変曲点を変更することができる。この場合は、縦方向の解像度を犠牲にすることなく変曲点を設定することが可能となる。
For example, when the
例えば、図8に示すように、GB行を変曲点a、RG行を変曲点bに設定することが可能である。この結果、Gに関しては変曲点が2設定となり、RBに関しては色間で2設定となるが、同一色では2設定とならない。これにより、Gに関しては同一色間で補正を行うことができるが、RBに関しては他の色(Gなど)から補正を行うことになる。 For example, as shown in FIG. 8, it is possible to set the GB line as an inflection point a and the RG line as an inflection point b. As a result, the inflection point is set to 2 for G and 2 is set between colors for RB, but is not set to 2 for the same color. As a result, G can be corrected between the same colors, but RB is corrected from other colors (such as G).
また、図9に示すように、2行の画素行毎に変曲点a、変曲点bを設定することも可能である。この結果、RGBのそれぞれに関して変曲点は2設定となる。これにより、RGBのそれぞれについて同一色間で補正を行うことができる。 Further, as shown in FIG. 9, the inflection point a and the inflection point b can be set for every two pixel rows. As a result, two inflection points are set for each of RGB. Thereby, it can correct | amend between the same colors about each of RGB.
また、図5に示す構成の撮像素子5を使用する場合は、縦の画素列毎に変曲点を変更することが可能である。
In addition, when the
例えば、図10に示すように、GR行を変曲点a、BG行を変曲点bに設定することが可能である。この結果、Gに関しては変曲点が2設定となり、RBに関しては色間では2設定となるが、同一色では2設定とならない。これにより、Gに関しては同一色間で補正を行うことができるが、RBに関しては他の色(Gなど)から補正を行うことになる。 For example, as shown in FIG. 10, it is possible to set an inflection point a for the GR row and an inflection point b for the BG row. As a result, the inflection point is set to 2 for G and 2 for RB, but not 2 for the same color. As a result, G can be corrected between the same colors, but RB is corrected from other colors (such as G).
また、図11に示すように、2列の画素列毎に変曲点a、変曲点bを設定することも可能である。この結果、RGBのそれぞれに関して変曲点は2設定となる。これにより、RGBのそれぞれについて同一色間で補正を行うことができる。 In addition, as shown in FIG. 11, an inflection point a and an inflection point b can be set for every two pixel columns. As a result, two inflection points are set for each of RGB. Thereby, it can correct | amend between the same colors about each of RGB.
更に、図12に示すように、1列の画素列毎に変曲点a〜dを設定することも可能である。この結果、Gに関しては4設定となり、RBに関しては2設定となる。これにより、RGBのそれぞれについて同一色間で補正を行うことができる。 Furthermore, as shown in FIG. 12, inflection points a to d can be set for each pixel column. As a result, G is set to 4 and RB is set to 2. Thereby, it can correct | amend between the same colors about each of RGB.
なお、図8〜図12は変曲点の設定パターンとして好ましい例を示したものであり、他の設定パターンとすることも可能である。例えば、Gに関してのみ変曲点を2設定とすることや、Gに関しては2設定とし、Rに関しては縦又は横に2設定、Bに関しては横又は縦に2設定とすることなども可能である。また、変曲点aの値と変曲点bの値とをフレームごとに反転させることも可能である。 8 to 12 show preferable examples of the inflection point setting patterns, and other setting patterns can be used. For example, it is possible to set 2 inflection points only for G, 2 settings for G, 2 settings vertically or horizontally for R, and 2 settings horizontally or vertically for B. . It is also possible to invert the value of the inflection point a and the value of the inflection point b for each frame.
図1に戻り、黒基準補正部10は、最低輝度値となる黒レベルを、基準値に補正するようになっている。すなわち、撮像素子5の黒レベルが変動するため、ADコンバータ7から出力されるRGB各信号の信号レベルに対して、黒レベルとなる基準信号レベルとの差分を減算することで黒基準補正を行うようになっている。
Returning to FIG. 1, the black
また、線形化信号補正部11は、注目画素の出力信号の変曲点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部としての機能を果たすものである。すなわち、線形化信号補正部11は、変換誤差を生じた注目画素の出力信号値を、切換点の異なる近傍画素の出力信号から求めた補間値に相当する値とする補正を行うようになっている。
Further, the linearization
ここで、「補間値に相当する値とする」とは、注目画素の出力信号値を補間値に置き換えることのほか、注目画素の出力信号値と補間値との差の大きさに応じて注目画素の出力信号値に係数を乗算することなどを意味する。 Here, “the value corresponding to the interpolation value” refers to not only replacing the output signal value of the target pixel with the interpolation value but also depending on the magnitude of the difference between the output signal value of the target pixel and the interpolation value. It means that the output signal value of the pixel is multiplied by a coefficient.
図13に示すように、線形化信号補正部11は、リニアログ変換部21、補間値算出部22、比較部23及び切替部24を備えて構成されており、画素からの出力信号のうち対数変換された部分を線形化すると共に、変換誤差を補正するようになっている。
As shown in FIG. 13, the linearization
リニアログ変換部21は、撮像素子5の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部としての機能を果たすものであり、撮像素子5の出力信号のうち対数変換された部分を線形化するようになっている。例えば、図14は、2種類の変曲点が設定された撮像素子5の出力信号を線形化する例である。
The
補間値算出部22は、リニアログ変換部21における変換誤差を補正するための補間値を算出するようになっている。
The interpolation
ここで「変換誤差」とは、図4、図7又は図14に点線で示すような、線形領域及び対数領域の出力信号をそれぞれ数式化した出力信号モデルを利用し、線形化処理を行った場合に生じる変換誤差をいう。 Here, the “conversion error” is a linearization process using an output signal model obtained by formulating output signals in the linear region and logarithmic region as shown by dotted lines in FIG. 4, FIG. 7 or FIG. This is the conversion error that occurs in some cases.
すなわち、実際の出力信号は、図4、図7又は図14に実線で示すように、線形領域から対数領域になだらかに変化している。したがって、図4、図7又は図14に点線で示す信号モデルを用いて線形化処理を行うと、変曲点近傍領域で出力信号モデルとの乖離が生じ、変換誤差が生じる。 That is, the actual output signal changes smoothly from the linear region to the logarithmic region as shown by the solid line in FIG. Therefore, when linearization is performed using the signal model indicated by the dotted line in FIG. 4, FIG. 7, or FIG. 14, a deviation from the output signal model occurs in the vicinity of the inflection point, resulting in a conversion error.
そこで、この変曲点近傍領域における変換誤差を、周辺画素の出力信号を利用して補正するようになっている。すなわち、上述のようにRGB毎に異なる変曲点をそれぞれ最低2種類ずつ設定すると、注目画素と周辺画素とでは変曲点が異なることから、注目画素の出力信号が変曲点近傍領域であるとき、周辺画素の出力信号は完全線形領域又は完全対数領域にあることになる。そこで、変換誤差のない周辺画素の出力信号を利用して、変曲点近傍領域における変換誤差を補正するようになっている。 Therefore, the conversion error in the region near the inflection point is corrected using the output signals of the peripheral pixels. That is, if at least two different inflection points are set for each RGB as described above, the inflection point is different between the pixel of interest and the surrounding pixels, so the output signal of the pixel of interest is the inflection point neighborhood region. Sometimes, the output signals of the surrounding pixels are in the complete linear region or the complete logarithmic region. Therefore, the conversion error in the vicinity of the inflection point is corrected by using the output signal of the peripheral pixels having no conversion error.
例えば、2種類の変曲点を設定した場合は、図15に示すように、出力信号(A)の変曲点近傍領域における変換誤差は、出力信号(B)の完全対数領域を利用して補正することができる。また、出力信号(B)の変曲点近傍領域における変換誤差は、出力信号(A)の完全線形領域を利用して補正を行うことができる。 For example, when two types of inflection points are set, as shown in FIG. 15, the conversion error in the region near the inflection point of the output signal (A) uses the complete logarithmic region of the output signal (B). It can be corrected. Further, the conversion error in the region near the inflection point of the output signal (B) can be corrected using the complete linear region of the output signal (A).
また、図12に示すように、4種類の変曲点を設定した場合は、図16に示すように、出力信号(C)の変曲点近傍領域における変換誤差は出力信号(E)又は出力信号(F)の完全対数領域を利用し、出力信号(D)の変曲点近傍領域における変換誤差は出力信号(F)の完全対数領域を利用し、出力信号(E)の変曲点近傍領域における変換誤差は出力信号(C)の完全対数領域を利用し、出力信号(F)の変曲点近傍領域における変換誤差は出力信号(C)又は出力信号(D)の完全対数領域を利用して補正を行うことができる。 As shown in FIG. 12, when four types of inflection points are set, as shown in FIG. 16, the conversion error in the region near the inflection point of the output signal (C) is the output signal (E) or the output. The complete logarithm region of the signal (F) is used, and the conversion error in the region near the inflection point of the output signal (D) uses the complete logarithm region of the output signal (F) and is near the inflection point of the output signal (E). The conversion error in the region uses the complete logarithmic region of the output signal (C), and the conversion error in the region near the inflection point of the output signal (F) uses the complete logarithmic region of the output signal (C) or the output signal (D). Can be corrected.
具体的には、周辺画素の出力信号に基づき、注目画素において変換誤差がない場合の出力信号値に相当する補間値を求め、実際の注目画素の出力信号値と補間値との差が誤差許容値以上である場合は、注目画素の出力信号値を補間値に置き換えることにより、変換誤差の補正を行う。 Specifically, based on the output signals of the surrounding pixels, an interpolation value corresponding to the output signal value when there is no conversion error in the target pixel is obtained, and the difference between the actual output signal value of the target pixel and the interpolation value is an error tolerance. If the value is greater than or equal to the value, the conversion error is corrected by replacing the output signal value of the target pixel with the interpolation value.
例えば、図17は同一色間で補正を行う場合の概念図である。図17に示すように、注目画素の出力信号及び周辺画素の出力信号には相関関係があることから、周辺画素の出力信号に基づいて補間値を求めることが可能であり、注目画素の出力信号値を補間値に置き換えることにより補正を行うことができる。 For example, FIG. 17 is a conceptual diagram when correction is performed between the same colors. As shown in FIG. 17, since there is a correlation between the output signal of the target pixel and the output signal of the peripheral pixel, an interpolation value can be obtained based on the output signal of the peripheral pixel. Correction can be performed by replacing the value with an interpolation value.
また、図18は他の色から補正を行う場合の概念図である。この場合も同様に、周辺画素の出力信号に基づいて補間値を求め、注目画素の出力信号値として置き換えることにより補正を行うことができる。 FIG. 18 is a conceptual diagram when correction is performed from another color. In this case as well, correction can be performed by obtaining an interpolation value based on the output signal of the peripheral pixel and replacing it with the output signal value of the target pixel.
次に、「補間値」の内容について説明する。 Next, the content of “interpolation value” will be described.
補間値算出部22が算出する「補間値」とは、注目画素の周辺に位置する複数画素の出力信号の「平均値」に「所定値」を乗算した値をいう。
The “interpolation value” calculated by the interpolation
図19において、縦の画素列1列毎に異なる変曲点を設定とし、注目画素を注目画素Gαとした場合は、周辺画素GSα1〜GSα4の平均値Gavαを求める。また、注目画素を注目画素Gβとした場合は、周辺画素GSβ1〜GSβ4の平均値Gavβを求める。 19, the vertical pixel column different inflection point for each line and setting, if the pixel of interest and the target pixel G alpha, an average value G Avarufa near pixel G Sα1 ~G Sα4. In the case where the target pixel and the target pixel G beta, the average value G Avbeta near pixel G Sβ1 ~G Sβ4.
また、「平均値」に乗算する「所定値」とは、注目画素の出力信号と周辺画素の出力信号のレベル差に相当する値である。この「所定値」は、注目画素の出力信号の平均値と周辺画素の出力信号の平均値との差をとることなどによって求めることができる。 The “predetermined value” multiplied by the “average value” is a value corresponding to the level difference between the output signal of the target pixel and the output signals of the peripheral pixels. This “predetermined value” can be obtained by taking the difference between the average value of the output signals of the target pixel and the average value of the output signals of the peripheral pixels.
次に、「補間値」の算出式について、図20のように2種類の変曲点(i)及び(ii)を設定した場合を例にして、具体的に説明する。 Next, the formula for calculating the “interpolation value” will be specifically described with reference to an example in which two types of inflection points (i) and (ii) are set as shown in FIG.
図20の例において、G22m,2nの補正を行う場合(G2が変曲点近傍領域にある場合)は下記式(1)となる。ただし、下記式(1)〜(8)において「α」は「所定値」に相当する係数を意味し、「Sg」、「Sb」、「Sg1」、「Sg3」はそれぞれ誤差許容値を意味する。 In the example of FIG. 20, when correcting G2 2m, 2n (when G2 is in the inflection point vicinity region), the following equation (1) is obtained. However, in the following formulas (1) to (8), “α” means a coefficient corresponding to “predetermined value”, and “Sg”, “Sb”, “Sg1”, and “Sg3” mean error tolerance values, respectively. To do.
また、図20の例において、G12m−1,2n−1の補正を行う場合(G1が変曲点近傍領域にある場合)は下記式(2)となる。 In the example of FIG. 20, when G1 2m-1 and 2n-1 are corrected (when G1 is in the vicinity of the inflection point), the following equation (2) is obtained.
次に、B22m−1,2nの補正を行う場合について説明する。 Next, the case where B2 2m-1 and 2n are corrected will be described.
まず、G1画素が変曲点近傍領域にない場合は下記式(3)となる。 First, when the G1 pixel is not in the inflection point vicinity region, the following equation (3) is obtained.
また、G2画素が変曲点近傍領域にない場合は下記式(4)となる。 When the G2 pixel is not in the inflection point vicinity region, the following equation (4) is obtained.
次に、R12m,2n−1の補正を行う場合について説明する。 Next, a case where R1 2m, 2n-1 is corrected will be described.
まず、G2画素が変曲点近傍領域にない場合は下記式(5)となる。 First, when the G2 pixel is not in the vicinity of the inflection point, the following equation (5) is obtained.
また、G1画素が変曲点近傍領域にない場合は下記式(6)となる。 When the G1 pixel is not in the inflection point vicinity region, the following equation (6) is obtained.
更に、「補間値」の算出式について、図21のように4種類の変曲点(i)〜(iv)を設定した場合を例にして、具体的に説明する。 Further, the formula for calculating the “interpolation value” will be specifically described with reference to an example in which four types of inflection points (i) to (iv) are set as shown in FIG.
図21の例において、G12m−1,4n−3の補正を行う場合は下記式(7)となる。 In the example of FIG. 21, when G1 2m-1, 4n-3 is corrected, the following equation (7) is obtained.
また、図21の例において、G32m−1,4n−1の補正を行う場合は下記式(8)となる。 In the example of FIG. 21, when G3 2m−1,4n−1 is corrected, the following equation (8) is obtained.
また、図21の例において、G2とG4、B2とB4、R1とR3の補正も上記式(7)又は(8)と同様の計算式によって行うことができる。 In the example of FIG. 21, G2 and G4, B2 and B4, and R1 and R3 can also be corrected by the same calculation formula as the above formula (7) or (8).
比較部23は、注目画素と補間値とのレベル差を比較して、比較結果を切替部24に出力するようになっている。
The
切替部24は、比較部23における比較結果に基づき、注目画素と補間値とのレベル差が誤差許容値以下の場合は、リニアログ変換部21の出力信号をそのまま出力し、注目画素と補間値とのレベル差が誤差許容値より大きい場合は、補間値算出部22において算出された補間値を出力するようになっている。すなわち、線形化信号補正部11は、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合のみ補正を行うようになっている。
Based on the comparison result in the
図1に戻り、AE・AWB評価値検出部12は、黒基準補正部10において黒基準補正された電気信号から、自動露出制御(AE)及び自動ホワイトバランス(AWB)を行うためのそれぞれの評価値を検出するようになっている。
Returning to FIG. 1, the AE / AWB evaluation
また、画像処理部13は、AWB制御部14、色補間部15、色補正部16、階調変換部17及び色空間変換部18を備えて構成され、これらの構成部分はこの順に接続されている。
The
このうちAWB制御部14は、線形化信号補正部11の出力信号から補正係数を算出することによって、撮像画像のR,G,Bの各色成分のレベル比(R/G,B/G)を調整して白色を正しく表示するようになっている。
Among these, the
また、色補間部15は、撮像素子5の画素において得られる信号が原色のうち一つあるいは二つだけである場合に、各画素についてR,G,Bの各色成分値を求めることができるように、欠落する色成分を画素毎に補間する色補間処理を行うようになっている。
In addition, the
また、色補正部16は、色補間部15から入力する画像データの画素毎の色成分値を補正して、各画素の色合いを強調した画像を生成するようになっている。
The
また、階調変換部17は、画像を忠実に再現すべく、画像の入力から最終出力までにおいてガンマを1として理想階調再現特性を実現するために、画像の階調の応答特性を撮像素子5のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行うようになっている。
Further, the
また、色空間変換部18は、色空間をRGBからYUVに変換するようになっている。YUVは、輝度(Y)信号と青の色差(U、Cb)と赤の色差(V、Cr)の2つの色度で色を表現する色空間の管理方法であり、色空間をYUVに変換することにより、色差信号のデータ圧縮が行いやすくなる。
Further, the color
次に、本実施形態の撮像装置1を使用した本発明の撮像方法について説明する。
Next, the imaging method of the present invention using the
まず、変曲点制御部9は、撮像素子5の画素を複数のグループに分けて、各グループの出力信号の変曲点近傍領域が重ならないように、そのグループ毎に異なる変曲点を設定する。
First, the inflection
本実施形態の撮像素子5では、上述のように色フィルタの配置がベイヤ配列となっていることから、RGB毎に異なる変曲点をそれぞれ最低2種類ずつ設定することが好ましい。
In the
例えば、図2に示す構成の撮像素子5を使用する場合は、図8又は図9に示すように、横の画素行毎に変曲点を変更することができる。この場合は、縦方向の解像度を犠牲にすることなく変曲点を設定することが可能となる。また、図5に示す構成の撮像素子5を使用する場合は、図10又は図11に示すように、縦の画素列毎に変曲点を変更することが可能である。
For example, when the
次に、撮像素子5の各画素G11〜Gmnから信号処理部6に電気信号が出力されると、アンプ6は撮像素子5から出力された電気信号を所定の規定レベルに増幅し、ADコンバータ7は増幅された電気信号をデジタル信号に変換する。
Next, when an electrical signal is output from the pixels G 11 to G mn of the
続いて、黒基準補正部10が最低輝度値となる黒レベルを基準値に補正して、線形化信号補正部11に出力する。
Subsequently, the black
次に、線形化信号補正部11は、注目画素の出力信号の変曲点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する。
Next, the linearization
すなわち、まず線形化信号補正部11のリニアログ変換部21は、撮像素子5から出力される電気信号のうち、対数変換された部分を線形化する。例えば、図14は、2種類の変曲点が設定された撮像素子5の出力信号を線形化する例である。
That is, first, the linear
続いて、補間値算出部22は、リニアログ変換部21における変換誤差を補正するための補間値を算出する。
Subsequently, the interpolation
例えば、2種類の変曲点を設定した場合は、図15に示すように、出力信号(A)の変曲点近傍領域における変換誤差は、出力信号(B)の完全対数領域を利用して補正する。また、出力信号(B)の変曲点近傍領域における変換誤差は、出力信号(A)の完全線形領域を利用して補正を行う。 For example, when two types of inflection points are set, as shown in FIG. 15, the conversion error in the region near the inflection point of the output signal (A) uses the complete logarithmic region of the output signal (B). to correct. Further, the conversion error in the region near the inflection point of the output signal (B) is corrected using the complete linear region of the output signal (A).
また、図12に示すように、4種類の変曲点を設定した場合は、図16に示すように、出力信号(C)の変曲点近傍領域における変換誤差は出力信号(E)又は出力信号(F)の完全対数領域を利用し、出力信号(D)の変曲点近傍領域における変換誤差は出力信号(F)の完全対数領域を利用し、出力信号(E)の変曲点近傍領域における変換誤差は出力信号(C)の完全対数領域を利用し、出力信号(F)の変曲点近傍領域における変換誤差は出力信号(C)又は出力信号(D)の完全対数領域を利用して補正を行う。 As shown in FIG. 12, when four types of inflection points are set, as shown in FIG. 16, the conversion error in the region near the inflection point of the output signal (C) is the output signal (E) or the output. The complete logarithm region of the signal (F) is used, and the conversion error in the region near the inflection point of the output signal (D) uses the complete logarithm region of the output signal (F) and is near the inflection point of the output signal (E). The conversion error in the region uses the complete logarithmic region of the output signal (C), and the conversion error in the region near the inflection point of the output signal (F) uses the complete logarithmic region of the output signal (C) or the output signal (D). To correct.
具体的には、周辺画素の出力信号に基づき、注目画素において変換誤差がない場合の出力信号値に相当する補間値を求める。 Specifically, an interpolation value corresponding to the output signal value when there is no conversion error in the target pixel is obtained based on the output signals of the surrounding pixels.
すなわち、補間値算出部22は、注目画素の周辺に位置する複数画素の出力信号の「平均値」に「所定値」を乗算することにより、「補間値」を算出する。
That is, the interpolation
例えば、図19において、縦の画素列1列毎に異なる変曲点を設定とし、注目画素を注目画素Gαとした場合は、周辺画素GSα1〜GSα4の平均値Gavαを求める。また、注目画素を注目画素Gβとした場合は、周辺画素GSβ1〜GSβ4の平均値Gavβを求める。 For example, in FIG. 19, the vertical pixel column different inflection point for each line and setting, if the pixel of interest and the target pixel G alpha, an average value G Avarufa near pixel G Sα1 ~G Sα4. In the case where the target pixel and the target pixel G beta, the average value G Avbeta near pixel G Sβ1 ~G Sβ4.
また、「平均値」に乗算する「所定値」とは、注目画素の出力信号と周辺画素の出力信号のレベル差に相当する値である。この「所定値」は、注目画素の出力信号の平均値と周辺画素の出力信号の平均値との差をとることなどによって求めることができる。 The “predetermined value” multiplied by the “average value” is a value corresponding to the level difference between the output signal of the target pixel and the output signals of the peripheral pixels. This “predetermined value” can be obtained by taking the difference between the average value of the output signals of the target pixel and the average value of the output signals of the peripheral pixels.
すなわち、「補間値」の算出方法について具体的に説明すると、図20のように2種類の変曲点(i)及び(ii)を設定した場合は、G22m,2nの補正は上記式(1)によって、G12m−1,2n−1の補正は上記式(2)によって、B22m−1,2nの補正を行う場合であって、G1画素が変曲点近傍領域にない場合は上記式(3)によって、同様の場合にG2画素が変曲点近傍領域にない場合は上記式(4)によって補正を行うことができる。また、図20の例において、R12m,2n−1の補正を行う場合であって、G2画素が変曲点近傍領域にない場合は上記式(5)によって、G1画素が変曲点近傍領域にない場合は上記式(6)によって補正を行うことができる。 That is, when the specifically described method for calculating the "interpolated value", if you set the two inflection points (i) and (ii) as shown in FIG. 20, G2 2m, correction of 2n is the formula ( 1), the correction of G1 2m-1,2n-1 is performed when the correction of B2 2m-1,2n is performed according to the above equation (2), and when the G1 pixel is not in the vicinity of the inflection point, According to equation (3), if the G2 pixel is not in the vicinity of the inflection point in the same case, correction can be performed by equation (4). In the example of FIG. 20, when R1 2m, 2n-1 is corrected and the G2 pixel is not in the inflection point vicinity region, the G1 pixel is in the inflection point vicinity region according to the above equation (5). If not, it can be corrected by the above equation (6).
また、図21のように4種類の変曲点(i)〜(iv)を設定した場合は、G12m−1,4n−3の補正は上記式(7)によって、G32m−1,4n−1の補正は上記式(8)によって行うことができる。更に、図21の例において、G2とG4、B2とB4、R1とR3の補正も上記式(7)又は(8)と同様の計算式によって行うことができる。 Further, when four types of inflection points (i) to (iv) are set as shown in FIG. 21, G1 2m-1, 4n-3 is corrected by G3 2m-1, 4n according to the above equation (7). The correction of −1 can be performed by the above equation (8). Furthermore, in the example of FIG. 21, correction of G2 and G4, B2 and B4, and R1 and R3 can also be performed by the same calculation formula as the above formula (7) or (8).
次に、補間値算出部22が補間値を算出すると、比較部23は、注目画素と補間値とのレベル差を比較して、比較結果を切替部24に出力する。
Next, when the interpolation
次に、切替部24は、比較部23における比較結果に基づき、注目画素と補間値とのレベル差が誤差許容値以下の場合は、リニアログ変換部21の出力信号をそのまま出力し、注目画素と補間値とのレベル差が誤差許容値より大きい場合は、補間値算出部22において算出された補間値を出力する。
Next, based on the comparison result in the
次に、AE・AWB評価値検出部12は、線形化信号補正部11の出力信号からAE(自動露出)のために必要な評価値を検出してシステム制御部2に送出する。
Next, the AE / AWB evaluation
また、画像処理部13のAWB制御部14が線形化信号補正部11の出力信号から補正係数を算出してAWB処理を行うと、色補間部15は色補間処理を行い、色補正部16は色補正処理を行う。続いて、階調変換部17は、ガンマ補正処理を行い、色空間変換部18は色空間をRGBからYUVに変換する。
When the
以上より本実施形態によれば、複数の変曲点を設定することによって、互いに相関関係があり、かつ切換点近傍領域が重ならない複数の出力信号を得ることが可能となる。これにより、リニアログ変換で変曲点近傍領域に生じた変換誤差を、その変曲点近傍領域に対応する他の近傍画素からの出力信号における変曲点近傍領域以外の領域を使用して補正することが可能となる。 As described above, according to the present embodiment, by setting a plurality of inflection points, it is possible to obtain a plurality of output signals that are correlated with each other and that do not overlap in the vicinity of the switching point. As a result, the conversion error generated in the inflection point vicinity region by the linear log conversion is corrected by using a region other than the inflection point vicinity region in the output signal from other neighboring pixels corresponding to the inflection point vicinity region. It becomes possible.
すなわち、各特性の出力信号を数式化した出力信号モデルを用いて特性変換を行うと、実際の出力信号はなだらかに変化しているため、変曲点近傍領域において出力信号モデルとの乖離が生じる。そこで、他の近傍画素からの出力信号における変曲点近傍領域以外の領域を利用して変換誤差がなかった場合の出力信号を求めることにより、変換誤差を補正することが可能となる。 In other words, when characteristic conversion is performed using an output signal model obtained by formulating the output signal of each characteristic, the actual output signal changes gently, and thus there is a discrepancy with the output signal model in the region near the inflection point. . Therefore, the conversion error can be corrected by obtaining an output signal when there is no conversion error by using a region other than the inflection point vicinity region in the output signal from other neighboring pixels.
また、複数の画素G11〜Gmnを規則的なグループに分けて、そのグループ毎に変曲点を設定することにより、撮影画像への影響を抑えつつ、リニアログセンサの変曲点を設定することが可能となる。 Also, by dividing the plurality of pixels G 11 to G mn into regular groups and setting inflection points for each group, the inflection points of the linear log sensor are set while suppressing the influence on the photographed image. It becomes possible to do.
また、動画を撮影する場合に、複数のフレーム毎に変曲点を設定することにより、撮影画像への影響を抑えつつ、複数の変換特性の変曲点を設定することが可能となる。 In addition, when shooting a moving image, by setting an inflection point for each of a plurality of frames, it is possible to set an inflection point of a plurality of conversion characteristics while suppressing an influence on a captured image.
また、動画を撮影する場合において、画素G11〜Gmnのグループ毎に設定した変曲点をフレーム毎に反転させることにより、複数フレームにつき異なる変曲点を容易に設定することが可能となる。 In addition, when shooting a moving image, it is possible to easily set different inflection points for a plurality of frames by inverting the inflection points set for each group of pixels G 11 to G mn for each frame. .
また、縦の画素列毎に2種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。 Also, by setting two types of inflection points for each vertical pixel row, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors.
また、縦の画素列毎に4種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。 Also, by setting four types of inflection points for each vertical pixel column, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel is provided with an RGB filter, it is possible to perform correction between the same colors for each of RGB.
また、横の画素行毎に2種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合、同一色間又は異なる色間で補正を行うことができる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。 Also, by setting two types of inflection points for each horizontal pixel row, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel includes an RGB filter, correction can be performed between the same colors or between different colors. In addition, correction can be performed without sacrificing the vertical resolution.
また、横の画素行毎に4種類の変曲点を設定することにより、他の近傍画素からの出力信号を利用して変換誤差の補正を行うことが可能となる。これにより、例えば各画素にRGBフィルタを備える場合は、RGBのそれぞれについて同一色間で補正を行うことが可能となる。また、縦方向の解像度を犠牲にすることなく補正を行うことが可能となる。 In addition, by setting four types of inflection points for each horizontal pixel row, it is possible to correct conversion errors using output signals from other neighboring pixels. Thus, for example, when each pixel is provided with an RGB filter, it is possible to perform correction between the same colors for each of RGB. In addition, correction can be performed without sacrificing the vertical resolution.
また、変曲点の異なる複数の出力信号は互いに相関関係があることから、他の近傍画素からの出力信号から変換誤差がない場合の注目画素の出力信号値に相当する補間値を求め、注目画素の出力信号値を補間値に置き換えるか、注目画素の出力信号値と補間値との比に応じて係数をかけることなどにより変換誤差を補正することが可能となる。 Since a plurality of output signals having different inflection points are correlated with each other, an interpolation value corresponding to the output signal value of the target pixel when there is no conversion error is obtained from the output signals from other neighboring pixels. The conversion error can be corrected by replacing the output signal value of the pixel with an interpolation value, or by applying a coefficient according to the ratio between the output signal value of the target pixel and the interpolation value.
また、注目画素の出力信号値と補間値との差が許容誤差範囲外である場合、すなわち変換誤差が撮影画像に影響を及ぼす程度の大きさである場合のみ変換誤差の補正を行うことから、不要な処理を省いて信号処理を効率化することが可能となる。 In addition, since the conversion error is corrected only when the difference between the output signal value of the target pixel and the interpolation value is outside the allowable error range, that is, when the conversion error is large enough to affect the captured image, It is possible to improve the efficiency of signal processing by omitting unnecessary processing.
なお、リニアログ変換型センサのみならず、対数変換特性を有する撮像素子、線形変換特性を有する撮像素子又は変換係数が異なる複数の線形変換特性を有する撮像素子を備えた撮像装置においても、上記と同様の作用を得ることができる。 The same applies to not only the linear log conversion type sensor but also an imaging device having a logarithmic conversion characteristic, an imaging element having a linear conversion characteristic, or an imaging element having a plurality of linear conversion characteristics having different conversion coefficients. Can be obtained.
以上述べたように本発明の撮像装置及び撮像方法によれば、複数種類の光電変換特性を有する撮像素子を用いた撮像装置及び撮像方法において、撮像素子の出力信号の状態を統一化する際の変換誤差を最小限に抑制することが可能となる。 As described above, according to the imaging apparatus and imaging method of the present invention, in the imaging apparatus and imaging method using an imaging element having a plurality of types of photoelectric conversion characteristics, the state of the output signal of the imaging element is unified. Conversion errors can be minimized.
1 撮像装置
2 システム制御部
3 レンズユニット
4 絞り制御部
5 撮像素子
6 アンプ
7 ADコンバータ
8 タイミング生成部
9 変曲点制御部
10 黒基準補正部
11 線形化信号補正部
12 評価値検出部
13 画像処理部
14 AWB制御部
15 色補間部
16 色補正部
17 階調変換部
18 色空間変換部
19 垂直シフトレジスタ
20 水平シフトレジスタ
21 リニアログ変換部
22 補間値算出部
23 比較部
24 切替部
DESCRIPTION OF
Claims (28)
複数の変換特性の切換点を設定する切換点制御部と、
前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換部と、
注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正部と、
を備えることを特徴とする撮像装置。 An imaging device having a plurality of pixels that convert incident light into an electrical signal with a plurality of types of conversion characteristics;
A switching point control unit for setting switching points of a plurality of conversion characteristics;
A characteristic converter that converts the output signal of the image sensor into a state uniformly converted by one conversion characteristic;
A signal correction unit that corrects a conversion error in the vicinity of the switching point of the output signal of the pixel of interest using a corresponding region of the output signal of a neighboring pixel having a different switching point;
An imaging apparatus comprising:
複数の変換特性の切換点を設定する切換点制御工程と、
前記撮像素子の出力信号を一つの変換特性によって統一的に変換された状態に変換する特性変換工程と、
注目画素の出力信号の前記切換点近傍領域における変換誤差を、切換点の異なる近傍画素の出力信号の対応する領域を使用して補正する信号補正工程と、
を備えることを特徴とする撮像方法。 An imaging method using an imaging device having a plurality of pixels that convert incident light into an electrical signal with a plurality of types of conversion characteristics,
A switching point control step of setting switching points of a plurality of conversion characteristics;
A characteristic conversion step of converting the output signal of the image sensor into a state uniformly converted by one conversion characteristic;
A signal correction step of correcting a conversion error in the vicinity of the switching point of the output signal of the pixel of interest using a corresponding region of the output signal of a neighboring pixel having a different switching point;
An imaging method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006004743A JP4710617B2 (en) | 2006-01-12 | 2006-01-12 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006004743A JP4710617B2 (en) | 2006-01-12 | 2006-01-12 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007189405A JP2007189405A (en) | 2007-07-26 |
JP4710617B2 true JP4710617B2 (en) | 2011-06-29 |
Family
ID=38344284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006004743A Expired - Fee Related JP4710617B2 (en) | 2006-01-12 | 2006-01-12 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4710617B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5135953B2 (en) | 2007-08-28 | 2013-02-06 | コニカミノルタアドバンストレイヤー株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
JP2009188819A (en) * | 2008-02-07 | 2009-08-20 | Canon Inc | Imaging apparatus and control method thereof |
US20120092537A1 (en) * | 2009-06-15 | 2012-04-19 | Tetsuya Katagiri | Image Pickup Apparatus |
EP2445198A4 (en) * | 2009-06-15 | 2014-05-14 | Konica Minolta Opto Inc | Image pickup apparatus |
WO2017150240A1 (en) * | 2016-03-04 | 2017-09-08 | ソニー株式会社 | Solid-state image capturing element, drive method, and electronic device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
JPH10257393A (en) * | 1997-03-14 | 1998-09-25 | Minolta Co Ltd | Image-pickup device |
JP2005348005A (en) * | 2004-06-02 | 2005-12-15 | Konica Minolta Holdings Inc | Imaging apparatus, imaging system, and imaging system operation program |
JP2006203796A (en) * | 2005-01-24 | 2006-08-03 | Mitsubishi Electric Corp | Method of adjusting imaging apparatus |
-
2006
- 2006-01-12 JP JP2006004743A patent/JP4710617B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04364679A (en) * | 1991-06-12 | 1992-12-17 | Hitachi Ltd | Solid-state image pickup device |
JPH10257393A (en) * | 1997-03-14 | 1998-09-25 | Minolta Co Ltd | Image-pickup device |
JP2005348005A (en) * | 2004-06-02 | 2005-12-15 | Konica Minolta Holdings Inc | Imaging apparatus, imaging system, and imaging system operation program |
JP2006203796A (en) * | 2005-01-24 | 2006-08-03 | Mitsubishi Electric Corp | Method of adjusting imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2007189405A (en) | 2007-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101211117B1 (en) | Signal processing apparatus and signal processing method for solid-state image pickup element and image pickup apparatus | |
JP5852324B2 (en) | Imaging apparatus, control method therefor, and program | |
KR101252275B1 (en) | The signal process apparatus and method of the solid-state image pickup device and imaging device | |
US20080218598A1 (en) | Imaging method, imaging apparatus, and driving device | |
JP5871496B2 (en) | Imaging apparatus and driving method thereof | |
US8422819B2 (en) | Image processing apparatus having a noise reduction technique | |
KR20170006206A (en) | Image Sensor Having Wide Dynamic Range, Pixel Circuit Of Image Sensor and Operating Method Thereof | |
US20110102649A1 (en) | Pixel defect detection and correction device, imaging apparatus, pixel defect detection and correction method, and program | |
US20130027592A1 (en) | Solid-state imaging device | |
US9432603B2 (en) | Imaging apparatus | |
JP5012796B2 (en) | Imaging device | |
US9918033B2 (en) | Signal processing apparatus and signal processing method, and image capturing apparatus | |
JP4710617B2 (en) | Imaging apparatus and imaging method | |
JP2011166398A (en) | Image signal processing device, imaging device, image signal processing method, and program | |
CN110944126A (en) | Image sensor for correcting uneven dark current | |
JP2007174560A (en) | Signal processing apparatus | |
JP2007329655A (en) | Imaging apparatus | |
JP6733229B2 (en) | Solid-state imaging device, image reading device, and image forming device | |
JP2007036353A (en) | Image pickup device | |
JP4661168B2 (en) | Signal processing apparatus and method for solid-state imaging device, and imaging apparatus | |
JP2004128716A (en) | Solid-state imaging apparatus and image correction circuit | |
JP5588729B2 (en) | Image signal processing device | |
JP2007324998A (en) | Imaging apparatus | |
JP2007214674A (en) | Imaging apparatus | |
JP2008028634A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090106 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |