JP5277863B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5277863B2 JP5277863B2 JP2008272219A JP2008272219A JP5277863B2 JP 5277863 B2 JP5277863 B2 JP 5277863B2 JP 2008272219 A JP2008272219 A JP 2008272219A JP 2008272219 A JP2008272219 A JP 2008272219A JP 5277863 B2 JP5277863 B2 JP 5277863B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- output
- filter
- color
- saturation level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 98
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 98
- 238000006243 chemical reaction Methods 0.000 claims description 72
- 238000007906 compression Methods 0.000 claims description 44
- 230000006835 compression Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 abstract description 2
- 230000035945 sensitivity Effects 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000005457 Black-body radiation Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method such as a digital still camera and a digital video camera, and more particularly to an imaging apparatus and an imaging method that can expand a dynamic range of a captured image.
銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、CCD等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。 Compared to the dynamic range of images taken with a conventional silver salt camera using a silver salt photographic film, the dynamic range of images taken with a digital still camera or a digital video camera having a solid-state image sensor such as a CCD is extremely narrow. When the dynamic range is narrow, a phenomenon called “blackout” occurs in the dark part of the subject, and conversely, a phenomenon called “overexposure” occurs in the bright part of the subject, and the image quality deteriorates.
そこで、CCD等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている(例えば、特許文献1参照)。
ところで、ダイナミックレンジを拡大するために、前記特許文献1のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が2重にずれた画像になり、正しく画像を合成できないことがある。 By the way, in order to expand the dynamic range, in the method of performing photographing a plurality of times while changing the exposure amount as in the above-mentioned Patent Document 1, when photographing a moving object, the subject is doubled. Therefore, the image may not be synthesized correctly.
そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、1回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an imaging apparatus and an imaging method capable of expanding the dynamic range by one shooting without changing the exposure amount and performing a plurality of shootings to combine images. .
前記目的を達成するために請求項1に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、撮影時における被写体の光源色を検出する光源色検出手段と、前記光源色検出手段が検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定手段と、前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、前記特定色のフィルタが配置された画素に対してその画素の周囲の前記他の色のフィルタが配置された画素からの出力のうちのいずれかの画素出力が、該画素に対する前記所定の飽和レベル以上に達していると判定した場合に、前記特定色のフィルタが配置された画素からの出力を、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理手段と、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換手段と、を備え、前記ビット圧縮変換手段は、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。 In order to achieve the above object, according to the first aspect of the present invention, a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and the front side of each pixel is provided. An image sensor in which a plurality of color separation filters are arranged, a light source color detection unit that detects a light source color of a subject at the time of shooting, and a filter of a specific color is arranged based on the light source color detected by the light source color detection unit Saturation level setting means for setting each predetermined saturation level with respect to each output from the arranged pixels and pixels in which filters of other colors other than the specific color are arranged, and detecting an output from each pixel, The pixel output detection means for determining whether or not the detected pixel output has reached the predetermined saturation level or more, and the filter of the specific color is arranged by the pixel output detection means When it is determined that any pixel output among the outputs from the pixels in which the filters of the other colors around the pixel are arranged with respect to the element has reached the predetermined saturation level or more for the pixel to the output from the pixel in which the specific color filter is disposed, and the pixel output correcting means for correcting, based on an output from the pixel where the other color filter around is arranged in the pixel, wherein When the output of the pixel in which the filter of the specific color is arranged reaches or exceeds the predetermined saturation level, the second output from the first bit number below the predetermined saturation level is output from the pixel output correction processing means. of the number of bits once expanded data of the pixel output was, and a bit compression conversion means for compressing said first number of bits again, the bit compression conversion unit, the above predetermined saturation level Than the compression ratio for data corresponding to the pixel output in the region, it is characterized in that compressing by reducing the compression ratio for the data corresponding to the pixel output in the following said predetermined saturation level.
請求項2に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子と、撮影時における被写体の光源色を検出する光源色検出手段と、前記光源色検出手段が検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定手段と、前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力がこの画素に対する前記所定の飽和レベル以上に達していると判定した場合に、該所定の飽和レベル以上に達していると判定された前記特定色のフィルタが配置された画素からの出力に対し、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理手段と、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換手段と、を備え、前記ビット圧縮変換手段は、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。 According to the second aspect of the present invention, a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are provided on the front side of each pixel. An image sensor arranged, a light source color detection unit for detecting a light source color of a subject at the time of shooting, a pixel in which a filter of a specific color is arranged based on the light source color detected by the light source color detection unit, and the specific color Saturation level setting means for setting each predetermined saturation level for each output from a pixel in which a filter of a color other than those is arranged, and detecting the output from each pixel, and the detected pixel output is Pixel output detection means for determining whether or not a predetermined saturation level or higher is reached, and the output from the pixel in which the filter of the specific color is arranged is detected by the pixel output detection means. When it is determined that the predetermined saturation level or higher is reached, the output from the pixel in which the filter of the specific color determined to have reached the predetermined saturation level or higher is output to the pixel. Pixel output correction processing means for performing correction based on an output from a pixel in which the other color filter is disposed, and an output of the pixel in which the specific color filter is disposed reaches the predetermined saturation level or more. If the pixel output data output from the pixel output correction processing means is expanded from the first number of bits below the predetermined saturation level to the second number of bits, the first bit again and a bit compression conversion means for compressing the number of the bit compression conversion means, than the compression ratio for data corresponding to the pixel output at the predetermined saturation level or more areas, It is characterized by compressing by reducing the compression ratio for the corresponding data to the pixel output in the serial below a predetermined saturation level.
請求項3に記載の発明は、前記光源色検出手段は、前記撮像素子の全画素の受光面に対応した画面を縦横に複数に分割した領域毎における、前記特定色のフィルタ及びその周囲の前記他の色のフィルタが配置された各画素からの出力値の比率に応じて、撮影時での被写体の光源色を決定することを特徴としている。 According to a third aspect of the present invention, the light source color detection means includes the filter of the specific color and the surroundings in each of the regions obtained by dividing the screen corresponding to the light receiving surfaces of all the pixels of the image sensor into a plurality of vertical and horizontal areas. It is characterized in that the light source color of the subject at the time of photographing is determined according to the ratio of the output values from each pixel in which filters of other colors are arranged.
請求項4に記載の発明は、撮影時の光源に応じてホワイトバランスを合わせるための補正係数を算出する補正係数算出手段をさらに備え、前記補正係数算出手段は、前記特定色のフィルタ及びその周囲の前記他の色のフィルタが配置された各画素から出力される出力値の比率に基づいて前記補正係数を算出することを特徴としている。 The invention according to claim 4 further includes correction coefficient calculation means for calculating a correction coefficient for adjusting white balance according to a light source at the time of shooting, wherein the correction coefficient calculation means includes the filter of the specific color and its surroundings. The correction coefficient is calculated based on a ratio of output values output from the pixels in which the other color filters are arranged.
請求項5に記載の発明は、色温度の異なる複数の光源色に対応して、前記特定色のフィルタ及びその周囲の前記他の色のフィルタが配置された各画素からの画素出力比率を複数保存した画素出力比率保存手段をさらに備え、前記飽和レベル設定手段は、前記光源色検出手段が検出した光源色と前記画素出力比率保存手段に保存されている画素出力比率に基づいて前記各所定の飽和レベルを設定することを特徴としている。 According to a fifth aspect of the present invention, a plurality of pixel output ratios from each pixel in which the filter of the specific color and the filters of the other colors around it are arranged corresponding to a plurality of light source colors having different color temperatures. The pixel output ratio storage means further includes a saturation level setting means, wherein the saturation level setting means is configured to determine each of the predetermined levels based on a light source color detected by the light source color detection means and a pixel output ratio stored in the pixel output ratio storage means. It is characterized by setting a saturation level.
請求項6に記載の発明は、前記画素出力検出手段が各画素の出力を検出処理する際の処理単位内に、少なくとも2つ以上の同色のフィルタが配置された画素を有する場合、前記画素出力検出手段は、前記複数の同色のフィルタが配置された各画素の出力の平均値を算出し、算出した平均値を前記処理単位での画素出力値とすることを特徴としている。 According to a sixth aspect of the present invention, when the pixel output detection means has a pixel in which at least two or more filters of the same color are arranged in a processing unit when the output of each pixel is detected, the pixel output The detecting means calculates an average value of outputs of the pixels in which the plurality of filters of the same color are arranged, and uses the calculated average value as a pixel output value in the processing unit.
請求項7に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、撮影時における被写体の光源色を検出する光源色検出ステップと、前記光源色検出ステップが検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定ステップと、前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出ステップと、前記画素出力検出ステップにより、前記特定色のフィルタが配置された画素に対してその画素の周囲の前記他の色のフィルタが配置された画素からの出力のうちのいずれかの画素出力が、該画素に対する前記所定の飽和レベル以上に達していると判定した場合に、前記特定色のフィルタが配置された画素からの出力を、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理ステップと、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理ステップから出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換ステップと、を含み、前記ビット圧縮変換ステップは、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。 According to the seventh aspect of the present invention, a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electric signal, and a plurality of color separation filters are provided on the front side of each pixel. In an imaging method of an imaging device including an image sensor arranged, a light source color detection step for detecting a light source color of a subject at the time of shooting, and a filter of a specific color based on the light source color detected by the light source color detection step A saturation level setting step for setting each predetermined saturation level for each output from the arranged pixel and a pixel in which a filter of a color other than the specific color is arranged; and detecting an output from each pixel A pixel output detection step for determining whether or not the detected pixel output has reached or exceeded each of the predetermined saturation levels, and the pixel output detection step, One of the outputs from the pixels where the other color filters around the pixel where the constant color filter is arranged is equal to or higher than the predetermined saturation level for the pixel When it is determined that the pixel has reached the pixel, the output from the pixel in which the filter of the specific color is arranged is corrected based on the output from the pixel in which the filter of another color around the pixel is arranged A pixel output correction processing step, and when the output of the pixel in which the filter of the specific color is arranged reaches or exceeds the predetermined saturation level, the pixel output correction processing step outputs the pixel output correction processing step or less. once expanded data of the pixel output was the first number of bits to the second number of bits, saw including a bit compression conversion step of compressing again the number of the first bit, and the bit Condensation conversion step, than the compression ratio for data corresponding to the pixel output at the predetermined saturation level or more areas, compressing by reducing the compression ratio for the data corresponding to the pixel output in the following said predetermined saturation level It is a feature.
請求項8に記載の発明は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、撮影時における被写体の光源色を検出する光源色検出ステップと、前記光源色検出ステップが検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定ステップと、前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出ステップと、前記画素出力検出ステップにより、前記特定色のフィルタが配置された画素からの出力がこの画素に対する前記所定の飽和レベル以上に達していると判定した場合に、該所定の飽和レベル以上に達していると判定された前記特定色のフィルタが配置された画素からの出力に対し、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理ステップと、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理ステップから出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換ステップと、を含み、前記ビット圧縮変換ステップは、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
According to an eighth aspect of the present invention, a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are provided on the front side of each pixel. In an imaging method of an imaging device including an image sensor arranged, a light source color detection step for detecting a light source color of a subject at the time of shooting, and a filter of a specific color based on the light source color detected by the light source color detection step A saturation level setting step for setting each predetermined saturation level for each output from the arranged pixel and a pixel in which a filter of a color other than the specific color is arranged; and detecting an output from each pixel A pixel output detection step for determining whether or not the detected pixel output has reached or exceeded each of the predetermined saturation levels, and the pixel output detection step, When it is determined that the output from the pixel in which the constant color filter is arranged has reached the predetermined saturation level or higher for the pixel, the specific color determined to have reached the predetermined saturation level or higher is determined. A pixel output correction processing step for correcting an output from a pixel in which a filter is arranged based on an output from a pixel in which the other color filter around the pixel is arranged; and the filter of the specific color When the output of the arranged pixel reaches the predetermined saturation level or more, the pixel output correction processing step outputs the first bit number below the predetermined saturation level to the second bit number once. the enhanced pixel output of data, viewed contains a bit compression conversion step of compressing again the number of the first bit, and the bit compression conversion step, the predetermined saturation les Than the compression ratio for data corresponding to the pixel output at Le more areas, it is characterized in that compressing by reducing the compression ratio for the data corresponding to the pixel output in the following said predetermined saturation level.
本発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達しているときに、その画素の周囲の他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を予測補間するように補正してダイナミックレンジを拡大することにより、特殊なセンサを用いることなく、または露光量を変え複数回の撮影を行って画像を合成することなく、1回の撮影によってダイナミックレンジを拡大することができる。 According to the present invention, when the output from the pixel in which the filter of the specific color is arranged reaches or exceeds a predetermined saturation level, the output from the pixel in which another color filter around the pixel is arranged is output. Based on this, the pixel output in the region above the saturation level is corrected to predictively interpolate, and the dynamic range is expanded to synthesize images without using a special sensor or by taking multiple shots with different exposures. Without this, the dynamic range can be expanded by a single shooting.
更に、撮影環境の光源色に合わせて飽和の判定レベルを変更することで、特定色のフィルタが配置された画素および他の色のフィルタが配置された画素からの各出力バランスが補正前と大きくずれることを防止することができるので、色相(色合い)のずれによる違和感を軽減することができる。 Furthermore, by changing the saturation determination level according to the light source color of the shooting environment, the output balance from the pixels where the filter of the specific color is arranged and the pixels where the filter of the other color is arranged is larger than before the correction. Since it is possible to prevent the shift, a sense of incongruity due to a shift in hue (hue) can be reduced.
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態1〉
図1(a)は、本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ」という)を示す正面図、図1(b)は、その上面図、図1(c)は、その背面図、図2は、図1(a),(b),(c)に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
Hereinafter, the present invention will be described based on the illustrated embodiments.
<Embodiment 1>
FIG. 1A is a front view showing a digital still camera (hereinafter referred to as “digital camera”) as an example of an imaging apparatus according to Embodiment 1 of the present invention, and FIG. 1 (c) is a rear view thereof, and FIG. 2 is a block diagram showing an outline of a system configuration in the digital camera shown in FIGS. 1 (a), (b), and (c).
(デジタルカメラの外観構成)
図1(a),(b),(c)に示すように、本実施形態に係るデジタルカメラ1の上面側には、レリーズボタン(シャッタボタン)2、電源ボタン3、撮影・再生切替ダイアル4が設けられており、デジタルカメラ1の正面(前面)側には、撮影レンズ系5を有する鏡胴ユニット6、ストロボ発光部(フラッシュ)7、光学ファインダ8が設けられている。
(Appearance structure of digital camera)
As shown in FIGS. 1A, 1B, and 1C, a release button (shutter button) 2, a
デジタルカメラ1の背面側には、液晶モニタ(LCD)9、前記光学ファインダ8の接眼レンズ部8a、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等が設けられている。また、デジタルカメラ1の側面内部には、撮影した画像データを保存するためのメモリカード14(図2参照)を収納するメモリカード収納部15が設けられている。
On the back side of the digital camera 1, there are a liquid crystal monitor (LCD) 9, an
(デジタルカメラのシステム構成)
図2に示すように、このデジタルカメラ1は、鏡胴ユニット6の撮影レンズ系5を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD20、CCD20から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するアナログフロントエンド部(以下、「AFE部」という)21、AFE部21から出力されるデジタル信号を処理する信号処理部22、データを一時的に格納するSDRAM23、制御プログラム等が記憶されたROM24、鏡胴ユニット6を駆動するモータドライバ25等を有している。
(Digital camera system configuration)
As shown in FIG. 2, the digital camera 1 includes a
鏡胴ユニット6は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系5、絞りユニット26、メカシャッタユニット27を備えており、撮影レンズ系5、絞りユニット26、メカシャッタユニット27の各駆動ユニットは、モータドライバ25によって駆動される。モータドライバ25は、信号処理部22の制御部(CPU)28からの駆動信号により駆動制御される。
The
CCD20は、図3に示すように、CCD20を構成する複数の画素20a上にベイヤ配列のRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されており、各画素からRGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。
As shown in FIG. 3, the
AFE部21は、CCD20を駆動するTG(タイミング信号発生部)30、CCD20から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)31、CDS31にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)32、AGC32でゲイン調整された信号をデジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部33を備えている。
The
信号処理部22は、AFE部21のTG30へ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行い、これらの同期信号に合わせて、AFE部21のA/D変換部33から出力されるRAW−RGBデータを取り込むCCDインターフェース(以下、「CCDI/F」という)34と、SDRAM23を制御するメモリコントローラ35と、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部36と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部37と、画像データの表示出力を制御する表示出力制御部38と、画像データをJPEG形成などで記録するためのデータ圧縮部39と、画像データをメモリカード14へ書き込み、又はメモリカード14に書き込まれた画像データを読み出すメディアインターフェース(以下、「メディアI/F」という)40と、操作部41からの操作入力情報に基づき、ROM24に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う制御部(CPU)28を備えている。
The
操作部41は、デジタルカメラ1(図1(a),(b),(c)参照)の外観表面に設けられているレリーズボタン2、電源ボタン3、撮影・再生切替ダイアル4、広角側ズームスイッチ10、望遠側ズームスイッチ11、メニューボタン12、確定ボタン13等であり、撮影者の操作によって所定の動作指示信号が制御部28に入力される。
The
SDRAM23には、CCDI/F34に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部36で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮部39で圧縮処理されたJPEG形成などの画像データが保存される。
The
なお、前記YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)成分データの差分(U)と、輝度データと赤色(R)成分データの差分(V))の情報で色を表現する形式である。 Note that YUV of the YUV data is luminance data (Y), color difference (difference (U) between luminance data and blue (B) component data, and difference (V) between luminance data and red (R) component data). It is a format that expresses color with information.
(デジタルカメラのモニタリング動作、静止画撮影動作)
次に、前記したデジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
(Digital camera monitoring and still image shooting)
Next, the monitoring operation and still image shooting operation of the digital camera 1 will be described. In the still image shooting mode, the digital camera 1 performs a still image shooting operation while executing a monitoring operation as described below.
先ず、撮影者が電源ボタン3をONし、撮影・再生切替ダイアル4を撮影モードに設定することで、デジタルカメラ1が記録モードで起動する。電源ボタン3がONされて、撮影・再生切替ダイアル4が撮影モードに設定されたことを制御部28が検知すると、制御部28はモータドライバ25に制御信号を出力して、鏡胴ユニット6を撮影可能位置に移動させ、かつ、CCD20、AFE部21、信号処理部22、SDRAM23、ROM24、液晶モニタ9等を起動させる。
First, when the photographer turns on the
そして、鏡胴ユニット6の撮影レンズ系5を被写体に向けることにより、撮影レンズ系5を通して入射される被写体画像がCCD20の各画素の受光面上に結像する。そして、CCD20から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS31、AGC32を介してA/D変換部33に入力され、A/D変換部33により12ビット(bit)のRAW−RGBデータに変換する。
Then, by directing the
このRAW−RGBデータは、信号処理部22のCCDI/F34に取り込まれてメモリコントローラ35を介してSDRAM23に保存される。そして、SDRAM23から読み出されたRAW−RGBデータは、YUV変換部36で表示可能な形式であるYUVデータ(YUV信号)に変換された後に、メモリコントローラ35を介してSDRAM23にYUVデータが保存される。
This RAW-RGB data is taken into the CCD I /
そして、SDRAM23からメモリコントローラ35を介して読み出したYUVデータは、表示出力制御部38を介して液晶モニタ(LCD)9へ送られ、撮影画像が表示される。前記した液晶モニタ(LCD)9に撮影画像を表示しているモニタリング時においては、CCDI/F34による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。
The YUV data read from the
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)9に撮影画像が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。
In this monitoring operation, the photographed image is only displayed on the liquid crystal monitor (LCD) 9 functioning as an electronic viewfinder, and the
この撮影画像の液晶モニタ(LCD)9への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部38からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像を表示することもできる。
The photographer can confirm the photographed image by displaying the photographed image on the liquid crystal monitor (LCD) 9. In addition, it can output as a TV video signal from the display
そして、信号処理部22のCCDI/F34は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
The CCD I /
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系5内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。
The AF evaluation value is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By utilizing this, at the time of AF operation (at the time of focus detection operation), an AF evaluation value at each focus lens position in the photographing
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD20の全画素の受光面に対応した画面を1024エリアに等分割(水平32分割、垂直32分割)し、それぞれのエリアのRGB積算を算出する。
The AE evaluation value and the AWB evaluation value are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the screen corresponding to the light receiving surfaces of all the pixels of the
そして、制御部28は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCD20の電子シャッタ回数、絞りユニット26の絞り値等)を設定する。また、AWB処理では、RGBの分布から被写体色や光源色を判定し、光源色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部36でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前記したAE処理とAWB処理は、前記モニタリング動作時には連続的に行われている。
Then, the
そして、前記したモニタリング動作時に、レリーズボタン2が押圧(半押しから全押し)操作されて静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
When the
即ち、レリーズボタン2が押圧(半押しから全押し)操作されると、制御部28からモータドライバ25への駆動指令により撮影レンズ系5のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。
That is, when the
AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系5のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F34で算出されている各フォーカス位置における前記AF評価値を制御部28が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
When the AF (focusing) target range is the entire region from infinity to close, the focus lens of the photographing
そして、前記したAE処理が行われ、露光完了時点で、制御部28からモータドライバ25への駆動指令により開口していたメカシャッタユニット27が閉じられ、CCD20から静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、AFE部21のA/D変換部33によりRAW−RGBデータに変換される。
Then, when the AE process described above is performed and the exposure is completed, the
そして、このRAW−RGBデータは、信号処理部22のCCDI/F34に取り込まれ、後述するYUV変換部36でYUVデータに変換されて、メモリコントローラ35を介してSDRAM23に保存される。そして、このYUVデータはSDRAM23から読み出されて、リサイズ処理部37で記録画素数に対応するサイズに変換され、データ圧縮部39でJPEG形式等の画像データへと圧縮される。
The RAW-RGB data is taken into the CCD I /
圧縮されたJPEG形式等の画像データは、SDRAM23に書き戻された後にメモリコントローラ35を介してSDRAM23から読み出され、メディアI/F40を介してメモリカード14に保存される。
The compressed image data such as JPEG format is written back to the
(本発明におけるダイナミックレンジの拡大原理)
デジタルカメラ1のCCD20を構成する各画素上には、ベイヤ配列のRGBフィルタ(図3参照)が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のRGBフィルタは各色毎に輝度に対する感度が異なっている。
(Principle of dynamic range expansion in the present invention)
A Bayer-arranged RGB filter (see FIG. 3) is arranged on each pixel constituting the
例えば、図4に示すように、G(グリーン)フィルタの画素感度が、R(レッド)フィルタ、B(ブルー)フィルタの2倍程度の画素感度を有するRGBフィルタ(図4のa、b、c)を有するCCD20の場合、太陽光のように広い波長帯域を持つ光が同じだけRGBフィルタに入射したときに、R、Bフィルタの各画素出力に対してGフィルタ(図4のcの斜線部分)の画素出力の方が先に飽和レベルAに達してしまう。なお、図4において、fはGフィルタの画素感度特性、gはR、Bフィルタの各画素感度特性であり、Gフィルタの画素感度特性は、R、Bフィルタの各画素感度特性の2倍程度の感度を有している。
For example, as shown in FIG. 4, an RGB filter (a, b, c in FIG. 4) has a pixel sensitivity of a G (green) filter that is about twice that of an R (red) filter and a B (blue) filter. In the case of a
ところで、RGBフィルタが配置されたCCDなどの固体撮像素子を有する従来のデジタルカメラでは、図4のa、b、cのRGBフィルタのように、感度の高いGフィルタの画素出力に応じた飽和レベルAに合わせてダイナミックレンジの範囲を設定している。このため、Gフィルタの画素出力が飽和レベルAに達している場合でも、R、Bフィルタの画素出力は飽和レベルAの1/2程度である。 By the way, in a conventional digital camera having a solid-state imaging device such as a CCD in which an RGB filter is arranged, a saturation level corresponding to the pixel output of a high-sensitivity G filter, such as the RGB filters of a, b, and c in FIG. The dynamic range is set according to A. For this reason, even when the pixel output of the G filter reaches the saturation level A, the pixel output of the R and B filters is about ½ of the saturation level A.
これに対して、本発明では、図4のd、eのRGBフィルタのように、Gフィルタの画素出力が飽和レベルAを超えていても、R、Bフィルタの各画素出力が飽和レベルAを超えていない範囲内にあるときに、R、Bフィルタの各画素出力レベルから、R、Bフィルタの各画素感度特性(図4のg)とGフィルタの画素感度特性(図4のf)とに基づいてGフィルタの画素出力レベルを予測補間(一点鎖線部分)するように補正し、この予測補間(補正)した分だけダイナミックレンジを拡大するようにした。 On the other hand, in the present invention, even if the pixel output of the G filter exceeds the saturation level A, as in the RGB filters of d and e in FIG. From within the pixel output levels of the R and B filters, the pixel sensitivity characteristics of the R and B filters (g in FIG. 4) and the pixel sensitivity characteristics of the G filter (f in FIG. 4) Based on this, the pixel output level of the G filter is corrected so as to perform prediction interpolation (dotted line portion), and the dynamic range is expanded by this prediction interpolation (correction).
前記したように本実施形態では、太陽光のように広い波長帯域を持つ光に対して、Gフィルタの画素感度特性は、R、Bフィルタの各画素感度特性の2倍程度の感度を有している。よって、本実施形態におけるダイナミックレンジの拡大度合の最大値は、ダイナミックレンジの拡大処理動作を行わない通常の撮影動作時に対して2倍程度である。 As described above, in the present embodiment, the pixel sensitivity characteristic of the G filter has a sensitivity about twice that of each pixel sensitivity characteristic of the R and B filters with respect to light having a wide wavelength band such as sunlight. ing. Therefore, the maximum value of the dynamic range expansion degree in the present embodiment is about twice that of a normal photographing operation in which the dynamic range expansion processing operation is not performed.
なお、本実施形態では、Gフィルタの画素感度特性がR、Bフィルタの各画素感度特性の2倍程度の感度を有し、これに基づいてダイナミックレンジの拡大度合の最大値が2倍としたが、RGBフィルタの各画素感度特性を変化させることにより、ダイナミックレンジの拡大度合の最大値を2倍以上の所定値、あるいは2倍以下の所定値に設定することができる。 In this embodiment, the pixel sensitivity characteristic of the G filter has a sensitivity that is about twice that of the pixel sensitivity characteristics of the R and B filters, and based on this, the maximum value of the degree of expansion of the dynamic range is doubled. However, by changing the pixel sensitivity characteristics of the RGB filter, the maximum value of the degree of expansion of the dynamic range can be set to a predetermined value of 2 times or more, or a predetermined value of 2 times or less.
(YUV変換部36によるダイナミックレンジ拡大処理)
本実施形態に係るデジタルカメラ1のYUV変換部36は、前記したダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。
(Dynamic range expansion processing by the YUV converter 36)
The
図5に示すように、YUV変換部36は、後述するダイナミックレンジ拡大予測補間部(以下、「Dレンジ拡大予測補間部」という)50、ビット圧縮変換部51、ホワイトバランス制御部52、同時化部53、トーン変換部54、RGB−YUV変換部55、画像サイズコンバータ部56、輝度ヒストグラム生成部57、およびエッジエンハンス部58を備えている。
As shown in FIG. 5, the
図6に示すように、Dレンジ拡大予測補間部50は、画素出力検出部60、画素出力補正処理部61、およびビット拡張処理部62を備えている。
As illustrated in FIG. 6, the D range expansion
画素出力検出部60は、入力されるRAW−RGBデータからRGBフィルタを設けた各画素の画素出力を検出するとともに、感度が一番高いGフィルタを設けた画素の画素出力(以下、「Gフィルタの画素出力」という)が所定の飽和レベル以上に達したか否かを判定する。
The pixel
画素出力補正処理部61は、画素出力検出部60でGフィルタの画素出力が所定の飽和レベル以上に達したと判定した場合に、そのGフィルタが配置された画素周囲のR、Bフィルタを設けた画素の画素出力(以下、「R、Bフィルタの画素出力」という)によって所定の飽和レベル以上に達しているGフィルタの画素出力の補正(予測補間)処理を行う(詳細は後述する)。
When the pixel
ビット拡張処理部62は、画素出力検出部60でGフィルタの画素出力が飽和レベルに達していないと判定された場合に、Gフィルタの画素出力、およびR、Bフィルタの画素出力に対して、出力レベルの補正を行うことなく12ビットから14ビットにそれぞれビット拡張のみを行う。
When the pixel
以下、本実施形態におけるダイナミックレンジの拡大処理動作について説明する。 The dynamic range expansion processing operation in this embodiment will be described below.
前記したモニタリング動作時において、例えば撮影したい被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニューボタン12(図1(C)参照)を押圧操作することにより、例えば、図7に示すような撮影設定画面が液晶モニタ(LCD)9に表示される。 During the monitoring operation described above, for example, when there is an extremely bright part of the background of the subject to be photographed, the menu button 12 (see FIG. 1C) is pressed by the photographer's judgment, For example, a shooting setting screen as shown in FIG. 7 is displayed on the liquid crystal monitor (LCD) 9.
そして、この表示画面から「ダイナミックレンジ拡大」の項目で「ON」を選択することにより、制御部28からYUV変換部36へ制御信号が出力され、ダイナミックレンジを拡大する処理動作が実行される。
Then, by selecting “ON” in the “dynamic range expansion” item from this display screen, a control signal is output from the
なお、本実施形態では、前記したようにGフィルタの画素感度特性が、R、Bフィルタの各画素感度特性の2倍程度の感度を有していることを前提としている。しかしながら、撮影時における被写体の光源色が変化すると、Gフィルタの画素感度に対するR、Bフィルタの各画素感度の比率が変化してしまう。例えば、極端に赤い光源下や青い光源下では、Gフィルタの画素感度よりもRやBフィルタの画素感度の方が飽和してしまう場合がある。このような状況下で、ダイナミックレンジの拡大処理を行うと正確な階調および色再現が得られないので、このような場合には撮影者の判断により、前記した「ダイナミックレンジ拡大」の項目で「ON」を選択しないようにする。 In the present embodiment, as described above, it is assumed that the pixel sensitivity characteristics of the G filter have sensitivity that is about twice as high as the pixel sensitivity characteristics of the R and B filters. However, if the light source color of the subject at the time of shooting changes, the ratio of the pixel sensitivity of the R and B filters to the pixel sensitivity of the G filter changes. For example, under extremely red or blue light sources, the pixel sensitivity of the R and B filters may be saturated more than the pixel sensitivity of the G filter. Under such circumstances, if dynamic range expansion processing is performed, accurate gradation and color reproduction cannot be obtained. In such a case, according to the photographer's judgment, the item “dynamic range expansion” described above is used. Do not select “ON”.
そして、SDRAM23から読み出した前記RAW−RGBデータが、Dレンジ拡大予測補間部50の画素出力検出部60に入力される。
The RAW-RGB data read from the
画素出力検出部60は、入力されるRAW−RGBデータからRGBフィルタを設けた各画素の画素出力を検出するとともに、Gフィルタを設けた画素の画素出力(以下、「Gフィルタの画素出力」という)およびその周辺のR、Bフィルタを設けた画素の画素出力(以下、「R、Bフィルタの画素出力」という)のそれぞれの出力が、予め設定されている所定の飽和レベル以上に達しているかを判定する。更に、画素出力検出部60は、Gフィルタの画素出力およびR、Bフィルタの画素出力のいずれかが所定の飽和レベル以上に達している場合に、Gフィルタの画素出力の補正(予測補間)を行うための後述する補正係数を算出する。
The pixel
画素出力補正処理部61は、画素出力検出部60で算出された補正係数をGフィルタの画素出力に乗算することによって、Gフィルタの画素出力の補正処理を行う。
The pixel output
画素出力検出部60でGフィルタの画素出力の補正係数を算出する際において、本実施形態では、RGBフィルタを有するCCD20の各画素に対して、図3に示したように、太枠A内の2×2画素(2つのGフィルタの画素、1つずつのR、Bフィルタの画素)を処理単位(最小単位)とする。Gフィルタの画素出力の補正係数(K)、補正処理後のGフィルタの画素出力(Ge)、は、それぞれ下記の式(1)、式(2)から算出される。
When the pixel
K={l×f(Ro)+m×f(Go)+n×f(Bo)}/3 …式(1)
Ge=K×Go …式(2)
ただし、l、m、nはRGBの各フィルタの比率から設定される係数、Goは補正処理前のGフィルタの画素出力である。また、f(Ro)、f(Go)、f(Bo)は、下記の数1(式(3)〜式(5))で設定される係数である。
K = {l * f (Ro) + m * f (Go) + n * f (Bo)} / 3 Formula (1)
Ge = K × Go (2)
Here, l, m, and n are coefficients set from the ratios of the RGB filters, and Go is the pixel output of the G filter before correction processing. Further, f (Ro), f (Go), and f (Bo) are coefficients set by the following equation 1 (Equation (3) to Equation (5)).
ただし、RoはRフィルタの画素出力、TRはRフィルタの画素出力の飽和判定レベル、Goは補正処理前のGフィルタの画素出力、TGはGフィルタの画素出力の飽和判定レベル、BoはBフィルタの画素出力、TBはBフィルタの画素出力の飽和判定レベルである。 Where Ro is the pixel output of the R filter, TR is the saturation judgment level of the pixel output of the R filter, Go is the pixel output of the G filter before correction processing, TG is the saturation judgment level of the pixel output of the G filter, and Bo is the B filter The pixel output TB is a saturation judgment level of the B filter pixel output.
前記式(3)〜式(5)における各飽和判定レベルTR、TG、TBは、例えば、図8に示したある光源下におけるRGBフィルタの各画素出力に対する所定の飽和判定レベルに相当する。なお、図8において、A(TG)はGフィルタの画素出力の飽和レベル(飽和判定レベル)、TRはRフィルタの画素出力の飽和判定レベル、TBはBフィルタの画素出力の飽和判定レベルである。 The saturation determination levels TR, TG, and TB in the equations (3) to (5) correspond to, for example, predetermined saturation determination levels for each pixel output of the RGB filter under a certain light source shown in FIG. In FIG. 8, A (TG) is the saturation level (saturation determination level) of the pixel output of the G filter, TR is the saturation determination level of the pixel output of the R filter, and TB is the saturation determination level of the pixel output of the B filter. .
図8に示すように、この光源下においては、前記したようにGフィルタを設けた画素の感度が、R、Bフィルタを設けた各画素の感度の2倍となっているため、Gフィルタの画素出力が最初に飽和点に達する。そのため、飽和点に達した画素出力値を、Gフィルタの画素出力の飽和判定レベルTGとした。よって、R、Bフィルタの各画素出力の飽和判定レベルTB、TGは、前記TGの1/2の値となる。なお、TR、TG、TBは、撮像装置(デジタルカメラなど)に用いられるRGBフィルタを有する固体撮像素子(CCDなど)自体の特性(感度比)と光源の色温度に依存し、図8に示したような比率に限定されるものではない。 As shown in FIG. 8, under this light source, the sensitivity of the pixel provided with the G filter is twice the sensitivity of each pixel provided with the R and B filters as described above. The pixel output first reaches the saturation point. For this reason, the pixel output value that has reached the saturation point is set as the saturation determination level TG of the pixel output of the G filter. Therefore, the saturation determination levels TB and TG of the pixel outputs of the R and B filters are ½ of the TG. Note that TR, TG, and TB depend on the characteristics (sensitivity ratio) of the solid-state imaging device (CCD and the like) having an RGB filter used in the imaging device (digital camera and the like) and the color temperature of the light source, and are shown in FIG. It is not limited to such a ratio.
RGBフィルタの各画素出力の感度比が、図8に示したような場合、前記式(1)における係数l、nをそれぞれ3/2、mを0とすることで、Gフィルタの画素出力の補正係数(K)が算出される。そして、この補正係数(K)により前記式(2)から算出された補正後のGフィルタの画素出力(Ge)の値は、処理単位(図3参照)内にある2つのGフィルタの画素出力値として置き換えられる。 When the sensitivity ratio of each pixel output of the RGB filter is as shown in FIG. 8, the coefficients l and n in the above equation (1) are 3/2 and m is 0, respectively. A correction coefficient (K) is calculated. Then, the corrected pixel output (Ge) value of the G filter calculated from the equation (2) using the correction coefficient (K) is the pixel output of the two G filters in the processing unit (see FIG. 3). Replaced as a value.
なお、このGフィルタの画素出力値は12ビットを超えたデータになるため、ここでは一度14ビットのデータに置き換える。よって、R、Bフィルタの各画素出力の最大値はいずれも4095(12ビット)なので、Gフィルタの画素出力の最大値は8190となり、14ビットのデータとして扱うことができる。 Since the pixel output value of the G filter exceeds 12 bits, it is replaced with 14-bit data here. Therefore, since the maximum value of each pixel output of the R and B filters is 4095 (12 bits), the maximum value of the pixel output of the G filter is 8190 and can be handled as 14-bit data.
ところで、画素出力検出部60でGフィルタの画素出力の補正係数を算出する前に、欠陥画素の補正が完了している必要がある。即ち、RGBフィルタを設けた各画素中に欠陥画素があり、常に飽和する値を出力する画素があった場合、前記補正係数は大きな値になってしまい、結果として補正後のGフィルタの画素出力を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。このため、本実施形態では、CCDI/F34に欠陥画素の出力を取り除く欠陥画素出力除去処理部(不図示)を備えている。
By the way, before the pixel
また、前記式(3)〜式(5)において、RGBフィルタの各画素出力が所定の飽和判定レベル(TR、TG、TB)以下の場合は“1”を設定しているが、これは補正後のGフィルタの画素出力(Ge)の値が、補正前のGフィルタの画素出力(Go)よりも小さくならないようにするためである。 In the above formulas (3) to (5), when each pixel output of the RGB filter is equal to or lower than a predetermined saturation determination level (TR, TG, TB), “1” is set. This is to prevent the pixel output (Ge) value of the subsequent G filter from becoming smaller than the pixel output (Go) of the G filter before correction.
例えば、図9(a)に示すように、前記処理単位(図3参照)内にあるGフィルタの画素出力が飽和レベルA以上に達していて、その周囲のR、Bフィルタの各画素出力もある程度高い(Gフィルタの画素出力に対する飽和レベルA以下)場合には、図9(b)に示すように、前記式(1)〜式(5)に基づいて、Gフィルタの画素出力を飽和レベルA以上に拡大するように補正して、ダイナミックレンジを拡大することができる。 For example, as shown in FIG. 9A, the pixel output of the G filter in the processing unit (see FIG. 3) has reached the saturation level A or higher, and the pixel outputs of the surrounding R and B filters are also When it is high to some extent (saturation level A or less with respect to the pixel output of the G filter), as shown in FIG. 9B, the pixel output of the G filter is set to the saturation level based on the equations (1) to (5). It is possible to expand the dynamic range by correcting so as to expand beyond A.
しかしながら、例えば、図10(a)に示すように、前記処理単位(図3参照)内にあるGフィルタの画素出力が飽和レベルA以上に達しているときでも、その周囲のR、Bフィルタの各画素出力がGフィルタの画素出力に対して極端に小さい場合がある。この場合に、前記式(3)〜式(5)において、RGBフィルタの各画素出力が所定の飽和判定レベル(TR、TG、TB)よりも小さいときに“1”を入れるという判定が入っていなかった場合、Gフィルタの画素出力を補正すると、図10(b)に示すように、その周囲の画素出力が極端に小さいR、Bフィルタの影響により、Gフィルタの画素出力が逆に飽和レベルA以下に縮小される不具合が生じる。 However, for example, as shown in FIG. 10A, even when the pixel output of the G filter in the processing unit (see FIG. 3) reaches the saturation level A or higher, the surrounding R and B filters Each pixel output may be extremely small relative to the pixel output of the G filter. In this case, in the formulas (3) to (5), the determination is made that “1” is set when each pixel output of the RGB filter is smaller than a predetermined saturation determination level (TR, TG, TB). If the pixel output of the G filter is not corrected, the pixel output of the G filter is reversed to the saturation level due to the influence of the R and B filters whose surrounding pixel outputs are extremely small as shown in FIG. A problem of being reduced to A or less occurs.
そこで、前記式(3)〜式(5)のように、所定の飽和判定レベル(TR、TG、TB)との比較を行うことで、演算結果が図9(b)のように、元のGフィルタの画素出力の値よりも大きくなる場合のみ、ダイナミックレンジ拡大の補正が行われるようにしている。なお、図9(a)、(b)および図10(a)、(b)において、A(TG)はGフィルタの画素出力の飽和レベル(飽和判定レベル)、TRはRフィルタの画素出力の飽和判定レベル、TBはBフィルタの画素出力の飽和判定レベルである。 Therefore, by performing comparison with predetermined saturation determination levels (TR, TG, TB) as in the above formulas (3) to (5), the calculation result is as shown in FIG. 9B. Only when the pixel output value of the G filter is larger, the dynamic range expansion is corrected. In FIGS. 9A and 9B and FIGS. 10A and 10B, A (TG) is the saturation level (saturation determination level) of the pixel output of the G filter, and TR is the pixel output of the R filter. The saturation determination level TB is the saturation determination level of the B filter pixel output.
このように、Gフィルタの画素出力が飽和レベルA以上に達しているときでも、その周囲のR、Bフィルタの各画素出力がGフィルタの画素出力に対して極端に小さい場合には、Gフィルタの画素出力に対する補正処理が中止されることにより、Gフィルタの画素出力が下げられて、色ずれが生じることを防止することができる。 In this way, even when the pixel output of the G filter reaches the saturation level A or higher, if the pixel outputs of the surrounding R and B filters are extremely small relative to the pixel output of the G filter, the G filter By canceling the correction process for the pixel output, the pixel output of the G filter can be lowered and color misregistration can be prevented.
ここで、前記した所定の飽和判定レベル(TR、TG、TB)の設定方法について説明する。 Here, a method for setting the predetermined saturation determination levels (TR, TG, TB) will be described.
図11は、光源の色を表す単位である色温度(2000K(ケルビン)以下〜9000K(ケルビン)以上)の違いに対するRGBフィルタの各画素出力の比率の一例を示した特性図である。図11から明らかなように、Gフィルタの画素出力は色温度が変化しても殆ど変化しないが、Rフィルタの画素出力は色温度が低い(赤っぽい光源)ほど大きくなり、Bフィルタの画素出力は色温度が高い(青っぽい光源)ほど大きくなる。 FIG. 11 is a characteristic diagram showing an example of a ratio of each pixel output of the RGB filter with respect to a difference in color temperature (2000K (Kelvin) or lower to 9000K (Kelvin) or higher), which is a unit representing the color of the light source. As apparent from FIG. 11, the pixel output of the G filter hardly changes even when the color temperature changes, but the pixel output of the R filter increases as the color temperature decreases (red light source), and the pixel of the B filter The output increases as the color temperature increases (blue light source).
前述のように、RGBフィルタの各画素出力値の比率は、固体撮像素子(CCDなど)自体の特性と光源の色温度に依存している。そこで、デジタルカメラ1に前記RGBフィルタが配置されたCCD20を組み込む際に、このRGBフィルタが配置されたCCD20に応じた図11のような異なる色温度に対するRGBフィルタの各画素出力値の比率関係を示したテーブル(以下、「RGB出力比率テーブル」という)が、ROM24に保存されている。
As described above, the ratio of the pixel output values of the RGB filter depends on the characteristics of the solid-state imaging device (CCD or the like) itself and the color temperature of the light source. Therefore, when the
そして、制御部28は、CCDI/F34から取得したAWB評価値であるRGBの分布から被写体の光源の色温度を決定した後、ROM24から前記RGB出力比率テーブルを読み出し、その割合によって規定の飽和判定レベル(TR、TG、TB)を設定する。このように、光源の色に合わせて規定の飽和判定レベルを切り替えることで、より正確に飽和レベル判定を行うことができ、飽和レベル以上に達しているGフィルタの画素出力の補正(予測補間)をより正確に行うことができる。本実施形態では、「特許請求範囲」における光源色検出手段、飽和レベル設定手段が制御部28に相当し、画素出力比率保存手段がROM24に相当する。
Then, after determining the color temperature of the light source of the subject from the RGB distribution, which is the AWB evaluation value acquired from the CCD I /
そして、Dレンジ拡大予測補間部50の画素出力補正処理部61で補正されたGフィルタの画素出力値データ、およびビット拡張処理部62でビット拡張されたのみのR、Bフィルタの画素出力値データは、ビット圧縮変換部51に出力される。
Then, the pixel output value data of the G filter corrected by the pixel output
ビット圧縮変換部51は、例えば、図12(a)に示すような変換特性(3箇所の節点を指定し、それらの間を直線で近似する4区間の折れ線近似特性)によって、14ビットに拡張されたRGBフィルタの画素出力のうちのGフィルタの画素出力を12ビットに圧縮する。なお、図12(a)において、aは12ビットの範囲であり、bは最大値8190のデータを1/2倍する単純な線形変換特性(一点鎖線部分)である。
For example, the bit
図12(a)に示す変換特性では、Gフィルタの画素出力の最大値は8190なので、8190が4095になるように圧縮する。そして、Gフィルタの画素出力の圧縮倍率に合わせて、R、Bフィルタの画素出力の値も圧縮する。 In the conversion characteristic shown in FIG. 12A, since the maximum value of the pixel output of the G filter is 8190, compression is performed so that 8190 becomes 4095. Then, the pixel output values of the R and B filters are also compressed in accordance with the compression magnification of the pixel output of the G filter.
前記したように本実施形態では、最大値が8190に拡張されたGフィルタの画素出力を最大値が4095に圧縮する場合の一例として、図12(a)の実線で示したような3つの節点を有する変換特性を用いた。本実施形態では、単純な節点のない線形変換特性(図12(a)のb)では得られない以下のような2つの効果が得られる。 As described above, in this embodiment, as an example of the case where the pixel output of the G filter whose maximum value is expanded to 8190 is compressed to 4095, three nodes as shown by the solid line in FIG. A conversion characteristic with In the present embodiment, the following two effects that cannot be obtained with a linear conversion characteristic without a simple node (b in FIG. 12A) are obtained.
第1の効果としては、データの信頼性が高いデータにより多くのビット数を割り当てることができる。即ち、飽和レベル以上に達しているGフィルタの画素出力に対して補正処理する場合、前記したようにGフィルタの画素出力の飽和レベル付近の規定値以上の値になった範囲について補正(予測補間)を行い、この規定値以下の範囲では補正は行われない。よって、補正を行う範囲と行わない範囲とでは、データの精度が異なっている。 As a first effect, a larger number of bits can be assigned to data with high data reliability. In other words, when correction processing is performed on the pixel output of the G filter that has reached the saturation level or higher, as described above, the correction (predictive interpolation) is performed for the range in which the value of the pixel output of the G filter exceeds the specified value near the saturation level. ), And no correction is made within the specified range. Therefore, the accuracy of data differs between the range where correction is performed and the range where correction is not performed.
例えば、前記式(1)によって飽和しているGフィルタの画素出力値を補正(予測補間)する場合、主被写体の色によっては、補正を行う範囲においては被写体の輝度レベルが正確に再現できていない場合がある。これに対して補正を行っていない範囲は、RGBフィルタが配置されたCCD20から出力される実際のデータ(アナログRGB画像信号)をA/D変換したデータであるので、このデータの信頼性は高いものとなる。
For example, when correcting (predicting interpolation) the pixel output value of the G filter that is saturated according to the equation (1), the luminance level of the subject can be accurately reproduced in the correction range depending on the color of the main subject. There may not be. On the other hand, since the range where correction is not performed is data obtained by A / D conversion of actual data (analog RGB image signal) output from the
即ち、図12(a)に示した本実施形態における変換特性(実線で示した部分)では、例えば、入力14ビットデータが1024ときに出力12ビットデータは1024になっており、元のデータがそのまま使われている。これに対し、例えば、入力14ビットデータが3072ときに出力12ビットデータは2560になっており、この範囲では補正前のビット割付よりも少ない割付となることによって、多少のビット誤差が発生する。 That is, in the conversion characteristic (part indicated by the solid line) in this embodiment shown in FIG. 12A, for example, when the input 14-bit data is 1024, the output 12-bit data is 1024, and the original data is It is used as it is. On the other hand, for example, when the input 14-bit data is 3072, the output 12-bit data is 2560, and in this range, the bit allocation is smaller than the bit allocation before correction, so that some bit error occurs.
このように、単純な節点のない線形変換を行う特性(一点鎖線で示した部分)ではなく、本実施形態のように3つの節点を有する変換特性(実線で示した部分)を採用することにより、ビット割付をだんだんと少なくしていくことができるので、データの信頼性が高いデータにより多くのビット数を割り当てることができる。 In this way, by adopting a conversion characteristic (part indicated by a solid line) having three nodes as in this embodiment, instead of a characteristic for performing linear conversion without a simple node (part indicated by a one-dot chain line). Since the bit allocation can be gradually reduced, a larger number of bits can be allocated to data with high data reliability.
そして、第2の効果としては、低・中輝度における階調を正確に保存することができる。即ち、単純な線形変換特性(図12(a)のb)でビット圧縮を行った場合、低輝度側の予測補間が行われていない範囲では、ビット割付が1/4になってしまう。このため、階調感のない画像になってしまう。これに対し、図12(a)に示したような本実施形態における変換特性(実線部分)でビット圧縮を行った場合には、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部51でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
As a second effect, gradations at low and medium luminance can be accurately stored. That is, when bit compression is performed with a simple linear conversion characteristic (b in FIG. 12A), the bit allocation becomes ¼ in a range where predictive interpolation on the low luminance side is not performed. For this reason, the image has no tone. On the other hand, when bit compression is performed with the conversion characteristic (solid line portion) in the present embodiment as shown in FIG. 12A, the data corresponding to the pixel output at the low luminance level below the saturation level is applied. Thus, by using a compression rate that gives substantially the same value before bit compression by the bit
なお、本実施形態では、拡張したGフィルタの画素出力の14ビットデータを12ビットに縮小するときに、図12(a)のように3つの節点を指定し、それらの間を直線で近似する4区間の折れ線近似特性(変換特性)でビット圧縮を行う構成であったが、この区間数は特に限定されるものではない。例えば、1つの節点を指定する2区間の折れ線近似特性としてもよいが、節点付近でビット割付が大きく変わることにより、前記した2つの効果が小さくなる。よって、3区間以上の区間数を有する折れ線近似特性(変換特性)が好ましい。 In this embodiment, when the 14-bit data of the pixel output of the expanded G filter is reduced to 12 bits, three nodes are designated as shown in FIG. Although the bit compression is performed with the broken line approximation characteristic (conversion characteristic) of four sections, the number of sections is not particularly limited. For example, it may be a polygonal line approximate characteristic of two sections designating one node, but the above-mentioned two effects are reduced by changing the bit allocation in the vicinity of the node. Therefore, a broken line approximation characteristic (conversion characteristic) having three or more sections is preferable.
また、拡張したGフィルタの画素出力の14ビットデータを12ビットに縮小する変換特性を、図12(b)に示すように、複数の節点を有していない曲線による変換特性としてもよい。即ち、図12(a)の4区間を有する変換特性に対して、区間数を8192にしたものがこの曲線による変換特性となる。なお、図12(b)において、aは12ビットの範囲である。 Further, the conversion characteristic for reducing the 14-bit data of the pixel output of the expanded G filter to 12 bits may be a conversion characteristic based on a curve not having a plurality of nodes as shown in FIG. That is, with respect to the conversion characteristic having four sections in FIG. 12A, the conversion characteristic by this curve is obtained by setting the number of sections to 8192. In FIG. 12B, a is a 12-bit range.
更に、入力14ビットデータの0〜8192に対して、12ビットに縮小変換後の数値データを持ったルックアップテーブルを設けておくことにより、この曲線による変換特性で、拡張したGフィルタの画素出力の14ビットデータを良好に12ビットに圧縮することができる。 Further, by providing a lookup table having numeric data after reduction conversion to 12 bits for 0 to 8192 of input 14-bit data, the pixel output of the expanded G filter with the conversion characteristics by this curve is provided. The 14-bit data can be successfully compressed to 12 bits.
そして、ビット圧縮変換部51で14ビットから12ビットに圧縮変換されたRGBフィルタの画素出力データは、ホワイトバランス制御部52に入力される。
The pixel output data of the RGB filter that has been compression-converted from 14 bits to 12 bits by the bit
ホワイトバランス制御部52は、入力されるRGBフィルタの画素出力値データに対してホワイトバランスを合わせるための補正係数を乗算する。この補正係数は、CCDI/F34で生成された前記AWB評価値に基づいて制御部28で算出される。なお、この補正係数は、光源色を白くするような係数である。このように、本実施形態では、「特許請求範囲」における補正係数算出手段がホワイトバランス制御部52に相当する。
The white
具体的には、図11に示したような異なる色温度に対するRGBフィルタの画素出力値の比率に基づいて、Rフィルタの画素出力値には、補正係数としてのG/R(Gフィルタの画素出力値/Rフィルタの画素出力値)を乗算し、Bフィルタの画素出力値には、補正係数としてのG/B(Gフィルタの画素出力値/Bフィルタの画素出力値)を乗算することによって、RGBフィルタの画素出力値のレベルを合わせる。 Specifically, based on the ratio of the RGB filter pixel output values to different color temperatures as shown in FIG. 11, the R filter pixel output values include G / R (G filter pixel output as a correction coefficient). Value / R filter pixel output value), and the B filter pixel output value is multiplied by G / B (G filter pixel output value / B filter pixel output value) as a correction coefficient. Match the level of the pixel output value of the RGB filter.
ところで、前記したDレンジ拡大予測補間部50での補正処理により、RGBフィルタの画素出力値の比率は、図4のd、eのように、本来のRGBフィルタの画素出力値の比率に近い値になっている。
By the way, by the correction processing in the D-range expansion
よって、Dレンジ拡大予測補間部50からの出力にホワイトバランス制御部52で前記補正係数が乗算された結果は、色ずれが小さくなっており、違和感は少なくなる。
Therefore, as a result of multiplying the output from the D range expansion
そして、ホワイトバランス制御部52からホワイトバランスが合わされたRGBフィルタの画素出力値データ(12ビット)は、同時化部53に入力される。同時化部53は、ベイヤ配列の1画素に1色のデータしか持っていないRAWデータに対して補間演算処理を行い、1画素に対してRGBの全てのデータを生成する。
Then, the pixel output value data (12 bits) of the RGB filter with the white balance adjusted from the white
そして、同時化部53で生成されたRGBの全てのデータ(12ビット)は、トーン変換部54に入力される。トーン変換部54は、図13に示すような変換テーブルによって12ビットのRGBのデータを8ビットのRGBのデータに変換するγ変換を行って、8ビットのRGB値を生成し、RGB−YUV変換部55に出力する。
All the RGB data (12 bits) generated by the
RGB−YUV変換部55は、入力されるRGBデータ(8ビット)をマトリックス演算によりYUVデータに変換し、画像サイズコンバータ部56に出力する。画像サイズコンバータ部56は、入力されるYUVデータ(8ビット)に対して所望の画像サイズに縮小または拡大を行い、輝度ヒストグラム生成部57およびエッジエンハンス部58に出力する。
The RGB-
輝度ヒストグラム生成部57は、入力されるYUVデータにより輝度ヒストグラムを生成する。エッジエンハンス部58は、入力されるYUVデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ35を介してSDRAM23に保存する。
The luminance
このように、本実施形態では、処理単位内の感度の高いGフィルタの画素出力が飽和レベルを超えているような場合においても、感度の低いR、Bフィルタの画素出力に基づいて、飽和しているGフィルタの画素出力を補正(予測補間)処理することにより、図4に示したように、Gフィルタ(図4のd、e)の画素出力の補正(予測補間)処理した拡張領域(図4のd、eのGフィルタの画素出力の一点鎖線部分)に基づいて、1回の撮影でダイナミックレンジを2倍に拡大することが可能となる。 As described above, in this embodiment, even when the pixel output of the G filter with high sensitivity in the processing unit exceeds the saturation level, the pixel is saturated based on the pixel output of the R and B filters with low sensitivity. As shown in FIG. 4, the pixel output of the G filter (d, e in FIG. 4) is corrected (predicted interpolation). Based on the pixel output of the G filter pixel outputs d and e in FIG. 4, the dynamic range can be doubled by one shooting.
よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。 Therefore, even when there is a high-luminance portion in the background or the like in the captured image, it is possible to prevent the occurrence of overexposure and obtain good gradation.
更に、本実施形態では、前記したように撮影環境の光源の色温度に対応して、規定の飽和判定レベル(TR、TG、TB)を設定することで、式(1)、式(2)の算出結果がより正確になる。これにより、飽和しているGフィルタの画素出力を補正する前後でのRGBフィルタの各画素出力の出力バランスがくずれるのを防止することができるので、色相(色合い)のずれによる違和感を軽減することができる。 Furthermore, in the present embodiment, as described above, the predetermined saturation determination levels (TR, TG, TB) are set in accordance with the color temperature of the light source in the shooting environment, so that the expressions (1) and (2) The calculation result of becomes more accurate. As a result, it is possible to prevent the output balance of each pixel output of the RGB filter before and after correcting the pixel output of the saturated G filter, thereby reducing a sense of incongruity due to a hue (hue) shift. Can do.
図14(a)は、Gフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行った場合の、輝度ヒストグラム生成部57で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行ったことにより、最大輝度部分(255)における白飛びがほとんど発生していなく、良好な階調で再現されている。
FIG. 14A shows an example of a histogram generated by the luminance
これに対し、図14(b)は、Gフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部57で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行わなかった場合には、最大輝度部分(255)に度数があり、白飛びが発生しているのが分かる。
On the other hand, FIG. 14B is generated by the luminance
なお、前記した実施形態1の説明および図4、図8において、所定の飽和レベル判定値である図4の飽和レベルAと補正後の12ビットの最大値である4095と、または図8の飽和判定レベルTRと補正後の12ビットの最大値である4095とがそれぞれ一致しているように説明したが、これに限定するものではない。例えば、出力が完全に飽和する付近の高輝度部において、出力の直線性(リニアリティー)が良くないRGBフィルタを有するCCDでは、例えば完全に飽和する4095よりも小さい値である4032を所定の飽和レベル値(図4の飽和レベルA)とおいて、その値を超えた画素出力を補正処理の対象としてもよい。 In the description of the first embodiment and FIGS. 4 and 8, the saturation level A in FIG. 4 that is a predetermined saturation level determination value and 4095 that is the 12-bit maximum value after correction, or the saturation in FIG. Although it has been described that the determination level TR and the corrected 12-bit maximum value 4095 match each other, the present invention is not limited to this. For example, in a CCD having an RGB filter whose output linearity (linearity) is not good in a high-luminance part near where the output is completely saturated, for example, 4032 which is a value smaller than 4095 which is completely saturated is set to a predetermined saturation level. As a value (saturation level A in FIG. 4), a pixel output exceeding that value may be subjected to correction processing.
また、デジタルカメラのシステム構成によっては、高輝度被写体でも12ビットの最大値である4095にならないものもある。その場合も同様に所定の飽和レベルを4095よりも低い値に設定するとよい。 Also, depending on the system configuration of the digital camera, even a high-luminance subject may not reach 4095, which is the maximum value of 12 bits. In that case as well, the predetermined saturation level may be set to a value lower than 4095.
このように、4095未満を所定の飽和レベルとしたときでも、その特性に合わせて図12(a)の変換カーブを切り替えることで、ビット圧縮変換部51の出力を4095にすることができ、後段の処理を変えることなくダイナミックレンジの拡大が可能となる。
Thus, even when less than 4095 is set to a predetermined saturation level, the output of the bit
なお、本実施形態において、例えば、Gフィルタの画素出力とRフィルタ(またはBフィルタ)の画素出力の値が飽和レベル以上に達した場合、前記式(1)〜式(5)から算出される補正したGフィルタの画素出力の値が不正確になるとともに、Rフィルタ(またはBフィルタ)の画素出力の値を補正しないで、Gフィルタの画素出力で用いた圧縮率でビット圧縮するため、色相が変化してしまう可能性がある。 In the present embodiment, for example, when the values of the pixel output of the G filter and the pixel output of the R filter (or B filter) reach the saturation level or more, they are calculated from the equations (1) to (5). Since the corrected pixel output value of the G filter becomes inaccurate and bit compression is performed at the compression rate used for the pixel output of the G filter without correcting the pixel output value of the R filter (or B filter), the hue May change.
そこで、Gフィルタの画素出力とRフィルタ(またはBフィルタ)の画素出力の値が少なくとも飽和レベル以上に達している場合には、前記した補正によるダイナミックレンジの拡大処理を行わないようにすることが好ましい。あるいは、複数(Gフィルタの画素出力とRフィルタ(またはBフィルタ))の画素出力の値が飽和レベル以上に達しているということは、その処理単位エリアの明るさは極めて明るいと仮定して、Gフィルタの画素出力の値を予め決めた値、例えば、
Gフィルタの画素出力=4096×1.8=7372(14ビット)
などに設定してもよい。
Therefore, when the values of the pixel output of the G filter and the pixel output of the R filter (or B filter) have reached at least the saturation level, the dynamic range expansion processing by the correction described above may not be performed. preferable. Alternatively, the fact that the pixel output values of a plurality of pixels (G filter pixel output and R filter (or B filter)) have reached a saturation level or higher assumes that the brightness of the processing unit area is extremely bright, A predetermined value for the pixel output value of the G filter, for example,
G filter pixel output = 4096 x 1.8 = 7372 (14 bits)
You may set it.
また、本実施形態では、図5に示したように、Dレンジ拡大予測補間部50から出力される14ビットのRAW−RGBデータ(RGBフィルタの画素出力データ)をビット圧縮変換部51で12ビットに縮小処理し、ホワイトバランス制御部52、同時化部53においては12ビットのデータ処理を行う構成であったが、これ以外にも、同時化部53の後にビット圧縮変換部51を設けて、同時化部53から出力される14ビットのデータを12ビットのデータに縮小処理する構成でもよい。
In this embodiment, as shown in FIG. 5, 14-bit RAW-RGB data (RGB filter pixel output data) output from the D-range expansion
〈実施形態2〉
実施形態1では、Gフィルタの画素出力およびR、Bフィルタの画素出力のいずれかが飽和レベル以上に達している場合に、Gフィルタの画素出力の補正(予測補間)を行う例であったが、本実施形態では、Gフィルタの画素出力が飽和しているときのみ、Dレンジ拡大予測補間部50(図6参照)によるGフィルタの画素出力の補正(予測補間)処理を実施するものとする。
<
In the first embodiment, the correction (prediction interpolation) of the pixel output of the G filter is performed when any of the pixel output of the G filter and the pixel output of the R and B filters has reached the saturation level or more. In this embodiment, only when the pixel output of the G filter is saturated, the correction (predictive interpolation) processing of the pixel output of the G filter by the D-range expansion prediction interpolation unit 50 (see FIG. 6) is performed. .
本実施形態においては、Dレンジ拡大予測補間部50(図6参照)の画素出力補正処理部61では、下記の数2(式(6))のように、Gフィルタの画素出力が規定の飽和レベルを超えているときのみ補正処理を実施する。
In the present embodiment, in the pixel output
ただし、Geは補正後のGフィルタの画素出力、Goは補正処理前のGフィルタの画素出力、Kは補正係数、TGはGフィルタの画素出力の飽和判定レベルである。 However, Ge is the pixel output of the G filter after correction, Go is the pixel output of the G filter before correction processing, K is the correction coefficient, and TG is the saturation determination level of the pixel output of the G filter.
このように、式(6)による補正処理を行うことにより、例えば被写体の色合いによってR、Bフィルタの画素出力だけが大きく、RGBフィルタの各画素出力の比率が図11に示したような比率から極端にずれている場合においても、Gフィルタの画素出力値がずれてしまうことを防止することができる。 In this way, by performing the correction process according to the equation (6), for example, only the pixel output of the R and B filters is large depending on the color of the subject, and the ratio of the pixel outputs of the RGB filter is as shown in FIG. Even when it is extremely deviated, it is possible to prevent the pixel output value of the G filter from deviating.
〈実施形態3〉
本実施形態では、前記した規定の飽和判定レベル(TR、TG、TB)の決定にホワイトバランスの補正係数を用いるものとする。
<
In the present embodiment, it is assumed that a white balance correction coefficient is used to determine the prescribed saturation determination levels (TR, TG, TB).
前記実施形態1では、AWB評価値より色温度を推定し、その推定した色温度を対応してROM24に記憶されている図11のような画素出力比を読み出して、規定の飽和判定レベル(TR、TG、TB)を決定する方法であった。しかしながら、この方法では、撮影環境の光源色に完全に対応しきれない場合がある。即ち、図11は黒体輻射軌跡の色温度の光源におけるRGBフィルタの各画素出力の比率を示したものであるが、蛍光灯などの人工光源では、この黒体輻射の軌跡から離れたものがある。例えば、演色性のよくない白色蛍光灯などは、色温度では4000K程度であるが、黒体輻射軌跡から緑方向にずれている。
In the first embodiment, the color temperature is estimated from the AWB evaluation value, the pixel output ratio as shown in FIG. 11 stored in the
本実施形態でのホワイトバランスの補正係数算出は、先ず前記したように画面を1024分割した各エリアのRGBフィルタの各画素出力の平均値から、極端に黒体輻射軌跡から大きく離れていて光源の色ではないと判断できるエリアのAWB評価値を取り除く。そして、残ったエリアのAWB評価値を積算し、Rフィルタ画素出力用の補正係数(WBr)として、WBr=G/R、Bフィルタの画素出力用補正係数(WBb)として、WBb=G/Bを算出する。 As described above, the white balance correction coefficient calculation in the present embodiment is extremely far from the black body radiation locus from the average value of each pixel output of the RGB filter of each area obtained by dividing the screen by 1024 as described above. An AWB evaluation value of an area that can be determined not to be a color is removed. Then, the AWB evaluation values of the remaining areas are integrated, and the correction coefficient (WBr) for R filter pixel output is WBr = G / R, and the correction coefficient for pixel output (WBb) of the B filter is WBb = G / B Is calculated.
よって、ホワイトバランス制御部52では、Rフィルタの画素出力にはRフィルタ画素出力用の補正係数(WBr=G/R)が乗算され、Bフィルタの画素出力にはBフィルタ画素出力用の補正係数(WBb=G/B)が乗算される。結果として無彩色部分では、RGBフィルタの各画素出力が、Gフィルタの画素出力と同じになり、白い部分が白く見えるように補正が行われる。
Therefore, in the white
本実施形態においては、Gフィルタの画素出力の規定の飽和レベルTGのみをROM24に記憶しておく。この規定の飽和レベルTGは、図11のように光源色温度の変化に対して変化が小さいため、1つだけ記憶しておく。
In the present embodiment, only the prescribed saturation level TG of the pixel output of the G filter is stored in the
そして、制御部41は、前記のように決定したRフィルタ画素出力用の補正係数(WBr)およびBフィルタ画素出力用の補正係数(WBb)をそれぞれ用いて、下記の式(7)、式(8)からR、Bフィルタ画素出力用の規定の飽和レベル(TR、TB)を算出する。
TR=TG×WBr …式(7)
TB=TG×WBb …式(8)
Then, the
TR = TG × WBr (7)
TB = TG × WBb (8)
本実施形態のように、ホワイトバランスの補正係数から規定の飽和レベル(TR、TB)を算出することで、黒体輻射軌からずれた人工光源についても、良好に光源に対応した飽和レベル判定を行うことができる。 As in the present embodiment, by calculating the prescribed saturation level (TR, TB) from the white balance correction coefficient, it is possible to satisfactorily determine the saturation level corresponding to the light source even for an artificial light source deviated from the blackbody radiation track. It can be carried out.
〈実施形態4〉
前記実施形態1では図3に示したように、RGBフィルタを有するCCD20に対して、2×2画素を処理単位(最小単位)としていたが、本実施形態では、図15に示すように、太枠A内の5画素(1つのGフィルタの画素、2つずつのR(R1、R2)、B(B1、B2)フィルタの画素)を処理単位(最小単位)とし、処理単位を前記実施形態1の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態1と同様である。
<Embodiment 4>
In the first embodiment, as shown in FIG. 3, the processing unit (minimum unit) is 2 × 2 pixels for the
図15に示した太枠Aの処理単位内にあるGフィルタの画素出力が飽和レベル以上に達している場合、Gフィルタの感度は、前記したようにR、Bフィルタの感度の約2倍であるため、Gフィルタの画素出力の補正係数(K)、補正後のGフィルタの画素出力(Ge)は、下記の式(9)、式(10)から算出される。本実施形態では、 When the pixel output of the G filter in the processing unit of the thick frame A shown in FIG. 15 has reached the saturation level or higher, the sensitivity of the G filter is about twice the sensitivity of the R and B filters as described above. Therefore, the correction coefficient (K) of the pixel output of the G filter and the pixel output (Ge) of the corrected G filter are calculated from the following equations (9) and (10). In this embodiment,
K={l×f(Ra)+m×f(Ga)+n×f(Ba)}/3 …式(9)
Ge=K×Ga …式(10)
ただし、l、m、nはRGBの各フィルタの感度比率から設定される係数、Gaは補正前のGフィルタの画素出力である。また、f(Ra)、f(Ga)、f(Ba)は、下記の数3(式(11)〜式(13))で設定される係数である。
K = {l × f (Ra) + m × f (Ga) + n × f (Ba)} / 3 Equation (9)
Ge = K × Ga (10)
Here, l, m, and n are coefficients set from the sensitivity ratios of the RGB filters, and Ga is the pixel output of the G filter before correction. Further, f (Ra), f (Ga), and f (Ba) are coefficients set by the following Equation 3 (Expression (11) to Expression (13)).
ただし、Raは前記処理単位(図15参照)内でのRフィルタの画素出力の平均値、TRはRフィルタの画素出力の飽和判定レベル、Gaは前記処理単位(図15参照)内でのGフィルタの画素出力、TGはGフィルタの画素出力の飽和判定レベル、Baは前記処理単位(図15参照)内でのBフィルタの画素出力の平均値、TBはBフィルタの画素出力の飽和判定レベルである。 However, Ra is the average value of the pixel output of the R filter in the processing unit (see FIG. 15), TR is the saturation judgment level of the pixel output of the R filter, and Ga is G in the processing unit (see FIG. 15). The pixel output of the filter, TG is the saturation judgment level of the pixel output of the G filter, Ba is the average value of the pixel output of the B filter in the processing unit (see FIG. 15), and TB is the saturation judgment level of the pixel output of the B filter. It is.
なお、前記TR、TG、TBは、前記式(3)〜式(5)と同様である。また、前記係数l、m、nは、R、G、Bフィルタの各画素出力の感度比が実施形態1と同様であれば、係数l、nがそれぞれ3/2、mが0となる。 The TR, TG, and TB are the same as those in the equations (3) to (5). The coefficients l, m, and n are 3/2 and m are 0, respectively, if the sensitivity ratio of the pixel outputs of the R, G, and B filters is the same as in the first embodiment.
そして、図6に示したDレンジ拡大予測補間部50の画素出力補正処理部61は、前記式(10)より算出されたGフィルタの画素出力値を、前記処理単位(図15参照)内にあるGフィルタの画素出力値として置き換え、以下、前記実施形態1と同様の処理を行う。
Then, the pixel output
このように、処理単位を広くすることで、処理単位内の他のR1,R2フィルタの画素、B1,B2フィルタの画素が持っている感度差による影響を緩和することができ、Gフィルタの画素出力に対して、より正確なダイナミックレンジ拡大予測補間が可能となる。 In this way, by widening the processing unit, it is possible to reduce the influence due to the sensitivity difference of the other R1, R2 filter pixels and B1, B2 filter pixels in the processing unit. More accurate dynamic range expansion prediction interpolation can be performed on the output.
〈実施形態5〉
本実施形態では、図16に示すように、RGBフィルタを有するCCD20に対して、前記実施形態4の場合よりも更に処理単位(太枠A)を広くした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態1と同様である。ただし、Gフィルタの画素出力に対する予測補間の算出式は、前記実施形態4と同様に式(9)〜式(13)を用いる。
<
In the present embodiment, as shown in FIG. 16, the processing unit (thick frame A) is wider than that in the fourth embodiment with respect to the
処理単位を広くすると、広い範囲の輝度情報に基づいて処理することになるため、ローパスフィルタをかけたことと等価になってしまう。そのため、輝度変化のエッジ部分がなまってしまう。そこで、本実施形態では、広くした処理単位の大きさを、例えば、前記AF評価値を利用して部分的に変更するものとする。 If the processing unit is widened, processing is performed based on a wide range of luminance information, which is equivalent to applying a low-pass filter. Therefore, the edge portion of the luminance change is lost. Therefore, in the present embodiment, the size of the widened processing unit is partially changed using, for example, the AF evaluation value.
即ち、図2に示した信号処理部22のCCDI/F34では、前記したようにAFを行うためのAF評価値を算出している。これは、ハイパスフィルタ(HPF)の出力であり、撮影画像の画面内に輝度の変化がある部分では大きな値が出力される。そして、制御部28は、静止画撮影時のAF評価値を読み出し、画面内の輝度変化がある部分とない部分を判別する。そして、制御部28は、この判別データを基にDレンジ拡大予測補間部50に対して、輝度変化がある部分には処理単位が狭くなるような設定を行い、輝度変化がない部分には、図16に示したように処理単位が広い範囲になるように設定を行う。
That is, the CCD I /
このように、処理単位を更に広くした場合でも、輝度変化がある部分には処理単位が狭くなるような設定を行うことで、解像度を落とすことなく、正確なダイナミックレンジ拡大予測補間が可能となる。 Thus, even when the processing unit is further widened, accurate dynamic range expansion prediction interpolation can be performed without reducing the resolution by setting the processing unit to be narrower in a portion where there is a luminance change. .
なお、前記した各実施形態では、色分解フィルタとしてRGBの3原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。 In each of the embodiments described above, the RGB three primary color filters are arranged as the color separation filters. However, the present invention is similarly applied to a configuration in which the complementary color filters are arranged as the color separation filters. Can do.
また、前記した各実施形態では、撮影レンズ系とCCD等の固体撮像素子を有するデジタルカメラなどの撮像装置についての説明であったが、画像処理装置においも同様に本発明を適用することが可能である。例えば、単板式カラー撮像素子からのアナログ出力をデジタル信号に変換して保存したRAWデータを入力して、RGBデータやYCbCrデータを出力するような画像処理装置においても、同様に本発明を適用することが可能である。 In each of the above-described embodiments, the description has been made on the imaging device such as a digital camera having a photographing lens system and a solid-state imaging device such as a CCD. However, the present invention can be similarly applied to an image processing device. It is. For example, the present invention is similarly applied to an image processing apparatus in which analog data from a single-plate color image sensor is converted into digital signals and stored, and RAW data is input to output RGB data or YCbCr data. It is possible.
1 デジタルカメラ(撮像装置)
5 撮影レンズ系(光学系)
6 鏡胴ユニット
9 液晶モニタ
12 メニューボタン
20 CCD(撮像素子)
21 アナログフロントエンド部
22 信号処理部
23 SDRAM
28 制御部
34 CCDインターフェース
35 メモリコントローラ
36 YUV変換部
50 Dレンジ拡大予測補間部
51 ビット圧縮変換部
60 画素出力検出部(画素出力検出手段)
61 画素出力補正処理部(画素出力補正処理手段)
62 ビット拡張処理部
1 Digital camera (imaging device)
5 Shooting lens system (optical system)
6
21
28
61 Pixel output correction processing unit (pixel output correction processing means)
62-bit extension processing section
Claims (12)
撮影時における被写体の光源色を検出する光源色検出手段と、
前記光源色検出手段が検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定手段と、
前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、前記特定色のフィルタが配置された画素に対してその画素の周囲の前記他の色のフィルタが配置された画素からの出力のうちのいずれかの画素出力が、該画素に対する前記所定の飽和レベル以上に達していると判定した場合に、前記特定色のフィルタが配置された画素からの出力を、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理手段と、
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換手段と、を備え、
前記ビット圧縮変換手段は、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする撮像装置。 An image sensor in which a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are disposed on the front side of each pixel;
Light source color detection means for detecting the light source color of the subject at the time of shooting;
Based on the light source color detected by the light source color detection means, each predetermined saturation level for each output from a pixel in which a filter of a specific color is arranged and a pixel in which a filter of a color other than the specific color is arranged Saturation level setting means for setting
Pixel output detection means for detecting an output from each of the pixels and determining whether the detected pixel output has reached or exceeded each of the predetermined saturation levels;
The pixel output detection means outputs one of the pixel outputs of the pixels from which the filter of the other color around the pixel is arranged with respect to the pixel in which the filter of the specific color is arranged. When it is determined that the pixel has reached the predetermined saturation level or higher, an output from the pixel in which the filter of the specific color is arranged is output from a pixel in which the filter of the other color around the pixel is arranged. Pixel output correction processing means for performing correction based on the output of
When the output of the pixel in which the filter of the specific color is arranged reaches or exceeds the predetermined saturation level, the pixel output correction processing means outputs the first bit number below the predetermined saturation level. Bit compression conversion means for compressing the pixel output data once expanded to the number of bits of 2 to the first number of bits again ,
The bit compression conversion means compresses by compressing the data corresponding to the pixel output below the predetermined saturation level to be smaller than the data corresponding to the pixel output in the region above the predetermined saturation level. An imaging apparatus characterized by that.
撮影時における被写体の光源色を検出する光源色検出手段と、
前記光源色検出手段が検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定手段と、
前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力がこの画素に対する前記所定の飽和レベル以上に達していると判定した場合に、該所定の飽和レベル以上に達していると判定された前記特定色のフィルタが配置された画素からの出力に対し、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理手段と、
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換手段と、を備え、
前記ビット圧縮変換手段は、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする撮像装置。 An image sensor in which a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are disposed on the front side of each pixel;
Light source color detection means for detecting the light source color of the subject at the time of shooting;
Based on the light source color detected by the light source color detection means, each predetermined saturation level for each output from a pixel in which a filter of a specific color is arranged and a pixel in which a filter of a color other than the specific color is arranged Saturation level setting means for setting
Pixel output detection means for detecting an output from each of the pixels and determining whether the detected pixel output has reached or exceeded each of the predetermined saturation levels;
When the pixel output detection means determines that the output from the pixel in which the filter of the specific color is disposed has reached the predetermined saturation level or higher for the pixel, the pixel output detection means has reached the predetermined saturation level or higher. Pixel output correction processing means for correcting the output from the pixel in which the filter of the specific color determined to be is corrected based on the output from the pixel in which the filter of the other color around the pixel is arranged When,
When the output of the pixel in which the filter of the specific color is arranged reaches or exceeds the predetermined saturation level, the pixel output correction processing means outputs the first bit number below the predetermined saturation level. Bit compression conversion means for compressing the pixel output data once expanded to the number of bits of 2 to the first number of bits again ,
The bit compression conversion means compresses by compressing the data corresponding to the pixel output below the predetermined saturation level to be smaller than the data corresponding to the pixel output in the region above the predetermined saturation level. An imaging apparatus characterized by that.
前記飽和レベル設定手段は、前記光源色検出手段が検出した光源色と前記画素出力比率保存手段に保存されている画素出力比率に基づいて前記各所定の飽和レベルを設定することを特徴とする請求項1乃至3のいずれか一項に記載の撮像装置。 Pixel output ratio storage means for storing a plurality of pixel output ratios from each pixel in which the filter of the specific color and the filter of the other color around it are arranged corresponding to a plurality of light source colors having different color temperatures Prepared,
The saturation level setting means sets each predetermined saturation level based on a light source color detected by the light source color detection means and a pixel output ratio stored in the pixel output ratio storage means. Item 4. The imaging device according to any one of Items 1 to 3.
撮影時における被写体の光源色を検出する光源色検出ステップと、
前記光源色検出ステップが検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定ステップと、
前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出ステップと、
前記画素出力検出ステップにより、前記特定色のフィルタが配置された画素に対してその画素の周囲の前記他の色のフィルタが配置された画素からの出力のうちのいずれかの画素出力が、該画素に対する前記所定の飽和レベル以上に達していると判定した場合に、前記特定色のフィルタが配置された画素からの出力を、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理ステップと、
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理ステップから出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換ステップと、を含み、
前記ビット圧縮変換ステップは、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする撮像方法。 An imaging device including an imaging device in which a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are arranged on the front side of each pixel. In the imaging method of the apparatus,
A light source color detection step for detecting the light source color of the subject at the time of shooting;
Based on the light source color detected by the light source color detection step, each predetermined saturation level for each output from a pixel in which a filter of a specific color is arranged and a pixel in which a filter of a color other than the specific color is arranged A saturation level setting step for setting
A pixel output detection step of detecting an output from each of the pixels and determining whether the detected pixel output has reached or exceeded each of the predetermined saturation levels;
In the pixel output detection step, any one of the outputs from the pixels in which the filter of the other color around the pixel is arranged with respect to the pixel in which the filter of the specific color is arranged, When it is determined that the pixel has reached the predetermined saturation level or higher, an output from the pixel in which the filter of the specific color is arranged is output from a pixel in which the filter of the other color around the pixel is arranged. A pixel output correction processing step for performing correction based on the output of
When the output of the pixel in which the filter of the specific color is arranged has reached the predetermined saturation level or higher, the first bit number below the predetermined saturation level is output from the pixel output correction processing step. once expanded data of the pixel output was the number 2 of the bits, and the bit compression conversion step of compressing again the number of the first bit, only including,
The bit compression conversion step compresses the data corresponding to the pixel output below the predetermined saturation level by reducing the compression ratio for the data corresponding to the pixel output in the region above the predetermined saturation level. An imaging method characterized by the above.
変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
撮影時における被写体の光源色を検出する光源色検出ステップと、
前記光源色検出ステップが検出した光源色に基づいて、特定色のフィルタが配置された画素および該特定色以外の他の色のフィルタが配置された画素からのそれぞれの出力に対する各所定の飽和レベルを設定する飽和レベル設定ステップと、
前記各画素からの出力を検出するとともに、検出した画素出力が前記各所定の飽和レベル以上に達しているか否かを判定する画素出力検出ステップと、
前記画素出力検出ステップにより、前記特定色のフィルタが配置された画素からの出力がこの画素に対する前記所定の飽和レベル以上に達していると判定した場合に、該所定の飽和レベル以上に達していると判定された前記特定色のフィルタが配置された画素からの出力に対し、その画素の周囲の前記他の色のフィルタが配置された画素からの出力に基づいて補正を行う画素出力補正処理ステップと、
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理ステップから出力される、前記所定の飽和レベル以下における第1のビット数から第2のビット数に一度拡張された画素出力のデータを、再度前記第1のビット数に圧縮するビット圧縮変換ステップと、を含み、
前記ビット圧縮変換ステップは、前記所定の飽和レベル以上の領域における画素出力に対応したデータに対する圧縮率よりも、前記所定の飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴とする撮像方法。 An imaging device including an imaging device in which a subject image incident through an optical system is received by a light receiving surface having a plurality of pixels and converted into an electrical signal, and a plurality of color separation filters are arranged on the front side of each pixel. In the imaging method of the apparatus,
A light source color detection step for detecting the light source color of the subject at the time of shooting;
Based on the light source color detected by the light source color detection step, each predetermined saturation level for each output from a pixel in which a filter of a specific color is arranged and a pixel in which a filter of a color other than the specific color is arranged A saturation level setting step for setting
A pixel output detection step of detecting an output from each of the pixels and determining whether the detected pixel output has reached or exceeded each of the predetermined saturation levels;
When the pixel output detection step determines that the output from the pixel in which the filter of the specific color is arranged has reached the predetermined saturation level or higher for the pixel, the pixel has reached the predetermined saturation level or higher. A pixel output correction processing step for correcting the output from the pixel in which the filter of the specific color determined to be is corrected based on the output from the pixel in which the filter of the other color around the pixel is arranged When,
When the output of the pixel in which the filter of the specific color is arranged has reached the predetermined saturation level or higher, the first bit number below the predetermined saturation level is output from the pixel output correction processing step. once expanded data of the pixel output was the number 2 of the bits, and the bit compression conversion step of compressing again the number of the first bit, only including,
The bit compression conversion step compresses the data corresponding to the pixel output below the predetermined saturation level by reducing the compression ratio for the data corresponding to the pixel output in the region above the predetermined saturation level. An imaging method characterized by the above.
前記飽和レベル設定ステップは、前記光源色検出ステップが検出した光源色と前記画素出力比率保存ステップに保存されている画素出力比率に基づいて前記各所定の飽和レベルを設定することを特徴とする請求項7乃至9のいずれか一項に記載の撮像方法。 A pixel output ratio storing step of storing a plurality of pixel output ratios from each pixel in which the filter of the specific color and the filter of the other color surrounding it are arranged corresponding to a plurality of light source colors having different color temperatures; Including
The saturation level setting step sets each predetermined saturation level based on a light source color detected in the light source color detection step and a pixel output ratio stored in the pixel output ratio storage step. Item 10. The imaging method according to any one of Items 7 to 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008272219A JP5277863B2 (en) | 2008-10-22 | 2008-10-22 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008272219A JP5277863B2 (en) | 2008-10-22 | 2008-10-22 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010103700A JP2010103700A (en) | 2010-05-06 |
JP5277863B2 true JP5277863B2 (en) | 2013-08-28 |
Family
ID=42293946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008272219A Expired - Fee Related JP5277863B2 (en) | 2008-10-22 | 2008-10-22 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5277863B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811675A (en) * | 2014-01-29 | 2015-07-29 | 精工爱普生株式会社 | Electronic apparatus and control method of electronic apparatus |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101661215B1 (en) * | 2010-08-16 | 2016-09-30 | 삼성전자주식회사 | Image processing method and image processing apparatus |
JP6330363B2 (en) * | 2014-02-26 | 2018-05-30 | セイコーエプソン株式会社 | Electronic device and control method of electronic device |
CN107431793A (en) * | 2015-03-26 | 2017-12-01 | 索尼公司 | Image processing apparatus and image processing method and program |
EP3226203A1 (en) * | 2016-03-30 | 2017-10-04 | Thomson Licensing | Method for detection of saturated pixels in an image |
JP7547052B2 (en) * | 2020-02-10 | 2024-09-09 | キヤノン株式会社 | Image capture device, image capture device control method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4304788B2 (en) * | 1999-10-05 | 2009-07-29 | ソニー株式会社 | Color imaging device |
JP2006303559A (en) * | 2005-04-15 | 2006-11-02 | Matsushita Electric Ind Co Ltd | Electronic camera |
JP2007096767A (en) * | 2005-09-29 | 2007-04-12 | Canon Inc | Camera system |
-
2008
- 2008-10-22 JP JP2008272219A patent/JP5277863B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811675A (en) * | 2014-01-29 | 2015-07-29 | 精工爱普生株式会社 | Electronic apparatus and control method of electronic apparatus |
CN104811675B (en) * | 2014-01-29 | 2017-11-24 | 精工爱普生株式会社 | The control method of electronic equipment and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP2010103700A (en) | 2010-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5347707B2 (en) | Imaging apparatus and imaging method | |
JP5123137B2 (en) | Imaging apparatus and imaging method | |
JP4567593B2 (en) | Imaging apparatus and imaging method | |
EP2186345B1 (en) | Imaging apparatus and imaging method | |
JP5660341B2 (en) | Imaging apparatus and imaging method | |
JP5223686B2 (en) | Imaging apparatus and imaging method | |
US7884866B2 (en) | Imaging apparatus and imaging method | |
US8319864B2 (en) | Imaging apparatus and imaging method | |
JP2017022610A (en) | Image processing apparatus and image processing method | |
JP5343588B2 (en) | Imaging device | |
JP5277863B2 (en) | Imaging apparatus and imaging method | |
JP5256947B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD | |
JP2008053931A (en) | Imaging apparatus | |
JP5138521B2 (en) | Imaging apparatus and imaging method | |
JP5091781B2 (en) | Imaging apparatus and imaging method | |
JP5948997B2 (en) | Imaging apparatus and imaging method | |
JP5803233B2 (en) | Imaging apparatus and imaging method | |
JP2010068331A (en) | Imaging device and imaging method | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP5310331B2 (en) | Imaging apparatus and imaging method | |
JP5169540B2 (en) | Imaging apparatus and imaging method | |
JP5091734B2 (en) | Imaging apparatus and imaging method | |
JP5145876B2 (en) | Imaging apparatus and imaging method | |
JP2010068064A (en) | Imaging device and imaging method | |
JP2005311843A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130506 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5277863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |