JP5699482B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP5699482B2 JP5699482B2 JP2010186914A JP2010186914A JP5699482B2 JP 5699482 B2 JP5699482 B2 JP 5699482B2 JP 2010186914 A JP2010186914 A JP 2010186914A JP 2010186914 A JP2010186914 A JP 2010186914A JP 5699482 B2 JP5699482 B2 JP 5699482B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- light source
- color
- information
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 168
- 238000003384 imaging method Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title description 4
- 239000002131 composite material Substances 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 230000001066 destructive effect Effects 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 2
- 238000005375 photometry Methods 0.000 description 37
- 230000015654 memory Effects 0.000 description 35
- 238000012937 correction Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000010606 normalization Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 5
- 229910052753 mercury Inorganic materials 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 2
- 238000010891 electric arc Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052754 neon Inorganic materials 0.000 description 2
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 2
- 229910052708 sodium Inorganic materials 0.000 description 2
- 239000011734 sodium Substances 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、異なる露光時間で撮像して得られる2以上の画像データを線形合成した合成画像データのホワイトバランスを調整する技術に関する。 The present invention relates to a technique for adjusting white balance of synthesized image data obtained by linearly synthesizing two or more image data obtained by imaging with different exposure times.
電子カメラは撮像素子のダイナミックレンジ(以下、Dレンジと称す)が狭い為、露出制御やホワイトバランスの調整を行う。露出制御においては撮像素子のDレンジに入るように、電子シャッター速度や絞りにより撮像素子に入力される光量を調整する(例えば、特許文献1参照)。また、ホワイトバランスの調整を自動で行うオートホワイトバランス(AWB)の機能を有している。 Since an electronic camera has a narrow dynamic range (hereinafter referred to as “D range”) of an image sensor, exposure control and white balance adjustment are performed. In exposure control, the amount of light input to the image sensor is adjusted by the electronic shutter speed and the aperture so as to fall within the D range of the image sensor (see, for example, Patent Document 1). It also has an auto white balance (AWB) function for automatically adjusting white balance.
一方、露出制御が行われ、適正な画像信号が得られた状態であっても、被写体のコントラスト比が高いと、輝度値の高い領域は飽和画素となる。カラーフィルターを搭載したカラー撮像素子においては、赤(R)、緑(G)、青(B)の何れかの色の画素がDレンジを超えて飽和してしまうと、カラーバランスが崩れ、画像の色調が不自然になってしまう。
AWB機能は、これを防ぐための技術であり、例えば、図15のように、ビデオ信号から未飽和で彩度の低い画素のデータを抽出し、それに基づき測光を行って被写体を照射する光源の色温度を推定する。次に、推定した色温度に基づいてR、Bのレベルを補正するゲインを算出して、算出したゲインをR、Bのデータに乗算することで、色調が自然になるように調整する(例えば、特許文献2、特許文献3参照)。
On the other hand, even when exposure control is performed and an appropriate image signal is obtained, if the contrast ratio of the subject is high, a region with a high luminance value is a saturated pixel. In a color imaging device equipped with a color filter, if a pixel of any color of red (R), green (G), or blue (B) is saturated beyond the D range, the color balance is lost and the image is lost. The color tone will become unnatural.
The AWB function is a technique for preventing this. For example, as shown in FIG. 15, the data of an unsaturated and low-saturated pixel is extracted from a video signal, and light measurement is performed based on the extracted pixel data. Estimate the color temperature. Next, a gain for correcting the R and B levels is calculated based on the estimated color temperature, and the calculated gain is multiplied by the R and B data to adjust the color tone to be natural (for example, ,
このように、AWB機能は、カメラ撮像画像をモニターしながら、このモニター画像が自然な発色になるように制御を行うクローズドループ制御となる(R、G、Bのゲインを変更しつつ、評価値が予め設定された数値の範囲になるようにゲイン値を収束させる)。
なお、特許文献4には、AWB機能と人の見え方に関して言及されている。具体的に、AWBの動作は、人間の脳がもつ働き(視覚特性)を模倣している、と言われている。人間は、全体画像の中で、特に高輝度領域に着目して光源の色温度を推定し、その色温度に基づいて画像全体に対して補正をかけている、と類推できる。特筆すべきは、低Dレンジのカメラでは、輝度の高い部分が飽和してしまうため、その領域が白くなる、もしくは色情報が損なわれるので、人が持つ視覚特性によるAWBの能力を使えないことである。言い換えると、カメラで撮像した画像は、物理量としては正しいが、人がカメラからの画像を見たとき、光源の色温度を推定できないので、色調に不自然さを感じる、と言う解釈が出来る。
As described above, the AWB function is a closed loop control for controlling the monitor image so that the monitor image becomes a natural color while monitoring the image captured by the camera (the evaluation value while changing the gains of R, G, and B). The gain value is converged so that is within a preset numerical value range).
Note that Patent Document 4 refers to the AWB function and the way people see. Specifically, it is said that the operation of AWB imitates the function (visual characteristics) of the human brain. It can be inferred that a human being estimates the color temperature of the light source in the entire image, particularly focusing on the high luminance region, and corrects the entire image based on the color temperature. It should be noted that a low-D range camera saturates a high-brightness area, so that the area becomes white or color information is lost, so the ability of AWB based on the visual characteristics of humans cannot be used. It is. In other words, the image captured by the camera is correct as a physical quantity, but when a person views the image from the camera, the color temperature of the light source cannot be estimated, so it can be interpreted that the color tone feels unnatural.
また、Dレンジの広い撮影画像を得ることが可能なカメラとしてHDRカメラが存在する。これは、撮像素子のDレンジの狭さを補う為、例えば露光時間の異なる画像を複数枚撮像し、それらを合成することで、ダイナミックレンジを拡大したHDR画像を生成する(特許文献5参照)。HDRカメラは、飽和画素がないので、光学的な物理量をある程度正確に捉えて画像出力することが出来る。もし、広角HDRカメラで出力画像に光源情報が含まれていれば、HDR画像から、人間の視覚特性によるAWBの能力を正常に機能させることが出来、色調に不自然さを感じさせないという特徴を有する。また、光源情報が無くても、広角HDRカメラの撮像画像の中に、空、雲、木々の緑などの記憶色があり、それが再現されていれば、視覚特性による補正が機能する。 Further, there is an HDR camera as a camera that can obtain a captured image with a wide D range. In order to compensate for the narrowness of the D range of the image sensor, for example, a plurality of images with different exposure times are captured and combined to generate an HDR image with an expanded dynamic range (see Patent Document 5). . Since the HDR camera has no saturated pixels, it can capture an optical physical quantity with some accuracy and output an image. If the output image is included in the output image with a wide-angle HDR camera, the AWB ability based on human visual characteristics can be functioned normally from the HDR image, and the color tone does not feel unnatural. Have. Even if there is no light source information, there are memory colors such as sky, clouds, green trees, etc. in the captured image of the wide-angle HDR camera, and if they are reproduced, correction based on visual characteristics will function.
仮に、最も長い時間で露光した場合の露光量を長時間露光量S3とし、最も短い露光時間で露光した場合の露光量を短時間露光量S1とし、これらの中間の露光時間で露光した場合の露光量を中時間露光量S2とする。HDRカメラは、S3とS1の比を大きくするほど、そのダイナミックレンジを大きくすることができる。また、HDRカメラからの出力画像の画質(S/N)は、中間の露光時間で撮像した画像の枚数を増やすほど良くなることが知られている。 Temporarily, the exposure amount at the time of exposure for the longest time is set as the long-time exposure amount S3, the exposure amount at the time of exposure at the shortest exposure time is set as the short-time exposure amount S1, and Let the exposure amount be a medium time exposure amount S2. The HDR camera can increase its dynamic range as the ratio of S3 and S1 increases. Further, it is known that the image quality (S / N) of an output image from the HDR camera is improved as the number of images taken with an intermediate exposure time is increased.
前述のように、広角HDRカメラからの画像は、人の目の視覚特性(AWB)が正常に機能することから、自然なカラー画像出力と認識することができる。しかしながら、例えば、極端な色温度の光源で撮影した画像を、撮影者以外の人が見たとき、つまり、撮像画像中に記憶色がないような場合に、視覚特性がうまく働かずに撮影環境の色温度を推定できないことが考えられる。例えば、トンネル内におけるナトリウムランプでは、オレンジ色を帯びるし、水銀灯では青白い色を帯びる。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、異なる露光時間で撮像して得られる2以上の画像データを線形合成した合成画像データのホワイトバランスを調整するのに好適な画像処理装置、画像処理方法及び撮像装置を提供できる。
As described above, the image from the wide-angle HDR camera can be recognized as a natural color image output because the visual characteristics (AWB) of the human eye function normally. However, for example, when an image taken with a light source with an extreme color temperature is viewed by a person other than the photographer, that is, when there is no memory color in the captured image, the visual environment does not work well and the shooting environment It is conceivable that the color temperature cannot be estimated. For example, a sodium lamp in a tunnel has an orange color, and a mercury lamp has a pale color.
Therefore, the present invention has been made paying attention to such unsolved problems of the conventional technology. According to some aspects of the present invention, an image processing apparatus, an image processing method, and an image processing apparatus suitable for adjusting the white balance of composite image data obtained by linearly combining two or more image data obtained by imaging with different exposure times. An imaging device can be provided.
〔形態1〕 上記目的を達成するために、形態1の画像処理装置は、
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、2以上の画像データを
取得する合成用画像データ取得手段と、前記合成用画像データ取得手段で取得した前記2以上の画像データを露光時間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成手段と、前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得する色測定用画像データ取得手段と、
前記色測定用画像データ取得手段で取得した短露光画像データから色情報を抽出する色
情報抽出手段と、前記色情報抽出手段で抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報を推定する光源情報推定手段と、前記光源情報推定手段の推定結果に基づき、ホワイトバランスの調整に用いるゲインを設定するゲイン設定手段と、前記ゲイン設定手段で設定したゲインを用いて、当該ゲインの設定に係る前記短露光画像データと同じフレーム期間の前記2以上の画像データを合成して生成される合成画像データのホワイトバランスの調整を行うホワイトバランス調整手段と、を備え、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を
読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間に
おいて露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共
に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番
に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになって
おり、前記合成用画像データ取得手段は、前記撮像素子から、各フレーム期間における最長の露光時間に対応する画像データを含む2以上の画像データを取得し、前記合成画像データ生成手段は、前記最長の露光時間に対応する画像データを含む2以上の画像データに基づき合成画像データを生成し、前記色測定用画像データ取得手段は、前記撮像素子から、前記合成用画像データ取得手段が前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも先行して前記短露光画像データを取得し、前記色情報抽出手段は、前記先行して取得した短露光画像データから前記色情報を抽出し、前記光源情報推定手段は、前記先行して取得した短露光画像データから抽出された色情報に基づき光源に係る情報を推定し、前記ゲイン設定手段は、前記先行して取得した短露光画像データから抽出された色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを設定し、前記ホワイトバランス調整手段は、前記ゲイン設定手段で設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記2以上の画像データに基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを調整する。
[Mode 1] In order to achieve the above object, an image processing apparatus according to
Image data for synthesis that acquires two or more image data from a plurality of image data obtained by imaging a subject with a plurality of different exposure times in each frame period from the imaging device capable of imaging the subject. From the imaging device, an acquisition unit, a composite image data generation unit that generates a composite image data by linearly synthesizing the two or more image data acquired by the synthesis image data acquisition unit based on a ratio of exposure time, Color measurement image data acquisition means for acquiring short exposure image data which is image data corresponding to the shortest exposure time among the plurality of image data;
Color information extraction means for extracting color information from the short exposure image data acquired by the color measurement image data acquisition means, and information relating to the light source at the time of imaging the subject based on the color information extracted by the color information extraction means A light source information estimating means for estimating the gain, a gain setting means for setting a gain used for white balance adjustment based on an estimation result of the light source information estimating means, and a gain set by the gain setting means. White balance adjustment means for adjusting white balance of synthesized image data generated by synthesizing the two or more image data in the same frame period as the short-exposure image data related to the setting ,
The image sensor outputs a pixel signal corresponding to the accumulated charge while maintaining the accumulated charge from each pixel.
It is possible to read out pixel signals by non-destructive readout method, and in each frame period
If each of the pixels is exposed in the plurality of different exposure times in order from the shortest exposure time,
In addition, the pixel signal is read out from each exposed pixel by the nondestructive readout method, and the readout order is
The pixel signal data constituting the image data corresponding to each exposure time is output.
The image data for synthesizing means obtains two or more pieces of image data including image data corresponding to the longest exposure time in each frame period from the image sensor, and the synthetic image data generating means Composite image data is generated based on two or more pieces of image data including image data corresponding to the exposure time of the image, and the color measurement image data acquisition unit is configured to output the image data for synthesis from the image sensor. The short-exposure image data is acquired prior to acquiring image data corresponding to the longest exposure time in a period, and the color information extraction unit obtains the color information from the short-exposure image data acquired in advance. The light source information estimating means estimates information relating to the light source based on the color information extracted from the previously obtained short exposure image data, and A white balance adjustment means for setting a gain used for white balance adjustment based on information relating to a light source estimated based on color information extracted from the short-exposure image data acquired in advance; The composite image generated by the composite image data generation means based on the two or more image data in the same frame period as the short exposure image data related to the setting of the gain using the gain set by the gain setting means Adjust the white balance of the data.
このような構成であれば、合成用画像データ取得手段によって、撮像素子から、各フレーム期間において異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、2以上の画像データを取得することができる。更に、合成画像データ生成手段によって、取得した前記2以上の画像データを露光時間(露光量)の比率に基づき線形合成して合成画像データを生成することができる。 With such a configuration, two or more pieces of image data out of a plurality of image data obtained by imaging a subject with a plurality of different exposure times in each frame period from the image sensor by the image data acquisition unit for synthesis are obtained. Can be acquired. Furthermore, the composite image data generation means can generate composite image data by linearly combining the acquired two or more pieces of image data based on the ratio of exposure time (exposure amount).
また、色測定用画像データ取得手段によって、撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得することができ、色情報抽出手段によって、取得した短露光画像データから色情報を抽出することができる。
更に、光源情報推定手段によって、前記抽出した色情報に基づき、光源情報を推定することができ、ゲイン設定手段によって、推定した光源情報に基づきホワイトバランスの調整に用いるゲインを設定することができる。
Further, the color measurement image data acquisition means can acquire short exposure image data that is image data corresponding to the shortest exposure time among the plurality of image data from the image sensor, and the color information extraction means Color information can be extracted from the acquired short exposure image data.
Further, the light source information estimation means can estimate light source information based on the extracted color information, and the gain setting means can set a gain used for white balance adjustment based on the estimated light source information.
更に、ホワイトバランス調整手段によって、前記設定されたゲインを用いて合成画像データのホワイトバランスを調整することができる。
これにより、合成画像データを生成した2以上の画像データの取得フレームと同じフレームに取得される短露光画像データに基づきホワイトバランスを調整するためのゲインを設定することができる。そして、この設定したゲインを用いて、前記同じフレームの2以上の画像データから生成された合成画像データのホワイトバランスを調整することができる。
Furthermore, the white balance adjustment means can adjust the white balance of the composite image data using the set gain.
Thereby, the gain for adjusting the white balance can be set based on the short exposure image data acquired in the same frame as the acquisition frame of the two or more image data that generated the composite image data. Then, using this set gain, the white balance of the composite image data generated from the two or more image data of the same frame can be adjusted.
従来のホワイトバランスの調整は、ゲインの設定(決定)に用いた画像データのフレームとは別のフレームに取得された画像データから構成される合成画像データに対して前記設定されたゲインを用いてホワイトバランスの調整を行っている。つまり、フィードバック型の制御を行う構成となっている。これに対して、本形態の構成では、フィードフォワード型の制御によって、ホワイトバランスの調整を行うことができる。
従って、別フレームとした場合と比較して、例えば、光源が点滅などしていて光源の挙動が予測しにくい状況の場合などでも、常に安定な出力画像を得ることができる。
Conventional white balance adjustment uses the set gain for composite image data composed of image data acquired in a frame different from the frame of image data used for gain setting (determination). The white balance is adjusted. That is, the feedback type control is performed. On the other hand, in the configuration of this embodiment, white balance can be adjusted by feedforward control.
Therefore, it is possible to always obtain a stable output image even when, for example, the light source is blinking and it is difficult to predict the behavior of the light source as compared with the case of another frame.
また、短露光画像データから抽出した色情報に基づき、光源に係る情報を予測することができるので、光源を撮像範囲内に含めたときに、飽和せずに、且つ光源という高輝度の入力光に対して良好なレベルの信号を得ることができる。換言すると、光源と同じ輝度レベルの入力光に対してのみ「0」よりも大きいレベルとなる信号を得ることができる。
ここで、上記「色情報」とは、例えば、各色の画素数、各色の画素値の積算値などが該当する。
Further, since information related to the light source can be predicted based on the color information extracted from the short-exposure image data, when the light source is included in the imaging range, the high-luminance input light called the light source is not saturated. In contrast, a signal with a good level can be obtained. In other words, a signal having a level larger than “0” can be obtained only for input light having the same luminance level as the light source.
Here, the “color information” corresponds to, for example, the number of pixels of each color, an integrated value of pixel values of each color, and the like.
また、上記「ホワイトバランスの調整に用いるゲイン」とは、ホワイトバランスを調整するためのアンプ回路、乗算器等のゲインであり、合成画像データの各色の画素信号に対して乗算されるものである。但し、R(赤)、G(緑)、B(青)の各色の画素信号において、例えば、Gを基準としてホワイトバランスを調整する場合は、R及びBの画素信号に乗算されるゲインとなる。
また、上記「光源情報」とは、光源の種類、光源の色温度等の情報が該当する。
The “gain used for white balance adjustment” is a gain of an amplifier circuit, a multiplier, etc. for adjusting white balance, and is multiplied by the pixel signal of each color of the composite image data. . However, in the pixel signals of each color of R (red), G (green), and B (blue), for example, when white balance is adjusted based on G, the gain is multiplied by the R and B pixel signals. .
The “light source information” corresponds to information such as the type of light source and the color temperature of the light source.
更に、このような構成であれば、撮像素子から、各フレーム期間において異なる露光時間で撮像された画像データを容易に取得することができる。
Furthermore, with such a configuration, it is possible to easily acquire image data captured with different exposure times in each frame period from the image sensor.
また、このような構成であれば、撮像素子から他の画像データに先行して出力される短露光画像データを用いて、ホワイトバランスの調整に用いるゲインを設定することができる。更に、設定されたゲインを、短露光画像データと同じフレームで且つ短露光画像データよりも遅れて出力される2以上の画像データを線形合成してなる合成画像データのホワイトバランスの調整に用いることができる。
これにより、例えば、車載カメラやマシンビジョンなどのように実時間性が要求される
アプリケーションにおいて、実時間に近いタイミングでホワイトバランスの調整された合
成画像(映像)の取得を行うのに有効である。
In addition, with such a configuration, it is possible to set a gain used for white balance adjustment using short exposure image data output prior to other image data from the image sensor. Further, the set gain is used for white balance adjustment of composite image data obtained by linearly synthesizing two or more image data output in the same frame as the short exposure image data and later than the short exposure image data. Can do.
Thus, for example, in an application that requires real-time performance, such as an in-vehicle camera or machine vision, it is effective to acquire a composite image (video) with white balance adjusted at a timing close to real time. .
〔形態2〕 更に、形態2の画像処理装置は、形態1の画像処理装置において、
前記光源情報推定手段は、前記光源に係る情報として、光源の種類を推定する。
このような構成であれば、推定された光源の種類に基づき、ホワイトバランスの調整に
用いるゲインを設定することができる。
これにより、光源の種類が既知となるので、光源の種類に応じた適切なホワイトバラン
スの調整を行うことができる。
[Embodiment 2 ] Furthermore, the image processing apparatus of
The light source information estimation means estimates the type of light source as information relating to the light source.
With such a configuration, a gain used for white balance adjustment can be set based on the estimated type of light source.
Thereby, since the type of the light source is known, it is possible to adjust the white balance appropriately according to the type of the light source.
〔形態3〕 更に、形態3の画像処理装置は、形態2の画像処理装置において、
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の種
類と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出された色情報に対応する光源の種類を推定し、前記ゲイン設定手段は、光源の種類と該光源の各種類に対応する前記ゲインとを対応付けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の種類に対応するゲインを設定する。
[Mode 3 ] Furthermore, the image processing apparatus of
The light source information estimation unit is extracted by the color information extraction unit based on a database in which information in which each index value indicated by the color information is associated with the type of light source corresponding to each index value is registered. The type of light source corresponding to color information is estimated, and the gain setting means is configured to estimate the light source information based on a database in which information in which the type of light source is associated with the gain corresponding to each type of light source is registered. A gain corresponding to the type of light source estimated by the means is set.
このような構成であれば、光源の種類が推定されると、該光源の種類に対応付けてゲインの登録されたデータベースの中から、推定された光源の種類に対応するゲインを取得して、該取得したゲインをホワイトバランスの調整に用いるゲインとして設定することができる。
これにより、ゲインの設定において、計算処理等を行わずに済むので、リアルタイム処理等の速度を要するシステムに容易に組み込むことができる。
With such a configuration, when the type of light source is estimated, a gain corresponding to the estimated type of light source is obtained from a database in which gains are registered in association with the type of light source, The acquired gain can be set as a gain used for white balance adjustment.
As a result, it is not necessary to perform calculation processing or the like in setting the gain, and therefore, it can be easily incorporated into a system that requires speed such as real-time processing.
〔形態4〕 更に、形態4の画像処理装置は、形態2又は3の画像処理装置において、
前記光源情報推定手段において光源の種類が推定できなかったときは、前記ホワイトバ
ランスの調整を実施しない。
このような構成であれば、例えば、撮像領域内に複数種類の光源が存在する場合などに
おいて、不適切なホワイトバランスの調整を行うのを防ぐことができる。
[Form 4 ] Furthermore, the image processing apparatus of form 4 is the image processing apparatus of
When the light source information estimation unit cannot estimate the type of light source, the white balance is not adjusted.
With such a configuration, for example, when there are a plurality of types of light sources in the imaging region, inappropriate white balance adjustment can be prevented.
〔形態5〕 更に、形態7の画像処理装置は、形態1の画像処理装置において、
前記光源情報推定手段は、前記光源に係る情報として、光源の色温度を推定する。
このような構成であれば、光源の色温度が既知となるので、色温度に応じた適切なホワ
イトバランスの調整を行うことができる。
[Embodiment 5 ] Furthermore, the image processing device of embodiment 7 is the image processing device of
The light source information estimation means estimates a color temperature of the light source as information relating to the light source.
With such a configuration, since the color temperature of the light source is known, appropriate white balance adjustment according to the color temperature can be performed.
〔形態6〕 更に、形態6の画像処理装置は、形態5の画像処理装置において、
前記光源情報推定手段は、前記色情報の示す各指標値と該各指標値に対応する光源の色
温度と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出された色情報に対応する光源の色温度を推定し、前記ゲイン設定手段は、光源の色温度と前記ゲインとを対応付けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の色温度に対応するゲインを設定する。
[Mode 6 ] Further, the image processing apparatus of mode 6 is the same as the image processing apparatus of mode 5 ,
The light source information estimation means is extracted by the color information extraction means based on a database in which information in which each index value indicated by the color information is associated with the color temperature of the light source corresponding to each index value is registered. The color setting of the light source corresponding to the color information is estimated, and the gain setting means is estimated by the light source information estimation means based on a database in which information in which the color temperature of the light source is associated with the gain is registered. Set the gain corresponding to the color temperature of the light source.
このような構成であれば、光源の色温度が推定されると、該光源の色温度に対応付けてゲインの登録されたデータベースの中から、推定された光源の色温度に対応するゲインを取得して、該取得したゲインをホワイトバランスの調整に用いるゲインとして設定することができる。
これにより、ゲインの設定において、計算処理等を行わずに済むので、リアルタイム処理等の速度を要するシステムに容易に組み込むことができる。
With such a configuration, when the color temperature of the light source is estimated, a gain corresponding to the estimated color temperature of the light source is acquired from a database in which gains are registered in association with the color temperature of the light source. Thus, the acquired gain can be set as a gain used for white balance adjustment.
As a result, it is not necessary to perform calculation processing or the like in setting the gain, and therefore, it can be easily incorporated into a system that requires speed such as real-time processing.
〔形態7〕 更に、形態7の画像処理装置は、形態1乃至6のいずれか1の画像処理装
置において、
前記短露光画像データの露光時間を、前記被写体として含まれる光源又は光源の鏡面反
射光に対する画素信号のデータを出力できる最短の時間に設定した。
このような構成であれば、撮像素子に、光源又は光源の鏡面反射光の輝度以上の輝度の
入力光に対してのみ「0」よりも大きいレベルの信号を出力させることができる。
これにより、光源情報の推定精度を向上することができる。
[Mode 7 ] Furthermore, the image processing apparatus according to mode 7 is the image processing apparatus according to any one of
The exposure time of the short-exposure image data is set to the shortest time during which pixel signal data for the light source included in the subject or the specular reflection light of the light source can be output.
With such a configuration, it is possible to cause the image sensor to output a signal having a level higher than “0” only for input light having a luminance equal to or higher than the luminance of the light source or the specular reflection light of the light source.
Thereby, the estimation precision of light source information can be improved.
〔形態8〕 更に、形態8の画像処理装置は、形態1乃至7のいずれか1の画像処理装置において、
前記色情報抽出手段で抽出した色情報を記憶する色情報記憶手段を備える。
このような構成であれば、色情報記憶手段において、色情報抽出手段で抽出した色情報
を記憶することができるので、外部のPCなどにおいて、記憶された色情報を用いた処理
を行うことができる。
[Embodiment 8 ] Furthermore, the image processing apparatus of Embodiment 8 is the image processing apparatus of any one of
Color information storage means for storing the color information extracted by the color information extraction means is provided.
With such a configuration, the color information storage means can store the color information extracted by the color information extraction means, so that processing using the stored color information can be performed in an external PC or the like. it can.
〔形態9〕 更に、形態9の画像処理装置は、形態1乃至8のいずれか1の画像処理装置において、
前記ホワイトバランス調整手段でホワイトバランスを調整後の合成画像データの輝度を
変換して階調特性の異なる合成画像データを生成する画像変換手段を備える。
このような構成であれば、ホワイトバランスを調整後の合成画像データについて、例え
ば、表示装置の表示可能な階調範囲に合わせて輝度のレンジを圧縮するなど所望の階調特
性の画像へと変換することができる。
[Embodiment 9 ] Furthermore, the image processing apparatus of Embodiment 9 is the image processing apparatus of any one of
Image conversion means for converting the brightness of the composite image data after the white balance is adjusted by the white balance adjustment means to generate composite image data having different gradation characteristics.
With such a configuration, the composite image data after adjusting the white balance is converted into an image having a desired gradation characteristic, for example, by compressing the luminance range according to the gradation range that can be displayed by the display device. can do.
〔形態10〕 一方、上記目的を達成するために、形態10の画像処理方法は、
被写体を撮像可能な撮像素子から、該撮像素子にて各フレーム期間において異なる複数
の露光時間で被写体を撮像して得られる複数の画像データのうち、2以上の画像データを
取得する合成用画像データ取得ステップと、前記合成用画像データ取得ステップにおいて取得した前記2以上の画像データを露光時間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成ステップと、前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データである短露光画像データを取得する色測定用画像データ取得ステップと、前記色測定用画像データ取得ステップにおいて取得した短露光画像データから色情報を抽出する色情報抽出ステップと、前記色情報抽出ステップにおいて抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報を推定する光源情報推定ステップと、前記光源情報推定ステップにおける推定結果に基づき、ホワイトバランスの調整に用いるゲインを設定するゲイン設定ステップと、前記ゲイン設定ステップにおいて設定したゲインを用いて、当該ゲインの設定に係る前記短露光画像データと同じフレーム期間の前記2以上の画像データを合成して生成される合成画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、を含み、
前記色測定用画像データ取得ステップでは、前記撮像素子が、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになっており、前記合成用画像データ取得ステップでは、前記撮像素子から、各フレーム期間における最長の露光時間に対応する画像データを含む2以上の画像データを取得し、前記合成画像データ生成ステップでは、前記最長の露光時間に対応する画像データを含む2以上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得ステップでは、前記撮像素子から、前記合成用画像データ取得ステップが前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも先行して前記短露光画像データを取得し、前記色情報抽出ステップでは、前記先行して取得した短露光画像データから前記色情報を抽出し、前記光源情報推定ステップでは、前記先行して取得した短露光画像データから抽出された色情報に基づき光源に係る情報を推定し、前記ゲイン設定ステップでは、前記先行して取得した短露光画像データから抽出された色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを設定し、前記ホワイトバランス調整ステップでは、前記ゲイン設定手段で設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記2以上の画像データに基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを調整する。
これにより、形態1の画像処理装置と同等の作用及び効果が得られる。
[Mode 10 ] On the other hand, in order to achieve the above object, an image processing method according to
Image data for synthesis that acquires two or more image data from a plurality of image data obtained by imaging a subject with a plurality of different exposure times in each frame period from the imaging device capable of imaging the subject. From the acquisition step, a combined image data generation step of generating a combined image data by linearly combining the two or more image data acquired in the combining image data acquisition step based on an exposure time ratio, Color measurement image data acquisition step for acquiring short exposure image data that is image data corresponding to the shortest exposure time among a plurality of image data, and color from the short exposure image data acquired in the color measurement image data acquisition step A color information extraction step for extracting information, and based on the color information extracted in the color information extraction step; A light source information estimation step for estimating information related to a light source at the time of imaging a subject, a gain setting step for setting a gain used for white balance adjustment based on an estimation result in the light source information estimation step, and a setting in the gain setting step A white balance adjustment step for adjusting white balance of synthesized image data generated by synthesizing the two or more image data in the same frame period as the short-exposure image data related to the setting of the gain using the gain , only including,
In the color measurement image data acquisition step, the image sensor can read out pixel signals by a non-destructive readout method of reading out pixel signals corresponding to the accumulated charges while maintaining accumulated charges from the pixels. In the frame period, each pixel is exposed at the plurality of different exposure times in order from the shortest exposure time, and the pixel signal is read from each exposed pixel by the nondestructive readout method, and the exposure time corresponds to each exposure time. The pixel signal data constituting the image data to be output is output, and in the synthesis image data acquisition step, two or more image data including the image data corresponding to the longest exposure time in each frame period are received from the image sensor. In the composite image data generation step, image data corresponding to the longest exposure time is obtained. It generates a composite image data on the basis of free 2 or more image data,
In the color measurement image data acquisition step, the short-exposure image data is acquired from the image sensor prior to the synthesis image data acquisition step acquiring image data corresponding to the longest exposure time in each frame period. In the color information extraction step, the color information is extracted from the previously acquired short exposure image data, and in the light source information estimation step, the color information extraction step is extracted from the previously acquired short exposure image data. Information on a light source is estimated based on color information, and in the gain setting step, white balance adjustment is performed based on information on the light source estimated based on color information extracted from the short-exposure image data acquired in advance. In the white balance adjustment step, the gain set by the gain setting means is used. Adjusting the white balance of the combined image data generated in the synthetic image data generating unit on the basis of the two or more image data of the same frame period as the short-exposure image data according to the setting of the gain.
Thereby, the same operation and effect as those of the image processing apparatus of
〔形態11〕 また、上記目的を達成するために、形態11の撮像装置は、
被写体を撮像可能な撮像素子と、 形態1乃至9のいずれか1に記載の画像処理装置と、を備える。
このような構成であれば、形態1乃至11のいずれか1に記載の画像処理装置と同等の
作用及び効果が得られる。
[Mode 11 ] In order to achieve the above object, an imaging apparatus according to
An image sensor capable of imaging a subject, and the image processing device according to any one of
With such a configuration, operations and effects equivalent to those of the image processing apparatus according to any one of
以下、本発明の実施形態を図面に基づき説明する。図1〜図14は、本発明に係る画像処理装置、画像処理方法及び撮像装置の実施形態を示す図である。
(1)撮像装置の構成例
まず、本発明に係る撮像装置の構成を図1〜図2に基づき説明する。図1は、本発明に係る撮像装置1の構成を示すブロック図である。また、図2は、HDR撮像素子10の内部構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. 1 to 14 are diagrams showing an embodiment of an image processing apparatus, an image processing method, and an imaging apparatus according to the present invention.
(1) Configuration Example of Imaging Device First, the configuration of the imaging device according to the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing a configuration of an
撮像装置1は、図1に示すように、HDR撮像素子10と、画像処理装置20とを含んで構成される。
撮像素子10は、図2に示すように、撮像レンズ10aと、マイクロレンズ10bと、カラーフィルターアレイ10cと、HDRセンサー10dと、駆動回路10eと、読出回路10fとを含んで構成される。
撮像レンズ10aは、被写体からの反射光を集光して、マイクロレンズ10bへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
As illustrated in FIG. 1, the
As shown in FIG. 2, the
The
マイクロレンズ10bは、撮像レンズ10aを透過した光をHDRセンサー10dの有するセンサーセルアレイの各センサーセル(画素)に集光するものである。
カラーフィルターアレイ10cは、マイクロレンズ10bを透過した光から所定の1種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部(以下、CF部と称す)を少なくとも画素数分含んで構成されるものである。
The
The
HDRセンサー10dは、各センサーセル(画素)がフォトダイオード及びCMOS素子から構成されるセンサーセルアレイを有し、電子シャッター方式によって露光時間を制御して露光時間の異なる複数種類の画像データを出力するものである。
駆動回路10eは、不図示のレジスターで設定される駆動モードと画像処理装置20からの同期信号とに基づき、HDRセンサー10dと読出回路10fとを駆動するものである。本実施形態においては、異なる露光時間で被写体を撮像するように駆動し、露光時間の異なる複数種類の撮像画像データを出力する。
The
The
読出回路10fは、HDRセンサー10dから撮像画像信号を読み出し、読み出した撮像画像信号(アナログ)に対してA/D変換を含む各種信号処理を施してデジタルの撮像画像データとして画像処理装置20に出力する。このとき、読出回路10fは、駆動回路10eを介して供給される画像処理装置20からの同期信号に同期して撮像画像データを出力する。
画像処理装置20は、HDR撮像素子10から出力される、露光時間の異なる複数種類の撮像画像データに基づき、ノイズ除去処理、合成処理、色処理、輝度画像データ生成処理、輝度値→ゲイン変換処理、レベル変換(トーンマッピング)処理、γ変換処理等を行うものである。なお、詳細な構成は後述する。
The
The
(2)カラーフィルターアレイの構成例
次に、図3に基づき、カラーフィルターアレイ10cの構成を説明する。
ここで、図3は、カラーフィルターアレイ10cの構成を示す図である。
図3において、R、G、Bは、光の3原色(赤色、緑色、青色)のいずれか1色の波長領域の光を選択的に透過するCF部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、R00であれば、行番号1の第1列目の画素に対応するRの波長領域の光を透過するフィルター部となる。なお、本実施形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置2は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
(2) Configuration Example of Color Filter Array Next, the configuration of the
Here, FIG. 3 is a diagram showing a configuration of the
In FIG. 3, R, G, and B correspond to CF portions that selectively transmit light in the wavelength region of any one of the three primary colors (red, green, and blue), and are attached to these. The attached numbers indicate row numbers and column numbers. For example, if R 00, a filter portion that transmits light in the wavelength region of R corresponding to the first column of the
具体的に、カラーフィルターアレイ10c(以下、CFアレイ10cと称す)は、マイクロレンズ10bを介して入射された光から、赤色に対応する波長領域の光(以下、R光と称す)、緑色に対応する波長領域の光(以下、G光と称す)及び青色に対応する波長領域の光(以下、B光と称す)のうち所定の1色に対応する波長領域の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のCF部から構成されている。
Specifically, the
より具体的に、CFアレイ10cは、図3に示すように、入射光からR光を分離して、該分離したR光を画素に入射する複数のR光透過フィルター部(図3中のR)と入射光からG光を分離して、該分離したG光を画素に入射する複数のG光透過フィルター部(図3中のG)とがR→G→R→G→R→G→・・・の順で水平方向に連続した構成のフィルターラインRGFLを複数備えている。
More specifically, as shown in FIG. 3, the
更に、複数のG光透過フィルター部と、入射光からB光を分離して、該分離したB光を画素に入射する複数のB光透過フィルター部(図3中のB)とがG→B→G→B→G→B→・・・の順で水平方向に連続した構成のフィルターラインGBFLを複数備えている。これら複数の、フィルターラインRGFLと、フィルターラインGBFLとは、図2に示すように、RGFL→GBFL→RGFL→GBFL→RGFL→・・・の順で垂直方向に連続して配列されている。つまり、複数のG光透過フィルター部と、複数のB光透過フィルター部と、複数のR光透過フィルター部とがベイヤ型に配列された構成となっている。 Further, a plurality of G light transmission filter sections and a plurality of B light transmission filter sections (B in FIG. 3) for separating the B light from the incident light and entering the separated B light into the pixels are G → B. A plurality of filter lines GBFL having a configuration that is continuous in the horizontal direction in the order of G → B → G → B →. The plurality of filter lines RGFL and filter lines GBFL are continuously arranged in the vertical direction in the order of RGFL → GBFL → RGFL → GBFL → RGFL →... That is, a plurality of G light transmission filter sections, a plurality of B light transmission filter sections, and a plurality of R light transmission filter sections are arranged in a Bayer shape.
(3)HDRセンサー10dの駆動制御方法について
次に、図4〜図6に基づき、撮像素子10のHDRセンサー10dの露光時間の制御方法、及びセンサーセルアレイからの画素信号の読み出し方法について説明する。ここで、図4は、HDRセンサー10dのセンサーセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図5は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。また、図6は、HDRセンサー10dからの画素データの出力形式の一例を示す図である。
(3) About the drive control method of the
ここで、本発明の露光時間の制御は、センサーセルアレイの露光領域(走査領域)に対して、超短露光時間T_S1の画素信号の非破壊読み出しを行う非破壊読み出しラインL1と、短露光時間T_S2の画素信号の非破壊読み出しを行う非破壊読み出しラインL2とを設定する。更に、各画素のラインの蓄積電荷のリセット及び標準露光時間T_S3の画素信号の読み出しを行う読み出し&リセットラインL3を設定する。
なお、T_S1〜T_S3の関係は、図5に示すように、「T_S1<T_S2<T_S3」となっている。
ここで、超短露光時間T_S1は、標準露光時間T_S3の1/100〜1/1000の時間とすることが望ましく、短露光時間T_S2は、標準露光時間T_S3の1/10〜1/100の時間とすることが望ましい。
Here, the exposure time of the present invention is controlled by the non-destructive readout line L1 for performing non-destructive readout of the pixel signal of the ultrashort exposure time T_S1 and the short exposure time T_S2 with respect to the exposure region (scanning region) of the sensor cell array. A non-destructive readout line L2 for performing non-destructive readout of the pixel signal is set. Further, a read & reset line L3 for resetting the accumulated charge of each pixel line and reading the pixel signal of the standard exposure time T_S3 is set.
The relationship between T_S1 to T_S3 is “T_S1 <T_S2 <T_S3” as shown in FIG.
Here, the ultrashort exposure time T_S1 is preferably 1/100 to 1/1000 of the standard exposure time T_S3, and the short exposure time T_S2 is 1/10 to 1/100 of the standard exposure time T_S3. Is desirable.
また、標準露光時間T_S3は、反射率0〜100%にてHDRセンサー10dから有効な出力が得られるように時間を設定する。一方、超短露光時間T_S1は、反射率換算で10,000%〜100,000%(鏡面反射でも信号出力が未飽和)となるように時間を設定する。
特に、超短露光時間T_S1は、光源及び光源の鏡面反射光以外の入射光に対して「0」又は極めて低い信号レベルとなる画素信号を出力する時間に設定することが望ましい。換言すると、超短露光時間T_S1は、光源の輝度範囲の光入力に対してのみ「0」よりも大きいレベルの信号出力を行う時間に設定することが望ましい。なお、詳細な理由については後述する。
The standard exposure time T_S3 is set so that an effective output can be obtained from the
In particular, it is desirable to set the ultrashort exposure time T_S1 to a time for outputting a pixel signal that is “0” or an extremely low signal level with respect to incident light other than the light source and the specularly reflected light of the light source. In other words, it is desirable to set the ultrashort exposure time T_S1 to a time for outputting a signal having a level larger than “0” only for the light input in the luminance range of the light source. The detailed reason will be described later.
そして、読み出し&リセットラインL3の設定によって蓄積電荷がリセットされると、まずT_S1経過時に非破壊読み出しラインL1が設定される。次にT_S2経過時に非破壊読み出しラインL2が設定され、次にT_S3経過時に読み出し&リセットラインL3が設定される。
具体的に、非破壊読み出しラインL1及びL2並びに読み出し&リセットラインL3は、図4に示すように、露光領域における画素のラインに順次標準露光時間T_S3分の電荷が蓄積されると、読み出し&リセットラインL3が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間T_S3の時間分の電荷が蓄積される期間中、超短露光時間T_S1及び短露光時間T_S2において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインL1及びL2がそれぞれ設定される。
When the accumulated charge is reset by setting the read & reset line L3, first, the nondestructive read line L1 is set when T_S1 has elapsed. Next, the non-destructive read line L2 is set when T_S2 elapses, and the read & reset line L3 is set when T_S3 elapses.
Specifically, the non-destructive read lines L1 and L2 and the read & reset line L3 are read and reset when charges corresponding to the standard exposure time T_S3 are sequentially accumulated in the pixel lines in the exposure region, as shown in FIG. The line L3 is set so as to sequentially read out pixel signals of the lines of the respective pixels and to sequentially reset the accumulated charges. On the other hand, in the line of each pixel after resetting the exposure area, the pixel signal of the line of each pixel is obtained during the ultrashort exposure time T_S1 and the short exposure time T_S2 during the period in which the charge for the standard exposure time T_S3 is accumulated. Non-destructive read lines L1 and L2 are set to sequentially read non-destructively.
なお、本実施の形態においては、図4に示すように、リセット直後の超短露光時間T_S1に対応する画素信号(アナログデータ)S1は、第1ラインメモリーに読み出され、短露光時間T_S2に対応する画素信号(アナログデータ)S2は、第2ラインメモリーに読み出される。更に、標準露光時間T_S3に対応する画素信号(アナログデータ)S3は、第3ラインメモリーに読み出される。そして、これら読み出された画素信号S1〜S3は、図3に示すように、それぞれ選択回路を経てADCにS1〜S3の順で順次出力されそこでデジタルデータ(画素データ)に変換される。変換された各画素データは、変換された順に(S1〜S3の順に)ライン単位で画像処理装置20に出力される。
In the present embodiment, as shown in FIG. 4, the pixel signal (analog data) S1 corresponding to the ultrashort exposure time T_S1 immediately after the reset is read out to the first line memory and at the short exposure time T_S2. The corresponding pixel signal (analog data) S2 is read out to the second line memory. Further, the pixel signal (analog data) S3 corresponding to the standard exposure time T_S3 is read to the third line memory. Then, as shown in FIG. 3, the read pixel signals S1 to S3 are sequentially output to the ADC in the order of S1 to S3 through the selection circuits, and are converted into digital data (pixel data) there. The converted pixel data is output to the
また、上記非破壊読み出しラインL1及びL2並びに読み出し&リセットラインL3の画素信号の読み出しタイミングの制御は、図4に示すように、各画素のライン毎に、読み出し&リセットラインL3を順次走査する(図4のスキャン方向)。そして、読み出し&リセットラインL3においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット直前に標準露光時間T_S3の露光が行われた画素の画素信号の読み出しを行う。更に、リセット後に、超短露光時間T_S1の画素信号の読み出しを行う。 In addition, as shown in FIG. 4, the readout timing of the pixel signals on the non-destructive readout lines L1 and L2 and readout & reset line L3 is sequentially scanned for each pixel line (see FIG. 4). Scan direction in FIG. 4). In the read & reset line L3, the accumulated charge is reset, and the pixel signal of the pixel that has been exposed for the standard exposure time T_S3 immediately before the accumulated charge is reset is read. Further, after reset, the pixel signal of the ultrashort exposure time T_S1 is read.
例えば、露光領域の一番目のラインである第1ラインにおいて標準露光時間T_S3の画素信号S3の読み出し及びリセットが行われたとする。以降は、画素信号S3が第3ラインメモリーから全て外部に読み出される毎に、図4中のスキャン方向に1ラインずつ、読み出し&リセットラインL3の走査が順次行われる。このとき、読み出し&リセットラインL3が再び第1ラインに到達したときに、丁度標準露光時間T_S3が経過するタイミングとなるように走査が行われる。このような手順で、センサーセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、標準露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。 For example, it is assumed that the pixel signal S3 of the standard exposure time T_S3 is read and reset on the first line that is the first line of the exposure region. Thereafter, every time the pixel signal S3 is read from the third line memory to the outside, scanning of the read & reset line L3 is sequentially performed one line at a time in the scan direction in FIG. At this time, when the read & reset line L3 reaches the first line again, scanning is performed so that the standard exposure time T_S3 has just passed. In such a procedure, the pixel signal is read out and the stored charge is reset at the time of standard exposure for each pixel line for the pixel line in the exposure region of the sensor cell array.
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインL1において超短露光時間T_S1の露光が行われた画素の画素信号S1の非破壊読み出しを行い、引き続き、非破壊読み出しラインL2において短露光時間T_S2の露光が行われた画素の画素信号S2の非破壊読み出しを行う。このような手順で、センサーセルアレイの各画素のラインに対して、ライン毎に、超短露光時間T_S1及び短露光時間T_S2で露光時の画素信号S1及びS2の非破壊読み出しを順次行う。 On the other hand, when the accumulated charge is reset, non-destructive readout of the pixel signal S1 of the pixel that has been exposed for the ultrashort exposure time T_S1 in the non-destructive readout line L1 is performed on the reset pixel line. Subsequently, non-destructive readout of the pixel signal S2 of the pixel that has been exposed for the short exposure time T_S2 in the non-destructive readout line L2 is performed. According to such a procedure, the pixel signals S1 and S2 at the time of exposure are sequentially read out for each line of each pixel of the sensor cell array with the ultrashort exposure time T_S1 and the short exposure time T_S2.
このようにして読み出された画素信号S1〜S3は、ライン毎に、第1ラインメモリー〜第3ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、S1〜S3の順でアナログの画素データS1〜S3がADCに出力される。ADCは、アナログの画素データS1〜S3を、デジタルの画素データS1〜S3に変換する。そして、ADCからは、図6に示すように、水平同期(HSYNC)信号に同期して、ライン単位でS1〜S3の順に画素データが順次、画像処理装置20へと出力される。つまり、画像処理装置20には、図6に示すように、画素データS3に先行して、画素データS1〜S2が、S1→S2の順に入力される。
The pixel signals S1 to S3 read out in this way are stored in the first line memory to the third line memory for each line and output to the selection circuit in line units. From the selection circuit, analog pixel data S1 to S3 are output to the ADC in the order of S1 to S3. The ADC converts the analog pixel data S1 to S3 into digital pixel data S1 to S3. As shown in FIG. 6, the ADC sequentially outputs pixel data to the
(4)画像処理装置の構成例
次に、図7〜図13に基づき、画像処理装置20の詳細な構成を説明する。
ここで、図7は、画像処理装置20の内部構成の一例を示すブロック図である。また、図8は、HDR本線処理部26の内部構成の一例を示すブロック図である。また、図9は、色測光部25、HDR線形処理部30及びWB調整部31の内部構成の一例を示すブロック図である。また、図10は、合成処理部30aの内部構成の一例を示すブロック図である。また、図11は、色情報抽出部40の内部構成の一例を示すブロック図である。また、図12は、光源情報推定部41の内部構成の一例を示すブロック図である。また、図13は、WBゲイン設定部42の内部構成の一例を示すブロック図である。
(4) Configuration Example of Image Processing Device Next, a detailed configuration of the
Here, FIG. 7 is a block diagram illustrating an example of an internal configuration of the
画像処理装置20は、図7に示すように、プリプロセス部21と、遅延部22〜24と、色測光部25と、HDR本線処理部26と、色測光結果記憶部27とを含んで構成される。
なお、画像処理装置20は、画像処理用のDSP(Digital Signal Processor)として構成されており、図示は省略するが、上記各構成部の動作を制御するプロセッサー、上記各構成部の動作に必要なプログラムや制御パラメーター等のデータを記憶するメモリー、上記各構成部の動作タイミングを制御するタイミングジェネレーターなどを備えている。
As shown in FIG. 7, the
Note that the
プリプロセス部21は、HDRセンサー10dからの画素信号(画素データS1〜S3)に対して、リセット直後となる超超短露光時間T0(T0≦T1)の画素データS0を用いた固定パターンノイズの除去処理、クランプ処理などを行う。
具体的に、固定パターンノイズの除去処理は、各露光時間の画素データS1〜S3から、リセット直後の画素信号に対応する画素データS0を各対応する画素毎に減算する処理となる。つまり、画素データS0は、電荷の蓄積量が少なく、固定パターンノイズの成分に支配されているので、このデータを、他の露光時間のデータから減算することで、固定パターンノイズの成分のみを除去することができる。なお、リセット直後の画素データS0は、超短露光時間の画素データS1と同一となる場合があり、その場合は、画素データS2〜S3のみについて減算処理を行う。
The
Specifically, the fixed pattern noise removal process is a process of subtracting the pixel data S0 corresponding to the pixel signal immediately after the reset for each corresponding pixel from the pixel data S1 to S3 of each exposure time. In other words, the pixel data S0 has a small amount of charge accumulation and is dominated by the fixed pattern noise component. Therefore, by subtracting this data from the other exposure time data, only the fixed pattern noise component is removed. can do. Note that the pixel data S0 immediately after the reset may be the same as the pixel data S1 of the ultrashort exposure time. In this case, the subtraction process is performed only on the pixel data S2 to S3.
また、クランプ処理は、HDRセンサー10dからの画素データS1〜S3を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒(基準)レベルになるように、全ての入力画素データの直流成分をクランプする処理となる。
そして、固定パターンノイズの除去処理及びクランプ処理を経た画素データS1〜S3は、遅延部22〜24を介して出力タイミングを同期させて、HDR本線処理部26に出力される。以下、露光時間T_S1〜T_S3にそれぞれ対応する撮像画像データ(1フレーム分の画素データ)を、画素データS1〜S3と同様に、撮像画像データS1〜S3と称す。
The clamp process receives the pixel data S1 to S3 from the
The pixel data S <b> 1 to S <b> 3 that have undergone the fixed pattern noise removal process and the clamp process are output to the HDR main
遅延部22〜24は、露光時間の長さに応じて順番に出力される画素データS1〜S3を、遅延量d_S1〜d_S3でそれぞれ遅延させる遅延素子を有している。そして、画素データS1〜S3の出力タイミングを同期させる機能を有している。
具体的に、遅延部22の遅延素子は画素データS3を遅延量d_S3で遅延させ、遅延部23の遅延素子は画素データS2を遅延量d_S2で遅延させ、遅延部24の遅延素子は画素データS1を遅延量d_S3で遅延させる(d_S3<d_S2<d_S1)。
The
Specifically, the delay element of the
画素データS1に対する画素データS2及びS3の出力遅延時間を単純にdT2(T_S2−T_S1)及びdT3(T_S3−T_S1)とし、その他の処理遅延を補正する遅延量をΔt1、Δt2、Δt3とする。この場合に、「(d_S3=Δt3+dT3)=(d_S2=Δt2+dT2)=(d_S1=Δt1)」の関係が成り立つ。
色測光部25は、プリプロセス部21から出力される撮像画像データS1に基づき、色情報の抽出処理、光源情報の推定処理及びWBゲインの設定処理を行う。
The output delay times of the pixel data S2 and S3 with respect to the pixel data S1 are simply dT2 (T_S2-T_S1) and dT3 (T_S3-T_S1), and delay amounts for correcting other processing delays are Δt1, Δt2, and Δt3. In this case, the relationship “(d_S3 = Δt3 + dT3) = (d_S2 = Δt2 + dT2) = (d_S1 = Δt1)” is established.
The
HDR本線処理部26は、遅延部22〜24を介して同期して入力される撮像画像データS1〜S3と、色測光部25から入力されるWBゲインとに基づき、HDR合成処理、色処理、ホワイトバランス調整処理、レベル補正処理、ガンマ変換処理を行う。そして、ガンマ変換処理後の画像データ信号をビデオ信号として出力する。ビデオ信号は、業界標準の規格に準じた形態で、例えば8ビットのレンジに圧縮された画像信号である。
色測光結果記憶部27は、色測光部25において各フレームの画素データS1から抽出される色情報を記憶するメモリーと、メモリーインターフェース(IF)とを有し、色測光部25からメモリーインターフェースを介して入力される色情報をメモリーに記憶する。
The HDR main
The color photometry
(4−1)色測光部25の構成例
まず、図9〜図12に基づき、色測光部25の詳細な構成について説明する。
色測光部25は、図9に示すように、1フレーム分の画素データS1から色情報を抽出する色情報抽出部40と、抽出された色情報に基づき光源情報を推定する光源情報推定部41と、推定された光源情報に基づきWBゲインを設定するWBゲイン設定部42とを含んで構成される。
(4-1) Configuration Example of
As shown in FIG. 9, the
(4−1−1)色情報抽出部40の構成例
色情報抽出部40は、図10に示すように、色分離器60と、加算器61a〜61cと、R出力用レジスター62aと、G出力用レジスター62bと、B出力用レジスター62cとを含んで構成される。
色分離器60は、図3に示すカラーフィルターアレイ10cの各色の配列規則(ベイヤ配列)に応じた読み出し順番に基づき、その読み出し順に入力される画素データS1を、該S1の色に対応する加算器へと出力する。
(4-1-1) Configuration Example of Color
The
具体的に、入力された画素データS1がR光透過フィルター部を透過したR光を受光した画素の画素データS1である場合は、その画素信号(以下、R信号と称す)を加算器61aに出力する。また、G光透過フィルター部を透過したG光を受光した画素の画素データS1である場合は、その画素信号(以下、G信号と称す)を加算器61bに出力する。また、B光透過フィルター部を透過したB光を受光した画素の画素データS1である場合は、その画素信号(以下、B信号と称す)を加算器61cに出力する。
Specifically, when the input pixel data S1 is pixel data S1 of a pixel that has received R light transmitted through the R light transmission filter unit, the pixel signal (hereinafter referred to as R signal) is sent to the
加算器61aは、色分離器60から入力されるR信号の示す画素値rと、R出力用レジスター62aから入力される1つ前のrの積算値(初期値は0)とを加算して、その加算結果である現在のrの積算値(以下、r積算値と称す)を示すRA信号をR出力用レジスター62aに出力する。
加算器61bは、色分離器60から入力されるG信号の示す画素値gと、G出力用レジスター62bから入力される1つ前のgの積算値(初期値は0)とを加算して、その加算結果である現在のgの積算値(以下、g積算値と称す)を示すGA信号をG出力用レジスター62bに出力する。
The
The
加算器61cは、色分離器60から入力されるB信号の示す画素値bと、B出力用レジスター62cから入力される1つ前のbの積算値(初期値は0)とを加算して、その加算結果である現在のbの積算値(以下、g積算値と称す)を示すBA信号をB出力用レジスター62cに出力する。
R出力用レジスター62aは、加算器61aから入力されるRA信号の示すr積算値を格納すると共に、加算器61aへのR信号の入力タイミングに同期して、格納されているr積算値を示す信号を加算器61aへと出力する。
The
The
また、R出力用レジスター62aは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているr積算値をリセットする(初期値にする)。
つまり、加算器61a及びR出力用レジスター62aによって、順次入力される最新のR信号の画素値rと1つ前の加算結果であるr積算値とを加算し、その加算結果を、R出力用レジスター62aに格納(上書き)する処理を繰り返し行う。
G出力用レジスター62bは、加算器61bから入力されるGA信号の示すg積算値を格納すると共に、加算器61bへのG信号の入力タイミングに同期して、格納されているg積算値を示す信号を加算器61bへと出力する。
Further, the
That is, the
The
また、G出力用レジスター62bは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているg積算値をリセットする(初期値にする)。
つまり、加算器61b及びG出力用レジスター62bによって、順次入力される最新のG信号の画素値gと1つ前の加算結果であるg積算値とを加算し、その加算結果を、G出力用レジスター62bに格納(上書き)する処理を繰り返し行う。
B出力用レジスター62cは、加算器61cから入力されるBA信号の示すb積算値を格納すると共に、加算器61cへのB信号の入力タイミングに同期して、格納されているb積算値を示す信号を加算器61cへと出力する。
The
That is, the
The
また、B出力用レジスター62cは、不図示のリセット回路からのフレームリセット信号の入力に応じて、格納しているb積算値をリセットする(初期値にする)。
つまり、加算器61c及びB出力用レジスター62cによって、順次入力される最新のB信号の画素値bと1つ前の加算結果であるb積算値とを加算し、その加算結果を、B出力用レジスター62cに格納(上書き)する処理を繰り返し行う。
Further, the
That is, the
また、本実施形態では、1フレーム分の画素データS1に対するr,g,b積算値がR,G,B出力用レジスター62a,62b,62cのうち各々の対応するレジスターに格納されると、格納されたr,g,b積算値が、光源情報推定部41及び色測光結果記憶部27によって取得される。具体的に、光源情報推定部41からの取得信号に応じて、光源情報推定部41及び色測光結果記憶部27に各レジスターに格納されたr,g,b積算値が出力される。その後、次のフレームの画素データS1が加算器61a〜61cに入力される前において、フレームリセット信号により、R,G,B出力用レジスター62a,62b,62cの各格納値がリセットされる。
つまり、1フレーム分の画素データS1に対する、r積算値、g積算値及びb積算値が色情報として、光源情報推定部41及び色測光結果記憶部27に出力される。
これにより、色測光結果記憶部27は、色情報抽出部40からのr,g,b積算値をメモリーIFを介して受信すると、受信したr,g,b積算値をメモリーに記憶する。
Further, in this embodiment, when the r, g, b integrated values for the pixel data S1 for one frame are stored in the corresponding registers among the R, G,
That is, the r integrated value, the g integrated value, and the b integrated value for the pixel data S1 for one frame are output to the light source
Thus, when the color photometric
ここで、1フレーム分の画素データS1を用いて色測光(上記r,g,b積算値の演算処理)を行う理由の一つは、極めて露光時間の短い画素データS1には飽和レベルの画素データが無いことである。もう一つの理由は、極めて露光時間が短いので、光源そのものが撮像レンズ10aに到達して結像する場合、もしくは光源が鏡面反射して撮像レンズ10aに到達して結像する場合などの、比較的高輝度の入射光に対してはHDRセンサー10dから「0」よりも大きいレベルの信号が出力される。その一方で、吸収と乱反射する被写体からの反射光が撮像レンズに到達して結像する場合は、光源や光源の鏡面反射光などと比較して低輝度となるためHDRセンサー10dからの信号レベルがほぼ「0」になることである。例えば、マクベスチャートを撮影した場合、超短露光時間T_S1の撮像画像は形成されない(乱反射光で生成される信号レベルはほぼ0)。逆に言うと、超短露光時間T_S1は、乱反射する反射光では画像を形成しない短い時間となるように設定する。よって、もし、被写体が赤い布で覆われても、色測光では、それは無視される。このようにすることで、光源の光、もしくは光源の鏡面反射光のみに対する各色信号の画素値を積算することができる。これにより、後段の光源情報推定部41において、光源情報の推定精度を向上させることができる。
Here, one of the reasons for performing color photometry (calculation processing of the above-mentioned r, g, b integrated value) using the pixel data S1 for one frame is that the pixel data S1 having an extremely short exposure time has a saturation level pixel. There is no data. Another reason is that the exposure time is so short that the light source itself reaches the
(4−1−2)光源情報推定部41の構成例
光源情報推定部41は、図11に示すように、色情報→光源情報変換部41aと、光源情報記憶部41bとを含んで構成される。
色情報→光源情報変換部41aは、色情報抽出部40に1フレームの色測光処理が終了するタイミングで取得信号を出力し、これにより色情報抽出部40から色情報を取得する。更に、取得した色情報と、光源情報記憶部41bに記憶された光源情報データベースとに基づき、取得した色情報に対応する光源情報を推定する。
光源情報記憶部41bは、色情報と光源情報とを対応付けた情報が登録された光源情報データベースが記憶されたメモリーである。
(4-1-2) Configuration Example of Light Source
The color information → light source
The light source
具体的に、光源情報推定部41は、r積算値をir、g積算値をig、b積算値をibとして、igを基準とした積算値の比率「Rrg=ir/ig」と、「Rbg=ib/ig」とを算出する。なお、「Rgg=ig/ig=1」となる。
この比率Rrg及びRbgは、光源の光又は光源の鏡面反射光などの入射光に対する信号成分に大部分を支配された超短露光画像の各色に対応する画素値の積算値から計算されているため、光源の色の特性等を判断するのに適している。
Specifically, the light source
The ratios Rrg and Rbg are calculated from the integrated values of the pixel values corresponding to the colors of the ultra-short exposure image that is largely dominated by the signal component with respect to the incident light such as the light of the light source or the specular reflection light of the light source. It is suitable for judging the color characteristics of the light source.
また、光源としては、例えば、太陽光(朝、昼、夕)、白熱電球、放電灯、発光ダイオード、レーザーなどがある。
白熱電球は、白熱灯、ハロゲン灯を含み、放電灯は、アーク放電灯とグロー放電灯とに大別され、アーク放電灯に属するものに、水銀灯、ナトリウム灯、キセノン灯、メタルハライド灯などがある。また、水銀灯に属するものに、蛍光灯、高圧水銀灯、超高圧水銀灯などがある。また、グロー放電灯に属するものに、ネオン管灯、ネオン電灯、キセノンフラッシュなどがある。
Examples of the light source include sunlight (morning, noon, evening), an incandescent bulb, a discharge lamp, a light emitting diode, and a laser.
Incandescent lamps include incandescent lamps and halogen lamps. Discharge lamps are broadly classified into arc discharge lamps and glow discharge lamps, and those belonging to arc discharge lamps include mercury lamps, sodium lamps, xenon lamps and metal halide lamps. . In addition, there are fluorescent lamps, high-pressure mercury lamps, ultra-high pressure mercury lamps, and the like that belong to mercury lamps. Moreover, there are a neon tube lamp, a neon lamp, a xenon flash, etc., belonging to the glow discharge lamp.
ここで、光源情報は、上記光源の種類、上記光源の色温度などの光源に係る情報である。
本実施形態において、上記光源情報データベースは、積算値の比率Rrg及びRbgと、該比率に対応する光源の種類又は光源の色温度とを対応付けた情報が登録されたデータベースとなる。
なお、光源情報データベースは、予め実験によって、様々な種類の光源に対してRrg及びRbgを測定したり、様々な色温度の環境下においてRrg及びRbgを測定したりして、その測定結果に基づいて生成されるものである。
Here, the light source information is information relating to the light source such as the type of the light source and the color temperature of the light source.
In the present embodiment, the light source information database is a database in which information that associates the ratios Rrg and Rbg of the integrated values with the type of light source or the color temperature of the light source corresponding to the ratio is registered.
Note that the light source information database is based on the measurement results obtained by measuring Rrg and Rbg for various types of light sources or measuring Rrg and Rbg under various color temperature environments in advance through experiments. Are generated.
そして、色情報→光源情報変換部41aは、算出した積算値の比率Rrg及びRbgに対応する光源の種類の情報又は光源の色温度の情報を、光源情報記憶部41bに記憶された光源情報データベースから取得することで、取得した色情報に対応する光源情報を推定する。更に、光源情報推定部41は、この推定された光源情報を示す信号を、WBゲイン設定部42に出力する。
なお、光源情報データベースに、取得した色情報に対応する光源情報が無い場合は、その旨を示す信号を、WBゲイン設定部42に出力する。
The color information → light source
If there is no light source information corresponding to the acquired color information in the light source information database, a signal indicating that is output to the WB
(4−1−3)WBゲイン設定部42の構成例
WBゲイン設定部42は、図12に示すように、光源情報→WBゲイン変換部42aと、ゲイン情報記憶部42bとを含んで構成される。
光源情報→WBゲイン変換部42aは、光源情報推定部41から取得した光源情報と、ゲイン情報記憶部42bに記憶されたゲイン情報データベースとに基づき、取得した光源情報に対応するWBゲインを設定する。
光源情報記憶部41bは、光源情報とWBゲインとを対応付けた情報が登録されたゲイン情報データベースが記憶されたメモリーである。
ここで、WBゲインは、R,G,Bのうちの1色を基準とし、他の2色の信号レベルを補正するためのゲインである。本実施形態では、Gを基準(ゲインGg=1)とし、後述するHDRカラー画像データ信号における、R_hdr信号のレベルを補正するゲインGrと、B_hdr信号のレベルを補正するゲインGbとがWBゲインとなる。
(4-1-3) Configuration Example of WB
The light source information → WB
The light source
Here, the WB gain is a gain for correcting the signal level of the other two colors using one of R, G, and B as a reference. In the present embodiment, G is a reference (gain Gg = 1), and a gain Gr for correcting the level of the R_hdr signal and a gain Gb for correcting the level of the B_hdr signal in the HDR color image data signal described later are WB gains. Become.
また、本実施形態において、上記ゲイン情報データベースは、光源の種類又は色温度と、該光源の種類又は色温度に対応するWBゲインとを対応付けた情報が登録されたデータベースとなる。
なお、ゲイン情報データベースは、予め実験によって、様々な種類の光源に対して適切なWBゲインを求めたり、様々な色温度に対して適切なWBゲインを求めたりして、その求めた結果に基づいて生成されるものである。
In the present embodiment, the gain information database is a database in which information in which the type or color temperature of the light source is associated with the WB gain corresponding to the type or color temperature of the light source is registered.
Note that the gain information database obtains an appropriate WB gain for various types of light sources or obtains an appropriate WB gain for various color temperatures by experiments in advance, and based on the obtained results. Are generated.
具体的には、様々な種類の光源の下や、様々な色温度の環境下で撮像した撮像画像に対して、WBゲインを可変させながらホワイトバランスを調整し、各光源の種類や色温度に対して、色かぶりの発生していない正常な状態となるWBゲインを求める。また、WBゲインの決定(適正な画質の判断等)は、実験者の主観的な判断となるため、例えば、多数の被験者に調整済みの撮像画像を見せて、その判断に基づいて微調整を行うなどして決定することも可能である。 Specifically, white balance is adjusted while varying the WB gain for captured images taken under various types of light sources and under various color temperature environments, and the type and color temperature of each light source are adjusted. On the other hand, a WB gain that is in a normal state where no color cast is generated is obtained. In addition, since the determination of the WB gain (determination of appropriate image quality, etc.) is a subjective determination of the experimenter, for example, the adjusted captured image is shown to a large number of subjects and fine adjustment is performed based on the determination. It is also possible to decide by performing.
そして、光源情報→WBゲイン変換部42aは、光源情報推定部41から取得した光源情報に対応するWBゲインを、ゲイン情報記憶部42bに記憶されたゲイン情報データベースから取得し、取得した光源情報に対応するWBゲインをWB調整部31に出力することでWBゲインを設定する。
また、光源情報推定部41から、光源情報が無い旨を示す信号を取得した場合は、WBゲイン「Gr=1」、「Gb=1」を、WB調整部31に出力する。
Then, the light source information → WB
When a signal indicating that there is no light source information is acquired from the light source
(4−2)HDR本線処理部26の構成例
次に、図8、図9及び図13に基づき、HDR本線処理部26の詳細な構成について説明する。
HDR本線処理部26は、図8に示すように、HDR線形処理部30と、ホワイトバランス(WB)調整部31と、レベル補正処理部32とを含んで構成される。
HDR線形処理部30は、画素データS1〜S3に基づきHDRカラー画像データを生成する。
WB調整部31は、色測光部25において設定されたWBゲインを用いてHDRカラー画像データのホワイトバランスを調整する。
レベル補正処理部32は、WBを調整後のHDRカラー画像データを業界標準(規格)のレンジ(階調範囲)に圧縮しHDRのビデオ信号を出力する。
(4-2) Configuration Example of HDR Main
As shown in FIG. 8, the HDR main
The HDR
The
The level
(4−2−1)HDR線形処理部30の構成例
HDR線形処理部30は、図9に示すように、合成処理部30aと、色処理部30bとを含んで構成される。
合成処理部30aは、3種類の露光時間T_S1,T_S2,T_S3に対応する画素データS1,S2,S3の信号を、前記露光時間の比率に基づいて合成し、HDR_RAW画素データを生成する。
具体的に、合成処理部30aは、図13に示すように、正規化のためのゲインを算出する正規化ゲイン算出部70,71と、正規化ゲインを用いて画素データを正規化する正規化部72,73と、を含んで構成される。
(4-2-1) Configuration Example of HDR
The combining
Specifically, as illustrated in FIG. 13, the
正規化ゲイン算出部70は、露光時間T_S3及びT_S1の比率に応じた正規化ゲインRS3を算出する。例えば、T_S1を基準に正規化を行う場合は、「RS3=T_S1/T_S3」を算出する。
正規化ゲイン算出部71は、露光時間T_S2及びT_S1の比率に応じた正規化ゲインRS2を算出する。例えば、T_S1を基準に正規化を行う場合は、「RS2=T_S1/T_S2」を算出する。
The normalization
The normalization
正規化部72は、画素データS3に正規化ゲインRS3を乗算して、画素データS3を正規化し、正規化画素データNS3を出力する。
正規化部73は、画素データS2に正規化ゲインRS2を乗算して、画素データS2を正規化し、正規化画素データNS2を出力する。
合成処理部30aは、更に、画像合成時の合成重みW1,W2,W3を算出する合成重み算出部74と、合成重みW1,W2,W3を用いて正規化画素データNS1,NS2,NS3を重み付けする重み付け部75,76,77と、を含んで構成される。
The normalizing
The normalizing
The
合成重み算出部74は、画素データS1,S2,S3に基づき、合成重みW1,W2,W3を算出する。具体的に、下式(1)に示す、画素データS1〜S3を要素xとした、重み関数F(x)を用いて合成重みを算出する。
F(x)=(x/MAX)n ・・・(1)
上式(1)において、MAXは、画素データS1,S2,S3の階調範囲の最大値、例えば、8ビットの階調範囲であれば「MAX=255」、10ビットの階調範囲であれば「MAX=1023」となる。
The combination
F (x) = (x / MAX) n (1)
In the above equation (1), MAX is the maximum value of the gradation range of the pixel data S1, S2, S3, for example, “MAX = 255” if the gradation range is 8 bits, and the gradation range of 10 bits. For example, “MAX = 1023”.
上式(1)を用いて、W1〜W3は、例えば、下式(2)〜(4)で算出することができる。
W1=F(S2) ・・・(2)
W2=F(S3)−W1=F(S3)−F(S2) ・・・(3)
W3=1−W2−W1=1−F(S3) ・・・(4)
Using the above equation (1), W1 to W3 can be calculated by, for example, the following equations (2) to (4).
W1 = F (S2) (2)
W2 = F (S3) -W1 = F (S3) -F (S2) (3)
W3 = 1-W2-W1 = 1-F (S3) (4)
重み付け部75は、合成重みW3を正規化画素データNS3に乗算して、重み付け画素データWS3を出力する。
重み付け部76は、合成重みW2を正規化画素データNS2に乗算して、重み付け画素データWS2を出力する。
重み付け部77は、合成重みW1を画素データS1に乗算して、重み付け画素データWS1を出力する。
The
The
The
合成処理部30aは、更に、重み付け画素データWS1,WS2,WS3を合成してHDR_RAW画素データを生成し、生成したHDR_RAW画素データを色処理部30bに出力する合成部78を含んで構成される。
合成部78は、例えば、画素データS1〜S3がそれぞれ10ビットのデータであるとして、重み付け画素データWS1,WS2,WS3を合成して20ビットのHDR_RAW画素データを生成する。なお、1フレーム分のHDR_RAW画素データが、HDR画像データ(HDR_RAW画像データ)となる。
The
For example, the combining
色処理部30bは、不図示のラインメモリーを有しており、HDR_RAW画素データ(処理すべき画素のデータ)と、ラインメモリーに格納された、処理すべき画素の周辺の画素のHDR_RAW画素データとを用いて色補間処理を行う。すなわち、ラインメモリーにより遅延された、HDR_RAW画素データを用いて、画像の各点について、RGB色空間に規定される色信号(データ)を生成する処理(色信号処理)を行う。
The
また、色処理部30bは、撮像画像の輪郭部分の明度差および色相差を補正して撮像画像の輪郭部を明瞭にするシャープネス処理も行う。
上記色補間処理によって、HDR_RAW画素データを、画素毎に、RGBの各色要素にそれぞれ対応するHDRカラー画素データに変換する。
これにより、画素毎に、R(赤)の色要素に対応する画素データR_hdr、G(緑)の色要素に対応する画素データG_hdr及びB(青)の色要素に対応する画素データB_hdrを有するHDRカラー画素データが生成される。なお、1フレーム分の画素データS1〜S3に対応するHDRカラー画素データR_hdr、G_hdr及びB_hdrからHDRカラー画像データが構成される。
The
Through the color interpolation process, the HDR_RAW pixel data is converted into HDR color pixel data corresponding to each color element of RGB for each pixel.
Accordingly, pixel data R_hdr corresponding to the R (red) color element, pixel data G_hdr corresponding to the G (green) color element, and pixel data B_hdr corresponding to the B (blue) color element are provided for each pixel. HDR color pixel data is generated. In addition, HDR color image data is comprised from HDR color pixel data R_hdr, G_hdr, and B_hdr corresponding to the pixel data S1 to S3 for one frame.
(4−2−2)WB調整部31の構成例
WB調整部31は、図9に示すように、乗算器31aと、乗算器31bとを含んで構成される。
乗算器31aは、HDR線形処理部30から入力されるHDRカラー画素データR_hdrと、色測光部25から入力されるゲインGrとを乗算して、乗算結果をレベル補正処理部32に出力する。
乗算器31bは、HDR線形処理部30から入力されるHDRカラー画素データB_hdrと、色測光部25から入力されるゲインGbとを乗算して、乗算結果をレベル補正処理部32に出力する。
なお、HDR線形処理部30からのHDRカラー画素データR_hdr、B_hdrの入力タイミングと、色測光部からのゲインGr、Gbの入力タイミングとは、不図示の遅延部によって、同期するように構成されている。
(4-2-2) Configuration Example of
The
The
The input timing of the HDR color pixel data R_hdr and B_hdr from the HDR
また、HDR線形処理部30からのHDRカラー画素データG_hdrは、WB調整部31を介してレベル補正処理部32にスルーで出力される。
そして、WB調整部31からのHDRカラー画素データR_hdr、G_hdr、B_hdrのレベル補正処理部32への出力タイミングは、不図示の遅延部によって、同期するように構成されている。
The HDR color pixel data G_hdr from the HDR
The output timing of the HDR color pixel data R_hdr, G_hdr, B_hdr from the
(4−2−3)レベル補正処理部32の処理について
レベル補正処理部32は、WBを調整後のHDRカラー画像データの各画素データと輝度レベル補正ゲインとを乗算してレベル変換(トーンマッピング)を行うと共に、レベル変換されたHDRカラー画像データをγ曲線(トーンカーブ)に準じて8ビットに量子化する(レンジ圧縮する)。ここで、レベル変換は、暗い側の領域画像を伸張してヒストグラムを均一に広げる(ブロード化する)動作となる。
具体的に、WB調整部31でWBが調整されたHDRカラー画像データを輝度画像データYに変換し、輝度画像データYに対して、ローパスフィルター(以下、LPFと称す)を用いたぼかし処理を行う。このぼかし処理を行う目的は、HDRカラー画像データから照明光成分を分離し、分離した照明光成分の輝度画像を得るためである。
(4-2-3) Processing of Level
Specifically, the HDR color image data whose WB has been adjusted by the
また、レベル補正処理部32は、入力輝度(照明光成分)に対応する輝度レベル補正ゲインが登録された第1のLUT(Look Up Table)と、外部表示装置の表示可能な階調範囲(例えば、業界標準の階調範囲)に対応するトーンカーブの情報が登録された第2のLUTとを有している。
そして、第1のLUTから、分離した照明光成分に対応する輝度レベル補正ゲインを取得し、取得した輝度レベル補正ゲインを、対応するHDRカラー画素データに乗算することでレベル変換を行う。
更に、第2のLUTから、レベル変換後のHDRカラー画像データの各画素データの値に対応した変換値を取得し、各画素データの示す階調値(輝度値)を、トーンカーブにおける対応する変換値に置き換えることでγ変換を行う。
Further, the level
Then, a luminance level correction gain corresponding to the separated illumination light component is acquired from the first LUT, and level conversion is performed by multiplying the corresponding HDR color pixel data by the acquired luminance level correction gain.
Furthermore, the conversion value corresponding to the value of each pixel data of the HDR color image data after level conversion is acquired from the second LUT, and the gradation value (luminance value) indicated by each pixel data is corresponding to the tone curve. Γ conversion is performed by replacing the converted value.
例えば、HDRカラー画像データの階調範囲が20ビットで、外部表示装置の表示可能な階調範囲が8ビットである場合は、第2のLUTに格納された、20ビットの階調範囲の輝度値を8ビットの階調範囲の輝度値に変換するトーンカーブの情報から、各入力輝度値に対応した変換値を取得する。このとき、外部表示装置から、その表示可能な階調範囲を示す情報を取得するようにしてもよい。 For example, when the gradation range of HDR color image data is 20 bits and the displayable gradation range of the external display device is 8 bits, the luminance of the 20-bit gradation range stored in the second LUT A conversion value corresponding to each input luminance value is acquired from tone curve information for converting the value into a luminance value in an 8-bit gradation range. At this time, information indicating the displayable gradation range may be acquired from the external display device.
(5)撮像装置1の動作例
次に、図14に基づき、本実施形態の撮像装置1の具体的な動作を説明する。
ここで、図14は、各サブフレームにおける画素データの出力タイミングの一例を示す図である。
被写体の撮像が開始されると、撮影範囲内に被写体に加えて、光源又は光源を鏡面反射する物体が存在する場合に、光源の光(反射光も含む)や被写体から反射された光は、撮像レンズ10aで集光されてマイクロレンズ10bに入射される。撮像レンズ10aからの入射光は、マイクロレンズ10bにおいて平行化されて、CFアレイ10cの各CF部を介してセンサーセルアレイの各画素に入射される。CFアレイ10cは、RGBの三原色に対応するCF部がベイヤ配列された構成となっているので、R光、G光及びB光のうち各CF部に対応した色要素の光のみが各画素に入射されることになる。
(5) Operation Example of
Here, FIG. 14 is a diagram illustrating an example of output timing of pixel data in each subframe.
When imaging of the subject is started, in addition to the subject within the shooting range, when there is a light source or an object that specularly reflects the light source, light from the light source (including reflected light) and light reflected from the subject are The light is condensed by the
一方、撮像が開始されると、開始ラインから順に1ラインずつ読み出し&リセットラインL3が設定されて、走査されたラインの各画素から画素信号S3が読み出され、その後、各画素の蓄積電荷がリセットされる。なお、最初に読み出される画素信号S3は、標準露光時間T_S3での露光がされていないため後段の各構成部において無視するように処理される。引き続き、各走査ラインに対して、各画素のリセット後において超短露光時間T_S1の経過タイミングで非破壊読み出しラインL1が設定され、画素信号S1が読み出される。引き続き、各走査ラインに対して、各画素のリセット後において短露光時間T_S2の経過タイミングで非破壊読み出しラインL2が設定され、画素信号S2が読み出される。そして、再び、開始ラインから順に読み出し&リセットラインL3が設定されて、走査されたラインの各画素から画素信号S3が読み出され、その後、各画素の蓄積電荷がリセットされる。このとき読み出される画素信号S3とその前に読み出された画素信号S1及びS2とが後段の各構成部において処理対象となる。 On the other hand, when the imaging is started, the readout and reset line L3 is set one line at a time from the start line, and the pixel signal S3 is read from each pixel of the scanned line. Reset. Note that the pixel signal S3 that is read out first is processed so as to be ignored in each component in the subsequent stage because the pixel signal S3 that has been read out is not exposed with the standard exposure time T_S3. Subsequently, for each scanning line, after resetting each pixel, the nondestructive readout line L1 is set at the elapse timing of the ultrashort exposure time T_S1, and the pixel signal S1 is read out. Subsequently, for each scanning line, after resetting each pixel, the non-destructive readout line L2 is set at the elapse timing of the short exposure time T_S2, and the pixel signal S2 is read out. Then, the read & reset line L3 is set again in order from the start line, the pixel signal S3 is read from each pixel of the scanned line, and then the accumulated charge of each pixel is reset. The pixel signal S3 read at this time and the pixel signals S1 and S2 read before the pixel signal S3 are to be processed in each component in the subsequent stage.
以降、撮像が行われている間は、上記のL1〜L3の設定、画素信号S1〜S3の読み出し及びリセット処理が繰り返し行われる。
ここで、超短露光時間T_S1は、光源又は光源の鏡面反射光の輝度範囲の入射光に対して「0」より大きくなる信号出力が得られるように時間が設定されている。具体的に、対象となる光源の種類及び輝度を考慮して設定した所定輝度以上の入力に対してのみ「0」よりも大きいレベルの信号を出力する時間に設定されている。
Thereafter, while imaging is being performed, the above-described setting of L1 to L3, readout of the pixel signals S1 to S3, and reset processing are repeatedly performed.
Here, the ultrashort exposure time T_S1 is set such that a signal output larger than “0” is obtained with respect to incident light in the luminance range of the light source or the specular reflection light of the light source. Specifically, it is set to a time for outputting a signal having a level higher than “0” only for an input having a predetermined luminance or more set in consideration of the type and luminance of the target light source.
このようにして読み出された画素信号S1〜S3は、ライン毎に、読出回路10fの第1〜第3ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、S1〜S3の順でアナログの画素データS1〜S3がADCに出力される。ADCは、アナログの画素データS1〜S3を、デジタルの画素データS1〜S3に変換する。そして、ADCからは、ライン単位でS1〜S3の順に画素データが順次、画像処理装置20へと出力される。
The pixel signals S1 to S3 read out in this way are stored in the first to third line memories of the
一方、画像処理装置20は、HDRセンサー10dからの画素データS1〜S3をS1から順番に受信すると、プリプロセス部21において、受信した順に画素データに対して、固定パターンノイズの除去処理、及びクランプ処理を施す。そして、これらの処理が施された画素データS1〜S3のうちS1をそのまま色測光部25に出力し、処理の施された画素データS1〜S3を遅延部22〜24に出力する。
遅延部22〜24は、画素データS1〜S3のプリプロセス部21での受信の時間差を吸収し、画素データS1〜S3の出力タイミングを同期させて、これらをHDR本線処理部26に出力する。
On the other hand, when the
The
一方、色測光部25は、プリプロセス部21から画素データS1が入力されると、色情報抽出部40の色分離器60において、入力された画素データS1を、加算器61a〜61cのうち画素データS1の色に対応する加算器へと出力する。
具体的に、画素データS1の色が、赤色の場合はR信号を加算器61aに出力し、緑色の場合はG信号を加算器61bに出力し、青色の場合はB信号を加算器61cに出力する。
On the other hand, when the pixel data S1 is input from the preprocessing
Specifically, when the color of the pixel data S1 is red, the R signal is output to the
加算器61aは、R信号が入力されるとその画素値rと、R出力用レジスター62aからの1つ前のr積算値ir(初期値は0)とを加算して、その加算結果を示すRA信号をR出力用レジスター62aに出力する。
同様に、加算器61bは、G信号が入力されるとその画素値gと、G出力用レジスター62bからの1つ前のg積算値ig(初期値は0)とを加算して、その加算結果を示すGA信号をG出力用レジスター62bに出力する。
同様に、加算器61cは、B信号が入力されるとその画素値bと、B出力用レジスター62cからの1つ前のb積算値ib(初期値は0)とを加算して、その加算結果を示すBA信号をB出力用レジスター62cに出力する。
When the R signal is input, the
Similarly, when the G signal is input, the
Similarly, when the B signal is input, the
このようにして、プリプロセス部21から画素データS1が入力される毎に、色分離器60における各色信号の振り分け、加算器61a〜61cにおける各色の画素値と積算値との加算、及び加算結果のR,G,B出力用レジスター62a,62b,62cへの格納を繰り返し行う。
このような積算処理を1フレーム分の画素データS1に対して繰り返し行うと、1フレーム分の画素データS1に対する、r積算値irがR出力用レジスター62aに、g積算値igがG出力用レジスター62bに、b積算値ibがB出力用レジスター62cにそれぞれ格納される。
In this way, each time the pixel data S1 is input from the preprocessing
When such integration processing is repeatedly performed on the pixel data S1 for one frame, the r integration value ir for the pixel data S1 for one frame is stored in the
そして、光源情報推定部41からの取得信号に応じて、R,G,B出力用レジスター62a,62b,62cから、光源情報推定部41及び色測光結果記憶部27に各レジスターに格納されているr,g,b積算値ir,ig,ibが出力される。
その後、不図示のリセット回路からのフレームリセット信号がアクティブとなり、R,G,B出力用レジスター62a,62b,62cに格納されたr,g,b積算値ir,ig,ibがリセットされる。
Then, in accordance with the acquired signal from the light source
Thereafter, a frame reset signal from a reset circuit (not shown) becomes active, and the r, g, b integrated values ir, ig, ib stored in the R, G,
なお、本実施形態では、撮像範囲に光源を含んでいない場合は、超短露光時間T_S1の撮像においてHDRセンサー10dからの出力信号レベルがほぼ「0」又は極めて小さくなり、r,g,b積算値ir,ig,ibがいずれも「0」又は極めて小さな値となる。
光源情報推定部41は、色情報抽出部40からr,g,b積算値ir,ig,ibを取得すると、色情報→光源情報変換部41aにおいて、積算値の比率として、「Rrg=ir/ig」と、「Rbg=ib/ig」とを算出する。そして、算出したRrg及びRbgに対応する光源情報を、光源情報記憶部41bに記憶された光源情報データベースから取得する。ここでは、光源情報として、光源の種類の情報を取得することとする。
In the present embodiment, when the light source is not included in the imaging range, the output signal level from the
When the light source
光源の色温度は、黒体の温度と黒体が放射する光の波長との関係から、温度が低いときは暗いオレンジ色となり、温度が上昇するごとに、黄色、白色、青みがかった白へと変化していく。
従って、例えば、Rrgが1以上で且つRbgよりも大きい場合は、赤色の画素が比較的多いと判定でき、この場合は色温度の比較的低い光源であることが推定できる。また、例えば、Rbgが1以上で且つRrgよりも大きい場合は、青色の画素が比較的多いと判定でき、この場合は色温度の比較的高い光源であることが推定できる。
The color temperature of the light source is dark orange when the temperature is low due to the relationship between the temperature of the black body and the wavelength of the light emitted by the black body, and changes to yellow, white, and bluish white as the temperature rises. It will change.
Therefore, for example, when Rrg is 1 or more and larger than Rbg, it can be determined that there are a relatively large number of red pixels, and in this case, it can be estimated that the light source has a relatively low color temperature. For example, when Rbg is 1 or more and larger than Rrg, it can be determined that there are a relatively large number of blue pixels. In this case, it can be estimated that the light source has a relatively high color temperature.
色情報→光源情報変換部41aは、Rrg及びRbgに対応する光源の種類の情報が取得できたときは、取得した光源の種類の情報を、WBゲイン設定部42に出力する。一方、Rrg及びRbgに対応する光源の種類の情報が取得できなかった場合は、光源の種類を推定できなかった旨を示す情報を、WBゲイン設定部42に出力する。
WBゲイン設定部42は、光源情報推定部41から、光源の種類の情報を取得したときは、光源の種類の情報に対応するWBゲインを、ゲイン情報記憶部42bに記憶されたゲイン情報データベースから取得する。例えば、光源の種類が太陽光(昼光)であると推定された場合は、昼光に対応するWBゲインGr,Gbを取得する。そして、取得したWBゲインGr,GbをWB調整部31に出力する。
The color information → light source
When acquiring the light source type information from the light source
また、WBゲイン設定部42は、光源情報推定部41から、光源の種類を推定できなかった旨を示す情報を取得したときは、WBゲインGr,Gbとして、「Gr=Gb=1」をWB調整部31に出力する。
また、色測光結果記憶部27は、色情報抽出部40からの色測光結果として、r,g,b積算値ir,ig,ibを取得すると、これらをメモリーIFを介してメモリーに記憶する。色測光結果は、フレームごとに上書きで記憶してもよいし、複数フレーム分を記憶してもよいし、複数フレーム分が記憶された後に古いものから順次上書きして記憶するようにしてもよい。
Further, when the WB
Further, when the color photometric
一方、HDR線形処理部30は、上記色測光部25の処理と並行して、遅延部22〜24で遅延されて出力タイミングの同期された画素データS1〜S3を受信すると、まず、合成処理部30aにおいて、HDR_RAW画素データを生成する。
具体的に、合成処理部30aは、メモリーに保持又はHDR撮像素子10から取得した露光時間T_S1〜T_S3の情報から、正規化ゲイン算出部70,71において、正規化ゲインRS3,RS2を算出する。
また、並行して、合成重み算出部74において、画素データS1〜S3から、上式(1)〜(4)を用いて合成重みW1〜W3を算出する。
On the other hand, when the HDR
Specifically, the
In parallel, the
次に、正規化部72,73において、正規化ゲインRS3,RS2を画素データS3,S2にそれぞれ乗算して、正規化画素データNS3,NS2を算出する。
次に、重み付け部75〜77において、正規化画素データNS3に合成重みW3を乗算し、正規化画素データNS2に合成重みW2を乗算し、画素データS1に合成重みW1を乗算して、重み付け画素データWS1,WS2,WS3を生成する。
Next, the normalizing
Next, in the
次に、合成部78において、重み付け画素データWS1,WS2,WS3を合成して(足し合わせて)、HDR_RAW画素データを生成し、生成したHDR_RAW画素データを色処理部30bに出力する。
色処理部30bは、合成処理部30aからHDR_RAW画素データが入力されると、入力されたHDR_RAW画素データをラインメモリーに蓄積する。そして、ラインメモリーに一定量のHDR_RAW画素データが蓄積されると、色補正処理及びシャープネス処理を行い、HDRカラー画素データを生成する。そして、生成したHDRカラー画素データを、不図示のラインメモリーに出力する。
Next, the combining
When the HDR_RAW pixel data is input from the
ラインメモリーは、色処理部30bからHDRカラー画素データを受信すると、それを蓄積し、出力タイミングを遅延させる。具体的に、色測光部25からのWBゲインの出力タイミングGr,Gbと、そのゲインに対応するHDRカラー画素データR_hdr,B_hdrの出力タイミングとが同期するように遅延させる。更に、HDRカラー画素データG_hdrのWB調整部31からの出力タイミングと、WB調整後のHDRカラー画素データR_hdr,B_hdrのWB調整部31からの出力タイミングとが同期するように、G_hdrのWB調整部31への入力タイミングを遅延させる。
When the line memory receives the HDR color pixel data from the
そして、WB調整部31に、ラインメモリーからのHDRカラー画素データR_hdr,G_hdr,B_hdrと、色測光部25のWBゲイン設定部42からのWBゲインGr,Gbが入力されると、ホワイトバランスの調整が行われる。
具体的に、WB調整部31の乗算器31aに、ラインメモリーからのHDRカラー画素データR_hdrが入力され、色測光部25からのWBゲインGrが入力され、R_hdrにGrが乗算される。
When the HDR color pixel data R_hdr, G_hdr, B_hdr from the line memory and the WB gains Gr, Gb from the WB
Specifically, the HDR color pixel data R_hdr from the line memory is input to the
また、WB調整部31の乗算器31bに、ラインメモリーからのHDRカラー画素データB_hdrが入力され、色測光部25からのWBゲインGbが入力され、B_hdrにGbが乗算される。
そして、ラインメモリーからのG_hdrと、Grを乗算後のR_hdrと、Gbを乗算後のB_hdrとを、出力タイミングを同期させて、レベル補正処理部32に出力する。
Also, the HDR color pixel data B_hdr from the line memory is input to the
Then, G_hdr from the line memory, R_hdr after multiplication by Gr, and B_hdr after multiplication by Gb are output to the level
一方、レベル補正処理部32は、WBを調整後のHDRカラー画素データR_hdr,G_hdr,B_hdrを受信すると、これらを輝度画素データP(x,y)へと変換し、変換した輝度画素データP(x,y)をLP用ラインメモリー(不図示)に蓄積する。
そして、LP用ラインメモリーに、ぼかし処理に必要な分の輝度画素データP(x,y)が蓄積されると、ガウシアンフィルター(ローパスフィルター)を用いたぼかし処理を実行し、輝度画素データP(x,y)を照明光成分データL(x,y)へと変換する。
On the other hand, when receiving the HDR color pixel data R_hdr, G_hdr, B_hdr after adjusting the WB, the level
When the luminance pixel data P (x, y) required for the blurring process is accumulated in the LP line memory, the blurring process using a Gaussian filter (low-pass filter) is executed, and the luminance pixel data P ( x, y) is converted into illumination light component data L (x, y).
そして、照明光成分データL(x,y)に対応する、輝度レベル補正ゲインを第1LUTから取得する。更に、内部の乗算器(不図示)において、WB調整部31から入力されるHDRカラー画素データに、輝度レベル補正ゲインを乗算して、HDRカラー画素データのレベル変換(トーンマッピング)を行う。
更に、レベル変換後のHDRカラー画素データに対応するγ変換値を第2LUTから取得し、取得した変換値を、RGBのビデオ信号として出力する。
なお、上記したように、各フレームの画素信号S1〜S3は、画素データS1→S2→S3の順番でプリプロセス部21に入力される。
Then, the brightness level correction gain corresponding to the illumination light component data L (x, y) is acquired from the first LUT. Further, in an internal multiplier (not shown), the HDR color pixel data input from the
Further, a γ conversion value corresponding to the HDR color pixel data after level conversion is acquired from the second LUT, and the acquired conversion value is output as an RGB video signal.
As described above, the pixel signals S1 to S3 of each frame are input to the
また、図14において、S1フレーム0〜2、S2フレーム0〜2、S3フレーム0〜2は、サブフレームであり、S1フレーム0の開始からS3フレーム0の終了までの期間が1フレームの期間となる。
HDR本線処理部26においては、上記したように、画素データS1〜S3を全て用いてHDRカラー画像データを生成する処理(本線系処理)が行われる。
従って、本実施形態では、本線系処理の開始タイミングを、図14のS3フレーム0〜2に示すように、各サブフレームの最初の画素データS3(ライン単位)が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データS3が入力される毎に、順次、パイプライン処理のごとく本線系処理が行われる。
In FIG. 14, S1 frames 0 to 2, S2 frames 0 to 2, and S3 frames 0 to 2 are subframes, and the period from the start of S1 frame 0 to the end of S3 frame 0 is a period of one frame. Become.
In the HDR main
Therefore, in this embodiment, the start timing of the main line processing is set to the timing at which the first pixel data S3 (line unit) of each subframe is input, as shown in S3 frames 0 to 2 in FIG. In each subframe, every time new pixel data S3 is input, main line processing is sequentially performed as in pipeline processing.
また、上記したように、色測光部25においては、画素データS1から色情報を抽出し、抽出した色情報に基づき光源情報を推定し、推定した光源情報に基づきWBゲインを設定する処理が行われる。
本実施形態では、色測光部25の色測光処理の開始タイミングを、図14のS1フレーム0〜2に示すように、プリプロセス部21から各サブフレームの最初の画素データS1(ライン単位)が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データS1が入力される毎に、順次、パイプライン処理のごとく色測光処理が行われる。
Further, as described above, the
In this embodiment, as shown in S1 frames 0 to 2 in FIG. 14, the start timing of the color photometry processing of the
その結果、各サブフレームにおける、S1フレームの終了タイミングとS3フレームの開始タイミングとの間に図14に示す遅延量が発生する。また、各サブフレームにおける、本線系処理の開始タイミングと、色測光系処理の開始タイミングとには、図14に示す走査による時間差が発生する。この時間差において、色測光処理(色情報の抽出、光源情報の推定、WBゲインの設定)を完了させることが望ましい。しかし、色情報の抽出には、画素データS1が1サブフレーム分必要なため、走査の時間差の期間では不足となる。これに加えて、光源情報の推定処理、WBゲインの設定処理の時間も必要となる。そこで、本実施形態では、本線系処理をこれらの不足分の時間だけ遅延させることで、各フレームにおける色測光結果をこれと同一のフレームの画素データS1〜S3から生成されるHDRカラー画像データに対して反映させることができる。つまり、フィードフォワード型の制御を行うことができる。
従来のフィードバック型の制御では、色測光結果が反映されるのが次のフレームとなるので、1フレーム以上の遅延が発生する。一方、本実施形態では、色測光部25における遅延分だけで済む。
As a result, the delay amount shown in FIG. 14 occurs between the end timing of the S1 frame and the start timing of the S3 frame in each subframe. Further, a time difference due to scanning shown in FIG. 14 occurs between the start timing of the main line system processing and the start timing of the color photometric system processing in each subframe. In this time difference, it is desirable to complete the color photometry processing (extraction of color information, estimation of light source information, setting of WB gain). However, extraction of color information requires one subframe of pixel data S1, which is insufficient during the scanning time difference period. In addition to this, time for light source information estimation processing and WB gain setting processing is also required. Therefore, in this embodiment, the main line system processing is delayed by these shortage times, so that the color photometric results in each frame are converted into HDR color image data generated from the pixel data S1 to S3 of the same frame. It can be reflected. That is, feedforward type control can be performed.
In the conventional feedback type control, the color photometric result is reflected in the next frame, and therefore a delay of one frame or more occurs. On the other hand, in the present embodiment, only the delay in the
(6)作用・効果
以上説明したように、本実施形態の撮像装置1は、色測光部25において、標準露光時間T_S3の画素データS3に先立って取得される、超短露光時間T_S1の画素データS1を使って色情報の抽出処理を行うことができる。
従って、飽和画素がない画像によって色測光処理が可能となり、精度の高い光源の色情報を抽出することができる。
(6) Action / Effect As described above, the
Therefore, color photometric processing can be performed with an image having no saturated pixels, and color information of the light source with high accuracy can be extracted.
更に、超短露光時間T_S1を、HDRセンサー10dが、光源の光、又は光源の光を鏡面反射した光に対してのみ「0」よりも大きいレベルの信号を出力するような時間に設定するようにした。具体的には、所定輝度以上の入力に対して「0」よりも大きいレベルの信号を出力する時間に設定するようにした。
従って、光源の色情報を多く含んだ画素データS1から色情報の抽出処理を行うことができるので、より高精度に光源の色情報を抽出することができる。
Further, the ultrashort exposure time T_S1 is set to a time such that the
Therefore, the color information can be extracted from the pixel data S1 containing a large amount of color information of the light source, so that the color information of the light source can be extracted with higher accuracy.
更に、抽出した色情報に基づき、光源の色温度や種類等の光源情報を推定し、この推定結果に基づき、ホワイトバランスを調整するためのWBゲイン設定することができる。
従って、精度の高い色情報を用いて光源情報を推定することができると共に、こうして推定された光源情報に適したWBゲイン制御を、自動的に設定することができる。
更に、HDR線形処理部30において、遅延部22〜24で出力タイミングを同期させた画素データS1〜S3を線形合成し且つ色補正処理を行ってHDRカラー画素データを生成することができる。
Furthermore, it is possible to estimate light source information such as the color temperature and type of the light source based on the extracted color information, and to set a WB gain for adjusting the white balance based on the estimation result.
Accordingly, the light source information can be estimated using highly accurate color information, and WB gain control suitable for the light source information thus estimated can be automatically set.
Further, the HDR
更に、乗算器31a及び31bにおいて、WBゲインGr,Gbの出力タイミングに合わせて遅延して出力されたHDRカラー画素データR_hdr,B_hdrと、WBゲインGr,Gbとを乗算して、HDRカラー画素データのホワイトバランスの調整を行うことができる。
従って、各フレームにおける色測光結果をこれと同一のフレームの画素データS1〜S3から生成されるHDRカラー画像データに対して反映させることができ、フィードフォワード型の制御を行うことができる。つまり、色測光対象の画像(フレーム)と輝度制御を行う対象画像(フレーム)を同じにすることができるので、被写体の輝度変動に応じた発振(フリッカ)現象の発生を抑えることが可能である。そのため、常に安定な出力画像が得られる。また、リアルタイム性を要求されるシステムに対して組み込みやすいという利点を有する。
Further, in the
Therefore, the color photometric result in each frame can be reflected on the HDR color image data generated from the pixel data S1 to S3 of the same frame, and feedforward control can be performed. In other words, since the image (frame) subject to color photometry and the image (frame) subject to luminance control can be made the same, it is possible to suppress the occurrence of oscillation (flicker) phenomenon according to the luminance variation of the subject. . Therefore, a stable output image can always be obtained. Further, it has an advantage that it can be easily incorporated into a system that requires real-time performance.
更に、レベル補正処理部32において、HDRカラー画素データから輝度画素データP(x,y)を生成し、P(x,y)から照明光成分データL(x,y)を生成することができる。更に、第1LUTから、照明光成分データL(x,y)に対応する輝度レベル補正ゲインを取得することができる。
従って、照明光成分データLに基づき、HDRカラー画像データに対して、レベル変換(トーンマップ)処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
Further, the level
Therefore, since the HDR color image data is subjected to level conversion (tone map) processing based on the illumination light component data L, the gradation is maintained and the color reproducibility is good in the entire dynamic range. Can be output.
また、色測光対象の画像(フレーム)とWBの調整を行う対象画像(フレーム)を同一にしない場合でも、すなわち、色測光した画像(フレーム)の結果が反映されるのが次のフレームの場合でも、色測光処理が、本線系処理に対して先行して行われるので、色測光に要する計算時間を十分確保できる。これにより、色測光結果による動的制御など複雑な制御が可能となる。 In addition, even when the color photometric image (frame) and the target image (frame) for WB adjustment are not the same, that is, when the result of the color photometric image (frame) is reflected in the next frame However, since the color photometry process is performed prior to the main line system process, a sufficient calculation time for the color photometry can be secured. Thereby, complicated control such as dynamic control based on the color photometric result is possible.
(7)本発明との対応関係
上記実施形態において、HDR撮像素子10は、撮像素子に対応し、プリプロセス部21は、合成用画像データ取得手段及び色測定用画像データ取得手段に対応し、HDR線形処理部30は、合成画像データ生成手段に対応する。
また、上記実施形態において、色情報抽出部40は色情報抽出手段に対応し、光源情報推定部41は、光源情報推定手段に対応し、WBゲイン設定部42は、ゲイン設定手段に対応し、色測光結果記憶部27は、色情報記憶手段に対応する。
また、上記実施形態において、WB調整部31は、ホワイトバランス調整手段に対応し、レベル補正処理部32は、画像変換手段に対応する。
(7) Correspondence with the Present Invention In the above embodiment, the
In the above embodiment, the color
In the above embodiment, the
また、上記実施形態において、プリプロセス部21における画素データS1〜S3を取得する処理は、合成用画像データ取得ステップ及び色測定用画像データ取得ステップに対応し、HDR線形処理部30におけるHDRカラー画像データの生成処理は、合成画像データ生成ステップに対応する。
また、上記実施の形態において、色情報抽出部40における画素データS1からの色情報の抽出処理は、色情報抽出ステップに対応し、光源情報推定部41における光源情報の推定処理は、光源情報推定ステップに対応する。
また、WBゲイン設定部42におけるWBゲインGr,Gbの設定処理は、ゲイン設定ステップに対応し、WB調整部31におけるHDRカラー画像データにおけるホワイトバランスの調整処理は、ホワイトバランス調整ステップに対応する。
In the above embodiment, the process of acquiring the pixel data S1 to S3 in the
In the above embodiment, the color information extraction process from the pixel data S1 in the color
In addition, the setting process of the WB gains Gr and Gb in the WB
(8)変形例
なお、上記実施形態における、撮像装置1は、表示装置、メモリー装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することも可能である。
また、上記実施形態において、色情報として、超短露光時間T_S1を制御することによって、光源又は光源の鏡面反射光の入力輝度以上の画素データS1の色情報を抽出する構成としたが、この構成に限らない。
例えば、光源以外の輝度成分を含んだ画素データS1を撮像し、色情報を抽出する際に所定輝度以上のものについてのみ抽出を行う構成など他の構成としてもよい。
(8) Modifications Note that the
In the above embodiment, the color information of the pixel data S1 that is equal to or higher than the input luminance of the light source or the specular reflected light of the light source is extracted by controlling the ultrashort exposure time T_S1 as the color information. Not limited to.
For example, other configurations such as a configuration in which pixel data S1 including a luminance component other than the light source is imaged, and only those having a predetermined luminance or higher are extracted when extracting color information.
また、上記実施形態では、色情報として各色の画素値(例えば、輝度値)の積算値を算出する構成としたが、この構成に限らず、例えば、各色の画素データの輝度レベルを判定し、各色の各輝度レベルの画素数を算出するなど、他の色情報を抽出する構成としてもよい。
また、上記各実施形態において、撮像素子10のHDRセンサー10dが、CMOS技術を用いて構成されたセンサーセルアレイを有する構成としたが、この構成に限らない。例えば、CCDから構成されるセンサーセルアレイを有する構成など他の構成としてもよい。
Moreover, in the said embodiment, although it was set as the structure which calculates the integrated value of the pixel value (for example, luminance value) of each color as color information, it determines not only this structure but the luminance level of the pixel data of each color, for example, Other color information may be extracted, such as calculating the number of pixels of each luminance level of each color.
In each of the above embodiments, the
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
The above embodiments are preferable specific examples of the present invention, and various technically preferable limitations are given. However, the scope of the present invention is described in particular in the above description to limit the present invention. As long as there is no, it is not restricted to these forms. In the drawings used in the above description, for convenience of illustration, the vertical and horizontal scales of members or parts are schematic views different from actual ones.
Further, the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
1…撮像装置、10…HDR撮像素子、10a…撮像レンズ、10b…マイクロレンズ、10c…カラーフィルターアレイ、10d…HDRセンサー、10d…駆動回路、10f…読出回路、20…画像処理装置、21…プリプロセス部、22〜24…遅延部、25…色測光部、26…HDR本線処理部、30…HDR線形処理部、30a…合成処理部、30b…色処理部、31…WB調整部、31a,31b…乗算器、32…レベル補正処理部、40…色情報抽出部、41…光源情報推定部、41a…色情報→光源情報変換部、41b…光源情報記憶部、42…WBゲイン設定部、42a…光源情報→WBゲイン変換部、42b…ゲイン情報記憶部、60…色分離器、61a〜61c…加算器、62a…R出力用レジスター、62b…G出力用レジスター、62c…B出力用レジスター、70,71…正規化ゲイン算出部、72,73…正規化部、74…合成重み算出部、75〜77…重み付け部、78…合成部
DESCRIPTION OF
Claims (11)
の露光時間で被写体を撮像して得られる複数の画像データのうち、2以上の画像データを
取得する合成用画像データ取得手段と、
前記合成用画像データ取得手段で取得した前記2以上の画像データを露光時間の比率に
基づき線形合成して合成画像データを生成する合成画像データ生成手段と、
前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データ
である短露光画像データを取得する色測定用画像データ取得手段と、
前記色測定用画像データ取得手段で取得した短露光画像データから短露光画像の色に係
る情報である色情報を抽出する色情報抽出手段と、
前記色情報抽出手段で抽出した色情報に基づき、前記被写体を撮像時の光源に係る情報
を推定する光源情報推定手段と、
前記光源情報推定手段の推定結果に基づき、ホワイトバランスの調整に用いるゲインを
設定するゲイン設定手段と、
前記ゲイン設定手段で設定したゲインを用いて、当該ゲインの設定に係る前記短露光画
像データと同じフレーム期間の前記2以上の画像データを合成して生成される合成画像デ
ータのホワイトバランスの調整を行うホワイトバランス調整手段と、を備え、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を
読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間に
おいて露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共
に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番
に各露光時間に対応する画像データを構成する画素信号のデータを出力するようになって
おり、
前記合成用画像データ取得手段は、前記撮像素子から、各フレーム期間における最長の
露光時間に対応する画像データを含む2以上の画像データを取得し、
前記合成画像データ生成手段は、前記最長の露光時間に対応する画像データを含む2以
上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得手段は、前記撮像素子から、前記合成用画像データ取得手
段が前記各フレーム期間における最長の露光時間に対応する画像データを取得するよりも
先行して前記短露光画像データを取得し、
前記色情報抽出手段は、前記先行して取得した短露光画像データから前記色情報を抽出
し、
前記光源情報推定手段は、前記先行して取得した短露光画像データから抽出された色情
報に基づき光源に係る情報を推定し、
前記ゲイン設定手段は、前記先行して取得した短露光画像データから抽出された色情報
に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲインを
設定し、
前記ホワイトバランス調整手段は、前記ゲイン設定手段で設定されたゲインを用いて、
該ゲインの設定に係る短露光画像データと同じフレーム期間の前記2以上の画像データに
基づき前記合成画像データ生成手段にて生成された合成画像データのホワイトバランスを
調整することを特徴とする画像処理装置。 Image data for synthesis that acquires two or more image data from a plurality of image data obtained by imaging a subject with a plurality of different exposure times in each frame period from the imaging device capable of imaging the subject. Acquisition means;
Combined image data generating means for generating a combined image data by linearly combining the two or more image data acquired by the combining image data acquiring means based on an exposure time ratio;
Color measurement image data acquisition means for acquiring short exposure image data which is image data corresponding to the shortest exposure time among the plurality of image data from the imaging device;
Color information extraction means for extracting color information which is information relating to the color of the short exposure image from the short exposure image data acquired by the color measurement image data acquisition means;
Based on color information extracted by the color information extraction means, light source information estimation means for estimating information relating to a light source at the time of imaging the subject;
Based on the estimation result of the light source information estimation means, a gain setting means for setting a gain used for white balance adjustment;
Using the gain set by the gain setting means, white balance adjustment of composite image data generated by combining the two or more image data in the same frame period as the short-exposure image data related to the gain setting is performed. White balance adjustment means for performing,
The image sensor can read out a pixel signal by a nondestructive readout method that reads out a pixel signal corresponding to the accumulated charge while maintaining the accumulated charge from each pixel, and in order from the shorter exposure time in each frame period. The pixel signals are exposed at the different exposure times, the pixel signals are read out from the exposed pixels by the nondestructive readout method, and the pixel signal data constituting the image data corresponding to the exposure times in the read order. Is output,
The composition image data acquisition means acquires two or more image data including image data corresponding to the longest exposure time in each frame period from the image sensor,
The composite image data generating means generates composite image data based on two or more image data including image data corresponding to the longest exposure time;
The color measurement image data acquisition means precedes the short-exposure image data from the image sensor before the composition image data acquisition means acquires image data corresponding to the longest exposure time in each frame period. Get
The color information extraction means extracts the color information from the short exposure image data acquired in advance,
The light source information estimation means estimates information related to a light source based on color information extracted from the short-exposure image data acquired in advance.
The gain setting means sets a gain used for white balance adjustment based on information relating to a light source estimated based on color information extracted from the short-exposure image data acquired in advance.
The white balance adjusting means uses the gain set by the gain setting means,
Image processing characterized by adjusting white balance of the composite image data generated by the composite image data generation means based on the two or more image data in the same frame period as the short exposure image data relating to the gain setting apparatus.
徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the light source information estimation unit estimates a type of a light source as information relating to the light source.
類と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽出
された色情報に対応する光源の種類を推定し、
前記ゲイン設定手段は、光源の種類と該光源の各種類に対応する前記ゲインとを対応付
けた情報が登録されたデータベースに基づき、前記光源情報推定手段で推定された光源の
種類に対応するゲインを設定することを特徴とする請求項2に記載の画像処理装置。 The light source information estimation unit is extracted by the color information extraction unit based on a database in which information in which each index value indicated by the color information is associated with the type of light source corresponding to each index value is registered. Estimate the type of light source corresponding to the color information,
The gain setting means is a gain corresponding to the type of light source estimated by the light source information estimation means, based on a database in which information relating the type of light source and the gain corresponding to each type of light source is registered. The image processing apparatus according to claim 2, wherein:
ランスの調整を実施しないことを特徴とする請求項2又は請求項3に記載の画像処理装置。 4. The image processing apparatus according to claim 2, wherein the white balance adjustment is not performed when the type of the light source cannot be estimated by the light source information estimation unit. 5.
特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the light source information estimation unit estimates a color temperature of the light source as information relating to the light source.
温度と、を対応付けた情報が登録されたデータベースに基づき、前記色情報抽出手段で抽
出された色情報に対応する光源の色温度を推定し、
前記ゲイン設定手段は、光源の色温度と前記ゲインとを対応付けた情報が登録されたデ
ータベースに基づき、前記光源情報推定手段で推定された光源の色温度に対応するゲイン
を設定することを特徴とする請求項5に記載の画像処理装置。 The light source information estimation means is extracted by the color information extraction means based on a database in which information in which each index value indicated by the color information is associated with the color temperature of the light source corresponding to each index value is registered. The color temperature of the light source corresponding to the color information
The gain setting unit sets a gain corresponding to the color temperature of the light source estimated by the light source information estimation unit based on a database in which information in which the color temperature of the light source is associated with the gain is registered. The image processing apparatus according to claim 5.
射光に対する画素信号のデータを出力できる最短の時間に設定したことを特徴とする請求
項1乃至請求項6のいずれか1項に記載の画像処理装置。 7. The exposure time of the short-exposure image data is set to the shortest time during which pixel signal data can be output with respect to a light source included as the subject or specular reflection light of the light source. The image processing apparatus according to claim 1.
する請求項1乃至請求項7のいずれか1項に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a color information storage unit that stores the color information extracted by the color information extraction unit.
変換して階調特性の異なる合成画像データを生成する画像変換手段を備えることを特徴と
する請求項1乃至請求項8のいずれか1項に記載の画像処理装置。 9. The apparatus according to claim 1, further comprising image conversion means for converting the brightness of the composite image data after the white balance is adjusted by the white balance adjustment means to generate composite image data having different gradation characteristics. The image processing apparatus according to any one of the above.
の露光時間で被写体を撮像して得られる複数の画像データのうち、2以上の画像データを
取得する合成用画像データ取得ステップと、
前記合成用画像データ取得ステップにおいて取得した前記2以上の画像データを露光時
間の比率に基づき線形合成して合成画像データを生成する合成画像データ生成ステップと、
前記撮像素子から、前記複数の画像データうち、最短の露光時間に対応する画像データ
である短露光画像データを取得する色測定用画像データ取得ステップと、
前記色測定用画像データ取得ステップにおいて取得した短露光画像データから色情報を
抽出する色情報抽出ステップと、
前記色情報抽出ステップにおいて抽出した色情報に基づき、前記被写体を撮像時の光源
に係る情報を推定する光源情報推定ステップと、
前記光源情報推定ステップにおける推定結果に基づき、ホワイトバランスの調整に用い
るゲインを設定するゲイン設定ステップと、
前記ゲイン設定ステップにおいて設定したゲインを用いて、当該ゲインの設定に係る前
記短露光画像データと同じフレーム期間の前記2以上の画像データを合成して生成される
合成画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、を含
み、
前記色測定用画像データ取得ステップでは、前記撮像素子が、各画素から蓄積電荷を維
持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読
み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる
複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し
方式で画素信号を読み出し、読み出した順番に各露光時間に対応する画像データを構成す
る画素信号のデータを出力するようになっており、
前記合成用画像データ取得ステップでは、前記撮像素子から、各フレーム期間における
最長の露光時間に対応する画像データを含む2以上の画像データを取得し、
前記合成画像データ生成ステップでは、前記最長の露光時間に対応する画像データを含
む2以上の画像データに基づき合成画像データを生成し、
前記色測定用画像データ取得ステップでは、前記撮像素子から、前記合成用画像データ
取得ステップが前記各フレーム期間における最長の露光時間に対応する画像データを取得
するよりも先行して前記短露光画像データを取得し、
前記色情報抽出ステップでは、前記先行して取得した短露光画像データから前記色情報
を抽出し、
前記光源情報推定ステップでは、前記先行して取得した短露光画像データから抽出され
た色情報に基づき光源に係る情報を推定し、
前記ゲイン設定ステップでは、前記先行して取得した短露光画像データから抽出された
色情報に基づき推定された光源に係る情報に基づき、ホワイトバランスの調整に用いるゲ
インを設定し、
前記ホワイトバランス調整ステップでは、前記ゲイン設定ステップで設定されたゲインを用いて、該ゲインの設定に係る短露光画像データと同じフレーム期間の前記2以上の画像データに基づき前記合成画像データ生成ステップにて生成された合成画像データのホワイトバランスを調整すること
を特徴とする画像処理方法。 Image data for synthesis that acquires two or more image data from a plurality of image data obtained by imaging a subject with a plurality of different exposure times in each frame period from the imaging device capable of imaging the subject. An acquisition step;
A composite image data generation step of generating a composite image data by linearly combining the two or more image data acquired in the composite image data acquisition step based on an exposure time ratio;
Color measurement image data acquisition step for acquiring short exposure image data that is image data corresponding to the shortest exposure time among the plurality of image data from the imaging device;
A color information extraction step of extracting color information from the short exposure image data acquired in the color measurement image data acquisition step;
Based on the color information extracted in the color information extraction step, a light source information estimation step for estimating information related to a light source at the time of imaging the subject;
Based on the estimation result in the light source information estimation step, a gain setting step for setting a gain used for white balance adjustment;
Using the gain set in the gain setting step, white balance adjustment of composite image data generated by combining the two or more image data in the same frame period as the short-exposure image data related to the gain setting is performed. Performing a white balance adjustment step,
In the color measurement image data acquisition step, the image sensor can read out pixel signals by a non-destructive readout method of reading out pixel signals corresponding to the accumulated charges while maintaining accumulated charges from the pixels. In the frame period, each pixel is exposed at the plurality of different exposure times in order from the shortest exposure time, and the pixel signal is read from each exposed pixel by the nondestructive readout method, and the exposure time corresponds to each exposure time. Output the pixel signal data constituting the image data to be
In the composite image data acquisition step, two or more pieces of image data including image data corresponding to the longest exposure time in each frame period are acquired from the image sensor,
In the composite image data generation step, composite image data is generated based on two or more image data including image data corresponding to the longest exposure time,
In the color measurement image data acquisition step, the short-exposure image data is acquired from the image sensor prior to the synthesis image data acquisition step acquiring image data corresponding to the longest exposure time in each frame period. Get
In the color information extraction step, the color information is extracted from the short exposure image data acquired in advance,
In the light source information estimation step, information relating to the light source is estimated based on color information extracted from the short-exposure image data acquired in advance.
In the gain setting step, a gain used for white balance adjustment is set based on information on a light source estimated based on color information extracted from the short-exposure image data acquired in advance.
In the white balance adjustment step, using the gain set in the gain setting step , the composite image data generation step is performed based on the two or more image data in the same frame period as the short exposure image data related to the gain setting. And adjusting the white balance of the composite image data generated in this way.
請求項1乃至請求項9のいずれか1項に記載の画像処理装置と、を備えることを特徴
とする撮像装置。 An image sensor capable of imaging a subject;
An image processing apparatus comprising: the image processing apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010186914A JP5699482B2 (en) | 2010-08-24 | 2010-08-24 | Image processing apparatus, image processing method, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010186914A JP5699482B2 (en) | 2010-08-24 | 2010-08-24 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012049600A JP2012049600A (en) | 2012-03-08 |
JP5699482B2 true JP5699482B2 (en) | 2015-04-08 |
Family
ID=45904029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010186914A Active JP5699482B2 (en) | 2010-08-24 | 2010-08-24 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5699482B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5178933B1 (en) * | 2012-05-21 | 2013-04-10 | 正浩 小林 | Image processing device |
JP2014110618A (en) * | 2012-12-04 | 2014-06-12 | Samsung Electronics Co Ltd | Image processing apparatus, image processing method, and program |
WO2015151748A1 (en) | 2014-03-31 | 2015-10-08 | 富士フイルム株式会社 | Image-processing device, imaging device, image-processing method, and program |
JP6343200B2 (en) | 2014-07-31 | 2018-06-13 | キヤノン株式会社 | Imaging apparatus, control method therefor, and program |
TWI498848B (en) * | 2014-10-13 | 2015-09-01 | Quanta Comp Inc | Multi-exposure imaging system and white balance method |
JP6533050B2 (en) | 2014-11-13 | 2019-06-19 | クラリオン株式会社 | In-vehicle camera system |
JP2020031257A (en) * | 2016-12-27 | 2020-02-27 | パナソニックIpマネジメント株式会社 | Imaging apparatus, camera, and imaging method |
EP3565234B1 (en) * | 2016-12-27 | 2023-05-24 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device, camera, and imaging method |
US11736804B2 (en) * | 2020-09-07 | 2023-08-22 | Mediatek Inc. | Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings |
CN117135468B (en) * | 2023-02-21 | 2024-06-07 | 荣耀终端有限公司 | Image processing method and electronic equipment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048563A (en) * | 2002-07-15 | 2004-02-12 | Fuji Photo Film Co Ltd | Imaging device and image processing method |
JP4276847B2 (en) * | 2003-01-10 | 2009-06-10 | 富士フイルム株式会社 | Imaging device |
JP4475118B2 (en) * | 2004-12-28 | 2010-06-09 | カシオ計算機株式会社 | Camera device, white balance bracketing shooting method |
JP4967440B2 (en) * | 2006-04-03 | 2012-07-04 | ソニー株式会社 | Imaging apparatus and light source estimation apparatus thereof |
JP4556993B2 (en) * | 2007-12-07 | 2010-10-06 | セイコーエプソン株式会社 | Condition inspection system |
JP2009290734A (en) * | 2008-05-30 | 2009-12-10 | Sony Corp | Image processor and image processing method and program |
JP2010035120A (en) * | 2008-07-29 | 2010-02-12 | Advas Co Ltd | Video camera image sensing device |
-
2010
- 2010-08-24 JP JP2010186914A patent/JP5699482B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012049600A (en) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5699482B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP4218723B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
US8310562B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method for compressing the dynamic range of image data | |
CN110022469B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
KR101388130B1 (en) | Image processing apparatus and image processing method | |
KR101352440B1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP5743696B2 (en) | Image processing apparatus, image processing method, and program | |
US7486884B2 (en) | Imaging device and imaging method | |
JP2008104009A (en) | Imaging apparatus and method | |
JP2012029029A (en) | Image processing device, image processing method and imaging device | |
JP2009296178A (en) | Imaging device and imaging method | |
JP2009044221A (en) | Imaging apparatus | |
JP2007082181A (en) | Imaging apparatus and image processing method | |
JP5804857B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012235358A (en) | Image processing apparatus, image processing method, and program | |
JP2007325145A (en) | Image processing apparatus, method and program | |
CN111434104B (en) | Image processing apparatus, image capturing apparatus, image processing method, and recording medium | |
JP5854716B2 (en) | Image processing apparatus, image processing method, and program | |
JP2002223355A (en) | Image processor and recording medium with image processing program recorded thereon | |
JP4802333B2 (en) | Method for determining exposure ratio in image composition | |
JP4028395B2 (en) | Digital camera | |
JP2014098859A (en) | Imaging apparatus and imaging method | |
JP2007267170A (en) | Electronic camera with chroma saturation regulating function and image processing program | |
KR101589493B1 (en) | White ballance control method and apparatus using a flash and digital photographing apparatus using thereof | |
JP2000050160A (en) | Picture compositing device and its method, and storage medium storing picture composition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141225 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5699482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |