JP5807378B2 - Imaging apparatus, imaging method, and imaging program - Google Patents

Imaging apparatus, imaging method, and imaging program Download PDF

Info

Publication number
JP5807378B2
JP5807378B2 JP2011108341A JP2011108341A JP5807378B2 JP 5807378 B2 JP5807378 B2 JP 5807378B2 JP 2011108341 A JP2011108341 A JP 2011108341A JP 2011108341 A JP2011108341 A JP 2011108341A JP 5807378 B2 JP5807378 B2 JP 5807378B2
Authority
JP
Japan
Prior art keywords
white balance
block
white
evaluation value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011108341A
Other languages
Japanese (ja)
Other versions
JP2012239128A (en
Inventor
野村 健一郎
健一郎 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011108341A priority Critical patent/JP5807378B2/en
Publication of JP2012239128A publication Critical patent/JP2012239128A/en
Application granted granted Critical
Publication of JP5807378B2 publication Critical patent/JP5807378B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、撮像装置、撮像方法および撮像プログラムに関する。さらに詳述すると、ホワイトバランス補正に好適な撮像装置、撮像方法および撮像プログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and an imaging program. More specifically, the present invention relates to an imaging apparatus, an imaging method, and an imaging program suitable for white balance correction.

CCD(Charge Coupled Device:電荷結合素子)イメージセンサ等を撮像素子として用いた撮像装置において、光源の色温度によるCCDの出力信号の色変化を、人間の目に不自然に感じさせないように補正するホワイトバランス(White Balance)補正は、必須の機能の一つである。   In an imaging device using a CCD (Charge Coupled Device) image sensor or the like as an imaging device, the color change of the output signal of the CCD due to the color temperature of the light source is corrected so as not to feel unnatural to the human eye. White balance correction is one of the essential functions.

ホワイトバランス補正では、屋外(晴天)、曇天(日陰)、白熱灯、蛍光灯等の撮影状況(すなわち、光源)を判断して、撮影状況に応じた最適なホワイトバランスゲインを決定し、ホワイトバランス補正を実行する技術が知られているが、例えば、曇天(日陰)で緑のあるシーンと室内での蛍光灯下のシーンとでは明るさ(照度)及び色の分布が似ているため識別が困難であることが知られており、撮影状況を誤判断して適切な補正をすることができない場合があった。   In white balance correction, the shooting condition (ie, light source) such as outdoors (clear weather), cloudy weather (shade), incandescent light, fluorescent light, etc. is judged, and the optimal white balance gain is determined according to the shooting condition. Although a technique for performing correction is known, for example, a scene with a cloudy day (shade) and green and a scene under a fluorescent lamp in a room are similar because the brightness (illuminance) and color distribution are similar. It is known that it is difficult, and there are cases where it is impossible to make an appropriate correction by misjudging the shooting situation.

これは、明るさ及び色の分布だけを基準として閾値処理すると、屋内光と屋外光の分布が重なる部分があり、正しく判別できないことによるものであるが、この結果、例えば、屋外の緑があるシーンについて、緑部分を白く補正してしまい、画像全体がマゼンタになる等の問題があった。   This is due to the fact that when threshold processing is performed based only on the brightness and color distribution, there is a portion where the distribution of indoor light and outdoor light overlaps and cannot be correctly identified. There was a problem that the green part of the scene was corrected to white and the entire image became magenta.

このような問題に対し、例えば、特許文献1には、周波数成分、エッジ量成分、明るさ情報に基づいて光源を推定して、ホワイトバランス補正を実行するホワイトバランス補正装置が開示されている。また、特許文献2には、色相や彩度情報などの複数の特徴情報に基づいてホワイトバランス補正を実行する画像処理装置が開示されている。   To deal with such a problem, for example, Patent Document 1 discloses a white balance correction apparatus that estimates a light source based on a frequency component, an edge amount component, and brightness information and performs white balance correction. Patent Document 2 discloses an image processing apparatus that performs white balance correction based on a plurality of pieces of feature information such as hue and saturation information.

しかしながら、上記特許文献に記載の技術では、ホワイトバランスゲインの決定に際し、多くの情報を扱う必要があるため、処理量の増加およびメモリ容量の増大に繋がるという問題があった。   However, the technique described in the above-mentioned patent document has a problem in that a large amount of information needs to be handled when determining the white balance gain, leading to an increase in processing amount and an increase in memory capacity.

また、色相を判断基準として用いると、白色蛍光灯と植物の緑との判別は難しく、さらに、彩度情報は撮像装置の露出によっては同じ値となりうるため判別が困難であるという問題があった。   In addition, when hue is used as a criterion, there is a problem that it is difficult to discriminate between a white fluorescent lamp and a green plant, and it is difficult to discriminate because saturation information can be the same value depending on the exposure of the imaging device. .

そこで本発明は、画像領域のうち緑シーンが撮影された緑ブロックを利用してホワイトバランス補正を行うことにより、簡易に色ずれのない良好なホワイトバランス補正を行うことができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。   Accordingly, the present invention provides an imaging apparatus and an imaging method capable of easily performing good white balance correction without color misregistration by performing white balance correction using a green block in which a green scene is captured in an image area. And an imaging program.

かかる目的を達成するため、本発明に係る撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段と、ブロックごとに撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得手段と、ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定手段と、該緑ブロック判定手段によって緑ブロックである判定されたブロックについて、ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出手段と、ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出手段と、分散値および白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、を備え、ホワイトバランス補正係数に基づいてホワイトバランス制御を行うものである。 In order to achieve such an object, an imaging apparatus according to the present invention divides light incident from an optical system into an electrical signal and outputs it as an imaging signal, and an image area corresponding to the imaging element is divided into a plurality of blocks. A block dividing unit that performs a white balance evaluation value acquisition unit that calculates a white balance evaluation value based on an imaging signal for each block, and a green block determination unit that determines whether the block is a green block based on the white balance evaluation value And a green block variance calculating means for calculating a variance value based on the white balance evaluation value for the block determined to be a green block by the green block determining means, a white balance evaluation value and a preset white extraction range. a white extraction means for extracting a white block on the basis of the white balance evaluation of variance and the white block Based on includes a white balance correction coefficient calculation means for calculating a white balance correction coefficient, a, and performs white balance control on the basis of the white balance correction coefficient.

また、本発明に係る撮像方法は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置における撮像方法であって、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、ブロックごとに撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得処理と、ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定処理と、該緑ブロック判定処理によって緑ブロックである判定されたブロックについて、ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出処理と、ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出処理と、分散値および白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、ホワイトバランス補正係数に基づいてホワイトバランス処理と、を行うようにしている。 An imaging method according to the present invention is an imaging method in an imaging apparatus including an imaging device that converts light incident from an optical system into an electrical signal and outputs the electrical signal, and an image region corresponding to the imaging device is obtained. Block division processing that divides into multiple blocks, white balance evaluation value acquisition processing that calculates a white balance evaluation value based on the imaging signal for each block, and whether or not the block is a green block based on the white balance evaluation value Green block determination processing, green block dispersion calculation processing for calculating a dispersion value based on a white balance evaluation value, a white balance evaluation value, and a preset value for a block determined to be a green block by the green block determination processing a white extraction process of extracting a white block on the basis of the white extraction ranges, ho dispersion values and the white block Based on the site balance evaluation value, and to perform the white balance correction coefficient calculation processing of calculating the white balance correction coefficient, and white balance processing on the basis of the white balance correction coefficients, the.

また、本発明に係る撮像プログラムは、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置に、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、ブロックごとに撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得処理と、ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定処理と、該緑ブロック判定処理によって緑ブロックである判定されたブロックについて、ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出処理と、ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出処理と、分散値および白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、ホワイトバランス補正係数に基づいてホワイトバランス処理と、を実行させるものである。 In addition, an imaging program according to the present invention divides an image area corresponding to an imaging device into a plurality of blocks in an imaging device including an imaging device that converts light incident from an optical system into an electrical signal and outputs the electrical signal. Block division processing, white balance evaluation value acquisition processing for calculating a white balance evaluation value based on an imaging signal for each block, and green block determination processing for determining whether the block is a green block based on the white balance evaluation value And a green block variance calculation process for calculating a variance value based on a white balance evaluation value for a block that is determined to be a green block by the green block determination process, a white balance evaluation value, and a preset white extraction range. a white extraction process of extracting a white block on the basis of the dispersion value and a white balance Review of the white block Based on the value, but to execute the white balance correction coefficient calculation processing of calculating the white balance correction coefficient, and white balance processing on the basis of the white balance correction coefficients, the.

本発明によれば、簡易に色ずれのない良好なホワイトバランス補正を行うことができる。   According to the present invention, it is possible to easily perform good white balance correction without color misregistration.

本発明に係る撮像装置の一実施形態であるデジタルカメラの外観図の一例であって、(a)は上面図、(b)は正面図、(c)は裏面図を示す。BRIEF DESCRIPTION OF THE DRAWINGS It is an example of the external view of the digital camera which is one Embodiment of the imaging device which concerns on this invention, (a) is a top view, (b) is a front view, (c) shows a back view. 本実施形態に係る撮像装置の機能ブロック図の一例である。It is an example of the functional block diagram of the imaging device which concerns on this embodiment. ホワイトバランス制御に係るCPUの制御ブロックの模式図である。It is a schematic diagram of the control block of CPU which concerns on white balance control. ホワイトバランス処理のフローチャート(第1の実施形態)である。It is a flowchart (1st Embodiment) of a white balance process. G/Rをx軸、G/Bをy軸とする2次元の色座標における緑ブロックおよび白ブロック抽出の説明図である。It is explanatory drawing of the green block and white block extraction in the two-dimensional color coordinate which makes G / R the x-axis and G / B is the y-axis. 分散値に対する屋外加重率を示すグラフの例である。It is an example of the graph which shows the outdoor weighting rate with respect to a dispersion value. ホワイトバランス処理のフローチャート(第2の実施形態)である。It is a flowchart (2nd Embodiment) of a white balance process. 明るさに対する屋外加重率抑制係数を示すグラフの例である。It is an example of the graph which shows the outdoor weighting rate suppression coefficient with respect to brightness.

以下、本発明に係る構成を図1から図8に示す実施の形態に基づいて詳細に説明する。   Hereinafter, the configuration according to the present invention will be described in detail based on the embodiment shown in FIGS.

本実施形態に係る撮像装置(デジタルカメラ)は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子(CCD121)と、撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段(101)と、ブロックごとに撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得手段(103)と、ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定手段(104)と、該緑ブロック判定手段によって緑ブロックである判定されたブロックについて、ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出手段(105)と、ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出手段(106)と、分散値および白ブロックに基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段(107)と、を備え、ホワイトバランス補正係数に基づいてホワイトバランス制御を行うものである。   The image pickup apparatus (digital camera) according to the present embodiment converts an incident light from an optical system into an electric signal and outputs it as an image pickup signal (CCD 121), and an image area corresponding to the image pickup element into a plurality of blocks. Block dividing means (101) for dividing, white balance evaluation value acquiring means (103) for calculating a white balance evaluation value based on the imaging signal for each block, and whether or not the block is a green block based on the white balance evaluation value A green block determination means (104) for determining a dispersion value for a block determined to be a green block by the green block determination means based on a white balance evaluation value; White extraction to extract white blocks based on white balance evaluation value and preset white extraction range And a white balance correction coefficient calculating means (107) for calculating a white balance correction coefficient based on the variance value and the white block, and performing white balance control based on the white balance correction coefficient. is there.

[第1の実施形態]
(撮像装置の構成)
本実施形態では、撮像装置の一例としてデジタルカメラを例に説明する。図1はデジタルカメラの外観図を示し、(a)はカメラ上面図、(b)はカメラ正面図、(c)はカメラ裏面図を示している。なお、撮像装置はデジタルカメラに限られるものではなく、ホワイトバランス補正機能を備えた撮像装置であれば良い。
[First Embodiment]
(Configuration of imaging device)
In the present embodiment, a digital camera will be described as an example of an imaging apparatus. FIG. 1 shows an external view of a digital camera, (a) shows a top view of the camera, (b) shows a front view of the camera, and (c) shows a rear view of the camera. Note that the imaging apparatus is not limited to a digital camera, and may be any imaging apparatus having a white balance correction function.

図1(a)に示すように、デジタルカメラは、上面に、サブLCD1と、レリーズシャッター2(SW1)と、モードダイヤル4(SW2)とを有する。   As shown in FIG. 1A, the digital camera has a sub LCD 1, a release shutter 2 (SW1), and a mode dial 4 (SW2) on the upper surface.

また、図1(b)に示すように、デジタルカメラは、正面に、ストロボ発光部3と、測距ユニット5と、リモコン受光部6と、レンズユニット7と、光学ファインダ(正面)11とを有する。また、メモリカードスロットル23は、SDカード等のメモリカード34を挿入するスロットルを示し、カメラ側面に設けられる。   As shown in FIG. 1B, the digital camera has a strobe light emitting unit 3, a distance measuring unit 5, a remote control light receiving unit 6, a lens unit 7, and an optical viewfinder (front) 11 on the front. Have. A memory card throttle 23 indicates a throttle for inserting a memory card 34 such as an SD card, and is provided on the side of the camera.

また、図1(c)に示すように、デジタルカメラは、裏面に、AFLED(オートフォーカスLED)8と、ストロボLED9と、LCDモニタ(表示手段)10と、光学ファインダ(裏面)11と、ズームボタン(ズームレバー)TELE12(SW4)と、電源スイッチ13(SW13)と、ズームボタン(ズームレバー)WIDE14(SW3)と、セルフタイマ/削除スイッチ15(SW6)とを有する。   As shown in FIG. 1C, the digital camera has an AFLED (autofocus LED) 8, a strobe LED 9, an LCD monitor (display means) 10, an optical viewfinder (back surface) 11, and a zoom on the back surface. It has a button (zoom lever) TELE12 (SW4), a power switch 13 (SW13), a zoom button (zoom lever) WIDE14 (SW3), and a self-timer / deletion switch 15 (SW6).

さらに、メニュースイッチ16(SW5)と、OKスイッチ17(SW12)と、左/画像確認スイッチ18(SW11)と、下/マクロスイッチ19(SW10)と、上/ストロボスイッチ20(SW7)と、右スイッチ21(SW8)と、画像を表示するディスプレイスイッチ22(SW9)とを有する。   Furthermore, the menu switch 16 (SW5), the OK switch 17 (SW12), the left / image confirmation switch 18 (SW11), the down / macro switch 19 (SW10), the up / strobe switch 20 (SW7), the right A switch 21 (SW8) and a display switch 22 (SW9) for displaying an image are provided.

図2は図1に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。   FIG. 2 is a functional block diagram of a control system of the digital camera shown in FIG. The system configuration inside the digital camera will be described below.

図2に示すように、このデジタルカメラ内には、レンズユニット7に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD121、CCD121から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するフロントエンドIC(F/E)120、フロントエンドIC(F/E)120から出力されるデジタル信号を処理する信号処理IC110、データを一時的に格納するSDRAM33、制御プログラム等が記憶されたROM30、モータドライバ32等が設けられている。   As shown in FIG. 2, in this digital camera, a CCD 121 serving as a solid-state imaging device, on which a subject image incident through a photographing lens system installed in the lens unit 7 forms an image on a light receiving surface, is output from the CCD 121. Front-end IC (F / E) 120 that processes signals (analog RGB image signals) into digital signals, signal-processing IC 110 that processes digital signals output from front-end IC (F / E) 120, and data temporarily An SDRAM 33 to be stored, a ROM 30 in which a control program and the like are stored, a motor driver 32 and the like are provided.

レンズユニット7は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ32によって駆動される。モータドライバ32は、信号処理IC110の内部に含まれるマイクロコンピュータ(CPU、制御部)111によって制御される。   The lens unit 7 includes a zoom lens, a focus lens, a mechanical shutter, and the like, and is driven by a motor driver 32. The motor driver 32 is controlled by a microcomputer (CPU, control unit) 111 included in the signal processing IC 110.

CCD121は、光学画像を光電変換するための固体撮像素子であって、CCDを構成する複数の画素上に色分解フィルタとしてのRGB原色フィルタが配置されており、RGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。   The CCD 121 is a solid-state imaging device for photoelectrically converting an optical image, and an RGB primary color filter as a color separation filter is arranged on a plurality of pixels constituting the CCD, and an electrical signal (analogue) corresponding to RGB three primary colors. RGB image signal) is output.

フロントエンドIC(F/E)120は、CCD出力電気信号(アナログ画像データ)についてサンプリングホールド(相関二重サンプリング)を行うCDS122、このサンプリングされたデータのゲインを調整するAGC(Auto Gain Control)123、デジタル信号変換を行うA/D変換機(A/D)124、及びCCDI/F112より垂直同期信号(VD)、水平同期信号(HD)を供給されCCD121とF/E120との駆動タイミング信号を発生するTG(タイミングジェネレータ:制御信号発生器)125を有する。   A front-end IC (F / E) 120 is a CDS 122 that performs sampling hold (correlated double sampling) on the CCD output electrical signal (analog image data), and an AGC (Auto Gain Control) 123 that adjusts the gain of the sampled data. A vertical synchronization signal (VD) and a horizontal synchronization signal (HD) are supplied from an A / D converter (A / D) 124 that performs digital signal conversion and a CCD I / F 112, and drive timing signals for the CCD 121 and the F / E 120 are supplied. A TG (timing generator: control signal generator) 125 is generated.

発振器(クロックジェネレータ)は、CPU111を含む信号処理IC110のシステムクロックとTG125等にクロックを供給している。TG125は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理IC110内のCCDI/F112に供給する。   The oscillator (clock generator) supplies a clock to the system clock of the signal processing IC 110 including the CPU 111, the TG 125, and the like. The TG 125 receives the oscillator clock and supplies a pixel clock for pixel synchronization to the CCD I / F 112 in the signal processing IC 110.

F/E120から信号処理IC110に入力されたデジタル信号は、CCDI/F112を介して、メモリコントローラ115によりSDRAM33にRGBデータ(RAW−RGB)として一時保管される。   A digital signal input from the F / E 120 to the signal processing IC 110 is temporarily stored as RGB data (RAW-RGB) in the SDRAM 33 by the memory controller 115 via the CCD I / F 112.

信号処理IC110は、システム制御を行うCPU111、CCDI/F112、リサイズ処理部113、メモリコントローラ115、表示出力制御部116、圧縮伸張部117、メディアI/F部118、YUV変換部119等から構成されている。   The signal processing IC 110 includes a CPU 111 that performs system control, a CCD I / F 112, a resizing processing unit 113, a memory controller 115, a display output control unit 116, a compression / expansion unit 117, a media I / F unit 118, a YUV conversion unit 119, and the like. ing.

CCDI/F112は、垂直同期信号(VD)、水平同期信号(HD)の出力を行い、その同期信号に合わせてA/D124から入力されるデジタル(RGB)信号を取り込んで、メモリコントローラ115経由でSDRAM33にRGBデータの書き込みを行う。   The CCD I / F 112 outputs a vertical synchronizing signal (VD) and a horizontal synchronizing signal (HD), takes in a digital (RGB) signal input from the A / D 124 in accordance with the synchronizing signal, and passes through the memory controller 115. RGB data is written to the SDRAM 33.

表示出力制御部116はSDRAM33に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部116は、デジタルカメラが内蔵しているLCDモニタ10に表示することも、TVビデオ信号として出力して外部装置に表示することも可能である。   The display output control unit 116 sends the display data written in the SDRAM 33 to the display unit, and displays the captured image. The display output control unit 116 can display on the LCD monitor 10 built in the digital camera, or output it as a TV video signal and display it on an external device.

ここでいう、表示用データとは、自然画像のYCbCrと、撮影モードアイコンなどを表示するOSD(オンスクリーンディスプレイ)データであり、いずれもSDRAM33上に置かれたデータをメモリコントローラ115が読み出して表示出力制御部116に送り、表示出力制御部116で合成したデータをビデオデータとして出力する。   The display data here is OSD (on-screen display) data for displaying a natural image YCbCr, a shooting mode icon, etc., and the memory controller 115 reads and displays the data placed on the SDRAM 33. The data is sent to the output control unit 116, and the data synthesized by the display output control unit 116 is output as video data.

圧縮伸張部117は、記録時はSDRAM33に書き込まれたYCbCrデータを圧縮してJPEG符号化されたデータを出力し、再生時は読み出したJPEG符号化データをYCbCrデータに伸張して出力する。   The compression / decompression unit 117 compresses the YCbCr data written in the SDRAM 33 during recording and outputs JPEG-encoded data. During reproduction, the compression / decompression unit 117 decompresses the read JPEG-encoded data into YCbCr data and outputs the YCbCr data.

メディアI/F118は、CPU111の指示により、メモリカード34内のデータをSDRAM33に読み出したり、SDRAM33上のデータをメモリカード34に書き込んだりする。   The media I / F 118 reads data in the memory card 34 to the SDRAM 33 or writes data on the SDRAM 33 to the memory card 34 in accordance with an instruction from the CPU 111.

YUV変換部119は、CPU111から設定された画像現像処理パラメータに基づき、SDRAM33に一時保管されたRGBデータを輝度Yと色差CbCrデータ(YUVデータ)に変換処理し、SDRAM33へ書き戻す。   The YUV conversion unit 119 converts the RGB data temporarily stored in the SDRAM 33 into luminance Y and color difference CbCr data (YUV data) based on the image development processing parameters set by the CPU 111, and writes back to the SDRAM 33.

リサイズ処理部113は、YUVデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。   The resizing processing unit 113 reads out YUV data and performs size conversion to a size necessary for recording, size conversion to a thumbnail image, size conversion to a size suitable for display, and the like.

また、全体の動作を制御する制御部であるCPU111は、起動時にROM30に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばSDRAM33にロードし、そのプログラムコードに基づいて全体の動作を制御する。   In addition, the CPU 111 which is a control unit that controls the overall operation loads a control program and control data for controlling the camera stored in the ROM 30 at the time of startup into, for example, the SDRAM 33, and performs the overall operation based on the program code. Control.

CPU111は、操作部31のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。   The CPU 111 performs imaging operation control, setting of image development processing parameters, in accordance with an instruction by a button key of the operation unit 31, an external operation instruction from a remote controller (not shown), or a communication operation instruction by communication from an external terminal such as a personal computer. Performs memory control and display control.

操作部31は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図1に示すように、撮影を指示する2段(半押し、全押し)レリーズシャッター2、光学ズームおよび電子ズーム倍率を設定するズームボタン12,14等の各種ボタンキーを備えている。   The operation unit 31 is used by the photographer to instruct the operation of the digital camera, and a predetermined operation instruction signal is input to the control unit by the operation of the photographer. For example, as shown in FIG. 1, various button keys such as a two-stage (half-pressed and fully-pressed) release shutter 2 for instructing shooting, zoom buttons 12 and 14 for setting an optical zoom and an electronic zoom magnification are provided.

操作部31よりデジタルカメラの電源キーがオンされたことを検出すると、CPU111は各ブロックに所定の設定を行う。この設定により、レンズユニット7を介してCCD121で受光した画像は、デジタル映像信号に変換されて信号処理IC110に入力される。   When the operation unit 31 detects that the power key of the digital camera is turned on, the CPU 111 performs a predetermined setting for each block. With this setting, an image received by the CCD 121 via the lens unit 7 is converted into a digital video signal and input to the signal processing IC 110.

信号処理IC110へ入力されたデジタル信号はCCDI/F112に入力される。CCDI/F112では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、SDRAM33に一旦保存される。このSDRAM33に保存されたRAW−RGB画像データは、YUV変換部119に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、YUV変換処理が行われYUV画像データとしてSDRAM33へ書き戻される。   The digital signal input to the signal processing IC 110 is input to the CCD I / F 112. The CCD I / F 112 performs processing such as black level adjustment on the photoelectrically converted analog signal and temporarily stores it in the SDRAM 33. The RAW-RGB image data stored in the SDRAM 33 is read by the YUV conversion unit 119, and subjected to gamma conversion processing, white balance processing, edge enhancement processing, and YUV conversion processing, and is written back to the SDRAM 33 as YUV image data. .

YUV画像データは表示出力制御部116に読み出され、例えば出力先がNTSCシステムのTVであれば、リサイズ処理部113により、そのシステムに合わせた水平・垂直の変倍処理が施され、TVに出力される。この処理がVD毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。   The YUV image data is read by the display output control unit 116. For example, if the output destination is an NTSC system TV, the resizing processing unit 113 performs horizontal / vertical scaling processing according to the system, and Is output. By performing this process for each VD, monitoring which is a display for confirmation before still photographing is performed.

(撮像装置の動作)
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
(Operation of imaging device)
Next, the monitoring operation and still image shooting operation of the digital camera will be described. This digital camera performs a still image shooting operation while performing a monitoring operation as described below in the still image shooting mode.

先ず、撮影者が電源スイッチ13をONにし、モードダイヤル4を撮影モード(静止画撮影モード)に設定することで、デジタルカメラが記録モードで起動する。これをCPU111が検知すると、CPU111はモータドライバ32に制御信号を出力して、レンズユニット7を撮影可能位置に移動させ、かつ、CCD121、F/E120、信号処理IC110、SDRAM33、ROM30、LCDモニタ10等を起動させる。   First, when the photographer turns on the power switch 13 and sets the mode dial 4 to the photographing mode (still image photographing mode), the digital camera is activated in the recording mode. When the CPU 111 detects this, the CPU 111 outputs a control signal to the motor driver 32 to move the lens unit 7 to a photographing position, and the CCD 121, F / E 120, signal processing IC 110, SDRAM 33, ROM 30, LCD monitor 10 And so on.

そして、レンズユニット7の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がCCD121の各画素の受光面上に結像する。そして、CCD121から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS122、AGC123を介してA/D124に入力され、A/D124により12ビットのRAW−RGBデータに変換する。   Then, by directing the photographic lens system of the lens unit 7 toward the subject, a subject image incident through the photographic lens system is formed on the light receiving surface of each pixel of the CCD 121. An electrical signal (analog RGB image signal) corresponding to the subject image output from the CCD 121 is input to the A / D 124 via the CDS 122 and AGC 123, and converted into 12-bit RAW-RGB data by the A / D 124.

このRAW−RGBデータは、信号処理IC110のCCDI/F112に取り込まれてメモリコントローラ115を介してSDRAM33に保存される。そして、SDRAM33から読み出されたRAW−RGBデータは、YUV変換部119に入力されて表示可能な形式であるYUVデータに変換された後に、メモリコントローラ115を介してSDRAM33にYUVデータが保存される。   This RAW-RGB data is taken into the CCD I / F 112 of the signal processing IC 110 and stored in the SDRAM 33 via the memory controller 115. The RAW-RGB data read from the SDRAM 33 is input to the YUV conversion unit 119 and converted into YUV data that can be displayed, and then the YUV data is stored in the SDRAM 33 via the memory controller 115. .

そして、SDRAM33からメモリコントローラ115を介して読み出したYUVデータは、表示出力制御部116を介してLCDモニタ10へ送られ、撮影画像(動画)が表示される。LCDモニタ10に撮影画像を表示しているモニタリング時においては、CCDI/F112による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。   The YUV data read from the SDRAM 33 via the memory controller 115 is sent to the LCD monitor 10 via the display output control unit 116, and a captured image (moving image) is displayed. At the time of monitoring in which a photographed image is displayed on the LCD monitor 10, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels by the CCD I / F 112.

なお、このモニタリング動作時は、電子ファインダとして機能するLCDモニタ10に撮影画像(動画)が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。   In this monitoring operation, the photographed image (moving image) is only displayed on the LCD monitor 10 functioning as an electronic viewfinder, and the release button 2 is not yet pressed (including half-pressed).

この撮影画像のLCDモニタ10への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部116からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。   By displaying the photographed image on the LCD monitor 10, the composition for photographing a still image can be confirmed. In addition, it can output as a TV video signal from the display output control part 116, and can display a picked-up image (moving image) on external TV (television) via a video cable.

そして、信号処理IC110のCCDI/F112は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値(WB評価値、AWB評価値ともいう)を算出する。   Then, the CCD I / F 112 of the signal processing IC 110 determines an AF (automatic focus) evaluation value, an AE (automatic exposure) evaluation value, an AWB (auto white balance) evaluation value (WB evaluation value) from the captured RAW-RGB data. (Also referred to as AWB evaluation value).

AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。   The AF evaluation value is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By using this, at the time of AF operation (focus detection operation), AF evaluation values at each focus lens position in the photographing lens system are acquired, and AF operation is performed with the maximum point as the focus detection position. Is executed.

AE評価値とWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD121の全画素の受光面に対応した画面(画像領域)を256ブロック(エリア)に等分割(水平16分割、垂直16分割)し、それぞれのブロックのRGB積算を算出する。   The AE evaluation value and the WB evaluation value are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the screen (image area) corresponding to the light receiving surface of all the pixels of the CCD 121 is equally divided into 256 blocks (areas) (horizontal 16 divisions and vertical 16 divisions), and the RGB integration of each block is calculated.

そして、制御部は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリア(ブロック)の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCD121の電子シャッタ回数、絞りユニットの絞り値、NDフィルタの出し入れ等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部119でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、AE処理とAWB処理は、モニタリング時には連続的に行われている。   Then, the control unit reads the calculated RGB integrated value, and in the AE process, calculates the luminance of each area (block) of the screen and determines an appropriate exposure amount from the luminance distribution. Based on the determined exposure amount, exposure conditions (the number of electronic shutters of the CCD 121, the aperture value of the aperture unit, the insertion and removal of the ND filter, etc.) are set. In the AWB process, an AWB control value that matches the color of the light source of the subject is determined from the RGB distribution. By this AWB process, white balance is adjusted when the YUV conversion unit 119 performs conversion processing to YUV data. Note that the AE process and the AWB process are continuously performed during monitoring.

そして、モニタリング動作時に、レリーズボタンが押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。   Then, when a still image shooting operation in which the release button is pressed (half-pressed to fully pressed) is started during the monitoring operation, an AF operation that is a focus position detection operation and a still image recording process are performed.

即ち、レリーズボタンが押圧(半押しから全押し)操作されると、制御部からモータドライバ32への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。   That is, when the release button is pressed (half to full), the focus lens of the photographing lens system is moved by a drive command from the control unit to the motor driver 32. For example, contrast evaluation called so-called hill-climbing AF is performed. The AF operation of the method is executed.

AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F112で算出されている各フォーカス位置におけるAF評価値を制御部が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。   When the AF (focusing) target range is the entire region from infinity to close, the focus lens of the taking lens system moves to each focus position from close to infinity or from infinity to close, and the CCD I / F 112 The control unit reads the AF evaluation value at each focus position calculated in step (1). Then, the focus lens is moved to the in-focus position with the point where the AF evaluation value at each focus position is maximized as the in-focus position, and in-focus.

そして、AE処理が行われ、露光完了時点で、制御部からモータドライバ32への駆動指令によりメカシャッタユニットが閉じられ、CCD121から静止画用のアナログRGB画像信号が出力される。そして、モニタリング時と同様に、F/E120のA/D124によりRAW−RGBデータに変換される。   Then, AE processing is performed, and when the exposure is completed, the mechanical shutter unit is closed by a drive command from the control unit to the motor driver 32, and an analog RGB image signal for a still image is output from the CCD 121. Then, as in the monitoring, the data is converted into RAW-RGB data by the A / D 124 of the F / E 120.

そして、このRAW−RGBデータは、信号処理IC110のCCDI/F112に取り込まれ、YUV変換部119でYUVデータに変換されて、メモリコントローラ115を介してSDRAM33に保存される。そして、このYUVデータはSDRAM33から読み出されて、リサイズ処理部113で記録画素数に対応するサイズに変換され、圧縮伸張部117でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM33に書き戻された後にメモリコントローラ115を介してSDRAM33から読み出され、メディアI/F118を介してメモリカード34に保存される。   The RAW-RGB data is taken into the CCD I / F 112 of the signal processing IC 110, converted into YUV data by the YUV conversion unit 119, and stored in the SDRAM 33 via the memory controller 115. The YUV data is read from the SDRAM 33, converted into a size corresponding to the number of recording pixels by the resizing processing unit 113, and compressed to image data in the JPEG format or the like by the compression / decompression unit 117. The compressed image data such as JPEG format is written back to the SDRAM 33, read from the SDRAM 33 via the memory controller 115, and stored in the memory card 34 via the media I / F 118.

(ホワイトバランス制御)
図3は、ホワイトバランス制御に係るCPU111の制御ブロックの説明図である。CPU111の各制御ブロックが実行するホワイトバランス制御について、図4に示す処理フローチャートを参照して説明する。なお、ブロック分割手段101、RGB積算手段102、ホワイトバランス評価値取得手段103、緑ブロック判定手段104、緑ブロック分散算出手段105、白抽出手段106、ホワイトバランス係数算出手段107の各手段は、CPU111で実行されるソフトウェア(撮像プログラム)を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、SDRAM33にロードされる。
(White balance control)
FIG. 3 is an explanatory diagram of a control block of the CPU 111 related to white balance control. The white balance control executed by each control block of the CPU 111 will be described with reference to the processing flowchart shown in FIG. Note that each of the block dividing unit 101, the RGB integrating unit 102, the white balance evaluation value acquiring unit 103, the green block determining unit 104, the green block variance calculating unit 105, the white extracting unit 106, and the white balance coefficient calculating unit 107 includes a CPU 111. The software (imaging program) executed in (1) is executed by the imaging device, and data necessary for the execution is loaded into the SDRAM 33, for example.

先ず、上述したように、RGB積算手段102は、RAW−RGBがCCDI/F112に取り込まれた後、ブロック分割手段101により256ブロックに等分割された画像領域(CCD121の全画素の受光面に対応した画面)について、ブロック毎に出力されるR値、G値、B値(単に、R、G、Bともいい、RGBと総称する)それぞれの積算値(R積算値、G積算値、B積算値ともいい、RGB積算値と総称する)を取得する(S101:RGB積算値取得処理)。なお、R値、G値、B値は、例えば8ビットで表現されるが、数量化方法については特に限られるものではない。   First, as described above, the RGB integrating means 102 corresponds to the image area (the light receiving surface of all the pixels of the CCD 121) that is divided into 256 blocks by the block dividing means 101 after RAW-RGB is taken into the CCD I / F 112. Screen) for each block, R values, G values, and B values (also simply referred to as R, G, and B, collectively referred to as RGB), integrated values (R integrated values, G integrated values, and B integrated values). (S101: RGB integrated value acquisition process). The R value, the G value, and the B value are expressed by, for example, 8 bits, but the quantification method is not particularly limited.

次に、ホワイトバランス評価値取得手段103は、取得した各ブロックのRGB積算値から1画素あたりのRGBそれぞれの平均値(R平均値、G平均値、B平均値ともいい、RGB平均値と総称する)を算出し、WB評価値(G/R、G/B)およびAE評価値(Y)を算出する(S102:WB評価値、AE評価値生成処理)。ここで、WB評価値(G/R、G/B)およびAE評価値(Y)の算出は、例えば、次式(1)〜(3)により算出することができる。
G/R=(G平均値×100)/R平均値 ・・・(1)
G/B=(G平均値×100)/B平均値 ・・・(2)
Y=(R平均値×3+G平均値×6+B平均値)/10 ・・・(3)
なお、WB評価値(G/R、G/B)およびAE評価値(Y)の算出方法は、上記の例に限られるものではなく、その他、公知または新規の算出方法によるものであっても良い。
Next, the white balance evaluation value acquisition unit 103 obtains an average value of RGB for each pixel (also referred to as an R average value, a G average value, or a B average value from the acquired RGB integrated values of each block, and is collectively referred to as an RGB average value. Is calculated), and the WB evaluation value (G / R, G / B) and the AE evaluation value (Y) are calculated (S102: WB evaluation value, AE evaluation value generation process). Here, the calculation of the WB evaluation value (G / R, G / B) and the AE evaluation value (Y) can be calculated by, for example, the following equations (1) to (3).
G / R = (G average value × 100) / R average value (1)
G / B = (G average value × 100) / B average value (2)
Y = (R average value × 3 + G average value × 6 + B average value) / 10 (3)
Note that the calculation method of the WB evaluation value (G / R, G / B) and the AE evaluation value (Y) is not limited to the above example, but may be other known or new calculation methods. good.

次に、緑ブロック判定手段104は、WB評価値(G/R、G/B)に基づいて緑ブロック(緑評価値)の判定を行う(S103:緑ブロック判定処理)。緑ブロック判定処理は、WB評価値のG/R、G/Bそれぞれについて、所定の閾値を設け、双方が閾値を超えるブロックを、緑ブロックであると判定するものである。例えば、図5に示すように、G/Rをx軸、G/Bをy軸とする2次元の色座標上で、G/RおよびG/B双方の値が大きい(所定の閾値を超える)領域(図5中の塗りつぶし部分)にあるWB評価値のブロックを緑ブロックと判定するものである。   Next, the green block determination means 104 determines a green block (green evaluation value) based on the WB evaluation values (G / R, G / B) (S103: green block determination processing). In the green block determination process, a predetermined threshold is provided for each of WB evaluation values G / R and G / B, and a block in which both exceed the threshold is determined to be a green block. For example, as shown in FIG. 5, both G / R and G / B values are large (exceeding a predetermined threshold value) on a two-dimensional color coordinate having G / R as the x axis and G / B as the y axis. ) A block of the WB evaluation value in the area (filled portion in FIG. 5) is determined as a green block.

次に、緑ブロック分散算出手段105は、緑ブロックのWB評価値(G/R、G/B)に基づいて、例えば、数式1により分散値を算出する(S104:分散値算出処理)。
Next, the green block variance calculation unit 105 calculates a variance value using, for example, Equation 1 based on the WB evaluation values (G / R, G / B) of the green block (S104: variance value calculation process).

一方、白抽出手段106は、WB評価値(G/R、G/B)に基づいて、予め設定してある白抽出範囲内であれば白抽出ブロック(白ブロック)として記憶する(S105:白抽出処理)。なお、白抽出処理の具体的な処理方法は、特に限られるものではなく、公知または新規の白ブロック抽出方法を用いればよいが、例えば、図5に示すように、G/Rをx軸、G/Bをy軸とする2次元の色座標上における黒体輻射の特性曲線(黒体輻射カーブ)(図5中の符号cで示す)に沿った複数の楕円若しくは矩形の枠を白検出枠として設定し、WB評価値がこの白検出枠に含まれている場合に白抽出ブロックとして検出することとすればよい。   On the other hand, based on the WB evaluation values (G / R, G / B), the white extraction means 106 stores a white extraction block (white block) within the preset white extraction range (S105: white). Extraction process). The specific processing method of the white extraction processing is not particularly limited, and a known or new white block extraction method may be used. For example, as shown in FIG. White detection is performed on a plurality of ellipse or rectangular frames along a blackbody radiation characteristic curve (blackbody radiation curve) (indicated by symbol c in FIG. 5) on two-dimensional color coordinates with G / B as the y-axis. It may be set as a frame, and when the WB evaluation value is included in the white detection frame, it may be detected as a white extraction block.

なお、上記緑ブロック判定手段104および緑ブロック分散算出手段105による各処理(S103〜S104)と、白検出手段106による処理(S105)については、処理の先後は、上述の例に限られるものではなく、また、並列的に処理されるものであっても良い。   Note that the processing by the green block determination unit 104 and the green block variance calculation unit 105 (S103 to S104) and the processing by the white detection unit 106 (S105) are not limited to the above example. Alternatively, it may be processed in parallel.

次に、ホワイトバランス補正係数算出手段107は、白抽出処理(S105)にて抽出した白抽出ブロック数が所定数以上あるかどうかを判断し、所定数以上ある場合、数式2を用いて、各白抽出ブロックのWB評価値(G/R、G/B)に対して該当ブロックの平均輝度(Y)による重み付けを行った後、積算して一画素あたりのG/R、G/Bを算出する(S106:高輝度加重処理)。
Next, the white balance correction coefficient calculation unit 107 determines whether or not the number of white extraction blocks extracted in the white extraction process (S105) is equal to or greater than a predetermined number. The WB evaluation value (G / R, G / B) of the white extraction block is weighted by the average luminance (Y) of the corresponding block and then integrated to calculate G / R and G / B per pixel. (S106: High luminance weighting process).

一方、一定数以上の白抽出ブロック数が存在しない場合は、全てのブロックのWB評価値(G/R、G/B)を積算し、一画素あたりのG/R、G/Bを算出し、求めた一画素あたりのG/R、G/Bをそれぞれ平均したものをWB補正係数Rgain、Bgainとする。   On the other hand, when there are no more than a certain number of white extraction blocks, the WB evaluation values (G / R, G / B) of all the blocks are integrated to calculate G / R, G / B per pixel. The average values of G / R and G / B per pixel obtained are defined as WB correction coefficients Rgain and Bgain.

次に、ホワイトバランス補正係数算出手段107は、図6に示すような分散値と屋外加重率との関係に基づいて、分散値算出処理(S104)にて算出した分散値に応じた屋外加重率を算出する(S107:屋外加重率算出処理)。   Next, the white balance correction coefficient calculation unit 107 uses the outdoor weighting rate according to the dispersion value calculated in the dispersion value calculation process (S104) based on the relationship between the dispersion value and the outdoor weighting rate as shown in FIG. Is calculated (S107: outdoor weighting rate calculation process).

さらに、この算出した屋外加重率に基づいて、算出した一画素あたりのG/R、G/Bと、屋外ホワイトバランス(晴天屋外での撮影に適したホワイトバランス設定をいう)との加重平均を行うことでホワイトバランス補正係数Rgain,Bgainを求める(S108:屋外加重処理)。   Furthermore, based on the calculated outdoor weighting rate, a weighted average of the calculated G / R and G / B per pixel and the outdoor white balance (referring to a white balance setting suitable for shooting outdoors on a sunny day) is calculated. Thus, white balance correction coefficients Rgain and Bgain are obtained (S108: outdoor weighting process).

最後に、画面全体のR、B画素それぞれに対して、WB補正係数Rgain、Bgainを掛けることでホワイトバランス補正を行うものである(S109:ホワイトバランス補正係数乗算処理)。   Finally, white balance correction is performed by multiplying the R and B pixels of the entire screen by WB correction coefficients Rgain and Bgain (S109: white balance correction coefficient multiplication process).

上記処理(S107〜S109)は、蛍光灯下よりも屋外における緑シーンの方がホワイトバランス評価値の分散が高くなることが統計的に知られているため、緑ブロック数が多くなり、分散値が高くなるに従って、屋外加重率を高くすることにより、ホワイトバランス補正係数を、所定のホワイトバランス設定条件(晴天屋外での撮影に適したホワイトバランス設定条件)に近づけるようにしたものである。以上の処理により、本実施形態に係る撮像装置によれば、簡易な構成により、屋外の緑シーンにおいても色ずれのない良好なホワイトバランス制御を行うことが可能となる。   Since the above processing (S107 to S109) is statistically known that the variance of the white balance evaluation value is higher in the outdoor green scene than under the fluorescent lamp, the number of green blocks is increased and the variance value is increased. As the value increases, the outdoor weighting factor is increased to bring the white balance correction coefficient closer to a predetermined white balance setting condition (a white balance setting condition suitable for shooting outdoors in fine weather). With the above processing, according to the imaging apparatus according to the present embodiment, it is possible to perform good white balance control without color shift even in an outdoor green scene with a simple configuration.

[第2の実施形態]
以下、本実施形態に係る撮像装置の他の実施形態について説明する。なお、上記第1の実施形態と同様の点についての説明は適宜省略する。
[Second Embodiment]
Hereinafter, other embodiments of the imaging apparatus according to the present embodiment will be described. Note that the description of the same points as in the first embodiment will be omitted as appropriate.

上記第1の実施形態では、緑ブロック数および分散値に基づいて、屋外加重率を算出した(S107:屋外加重率算出処理)が、水銀灯下と屋外の緑シーンの評価値分布が似ており、水銀灯下で屋外加重処理がかかると屋外ホワイトバランスに近づけた結果、緑かぶりが発生する場合があることを知見した。   In the first embodiment, the outdoor weighting rate is calculated based on the number of green blocks and the variance value (S107: outdoor weighting rate calculation processing), but the evaluation value distributions of the green scenes under the mercury lamp and outdoors are similar. It has been found that green fogging may occur as a result of approaching outdoor white balance when subjected to outdoor weighting under a mercury lamp.

そこで、更に、明るさ情報によって、算出した屋外加重率の抑圧を行うことが好ましい。以下、図7に示す処理フローチャートを参照して説明する。   Therefore, it is preferable to further suppress the calculated outdoor weighting rate based on the brightness information. Hereinafter, the processing will be described with reference to a processing flowchart shown in FIG.

先ず、RGB積算値取得処理(S201)から屋外加重率算出処理(S207)までの一連の処理については、第1の実施形態(S101〜S107)と同様に行う。   First, a series of processing from RGB integrated value acquisition processing (S201) to outdoor weighting factor calculation processing (S207) is performed in the same manner as in the first embodiment (S101 to S107).

次に、本実施形態では、明るさ情報に応じた屋外加重率抑制係数を用いて、屋外加重率に抑圧をかける(S208:屋外加重率補正処理)。具体的には、明るさが所定の閾値以下の場合に屋外加重がかからないように(屋外加重率抑制係数=100)し、明るさが所定の閾値を超えて、明るくなるにつれて、抑制係数を下げて、算出した屋外加重率に近づけて補正を行うようにしたものである。   Next, in the present embodiment, the outdoor weighting rate is suppressed using the outdoor weighting rate suppression coefficient corresponding to the brightness information (S208: outdoor weighting rate correction process). Specifically, when the brightness is below a predetermined threshold, outdoor weighting is not applied (outdoor weighting rate suppression coefficient = 100), and the suppression coefficient is lowered as the brightness exceeds the predetermined threshold and becomes brighter. Thus, the correction is performed close to the calculated outdoor weighting factor.

以下、屋外加重処理(S209)およびホワイトバランス補正係数算出処理(S210)は、第1の実施形態(S108〜S109)と同様に行う。   Hereinafter, the outdoor weighting process (S209) and the white balance correction coefficient calculation process (S210) are performed in the same manner as in the first embodiment (S108 to S109).

以上説明したように、第2の実施形態に係る撮像装置によれば、さらに、明るさが所定の閾値以下の場合に屋外加重がかからないようにすることにより、水銀灯下での緑かぶりを発生させずに、より好適に、屋外の緑シーンでも色ずれのない良好なホワイトバランス制御を行うことができる。   As described above, according to the imaging apparatus according to the second embodiment, it is further possible to generate a green fog under a mercury lamp by preventing an outdoor load from being applied when the brightness is equal to or less than a predetermined threshold value. More preferably, it is possible to perform good white balance control without color shift even in an outdoor green scene.

以上説明した撮像装置によるホワイトバランス制御は、プログラム(撮像プログラム)で実行させることもできる。また、当該撮像プログラムを撮像装置で実行可能に記録した記録媒体の態様にも適用される。   The white balance control by the imaging apparatus described above can also be executed by a program (imaging program). The present invention is also applied to a recording medium in which the imaging program is recorded so as to be executable by the imaging apparatus.

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。   The above-described embodiment is a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention.

1 サブLCD
2 レリーズシャッター(SW1)
3 ストロボ発光部
4 モードダイヤル(SW2)
5 測距ユニット
6 リモコン受光部
7 レンズユニット
8 AFLED
9 ストロボLED
10 LCDモニタ
11 光学ファインダ
12 ズームボタンTELE(SW4)
13 電源スイッチ(SW13)
14 ズームボタンWIDE(SW3)
15 セルフタイマ/削除スイッチ(SW5)
16 メニュースイッチ(SW6)
17 OKスイッチ(SW12)
18 左/画像確認スイッチ(SW11)
19 下/マクロスイッチ(SW10)
20 上/ストロボスイッチ(SW7)
21 右スイッチ(SW8)
22 ディスプレイスイッチ(SW9)
23 メモリカードスロットル
30 ROM
31 操作部
32 モータドライバ
33 SDRAM
34 メモリカード
101 ブロック分割手段
102 RGB積算手段
103 ホワイトバランス評価値取得手段
104 緑ブロック判定手段
105 緑ブロック分散算出手段
106 白抽出手段
107 ホワイトバランス係数算出手段
110 信号処理IC
111 CPU
112 CCD I/F
113 リサイズ処理部
115 メモリコントローラ
116 表示出力制御部
117 圧縮伸長部
118 メディアI/F
119 YUV変換部
120 F/E
121 CCD
122 CDS
123 AGC
124 A/D変換機
125 タイミングジェネレータ
c 黒体輻射カーブ
1 Sub LCD
2 Release shutter (SW1)
3 Flash unit 4 Mode dial (SW2)
5 Distance measuring unit 6 Remote control light receiving unit 7 Lens unit 8 AFLED
9 Strobe LED
10 LCD Monitor 11 Optical Finder 12 Zoom Button TELE (SW4)
13 Power switch (SW13)
14 Zoom button WIDE (SW3)
15 Self-timer / deletion switch (SW5)
16 Menu switch (SW6)
17 OK switch (SW12)
18 Left / image confirmation switch (SW11)
19 Lower / Macro switch (SW10)
20 Up / Strobe switch (SW7)
21 Right switch (SW8)
22 Display switch (SW9)
23 Memory card throttle 30 ROM
31 Operation unit 32 Motor driver 33 SDRAM
34 Memory card 101 Block dividing means 102 RGB integrating means 103 White balance evaluation value acquiring means 104 Green block determining means 105 Green block variance calculating means 106 White extracting means 107 White balance coefficient calculating means 110 Signal processing IC
111 CPU
112 CCD I / F
113 Resize processing unit 115 Memory controller 116 Display output control unit 117 Compression / decompression unit 118 Media I / F
119 YUV converter 120 F / E
121 CCD
122 CDS
123 AGC
124 A / D converter 125 Timing generator c Black body radiation curve

特開2008−301279号公報JP 2008-301279 A 特開2006−174281号公報JP 2006-174281 A

Claims (7)

光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割手段と、
前記ブロックごとに前記撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得手段と、
前記ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定手段と、
該緑ブロック判定手段によって緑ブロックである判定されたブロックについて、前記ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出手段と、
前記ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出手段と、
前記分散値および前記白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、を備え、
前記ホワイトバランス補正係数に基づいてホワイトバランス制御を行うことを特徴とする撮像装置。
An image sensor that converts light incident from the optical system into an electrical signal and outputs the signal as an image signal;
Block dividing means for dividing an image region corresponding to the image sensor into a plurality of blocks;
White balance evaluation value acquisition means for calculating a white balance evaluation value based on the imaging signal for each block;
Green block determination means for determining whether the block is a green block based on the white balance evaluation value;
Green block variance calculating means for calculating a variance value based on the white balance evaluation value for the block determined to be a green block by the green block determining means;
White extraction means for extracting a white block based on the white balance evaluation value and a preset white extraction range;
A white balance correction coefficient calculating means for calculating a white balance correction coefficient based on the dispersion value and a white balance evaluation value of the white block;
An image pickup apparatus that performs white balance control based on the white balance correction coefficient.
前記ホワイトバランス補正係数算出手段は、前記分散値が高くなるに従って前記ホワイトバランス補正係数を、所定のホワイトバランス設定条件に近づけることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the white balance correction coefficient calculation unit brings the white balance correction coefficient closer to a predetermined white balance setting condition as the variance value increases. 前記ホワイトバランス補正係数算出手段は、明るさが所定以上の場合に、前記分散値が高くなるに従って前記ホワイトバランス補正係数を、所定のホワイトバランス設定条件に近づけることを特徴とする請求項1に記載の撮像装置。   2. The white balance correction coefficient calculating means, when the brightness is equal to or higher than a predetermined value, causes the white balance correction coefficient to approach a predetermined white balance setting condition as the variance value increases. Imaging device. 前記所定のホワイトバランス設定条件は、晴天屋外での撮影に適したホワイトバランス設定条件であることを特徴とする請求項2または3のいずれかに記載の撮像装置。   The imaging apparatus according to claim 2, wherein the predetermined white balance setting condition is a white balance setting condition suitable for shooting outdoors on a sunny day. 前記ホワイトバランス評価値取得手段は、前記ホワイトバランス評価値を前記各ブロックについてのRGBそれぞれの平均値を用いて、次式(1)および(2)により算出し、
G/R=(G平均値×100)/R平均値 ・・・(1)
G/B=(G平均値×100)/B平均値 ・・・(2)
前記緑ブロック判定手段は、前記G/Rおよび前記G/Bが、それぞれに設定した所定の閾値を超える場合に緑ブロックと判定することを特徴とする請求項1から4までのいずれかに記載の撮像装置。
The white balance evaluation value acquisition means calculates the white balance evaluation value by using the average values of RGB for each block according to the following expressions (1) and (2):
G / R = (G average value × 100) / R average value (1)
G / B = (G average value × 100) / B average value (2)
The said green block determination means determines as a green block, when the said G / R and the said G / B exceed the predetermined threshold value set to each, The green block is characterized by the above-mentioned. Imaging device.
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置における撮像方法であって、
前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、
前記ブロックごとに前記撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得処理と、
前記ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定処理と、
該緑ブロック判定処理によって緑ブロックである判定されたブロックについて、前記ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出処理と、
前記ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出処理と、
前記分散値および前記白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、
前記ホワイトバランス補正係数に基づいてホワイトバランス処理と、を行うことを特徴とする撮像方法。
An imaging method in an imaging apparatus including an imaging element that converts light incident from an optical system into an electrical signal and outputs the electrical signal,
Block division processing for dividing an image region corresponding to the image sensor into a plurality of blocks;
A white balance evaluation value acquisition process for calculating a white balance evaluation value based on the imaging signal for each block;
A green block determination process for determining whether the block is a green block based on the white balance evaluation value;
Green block variance calculation processing for calculating a variance value based on the white balance evaluation value for a block determined to be a green block by the green block determination processing;
A white extraction process for extracting a white block based on the white balance evaluation value and a preset white extraction range;
A white balance correction coefficient calculation process for calculating a white balance correction coefficient based on the dispersion value and the white balance evaluation value of the white block;
An imaging method comprising: performing white balance processing based on the white balance correction coefficient.
光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子を備えた撮像装置に、
前記撮像素子に対応する画像領域を複数のブロックに分割するブロック分割処理と、
前記ブロックごとに前記撮像信号に基づいてホワイトバランス評価値を算出するホワイトバランス評価値取得処理と、
前記ホワイトバランス評価値に基づいて緑ブロックであるか否かを判定する緑ブロック判定処理と、
該緑ブロック判定処理によって緑ブロックである判定されたブロックについて、前記ホワイトバランス評価値に基づいて分散値を算出する緑ブロック分散算出処理と、
前記ホワイトバランス評価値および予め設定された白抽出範囲に基づいて白ブロックを抽出する白抽出処理と、
前記分散値および前記白ブロックのホワイトバランス評価値に基づいて、ホワイトバランス補正係数を算出するホワイトバランス補正係数算出処理と、
前記ホワイトバランス補正係数に基づいてホワイトバランス処理と、を実行させることを特徴とする撮像プログラム。
In an imaging device provided with an imaging device that converts light incident from an optical system into an electrical signal and outputs it as an imaging signal,
Block division processing for dividing an image region corresponding to the image sensor into a plurality of blocks;
A white balance evaluation value acquisition process for calculating a white balance evaluation value based on the imaging signal for each block;
A green block determination process for determining whether the block is a green block based on the white balance evaluation value;
Green block variance calculation processing for calculating a variance value based on the white balance evaluation value for a block determined to be a green block by the green block determination processing;
A white extraction process for extracting a white block based on the white balance evaluation value and a preset white extraction range;
A white balance correction coefficient calculation process for calculating a white balance correction coefficient based on the dispersion value and the white balance evaluation value of the white block;
An imaging program that executes white balance processing based on the white balance correction coefficient.
JP2011108341A 2011-05-13 2011-05-13 Imaging apparatus, imaging method, and imaging program Active JP5807378B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011108341A JP5807378B2 (en) 2011-05-13 2011-05-13 Imaging apparatus, imaging method, and imaging program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011108341A JP5807378B2 (en) 2011-05-13 2011-05-13 Imaging apparatus, imaging method, and imaging program

Publications (2)

Publication Number Publication Date
JP2012239128A JP2012239128A (en) 2012-12-06
JP5807378B2 true JP5807378B2 (en) 2015-11-10

Family

ID=47461615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011108341A Active JP5807378B2 (en) 2011-05-13 2011-05-13 Imaging apparatus, imaging method, and imaging program

Country Status (1)

Country Link
JP (1) JP5807378B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754227B2 (en) * 2005-01-31 2011-08-24 イーストマン コダック カンパニー Auto white balance device and white balance adjustment method
JP4752381B2 (en) * 2005-08-02 2011-08-17 コニカミノルタオプト株式会社 Imaging device
JP5321163B2 (en) * 2009-03-12 2013-10-23 株式会社リコー Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP2012239128A (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5321163B2 (en) Imaging apparatus and imaging method
JP5660341B2 (en) Imaging apparatus and imaging method
KR101329942B1 (en) Image capturing apparatus and method for controlling the same
JP5458937B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD
JP4999871B2 (en) Imaging apparatus and control method thereof
JP5256947B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD
JP5948997B2 (en) Imaging apparatus and imaging method
JP5569361B2 (en) Imaging apparatus and white balance control method
JP2010011153A (en) Imaging apparatus, imaging method and program
JP5146015B2 (en) Imaging apparatus and imaging method
JP5335964B2 (en) Imaging apparatus and control method thereof
JP5673137B2 (en) Imaging apparatus and imaging method
JP5310331B2 (en) Imaging apparatus and imaging method
JP4714561B2 (en) Imaging apparatus and imaging method
JP5807378B2 (en) Imaging apparatus, imaging method, and imaging program
JP5799550B2 (en) Imaging apparatus, imaging method, and imaging program
JP5123010B2 (en) Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method
JP5915242B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium recording the image processing program on a computer
JP5849532B2 (en) Imaging apparatus and imaging method
US11470258B2 (en) Image processing apparatus and image processing method to perform image processing on divided areas
JP2013027022A (en) Imaging apparatus and timing signal control method
JP2010068064A (en) Imaging device and imaging method
JP5644260B2 (en) Imaging apparatus and white balance control method
JP5870539B2 (en) Image processing apparatus and image processing method
JP2012151658A (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150824

R151 Written notification of patent or utility model registration

Ref document number: 5807378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151