JP5123010B2 - Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method - Google Patents

Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method Download PDF

Info

Publication number
JP5123010B2
JP5123010B2 JP2008057037A JP2008057037A JP5123010B2 JP 5123010 B2 JP5123010 B2 JP 5123010B2 JP 2008057037 A JP2008057037 A JP 2008057037A JP 2008057037 A JP2008057037 A JP 2008057037A JP 5123010 B2 JP5123010 B2 JP 5123010B2
Authority
JP
Japan
Prior art keywords
white
evaluation value
detection range
imaging
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008057037A
Other languages
Japanese (ja)
Other versions
JP2009218641A (en
Inventor
健一郎 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008057037A priority Critical patent/JP5123010B2/en
Publication of JP2009218641A publication Critical patent/JP2009218641A/en
Application granted granted Critical
Publication of JP5123010B2 publication Critical patent/JP5123010B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明はホワイトバランス制御を行う技術を備えた撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラムに関するものである。   The present invention relates to an imaging apparatus, an imaging method, and a program for causing a computer included in the imaging apparatus to execute the imaging method.

従来、デジタルカメラ等において、様々な光源下で発色を正確に行うためにホワイトバランスの調整が行われている。ホワイトバランスの調整方法には、画像を幾つかのブロックに分割し、各ブロックに含まれる複数画素の情報(ホワイトバランス評価値)に基づいて行う方法がある。
例えば特許文献1では、被写体が撮像された画面を複数のエリアに分割し、各エリアの色情報を取得し、色情報の分布から光源種を判別して、光源種に適したホワイトバランス制御を行っている。
また、特許文献2では、撮像素子からの信号を複数のブロックに分割し、ブロック毎に色評価値群を算出し、予め設定された白抽出範囲から算出した第1の色温度情報と、色評価値群と予め設定された肌検出範囲から算出した第2の色温度情報と距離情報を基に、第3の色温度情報を算出してホワイトバランスを調整している。
特許第3849834号 特開2004−187147公報
Conventionally, in a digital camera or the like, white balance adjustment is performed in order to accurately perform color development under various light sources. As a white balance adjustment method, there is a method in which an image is divided into several blocks and performed based on information (white balance evaluation value) of a plurality of pixels included in each block.
For example, in Patent Document 1, a screen on which a subject is imaged is divided into a plurality of areas, color information of each area is acquired, a light source type is determined from the distribution of color information, and white balance control suitable for the light source type is performed. Is going.
In Patent Document 2, the signal from the image sensor is divided into a plurality of blocks, a color evaluation value group is calculated for each block, and the first color temperature information calculated from a preset white extraction range and the color Based on the second color temperature information and distance information calculated from the evaluation value group and a preset skin detection range, the third color temperature information is calculated to adjust the white balance.
Japanese Patent No. 389834 JP 2004-187147 A

しかし、特許文献1、2に記載の発明のように、各ブロックに含まれる複数画素の平均値をホワイトバランス調整の基準とする場合、平均値はそのブロックに含まれる画素の状況に左右される。同一の被写体をとらえた画像であっても、被写体の位置や大きさ等が変わり、画角が変化することで評価値の分布も変化してしまう。
その結果、ブロック毎に得られた評価値が、予め設定された白抽出枠内に収まらず、白抽出ブロックを光源色として、当該白抽出ブロックの評価値が白になるようなゲインを画面全体に掛けるホワイトバランス補正処理において、実際の光源に最適なホワイトバランスが掛からないといった問題がある。この問題はホワイトバランス評価値の分布の変化によって起こるものであり、画角の変化の大小の問題ではない。従って、画角の変化が小さくても、ホワイトバランスの調整が不安定となってしまい、正確な色の再現ができない場合が生ずる。
本発明は上記のような実情に鑑みてなされたものであり、静止画撮影で多少の画角の違いにより白抽出できる場合とできない場合とでホワイトバランスが不安定となるシーンにおいても安定したホワイトバランスを得ることが可能な撮像装置を提供することを目的としたものである。
However, as in the inventions described in Patent Documents 1 and 2, when the average value of a plurality of pixels included in each block is used as a reference for white balance adjustment, the average value depends on the state of the pixels included in the block. . Even in an image that captures the same subject, the position and size of the subject change, and the distribution of evaluation values changes as the angle of view changes.
As a result, the evaluation value obtained for each block does not fall within the preset white extraction frame, and the gain is set so that the white extraction block is a light source color and the evaluation value of the white extraction block is white. In the white balance correction processing applied to the light source, there is a problem that the optimum white balance cannot be applied to the actual light source. This problem is caused by a change in the distribution of white balance evaluation values, and is not a problem of the change in the angle of view. Therefore, even if the change in the angle of view is small, white balance adjustment becomes unstable, and accurate color reproduction may not be possible.
The present invention has been made in view of the above circumstances, and stable white even in a scene where white balance is unstable depending on whether or not white can be extracted due to a slight difference in angle of view in still image shooting. An object of the present invention is to provide an imaging apparatus capable of obtaining a balance.

上記の課題を解決するために、請求項1に記載の発明は、撮像光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像素子から出力された撮像信号に対して検波範囲を設定する検波範囲設定手段と、前記検波範囲設定手段によって設定された検波範囲を格子状のブロックに分割するブロック分割手段と、前記ブロック分割手段によって得られた各ブロックの撮像信号から第一のホワイトバランス用の評価値を取得する第一ホワイトバランス評価値取得手段と、前記第一ホワイトバランス評価値取得手段によって取得された評価値と予め設定された白抽出範囲とに基づいて前記各ブロックの白抽出を行う第一白抽出手段と、前記第一白抽出手段により抽出されたブロックが一定数に満たない場合に検波範囲を変更する検波範囲変更手段と、前記検波範囲変更手段による検波範囲の変更により得られた各変更ブロックの撮像信号から第二のホワイトバランス用の評価値を取得する第二ホワイトバランス評価値取得手段と、前記第二ホワイトバランス評価値取得手段によって取得された評価値と予め設定された白抽出範囲とに基づいて前記各変更ブロックの白抽出を行う第二白抽出手段と、を備えた撮像装置を特徴とする。 In order to solve the above-described problems, an invention according to claim 1 is directed to an imaging device that converts light incident from an imaging optical system into an electrical signal and outputs the electrical signal, and an imaging signal output from the imaging device. Detection range setting means for setting a detection range for the block, block division means for dividing the detection range set by the detection range setting means into grid blocks, and imaging of each block obtained by the block division means Based on a first white balance evaluation value acquisition means for acquiring an evaluation value for the first white balance from the signal, an evaluation value acquired by the first white balance evaluation value acquisition means, and a preset white extraction range First white extracting means for extracting the white of each block, and a detection range when the number of blocks extracted by the first white extracting means is less than a certain number. And a second white balance evaluation value acquiring means for acquiring an evaluation value for the second white balance from the imaging signal of each change block obtained by changing the detection range by the detection range changing means. An imaging device comprising: a second white extraction unit that performs white extraction of each of the changed blocks based on the evaluation value acquired by the second white balance evaluation value acquisition unit and a preset white extraction range. Features.

また、請求項に記載の発明は、撮像素子が撮像光学系から入射した光を電気信号に変換して撮像信号として出力する撮像工程と、検波範囲設定手段が撮像信号に対して検波範囲を設定する検波範囲設定工程と、ブロック分割手段が検波範囲を格子状のブロックに分割するブロック分割工程と、第一ホワイトバランス評価値取得手段が各ブロックの撮像信号から第一のホワイトバランス用の評価値を抽出する第一ホワイトバランス評価値取得工程と、第一白抽出手段が第一のホワイトバランス用の評価値と予め設定された白抽出範囲とに基づいて前記各ブロックの白抽出を行う第一白抽出工程と、白抽出されたブロックが一定数に満たない場合に検波範囲変更手段が検波範囲を変更する検波範囲変更工程と、検波範囲が変更された各変更ブロックの撮像信号から第二ホワイトバランス評価値取得手段が第二のホワイトバランス用の評価値を取得する第二ホワイトバランス評価値取得工程と、第二白抽出手段が第二のホワイトバランス用の評価値と予め設定された白抽出範囲とに基づいて前記各変更ブロックの白抽出を行う第二白抽出工程と、を有する撮像方法を特徴とする。 According to a second aspect of the present invention, there is provided an imaging step in which the imaging element converts light incident from the imaging optical system into an electrical signal and outputs the electrical signal, and the detection range setting means sets a detection range for the imaging signal. A detection range setting step to set, a block division step in which the block dividing unit divides the detection range into grid-like blocks, and a first white balance evaluation value acquiring unit to evaluate the first white balance from the image pickup signal of each block A first white balance evaluation value acquiring step for extracting a value; and a first white extraction means for extracting white of each block based on a first white balance evaluation value and a preset white extraction range. A white extraction step, a detection range changing step in which the detection range changing means changes the detection range when the number of white extracted blocks is less than a certain number, and each change block in which the detection range has been changed. A second white balance evaluation value acquisition step in which the second white balance evaluation value acquisition means acquires an evaluation value for the second white balance from the image pickup signal of the image, and an evaluation for the second white balance by the second white extraction means. A second white extraction step of performing white extraction of each change block based on a value and a preset white extraction range.

また、請求項に記載の発明は、撮像装置が備えるコンピュータに、請求項に記載の方法を実行させるためのプログラムを特徴とする。

According to a third aspect of the present invention, there is provided a program for causing a computer included in the imaging apparatus to execute the method according to the second aspect.

本発明によれば、撮像素子から出力された撮像信号に対して設定された検波範囲を格子状のブロックに分割して、該ブロックのうちから白抽出されたブロックのホワイトバランス評価値を使用してホワイトバランス調整を行う画像処理装置において、白抽出されたブロックが一定数に満たない場合にブロックの分割数を変更し、又は検波範囲を変更して再度白抽出した結果に基づいてホワイトバランスの調整を行うので、精度の高いホワイトバランス調整が可能となる。   According to the present invention, the detection range set for the imaging signal output from the imaging device is divided into grid-like blocks, and the white balance evaluation values of the blocks extracted from the blocks are used. In the image processing apparatus that performs white balance adjustment, if the number of white extracted blocks is less than a certain number, the number of divided blocks is changed, or the white balance is adjusted based on the result of white extraction again after changing the detection range. Since adjustment is performed, white balance adjustment with high accuracy is possible.

以下、本発明の実施形態を詳細に説明する。
図1は、本実施形態に係わる撮像装置(以下、デジタルカメラと呼ぶ)の外観構成を示す図である。
図1に示すように、本実施形態に係るデジタルカメラの上面側には、レリーズボタン(シャッタボタン)1、電源ボタン2、撮影・再生切替ダイアル3が設けられており、デジタルカメラの正面(前面)側には、撮影レンズ系(撮像光学系)を有する鏡胴ユニット4、ストロボ発光部5、光学ファインダ6が設けられている。
デジタルカメラの背面側には、液晶モニタ(LCDディスプレイ)7、前記光学ファインダ6の接眼レンズ部8、広角側ズーム(W)スイッチ9、望遠側ズーム(T)スイッチ10、メニュー(MENU)ボタン11、確定ボタン(OKボタン)12等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカード13を収納するメモリカード収納部(図示せず)が設けられている。
Hereinafter, embodiments of the present invention will be described in detail.
FIG. 1 is a diagram illustrating an external configuration of an imaging apparatus (hereinafter referred to as a digital camera) according to the present embodiment.
As shown in FIG. 1, a release button (shutter button) 1, a power button 2, and a shooting / playback switching dial 3 are provided on the upper surface side of the digital camera according to the present embodiment. ) Side, a lens barrel unit 4 having a photographing lens system (imaging optical system), a strobe light emitting unit 5, and an optical viewfinder 6 are provided.
On the back side of the digital camera, there are a liquid crystal monitor (LCD display) 7, an eyepiece 8 of the optical viewfinder 6, a wide-angle zoom (W) switch 9, a telephoto zoom (T) switch 10, and a menu (MENU) button 11. , A confirmation button (OK button) 12 and the like are provided. In addition, a memory card storage unit (not shown) for storing a memory card 13 for storing captured image data is provided inside the side surface of the digital camera.

図2は、本実施形態に係わる撮像装置のシステム構成を示す図である。
図2に示すように、このデジタルカメラ内には、鏡胴ユニット4に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD21、CCD21から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するアナログフロントエンド部(AFE部)22、AFE部22から出力されるデジタル信号を処理する信号処理部23、データを一時的に格納するSDRAM24、制御プログラム等が記憶されたROM25、モータドライバ26等が設けられている。
鏡胴ユニット4は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット(不図示)は、モータドライバ26によって駆動される。モータドライバ26は、信号処理部23の制御部(CPU)231からの駆動信号により駆動制御される。
CCD21は、CCD21を構成する複数の画素上に色分解フィルタとしてのRGB原色フィルタが配置されており、RGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。
FIG. 2 is a diagram illustrating a system configuration of the imaging apparatus according to the present embodiment.
As shown in FIG. 2, in this digital camera, a subject image incident through a photographing lens system installed in the lens barrel unit 4 is output from a CCD 21 and a CCD 21 as solid-state imaging elements that form an image on a light receiving surface. An analog front end unit (AFE unit) 22 that processes electrical signals (analog RGB image signals) into digital signals, a signal processing unit 23 that processes digital signals output from the AFE unit 22, an SDRAM 24 that temporarily stores data, A ROM 25, a motor driver 26, and the like in which a control program is stored are provided.
The lens barrel unit 4 includes a photographic lens system having a zoom lens, a focus lens, and the like, an aperture unit, and a mechanical shutter unit. Each drive unit (not shown) of the photographic lens system, the aperture unit, and the mechanical shutter unit includes a motor. It is driven by a driver 26. The motor driver 26 is driven and controlled by a drive signal from a control unit (CPU) 231 of the signal processing unit 23.
In the CCD 21, RGB primary color filters as color separation filters are arranged on a plurality of pixels constituting the CCD 21, and an electrical signal (analog RGB image signal) corresponding to the RGB three primary colors is output.

AFE部22は、CCD21を駆動するTG(タイミング信号発生部)221、CCD21から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)222、CDS222にてサンプリングされた画像信号のゲインを調整するAGC(アナログ利得制御部)223、AGC223でゲイン調整された画像信号をデジタル信号(RAW−RGBデータ)に変換するA/D224を備えている。
信号処理部23は、AFE部22のTG221へ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行い、これらの同期信号に合わせて、AFE部22のA/D224から出力されるRAW−RGBデータを取り込むCCDインターフェース(CCDI/F)232と、SDRAM24を制御するメモリコントローラ233と、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部234と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部235と、画像データの表示出力を制御する表示出力制御部236と、画像データをJPEG形成などで記録するためのデータ圧縮部237と、画像データをメモリカード13へ書き込み、又はメモリカード13に書き込まれた画像データを読み出すメディアインターフェース(メディアI/F)238と、操作部からの操作入力情報に基づき、ROMに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部231を備えている。
The AFE unit 22 is sampled by a TG (timing signal generation unit) 221 that drives the CCD 21, a CDS (correlation double sampling unit) 222 that samples an electrical signal (analog RGB image signal) output from the CCD 21, and the CDS 222. An AGC (analog gain control unit) 223 that adjusts the gain of the image signal, and an A / D 224 that converts the image signal gain-adjusted by the AGC 223 into a digital signal (RAW-RGB data).
The signal processing unit 23 outputs a screen horizontal synchronization signal (HD) and a screen vertical synchronization signal (VD) to the TG 221 of the AFE unit 22, and is output from the A / D 224 of the AFE unit 22 in accordance with these synchronization signals. A CCD interface (CCD I / F) 232 for capturing RAW-RGB data, a memory controller 233 for controlling the SDRAM 24, and a YUV conversion unit for converting the captured RAW-RGB data into YUV format image data that can be displayed and recorded 234, a resize processing unit 235 that changes the image size according to the size of the image data to be displayed and recorded, a display output control unit 236 that controls the display output of the image data, and the image data is recorded by JPEG formation or the like. Data compression unit 237 for writing image data to the memory card 13 or Based on a media interface (media I / F) 238 that reads image data written in the card 13 and operation input information from the operation unit, system control of the entire digital camera is performed based on a control program stored in the ROM. A control unit 231 is provided.

操作部SWは、デジタルカメラ(図1参照)の外観表面に設けられているレリーズボタン1、電源ボタン2、撮影・再生切替ダイアル3、広角側ズームスイッチ9、望遠側ズームスイッチ10、メニューボタン11、確定ボタン12等であり、撮影者の操作によって所定の動作指示信号が制御部231に入力される。
SDRAM24には、CCDI/F232に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部234で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮部237で圧縮処理されたJPEG形成などの画像データが保存される。
なお、YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)成分データの差分(U)と、輝度データと赤色(R)成分データの差分(V))の情報で色を表現する形式である。
The operation unit SW includes a release button 1, a power button 2, a shooting / playback switching dial 3, a wide-angle zoom switch 9, a telephoto zoom switch 10, and a menu button 11 provided on the external surface of the digital camera (see FIG. 1). The confirmation button 12 and the like, and a predetermined operation instruction signal is input to the control unit 231 by the operation of the photographer.
The SDRAM 24 stores RAW-RGB data captured by the CCD I / F 232, and stores YUV data (YUV format image data) converted by the YUV conversion unit 234, and further stores the data in the data compression unit 237. The compressed image data such as JPEG formation is stored.
YUV of the YUV data is information on luminance data (Y), color difference (difference (U) between luminance data and blue (B) component data, and difference (V) between luminance data and red (R) component data). This is a format that expresses colors.

次に、前述したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタン2をONし、撮影・再生切替ダイアル3を撮影モード(静止画撮影モード)に設定することで、デジタルカメラが記録モードで起動する。電源ボタン2がONされて、撮影・再生切替ダイアル3が撮影モードに設定されたことを制御部231が検知すると、制御部231はモータドライバ26に制御信号を出力して、鏡胴ユニット4を撮影可能位置に移動させ、かつ、CCD21、AFE部22、信号処理部23、SDRAM24、ROM25、液晶モニタ7等を起動させる。
そして、鏡胴ユニット4の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がCCD21の各画素の受光面上に結像する。そして、CCD21から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS222、AGC223を介してA/D224に入力され、A/D224により12ビット(bit)のRAW−RGBデータに変換する。
Next, the monitoring operation and still image shooting operation of the digital camera described above will be described. This digital camera performs a still image shooting operation while performing a monitoring operation as described below in the still image shooting mode.
First, when the photographer turns on the power button 2 and sets the photographing / playback switching dial 3 to the photographing mode (still image photographing mode), the digital camera is activated in the recording mode. When the control unit 231 detects that the power button 2 is turned on and the photographing / playback switching dial 3 is set to the photographing mode, the control unit 231 outputs a control signal to the motor driver 26 to switch the lens barrel unit 4. The camera 21 is moved to a photographing position, and the CCD 21, AFE unit 22, signal processing unit 23, SDRAM 24, ROM 25, liquid crystal monitor 7 and the like are activated.
Then, by directing the photographic lens system of the lens barrel unit 4 toward the subject, a subject image incident through the photographic lens system is formed on the light receiving surface of each pixel of the CCD 21. An electrical signal (analog RGB image signal) corresponding to the subject image output from the CCD 21 is input to the A / D 224 via the CDS 222 and the AGC 223, and is converted into 12-bit (RAW) RGB data by the A / D 224. Convert.

このRAW−RGBデータは、信号処理部23のCCDI/F232に取り込まれてメモリコントローラ233を介してSDRAM24に保存される。そして、SDRAM24から読み出されたRAW−RGBデータは、YUV変換部234に入力されて表示可能な形式であるYUVデータ(YUV信号)に変換された後に、メモリコントローラ233を介してSDRAM24にYUVデータが保存される。
そして、SDRAM24からメモリコントローラ233を介して読み出したYUVデータは、表示出力制御部236を介して液晶モニタ7へ送られ、撮影画像(又は動画)が表示される。液晶モニタ7に撮影画像を表示しているモニタリング時においては、CCDI/F232による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ7に撮影画像(又は動画)が表示されているだけで、まだレリーズボタン1が押圧(半押も含む)操作されていない状態である。
This RAW-RGB data is taken into the CCD I / F 232 of the signal processing unit 23 and stored in the SDRAM 24 via the memory controller 233. The RAW-RGB data read from the SDRAM 24 is input to the YUV conversion unit 234 and converted into YUV data (YUV signal) in a displayable format, and then the YUV data is transferred to the SDRAM 24 via the memory controller 233. Is saved.
The YUV data read from the SDRAM 24 via the memory controller 233 is sent to the liquid crystal monitor 7 via the display output control unit 236, and a captured image (or moving image) is displayed. At the time of monitoring in which a photographed image is displayed on the liquid crystal monitor 7, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels by the CCD I / F 232.
In this monitoring operation, the photographed image (or moving image) is only displayed on the liquid crystal monitor 7 functioning as an electronic viewfinder, and the release button 1 is not yet pressed (including half-pressed). .

この撮影画像の液晶モニタ7への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部236からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(又は動画)を表示することもできる。
そして、信号処理部23のCCDI/F232は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
By displaying the photographed image on the liquid crystal monitor 7, the composition for photographing a still image can be confirmed. In addition, it can output as a TV video signal from the display output control part 236, and a picked-up image (or moving image) can also be displayed on external TV (television) via a video cable.
Then, the CCD I / F 232 of the signal processing unit 23 calculates an AF (automatic focus) evaluation value, an AE (automatic exposure) evaluation value, and an AWB (auto white balance) evaluation value from the captured RAW-RGB data.

AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD21の全画素の受光面に対応した画面を256エリア(ブロック)に等分割(水平16分割、垂直16分割)し、それぞれのエリア(ブロック)のRGB積算値を算出する。
そして、制御部231は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリア(ブロック)の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCDの電子シャッタ回数、絞りユニットの絞り値、NDフィルタの出し入れ等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前述したAE処理とAWB処理は、モニタリング時には連続的に行われている。
The AF evaluation value is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By using this, at the time of AF operation (focus detection operation), AF evaluation values at each focus lens position in the photographing lens system are acquired, and AF operation is performed with the maximum point as the focus detection position. Is executed.
The AE evaluation value and the AWB evaluation value are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the screen corresponding to the light receiving surfaces of all the pixels of the CCD 21 is equally divided into 256 areas (blocks) (horizontal 16 divisions and vertical 16 divisions), and an RGB integrated value of each area (block) is calculated.
Then, the control unit 231 reads the calculated RGB integrated value, and in the AE process, calculates the luminance of each area (block) on the screen, and determines an appropriate exposure amount from the luminance distribution. Based on the determined exposure amount, exposure conditions (the number of electronic shutters of the CCD, the aperture value of the aperture unit, the insertion and removal of the ND filter, etc.) are set. In the AWB process, an AWB control value that matches the color of the light source of the subject is determined from the RGB distribution. By this AWB process, white balance is adjusted when the YUV conversion unit performs conversion processing to YUV data. Note that the above-described AE process and AWB process are continuously performed during monitoring.

そして、前述したモニタリング動作時に、レリーズボタン1が押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
即ち、レリーズボタン1が押圧(半押しから全押し)操作されると、制御部231からモータドライバ26への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。
AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F232で算出されている各フォーカス位置におけるAF評価値を制御部231が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
When the still image shooting operation in which the release button 1 is pressed (half-pressed to fully pressed) is started during the monitoring operation described above, the AF operation and the still image recording process that are the focus position detection operations are performed. .
That is, when the release button 1 is pressed (half-pressed to full-pressed), the focus lens of the photographing lens system is moved by a drive command from the control unit 231 to the motor driver 26, for example, so-called hill-climbing AF A contrast evaluation AF operation is performed.
When the AF (focusing) target range is the entire region from infinity to close, the focus lens of the photographing lens system moves to each focus position from close to infinity or from infinity to close to the CCD I / F 232. The control unit 231 reads out the AF evaluation value at each focus position calculated in step. Then, the focus lens is moved to the in-focus position with the point where the AF evaluation value at each focus position is maximized as the in-focus position, and in-focus.

そして、前述したAE処理が行われ、露光完了時点で、制御部231からモータドライバ26への駆動指令によりメカシャッタユニットが閉じられ、CCD21から静止画用のアナログRGB画像信号が出力される。そして、モニタリング時と同様に、AFE部22のA/D変換部224によりRAW−RGBデータに変換される。
そして、このRAW−RGBデータは、信号処理部23のCCDI/F232に取り込まれ、YUV変換部234でYUVデータに変換されて、メモリコントローラ233を介してSDRAM24に保存される。そして、このYUVデータはSDRAM24から読み出されて、リサイズ処理部235で記録画素数に対応するサイズに変換され、データ圧縮部237でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM24に書き戻された後にメモリコントローラ233を介してSDRAM24から読み出され、メディアI/F238を介してメモリカード13に保存される。
Then, the AE process described above is performed, and when the exposure is completed, the mechanical shutter unit is closed by a drive command from the control unit 231 to the motor driver 26, and an analog RGB image signal for a still image is output from the CCD 21. Then, as in the monitoring, the A / D conversion unit 224 of the AFE unit 22 converts the data into RAW-RGB data.
The RAW-RGB data is taken into the CCD I / F 232 of the signal processing unit 23, converted into YUV data by the YUV conversion unit 234, and stored in the SDRAM 24 via the memory controller 233. The YUV data is read from the SDRAM 24, converted into a size corresponding to the number of recording pixels by the resizing processing unit 235, and compressed to image data such as JPEG format by the data compression unit 237. The compressed image data such as JPEG format is written back to the SDRAM 24, read out from the SDRAM 24 via the memory controller 233, and stored in the memory card 13 via the media I / F 238.

このように構成されたデジタルカメラにおいて、本発明では、撮像光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子としてのCCD21から出力された撮像信号に対して制御部231が検波範囲を設定し、CCDI/F232が設定された検波範囲を格子状のブロックに分割し、CCDI/F232によって得られた各ブロックの撮像信号から制御部231が第一のホワイトバランス用の評価値を抽出して、第一のホワイトバランス評価値と予め設定された白抽出範囲とに基づいて各ブロックの第一の白抽出を行い、白抽出されたブロックが一定数に満たない場合にブロックの分割数あるいは検波範囲を変更し、CCDI/F232は制御部231によって設定された新たな検波範囲に基づいて格子状のブロックに分割し、CCDI/F232によって得られた各ブロックの撮像信号から制御部231が第二のホワイトバランス用の評価値を取得して、取得された評価値と予め設定された白抽出範囲とに基づいて各変更ブロックの白抽出を行う。   In the digital camera configured as described above, in the present invention, the control unit 231 controls the imaging signal output from the CCD 21 serving as an imaging device that converts the light incident from the imaging optical system into an electrical signal and outputs the electrical signal. Sets the detection range, divides the detection range set by the CCD I / F 232 into grid-like blocks, and the control unit 231 evaluates the first white balance based on the imaging signal of each block obtained by the CCD I / F 232. The value is extracted, and the first white extraction of each block is performed based on the first white balance evaluation value and the preset white extraction range. If the number of white extracted blocks is less than a certain number, The CCD I / F 232 changes the number of divisions or the detection range of the grid block based on the new detection range set by the control unit 231. The control unit 231 obtains an evaluation value for the second white balance from the image pickup signal of each block obtained by the division and obtained by the CCD I / F 232, and based on the obtained evaluation value and a preset white extraction range. To extract the white of each changed block.

上述のデジタルカメラを用いて実施される本発明第一の実施形態について、図3に基づいて説明する。図3は、本実施形態におけるホワイトバランス補正の一連の処理を表したフローチャートである。
ステップS1では、撮影画像に対し検波処理を行う。ここで検波とは、撮影画像からRGB積算値を算出することである。
前述のように、最初に撮影画像はRAW−RGBとして、信号処理前のデータがSDRAM24に格納される。このデータは制御部231からの制御により、SDRAM24から読み出され、CCDI/F232に入力される。CCDI/F232は検波回路を備えており、予めROM25に設定された所定の検波枠のサイズ及び分割数を基に、画面全体を格子状のブロックに分割する。例えば、CCD21の全画素の受光面に対応した画面を256エリア(ブロック)に等分割(水平16分割、垂直16分割)する。そして、それぞれのエリア(ブロック)のRGB積算値を算出する。RGB積算値は、SDRAM24若しくは制御部231より読み出し可能なレジスタに出力される(ステップS1)。
A first embodiment of the present invention implemented using the above-described digital camera will be described with reference to FIG. FIG. 3 is a flowchart showing a series of processes for white balance correction in the present embodiment.
In step S1, detection processing is performed on the captured image. Here, the detection is to calculate an RGB integrated value from the captured image.
As described above, first, the photographed image is RAW-RGB, and the data before signal processing is stored in the SDRAM 24. This data is read from the SDRAM 24 under the control of the control unit 231 and input to the CCD I / F 232. The CCD I / F 232 includes a detection circuit, and divides the entire screen into grid-like blocks based on a predetermined detection frame size and division number set in advance in the ROM 25. For example, the screen corresponding to the light receiving surfaces of all the pixels of the CCD 21 is equally divided into 256 areas (blocks) (horizontal 16 divisions and vertical 16 divisions). And the RGB integrated value of each area (block) is calculated. The RGB integrated values are output to a register readable by the SDRAM 24 or the control unit 231 (step S1).

ステップS2では、制御部231が算出されたRGB積算値を読み出し、特徴検出処理(第一白抽出処理)を行う。
ここで白抽出処理とは、撮影画像データ中から白い画素(白画素)であると思われる位置のデータを取り出すことであり、上述の分割ブロック毎にこの処理を行う。まず、ブロック単位で取得されたRGB積算値から、AWB評価値であるG/R、G/Bをブロック毎に算出する。そして、G/R、G/Bの組合せが予め設定された範囲内に収まるか否かを判断する。各ブロックが白抽出ブロックであると判断される範囲は、図4のように示される。
In step S2, the control unit 231 reads the calculated RGB integrated value, and performs a feature detection process (first white extraction process).
Here, the white extraction process is to extract data at a position considered to be a white pixel (white pixel) from the captured image data, and this process is performed for each of the divided blocks. First, G / R and G / B, which are AWB evaluation values, are calculated for each block from the RGB integrated values acquired in units of blocks. Then, it is determined whether or not the combination of G / R and G / B falls within a preset range. The range in which each block is determined to be a white extraction block is shown in FIG.

図4は、G/Rをx軸、G/Bをy軸とする2次元の色座標であり、枠41で示される範囲が白抽出範囲である。枠41は、黒体輻射カーブに沿った複数の楕円若しくは円形の枠にて設定される。G/R、G/Bが枠41内におさまれば、そのブロックを白画素が存在するブロック、つまり白抽出ブロックと判断し、SDRAM24に記憶する(S2)。
このようにして検波範囲内から検出された白抽出ブロックについて、本発明ではブロックの数を計数し、白抽出ブロックの数が所定の基準以上か否かを判断する(ステップS3)。白抽出ブロック数が所定の基準以上である場合(ステップS3でYes)、ステップS4に移行し、各白抽出ブロックのG/R、G/Bに対して、それに対応するAE評価値の重み付けによって1ブロックあたりのG/R、G/Bを算出する(ステップS4)。計算式は式1である。
FIG. 4 shows two-dimensional color coordinates having G / R as the x-axis and G / B as the y-axis, and the range indicated by the frame 41 is the white extraction range. The frame 41 is set by a plurality of ellipse or circular frames along the black body radiation curve. If G / R and G / B fall within the frame 41, the block is determined as a block in which white pixels exist, that is, a white extraction block, and is stored in the SDRAM 24 (S2).
In the present invention, the number of blocks is counted for the white extraction blocks detected from the detection range in this way, and it is determined whether or not the number of white extraction blocks is equal to or greater than a predetermined reference (step S3). If the number of white extraction blocks is equal to or greater than the predetermined reference (Yes in step S3), the process proceeds to step S4, and the G / R and G / B of each white extraction block is weighted by the corresponding AE evaluation value. G / R and G / B per block are calculated (step S4). The calculation formula is Formula 1.

(式1)

Figure 0005123010
(Formula 1)
Figure 0005123010

但し、WhtAWBRは、白抽出ブロックのAWB評価値(G/R)であり、WhtAWBBは白抽出ブロックのAWB評価値(G/B)であり、WhtAEvalは白抽出ブロックのAE評価値であり、WhtCntは白抽出ブロック数であり、nは白抽出ブロック数である。
しかし、検出された白抽出ブロックの数が所定数に満たない場合は(ステップS3でNo)、ステップS5に移行し、本発明の特徴的構成である検波枠変更処理を行う。検波枠変更処理は、検波枠のサイズ及び分割数を変更する処理である。
However, WhtAWBR is the AWB evaluation value (G / R) of the white extraction block, WhtAWBB is the AWB evaluation value (G / B) of the white extraction block, WhtAEval is the AE evaluation value of the white extraction block, and WhtCnt Is the number of white extraction blocks, and n is the number of white extraction blocks.
However, when the number of detected white extraction blocks is less than the predetermined number (No in step S3), the process proceeds to step S5, and the detection frame changing process which is a characteristic configuration of the present invention is performed. The detection frame changing process is a process of changing the size and the number of divisions of the detection frame.

図5は、検波枠の変更前後の様子を示す図であり、(a)は検波枠を水平方向にずらして変更する例を示す図、(b)は検波枠を垂直方向にずらして変更する例を示す図である。図5において、細い点線で示された符号51a、52aが変更前検波枠である。また、太い実線で示された符号51b、52bが変更後検波枠である。
例えば、ステップS5では(a)に示すように、変更前検波枠51aに対して変更後検波枠51bを水平方向に半ブロック分ずらして設定する。このとき、斜線で示した左端部51Lと右端部51Rは、ブロックをずらしたことによって1ブロック分の大きさを確保できなくなるので、変更後検波枠51bには含めないで検波枠を設定する。つまり、変更前の検波サイズに比し変更後の検波サイズは小さくなっている。
あるいは(b)に示すように、変更前検波枠52aに対して変更後検波枠52bを、垂直方向に半ブロック分ずらして設定してもよい。このとき、(a)の例と同様に、斜線で示した最上部52Uと最下部52Bは、変更後検波枠52bには含めないで検波枠を設定する。このように、分割ブロックの変更形態は、特に限定されるものではない。
5A and 5B are diagrams showing a state before and after the detection frame is changed. FIG. 5A is a diagram showing an example in which the detection frame is shifted in the horizontal direction. FIG. 5B is a diagram in which the detection frame is shifted in the vertical direction. It is a figure which shows an example. In FIG. 5, reference numerals 51a and 52a indicated by thin dotted lines are pre-change detection frames. Reference numerals 51b and 52b indicated by thick solid lines are post-change detection frames.
For example, in step S5, as shown in (a), the post-change detection frame 51b is set to be shifted by a half block in the horizontal direction with respect to the pre-change detection frame 51a. At this time, the left end portion 51L and the right end portion 51R indicated by diagonal lines cannot secure the size of one block by shifting the blocks, so that the detection frame is not included in the post-change detection frame 51b. That is, the detection size after the change is smaller than the detection size before the change.
Alternatively, as shown in (b), the post-change detection frame 52b may be set so as to be shifted by a half block in the vertical direction with respect to the pre-change detection frame 52a. At this time, similarly to the example of (a), the uppermost part 52U and the lowermost part 52B indicated by oblique lines are not included in the post-change detection frame 52b and set the detection frame. Thus, the change form of a divided block is not specifically limited.

検波枠変更処理後はステップS6に移行し、再度の検波処理を行う。
制御部231は、再度SDRAM24よりRAW−RGBを読み出して、CCD−I/F232に入力する。そして変更後検波枠の分割ブロックに基づいて再度、画面全体の左右端部又は上下端部を除く部分を格子状のブロックに分割し、それぞれのエリア(ブロック)のRGB積算値を算出する。算出されたRGB積算値は、SDRAM24若しくは制御部231より読み出し可能なレジスタに出力される(ステップS6)。
ステップS7では、制御部231が算出されたRGB積算値を読み出し、再度の特徴検出処理(第二白抽出処理)を行う。具体的な白抽出処理の方法は、ステップS2と同様なので、説明を省略する。
After the detection frame changing process, the process proceeds to step S6, and the detection process is performed again.
The control unit 231 reads RAW-RGB from the SDRAM 24 again and inputs it to the CCD-I / F 232. Then, based on the divided blocks of the post-change detection frame, the portion excluding the left and right ends or the upper and lower ends of the entire screen is divided into grid blocks, and the RGB integrated values of the respective areas (blocks) are calculated. The calculated RGB integrated value is output to a register readable by the SDRAM 24 or the control unit 231 (step S6).
In step S7, the RGB integrated value calculated by the control unit 231 is read, and the feature detection process (second white extraction process) is performed again. The specific white extraction processing method is the same as that in step S2, and thus the description thereof is omitted.

このようにして変更後検波枠内から検出された白抽出ブロックの数を計数し、白抽出ブロックの数が所定の基準以上か否かを判断する(ステップS8)。白抽出ブロック数が所定の基準以上である場合(ステップS8でYes)、ステップS4に移行し、各白抽出ブロックのG/R、G/Bに対して、それに対応するAE評価値の重み付けによって1ブロックあたりのG/R、G/Bを式1に従って算出する(ステップS4)。
一方、白抽出ブロックの数が所定の基準を満たさなかった場合は(ステップS8でNo)、ステップS9に移行する。
In this way, the number of white extraction blocks detected from within the post-change detection frame is counted, and it is determined whether or not the number of white extraction blocks is equal to or greater than a predetermined reference (step S8). If the number of white extraction blocks is equal to or greater than the predetermined standard (Yes in step S8), the process proceeds to step S4, and the G / R and G / B of each white extraction block is weighted by the corresponding AE evaluation value. G / R and G / B per block are calculated according to Equation 1 (step S4).
On the other hand, when the number of white extraction blocks does not satisfy the predetermined standard (No in step S8), the process proceeds to step S9.

ステップS9では、全ブロックのG/R、G/Bに対して、それに対応するAE評価値の重み付けによって1ブロックあたりのG/R、G/Bを算出する(ステップS9)。計算式は式2である。   In step S9, G / R and G / B per block are calculated by weighting the AE evaluation values corresponding to G / R and G / B of all blocks (step S9). The calculation formula is Formula 2.

(式2)

Figure 0005123010
(Formula 2)

Figure 0005123010

但し、AllAWBRは全ブロックのAWB評価値(G/R)、AllAWBBは全ブロックのAWB評価値(G/B)、AllAEvalは全ブロックのAE評価値、AllCntは全ブロックのブロック数、nは全ブロック数である。
このようにステップS4、ステップS9にて算出した1ブロックあたりのG/R、G/BからG/R、G/Bの色座標上のエリア別に補正を加えた後、G/RをRgain、G/BをBgainとするホワイトバランス補正係数とする(ステップS10)。
However, AllAWBR is the AWB evaluation value (G / R) of all blocks, AllAWBB is the AWB evaluation value of all blocks (G / B), AllAEval is the AE evaluation value of all blocks, AllCnt is the number of blocks of all blocks, and n is all The number of blocks.
As described above, after correction is made for each area on the color coordinates of G / R, G / B to G / R, G / B per block calculated in step S4 and step S9, G / R is set to Rgain, A white balance correction coefficient with G / B as Bgain is set (step S10).

ここで、エリア別に補正とは、例えばG/Rの値が小さく、G/Bが大きい低色温度側のシーンでは、光源色を残すようにG/Rを大きくしてG/Bを小さくする処理を行う、あるいはG/Rの値が大きく、G/Bが小さい高色温度側のシーンでG/Rが一定以上であれば、G/Rの所定値以上をカットするリミット処理を行うといったものである。この処理により、色温度まで考慮されたホワイトバランスゲインを得ることができる。
その後、画面全体のR、Bデータそれぞれに対して、ホワイトバランス補正係数Rgain、Bgainを掛けて(ステップS11)、一連のホワイトバランス補正を終了する。
このように、本発明では、白抽出ブロックが所定量検出されなかった場合に検波枠を変更して再度白抽出処理を行っているので、変更前の検波枠では白抽出ができなくても、変更後の検波枠で白抽出できる可能性が高まる。従って、従来であれば微妙な画角の変化でブロック内の無彩色と有彩色の割合が変化することが原因で、白抽出できたりできなかったりするような場合においても、白抽出精度を高くすることができ、ホワイトバランスの調整精度を高めることができる。
Here, correction for each area means, for example, in a low color temperature side scene where the G / R value is small and the G / B is large, the G / R is increased to reduce the G / B so that the light source color remains. Processing, or if G / R is larger than a certain value in a scene of a high color temperature with a large G / R value and a small G / B, a limit processing is performed that cuts over a predetermined value of G / R. Is. By this processing, it is possible to obtain a white balance gain considering the color temperature.
Thereafter, white balance correction coefficients Rgain and Bgain are applied to the R and B data of the entire screen (step S11), and a series of white balance correction is completed.
In this way, in the present invention, when the white extraction block is not detected by a predetermined amount, the detection frame is changed and the white extraction process is performed again, so even if white extraction cannot be performed in the detection frame before the change, The possibility that white can be extracted in the detection frame after the change increases. Therefore, even if white extraction cannot be performed due to the change in the ratio of achromatic and chromatic colors in the block due to subtle changes in the angle of view, the white extraction accuracy is increased. The white balance adjustment accuracy can be increased.

本発明第二の実施形態について説明する。本実施形態では、図3に示された第一の実施形態のステップS5の検波枠変更処理の内容が異なるものである。以下では、第一の実施形態と異なるステップS5の処理工程を中心として説明を行う。
まず、第一の実施形態と同様にステップS1、S2の処理を行い、ステップS3にて白抽出ブロックの数が所定の基準以上か否かを判断する。予め設定された検波枠で検出された白抽出ブロックが所定量に満たなかった場合には(ステップS3でNo)、ステップS5に移行し、検波枠変更処理を行う。第二の実施形態では、検波枠のブロックサイズを変更する処理を行う。
A second embodiment of the present invention will be described. In the present embodiment, the contents of the detection frame changing process in step S5 of the first embodiment shown in FIG. 3 are different. Below, it demonstrates centering around the process process of step S5 different from 1st embodiment.
First, similarly to the first embodiment, the processes in steps S1 and S2 are performed, and it is determined in step S3 whether or not the number of white extraction blocks is equal to or greater than a predetermined reference. When the number of white extraction blocks detected in the preset detection frame is less than the predetermined amount (No in step S3), the process proceeds to step S5, and detection frame change processing is performed. In the second embodiment, processing for changing the block size of the detection frame is performed.

図6は、変更された検波枠のブロックを示す一つの例であり、図7は変更された検波枠のブロックを示す他の例である。例えば、変更前のブロック数が水平16×垂直16分割である場合、図6のように水平2ブロックと垂直2ブロックとを統合して水平8×垂直8分割に変更する。また、図7(a)のように水平2ブロックを統合して水平8×垂直16分割にする、又は図7(b)のように垂直2ブロックを統合して水平16×垂直8分割にしても良い。このように、分割ブロックの変更形態は、特に限定されるものではない。
そして変更した検波枠の分割ブロックに基づいて再度検波を行う(ステップS6)。以降の処理は第一の実施形態と同様なので、説明を省略する。
FIG. 6 is one example showing the changed detection frame block, and FIG. 7 is another example showing the changed detection frame block. For example, when the number of blocks before the change is horizontal 16 × vertical 16 divisions, the horizontal 2 blocks and the vertical 2 blocks are integrated and changed to horizontal 8 × vertical 8 divisions as shown in FIG. Also, as shown in FIG. 7A, two horizontal blocks are integrated into horizontal 8 × vertical 16 divisions, or as shown in FIG. 7B, two vertical blocks are integrated into horizontal 16 × vertical eight divisions. Also good. Thus, the change form of a divided block is not specifically limited.
Then, detection is performed again based on the changed divided block of the detection frame (step S6). Since the subsequent processing is the same as that of the first embodiment, description thereof is omitted.

このように、2次元の色座標上で拡散されたG/R、G/Bの分布で白抽出できなかった場合に、画面分割に用いられるブロックサイズを大きくすることで、多くの画素で平均化され、拡散されたG/R、G/Bの分布の拡散を抑えることができるので、G/R、G/Bが図4に示す白抽出枠に入る可能性が高まる。従って、全ブロックの積算値からホワイトバランスゲインを算出するよりも精度の高いホワイトバランス調整を行うことができる。また、通常はブロック分割数を多くすることで平均化される画素が少なくなり白抽出精度を高めることができるので、本発明によれば、白抽出ブロックの多少に関わらず精度の高いホワイトバランス調整を行うことができる。   In this way, when white cannot be extracted with the distribution of G / R and G / B diffused on the two-dimensional color coordinates, the block size used for screen division is increased to increase the average for many pixels. Since the diffusion of the distributed G / R and G / B distribution can be suppressed, the possibility that G / R and G / B fall into the white extraction frame shown in FIG. 4 increases. Accordingly, it is possible to perform white balance adjustment with higher accuracy than calculating the white balance gain from the integrated values of all blocks. Also, usually, by increasing the number of block divisions, the number of pixels to be averaged decreases and the white extraction accuracy can be increased. Therefore, according to the present invention, high-accuracy white balance adjustment is performed regardless of the number of white extraction blocks. It can be performed.

撮像装置の外観構成を示す図である。It is a figure which shows the external appearance structure of an imaging device. 撮像装置のシステム構成を示す図である。It is a figure which shows the system configuration | structure of an imaging device. ホワイトバランス補正の一連の処理を表したフローチャートである。It is a flowchart showing a series of processes of white balance correction. 白抽出範囲について説明する図である。It is a figure explaining a white extraction range. 検波枠の変更前後の様子を示す図であり、(a)は検波枠を水平方向にずらして変更する例を示す図、(b)は検波枠を垂直方向にずらして変更する例を示す図である。It is a figure which shows the mode before and after the change of a detection frame, (a) is a figure which shows the example which shifts a detection frame to a horizontal direction, (b) is a figure which shows the example which shifts a detection frame to a vertical direction, and changes it It is. 変更された検波枠のブロックを示す図である。It is a figure which shows the block of the detection frame changed. (a)、(b)は、変更された検波枠のブロックを示す図である。(A), (b) is a figure which shows the block of the changed detection frame.

符号の説明Explanation of symbols

1…レリーズボタン、2…電源ボタン、3…撮影・再生切替ダイアル、4…鏡胴ユニット、5…ストロボ発光部、6…光学ファインダ、7…液晶モニタ、8…接眼レンズ部、9…広角側ズームスイッチ、10…望遠側ズームスイッチ、11…メニューボタン、12…確定ボタン、13…メモリカード、21…CCD、22…AFE部、221…TG、222…CDS、223…AGC、224…A/D変換部、23…信号処理部、231…制御部、232…CCDI/F、233…メモリコントローラ、234…YUV変換部、235…リサイズ処理部、236…表示出力制御部、237…データ圧縮部、238…メディアI/F、24…SDRAM、25…ROM、26…モータドライバ、SW…操作部、41…枠、51a…変更前検波枠、51b…変更後検波枠、51L…左端部、51R…右端部、52a…変更前検波枠、52b…変更後検波枠、52U…上端部、52B…下端部   DESCRIPTION OF SYMBOLS 1 ... Release button, 2 ... Power button, 3 ... Shooting / playback switching dial, 4 ... Lens barrel unit, 5 ... Strobe light emitting unit, 6 ... Optical viewfinder, 7 ... LCD monitor, 8 ... Eyepiece lens unit, 9 ... Wide angle side Zoom switch, 10 ... Telephoto zoom switch, 11 ... Menu button, 12 ... Confirm button, 13 ... Memory card, 21 ... CCD, 22 ... AFE section, 221 ... TG, 222 ... CDS, 223 ... AGC, 224 ... A / D conversion unit, 23 ... signal processing unit, 231 ... control unit, 232 ... CCD I / F, 233 ... memory controller, 234 ... YUV conversion unit, 235 ... resize processing unit, 236 ... display output control unit, 237 ... data compression unit 238 ... Media I / F, 24 ... SDRAM, 25 ... ROM, 26 ... Motor driver, SW ... Operation unit, 41 ... Frame, 51a ... Detection frame before change 51b ... after change detection frame, 51L ... left end, 51R ... right end, 52a ... pre-change detection frame, 52 b ... post-change detection frame, 52U ... upper portion, 52B ... lower end

Claims (3)

撮像光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像素子から出力された撮像信号に対して検波範囲を設定する検波範囲設定手段と、前記検波範囲設定手段によって設定された検波範囲を格子状のブロックに分割するブロック分割手段と、前記ブロック分割手段によって得られた各ブロックの撮像信号から第一のホワイトバランス用の評価値を取得する第一ホワイトバランス評価値取得手段と、前記第一ホワイトバランス評価値取得手段によって取得された評価値と予め設定された白抽出範囲とに基づいて前記各ブロックの白抽出を行う第一白抽出手段と、前記第一白抽出手段により抽出されたブロックが一定数に満たない場合に検波範囲を変更する検波範囲変更手段と、前記検波範囲変更手段による検波範囲の変更により得られた各変更ブロックの撮像信号から第二のホワイトバランス用の評価値を取得する第二ホワイトバランス評価値取得手段と、前記第二ホワイトバランス評価値取得手段によって取得された評価値と予め設定された白抽出範囲とに基づいて前記各変更ブロックの白抽出を行う第二白抽出手段と、を備えたことを特徴とする撮像装置。   An imaging device that converts light incident from the imaging optical system into an electrical signal and outputs the signal as an imaging signal, a detection range setting unit that sets a detection range for the imaging signal output from the imaging device, and the detection range setting Block dividing means for dividing the detection range set by the means into grid blocks, and a first white balance for obtaining an evaluation value for the first white balance from the image pickup signal of each block obtained by the block dividing means Evaluation value acquisition means; first white extraction means for extracting white of each block based on the evaluation value acquired by the first white balance evaluation value acquisition means and a preset white extraction range; and A detection range changing means for changing a detection range when the number of blocks extracted by one white extraction means is less than a certain number; and the detection range changing means. Obtained by second white balance evaluation value acquisition means for acquiring an evaluation value for the second white balance from the imaging signal of each change block obtained by changing the detection range, and the second white balance evaluation value acquisition means An imaging apparatus comprising: a second white extraction unit configured to perform white extraction of each change block based on an evaluation value and a preset white extraction range. 撮像素子が撮像光学系から入射した光を電気信号に変換して撮像信号として出力する撮像工程と、検波範囲設定手段が撮像信号に対して検波範囲を設定する検波範囲設定工程と、ブロック分割手段が検波範囲を格子状のブロックに分割するブロック分割工程と、第一ホワイトバランス評価値取得手段が各ブロックの撮像信号から第一のホワイトバランス用の評価値を抽出する第一ホワイトバランス評価値取得工程と、第一白抽出手段が第一のホワイトバランス用の評価値と予め設定された白抽出範囲とに基づいて前記各ブロックの白抽出を行う第一白抽出工程と、白抽出されたブロックが一定数に満たない場合に検波範囲変更手段が検波範囲を変更する検波範囲変更工程と、検波範囲が変更された各変更ブロックの撮像信号から第二ホワイトバランス評価値取得手段が第二のホワイトバランス用の評価値を取得する第二ホワイトバランス評価値取得工程と、第二白抽出手段が第二のホワイトバランス用の評価値と予め設定された白抽出範囲とに基づいて前記各変更ブロックの白抽出を行う第二白抽出工程と、を有することを特徴とする撮像方法。   An imaging step in which the image sensor converts light incident from the imaging optical system into an electrical signal and outputs the signal as an imaging signal, a detection range setting step in which the detection range setting unit sets a detection range for the imaging signal, and a block division unit Divides the detection range into grid-like blocks, and first white balance evaluation value acquisition means for extracting the first white balance evaluation value from the imaging signal of each block by the first white balance evaluation value acquisition means And a first white extraction step in which the first white extraction means performs white extraction of each of the blocks based on a first white balance evaluation value and a preset white extraction range, and a white extracted block Detection range changing step in which the detection range changing means changes the detection range when the detection range is less than a certain number, and the second white from the imaging signal of each change block in which the detection range is changed A second white balance evaluation value acquisition step in which the lance evaluation value acquisition unit acquires an evaluation value for the second white balance, and a second white extraction unit acquires a second white balance evaluation value and a preset white extraction And a second white extraction step of performing white extraction of each of the changed blocks based on a range. 撮像装置が備えるコンピュータに、請求項に記載の方法を実行させるためのプログラム。 The program for making the computer with which an imaging device is provided perform the method of Claim 2 .
JP2008057037A 2008-03-06 2008-03-06 Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method Active JP5123010B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008057037A JP5123010B2 (en) 2008-03-06 2008-03-06 Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008057037A JP5123010B2 (en) 2008-03-06 2008-03-06 Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method

Publications (2)

Publication Number Publication Date
JP2009218641A JP2009218641A (en) 2009-09-24
JP5123010B2 true JP5123010B2 (en) 2013-01-16

Family

ID=41190127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008057037A Active JP5123010B2 (en) 2008-03-06 2008-03-06 Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method

Country Status (1)

Country Link
JP (1) JP5123010B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106601200A (en) * 2016-12-08 2017-04-26 深圳市华星光电技术有限公司 Drive method and drive device of display panel and display device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5458937B2 (en) 2010-02-17 2014-04-02 株式会社リコー IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907654B2 (en) * 1997-12-25 2007-04-18 キヤノン株式会社 Imaging apparatus and signal processing apparatus
JP4487342B2 (en) * 1999-09-28 2010-06-23 株式会社ニコン Digital camera
JP2001136539A (en) * 1999-11-04 2001-05-18 Nikon Corp Electronic camera
JP4305281B2 (en) * 2004-05-26 2009-07-29 日本ビクター株式会社 Auto white balance device and auto white balance adjustment method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106601200A (en) * 2016-12-08 2017-04-26 深圳市华星光电技术有限公司 Drive method and drive device of display panel and display device
US10302977B2 (en) 2016-12-08 2019-05-28 Shenzhen China Star Optoelectronics Technology Co., Ltd. Driving methods of display panels, driving devices, and display devices

Also Published As

Publication number Publication date
JP2009218641A (en) 2009-09-24

Similar Documents

Publication Publication Date Title
US8823857B2 (en) Image apparatus
JP5321163B2 (en) Imaging apparatus and imaging method
US20140168463A1 (en) Image-processing device and imaging apparatus
JP5169318B2 (en) Imaging apparatus and imaging method
KR101329942B1 (en) Image capturing apparatus and method for controlling the same
US20110050950A1 (en) Image device and imaging method
JP5458937B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD
JP5256947B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD
JP2013008004A (en) Imaging apparatus
JP5948997B2 (en) Imaging apparatus and imaging method
JP5146015B2 (en) Imaging apparatus and imaging method
US10771673B2 (en) Focusing position detecting device and focusing position detecting method
JP5123010B2 (en) Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method
JP5673137B2 (en) Imaging apparatus and imaging method
JP5487942B2 (en) Image processing apparatus, image processing method, and image input apparatus
JP5310331B2 (en) Imaging apparatus and imaging method
JP2010068064A (en) Imaging device and imaging method
JP5799550B2 (en) Imaging apparatus, imaging method, and imaging program
JP5915242B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium recording the image processing program on a computer
JP2011109360A (en) Imaging apparatus
JP5849532B2 (en) Imaging apparatus and imaging method
JP5644260B2 (en) Imaging apparatus and white balance control method
JP5807378B2 (en) Imaging apparatus, imaging method, and imaging program
JP5870539B2 (en) Image processing apparatus and image processing method
JP2019197305A (en) Image processing system and image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5123010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150