JP5948997B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP5948997B2
JP5948997B2 JP2012058072A JP2012058072A JP5948997B2 JP 5948997 B2 JP5948997 B2 JP 5948997B2 JP 2012058072 A JP2012058072 A JP 2012058072A JP 2012058072 A JP2012058072 A JP 2012058072A JP 5948997 B2 JP5948997 B2 JP 5948997B2
Authority
JP
Japan
Prior art keywords
white balance
area
correction coefficient
boundary
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012058072A
Other languages
Japanese (ja)
Other versions
JP2013192121A (en
Inventor
野澤 友志
友志 野澤
白石 賢二
賢二 白石
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority to JP2012058072A priority Critical patent/JP5948997B2/en
Publication of JP2013192121A publication Critical patent/JP2013192121A/en
Application granted granted Critical
Publication of JP5948997B2 publication Critical patent/JP5948997B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、ホワイトバランス調整処理機能を有する撮像装置及び撮像方法の改良に関する。   The present invention relates to an improvement of an imaging apparatus and an imaging method having a white balance adjustment processing function.
従来から、デジタルカメラ等の撮像装置のホワイトバランス制御においては、撮像画面全体において均一な光源であれば、光源を推定して撮像画面全体に同じホワイトバランスを掛ける技術が広く用いられている。   Conventionally, in white balance control of an imaging apparatus such as a digital camera, a technique of estimating the light source and applying the same white balance to the entire imaging screen is widely used as long as the light source is uniform throughout the imaging screen.
しかしながら、撮像画面内に異なる種類の光源の照射エリアが存在する場合、撮像画面全体に適切なホワイトバランスを掛けることは難しく、色ずれが生じた撮像画像になってしまうという問題がある。
この種の問題を解決するために、撮像画面を小領域のエリアブロックに分割して、この小領域のエリアブロック毎にホワイトバランスを掛けることにより撮像画面全体に対して色ずれを生じさせない技術が知られている(特許文献1参照)。
However, when there are irradiation areas of different types of light sources in the imaging screen, it is difficult to apply an appropriate white balance to the entire imaging screen, resulting in a captured image with a color shift.
In order to solve this kind of problem, there is a technology that does not cause color misregistration with respect to the entire imaging screen by dividing the imaging screen into small area blocks and applying white balance to each small area block. It is known (see Patent Document 1).
例えば、特許文献1に開示の技術では、画面全体にわたってホワイトバランスの整った画像を得るために、入力されたカラー画像を複数の小画面に分割し、この分割された各小画面毎に、カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、各小画面をグループ分けし、グループ毎に再度撮影光源の色温度を推定し、このグループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、このグループ内の各小画面に対し、各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施している。   For example, in the technique disclosed in Patent Document 1, in order to obtain an image with a well-balanced white balance over the entire screen, the input color image is divided into a plurality of small screens. Estimate the color temperature of the photographic light source when the image was taken, create a histogram of the estimated color temperature for each small screen, group each small screen, estimate the color temperature of the photographic light source again for each group, Based on the color temperature estimation results for each group, a white balance correction amount is calculated for each group, and white balance correction is performed for each small screen in the group using the white balance correction amount calculated for each group. ing.
このように、従来のホワイトバランス制御では、一般に撮像した画像から明るさ成分や色成分を取得し、それに基づき次に撮像する画像の明るさ成分の量や色成分の割合を制御するフィードバック制御となっている。   As described above, in the conventional white balance control, generally, the brightness component and the color component are acquired from the captured image, and the amount of the brightness component and the ratio of the color component of the image to be captured next are controlled based on the brightness control and the color component. It has become.
ところが、静止画撮影のように撮影対象を瞬間的に固定させて撮影する状態においては、ホワイトバランス調整を良好に行うことができるが、動画撮影のように撮影対象が時間的に連続して変化する場合には、前回の画像の光源判定の結果がそのまま次回の画像に反映されるため、画像の変化部分に適切な補正を掛けることができず、色再現性や階調性に違和感が生ずるという問題がある。   However, white balance adjustment can be performed satisfactorily in situations where the subject is fixed instantaneously as in still image shooting, but the subject changes continuously in time as in video shooting. In this case, since the result of the light source determination of the previous image is directly reflected in the next image, it is not possible to apply an appropriate correction to the changed portion of the image, and the color reproducibility and gradation are uncomfortable. There is a problem.
本発明は、上記の事情に鑑みて為されたもので、動画撮影のように画像が連続して変化するときでも、色再現性や階調性に違和感を生じさせることがなく、取得した画像の質を安定させることのできる撮像装置及び撮像方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and even when an image changes continuously as in moving image shooting, an image obtained without causing a sense of incongruity in color reproducibility and gradation. An object is to provide an imaging apparatus and an imaging method capable of stabilizing the quality of the image.
本発明の撮像装置は、ホワイトバランス評価値取得手段と、撮影画像を複数の分割領域に分割する領域分割手段と、複数の分割領域について分割領域に対応するホワイトバランス評価値に基づいて対応した第1のホワイトバランス補正係数を算出する補正係数算出手段と、複数の分割領域に各分割領域に対応した第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整手段と、現在のフレームの撮影画像と前回のフレームの撮影画像とから分割領域の境界が変化したか否かを検出する境界変化検出手段とを備えている。ホワイトバランス調整手段は、境界が変化したことを検出した場合に、境界が変化した隣接する分割領域のそれぞれに対して第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定する。   The image pickup apparatus according to the present invention corresponds to a white balance evaluation value acquisition unit, a region dividing unit that divides a captured image into a plurality of divided regions, and a plurality of divided regions based on white balance evaluation values corresponding to the divided regions. Correction coefficient calculation means for calculating the white balance correction coefficient of 1 and white balance adjustment that sets the second white balance correction coefficient by adjusting the first white balance correction coefficient corresponding to each divided area to a plurality of divided areas And a boundary change detecting means for detecting whether or not the boundary of the divided area has changed from the captured image of the current frame and the captured image of the previous frame. When the white balance adjustment means detects that the boundary has changed, the second white balance correction is performed so that the difference in the first white balance correction coefficient is small for each of the adjacent divided areas where the boundary has changed. Set the coefficient.
本発明によれば、前回のフレームと現在のフレームの撮影画像とにおいて光源に基づく領域の境界が変化した場合には、隣接する一方の領域と他方の領域とのホワイトバランス補正係数の差を小さくしたので、現在のフレームの撮影画像に対して適切なホワイトバランス調整を行うことができる。   According to the present invention, when the boundary of the region based on the light source changes between the previous frame and the captured image of the current frame, the difference in white balance correction coefficient between one adjacent region and the other region is reduced. Therefore, appropriate white balance adjustment can be performed on the captured image of the current frame.
図1は本発明の実施例に係るデジタルカメラの外観を示す概略図である。FIG. 1 is a schematic view showing the appearance of a digital camera according to an embodiment of the present invention. 図2は図1に示すデジタルカメラのシステム構成図である。FIG. 2 is a system configuration diagram of the digital camera shown in FIG. 図3はCCDの画素配列の一例を示す説明図である。FIG. 3 is an explanatory diagram showing an example of a pixel array of a CCD. 図4はホワイトバランス補正の一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of white balance correction. 図5は日向領域と日陰領域との境界を説明するためのグラフである。FIG. 5 is a graph for explaining the boundary between the sunny area and the shaded area. 図6は日向領域と日陰領域との境界の一例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of the boundary between the sunny area and the shaded area. 図7は注目画素への補正係数の設定の一例を示す説明図である。FIG. 7 is an explanatory diagram illustrating an example of setting a correction coefficient to a target pixel. 図8は白抽出範囲を説明するためのグラフである。FIG. 8 is a graph for explaining the white extraction range. 図9は補間による補正係数の算出の一例を説明するための説明図である。FIG. 9 is an explanatory diagram for explaining an example of calculation of a correction coefficient by interpolation. 図10は補正係数の調整の一例を概念的に説明するための説明図である。FIG. 10 is an explanatory diagram for conceptually explaining an example of adjustment of the correction coefficient. 図11はホワイトバランスフィードバック制御の流れを示すフローチャートである。FIG. 11 is a flowchart showing the flow of white balance feedback control.
以下、本発明の実施形態を図面を参照しつつ説明する。
図1(a)は、本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ」という)を示す正面図、図1(b)は、その上面図、図1(c)は、その背面図、図2は、図1(a),(b),(c)に示したデジタルカメラの内部のシステム構成の概要を示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1A is a front view showing a digital still camera (hereinafter referred to as “digital camera”) as an example of an imaging apparatus according to Embodiment 1 of the present invention, and FIG. 1 (c) is a rear view thereof, and FIG. 2 is a block diagram showing an outline of an internal system configuration of the digital camera shown in FIGS. 1 (a), (b), and (c).
(デジタルカメラの外観構成)
図1(a),(b),(c)に示すように、本実施形態に係るデジタルカメラ1の上面側には、レリーズボタン(シャッタボタン)2、電源ボタン3、撮影・再生切替ダイアル4が設けられており、デジタルカメラ1の正面(前面)側には、撮影レンズ系5を有する鏡胴ユニット6、ストロボ発光部(フラッシュ)7、光学ファインダ8が設けられている。
(Appearance structure of digital camera)
As shown in FIGS. 1A, 1B, and 1C, a release button (shutter button) 2, a power button 3, a shooting / playback switching dial 4 are provided on the upper surface side of the digital camera 1 according to the present embodiment. In the front (front) side of the digital camera 1, a lens barrel unit 6 having a photographing lens system 5, a strobe light emitting unit (flash) 7, and an optical viewfinder 8 are provided.
デジタルカメラ1の背面側には、液晶モニタ(LCD)9、前記光学ファインダ8の接眼レンズ部8a、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等が設けられている。また、デジタルカメラ1の側面内部には、撮影した画像データを保存するためのメモリカード14(図2参照)を収納するメモリカード収納部15が設けられている。   On the back side of the digital camera 1, there are a liquid crystal monitor (LCD) 9, an eyepiece 8 a of the optical viewfinder 8, a wide-angle zoom (W) switch 10, a telephoto zoom (T) switch 11, and a menu (MENU) button 12. , A confirmation button (OK button) 13 and the like are provided. Further, a memory card storage unit 15 for storing a memory card 14 (see FIG. 2) for storing captured image data is provided inside the side surface of the digital camera 1.
(デジタルカメラのシステム構成)
図2に示すように、このデジタルカメラ1は、鏡胴ユニット6の撮影レンズ系5を通して入射する被写体画像が受光面上に結像する固体撮像素子としてのCCD20、CCD20から出力される電気信号(アナログRGB画像信号)をデジタル信号に処理するアナログフロントエンド部(以下、「AFE部」という)21、AFE部21から出力されるデジタル信号を処理する信号処理部22、データを一時的に格納するSDRAM23、制御プログラム等が記憶されたROM24、鏡胴ユニット6を駆動するモータドライバ25等を有している。
(Digital camera system configuration)
As shown in FIG. 2, the digital camera 1 includes a CCD 20 serving as a solid-state imaging device on which a subject image incident through a photographing lens system 5 of a lens barrel unit 6 forms an image on a light receiving surface, and electrical signals ( An analog front-end unit (hereinafter referred to as “AFE unit”) 21 that processes an analog RGB image signal) into a digital signal, a signal processing unit 22 that processes a digital signal output from the AFE unit 21, and temporarily stores data It includes an SDRAM 23, a ROM 24 storing control programs, a motor driver 25 for driving the lens barrel unit 6, and the like.
鏡胴ユニット6は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系5、絞りユニット26、メカシャッタユニット27を備えており、撮影レンズ系5、絞りユニット26、メカシャッタユニット27の各駆動ユニット(図示を略す)は、モータドライバ25によって駆動される。モータドライバ25は、信号処理部22の制御部(CPU)28からの駆動信号により駆動制御される。その信号処理部22は画像作成手段として機能する。   The lens barrel unit 6 includes a photographic lens system 5 having a zoom lens, a focus lens, and the like, an aperture unit 26, and a mechanical shutter unit 27, and each drive unit of the photographic lens system 5, the aperture unit 26, and the mechanical shutter unit 27 ( (Not shown) is driven by the motor driver 25. The motor driver 25 is driven and controlled by a drive signal from a control unit (CPU) 28 of the signal processing unit 22. The signal processing unit 22 functions as an image creation unit.
CCD20は、図3に示すように、CCD20を構成する複数の画素20a上にベイヤ配列のRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されており、各画素からRGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。   As shown in FIG. 3, the CCD 20 has a Bayer array RGB primary color filter (hereinafter referred to as “RGB filter”) arranged on a plurality of pixels 20 a constituting the CCD 20. A signal (analog RGB image signal) is output.
AFE部21は、CCD20を駆動するTG(タイミング信号発生部)30、CCD20から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)31、CDS31にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)32、AGC32でゲイン調整された信号をデジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部33を備えている。   The AFE unit 21 is sampled by a TG (timing signal generating unit) 30 that drives the CCD 20, a CDS (correlated double sampling unit) 31 that samples an electrical signal (analog RGB image signal) output from the CCD 20, and the CDS 31. An AGC (analog gain control unit) 32 that adjusts the gain of the signal, and an A / D conversion unit 33 that converts the signal gain-adjusted by the AGC 32 into a digital signal (hereinafter referred to as “RAW-RGB data”).
信号処理部22は、AFE部21のTG30へ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行い、これらの同期信号に合わせて、AFE部21のA/D変換部33から出力されるRAW−RGBデータを取り込むCCDインターフェース(以下、「CCDI/F」という)34と、SDRAM23を制御するメモリコントローラ35と、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部36と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部37と、画像データの表示出力を制御する表示出力制御部38と、画像データをJPEG形式等で記録するデータ圧縮部39と、画像データをメモリカード14へ書き込み、又はメモリカード14に書き込まれた画像データを読み出すメディアインターフェース(以下、「メディアI/F」という)40と、操作部41からの操作入力情報に基づき、ROM24に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う制御部(CPU)28を備えている。   The signal processing unit 22 outputs a screen horizontal synchronization signal (HD) and a screen vertical synchronization signal (VD) to the TG 30 of the AFE unit 21, and an A / D conversion unit 33 of the AFE unit 21 in accordance with these synchronization signals. CCD interface (hereinafter referred to as “CCD I / F”) 34 that captures RAW-RGB data output from the CPU, a memory controller 35 that controls the SDRAM 23, and a YUV format that can display and record the captured RAW-RGB data. A YUV conversion unit 36 for converting to image data, a resizing processing unit 37 for changing the image size in accordance with the size of image data to be displayed or recorded, a display output control unit 38 for controlling display output of the image data, and an image A data compression unit 39 that records data in JPEG format or the like, and writes image data to the memory card 14 or a memory A digital camera based on a control program stored in the ROM 24 based on operation input information from a media interface (hereinafter referred to as “media I / F”) 40 that reads image data written in the mode 14 and an operation unit 41. 1 is provided with a control unit (CPU) 28 for performing overall system control and the like.
操作部41は、デジタルカメラ1(図1(a),(b),(c)参照)の本体に設けられているレリーズボタン2、電源ボタン3、撮影・再生切替ダイアル4、広角側ズームスイッチ10、望遠側ズームスイッチ11、メニューボタン12、確定ボタン13等からなり、撮影者の操作によって所定の動作指示信号が制御部28に入力される。   The operation unit 41 includes a release button 2, a power button 3, a shooting / playback switching dial 4, and a wide-angle zoom switch provided on the main body of the digital camera 1 (see FIGS. 1A, 1B, and 1C). 10 includes a telephoto zoom switch 11, a menu button 12, a confirmation button 13, and the like, and a predetermined operation instruction signal is input to the control unit 28 by a photographer's operation.
SDRAM23には、CCDI/F34に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部36で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮部39で圧縮処理されたJPEG形式等の画像データが保存される。   The SDRAM 23 stores the RAW-RGB data captured by the CCD I / F 34, and stores the YUV data (YUV format image data) converted by the YUV conversion unit 36. Further, the SDRAM 23 stores the RAW-RGB data. The compressed image data such as JPEG format is stored.
なお、YUVデータのYUVとは、輝度データ(Y)と、色差(輝度データと青色(B)成分データの差分(U)と、輝度データと赤色(R)成分データの差分(V))の情報で色を表現する形式である。   Note that YUV of YUV data refers to luminance data (Y), color difference (difference (U) between luminance data and blue (B) component data, and difference (V) between luminance data and red (R) component data). It is a format that expresses color with information.
(デジタルカメラのモニタリング動作、静止画撮影動作)
次に、デジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
(Digital camera monitoring and still image shooting)
Next, the monitoring operation and still image shooting operation of the digital camera 1 will be described. In the still image shooting mode, the digital camera 1 performs a still image shooting operation while executing a monitoring operation as described below.
先ず、撮影者が電源ボタン3をONし、撮影・再生切替ダイアル4を撮影モードに設定することにより、デジタルカメラ1が記録モードで起動する。電源ボタン3がONされて、撮影・再生切替ダイアル4が撮影モードに設定されたことを制御部28が検知すると、制御部28はモータドライバ25に制御信号を出力して、鏡胴ユニット6を撮影可能位置に移動させ、かつ、CCD20、AFE部21、信号処理部22、SDRAM23、ROM24、液晶モニタ9等を起動させる。   First, when the photographer turns on the power button 3 and sets the photographing / playback switching dial 4 to the photographing mode, the digital camera 1 is activated in the recording mode. When the control unit 28 detects that the power button 3 is turned on and the shooting / playback switching dial 4 is set to the shooting mode, the control unit 28 outputs a control signal to the motor driver 25 to switch the lens barrel unit 6. The camera 20 is moved to a photographing position and the CCD 20, the AFE unit 21, the signal processing unit 22, the SDRAM 23, the ROM 24, the liquid crystal monitor 9 and the like are activated.
そして、鏡胴ユニット6の撮影レンズ系5を被写体に向けることにより、撮影レンズ系5を通して入射される被写体画像がCCD20の各画素の受光面上に結像する。そして、CCD20から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS31、AGC32を介してA/D変換部33に入力され、A/D変換部33により12ビット(bit)のRAW−RGBデータに変換される。   Then, by directing the photographic lens system 5 of the lens barrel unit 6 toward the subject, a subject image incident through the photographic lens system 5 is formed on the light receiving surface of each pixel of the CCD 20. Then, an electrical signal (analog RGB image signal) corresponding to the subject image output from the CCD 20 is input to the A / D conversion unit 33 via the CDS 31 and the AGC 32, and 12 bits (bit) by the A / D conversion unit 33. To RAW-RGB data.
このRAW−RGBデータは、信号処理部22のCCDI/F34に取り込まれてメモリコントローラ35を介してSDRAM23に保存される。そして、SDRAM23から読み出されたRAW−RGBデータは、YUV変換部36で表示可能な形式であるYUVデータ(YUV信号)に変換された後に、メモリコントローラ35を介してSDRAM23にYUVデータが保存される。   This RAW-RGB data is taken into the CCD I / F 34 of the signal processing unit 22 and stored in the SDRAM 23 via the memory controller 35. The RAW-RGB data read from the SDRAM 23 is converted into YUV data (YUV signal) in a format that can be displayed by the YUV converter 36, and then the YUV data is stored in the SDRAM 23 via the memory controller 35. The
そして、SDRAM23からメモリコントローラ35を介して読み出したYUVデータは、表示出力制御部38を介して液晶モニタ(LCD)9へ送られ、撮影画像が表示される。液晶モニタ(LCD)9に撮影画像を表示しているモニタリング時においては、CCDI/F34による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。   The YUV data read from the SDRAM 23 via the memory controller 35 is sent to the liquid crystal monitor (LCD) 9 via the display output control unit 38, and a captured image is displayed. At the time of monitoring in which a captured image is displayed on the liquid crystal monitor (LCD) 9, one frame is read out in a time of 1/30 seconds by thinning out the number of pixels by the CCD I / F 34.
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)9に撮影画像が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。   In this monitoring operation, the photographed image is only displayed on the liquid crystal monitor (LCD) 9 functioning as an electronic viewfinder, and the release button 2 is not yet pressed (including half-pressed).
この撮影画像の液晶モニタ(LCD)9への表示によって、撮影者が静止画を撮像するための構図の確認等をすることができる。なお、表示出力制御部38からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画像)を表示することもできる。   By displaying the captured image on a liquid crystal monitor (LCD) 9, the photographer can confirm the composition for capturing a still image. In addition, it can output as a TV video signal from the display output control part 38, and can also display a picked-up image (moving image) on external TV (television) via a video cable.
そして、信号処理部22のCCDI/F34は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。そのCCDI/F34はホワイトバランス評価値取得手段としての役割を果たす。   The CCD I / F 34 of the signal processing unit 22 calculates an AF (automatic focus) evaluation value, an AE (automatic exposure) evaluation value, and an AWB (auto white balance) evaluation value from the captured RAW-RGB data. The CCD I / F 34 serves as white balance evaluation value acquisition means.
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系5内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。   The AF evaluation value is calculated by, for example, the output integrated value of the high frequency component extraction filter or the integrated value of the luminance difference between adjacent pixels. When in the in-focus state, the edge portion of the subject is clear, so the high frequency component is the highest. By utilizing this, at the time of AF operation (at the time of focus detection operation), an AF evaluation value at each focus lens position in the photographing lens system 5 is acquired, and the point where the maximum is obtained is used as the focus detection position for AF. The action is executed.
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、信号処理部22はCCD20の全画素の受光面20aに対応した画面を256個のエリアブロックに等分割(水平16分割、垂直16分割)し、それぞれのエリアのRGB積算値を算出する。   The AE evaluation value and the AWB evaluation value are calculated from the integrated values of the RGB values in the RAW-RGB data. For example, the signal processing unit 22 equally divides the screen corresponding to the light receiving surface 20a of all the pixels of the CCD 20 into 256 area blocks (horizontal 16 divisions and vertical 16 divisions), and calculates an RGB integrated value of each area.
そして、制御部28は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCD20の電子シャッタ回数、絞りユニット26の絞り値、NDフィルタ(図示を略す)の出入等)を設定する。また、AWB処理では、RGBの分布から被写体色や光源色を判定し、光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部36でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、AE処理とAWB処理は、モニタリング時には連続的に行われている。   Then, the control unit 28 reads the calculated RGB integrated value, and in the AE process, calculates the luminance of each area of the screen and determines an appropriate exposure amount from the luminance distribution. Based on the determined exposure amount, exposure conditions (the number of electronic shutters of the CCD 20, the aperture value of the aperture unit 26, the ND filter (not shown), etc.) are set. In the AWB process, the subject color and the light source color are determined from the RGB distribution, and the AWB control value according to the color of the light source is determined. By this AWB process, white balance is adjusted when the YUV conversion unit 36 performs conversion to YUV data. Note that the AE process and the AWB process are continuously performed during monitoring.
そして、モニタリング動作時に、レリーズボタン2が押圧(半押しから全押し)操作されて静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。   During the monitoring operation, when the release button 2 is pressed (half-pressed to full-press) and a still image shooting operation is started, an AF operation that is a focus position detection operation and a still image recording process are performed.
即ち、レリーズボタン2が押圧(半押しから全押し)操作されると、制御部28からモータドライバ25への駆動指令により撮影レンズ系5のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。   That is, when the release button 2 is pressed (half-pressed to full-pressed), the focus lens of the photographing lens system 5 is moved by a drive command from the control unit 28 to the motor driver 25, and is referred to as so-called hill-climbing AF, for example. The contrast evaluation AF operation is executed.
AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系5のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/F34で算出されている各フォーカス位置における前記AF評価値を制御部28が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。   When the AF (focusing) target range is the entire region from infinity to close, the focus lens of the photographing lens system 5 moves to each focus position from close to infinity, or from infinity to close, and CCDI / The control unit 28 reads out the AF evaluation value at each focus position calculated in F34. Then, the focus lens is moved to the in-focus position with the point where the AF evaluation value at each focus position is maximized as the in-focus position, and in-focus.
そして、AE処理が行われ、露光完了時点で、制御部28からモータドライバ25への駆動指令によりメカシャッタユニット27が閉じられ、CCD20から静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、AFE部21のA/D変換部33によりRAW−RGBデータに変換される。   Then, AE processing is performed, and when the exposure is completed, the mechanical shutter unit 27 is closed by a drive command from the control unit 28 to the motor driver 25, and an analog RGB image signal for a still image is output from the CCD 20. As in the monitoring, the A / D conversion unit 33 of the AFE unit 21 converts the data into RAW-RGB data.
そして、このRAW−RGBデータは、信号処理部22のCCDI/F34に取り込まれ、YUV変換部36でYUVデータに変換されて、メモリコントローラ35を介してSDRAM23に保存される。そして、このYUVデータはSDRAM23から読み出されて、リサイズ処理部37で記録画素数に対応するサイズに変換され、データ圧縮部39でJPEG形式等の画像データへと圧縮される。   The RAW-RGB data is taken into the CCD I / F 34 of the signal processing unit 22, converted into YUV data by the YUV conversion unit 36, and stored in the SDRAM 23 via the memory controller 35. The YUV data is read from the SDRAM 23, converted into a size corresponding to the number of recorded pixels by the resizing processing unit 37, and compressed into image data such as JPEG format by the data compression unit 39.
圧縮されたJPEG形式等の画像データは、SDRAM23に書き戻された後にメモリコントローラ35を介してSDRAM23から読み出され、メディアI/F40を介してメモリカード14に保存される。   The compressed image data such as JPEG format is written back to the SDRAM 23, read out from the SDRAM 23 through the memory controller 35, and stored in the memory card 14 through the media I / F 40.
以下、本発明に係る撮像装置のホワイトバランス補正処理の詳細について説明する。
(ホワイトバランス補正処理)
図4は本実施例に係る撮像装置のホワイトバランス補正処理を説明するためのフローチャートである。信号処理部22は、撮影画像を輝度情報又は色情報の少なくとも1つの情報に応じて複数の分割領域に分割する領域分割手段としての役割を有し、この信号処理部22により、 CCD(撮像素子)20の全画素の受光面20aは、既述したように、水平16×垂直16の256個の分割領域としてのエリアブロックaiに等分割されている。
Details of the white balance correction processing of the imaging apparatus according to the present invention will be described below.
(White balance correction processing)
FIG. 4 is a flowchart for explaining white balance correction processing of the imaging apparatus according to the present embodiment. The signal processing unit 22 has a role as an area dividing unit that divides a captured image into a plurality of divided areas according to at least one information of luminance information or color information. ) The light receiving surfaces 20a of all the 20 pixels are equally divided into area blocks ai as 256 divided regions of horizontal 16 × vertical 16, as described above.
(RGB積算値取得処理(S1))
CCD20からのRAW−RGBは、CCDI/F34に取り込まれ、このエリアブロックaiのそれぞれに対してRGB値を積算することにより、RGB積算値が取得される(S1)。
(RGB integrated value acquisition process (S1))
RAW-RGB from the CCD 20 is taken into the CCD I / F 34, and an RGB integrated value is obtained by integrating the RGB value for each of the area blocks ai (S1).
なお、この実施例では、エリアブロックの個数を256個としたが、これに限られるものではなく、また、この実施例では、エリアブロックaiを等分割に設定しているが、必ずしもこれに限られるものではない。なお、n個のエリアブロックとしたとき、n≧4を満たすことを条件とする。   In this embodiment, the number of area blocks is 256. However, the number of area blocks is not limited to this, and in this embodiment, the area block ai is set to be equally divided. It is not something that can be done. Note that when n area blocks are used, the condition is that n ≧ 4 is satisfied.
(RGB積算値処理(ホワイトバランス評価値取得処理)の一例)
このエリアブロックaiは、画面上における撮影画像を256個に分割したものに相当するので、撮影画像が例えば約1000万画素を有しているとすると、エリアブロックaiの各画素の総個数は約3.9万画素である。
(Example of RGB integrated value processing (white balance evaluation value acquisition processing))
Since this area block ai corresponds to a captured image on the screen divided into 256, if the captured image has, for example, about 10 million pixels, the total number of pixels in the area block ai is about 39,000 pixels.
RGB積算値は、このエリアブロックaiのそれぞれについて、各エリアブロックai内の画素全てのR成分、G成分、B成分のそれぞれについて加算平均して算出される。そして、このRGB積算値は、各エリアブロックaiについて、R、G、B成分毎に8ビット情報として出力される。   The RGB integrated value is calculated by averaging the R, G, and B components of all the pixels in each area block ai for each area block ai. This RGB integrated value is output as 8-bit information for each R, G, B component for each area block ai.
なお、この実施例では、R、G、Bの比率は1:2:1となっているので、各エリアブロックaiのR画素の個数は0.975万画素、G画素の個数は1/95万画素、B画素の個数は0.975万画素である。   In this embodiment, since the ratio of R, G, and B is 1: 2: 1, the number of R pixels in each area block ai is 0.975 million pixels, and the number of G pixels is 1/95. The number of 10,000 pixels and B pixels is 0.975 million pixels.
(日向領域/日陰領域の分割処理(S2))
信号処理部22は、各エリアブロックai毎に得られたRGB積算値を用いて、その輝度値Y、赤成分の値R、青成分の値Bとの比B/Rを求め、領域分割条件に従って、各エリアブロックaiを日向領域と日陰領域とに分割する(S2)。
なお、輝度値(輝度信号)Y、色差信号U(Cb)、色差信号V(Cr)の算出には、例えば、以下の式を用いて行う。
Y=0.299×R+0.587×G+0.144×B
U=−0.169×R−0.3116×G+0.500×B
V=0.500×R−0.4186×G−0.0813×B
(Hyuga area / shade area division process (S2))
The signal processing unit 22 obtains a ratio B / R of the luminance value Y, the red component value R, and the blue component value B using the RGB integrated value obtained for each area block ai, and the region division condition Thus, each area block ai is divided into a sunny area and a shaded area (S2).
Note that the luminance value (luminance signal) Y, the color difference signal U (Cb), and the color difference signal V (Cr) are calculated using, for example, the following equations.
Y = 0.299 × R + 0.587 × G + 0.144 × B
U = −0.169 × R−0.3116 × G + 0.500 × B
V = 0.500 × R-0.4186 × G-0.0813 × B
日向領域/日陰領域の分割処理については、具体的には、例えば、図5に示すように、比B/Rに対する閾値Kと、輝度値Yに対する閾値Ythreとを設定し、輝度値Yが閾値Ythreよりも小さくかつ比B/Rが閾値Kよりも大きいときに日陰領域と判定する。それ以外は、日向領域と判定する。すなわち、各エリアブロックai毎にその各エリアブロックaiの輝度値Y、B成分値、R成分値を用いて、B/R、B/R>K、Y<Ythreの演算処理を行い、B/R>KかつY<Ythreのときはそのエリアブロックaiは日陰領域、これ以外の条件が成立したとき、そのエリアブロックaiは、日向領域と判定する。   For example, as shown in FIG. 5, for example, the threshold value K for the ratio B / R and the threshold value Ythre for the luminance value Y are set, and the luminance value Y is the threshold value. When it is smaller than Ythre and the ratio B / R is larger than the threshold value K, it is determined as a shaded area. Other than that, it determines with a hyuga area | region. That is, for each area block ai, using the luminance value Y, B component value, and R component value of each area block ai, arithmetic processing of B / R, B / R> K, Y <Ythre is performed, and B / R When R> K and Y <Ythre, the area block ai is determined to be a shaded area, and when other conditions are satisfied, the area block ai is determined to be a sunny area.
ついで、この日向領域、日陰領域の分割後、日向領域と日陰領域とが隣接する境界において、日陰領域に属するエリアブロックを境界ブロックに設定する。
例えば、図6に示すように、撮影画像の一部である4×4=16個のエリアブロックを例に挙げて説明する。
Next, after dividing the sunlit area and the shaded area, an area block belonging to the shaded area is set as a boundary block at the boundary where the sunny area and the shaded area are adjacent to each other.
For example, as shown in FIG. 6, description will be made by taking 4 × 4 = 16 area blocks as a part of a captured image as an example.
この図6に示すエリアブロックaiにおいて、ハッチングで示すエリアブロックaiは、日陰領域のエリアブロック、残余のエリアブロックaiは、日向領域のエリアブロックを示している。日向領域の境界と日陰領域の境界とは太線で示され、符合aa、ab、ac、adは日向領域と日陰領域との境界に存在する日陰領域に属するエリアブロックを示している。   In the area block ai shown in FIG. 6, an area block ai indicated by hatching indicates an area block in the shaded area, and a remaining area block ai indicates an area block in the sunny area. The boundary of the sunny area and the boundary of the shaded area are indicated by bold lines, and the symbols aa, ab, ac and ad indicate area blocks belonging to the shaded area existing at the boundary between the sunny area and the shaded area.
信号処理部22は、前回のフレームの撮影画像と現在のフレーム画像とからそれぞれ得られた分割領域の境界ブロックを用いて、日向領域と日陰領域との境界が変化したか否かを検出する境界変化検出手段としての機能も有する。   The signal processing unit 22 detects whether or not the boundary between the sunlit area and the shaded area has changed using the boundary blocks of the divided areas obtained from the captured image of the previous frame and the current frame image, respectively. It also has a function as a change detection means.
なお、ここでは、画面を日向領域と日陰領域とに分割してエリアブロックaiを設定しているが、本発明は、これに限られるものではなく、画面を屋外領域と屋内領域とに分けてエリアブロックaiを設定する構成、画面を空領域とそれ以外の領域とに分けてエリアブロックaiを設定する構成、画面を光源が異なる領域毎に分けてエリアブロックaiを設定する構成等、ホワイトバランス調整において白が白として表示されない領域が極力少なくなるように画面を分割してエリアブロックaiを設定する構成とするのが望ましい。   Here, the screen is divided into a sunlit area and a shaded area to set the area block ai. However, the present invention is not limited to this, and the screen is divided into an outdoor area and an indoor area. White balance, such as a configuration for setting area block ai, a configuration for setting area block ai by dividing the screen into empty regions and other regions, and a configuration for setting area block ai by dividing the screen into regions with different light sources It is desirable to divide the screen and set the area block ai so that the area where white is not displayed as white in the adjustment is minimized.
この実施例では、閾値Kの値はK=2に設定されている。これは、B画素信号の積算値がR画素信号の積算値の2倍を意味する。また、閾値Ythreの値はYthre=100に設定されている(なお、この値は、8ビットデータにより0ないし255に明度を分類したときの値である)。これらの閾値K、Ythreの値はROM24に記憶されている。また、演算式もROM24に記憶されている。   In this embodiment, the threshold value K is set to K = 2. This means that the integrated value of the B pixel signal is twice the integrated value of the R pixel signal. The value of the threshold Ythre is set to Ythre = 100 (Note that this value is a value when brightness is classified into 0 to 255 by 8-bit data). These threshold values K and Ythre are stored in the ROM 24. An arithmetic expression is also stored in the ROM 24.
(補正係数の算出処理(S3))
ついで、信号処理部22は、各エリアブロックai毎に白いものが白くなるようにWB補正係数Rgain、Bgainを算出する(S3)。
すなわち、信号処理部22は、図7に示すように、画面全体に対して格子状に分割されたエリアブロックaiを設定する。ついで、エリアブロックai(i=1〜256)毎に取得したRGB積算値から、1つ又は複数のブロックのRGB積算値を組み合わせて第1のホワイトバランス補正係数としてのWB補正係数を取得する。
(Correction coefficient calculation process (S3))
Next, the signal processing unit 22 calculates the WB correction coefficients Rgain and Bgain so that white is white for each area block ai (S3).
That is, as shown in FIG. 7, the signal processing unit 22 sets area blocks ai that are divided in a lattice pattern over the entire screen. Next, the WB correction coefficient as the first white balance correction coefficient is acquired by combining the RGB integrated values of one or a plurality of blocks from the RGB integrated values acquired for each area block ai (i = 1 to 256).
ここでは、まず、日向領域と日陰領域とのそれぞれについて白抽出を行う。この白抽出は日向領域、日陰領域毎にエリアブロックai単位で取得したRGB積算値からエリアブロックaiのそれぞれについて、例えば、図8に示すG/R(x軸)対G/R(y軸)の色度座標において、白抽出範囲(ハッチングで示す)に含まれるエリアブロックaiを白抽出エリアブロックとして記憶する。   Here, first, white extraction is performed for each of the sunny area and the shaded area. For example, G / R (x axis) vs. G / R (y axis) shown in FIG. 8 for each of the area blocks ai based on the RGB integrated values acquired in units of area blocks ai for each of the sunlit area and the shaded area. In the chromaticity coordinates, the area block ai included in the white extraction range (indicated by hatching) is stored as a white extraction area block.
信号処理部22は、この白抽出ブロックを用いてWB補正係数Rgain、Bgainを算出する。このWB補正係数Rgain、Bgainは生の白抽出ブロックのホワイトバランス評価値である。
このWB補正係数Rgain、Bgainを図7に示す注目画素R0〜R3、…、Ri、…、R255に設定する。 非注目画素の補正係数Rgain、Bgainは、以下のようにして求める。
The signal processing unit 22 calculates WB correction coefficients Rgain and Bgain using this white extraction block. The WB correction coefficients Rgain and Bgain are white balance evaluation values of the raw white extraction block.
The WB correction coefficients Rgain and Bgain are set in the target pixels R0 to R3,..., Ri,. The correction coefficients Rgain and Bgain for the non-target pixel are obtained as follows.
例えば、図9に示すように、各エリアブロックaiの中央を注目画素R0、R1、R16、R17として、各エリアブロックaiで取得した補正係数Rgain、Bgainをそれぞれの注目画素R0、R1、R16、R17に設定する。
ついで、非注目画素R17’はエリアブロックaiの注目画素R0、R1、R16、R17と周辺の注目画素R0、R1、R16、R17に設定されている補正係数とこれらの注目画素からの距離(x、y)を用いて補間して求める。
For example, as shown in FIG. 9, the center of each area block ai is the target pixel R0, R1, R16, R17, and the correction coefficients Rgain, Bgain acquired in each area block ai are the target pixels R0, R1, R16, Set to R17.
Next, the non-target pixel R17 ′ is a correction coefficient set in the target pixels R0, R1, R16, and R17 of the area block ai and the peripheral target pixels R0, R1, R16, and R17, and the distance (x , Y) to interpolate.
すなわち、補正係数の算出対象とする非注目画素をR17’とし、周辺の注目画素をR0、R1、R16、R17とした場合、R17を「1」で正規化して、補正係数の算出対象となる非注目画素R17’の位置をx、yで表し、以下の計算式によって補正係数を算出する。
Rgain=(1−x)(1−y)R0+x(1−y)R1+(1−x)yR2+xyR3
Bgain=(1−x)(1−y)B0+x(1−y)B1+(1−x)yB2+xyB3
That is, when the non-target pixel for which the correction coefficient is to be calculated is R17 ′ and the surrounding target pixels are R0, R1, R16, and R17, R17 is normalized by “1” and becomes the correction coefficient calculation target. The position of the non-target pixel R17 ′ is represented by x and y, and the correction coefficient is calculated by the following calculation formula.
Rgain = (1-x) (1-y) R0 + x (1-y) R1 + (1-x) yR2 + xyR3
Bgain = (1-x) (1-y) B0 + x (1-y) B1 + (1-x) yB2 + xyB3
そのS1ないしS3の処理により、現フレームの撮影画像の画面内の各画素毎に第1のホワイトバランス補正係数を求めることによって、次回のフレームの撮影画像のホワイトバランス補正係数が得られる。すなわち、信号処理部22は、複数の分割領域のそれぞれについて、この分割領域に対応するホワイトバランス評価値に基づいて対応した第1のホワイトバランス補正係数を算出する補正係数算出手段として機能する。   Through the processing of S1 to S3, the first white balance correction coefficient is obtained for each pixel in the screen of the captured image of the current frame, thereby obtaining the white balance correction coefficient of the captured image of the next frame. That is, the signal processing unit 22 functions as a correction coefficient calculation unit that calculates a first white balance correction coefficient corresponding to each of the plurality of divided areas based on the white balance evaluation value corresponding to the divided area.
(ホワイトバランス補正係数の調整処理(S4))
次に、信号処理部22は、画面内の隣接する日向領域と日陰領域の境界が変化した場合には、各境界領域に隣接するエリアブロックaiのWB補正係数の差が小さくなるように日向領域のWB補正係数又は日陰領域のWB補正係数を調整する(図3のS4参照)。
(White balance correction coefficient adjustment processing (S4))
Next, when the boundary between the adjacent sunny area and shade area in the screen changes, the signal processing unit 22 reduces the difference between the WB correction coefficients of the area blocks ai adjacent to each boundary area. The WB correction coefficient or the WB correction coefficient in the shaded area is adjusted (see S4 in FIG. 3).
すなわち、信号処理部22は、WB補正係数Rgain、Bgainの調整を以下に説明するようにして行う。 ここでは、日向領域と日陰領域のWB補正係数Rgain、Bgainの差が50%に抑えられるように制御する。例えば、隣接するブロックの日向領域の補正係数が2.0、日陰領域の補正係数が1.0の場合、両エリアブロックの補正係数の差は1.0である。   That is, the signal processing unit 22 adjusts the WB correction coefficients Rgain and Bgain as described below. Here, control is performed so that the difference between the WB correction coefficients Rgain and Bgain between the sunlit area and the shaded area is suppressed to 50%. For example, when the correction factor of the adjacent area of the sunlit area is 2.0 and the correction coefficient of the shaded area is 1.0, the difference between the correction coefficients of both area blocks is 1.0.
そこで、その日向領域と日陰領域との境界が変化したときには、補正係数の差が50%の0.5となるように制御する。例えば、日向領域の補正係数から0.25減算してその補正係数を1.75に、日陰領域の補正係数に0.25加算してその補正係数を1.25とする。この場合においては、補正係数の差を抑制するための重み付けの比率を日向領域と日陰領域ともに同じとし、目標とする補正係数の差0.5の50%にあたる0.25を加減算している。   Therefore, when the boundary between the sunlit area and the shaded area changes, control is performed so that the difference between the correction coefficients is 0.5 which is 50%. For example, 0.25 is subtracted from the correction coefficient for the sunny area and the correction coefficient is set to 1.75, and 0.25 is added to the correction coefficient for the shaded area to set the correction coefficient to 1.25. In this case, the weighting ratio for suppressing the difference between the correction coefficients is the same for both the sunny area and the shade area, and 0.25 corresponding to 50% of the target correction coefficient difference of 0.5 is added or subtracted.
図10(a)は前回のフレームの撮像画像により得られた日陰領域と日向領域との関係を示し、図10(b)は今回のフレームの撮影画像により得られた日陰領域と日向領域との関係を示している。
日向領域と日陰領域との境界線Qが図9(a)に示す状態から、図9(b)に示す状態に変化した場合には、ホワイトバランスの補正係数を図9(a)に示す値から図9(b)に示す値に調整して、現フレームの画像に対してホワイトバランス調整を行う。
FIG. 10A shows the relationship between the shaded area and the sunny area obtained from the captured image of the previous frame, and FIG. 10B shows the relationship between the shaded area and the sunny area obtained from the captured image of the current frame. Showing the relationship.
When the boundary line Q between the sunny area and the shaded area changes from the state shown in FIG. 9A to the state shown in FIG. 9B, the white balance correction coefficient is a value shown in FIG. To the value shown in FIG. 9B, white balance adjustment is performed on the image of the current frame.
すなわち、信号処理部22は、複数の分割領域のそれぞれに各分割領域に対応した第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整手段として機能する。   That is, the signal processing unit 22 functions as a white balance adjustment unit that adjusts the first white balance correction coefficient corresponding to each divided area and sets the second white balance correction coefficient in each of the plurality of divided areas.
なお、日向領域と日陰領域のWB補正係数に加減算する調整値の割合は、ブロック境界変化後の日向領域と日陰領域の面積に応じて異ならせても良い。
例えば、ブロック境界変化後の日向領域の面積が70%、日陰領域の面積が30%である場合、日向領域の補正係数から目標とする補正係数の差0.5の30%にあたる0.15を減算してその補正係数を1.85に、日陰領域の補正係数に目標とする補正係数の差0.5の70%にあたる0.35を加算してその補正係数を1.35とする。
Note that the ratio of the adjustment value to be added to or subtracted from the WB correction coefficient for the sunny area and the shade area may be varied depending on the areas of the sunny area and the shade area after the block boundary change.
For example, if the area of the sunny area after the block boundary change is 70% and the area of the shaded area is 30%, subtract 0.15, which is 30% of the target correction coefficient difference of 0.5, from the correction coefficient of the sunny area. The correction coefficient is set to 1.85, and 0.35 corresponding to 70% of the target correction coefficient difference of 0.5 is added to the correction coefficient for the shaded region to obtain 1.35.
また、いずれか一方のエリアブロックを基準に他方の補正係数を調整することにより境界領域の補正係数の差を小さくするようにしてもよい。例えば、日向領域の補正係数を2.0のままとし、日陰領域の補正係数を1.5に持ち上げても良い。   Further, the difference between the correction coefficients in the boundary region may be reduced by adjusting the other correction coefficient based on any one of the area blocks. For example, the correction coefficient for the sunny area may be kept at 2.0, and the correction coefficient for the shade area may be raised to 1.5.
(ホワイトバランス補正係数の乗算処理(S5))
信号処理部22は、各日向領域、日陰領域に対して対応するWB補正係数を乗算する(S5)。
これにより、日向領域と日陰領域で照射される光源の色温度が異なる場合に、画面内で光源の比率が変化したときでも、それぞれの領域対して違和感の生じない良好なホワイトバランスを掛けることができる。
(White balance correction coefficient multiplication process (S5))
The signal processing unit 22 multiplies each sunny area and shade area by a corresponding WB correction coefficient (S5).
As a result, when the color temperature of the light source irradiated in the sunlit area and the shaded area is different, even when the ratio of the light source changes in the screen, a good white balance that does not cause a sense of incongruity can be applied to each area. it can.
図11は、そのホワイトバランス調整の一例を示すフローチャートである。
現在のフィールドの画像を複数のエリアブロック(例えば16×16)に分割し、分割エリアブロックごとに検波する(S1’)。
分割エリアブロックごとにRGB各色の画像信号を積算して、Rの積算値、Bの積算値、Gの積算値を求め、各分割エリアブロック毎に、Rの積算値とGの積算値の比R/G、及び、Bの積算値とGの積算値の比B/Gを求める(S2’)。
FIG. 11 is a flowchart showing an example of the white balance adjustment.
An image of the current field is divided into a plurality of area blocks (for example, 16 × 16), and detection is performed for each divided area block (S1 ′).
R, G, and B image values are integrated for each divided area block to obtain an integrated value of R, an integrated value of B, and an integrated value of G, and a ratio between the integrated value of R and the integrated value of G for each divided area block. R / G and the ratio B / G of the integrated value of B and the integrated value of G are obtained (S2 ′).
各分割エリアの積算値の分布状態に基づいて、光源種判別を行い、判別された光源種に適したホワイトバランス評価値を求める(S3’)。
検波したフィールドによって算出された補正量を次のフィールドに反映し、ホワイトバランス調整を施す(S4’)。
Based on the distribution state of the integrated value of each divided area, the light source type is determined, and a white balance evaluation value suitable for the determined light source type is obtained (S3 ′).
The correction amount calculated by the detected field is reflected in the next field, and white balance adjustment is performed (S4 ′).
従来のホワイトバランス制御では、前回のフレームの撮影画像を用いてホワイトバランス評価値を求めて、ホワイトバランス補正係数を算出し、現在のフレームの撮影画像に対して、前回求めたホワイトバランス補正係数によりホワイトバランス調整を行うというフィードバック制御を行っている。   In the conventional white balance control, a white balance evaluation value is obtained using a photographed image of the previous frame, a white balance correction coefficient is calculated, and the photographed image of the current frame is calculated based on the previously obtained white balance correction coefficient. Feedback control is performed to adjust the white balance.
このため、動画撮影時に従来のホワイトバランス制御をそのまま適用すると、動画撮影では画像中で常に動きがあるため、前回のフレームの撮影画像の光源判定の結果をそのまま現在のフレームの撮影画像に用いて現在のフレームの撮影画像のホワイトバランス調整を行うと、画像中で変化があった部分に対して適切な補正をかけることができず、適切なホワイトバランス調整を行うことができないという不都合が生じる。   For this reason, if the conventional white balance control is applied as it is during movie shooting, there is always movement in the image during movie shooting, so the result of the light source determination of the shot image of the previous frame is used as it is for the shot image of the current frame. When the white balance adjustment of the captured image of the current frame is performed, it is not possible to perform an appropriate correction on a portion that has changed in the image, and there is a disadvantage that an appropriate white balance adjustment cannot be performed.
しかしながら、この実施例では、動画撮影時のホワイトバランス制御において、前回のフレームの撮影画像と現在のフレームの撮影画像とで光源に基づく領域の境界が変化した場合に、隣接する一方の日向領域と他方の日陰領域とのホワイトバランス補正係数(前回のフレームの撮影画像から求められるホワイトバランス補正係数)の差を小さくすることにしたので、現在のフレームの撮影画像に対して適切なホワイトバランス調整を行うことができる。   However, in this embodiment, in the white balance control at the time of moving image shooting, when the boundary of the region based on the light source changes between the captured image of the previous frame and the captured image of the current frame, Since we decided to reduce the difference in white balance correction coefficient (white balance correction coefficient obtained from the previous frame image) with the other shaded area, appropriate white balance adjustment for the current frame image It can be carried out.
20…撮像素子(CCD)
22…信号処理部(画像作成手段、領域分割手段、領域分割手段、補正係数算出手 段、ホワイトバランス調整手段、境界変化検出手段)
34…CCDI/F(ホワイトバランス評価値取得手段)
20 ... Image sensor (CCD)
22 ... Signal processing unit (image creating means, area dividing means, area dividing means, correction coefficient calculating means, white balance adjusting means, boundary change detecting means)
34 ... CCD I / F (white balance evaluation value acquisition means)
特開2002−271638号公報JP 2002-271638 A

Claims (6)

  1. 被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成手段とを備える撮像装置において、
    前記撮像信号から色情報を取得すると共に、前記色情報からホワイトバランス制御を行うためのホワイトバランス評価値を取得するホワイトバランス評価値取得手段と、
    前記撮影画像を輝度情報又は色情報の少なくとも1つの情報に応じて複数の分割領域に分割する領域分割手段と、
    前記複数の分割領域のそれぞれについて、当該分割領域に対応するホワイトバランス評価値に基づいて、対応した第1のホワイトバランス補正係数を算出する補正係数算出手段と、
    前記複数の分割領域のそれぞれに、各分割領域に対応した前記第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整手段と、
    現在のフレームの撮影画像と前回のフレームの撮影画像とからそれぞれ得られる分割領域の境界が変化したか否かを検出する境界変化検出手段とを備え、
    前記ホワイトバランス調整手段は、前記境界が変化したことを検出した場合に、前記境界が変化した隣接する分割領域のそれぞれに対して算出された第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定することを特徴とする撮像装置。
    In an imaging apparatus comprising: an imaging element that converts light corresponding to a subject into an electrical signal and outputs the signal as an imaging signal; and an image creation unit that creates a captured image corresponding to the subject based on the imaging signal.
    A white balance evaluation value acquisition unit that acquires color information from the imaging signal and acquires a white balance evaluation value for performing white balance control from the color information;
    Area dividing means for dividing the captured image into a plurality of divided areas according to at least one information of luminance information or color information;
    Correction coefficient calculating means for calculating a corresponding first white balance correction coefficient based on a white balance evaluation value corresponding to the divided area for each of the plurality of divided areas;
    White balance adjusting means for adjusting the first white balance correction coefficient corresponding to each divided area and setting a second white balance correction coefficient to each of the plurality of divided areas;
    Boundary change detection means for detecting whether or not the boundary between the divided areas obtained from the captured image of the current frame and the captured image of the previous frame has changed,
    When the white balance adjustment unit detects that the boundary has changed, the difference in the first white balance correction coefficient calculated for each of the adjacent divided regions in which the boundary has changed is reduced. An imaging apparatus, wherein a second white balance correction coefficient is set.
  2. 前記ホワイトバランス調整手段は、前記境界が変化したことを検出した場合に、前記境界が変化した隣接する分割領域のそれぞれに対して前回のフレームの撮影画像を用いて算出された第1のホワイトバランス補正係数の差が小さくなるように、現在のフレームの撮影画像に対するホワイトバランス制御において用いる前記第2のホワイトバランス補正係数を設定することを特徴とする請求項1に記載の撮像装置。   When the white balance adjustment unit detects that the boundary has changed, a first white balance calculated using the captured image of the previous frame for each of the adjacent divided regions where the boundary has changed. 2. The imaging apparatus according to claim 1, wherein the second white balance correction coefficient used in white balance control for a captured image of the current frame is set so that a difference between correction coefficients becomes small.
  3. 前記領域分割手段は、前記撮影画像を日向領域と日陰領域とに分割することを特徴とする請求項1又は請求項2に記載の撮像装置。   3. The imaging apparatus according to claim 1, wherein the area dividing unit divides the photographed image into a sunlit area and a shaded area.
  4. 被写体に対応した光を電気信号に変換して撮像信号を取得するステップと、
    前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成ステップとを含み、
    該画像作成ステップは、前記撮像信号から色情報を取得すると共に、前記色情報からホワイトバランス制御を行うためのホワイトバランス評価値を取得するホワイトバランス評価値取得ステップと、
    前記撮影画像を輝度情報又は色情報の少なくとも1つの情報に応じて複数の分割領域に分割する領域分割ステップと、
    前記複数の分割領域のそれぞれについて当該分割領域に対応するホワイトバランス評価値に基づいて対応した第1のホワイトバランス補正係数を算出する補正係数算出ステップと、
    前記複数の分割領域のそれぞれに、各分割領域に対応した前記第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整ステップと、
    現在のフレームの撮影画像と前回のフレームの撮影画像とからそれぞれ得られる分割領域の境界が変化したか否かを検出する境界変化検出ステップとを備え、
    前記ホワイトバランス調整ステップは、前記境界変化検出ステップにより境界が変化したことが検出された場合に、前記境界に隣接する分割領域のそれぞれに対して算出された第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定するステップを含むことを特徴とする撮像方法。
    Converting light corresponding to the subject into an electrical signal to obtain an imaging signal;
    An image creation step of creating a captured image corresponding to the subject based on the imaging signal,
    The image creating step obtains color information from the imaging signal, and obtains a white balance evaluation value for performing white balance control from the color information,
    A region dividing step of dividing the captured image into a plurality of divided regions according to at least one information of luminance information or color information;
    A correction coefficient calculation step of calculating a first white balance correction coefficient corresponding to each of the plurality of divided areas based on a white balance evaluation value corresponding to the divided area;
    In each of the plurality of divided areas, a white balance adjustment step of adjusting the first white balance correction coefficient corresponding to each divided area and setting a second white balance correction coefficient;
    A boundary change detection step for detecting whether or not the boundary between the divided areas obtained from the captured image of the current frame and the captured image of the previous frame has changed,
    In the white balance adjustment step, when it is detected that the boundary is changed by the boundary change detection step, a difference in the first white balance correction coefficient calculated for each of the divided regions adjacent to the boundary is calculated. An imaging method comprising a step of setting a second white balance correction coefficient so as to be reduced.
  5. 前記ホワイトバランス調整ステップは、前記境界が変化したことが検出された場合に、前記境界が変化した隣接する分割領域のそれぞれに対して前回のフレームの撮影画像を用いて算出された第1のホワイトバランス補正係数の差が小さくなるように、現在のフレームの撮影画像に対するホワイトバランス制御において用いる前記第2のホワイトバランス補正係数を設定することを特徴とする請求項4に記載の撮像方法。   In the white balance adjustment step, when it is detected that the boundary has changed, the first white calculated using the captured image of the previous frame for each of the adjacent divided regions in which the boundary has changed is used. 5. The imaging method according to claim 4, wherein the second white balance correction coefficient used in white balance control for a captured image of the current frame is set so that a difference in balance correction coefficient is small.
  6. 前記領域分割ステップは、日向領域と日陰領域と分割するステップであることを特徴とする請求項4に記載の撮像方法。 Said area dividing step, an imaging method according to claim 4, characterized in that the step of dividing into a sunny area and a shaded area.
JP2012058072A 2012-03-15 2012-03-15 Imaging apparatus and imaging method Active JP5948997B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012058072A JP5948997B2 (en) 2012-03-15 2012-03-15 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012058072A JP5948997B2 (en) 2012-03-15 2012-03-15 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2013192121A JP2013192121A (en) 2013-09-26
JP5948997B2 true JP5948997B2 (en) 2016-07-06

Family

ID=49391945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012058072A Active JP5948997B2 (en) 2012-03-15 2012-03-15 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP5948997B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510474A (en) * 2018-03-09 2018-09-07 上海烟草集团有限责任公司 Evaluation method, system, memory and the electronic equipment of tobacco leaf image quality

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6446790B2 (en) * 2014-02-21 2019-01-09 株式会社リコー Image processing apparatus, imaging apparatus, image correction method, and program
JP2016076851A (en) 2014-10-07 2016-05-12 株式会社リコー Imaging apparatus, image processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801427B2 (en) * 2005-09-12 2010-09-21 Nokia Corporation Adjustment of shooting parameters in dependence of motion in a scene
JP5064312B2 (en) * 2007-08-06 2012-10-31 パナソニック株式会社 White balance adjusting device, imaging device, white balance adjusting method, program, and integrated circuit
JP5259291B2 (en) * 2008-07-30 2013-08-07 オリンパス株式会社 White balance correction device and signal processing program
JP5187241B2 (en) * 2009-02-16 2013-04-24 株式会社リコー Imaging apparatus and imaging method
JP2012019293A (en) * 2010-07-06 2012-01-26 Sony Corp Image processing device, imaging method, imaging program, image processing method and image processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510474A (en) * 2018-03-09 2018-09-07 上海烟草集团有限责任公司 Evaluation method, system, memory and the electronic equipment of tobacco leaf image quality
CN108510474B (en) * 2018-03-09 2021-07-06 上海烟草集团有限责任公司 Method and system for evaluating quality of tobacco leaf image, memory and electronic equipment

Also Published As

Publication number Publication date
JP2013192121A (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP5187241B2 (en) Imaging apparatus and imaging method
JP5321163B2 (en) Imaging apparatus and imaging method
JP5347707B2 (en) Imaging apparatus and imaging method
JP5660341B2 (en) Imaging apparatus and imaging method
JP5780764B2 (en) Imaging device
JP5458937B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD
JP2017022610A (en) Image processing apparatus and image processing method
JP5123137B2 (en) Imaging apparatus and imaging method
JP5223686B2 (en) Imaging apparatus and imaging method
JP5256947B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD
JP2008053931A (en) Imaging apparatus
JP5277863B2 (en) Imaging apparatus and imaging method
JP5948997B2 (en) Imaging apparatus and imaging method
JP5146015B2 (en) Imaging apparatus and imaging method
JP5487942B2 (en) Image processing apparatus, image processing method, and image input apparatus
JP2008017198A (en) Device and method for calculating light source color, and photographing device
JP2010068331A (en) Imaging device and imaging method
JP5310331B2 (en) Imaging apparatus and imaging method
US20130194456A1 (en) Imaging device
JP5091734B2 (en) Imaging apparatus and imaging method
JP2009218641A (en) Imaging device, imaging method, and program for executing imaging method by computer of imaging device
JP5482131B2 (en) Imaging device
JP5169540B2 (en) Imaging apparatus and imaging method
JP2010068064A (en) Imaging device and imaging method
JP5091781B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R151 Written notification of patent or utility model registration

Ref document number: 5948997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151