JP4745672B2

JP4745672B2 - Imaging apparatus and control method thereof

Info

Publication number: JP4745672B2
Application number: JP2005023939A
Authority: JP
Inventors: 悠子角田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2011-08-10
Anticipated expiration: 2025-01-31
Also published as: JP2006211555A

Description

本発明は色のユーザカスタマイズを可能とする撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus that enables user customization of colors and a control method thereof.

近年、デジタルカメラが普及し、多くのユーザがデジタルカメラを使用する機会が増えている。このため、デジタルカメラに対するユーザのニーズもより多様化してきている。そのようなニーズの一つとして色再現性がある。メーカが目標とする色再現特性は多くのユーザが好ましいと感じる平均的な色再現を目指している。しかしながら、ユーザ毎に好みは異なるため、すべてのユーザが満足するような色再現性を実現することはできなかった。 In recent years, digital cameras have become widespread, and many users have increased opportunities to use digital cameras. For this reason, user needs for digital cameras are also diversifying. One such need is color reproducibility. The color reproduction characteristics targeted by the manufacturer are aimed at average color reproduction that many users find desirable. However, since each user has different preferences, color reproducibility that satisfies all users cannot be realized.

このような課題を解決するために、色相、彩度、明度等のパラメータをカスタマイズすることを可能とし、撮影時においてユーザが所望する色再現性を実現可能とするデジタルカメラが存在する。しかしながら、これらパラメータの変化と色の変化の関係をユーザに示すことは困難なため、最適な設定をするにはユーザの熟練を必要としていた。 In order to solve such a problem, there is a digital camera that can customize parameters such as hue, saturation, and brightness, and can realize a color reproducibility desired by a user at the time of photographing. However, since it is difficult to show the user the relationship between these parameter changes and color changes, the user's skill is required for optimal settings.

ユーザにわかりやすく色を調整させるための方法に関する提案として特許文献１が挙げられる。特許文献１では、撮像装置で変更したい元色として肌色を取り込み、その取り込んだ肌色とＲＯＭに記憶された肌色再現目標値とに基づいて色補正係数を算出する構成が記載されている。
特開２００３−２９９１１５号公報 Japanese Patent Application Laid-Open No. 2004-151867 is a proposal regarding a method for making a user easily adjust a color. Patent Document 1 describes a configuration in which a skin color is captured as an original color to be changed by an imaging apparatus, and a color correction coefficient is calculated based on the captured skin color and a skin color reproduction target value stored in a ROM.
JP 2003-299115 A

しかしながら、特許文献１では、撮像装置を用いてユーザが変更したい元色を取り込むための撮像時や、色補正を伴う本撮影時におけるフラッシュ光の影響については何等考慮されていない。元色の取り込み時においてフラッシュが作動すると、画像の色が定常光とフラッシュ光両者の影響を受けてしまい、所望の色を取り込むのが困難となる。また、色取り込み時でフラッシュは動作しなかったものの、本撮影時にフラッシュが動作してしまうというような場合においても、フラッシュの動作時と非動作時では同じ色の色値が異なってしまい、所望の色変換動作を行わせることができなくなるという課題が生じる。 However, in Patent Document 1, no consideration is given to the influence of flash light at the time of imaging for capturing the original color that the user wants to change using the imaging device or at the time of actual shooting with color correction. If the flash is activated when the original color is captured, the color of the image is affected by both the steady light and the flash light, making it difficult to capture the desired color. Even if the flash did not work during color capture but the flash would work during actual shooting, the color values of the same color will differ between when the flash is operating and when it is not operating. This causes a problem that the color conversion operation cannot be performed.

本発明は上記の課題に鑑みてなされたものであり、所望の色を別の色へ変換する色変換処理を伴う撮影においてフラッシュの発光を回避し、より正確な色変換処理を実現可能とすることを目的とする。 The present invention has been made in view of the above-described problems, and avoids flash emission in photographing involving a color conversion process for converting a desired color into another color, thereby enabling a more accurate color conversion process. For the purpose.

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
被写体像を撮像し、画像データを出力する撮像手段と、
第１の色値及び第２の色値を決定する決定手段と、
前記撮像手段で得られた第１の画像データから、前記決定手段が前記第１または前記第２の色値の決定に用いるための色情報を取り込む取込手段と、
前記決定手段で決定された前記第１及び第２の色値を用いて、前記撮像手段で得られた第１の画像データと異なる第２の画像データの、前記第１の色値を前記第２の色値に色変換する色変換手段と、
前記色変換が実行される動作モードにおいて、前記撮像手段が撮像時にフラッシュを非発光とする被写体輝度の限界を、前記色変換が実行されない通常撮像の動作モードよりも低輝度側に変更する調整手段と、を備える。
In order to achieve the above object, an imaging apparatus according to an aspect of the present invention has the following arrangement. That is,
Imaging means for capturing a subject image and outputting image data;
Determining means for determining a first color value and a second color value;
Capture means for capturing color information used by the determination means for determining the first or second color value from the first image data obtained by the imaging means;
Using the first and second color values determined by the determining means, the first color value of the second image data different from the first image data obtained by the imaging means is calculated as the first color value. Color conversion means for performing color conversion to a color value of 2,
In operating mode the color conversion is performed, the adjustment means said imaging means changes the limit brightness value for the non-light emitting flash at the time of imaging, than the operating mode of the normal imaging in which the color conversion is not executed in the low luminance side and, equipped with a.

本発明によれば、所望の色を別の色へ変換する色変換処理を伴う撮影においてフラッシュの発光が回避され、より正確な色変換処理を実現できる。 According to the present invention, flash emission can be avoided in photographing involving color conversion processing for converting a desired color to another color, and more accurate color conversion processing can be realized.

以下、添付の図面を参照して本発明の好適な実施形態について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

＜第１実施形態＞
図１は実施形態による撮像装置１００の構成を示すブロック図である。撮像装置１００において、光学系１０１は、ズームレンズ、フォーカスレンズを具備し、被写体像（光学像）を撮像素子１０３上に結像する。シャッター１０２は、撮像素子１０３の駆動を制御する電子シャッターや、撮像素子１０３へ到達する光量を制御する絞り機能を備える。撮像素子１０３は光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は撮像素子１０３から得られるアナログ出力信号をデジタル信号に変換し、ＣＣＤデジタル信号を生成する。 <First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 according to the embodiment. In the imaging apparatus 100, the optical system 101 includes a zoom lens and a focus lens, and forms a subject image (optical image) on the imaging element 103. The shutter 102 includes an electronic shutter that controls driving of the image sensor 103 and a diaphragm function that controls the amount of light reaching the image sensor 103. The image sensor 103 converts an optical image into an electrical signal. The A / D converter 104 converts an analog output signal obtained from the image sensor 103 into a digital signal, and generates a CCD digital signal.

タイミング発生回路１０５はシャッター１０２、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１１０にクロック信号や制御信号を供給する回路である。タイミング発生回路１０５は、メモリ制御回路１０９およびシステム制御部１０７により制御される。画像処理回路１０６は、Ａ／Ｄ変換器１０４からのデータ（ＣＣＤデジタル信号）或いはメモリ制御回路１０９から提供される画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１０６は撮像した画像データを用いて所定の演算処理を行い、システム制御回路１０７は得られた演算結果に基づいてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＷＢ（オートホワイトバランス）処理を行う。 The timing generation circuit 105 is a circuit that supplies a clock signal and a control signal to the shutter 102, the image sensor 103, the A / D converter 104, and the D / A converter 110. The timing generation circuit 105 is controlled by the memory control circuit 109 and the system control unit 107. The image processing circuit 106 performs predetermined pixel interpolation processing and color conversion processing on the data (CCD digital signal) from the A / D converter 104 or the image data provided from the memory control circuit 109. The image processing circuit 106 performs predetermined calculation processing using the captured image data, and the system control circuit 107 performs AF (autofocus) processing, AE (automatic exposure) processing, and EF (based on the obtained calculation result. Flash pre-flash) processing and AWB (auto white balance) processing are performed.

Ａ／Ｄ変換器１０４のデータが画像処理回路１０６とメモリ制御回路１０９を介して、或いは直接メモリ制御回路１０９を介して、画像メモリ１０８或いは画像表示メモリ１１１に書き込まれる。画像メモリ１０８は撮影した静止画像や動画像を格納するための画像メモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みを画像メモリ１０８に対して行うことが可能となる。また、画像メモリ１０８はシステム制御回路１０７の作業領域としても使用することが可能となっている。 Data of the A / D converter 104 is written to the image memory 108 or the image display memory 111 via the image processing circuit 106 and the memory control circuit 109 or directly via the memory control circuit 109. The image memory 108 is an image memory for storing captured still images and moving images, and has a sufficient storage capacity for storing a predetermined number of still images and moving images for a predetermined time. Thereby, even in the case of continuous shooting or panoramic shooting in which a plurality of still images are continuously shot, it is possible to write a large amount of images to the image memory 108 at high speed. The image memory 108 can also be used as a work area for the system control circuit 107.

画像表示メモリ１１１は、表示部１１２に表示するための画像データを記憶する。画像表示メモリ１１１に書き込まれた表示用の画像データはＤ／Ａ変換器１１０によりビデオ信号に変換され、表示部１１２により表示される。なお、表示部１１２はシステム制御部１０７によってＯＮ／ＯＦＦ制御される。これにより、例えば、操作部１３０によるユーザの操作入力により、任意に表示部１１２の表示をＯＮ／ＯＦＦさせることが可能である。なお、表示部１１２の表示をＯＦＦにした場合には画像処理装置１００の電力消費が大幅に低減される。なお、表示部１１２は後述の電子ビューファインダ（ＥＶＦ）としても用いられる。 The image display memory 111 stores image data to be displayed on the display unit 112. Display image data written in the image display memory 111 is converted into a video signal by the D / A converter 110 and displayed on the display unit 112. The display unit 112 is ON / OFF controlled by the system control unit 107. Thereby, for example, the display of the display unit 112 can be arbitrarily turned ON / OFF by a user operation input through the operation unit 130. Note that when the display of the display unit 112 is turned off, the power consumption of the image processing apparatus 100 is significantly reduced. The display unit 112 is also used as an electronic viewfinder (EVF) described later.

図２は、撮像装置１００（デジタルカメラ）の斜視図である。電源スイッチ２０１は電源をＯＮ／ＯＦＦするためのボタンである。参照番号２０２、２０３、２０５〜２０９は上述した操作部１３０の一部を構成している。モード切り替えレバー２０２は、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定する。シャッターボタン２０３は上述のシャッター１０２の動作を指示する。ＬＣＤ２０４は上述した表示部１１２の一部を構成し、ＥＶＦとして機能するほか、静止画像及び／または動画像を再生して得られる画面を表示することもできる。メニューボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面のＬＣＤ２０４上への表示をＯＮ、ＯＦＦさせるスイッチである。セットボタン２０６は、メニューボタン２０５の操作により表示されたメニュー画面でのメニューの選択・決定等に使用される。削除ボタン２０７は画像の削除を指示する。ディスプレイボタン２０８は表示部１１２による画像表示のＯＮ／ＯＦを切り替えるためのボタンである。十字ボタン２０９は、上下左右ボタンを使ってメニュー画面での項目の移動などを行ったり、再生モードでは左右ボタンを押して画像送りを行ったりするのに使用され得る。 FIG. 2 is a perspective view of the imaging apparatus 100 (digital camera). A power switch 201 is a button for turning on / off the power. Reference numerals 202, 203, 205 to 209 constitute a part of the operation unit 130 described above. A mode switching lever 202 switches and sets each function mode such as a shooting mode, a playback mode, a moving image shooting mode, and a still image shooting mode. A shutter button 203 instructs the operation of the shutter 102 described above. The LCD 204 constitutes a part of the display unit 112 described above and functions as an EVF, and can also display a screen obtained by reproducing a still image and / or a moving image. A menu button 205 is a switch for turning ON / OFF the display on the LCD 204 of a menu screen for changing shooting parameters and camera settings. The set button 206 is used for menu selection / determination on the menu screen displayed by the operation of the menu button 205. A delete button 207 instructs to delete an image. A display button 208 is a button for switching ON / OF of image display by the display unit 112. The cross button 209 can be used to move items on the menu screen using the up / down / left / right buttons, or to move the image by pressing the left / right buttons in the playback mode.

図３は本実施形態によるディジタルカメラ１００内の画像処理回路１０６の機能構成及び処理を説明するブロック図である。なお、以下で説明する各処理に用いられるパラメータ値（マトリクス演算のためのパラメータや３次元ルックアップテーブルのパラメータ）はシステム制御部１０７内のメモリ（不図示）に格納されており、画像処理回路１０６により適宜読み出されるものとする。或いは、そのようなパラメータは画像処理回路１０６内のレジスタ（不図示）に記憶されてもよい。Ａ／Ｄ変換器１０４によりＡ／Ｄ変換されたＣＣＤデジタル信号に対して、まずホワイトバランス処理部３０１にてホワイトバランス処理が行われる。ホワイトバランス処理についてはここでは詳述しないが、例えば特開２００３−２４４７２３号公報に記載されている方法を用いて行うことができる。ホワイトバランス処理が行われたＣＣＤデジタル信号は補間処理部３０２に供給される。本実施形態の撮像素子１０３は図５に示すようなベイヤー配列のカラーフィルタを有するものとする。従って、補間処理部３０２では、図５に示されたＣＣＤのベイヤー配列データを図６に示されるようなＲ、Ｇ１、Ｇ２、Ｂの補間データに変換する処理が行なわれる。補間されたＣＣＤデジタル信号はマトリクス演算処理部３０３に入力され、式（１）に示される４×３のマトリクス演算が行われ、Ｒｍ、Ｇｍ、Ｂｍが求められる。 FIG. 3 is a block diagram illustrating the functional configuration and processing of the image processing circuit 106 in the digital camera 100 according to the present embodiment. Note that parameter values (parameters for matrix calculation and three-dimensional look-up table parameters) used for each process described below are stored in a memory (not shown) in the system control unit 107, and the image processing circuit It is assumed that the data is appropriately read by 106. Alternatively, such parameters may be stored in a register (not shown) in the image processing circuit 106. The white balance processing unit 301 first performs white balance processing on the CCD digital signal A / D converted by the A / D converter 104. The white balance processing is not described in detail here, but can be performed by using a method described in, for example, Japanese Patent Application Laid-Open No. 2003-244723. The CCD digital signal subjected to the white balance processing is supplied to the interpolation processing unit 302. The image sensor 103 of the present embodiment is assumed to have a Bayer array color filter as shown in FIG. Accordingly, the interpolation processing unit 302 performs processing for converting the CCD Bayer array data shown in FIG. 5 into R, G1, G2, and B interpolation data as shown in FIG. The interpolated CCD digital signal is input to the matrix calculation processing unit 303, and 4 × 3 matrix calculation shown in Expression (1) is performed to obtain Rm, Gm, and Bm.

マトリクス演算処理されたＣＣＤデジタル信号は色差ゲイン演算処理部３０４において色差信号にゲインがかけられる。即ち、Ｒｍ、Ｇｍ、Ｂｍ信号は式（２）に従ってＹ、Ｃｒ、Ｃｂ信号へと変換される。そして、得られたＣｒ、Ｃｂ信号に式（３）に従ってゲインがかけられる。その後、式（４）（式（２）の逆行列演算）により、Ｒｇ、Ｇｇ、Ｂｇ信号へと変換される。 The CCD digital signal that has been subjected to matrix calculation processing is gained by the color difference gain calculation processing unit 304. That is, the Rm, Gm, and Bm signals are converted into Y, Cr, and Cb signals according to Equation (2). Then, a gain is applied to the obtained Cr and Cb signals according to the equation (3). Thereafter, the signals are converted into Rg, Gg, and Bg signals by Expression (4) (inverse matrix operation of Expression (2)).

色差ゲイン演算処理されたＣＣＤデジタル信号はガンマ処理部３０５へ送られる。ガンマ処理部３０５では以下の式（５）〜（７）を用いてＣＣＤデジタル信号のガンマ変換を行なう。ここで、GammaTableは１次元ルックアップテーブルである。 The CCD digital signal subjected to the color difference gain calculation process is sent to the gamma processing unit 305. The gamma processing unit 305 performs gamma conversion of the CCD digital signal using the following equations (5) to (7). Here, GammaTable is a one-dimensional lookup table.

Ｒｔ＝GammaTable[Ｒｇ] …式（５）
Ｇｔ＝GammaTable[Ｇｇ] …式（６）
Ｂｔ＝GammaTable[Ｂｇ] …式（７） Rt = GammaTable [Rg] Formula (5)
Gt = GammaTable [Gg] (6)
Bt = GammaTable [Bg] (7)

上記ガンマ処理が施されたＣＣＤデジタル信号は色相補正演算処理部３０６へ送られる。色相補正演算処理部３０６は、以下の式（８）によりＲｔ、Ｇｔ、Ｂｔ信号をＹ、Ｃｒ、Ｃｂ信号へ変換し、さらに式（９）によりＣｒ、Ｃｂ、信号を補正し、その後、式（１０）（式（９）の逆行列演算）により、Ｒｈ、Ｇｈ、Ｂｈ信号へ変換する。 The CCD digital signal that has been subjected to the gamma processing is sent to the hue correction calculation processing unit 306. The hue correction calculation processing unit 306 converts the Rt, Gt, and Bt signals into Y, Cr, and Cb signals according to the following formula (8), further corrects the Cr, Cb, and signals according to the formula (9), and then formulas (10) Conversion into Rh, Gh, and Bh signals by (inverse matrix operation of equation (9)).

色相補正演算処理部３０６で処理されたＣＣＤデジタル信号は色差信号変換処理部３０７へと送られる。色差信号変換処理部３０７は、式（１１）を用いてＲｈ、Ｇｈ、Ｂｈ信号よりＵＶ信号を作成する。 The CCD digital signal processed by the hue correction calculation processing unit 306 is sent to the color difference signal conversion processing unit 307. The color difference signal conversion processing unit 307 creates a UV signal from the Rh, Gh, and Bh signals using Expression (11).

一方、ホワイトバランス処理部３０１でホワイトバランス処理が施されたＣＣＤデジタル信号は、輝度信号作成部３０８にも供給される。輝度信号作成処理部３０８は、ＣＣＤデジタル信号を輝度信号へと変換する。例えば、図５に示すような原色フィルタの場合の輝度信号は、Ｒ、Ｂの信号をすべて０にして、図７に示す係数を持つ２次元フィルタ処理を施したものを輝度信号とする。なお、補色フィルタの場合の輝度信号はそのまま図７に示す係数を持つ２次元フィルタ処理を施したものを輝度信号とする。補色輝度信号処理部３０８で作成された輝度信号は高域強調処理部３０９にてエッジ強調処理され、さらにガンマ処理部３１０にてガンマ変換処理されてＹ信号が作成される。 On the other hand, the CCD digital signal that has been subjected to the white balance processing by the white balance processing unit 301 is also supplied to the luminance signal creation unit 308. The luminance signal creation processing unit 308 converts the CCD digital signal into a luminance signal. For example, the luminance signal in the case of the primary color filter as shown in FIG. 5 is a luminance signal obtained by applying the two-dimensional filter processing having the coefficients shown in FIG. Note that the luminance signal in the case of the complementary color filter is directly subjected to the two-dimensional filter processing having the coefficients shown in FIG. 7 as the luminance signal. The luminance signal generated by the complementary color luminance signal processing unit 308 is subjected to edge enhancement processing by the high frequency enhancement processing unit 309, and further subjected to gamma conversion processing by the gamma processing unit 310 to generate a Y signal.

ガンマ処理部３１０から出力されるＹ信号および、色差信号変換処理部３０７から出力されるＵ，Ｖ信号は色変換処理部３１１にて、Ｙ’、Ｕ’、Ｖ’信号へと変換される。色変換処理部３１１では、３次元ルックアップテーブルを用いた色変換処理がなされるが、詳細は後述する。 The Y signal output from the gamma processing unit 310 and the U and V signals output from the color difference signal conversion processing unit 307 are converted into Y ′, U ′, and V ′ signals by the color conversion processing unit 311. The color conversion processing unit 311 performs color conversion processing using a three-dimensional lookup table, details of which will be described later.

本実施形態のデジタルカメラ（撮像装置１００）は、ユーザが指定した任意の色を、ユーザが指定した別の任意の色へ変換することが可能な撮影モード（以下、色変換モードという）を有する。この色変換モードでは、ＬＣＤ２０４上に図８に示す電子ビューファインダ（ＥＶＦ）画面８０１を表示し、リアルタイムに表示される撮像画像中の色取り込み枠８０２内に所望の色が入るようにして所定の操作を行なうことにより、色取り込み枠８０２内の画像の色を変換元色或いは変換目標色として決定する。変換元色と変換目標色が決定されると、決定された変換元色が変換目標色に変換されるように色変換処理部３１１のルックアップテーブルが設定される。この結果、その後のＥＶＦ画面８０１における表示画像、及びシャッターボタン２０３の操作により記録される撮影画像は、上記変換元色が上記変換目標色になるように変換されたものとなる。以下、本実施形態の色変換モードについて詳細に説明する。 The digital camera (imaging device 100) of the present embodiment has a shooting mode (hereinafter referred to as a color conversion mode) that can convert an arbitrary color specified by the user into another arbitrary color specified by the user. . In this color conversion mode, an electronic viewfinder (EVF) screen 801 shown in FIG. 8 is displayed on the LCD 204, and a predetermined color is placed in a color capturing frame 802 in a captured image displayed in real time. By performing the operation, the color of the image in the color capturing frame 802 is determined as the conversion source color or the conversion target color. When the conversion source color and the conversion target color are determined, the lookup table of the color conversion processing unit 311 is set so that the determined conversion source color is converted into the conversion target color. As a result, the subsequent display image on the EVF screen 801 and the captured image recorded by operating the shutter button 203 are converted so that the conversion source color becomes the conversion target color. Hereinafter, the color conversion mode of this embodiment will be described in detail.

まず、色変換モードにおける変換元色から変換目標色への色変換処理について説明する。色変換処理部３１１では、３次元ルックアップテーブルによりＹＵＶをＹ’Ｕ’Ｖ’へ変換する。本実施形態においては、３次元ルックアップテーブルの容量を減らすため、Ｙ信号、Ｕ信号、及びＶ信号の最小値から最大値までを８分割した、９×９×９＝７２９個の３次元代表格子点におけるＹＵＶ値のリスト（ルックアップテーブル）を用意し、代表格子点以外のＹＵＶ信号は補間により求めるものとする。図９は本実施形態の３次元ルックアップテーブルを概念的に示す図である。各格子点には変換後のＹＵＶ値が入ることになる。例えば、格子点１１０１は、（32,255,32）の点であり、変換前と変換後に変化がなければ格子点１１０１には（32,255,32）が割り当てられることになる。また、格子点１１０１が変換後では（32,230,28）のようになるのであれば、その値が当該格子点１１０１に入ることになる。 First, the color conversion process from the conversion source color to the conversion target color in the color conversion mode will be described. The color conversion processing unit 311 converts YUV to Y′U′V ′ using a three-dimensional lookup table. In the present embodiment, in order to reduce the capacity of the three-dimensional lookup table, 9 × 9 × 9 = 729 three-dimensional representatives obtained by dividing the Y signal, U signal, and V signal from the minimum value to the maximum value into eight. A list (lookup table) of YUV values at grid points is prepared, and YUV signals other than the representative grid points are obtained by interpolation. FIG. 9 is a diagram conceptually showing the three-dimensional lookup table of this embodiment. Each grid point contains the converted YUV value. For example, the grid point 1101 is a point (32, 255, 32), and (32, 255, 32) is assigned to the grid point 1101 if there is no change before and after the conversion. If the lattice point 1101 becomes (32, 230, 28) after conversion, the value enters the lattice point 1101.

例えば、図９の立方格子１１０２内における点１１０３のＹＵＶ値は、立方格子１１０２の頂点に対応する各格子点（ａ〜ｈ）のＹＵＶ値からの補間演算により求める。補間演算は以下の式（１２）〜式（１４）により行われる。ただし、式（１２）〜式（１４）において、入力ＹＵＶ信号をY、U、V、そのときの出力ＹＵＶ信号をYout(Y,U,V)、Uout(Y,U,V)、Vout(Y,U,V)とする。また、入力ＹＵＶ信号のY、U、Vそれぞれの信号値より小さく、かつ一番近い値の代表格子点（図１１ではａ）の信号をYi、Ui、Viとする。さらに、代表格子点出力信号をYout(Yi,Ui,Vi)、Uout(Yi,Ui,Vi)、Vout(Yi,Ui,Vi)とし、代表格子点のステップ幅をStep（本実施形態においては３２）とする。従って、例えば格子点ｂの信号はYi+step、Ui、Vi、格子点ｃの信号はYi、Ui+step、Viのようになる。 For example, the YUV value of the point 1103 in the cubic grid 1102 in FIG. 9 is obtained by interpolation from the YUV value of each grid point (a to h) corresponding to the vertex of the cubic grid 1102. Interpolation calculation is performed by the following equations (12) to (14). However, in the equations (12) to (14), the input YUV signal is Y, U, V, and the output YUV signal at that time is Yout (Y, U, V), Uout (Y, U, V), Vout ( Y, U, V). Further, the signals of the representative lattice points (a in FIG. 11) having values closest to and smaller than the respective Y, U, and V signal values of the input YUV signal are defined as Yi, Ui, and Vi. Furthermore, the representative grid point output signals are Yout (Yi, Ui, Vi), Uout (Yi, Ui, Vi), Vout (Yi, Ui, Vi), and the step width of the representative grid point is Step (in this embodiment) 32). Therefore, for example, the signal at the lattice point b is Yi + step, Ui, Vi, and the signal at the lattice point c is Yi, Ui + step, Vi.

Y=Yi+Yf
U=Ui+Uf
V=Vi+Vf
Yout(Y,U,V)＝Yout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Yout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Yout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Yout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１２）
Uout(Y,U,V)＝Uout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Uout (Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Uout (Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Uout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Uout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Uout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Uout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１３）
Vout(Y,U,V)＝Vout(Yi+Yf,Ui+Uf,Vi+Vf)＝
(Vout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Vout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Vout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式（１４） Y = Yi + Yf
U = Ui + Uf
V = Vi + Vf
Yout (Y, U, V) ＝ Yout (Yi + Yf, Ui + Uf, Vi + Vf) ＝
(Yout (Yi, Ui, Vi) × (Step-Yf) × (Step-Uf) × (Step-Vf)
+ Yout (Yi + Step, Ui, Vi) × (Yf) × (Step-Uf) × (Step-Vf)
+ Yout (Yi, Ui + Step, Vi) × (Step-Yf) × (Uf) × (Step-Vf)
+ Yout (Yi, Ui, Vi + Step) × (Step-Yf) × (Step-Uf) × (Vf)
+ Yout (Yi + Step, Ui + Step, Vi) × (Yf) × (Uf) × (Step-Vf)
+ Yout (Yi + Step, Ui, Vi + Step) × (Yf) × (Step-Uf) × (Vf)
+ Yout (Yi, Ui + Step, Vi + Step) × (Step-Yf) × (Uf) × (Vf)
+ Yout (Yi + Step, Ui + Step, Vi + Step) × (Yf) × (Uf) × (Vf)) / (Step × Step × Step)
... Formula (12)
Uout (Y, U, V) = Uout (Yi + Yf, Ui + Uf, Vi + Vf) =
(Uout (Yi, Ui, Vi) × (Step-Yf) × (Step-Uf) × (Step-Vf)
+ Uout (Yi + Step, Ui, Vi) × (Yf) × (Step-Uf) × (Step-Vf)
+ Uout (Yi, Ui + Step, Vi) × (Step-Yf) × (Uf) × (Step-Vf)
+ Uout (Yi, Ui, Vi + Step) × (Step-Yf) × (Step-Uf) × (Vf)
+ Uout (Yi + Step, Ui + Step, Vi) × (Yf) × (Uf) × (Step-Vf)
+ Uout (Yi + Step, Ui, Vi + Step) × (Yf) × (Step-Uf) × (Vf)
+ Uout (Yi, Ui + Step, Vi + Step) × (Step-Yf) × (Uf) × (Vf)
+ Uout (Yi + Step, Ui + Step, Vi + Step) × (Yf) × (Uf) × (Vf)) / (Step × Step × Step)
... Formula (13)
Vout (Y, U, V) = Vout (Yi + Yf, Ui + Uf, Vi + Vf) =
(Vout (Yi, Ui, Vi) × (Step-Yf) × (Step-Uf) × (Step-Vf)
+ Vout (Yi + Step, Ui, Vi) × (Yf) × (Step-Uf) × (Step-Vf)
+ Vout (Yi, Ui + Step, Vi) × (Step-Yf) × (Uf) × (Step-Vf)
+ Vout (Yi, Ui, Vi + Step) × (Step-Yf) × (Step-Uf) × (Vf)
+ Vout (Yi + Step, Ui + Step, Vi) × (Yf) × (Uf) × (Step-Vf)
+ Vout (Yi + Step, Ui, Vi + Step) × (Yf) × (Step-Uf) × (Vf)
+ Vout (Yi, Ui + Step, Vi + Step) × (Step-Yf) × (Uf) × (Vf)
+ Vout (Yi + Step, Ui + Step, Vi + Step) × (Yf) × (Uf) × (Vf)) / (Step × Step × Step)
... Formula (14)

以下、上記式（１２）、式（１３）、及び式（１４）のルックアップテーブル変換及び補間演算式を簡易的に以下のような式（１５）で表すことにする。ただし、式（１５）において、Ｙ、Ｕ、Ｖは入力信号値を示し、ＬＵＴは図９に示すような９×９×９のルックアップテーブルを示し、Yout、Uout、Voutはルックアップテーブル変換及び補間演算した結果（図３のＹ’，Ｕ’，Ｖ’）を示す。即ち、色変換処理部３１１は以下の式（１５）に示される変換処理を実行する。 Hereinafter, the look-up table conversion and interpolation calculation formulas of the above formulas (12), (13), and (14) will be simply expressed by the following formula (15). In equation (15), Y, U, and V indicate input signal values, LUT indicates a 9 × 9 × 9 lookup table as shown in FIG. 9, and Yout, Uout, and Vout are lookup table conversions. And the result (Y ', U', V 'of FIG. 3) of the interpolation calculation is shown. That is, the color conversion processing unit 311 executes a conversion process represented by the following equation (15).

(Yout,Uout,Vout)＝LUT[(Y,U,V)] …式（１５） (Yout, Uout, Vout) = LUT [(Y, U, V)] ... Formula (15)

上述したように、色変換モードで変換元色と変換目標色が決定されると、変換元色を内包する立方格子が決定され、変換元色の座標位置で変換目標色となるようにその立方格子を形成する各格子点の値を変更する。例えば、図９において決定された変換元色が点１１０３のＹＵＶ値であった場合、上記式（１５）による補間処理を実行した際に点１１０３におけるＹＵＶ値が設定された変換目標色のＹＵＶ値となるように、立方格子１１０２の格子点ａ〜ｈの値を変更する。詳細な説明は省略するが、変更後の代表格子点の値は数学的に求まる。そして、色変換処理部３１１では変更後の３次元ルックアップテーブルを用いて色変換処理を実行する。なお、以下の説明では、このような格子点の値の変更をパラメータの設定と称する。 As described above, when the conversion source color and the conversion target color are determined in the color conversion mode, a cubic lattice that includes the conversion source color is determined, and the cubic color is set so that the conversion target color becomes the conversion target color at the coordinate position of the conversion source color. The value of each grid point forming the grid is changed. For example, when the conversion source color determined in FIG. 9 is the YUV value of the point 1103, the YUV value of the conversion target color in which the YUV value at the point 1103 is set when the interpolation process according to the above equation (15) is executed. The values of the lattice points a to h of the cubic lattice 1102 are changed so that Although detailed explanation is omitted, the value of the representative grid point after the change can be obtained mathematically. The color conversion processing unit 311 executes color conversion processing using the changed three-dimensional lookup table. In the following description, such a change in the value of the grid point is referred to as parameter setting.

以上のように、指定された変換元色と変換目標色により３次元ルックアップテーブルの格子点データを決定して色変換を行なうので、ユーザの好みの色設定を、再生する画像に対して容易に与えることができる。また、上記の色変換処理では、３次元ルックアップテーブルにおいて、変更したい色の近傍の代表格子点のみが変更される。このため、画像中の色全体ではなく、一部の色のみをユーザの好みの色へと変換することを容易且つ高速に実現することができる。即ち、マトリクス演算部３０３、色差ゲイン演算処理部３０４、ガンマ処理部３０５、色相補正演算処理部３０６等で利用されるパラメータを変更するものではないので、所望の色（色領域）だけを変更することができる。 As described above, since the color conversion is performed by determining the grid point data of the three-dimensional lookup table based on the designated conversion source color and conversion target color, it is easy to set the user's favorite color for the image to be reproduced. Can be given to. In the color conversion process described above, only the representative grid points near the color to be changed are changed in the three-dimensional lookup table. For this reason, it is possible to easily and at high speed convert only a part of the colors in the image into a user's favorite color instead of the entire color in the image. That is, since the parameters used in the matrix calculation unit 303, the color difference gain calculation processing unit 304, the gamma processing unit 305, the hue correction calculation processing unit 306, and the like are not changed, only a desired color (color region) is changed. be able to.

図４は、色変換モード撮影時における本実施形態のデジタルカメラの処理を説明するフローチャートである。なお、色変換モード以外の通常の撮影モードは一般的なデジタルカメラにおける動作と違いがない為、ここでは色変換モードについての説明に限定する。 FIG. 4 is a flowchart for explaining processing of the digital camera of the present embodiment at the time of color conversion mode shooting. Note that normal shooting modes other than the color conversion mode are not different from the operations in a general digital camera, and therefore the description is limited to the color conversion mode.

ユーザがデジタルカメラの撮影モードを色変換モードに設定すると、まず、ステップＳ４０１においてプログラム線図を例えば通常の撮影モードのもの（図１０）から色変換モード専用のもの（図１１）に切り替える。プログラム線図の詳細については後述するが、本実施形態では１／６４秒以上のシャッタースピードが設定されるＥＶ９以下において撮像素子１０３（ＣＣＤ）のゲインを上げる。このゲインアップにより、例えばシャッタースピードが１／６４より遅い場合にフラッシュが発光するように制御するフラッシュの動作モードにおいて、フラッシュを非発光とする限界を低輝度側に移動させる（図１１のプログラム線図ではＥＶ値２つ分）ことができる。なお、本実施形態における上記ゲインアップ（ゲイン調整）は、撮像素子１０３から得られるアナログ信号の増幅率を変更することで実現されてもよいし、Ａ／Ｄ変換器１０４によってＡ／Ｄ変換されたデジタルデータを変倍することで実現されてもよい。以下では撮像素子のゲイン（感度）を上げる（調整する）という表現を用いることにする。 When the user sets the shooting mode of the digital camera to the color conversion mode, first, in step S401, for example, the program diagram is switched from the normal shooting mode (FIG. 10) to the color conversion mode only (FIG. 11). Although details of the program diagram will be described later, in the present embodiment, the gain of the image sensor 103 (CCD) is increased at EV9 or less where a shutter speed of 1/64 seconds or more is set. With this gain increase, for example, in the flash operation mode in which the flash is controlled to emit when the shutter speed is slower than 1/64, the limit of non-emission of the flash is moved to the low luminance side (program line in FIG. 11). In the figure, two EV values can be obtained. Note that the gain increase (gain adjustment) in the present embodiment may be realized by changing the amplification factor of the analog signal obtained from the image sensor 103, or A / D converted by the A / D converter 104. It may be realized by scaling the digital data. Hereinafter, the expression of increasing (adjusting) the gain (sensitivity) of the image sensor is used.

次に、ステップＳ４０２において前回の色変換モードにて設定された前回の設定パラメータが色変換処理部３１１のパラメータとして設定される。なお、ステップＳ４０２において前回の設定パラメータを設定するのは、ユーザによっては、色変換モードを常にＡ色をＢ色に変換するために使用する（例えばある空の色を異なる空の色）ことが考えられるためである。この場合、前回の変換元色と変換目標色をそれぞれ変換元色表示枠８０３及び変換目標色表示枠８０４に表示するのが好ましい。ステップＳ４０３においてシステム制御部１０９は露出制御開始タイミングか否かが判定され、露出制御開始タイミングであれば露出処理が行なわれる。この露出処理はＥＶＦに表示するための露出設定である。この露出処理を頻繁に実行すると画面のちらつきの原因となるため、その実行間隔は時定数により設定されている。例えば、２秒に１回の割合で露出処理が行われるように設定されている。 Next, in step S <b> 402, the previous setting parameter set in the previous color conversion mode is set as a parameter of the color conversion processing unit 311. Note that setting the previous setting parameter in step S402 may be used depending on the user to always use the color conversion mode to convert A color to B color (for example, a certain sky color is a different sky color). This is because it is considered. In this case, it is preferable to display the previous conversion source color and the conversion target color in the conversion source color display frame 803 and the conversion target color display frame 804, respectively. In step S403, the system control unit 109 determines whether or not it is an exposure control start timing. If the exposure control start timing is reached, an exposure process is performed. This exposure process is an exposure setting for displaying on the EVF. If this exposure process is executed frequently, it may cause flickering on the screen, so the execution interval is set by a time constant. For example, the exposure process is set to be performed once every 2 seconds.

次に、ステップＳ４０４においてシステム制御部１０９はホワイトバランス制御の開始タイミングか否かが判定され、ホワイトバランス制御の開始タイミングであればホワイトバランス制御処理が行われる。ホワイトバランス制御処理も露出処理と同様に頻繁に実行すると画面のちらつきとなるため、例えば５秒に１回の割合で実行するように時定数が設定されている。ホワイトバランス制御処理では、ホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理回路１０６が用いるホワイトバランス係数を更新する。 Next, in step S404, the system control unit 109 determines whether or not the white balance control start timing is reached. If the white balance control start timing is reached, white balance control processing is performed. Since the white balance control process flickers when it is executed frequently in the same way as the exposure process, the time constant is set to be executed at a rate of once every 5 seconds, for example. In the white balance control process, a white balance coefficient for white balance processing is obtained, and the white balance coefficient used by the image processing circuit 106 is updated.

ステップＳ４０５では、ステップＳ４０３の露出制御で設定された絞りで撮像が実行される。また、撮像素子からのリアルタイム出力であるスルー画像に対して画像処理回路１０６はステップＳ４０４で設定されたホワイトバランス係数を用いて画像処理を行なう。そして、ステップＳ４０６において、ステップＳ４０６で画像処理された画像データをＥＶＦとして機能するＬＣＤ２０４（表示部１１２）上に表示する。 In step S405, imaging is performed with the aperture set in the exposure control in step S403. Further, the image processing circuit 106 performs image processing on the through image, which is a real-time output from the image sensor, using the white balance coefficient set in step S404. In step S406, the image data processed in step S406 is displayed on the LCD 204 (display unit 112) functioning as an EVF.

上述したように、ＬＣＤ２０４上には図８に示すＥＶＦ画面８０１が表示される。図８に示すように、色変換モードにおいては、ＬＣＤ２０４上には、ＥＶＦ画面８０１、ＥＶＦ画面８０１内の色取り込み枠８０２、変換元色表示枠８０３、変換目標色表示枠８０４が表示されている。操作部１３０の所定操作により変換元色および変換目標色の設定（ステップＳ４０７〜Ｓ４１２）および、シャッターボタン２０３の操作による画像の撮影（ステップＳ４１５、Ｓ４１６）を行うことが可能である。 As described above, the EVF screen 801 shown in FIG. As shown in FIG. 8, in the color conversion mode, an EVF screen 801, a color capture frame 802 in the EVF screen 801, a conversion source color display frame 803, and a conversion target color display frame 804 are displayed on the LCD 204. . It is possible to set the conversion source color and the conversion target color (steps S407 to S412) and to take an image by operating the shutter button 203 (steps S415 and S416) by a predetermined operation of the operation unit 130.

まず、変換元色および変換目標色の設定の仕方について説明する。ユーザは変換元色を指定するために、カメラの方向および光学ズームを動作させ、色取り込み枠８０２一杯に所望の色が入るように画角を設定する。十字ボタン２０９の左ボタンが押されると、変換元色の取り込み指示が入力されたとしてステップＳ４０７からステップＳ４０８へ進む。ステップＳ４０８では、その時点における色取り込み枠８０２内の画像の画素データが取得される。そして、ステップＳ４０９ではその平均値が算出され変換元色（Src色）として決定される。変換元色が決定されると変換元色を表すパッチが変換元色表示枠８０３に表示される。 First, how to set the conversion source color and the conversion target color will be described. In order to specify the conversion source color, the user operates the direction of the camera and the optical zoom, and sets the angle of view so that a desired color enters the color capture frame 802. When the left button of the cross button 209 is pressed, the process advances from step S407 to step S408 on the assumption that a conversion source color capture instruction has been input. In step S408, pixel data of the image in the color capturing frame 802 at that time is acquired. In step S409, the average value is calculated and determined as the conversion source color (Src color). When the conversion source color is determined, a patch representing the conversion source color is displayed in the conversion source color display frame 803.

同様に、ユーザは、変換目標色を決定するために、色取り込み枠８０２一杯に所望の色が入るようにして、十字ボタン２０９の右ボタンを押す。十字ボタン２０９の右ボタンが押されると変換目標色の取り込み指示が入力されたとしてステップＳ４１０からステップＳ４１１へ進む。ステップＳ４１１では、その時点における色取り込み枠８０２内の画像の画素データが取得される。そして、ステップＳ４１２においてその平均値が算出され、変換目標色（Dst色）に決定される。変換目標色が決定されると変換目標色を表すパッチが変換目標色表示枠８０４に表示される。 Similarly, in order to determine the conversion target color, the user presses the right button of the cross button 209 so that a desired color is filled in the color capture frame 802. When the right button of the cross button 209 is pressed, it is determined that a conversion target color capturing instruction has been input, and the process advances from step S410 to step S411. In step S411, pixel data of the image in the color capturing frame 802 at that time is acquired. In step S412, the average value is calculated and determined as the conversion target color (Dst color). When the conversion target color is determined, a patch representing the conversion target color is displayed in the conversion target color display frame 804.

なお、上記ステップＳ４０９、Ｓ４１２において色取り込み枠８０２内の画素値の平均が算出されるが、その際に用いる画素データは電子ビューファインダーの表示用に間引かれた画像データ（画像表示メモリ１１１に格納されている画像データ）であってもよいし、画像メモリ１０８に格納されている画像データであってもよい。なお、図４に示す処理では、変換元色（Src色）と変換目標色（Dst色）の夫々を電子ビューファインダーに表示された画像より取得しているが、変換元色と変換目標色のいずれか一方を電子ビューファインダーに表示された画像から取得し、他方は予め設定され、メモリに格納された色値を用いるようにしてもよい。例えば、背景技術の欄で上述した、特許文献１に記載されているように、変換元色のみを撮影画像から取り出すような構成にも本発明を適用できることは明らかである。 Note that the average of the pixel values in the color capturing frame 802 is calculated in steps S409 and S412, but the pixel data used at that time is the image data thinned out for display on the electronic viewfinder (in the image display memory 111). Stored image data), or image data stored in the image memory 108. In the process shown in FIG. 4, the conversion source color (Src color) and the conversion target color (Dst color) are acquired from the image displayed on the electronic viewfinder. Either one may be acquired from an image displayed on the electronic viewfinder, and the other may be set in advance and use a color value stored in a memory. For example, as described in Patent Document 1 described above in the background art section, it is obvious that the present invention can be applied to a configuration in which only a conversion source color is extracted from a captured image.

ステップＳ４０９或いはステップＳ４１２にて変換元色或いは変換目標色が決定されると、処理はステップＳ４１３に進む。ステップＳ４１３では、変換元色から変換目標色に変換するための変換パラメータが決定される（但し、変換元色と変換目標色が決定されている場合に動作するものとする）。本実施形態では、図９等により上述したように、３次元ルックアップテーブルの変換元色を内包する立方格子を形成する格子点の変更値が決定される。そして、ステップＳ４１４において、色変換処理部３１１の３次元ルックアップテーブルを更新する。以降のＥＶＦのための画像表示（ステップＳ４０５，Ｓ４０６）や撮影実行時（ステップＳ４１５，Ｓ４１６）における画像処理回路１０６の画像処理では、色変換処理部３１１において更新された３次元ルックアップテーブルが用いられることになる。なお、撮影実行時においては、シャッターボタン２０３の半押し状態で撮影のためのＡＦ（オートフォーカス）処理、ＡＥ（自動露出制御）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等が実行され、シャッターボタン２０３の全押し状態で撮影処理が実行される。この撮影処理で得られた画像データは、画像処理回路１０６の色変換処理部３１１によってステップＳ４１４で設定されたパラメータを用いた色変換処理が行なわれ、所望の色を所望の色に変換した画像が得られることになる。 When the conversion source color or the conversion target color is determined in step S409 or step S412, the process proceeds to step S413. In step S413, a conversion parameter for converting from the conversion source color to the conversion target color is determined (however, the operation is performed when the conversion source color and the conversion target color are determined). In the present embodiment, as described above with reference to FIG. 9 and the like, the change values of the lattice points that form the cubic lattice including the conversion source color of the three-dimensional lookup table are determined. In step S414, the three-dimensional lookup table of the color conversion processing unit 311 is updated. In the subsequent image display for EVF (steps S405 and S406) and image processing of the image processing circuit 106 during shooting (steps S415 and S416), the three-dimensional lookup table updated in the color conversion processing unit 311 is used. Will be. At the time of shooting, AF (autofocus) processing, AE (automatic exposure control) processing, AWB (auto white balance) processing, and EF (flash pre-flash) processing for shooting when the shutter button 203 is pressed halfway. The photographing process is executed when the shutter button 203 is fully pressed. The image data obtained by this photographing processing is subjected to color conversion processing using the parameters set in step S414 by the color conversion processing unit 311 of the image processing circuit 106, and an image obtained by converting a desired color into a desired color. Will be obtained.

さて、変換元色と変換目標色は電子ビューファインダーに表示されている画像から取得しており、ステップＳ４０７〜Ｓ４１２に示される色取り込み処理では、フラッシュは発光していない。また、色取り込み時にストロボが光ってしまうと、ストロボの色温度の影響により、ライブビュー画像に写っている色とは異なる色が取り込まれてしまうため、フラッシュは光らせないことが好ましい。しかしながら、撮影動作において通常の自動露出が行われると、被写体輝度が低かったり、シャッタスピードが１／６４よりも遅い等の条件によりストロボが光ってしまう。色取り込み時にはフラッシュが光らないようになっているため画像撮影時においても出来る限り光らせないようにするのが好ましい。よって、本実施形態では、プログラム線図を変えて、撮像素子のゲイン（感度）を例えば２段上げることによって、フラッシュが発光しない輝度の限界のＥＶ値を通常撮影モード時よりも２段階下げ、フラッシュを光りにくくしている。 Now, the conversion source color and the conversion target color are obtained from the image displayed on the electronic viewfinder, and the flash does not emit light in the color capturing process shown in steps S407 to S412. Also, if the strobe glows during color capture, a color different from the color shown in the live view image is captured due to the effect of the color temperature of the strobe, so it is preferable that the flash is not illuminated. However, when normal automatic exposure is performed in the photographing operation, the strobe shines under such conditions that the subject brightness is low or the shutter speed is slower than 1/64. Since the flash is not lit at the time of color capture, it is preferable not to shine as much as possible at the time of image shooting. Therefore, in the present embodiment, by changing the program diagram and increasing the gain (sensitivity) of the image sensor, for example, by two steps, the EV limit of the luminance limit at which the flash does not emit light is lowered by two steps compared to the normal shooting mode. The flash is difficult to shine.

次に、図１１に示したプログラム線図への切り替えによるフラッシュ動作の変化について説明する。上述したように、色変換撮影モードに切り替えると、通常撮影モードが有するプログラム線図とは異なるプログラム線図に切り替わる（ステップ４０１）。本実施形態における通常撮影モードで用いられるプログラム線図は例えば図１０に示すものであり、色変換撮影モードで用いられるプログラム線図は図１１に示すものとする。なお、図１０、図１１において、ＴＶはシャッタースピード、ＥＶは内蔵露出計（不図示）により計測された被写体輝度（被写体の明るさ）、ＡＶはシャッター１０２における絞り値を表す。 Next, a change in the flash operation due to switching to the program diagram shown in FIG. 11 will be described. As described above, when the mode is switched to the color conversion shooting mode, a program diagram different from the program diagram of the normal shooting mode is switched (step 401). The program diagram used in the normal photographing mode in this embodiment is as shown in FIG. 10, for example, and the program diagram used in the color conversion photographing mode is as shown in FIG. 10 and 11, TV represents the shutter speed, EV represents the subject brightness (brightness of the subject) measured by a built-in exposure meter (not shown), and AV represents the aperture value in the shutter 102.

図１０のプログラム線図によれば、ＥＶ９よりも低輝度側でシャッタースピードは１／６４秒を超える。ここでフラッシュの動作がシャッタースピード＞１／６４秒において発光するように設計されていると、ＥＶ９よりも低輝度になった時点でフラッシュが発光することになる。なお、フラッシュを発光した場合は、シャッタースピードは例えば１／６４秒で固定される。一方、色変換モードで用いられる、図１１に示されプログラム線図においても、シャッタースピードが１／６４秒以下の領域は、通常撮影モードで用いられるプログラム線図と同じである。しかしながら、シャッタースピードが１／６４秒よりも大きい（遅い）領域では、撮像素子のゲインを上げることによりシャッタースピードを１／６４秒に維持する。なお、図１１において破線で示しているのは、撮像素子のゲイン調整によりシャッタースピードを維持し、絞り値は変更していないことを表すためである。図１１に示すプログラム線図を用いることにより、フラッシュの発光を開始する被写体輝度をＥＶ７以下とすることができる。 According to the program diagram of FIG. 10, the shutter speed exceeds 1/64 seconds on the lower luminance side than EV9. If the flash operation is designed to emit light at a shutter speed> 1/64 seconds, the flash will emit when the brightness becomes lower than EV9. When the flash is emitted, the shutter speed is fixed at 1/64 seconds, for example. On the other hand, in the program diagram shown in FIG. 11 used in the color conversion mode, the region where the shutter speed is 1/64 second or less is the same as the program diagram used in the normal photographing mode. However, in a region where the shutter speed is larger (slower) than 1/64 seconds, the shutter speed is maintained at 1/64 seconds by increasing the gain of the image sensor. Note that the broken lines in FIG. 11 indicate that the shutter speed is maintained by adjusting the gain of the image sensor and the aperture value is not changed. By using the program diagram shown in FIG. 11, the subject brightness at which flash emission starts can be set to EV7 or less.

なお、図１１のプログラム線図では、ＥＶ９〜ＥＶ７の間の被写体輝度に対してはシャッタースピードが１／６４に固定されるが、適正露出をより厳密に維持するために、被写体輝度に応じて撮像素子のゲインを変化させるようにしてもよい。例えば被写体輝度ＥＶ９、ＥＶ８，ＥＶ７の各段階でゲイン値を切り替えるようにしてもよい。或いは所定のゲインアップを行ってシャッタースピードを変化させて適正露出を厳密に保つようにしてもよい。この場合、図１１では、ＴＶ＝１／６４において真下に延びている破線がＥＶ値の斜線に沿って斜め右下方へ延びることになる。また、ゲインアップは、本実施形態ではシャッタースピード＞１／６４で行われるとしたが、フラッシュ発光前のどの位置で行ってもよい。また、このプログラム線図において例えば、シャッタースピードＴｖ＞１／４５で発光するフラッシュを用いた場合には、Ｔｖ＞１／４５の域では撮像素子のゲインを上げないとフラッシュが発光してしまうため、図１１のように２目盛りゲインをアップし、１／６４＜Ｔｖ＜１／４５の域では、プログラム線図上のＴｖ＝１／６４のときの値に従って動作するようにしてもよい。 In the program diagram of FIG. 11, the shutter speed is fixed to 1/64 for the subject brightness between EV9 and EV7. However, in order to maintain the proper exposure more strictly, the shutter speed is set according to the subject brightness. You may make it change the gain of an image pick-up element. For example, the gain value may be switched at each stage of subject brightness EV9, EV8, EV7. Alternatively, a predetermined gain increase may be performed to change the shutter speed so that the proper exposure is strictly maintained. In this case, in FIG. 11, the broken line extending right below at TV = 1/64 extends obliquely downward to the right along the oblique line of the EV value. In addition, the gain increase is performed at a shutter speed> 1/64 in this embodiment, but may be performed at any position before the flash emission. Further, in this program diagram, for example, when a flash that emits light at a shutter speed Tv> 1/45 is used, the flash emits unless the gain of the image sensor is increased in a region where Tv> 1/45. As shown in FIG. 11, the two-scale gain may be increased, and in the region of 1/64 <Tv <1/45, the operation may be performed according to the value when Tv = 1/64 on the program diagram.

以上のように第１実施形態によれば、通常撮影モードと同じ露出制御ではフラッシュが発光していた状態でも、非発光とすることができる。すなわち、通常撮影モードではフラッシュが発光するシャッタースピードの域においても、撮像素子のゲインをあげることによりフラッシュの発光を回避している。このように、通常撮影モードよりもフラッシュを発光させにくくすることができる（フラッシュを非発光とする被写体輝度の限界をより低輝度側に変更することができる）ため、上述した色変換撮影モードにおけるフラッシュ光の影響が効果的に排除され、所望の色変換をより正確に実行することができるようになる。
また、上記実施形態によれば、色変換モードにおいてフラッシュを光りにくくする構成が、プログラム線図を切り替えるのみで実現される。従って、フラッシュ動作を変更するために色変換モード専用の特別な露出制御を行う必要がなく、実施が容易である。 As described above, according to the first embodiment, non-light emission can be achieved even in a state where the flash is emitted under the same exposure control as in the normal shooting mode. That is, in the normal shooting mode, the flash emission is avoided by increasing the gain of the image sensor even in the shutter speed range where the flash emits light. In this way, the flash can be made harder to emit than in the normal shooting mode (the subject luminance limit for non-light emission of the flash can be changed to a lower luminance side). The influence of the flash light is effectively eliminated, and the desired color conversion can be performed more accurately.
Further, according to the above-described embodiment, the configuration that makes it difficult to shine the flash in the color conversion mode is realized only by switching the program diagram. Therefore, it is not necessary to perform special exposure control dedicated to the color conversion mode in order to change the flash operation, and the implementation is easy.

＜第２実施形態＞
次に、第２実施形態について説明する。上記第１実施形態ではプログラム線図を図１１に示すように変更してフラッシュの発光を回避する構成を採用した。第２実施形態では、プログラム線図の切り替えを行わない。図１０に示すプログラム線図を用いて適正露出を得るためのシャッタースピードを決定した際に、シャッタースピードが１／６４秒より大きければ撮像素子のゲイン値を上げ、フラッシュの発光を回避する。 Second Embodiment
Next, a second embodiment will be described. In the first embodiment, the program diagram is changed as shown in FIG. 11 to avoid the flash emission. In the second embodiment, the program diagram is not switched. When the shutter speed for obtaining proper exposure is determined using the program diagram shown in FIG. 10, if the shutter speed is greater than 1/64 seconds, the gain value of the image sensor is increased to avoid flash emission.

図１２を用いて第２実施形態による色変換撮影モードの動作を説明する。図１２のステップＳ５０１からステップＳ５０５は図４のステップＳ４１６に相当する動作である。又、第２実施形態ではステップＳ４０１は実行しない（すなわちプログラム線図の切り替えは行わない）。第１実施形態では、ステップＳ４０１で設定された図１１のプログラム線図により適正露出を得るシャッタースピード、絞り値、ゲイン値を決定して撮影動作を行った。第２実施形態では図１０のプログラム線図のＥＶ値を被写体輝度と撮像素子１０３の感度との和とし、当該プログラム線図を用いて決定されるシャッタースピードが１／６４秒より大きくなった場合に、撮像素子のゲインを上げてフラッシュの発光を回避する。 The operation of the color conversion shooting mode according to the second embodiment will be described with reference to FIG. Steps S501 to S505 in FIG. 12 are operations corresponding to step S416 in FIG. In the second embodiment, step S401 is not executed (that is, the program diagram is not switched). In the first embodiment, the photographing operation is performed by determining the shutter speed, aperture value, and gain value for obtaining proper exposure from the program diagram of FIG. 11 set in step S401. In the second embodiment, when the EV value in the program diagram of FIG. 10 is the sum of the subject brightness and the sensitivity of the image sensor 103, and the shutter speed determined using the program diagram is greater than 1/64 second In addition, the gain of the image sensor is increased to avoid flash emission.

例えば、ＥＶ８において撮像素子のゲインを上げ、感度を２段階上げるとＥＶ１０となる。また、第１実施形態と同様に、シャッタースピードが１／６４秒より大きくなるとフラッシュ発光が行われるように設定されているものとする。 For example, when the gain of the image sensor is increased in EV8 and the sensitivity is increased by two levels, EV10 is obtained. Similarly to the first embodiment, it is assumed that the flash emission is set to be performed when the shutter speed is greater than 1/64 seconds.

シャッターボタン２０３の操作により、図４のステップＳ４１６の処理が開始されると、まず、図１２のステップＳ５０１において、図１０のプログラム線図に従って決定される。そして、ステップＳ５０２において、ステップＳ５０１で決定されたシャッタースピードが１／６４を超えるかを判断する。１／６４以下であればフラッシュは発光しないのでそのままステップＳ５０５へ進み、撮像素子１０３による撮影処理が実行される。 When the processing of step S416 in FIG. 4 is started by operating the shutter button 203, first, in step S501 in FIG. 12, a determination is made according to the program diagram in FIG. In step S502, it is determined whether the shutter speed determined in step S501 exceeds 1/64. If it is 1/64 or less, since the flash does not emit light, the process proceeds to step S505 as it is, and the photographing process by the image sensor 103 is executed.

一方、ステップＳ５０２においてシャッタースピードが１／６４秒より大きい（遅い）と判定された場合、処理はステップＳ５０３に進み、撮像素子のゲイン（感度）を上げる。例えば、感度が２段階上がるように設定する。そして、ステップＳ５０４において、感度の変更に伴って変化したＥＶ値と、絞り値ＡＶとから、図１０のプログラム線図に従ってシャッタースピードが再設定される。そしてステップＳ５０５において、設定された感度、再設定されたシャッタースピードで撮影が行われる。 On the other hand, if it is determined in step S502 that the shutter speed is larger (slower) than 1/64 second, the process proceeds to step S503, and the gain (sensitivity) of the image sensor is increased. For example, the sensitivity is set to increase by two levels. In step S504, the shutter speed is reset according to the program diagram of FIG. 10 from the EV value changed with the sensitivity change and the aperture value AV. In step S505, shooting is performed with the set sensitivity and the reset shutter speed.

例えば、ＥＶ８であった場合、図１０のプログラム線図では１／３２秒となり通常撮影モードではフラッシュが発光する。これに対して、色変換撮影モードでは感度が２段階上がってＥＶ１０となり、シャッタースピードが１／１２８秒に設定されるのでフラッシュが発光することはない。 For example, in the case of EV8, the program diagram of FIG. 10 is 1/32 second, and the flash is emitted in the normal photographing mode. In contrast, in the color conversion shooting mode, the sensitivity is increased by two levels to EV10, and the shutter speed is set to 1/128 seconds, so the flash does not emit light.

以上のように、シャッタースピードが１／６４よりも大きくなる場合には、フラッシュ光により定常光下での色を正確に取り込むのが困難だった。しかしながら、上記の方法によれば、そのような場合でもフラッシュの発光が回避されるので、ユーザがより正確に取り込みたい色を取込み易くなる。また、第２実施形態によれば、被写体輝度と撮像素子のゲインによって決定されるＥＶ値を用い、プログラム線図を切り替えることを不要とした。このため、色変換モード専用のプログラム線図を保持する必要がなく、通常の撮影モードのプログラム線図をそのまま利用できる。 As described above, when the shutter speed is larger than 1/64, it is difficult to accurately capture the color under steady light using flash light. However, according to the above method, since the flash emission is avoided even in such a case, it becomes easier for the user to capture the color that the user wants to capture. Further, according to the second embodiment, it is not necessary to switch the program diagram by using the EV value determined by the subject brightness and the gain of the image sensor. For this reason, there is no need to hold a program diagram dedicated to the color conversion mode, and the program diagram of the normal photographing mode can be used as it is.

本発明を適用したデジタルカメラのユーザは、従来技術の方法でユーザ自身の好みの色を取り込むよりも、ストロボ発光の影響を回避してより正確に理想の色を取り込むことができ、デジタルカメラから出力される画像をよりユーザの理想のものにすることが可能である。 The user of the digital camera to which the present invention is applied can capture the ideal color more accurately by avoiding the influence of the strobe light emission, rather than capturing the user's own favorite color by the conventional method. It is possible to make the output image more ideal for the user.

なお、上記第２実施形態において、ステップＳ５０２におけるゲインアップの量を被写体の輝度に応じて変更させるようにしてもよい。例えば、被写体輝度と感度との和であるＥＶ値がシャッタースピード＝１／６４秒となるようにゲイン値を決定するようにしてもよい。又、この場合、被写体の輝度に応じて撮像素子のゲインを無制限に上げるように構成すれば、被写体の輝度がどんなに低くともゲイン調整によりフラッシュを回避するように構成することもできる。 In the second embodiment, the amount of gain increase in step S502 may be changed according to the luminance of the subject. For example, the gain value may be determined such that the EV value that is the sum of the subject brightness and the sensitivity is shutter speed = 1/64 seconds. In this case, if the gain of the image sensor is increased indefinitely in accordance with the luminance of the subject, the flash can be avoided by adjusting the gain even if the luminance of the subject is low.

又、上記第２実施形態では、ＥＶ値およびＡＶ値に基づいて決定されるシャッタースピードにより撮像素子のゲイン調整を行うか否かを決定した。しかしながら、ＥＶ値に基づいて決定してもよい。例えば、ステップＳ５０２において、内蔵露出計によって計測された被写体輝度が所定値よりも低いか否かを判定し、低い場合にはステップＳ５０３以降に進むようにしてもよい。
又、上記第２実施形態において、シャッタースピード＞１／６４の場合や、被写体輝度が所定値以下の場合に、ステップＳ５０４でフラッシュ発光を禁止するようにしてもよい。
更に、第１実施形態と同様に、変換元色（Src色）と変換目標色（Dst色）の夫々を電子ビューファインダーに表示された画像より取得する構成としてもよいし、変換元色と変換目標色のいずれか一方を電子ビューファインダーに表示された画像から取得し、他方は予め設定され、メモリに格納された色値を用いる構成としてもよい。 In the second embodiment, whether to adjust the gain of the image sensor is determined based on the shutter speed determined based on the EV value and the AV value. However, it may be determined based on the EV value. For example, in step S502, it may be determined whether or not the subject brightness measured by the built-in exposure meter is lower than a predetermined value.
In the second embodiment, the flash emission may be prohibited in step S504 when the shutter speed is greater than 1/64 or when the subject brightness is equal to or lower than a predetermined value.
Further, as in the first embodiment, each of the conversion source color (Src color) and the conversion target color (Dst color) may be acquired from the image displayed on the electronic viewfinder. One of the target colors may be acquired from the image displayed on the electronic viewfinder, and the other may be configured to use a color value that is set in advance and stored in the memory.

なお、上記実施形態においては、変換元色および変換目標色を各１色しか設定しない例について説明したが、これに限られるものではなく、変換元色および変換目標色の複数の組み合わせを設定可能にしてもよい。このような複数設定を行った場合は、例えば、各変換元色毎にそれを内包する立方格子の代表格子点を変更するようにすればよい。また、一つの立法格子に複数の変換元色が入った場合には、例えば、それぞれのベクトルを計算して、その平均を用いるようにすればよい。 In the above embodiment, an example in which only one conversion source color and one conversion target color is set has been described. However, the present invention is not limited to this, and a plurality of combinations of conversion source colors and conversion target colors can be set. It may be. When such a plurality of settings are performed, for example, the representative grid points of a cubic grid that includes the conversion source colors may be changed. Further, when a plurality of conversion source colors are included in one cubic grid, for example, each vector may be calculated and the average thereof may be used.

また、本実施形態において、変換元色および変換目標色の取り込みを行うにあたり十字ボタン２０９の左右ボタンを用いたが、これに限られるものではない。他の操作ボタンに割り当ててもよいし、もしくは専用のボタンを設けてもよいことは明らかである。 In this embodiment, the left and right buttons of the cross button 209 are used to capture the conversion source color and the conversion target color, but the present invention is not limited to this. Obviously, it may be assigned to another operation button, or a dedicated button may be provided.

また、本実施形態において変換元色／変換目標色取り込み時のＥＶＦ画面中の色取り込み枠は中央付近に固定されているが、ユーザの指定により色取り込み枠をＥＶＦ画面中の任意の場所に移動することが可能なようにすることも可能である。また同様に色取り込み枠の大きさもユーザの指定により変化可能なようにすることも可能である。 In the present embodiment, the color capture frame in the EVF screen at the time of capturing the conversion source color / conversion target color is fixed near the center, but the color capture frame can be moved to an arbitrary location on the EVF screen as specified by the user. It is also possible to make it possible. Similarly, the size of the color capture frame can be changed by user designation.

また、本実施形態にける色変換処理部３１１の演算処理に３次元ルックアップテーブル処理と補間演算処理を用いているが、これに限られるものではない。変換元色が変換目標色に変換可能な処理、例えば色空間ごとにマトリクス演算の係数を変化させるマトリクス演算処理を用いて行うことも可能である。 Further, although the three-dimensional lookup table process and the interpolation calculation process are used for the calculation process of the color conversion processing unit 311 in the present embodiment, the present invention is not limited to this. It is also possible to perform processing that can convert the conversion source color into the conversion target color, for example, matrix calculation processing that changes matrix calculation coefficients for each color space.

ここで、簡単にマトリクス演算処理を用いた処理について説明する。上記実施形態において、図９の各格子点上に変換後のＹＵＶ信号の値が設定されているが、マトリクス演算処理を用いた処理においては各格子点上に下に示す式（１６）のＭ１１〜Ｍ３３の係数が格納されており、Yin、Uin、Vinに応じて、Ｍ１１〜Ｍ３３の係数が決定され、さらに式（１５）の演算が行われYout、Uout、Voutが求められるようにしてもよい。ただし、Ｍ１１〜Ｍ３３の決定はYin、Uin、Vinに一番近い格子点に格納されている係数、または、上記実施形態のように、各格子点からの補間演算により求められるようにしてもよい。 Here, processing using matrix calculation processing will be briefly described. In the above embodiment, the value of the converted YUV signal is set on each grid point in FIG. 9, but in the process using the matrix calculation process, M11 in the equation (16) shown below on each grid point. The coefficients of M33 to M33 are stored, the coefficients of M11 to M33 are determined according to Yin, Uin, and Vin, and the calculation of Expression (15) is further performed to obtain Yout, Uout, and Vout. Good. However, the determination of M11 to M33 may be obtained by a coefficient stored at a grid point closest to Yin, Uin, or Vin, or by interpolation calculation from each grid point as in the above embodiment. .

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施形態において上述したフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or storage medium, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.
In the present invention, a software program for realizing the functions of the above-described embodiment (a program corresponding to the flowchart described above in the embodiment) is directly or remotely supplied to the system or apparatus, and the system or apparatus This includes the case where the computer is also achieved by reading and executing the supplied program code.

実施形態による撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device by embodiment. 実施形態による撮像装置の外観を示す図である。It is a figure which shows the external appearance of the imaging device by embodiment. 実施形態による画像処理を説明する図である。It is a figure explaining the image processing by embodiment. 第１実施形態による色変換モード動作時の処理を説明するフローチャートである。It is a flowchart explaining the process at the time of the color conversion mode operation | movement by 1st Embodiment. 実施形態の撮像装置におけるＣＣＤの色配列を説明する概念図である。It is a conceptual diagram explaining the color arrangement | sequence of CCD in the imaging device of embodiment. 実施形態の撮像装置におけるＣＣＤ信号の補間後のデータを説明する概念図である。It is a conceptual diagram explaining the data after interpolation of the CCD signal in the imaging device of an embodiment. 実施形態の輝度信号作成処理に用いられるフィルタを説明する図である。It is a figure explaining the filter used for the luminance signal creation process of embodiment. 実施形態による変換元色／変換目標色取り込みモード時のＥＶＦ画面例を示す図である。It is a figure which shows the example of EVF screen at the time of the conversion source color / conversion target color taking-in mode by embodiment. ３次元ルックアップテーブルによる色変換処理を説明する図である。It is a figure explaining the color conversion process by a three-dimensional lookup table. 通常撮影モードに用いられるプログラム線図の例を示す図である。It is a figure which shows the example of the program diagram used for normal imaging | photography mode. 色変換撮影モードに用いられるプログラム線図の例を示す図である。It is a figure which shows the example of the program diagram used for color conversion imaging | photography mode. 第２実施形態による色変換モード動作時の処理を説明するフローチャートである。It is a flowchart explaining the process at the time of the color conversion mode operation | movement by 2nd Embodiment.

Claims

Imaging means for capturing a subject image and outputting image data;
Determining means for determining a first color value and a second color value;
Capture means for capturing color information used by the determination means for determining the first or second color value from the first image data obtained by the imaging means;
Using the first and second color values determined by the determining means, the first color value of the second image data different from the first image data obtained by the imaging means is calculated as the first color value. Color conversion means for performing color conversion to a color value of 2,
In operating mode the color conversion is performed, the adjustment means said imaging means changes the limit brightness value for the non-light emitting flash at the time of imaging, than the operating mode of the normal imaging in which the color conversion is not executed in the low luminance side imaging apparatus characterized by comprising a, the.

Display means for displaying an image of the image data in real time based on the image data obtained by the imaging means;
The fetching means fetches color information included in a predetermined area of an image being displayed on the display means as color information for determining the first or second color value. The imaging device described.

Provided with a luminance detection means for detecting subject luminance,
3. The imaging apparatus according to claim 1, wherein the adjustment unit increases the sensitivity of the imaging unit when a shutter speed determined based on the detected subject brightness exceeds a predetermined value. 4. .

Provided with a luminance detection means for detecting subject luminance,
The imaging apparatus according to claim 1, wherein the adjustment unit increases sensitivity of the imaging unit when the detected subject luminance is equal to or lower than a predetermined value.

The adjusting means changes the limit of the subject brightness at which the flash does not emit light to a lower brightness side by switching the program diagram between the operation mode in which the color conversion is executed and the operation mode of normal imaging . The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized.

In the sensitivity adjustment of the imaging means by the adjusting means, the imaging means corresponding to the second subject brightness smaller than the first subject brightness than the first sensitivity of the imaging means corresponding to the first subject brightness. The imaging apparatus according to claim 3 or 4, wherein the second sensitivity is higher.

An imaging device control method comprising: an imaging unit; and a color conversion unit that performs color conversion on image data obtained by the imaging unit,
Determining a first color value used for the color conversion to determine a second color value;
A capturing step of capturing color information for use in determining the first or second color value in the determining step from the first image data obtained by the imaging means;
A color conversion step of converting the first color value of the second image data different from the first image data obtained by the imaging unit into the second color value by the color conversion unit;
In operating mode the color conversion is performed, the adjustment step of the imaging means changes the limit brightness value for the non-light emitting flash at the time of imaging, than the operating mode of the normal imaging in which the color conversion is not executed in the low luminance side And a method for controlling the imaging apparatus.