JP5515541B2

JP5515541B2 - Imaging device

Info

Publication number: JP5515541B2
Application number: JP2009209833A
Authority: JP
Inventors: 信介原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-09-10
Filing date: 2009-09-10
Publication date: 2014-06-11
Anticipated expiration: 2029-09-10
Also published as: JP2011061559A

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

特許文献１には、高速なフレームレート（例えば９０ｆｐｓ）で各フレームごとに光量が異なるフラッシュ撮影を行って複数枚の画像を撮影し、これらを合成することにより手前から奥まで露光を適正とする撮像装置が開示されている。 In Patent Document 1, a plurality of images are shot by performing flash shooting with different amounts of light for each frame at a high frame rate (for example, 90 fps), and by combining them, exposure is made appropriate from the front to the back. An imaging device is disclosed.

特開２００６−０３３０４９号公報JP 2006-033049 A

撮像装置との距離が異なる複数の被写体を撮影する場合、複数の被写体からの各々の反射光の光量は、撮像装置との距離に反比例して異なる。そのため、光束を照射して撮影した複数の被写体の画像信号の出力レベルのすべてを適正にすることは難しい。しかしながら、特許文献１の撮像装置では、複数のフラッシュ撮影が必要となるため、電力の消費が大きいという課題があった。 When photographing a plurality of subjects having different distances from the imaging device, the amount of reflected light from the plurality of subjects differs in inverse proportion to the distance from the imaging device. For this reason, it is difficult to make all the output levels of the image signals of a plurality of subjects photographed by irradiating a light beam appropriate. However, the imaging device of Patent Document 1 has a problem that power consumption is large because a plurality of flash photography is required.

本発明は、上記課題に鑑みなされたものであり、電力消費を低減して近景から遠景の被写体の画像信号の出力レベルが適正となるように撮影を行うことができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an imaging apparatus that can perform imaging so that power consumption is reduced and an output level of an image signal of a subject in a foreground to a background is appropriate. Objective.

本撮像装置は、光学系（１０９）による被写体（１６０）の像を撮像して画像信号を出力する撮像手段（１０６）と、前記被写体からの光束を、複数の測光領域に分割して測光する測光手段（１１７）と、前記被写体に対して光束を照射する光源（１１９）と、前記複数の測光領域のうちの第１測光領域に対する前記測光手段の測光結果に基づいて前記光源の光量を決定する光量決定手段（２０１）と、前記光量決定手段により決定された光量で前記光源からの光束が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第１測光領域とは異なる第２測光領域に対応する領域の画像信号を補正する補正手段（２０１）と、を備え、前記補正手段は、前記測光手段の測光結果に基づく第１補正値と、前記撮像手段からの出力に基づく第２補正値とに基づいて、前記第２測光領域に対応する領域の画像信号を補正する。
The imaging apparatus measures an image of an object (160) by an optical system (109) and outputs an image signal, and divides a light beam from the object into a plurality of photometric areas and performs photometry. The light quantity of the light source is determined based on the photometric result of the photometric means (117), the light source (119) that irradiates the subject with a light beam, and the first photometric area of the plurality of photometric areas. Of the image signal obtained by imaging the subject irradiated with the light beam from the light source with the light quantity determined by the light quantity determining means, the first photometric measurement comprising a correction means (201) for correcting the image signals of the region corresponding to the different second metering area is an area, it said correcting means includes a first correction value based on the photometric results of the photometry means, the imaging hands Based on the second correction value based on the output from, for correcting an image signal of a region corresponding to the second metering area.

上記撮像装置において、前記光源は、第１発光及び第２発光を行って前記被写体に対して光束を照射し、前記光量決定手段は、前記複数の測光領域のうちの第１測光領域に対する前記測光手段の測光結果に基づいて前記第２発光の発光量を決定し、前記補正手段は、前記第２発光の発光量が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第１測光領域とは異なる第２測光領域に対応する領域の画像信号を、前記第１発光を行ったときの前記測光手段の測光結果に基づく第１補正値と、前記第２発光を行ったときの前記撮像手段からの出力に基づく第２補正値とに基づいて補正することとしてもよい。この場合、前記第１補正値は、前記第１発光の発光量と前記第２発光の発光量との差に基づいて算出され、前記第２補正値は、前記被写体を前記撮像手段によって撮像して得られた輝度値に基づいて算出されてもよい。また、前記光学系の像面内に設定された複数の焦点検出位置（１５２）に対する前記光学系の焦点状態を検出する焦点検出手段（１０８）を備え、前記光量決定手段は、前記複数の焦点検出位置のうち前記焦点状態が合焦であると判定された焦点検出位置に対応する測光領域を前記第１測光領域として、前記光源の光量を決定してもよい。
In the imaging apparatus, the light source performs first light emission and second light emission to irradiate the subject with a light beam, and the light amount determination unit is configured to measure the photometry of the first photometry area among the plurality of photometry areas. The light emission amount of the second light emission is determined on the basis of the photometric result of the means, and the correction means is an image signal obtained by imaging the subject irradiated with the light emission amount of the second light emission by the imaging means. Among these, the first correction value based on the photometric result of the photometric means when the first light emission is performed on the image signal of the area corresponding to the second photometric area different from the first photometric area, and the second light emission It is good also as correcting based on the 2nd correction value based on the output from the said imaging means when performing. In this case, the first correction value is calculated based on a difference between the light emission amount of the first light emission and the light emission amount of the second light emission, and the second correction value is obtained by imaging the subject by the imaging unit. It may be calculated based on the luminance value obtained in this way. The optical system further includes a focus detection unit (108) for detecting a focus state of the optical system with respect to a plurality of focus detection positions (152) set in an image plane of the optical system, and the light amount determination unit includes the plurality of focus points. You may determine the light quantity of the said light source by making into a said 1st photometry area the photometry area | region corresponding to the focus detection position determined that the said focus state is in focus among detection positions.

上記撮像装置において、前記補正手段は、前記焦点検出位置が存在しない第３測光領域に対応する領域の画像信号を補正の対象から除外してもよい。 In the imaging apparatus, the correction unit may exclude an image signal of a region corresponding to a third photometric region where the focus detection position does not exist from a correction target.

上記撮像装置において、前記光量決定手段は、前記光源の照射を行って前記被写体からの光束を測光した結果と、前記光源の照射を行わずに前記被写体からの光束を測光した結果と、に基づく前記測光結果に基づいて前記光源の光量を決定してもよい。 In the imaging apparatus, the light amount determination unit is based on a result of measuring light flux from the subject by irradiating the light source and a result of measuring light flux from the subject without irradiating the light source. The light quantity of the light source may be determined based on the photometric result.

本撮像装置によれば、画像信号の出力レベルが適正となるように撮影を行うことができる。 According to this imaging apparatus, it is possible to perform imaging so that the output level of the image signal is appropriate.

図１は、実施例１に係る撮像装置の構成を示す図である。FIG. 1 is a diagram illustrating the configuration of the imaging apparatus according to the first embodiment. 図２は、実施例１に係る測光画像と測光領域及びフォーカスポイントの位置との関係を示す図である。FIG. 2 is a diagram illustrating a relationship between the photometric image, the photometric area, and the position of the focus point according to the first embodiment. 図３は、実施例１に係る測光画像と撮影画像とを重ねた状態を示す図である。FIG. 3 is a diagram illustrating a state in which the photometric image and the captured image according to the first embodiment are overlapped. 図４は、実施例１に係る撮像装置の機能ブロック図である。FIG. 4 is a functional block diagram of the imaging apparatus according to the first embodiment. 図５は、実施例１に係る撮影の状況の一例を示す図である。FIG. 5 is a diagram illustrating an example of a shooting situation according to the first embodiment. 図６は、実施例１に係る被写体の撮影を開始してから撮影画像の各画素の輝度値を補正するまでの処理を示すフローチャートである。FIG. 6 is a flowchart illustrating processing from the start of shooting of the subject according to the first embodiment to the correction of the luminance value of each pixel of the shot image. 図７（ａ）は、実施例１に係る予備発光による測光画像を示す図であり、図７（ｂ）は、実施例１に係る定常光による測光画像を示す図であり、図７（ｃ）は、実施例１に係る定常光除去画像を示す図である。FIG. 7A is a diagram showing a photometric image by preliminary light emission according to Example 1, and FIG. 7B is a diagram showing a photometric image by steady light according to Example 1, and FIG. ) Is a diagram illustrating a stationary light removal image according to the first embodiment. 図８は、実施例１に係る被写体領域への領域番号の割り当てを行うサブ処理を示すフローチャートである。FIG. 8 is a flowchart illustrating a sub process for assigning an area number to a subject area according to the first embodiment. 図９は、２値画像の一例を示す図である。FIG. 9 is a diagram illustrating an example of a binary image. 図１０は、実施例１に係る２値画像の走査の様子を示す図である。FIG. 10 is a diagram illustrating scanning of a binary image according to the first embodiment. 図１１は、実施例１に係る２値画像の同一の行における同一の被写体領域に含まれる画素の位置関係を示す図である。FIG. 11 is a diagram illustrating a positional relationship of pixels included in the same subject area in the same row of the binary image according to the first embodiment. 図１２は、実施例１に係る２値画像の隣接する行における同一の被写体領域に含まれる画素の位置関係を示す図である。FIG. 12 is a diagram illustrating a positional relationship of pixels included in the same subject area in adjacent rows of the binary image according to the first embodiment. 図１３は、実施例１に係るステップＳ５０２による２値画像の各画素への領域番号の割り当ての一例を示す図である。FIG. 13 is a diagram illustrating an example of assigning region numbers to the pixels of the binary image in step S502 according to the first embodiment. 図１４は、実施例１に係るステップＳ５０４による２値画像の各画素への領域番号の割り当ての一例を示す図である。FIG. 14 is a diagram illustrating an example of assigning region numbers to the pixels of the binary image in step S504 according to the first embodiment. 図１５は、実施例１に係るステップＳ５０６による２値画像の各画素への領域番号の割り当ての一例を示す図である。FIG. 15 is a diagram illustrating an example of assigning region numbers to the respective pixels of the binary image in step S506 according to the first embodiment. 図１６は、実施例１に係る定常光除去画像の各被写体領域の測光結果を示す図である。FIG. 16 is a diagram illustrating a photometric result of each subject area of the stationary light removal image according to the first embodiment. 図１７は、実施例１に係る撮影画像の各画素の補正前の輝度値を示す図である。FIG. 17 is a diagram illustrating the luminance value before correction of each pixel of the captured image according to the first embodiment. 図１８は、実施例１に係る撮影画像の各画素の補正後の輝度値を示す図である。FIG. 18 is a diagram illustrating the corrected luminance value of each pixel of the captured image according to the first embodiment.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、実施例１に係る撮像装置１００の構成を示す図である。図１のように、撮像装置１００は、レンズ光学系１０９、撮影レンズ１０２、絞り１１８、クイックリターンミラー１０３、コンデンサレンズ１１１、ペンタプリズム１１２、接眼レンズ１１３、ファインダー１２１、レリーズスイッチ１０１、サブミラー１０４、シャッター１０５、第１撮像素子１０６、焦点検出光学系１０７、測距素子１０８、拡散スクリーン１１０、測光用プリズム１１５、測光用レンズ１１６、第２撮像素子１１７、ストロボ（以下、ＳＢと記す）１１９及び筐体１２０を備えている。撮影者１１４が撮像装置１００により被写体１６０の撮影を行う。撮像装置１００は、撮影レンズ１０２を交換可能な構造である。第１撮像素子１０６及び第２撮像素子１１７としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）イメージセンサが用いられる。 FIG. 1 is a diagram illustrating the configuration of the imaging apparatus 100 according to the first embodiment. As shown in FIG. 1, the imaging apparatus 100 includes a lens optical system 109, a photographing lens 102, a diaphragm 118, a quick return mirror 103, a condenser lens 111, a pentaprism 112, an eyepiece lens 113, a viewfinder 121, a release switch 101, a sub mirror 104, Shutter 105, first image sensor 106, focus detection optical system 107, distance measuring element 108, diffusing screen 110, photometric prism 115, photometric lens 116, second image sensor 117, strobe (hereinafter referred to as SB) 119, and A housing 120 is provided. The photographer 114 takes an image of the subject 160 with the imaging device 100. The imaging apparatus 100 has a structure in which the photographing lens 102 can be replaced. As the first image sensor 106 and the second image sensor 117, for example, a CCD (Charge Coupled Device) or a CMOS (Complimentary Metal Oxide Semiconductor) image sensor is used.

図１中の破線１３２で示すように、撮影者１１４は、撮影前にファインダー１２１を通して被写体１６０を確認することができる。まず、被写体１６０からの反射光の光束が、撮影レンズ１０２及び絞り１１８を有するレンズ光学系１０９に入射する。入射した光束はクイックリターンミラー１０３により反射され、拡散スクリーン１１０に結像する。この像は、コンデンサレンズ１１１、ペンタプリズム１１２及び接眼レンズ１１３を順に通過して、撮影者１１４により観測される。 As indicated by a broken line 132 in FIG. 1, the photographer 114 can check the subject 160 through the viewfinder 121 before photographing. First, the light flux of the reflected light from the subject 160 enters the lens optical system 109 having the photographing lens 102 and the diaphragm 118. The incident light beam is reflected by the quick return mirror 103 and forms an image on the diffusing screen 110. This image passes through the condenser lens 111, the pentaprism 112, and the eyepiece 113 in order, and is observed by the photographer 114.

撮影者１１４がレリーズスイッチ１０１を半押しすることにより撮影が開始される。まず、焦点検出が行われる。例えば、瞳分割位相差方式により焦点検出を行う。瞳分割位相差方式では、図１中の破線１３０で示すように、クイックリターンミラー１０３を通過した光束は、サブミラー１０４で反射され、焦点検出光学系１０７において２分割される。分割された光束は、測距素子１０８にて結像され位相差が検出される。分割された光束の位相差がない場合が合焦状態に対応する。測距素子１０８は、ＣＣＤラインセンサで受光された像に応じた焦点検出信号を出力する。レンズ光学系１０９は、焦点検出信号に応じて駆動する。なお、焦点検出は瞳分割位相差方式の他に、例えば、第１撮像素子１０６においてコントラストを検出する方式を用いてもよい。 Shooting starts when the photographer 114 presses the release switch 101 halfway. First, focus detection is performed. For example, focus detection is performed by a pupil division phase difference method. In the pupil division phase difference method, as indicated by a broken line 130 in FIG. 1, the light beam that has passed through the quick return mirror 103 is reflected by the sub mirror 104 and divided into two by the focus detection optical system 107. The divided luminous flux is imaged by the distance measuring element 108 and the phase difference is detected. The case where there is no phase difference between the divided light beams corresponds to the in-focus state. The distance measuring element 108 outputs a focus detection signal corresponding to the image received by the CCD line sensor. The lens optical system 109 is driven according to the focus detection signal. In addition to the pupil division phase difference method, for example, a method of detecting contrast in the first image sensor 106 may be used for focus detection.

続いて、ＳＢ１１９の発光が行われる。以下、ＳＢ１１９の撮影時の発光より前の発光を予備発光と記す。図１中の破線１３４で示すように、予備発光による被写体からの反射光の光束の一部は、拡散スクリーン１１０によって拡散され、コンデンサレンズ１１１、ペンタプリズム１１２、測光用プリズム１１５及び測光用レンズ１１６を順に通過して、第２撮像素子１１７に結像される。以下、第２撮像素子１１７に結像された画像を測光画像と記す。第２撮像素子１１７の各素子は、測光画像の各画素に対応している。以下、測光画像の各画素を測光領域と記す。第２撮像素子１１７の各素子は、受光した光量をＡ／Ｄ変換して、０〜２５５の２５６階調で表した輝度値を出力する。 Subsequently, SB119 emits light. Hereinafter, the light emission before the light emission at the time of photographing of SB119 is referred to as preliminary light emission. As shown by a broken line 134 in FIG. 1, a part of the light beam reflected from the subject by preliminary light emission is diffused by the diffusion screen 110, and the condenser lens 111, the pentaprism 112, the photometric prism 115, and the photometric lens 116. Are sequentially formed and imaged on the second image sensor 117. Hereinafter, an image formed on the second image sensor 117 is referred to as a photometric image. Each element of the second image sensor 117 corresponds to each pixel of the photometric image. Hereinafter, each pixel of the photometric image is referred to as a photometric area. Each element of the second image sensor 117 performs A / D conversion on the received light amount, and outputs a luminance value expressed in 256 gradations from 0 to 255.

撮影者１１４がレリーズスイッチ１０１を半押し状態からさらに押下することにより、ＳＢ１１９の発光が行われる。以下、ＳＢ１１９の撮影時の発光を本発光と記す。このとき、クイックリターンミラー１０３及びサブミラー１０４は撮影光路外に退避され、シャッター１０５が開放され、絞り１１８が絞り込まれる。被写体像は撮影レンズ１０２により第１撮像素子１０６に結像される。以下、第１撮像素子１０６に結像された画像を撮影画像と記す。第１撮像素子１０６の各素子は、撮影画像の各画素に対応している。第１撮像素子１０６の各素子は、受光した光量をＡ／Ｄ変換して、０〜２５５の２５６階調で表した輝度値を出力する。 When the photographer 114 further depresses the release switch 101 from the half-pressed state, the light emission of SB119 is performed. Hereinafter, light emission at the time of shooting of SB119 is referred to as main light emission. At this time, the quick return mirror 103 and the sub mirror 104 are retracted out of the photographing optical path, the shutter 105 is opened, and the diaphragm 118 is narrowed down. The subject image is formed on the first image sensor 106 by the photographing lens 102. Hereinafter, an image formed on the first image sensor 106 is referred to as a captured image. Each element of the first image sensor 106 corresponds to each pixel of the captured image. Each element of the first image sensor 106 A / D-converts the received light amount and outputs a luminance value expressed in 256 gradations from 0 to 255.

図２は、測光画像と、測光領域及びフォーカスポイントの位置との関係を示す図である。図２のように、測光画像１５０の各測光領域は測光画像１５０の１画素に対応する。本実施例では、測光画像１５０が、横方向に１４個及び縦方向に１０個の画素で構成される例を説明する。測光画像１５０の総画素数は１４０である。また、図２中の太線の十字記号で示すように、測光画像１５０には５つのフォーカスポイント１５２が設定されている。フォーカスポイント１５２を含む測光領域の焦点状態が、測距素子１０８により検出される。 FIG. 2 is a diagram illustrating the relationship between the photometric image and the positions of the photometric area and the focus point. As shown in FIG. 2, each photometric area of the photometric image 150 corresponds to one pixel of the photometric image 150. In the present embodiment, an example in which the photometric image 150 includes 14 pixels in the horizontal direction and 10 pixels in the vertical direction will be described. The total number of pixels of the photometric image 150 is 140. In addition, as indicated by the bold cross symbol in FIG. 2, five focus points 152 are set in the photometric image 150. The focus state of the photometric area including the focus point 152 is detected by the distance measuring element 108.

図３は、測光画像と撮影画像とを重ねた状態を示す図である。図３のように、測光画像と撮影画像とは、撮影される被写界の範囲は同一のため、重ねた場合に一致する。本実施例では、測光画像の１画素は、それぞれ撮影画像の１００画素に対応する。測光画像の総画素数は、先に説明したように１４０であるので、撮影画像の総画素数は１４０００である。測光画像における左上端の画素の位置を基準位置として、基準位置から右方向へｉ番目及び下方向へｊ番目となる画素の位置を［ｉ、ｊ］と表す。ｉ及びｊの取り得る値は、それぞれｉ＝０〜１３、ｊ＝０〜９である。同様に、撮影画像の画素の位置を［ｘ、ｙ］と表す。ｘ及びｙの取り得る値は、それぞれｘ＝０〜１３９、ｙ＝０〜９９である。ｘ及びｙは、ｉ、ｊ及びｋ（ｋ＝０〜９）を用いて、それぞれ以下の式（１）及び（２）のように表すことができる。
ｘ＝１０・ｉ＋ｋ式（１）
ｙ＝１０・ｊ＋ｋ式（２） FIG. 3 is a diagram illustrating a state in which a photometric image and a captured image are overlaid. As shown in FIG. 3, the photometric image and the captured image match when they are overlapped because the range of the captured field is the same. In this embodiment, one pixel of the photometric image corresponds to 100 pixels of the captured image. Since the total number of pixels of the photometric image is 140 as described above, the total number of pixels of the photographed image is 14000. With the position of the upper left pixel in the photometric image as the reference position, the position of the i-th pixel in the right direction and the j-th pixel in the downward direction from the reference position is represented as [i, j]. Possible values of i and j are i = 0 to 13 and j = 0 to 9, respectively. Similarly, the pixel position of the captured image is represented as [x, y]. Possible values of x and y are x = 0 to 139 and y = 0 to 99, respectively. x and y can be represented by the following equations (1) and (2) using i, j, and k (k = 0 to 9), respectively.
x = 10 · i + k Formula (1)
y = 10 · j + k Equation (2)

図４を参照して、測光画像及び撮影画像の撮影時の撮像装置１００の動作をより詳細に説明する。図４は、撮像装置１００の機能ブロック図である。図４において、図１と同一の構成には、同一の符号を付して説明を省略する。 With reference to FIG. 4, the operation of the imaging apparatus 100 when taking a photometric image and a taken image will be described in more detail. FIG. 4 is a functional block diagram of the imaging apparatus 100. In FIG. 4, the same components as those of FIG.

図４のように、カメラマイコン２０１は、撮像装置１００の全体の制御を行う。メモリ２０２は、カメラマイコン２０１の処理に必要な各種情報を記憶する。カメラマイコン２０１が行う主な制御は、測光制御、オートフォーカス制御及びマスターＳＢ制御である。 As shown in FIG. 4, the camera microcomputer 201 controls the entire imaging apparatus 100. The memory 202 stores various information necessary for processing of the camera microcomputer 201. The main control performed by the camera microcomputer 201 is photometry control, autofocus control, and master SB control.

測光制御について説明する。カメラマイコン２０１は、第２撮像素子１１７に指示して、予備発光による被写体からの反射光の光束を測光する。第２撮像素子１１７は測光を行って、測光画像の各画素の輝度値をカメラマイコン２０１へ出力する。 Photometric control will be described. The camera microcomputer 201 instructs the second image sensor 117 to measure the light flux of the reflected light from the subject due to the preliminary light emission. The second image sensor 117 performs photometry, and outputs the luminance value of each pixel of the photometric image to the camera microcomputer 201.

カメラマイコン２０１は、測光画像、レンズ情報及び感度情報等に基づいて、定常光露出に関する輝度値（以下、ＬＶと記す）を算出する。レンズ情報は、撮影レンズ１０２の開放Ｆ値、焦点距離及び射出瞳位置等の情報であり、撮影レンズ１０２に設けられたレンズマイコン２０３に格納されている。感度情報は、第１撮像素子１０６から出力される。カメラマイコン２０１は、輝度値ＬＶに基づいて、絞り値及びシャッター値を算出して、絞り制御部２０４及びシャッター２０５へそれぞれ出力する。絞り制御部２０４は、レリーズスイッチ１０１からのレリーズ信号に応じて、絞り１１８の絞り込みや復帰の制御を行う。 The camera microcomputer 201 calculates a luminance value (hereinafter referred to as LV) related to steady light exposure based on a photometric image, lens information, sensitivity information, and the like. The lens information is information such as the open F value, focal length, and exit pupil position of the photographing lens 102 and is stored in the lens microcomputer 203 provided in the photographing lens 102. Sensitivity information is output from the first image sensor 106. The camera microcomputer 201 calculates an aperture value and a shutter value based on the luminance value LV, and outputs them to the aperture controller 204 and the shutter 205, respectively. The diaphragm control unit 204 controls the diaphragm 118 to narrow down and return in accordance with the release signal from the release switch 101.

オートフォーカス制御について説明する。測距素子１０８は、測光画像において、図２に示すようなフォーカスポイント１５２を含む領域の焦点状態を検出する。カメラマイコン２０１は、検出された焦点状態に関する情報に基づいて、レンズ駆動量を算出して、レンズ駆動部２１０へ出力する。レンズ駆動部２１０は、レンズ駆動量に基づいて、フォーカスポイント１５２を含む領域の焦点状態が合焦状態となるようにレンズ光学系１０９を駆動する。以下、合焦状態となったフォーカスポイント１５２を含む領域を合焦領域と記す。 The autofocus control will be described. The distance measuring element 108 detects the focus state of the region including the focus point 152 as shown in FIG. 2 in the photometric image. The camera microcomputer 201 calculates a lens driving amount based on the detected information regarding the focus state, and outputs the lens driving amount to the lens driving unit 210. Based on the lens driving amount, the lens driving unit 210 drives the lens optical system 109 so that the focus state of the region including the focus point 152 becomes a focused state. Hereinafter, an area including the focus point 152 in the in-focus state is referred to as an in-focus area.

撮影レンズ１０２には、レンズ駆動量に対応した距離環の回転角に応じた信号を出す距離エンコーダ２１２が設けられている。レンズマイコン２０３は、距離エンコーダ２１２からの信号を処理して、距離情報を得る。距離情報は、レンズマイコン２０３からカメラマイコン２０１に通知される。カメラマイコン２０１は、距離情報に基づいて、各種の演算や制御を行う。 The photographing lens 102 is provided with a distance encoder 212 that outputs a signal corresponding to the rotation angle of the distance ring corresponding to the lens driving amount. The lens microcomputer 203 processes the signal from the distance encoder 212 to obtain distance information. The distance information is notified from the lens microcomputer 203 to the camera microcomputer 201. The camera microcomputer 201 performs various calculations and controls based on the distance information.

マスターＳＢ制御について説明する。ＳＢ１１９を使用する場合、カメラマイコン２０１は、測光値、絞り値、感度値及び距離値等に基づいて、発光量を算出する。その後、カメラマイコン２０１は、ＳＢマイコン２０７に発光量を設定して閃光発光部２０８を予備発光させる。第２撮像素子１１７は、測光画像の各画素の輝度値をカメラマイコン２０１へ出力する。カメラマイコン２０１は、測光画像の各画素の輝度値に基づいて本発光の光量を算出し、算出した本発光の光量をＳＢマイコン２０７へ設定する。カメラマイコン２０１は、ＳＢ１１９本体内のＳＢマイコン２０７を通じて閃光発光部２０８を本発光させる。第１撮像素子１０６は、本発光により撮影した撮影画像をカメラマイコン２０１に出力する。 The master SB control will be described. When using SB119, the camera microcomputer 201 calculates the light emission amount based on the photometric value, aperture value, sensitivity value, distance value, and the like. Thereafter, the camera microcomputer 201 sets the light emission amount in the SB microcomputer 207 and causes the flash light emitting unit 208 to perform preliminary light emission. The second image sensor 117 outputs the luminance value of each pixel of the photometric image to the camera microcomputer 201. The camera microcomputer 201 calculates the amount of main light emission based on the luminance value of each pixel of the photometric image, and sets the calculated amount of main light emission to the SB microcomputer 207. The camera microcomputer 201 causes the flash light emitting unit 208 to perform main light emission through the SB microcomputer 207 in the SB119 main body. The first image sensor 106 outputs a captured image captured by the main light emission to the camera microcomputer 201.

以下、具体的な撮影の状況を例に挙げて、撮像装置１００により、被写体の撮影を開始してから撮影画像の輝度値を補正するまでの処理を詳細に説明する。 Hereinafter, a specific shooting situation will be described as an example, and the processing from when shooting of a subject is started until the luminance value of the shot image is corrected will be described in detail.

図５を参照して、撮影の状況の一例を説明する。図５は、撮影の状況の一例を示し、撮像装置、被写体及び光源の位置関係を示す図である。図５のように、被写体５０３は撮像装置１００に近い位置に配置され、被写体５０１及び５０２は撮像装置１００から離れた位置に配置されている。被写体５０１及び５０２と撮像装置１００との距離はそれぞれ等しい。光源５０４、５０５及び５０６が、被写体５０１、５０２及び５０３を照明するように配置されている。 An example of the shooting situation will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of a shooting situation, and is a diagram illustrating a positional relationship between an imaging device, a subject, and a light source. As illustrated in FIG. 5, the subject 503 is disposed at a position close to the imaging device 100, and the subjects 501 and 502 are disposed at positions away from the imaging device 100. The distances between the subjects 501 and 502 and the imaging apparatus 100 are equal. Light sources 504, 505, and 506 are arranged to illuminate the subjects 501, 502, and 503.

図６を参照して、実施例１に係る撮影画像の各画素の輝度値を補正する処理を説明する。図６は、被写体の撮影を開始してから撮影画像の各画素の輝度値を補正するまでの処理を示すフローチャートである。 With reference to FIG. 6, the process of correcting the luminance value of each pixel of the captured image according to the first embodiment will be described. FIG. 6 is a flowchart showing processing from the start of shooting of a subject until the luminance value of each pixel of the shot image is corrected.

撮影者１１４によりレリーズスイッチが半押しされると、撮影が開始する。まず、カメラマイコン２０１は、測距素子１０８により、焦点の検出を行う（ステップＳ４０１）。 When the photographer 114 presses the release switch halfway, shooting starts. First, the camera microcomputer 201 detects the focus by the distance measuring element 108 (step S401).

カメラマイコン２０１は、ＳＢマイコン２０７に指示して、予備発光を行う（ステップＳ４０２）。ＳＢ１１９本体内のＳＢマイコン２０７は、閃光発光部２０８により、所定の光量による予備発光を行う。 The camera microcomputer 201 instructs the SB microcomputer 207 to perform preliminary light emission (step S402). The SB microcomputer 207 in the main body of the SB 119 performs preliminary light emission with a predetermined light amount by the flash light emitting unit 208.

カメラマイコン２０１は、第２撮像素子１１７により、予備発光による被写体からの反射光を測光する（ステップＳ４０３）。このとき、測光される反射光は、予備発光による反射光に加え、光源５０４、５０５及び５０６からの光を含む定常光による反射光を含む。第２撮像素子１１７は、カメラマイコン２０１へ予備発光による測光画像Ａを出力する。測光画像Ａを図７（ａ）に示す。図７（ａ）において、測光領域７０１ａ〜７０３ａは、それぞれ図５に示す被写体５０１〜５０３が撮像された測光領域に対応する。測光画像Ａが光源５０４、５０５及び５０６からの光の影響を受けていることを示すために、図７（ａ）中に光源７０４ａ〜７０６ａを記している。測光領域７０１ａ及び７０２ａは、フォーカスポイント１５２と重なるため、合焦領域である。測光画像Ａの各測光領域の輝度値をＶｏｙｍｏｎ［ｉ、ｊ］と表す。カメラマイコン２０１は、輝度値Ｖｏｙｍｏｎ［ｉ、ｊ］をメモリ２０２に記憶する。 The camera microcomputer 201 uses the second image sensor 117 to measure the reflected light from the subject due to preliminary light emission (step S403). At this time, the reflected light to be measured includes reflected light from stationary light including light from the light sources 504, 505, and 506, in addition to reflected light from preliminary light emission. The second image sensor 117 outputs a photometric image A by preliminary light emission to the camera microcomputer 201. A photometric image A is shown in FIG. In FIG. 7A, photometric areas 701a to 703a correspond to the photometric areas where the subjects 501 to 503 shown in FIG. In order to show that the photometric image A is affected by light from the light sources 504, 505, and 506, light sources 704a to 706a are shown in FIG. The photometric areas 701a and 702a are in-focus areas because they overlap the focus point 152. The luminance value of each photometric area of the photometric image A is represented as Voymon [i, j]. The camera microcomputer 201 stores the brightness value Voymon [i, j] in the memory 202.

カメラマイコン２０１は、第２撮像素子１１７により、光量を蓄積する時間をステップＳ４０３において予備発光による測光を行ったときと同じにして、予備発光を行わずに、光源５０４、５０５及び５０６からの光を含む定常光のみによる被写体からの反射光を測光する（ステップＳ４０４）。第２撮像素子１１７は、カメラマイコン２０１へ定常光による測光画像Ｂを出力する。測光画像Ｂを図７（ｂ）に示す。図７（ｂ）の測光領域７０１ｂ〜７０３ｂ及び光源７０４ｂ〜７０６ｂについては、図７（ａ）と同様のため説明を省略する。測光画像Ｂは予備発光せずに測光されるため、測光領域７０１ｂ〜７０３ｂの輝度値は、図７（ａ）の測光領域７０１ａ〜７０３ａの輝度値に比べて小さい。測光画像Ｂの各測光領域の輝度値をＶｏｙｂａｃｋ［ｉ、ｊ］と表す。カメラマイコン２０１は、輝度値Ｖｏｙｂａｃｋ［ｉ、ｊ］をメモリ２０２に記憶する。 The camera microcomputer 201 uses the second image sensor 117 to set the time for storing the light amount to be the same as that when the photometry is performed by the preliminary light emission in step S403, and the light from the light sources 504, 505, and 506 without performing the preliminary light emission. The reflected light from the subject by only the stationary light including the light is measured (step S404). The second image sensor 117 outputs a photometric image B using steady light to the camera microcomputer 201. A photometric image B is shown in FIG. Since the photometric areas 701b to 703b and the light sources 704b to 706b in FIG. 7B are the same as those in FIG. Since the photometric image B is measured without preliminary light emission, the luminance values of the photometric areas 701b to 703b are smaller than the luminance values of the photometric areas 701a to 703a in FIG. The luminance value of each photometric area of the photometric image B is expressed as Voyback [i, j]. The camera microcomputer 201 stores the luminance value Voyback [i, j] in the memory 202.

カメラマイコン２０１は、以下の式（３）のように、輝度値Ｖｏｙｍｏｎ［ｉ、ｊ］と輝度値Ｖｏｙｂａｃｋ［ｉ、ｊ］との差を算出することにより、定常光の影響を取り除いた輝度値Ｖｏｙ［ｉ、ｊ］を算出する（ステップＳ４０５）。
Ｖｏｙ［ｉ、ｊ］
＝Ｖｏｙｍｏｎ［ｉ、ｊ］−Ｖｏｙｂａｃｋ［ｉ、ｊ］式（３）
カメラマイコン２０１は、輝度値Ｖｏｙ［ｉ、ｊ］をメモリ２０２に記憶する。以下、各画素の輝度値がＶｏｙ［ｉ、ｊ］となる画像を、定常光除去画像Ｃと記す。定常光除去画像Ｃを図７（ｃ）に示す。図７（ｃ）において、測光領域７０１ｃ〜７０３ｃは、それぞれ測光領域７０１ａ〜７０３ａの輝度値と測光領域７０１ｂ〜７０３ｂの輝度値との差を各画素の輝度値とする測光領域である。図７（ｃ）のように、定常光除去画像Ｃでは、光源５０４、５０５及び５０６からの光を含む定常光の影響が除去されている。 The camera microcomputer 201 calculates the difference between the luminance value Voymon [i, j] and the luminance value Voyback [i, j] as shown in the following formula (3), thereby removing the luminance value from the stationary light. Voy [i, j] is calculated (step S405).
Voy [i, j]
= Voymon [i, j] -Voyback [i, j] Equation (3)
The camera microcomputer 201 stores the brightness value Voy [i, j] in the memory 202. Hereinafter, an image in which the luminance value of each pixel is Voy [i, j] is referred to as a steady light removal image C. The stationary light removal image C is shown in FIG. In FIG. 7C, photometric areas 701c to 703c are photometric areas in which the difference between the luminance values of the photometric areas 701a to 703a and the luminance values of the photometric areas 701b to 703b is the luminance value of each pixel. As shown in FIG. 7C, in the steady light removal image C, the influence of the steady light including light from the light sources 504, 505, and 506 is removed.

カメラマイコン２０１は、ステップＳ４０５により得られた定常光除去画像Ｃの各被写体の領域に対応する各測光領域に、領域番号を割り当てる（ステップＳ４０６）。以下、被写体の領域に対応する測光領域を、被写体領域と記す。 The camera microcomputer 201 assigns an area number to each photometric area corresponding to each subject area of the steady light removal image C obtained in step S405 (step S406). Hereinafter, the photometric area corresponding to the subject area is referred to as a subject area.

図８を参照して、ステップＳ４０６の処理の詳細を説明する。図８は、ステップＳ４０６のサブ処理を示すフローチャートである。まず、カメラマイコン２０１は、定常光除去画像Ｃの各画素の輝度値Ｖｏｙ［ｉ、ｊ］に基づいて、２値画像Ｄを生成する（ステップＳ５００）。以下では、輝度値がＸ以上か否かに基づいて２値画像Ｄを生成する場合を説明する。輝度値Ｘは０〜２５５のいずれかとする。２値画像Ｄの輝度値をＶｏｙｂｉｎ［ｉ、ｊ］とする。カメラマイコン２０１は、Ｖｏｙ［ｉ、ｊ］がＸ以上の場合、Ｖｏｙｂｉｎ［ｉ、ｊ］＝１と設定する。また、Ｖｏｙ［ｉ、ｊ］がＸ未満の場合、Ｖｏｙｂｉｎ［ｉ、ｊ］＝０と設定する。カメラマイコン２０１は、Ｖｏｙｂｉｎ［ｉ、ｊ］を記憶する。これにより、２値画像Ｄの生成が終了する。図９は、図７（ｃ）の定常光除去画像Ｃの被写体領域の輝度値がＸ以上か否かに基づいて生成された２値画像Ｄを示す。図９において、白色で示す領域９０１、９０２及び９０３の画素（以下、白画素と記す）の輝度値がＸ以上であり、ハッチで示す領域９００の画素（以下、黒画素と記す）は輝度値がＸ未満であることを示している。 Details of the processing in step S406 will be described with reference to FIG. FIG. 8 is a flowchart showing the sub-process of step S406. First, the camera microcomputer 201 generates a binary image D based on the luminance value Voy [i, j] of each pixel of the steady light removal image C (step S500). Below, the case where the binary image D is produced | generated based on whether a luminance value is more than X is demonstrated. The luminance value X is one of 0 to 255. Let the luminance value of the binary image D be Voybin [i, j]. The camera microcomputer 201 sets Voybin [i, j] = 1 when Voy [i, j] is X or more. If Voy [i, j] is less than X, Voybin [i, j] = 0 is set. The camera microcomputer 201 stores Voybin [i, j]. Thereby, the generation of the binary image D is completed. FIG. 9 shows a binary image D generated based on whether or not the luminance value of the subject region of the steady light removal image C in FIG. In FIG. 9, the luminance values of the pixels in the areas 901, 902 and 903 shown in white (hereinafter referred to as white pixels) are X or more, and the pixels in the area 900 shown in the hatch (hereinafter referred to as black pixels) are luminance values. Is less than X.

カメラマイコン２０１は、２値画像Ｄの各行の各画素を順に走査して、各画素に領域番号を割り当てる（ステップＳ５０２）。画素が白画素である場合に、初期値を１とする領域番号を割り当てる。画素が黒画素である場合に、領域番号０を割り当てる。次の行へ移動するとき、領域番号をインクリメントする。２値画像の走査の様子を図１０に示す。図１０に示す矢印８００のように、各行を上から順に走査する。各行の各画素を左から右へ走査する。行の走査が終了後、１つ下の行へ移動する。これを全ての画素の走査が終わるまで繰り返す。 The camera microcomputer 201 sequentially scans each pixel in each row of the binary image D and assigns an area number to each pixel (step S502). When the pixel is a white pixel, an area number with an initial value of 1 is assigned. When the pixel is a black pixel, area number 0 is assigned. When moving to the next line, increment the region number. FIG. 10 shows how the binary image is scanned. Each row is scanned sequentially from the top as indicated by an arrow 800 shown in FIG. Scan each pixel in each row from left to right. After the scanning of the line is completed, it moves to the next lower line. This is repeated until all the pixels have been scanned.

図１１に、２値画像の同一の行における同一の被写体領域に含まれる画素の位置関係を示す。カメラマイコン２０１は、ステップＳ５０２において、図１１のように、注目している白画素ｍの１画素前の画素ｌが白画素である場合、画素ｌと白画素ｍとは同一の被写体領域に含まれると判定して、白画素ｍの領域番号に画素ｌの領域番号と同一の領域番号を割り当てる。注目している白画素ｍの１画素前の画素ｌが黒画素である場合、白画素ｍの領域番号にインクリメントした領域番号を割り当てる。 FIG. 11 shows the positional relationship of pixels included in the same subject area in the same row of the binary image. In step S <b> 502, the camera microcomputer 201, as shown in FIG. 11, if the pixel l one pixel before the target white pixel m is a white pixel, the pixel l and the white pixel m are included in the same subject area. Therefore, the same area number as the area number of the pixel l is assigned to the area number of the white pixel m. When the pixel l one pixel before the white pixel m of interest is a black pixel, an area number incremented is assigned to the area number of the white pixel m.

図１２に、２値画像の隣接する行における同一の被写体領域に含まれる画素の位置関係を示す。カメラマイコン２０１は、図１０に示す矢印８００のように走査して、図１２のように、走査において注目している白画素ｍの左上の画素ｐ、上の画素ｑ及び右上の画素ｒのいずれかが同一の被写体領域に含まれる場合、領域番号を再割り当てする（ステップＳ５０４）。例えば、図１２において、画素ｐが白画素の場合、画素ｐと白画素ｍとは同一の被写体領域に含まれると判定して、白画素ｍの領域番号に画素ｐの領域番号と同一の領域番号を再割り当てする。 FIG. 12 shows the positional relationship of pixels included in the same subject area in adjacent rows of the binary image. The camera microcomputer 201 scans as indicated by an arrow 800 shown in FIG. 10, and as shown in FIG. 12, any one of the upper left pixel p, the upper pixel q, and the upper right pixel r of the white pixel m of interest in the scan. Are included in the same subject area, the area number is reassigned (step S504). For example, in FIG. 12, when the pixel p is a white pixel, it is determined that the pixel p and the white pixel m are included in the same subject area, and the area number of the white pixel m is the same as the area number of the pixel p. Reassign numbers.

ステップＳ５０４に続いて、カメラマイコン２０１は、図１０に示す矢印８００のように走査して、各被写体領域に割り当てられた領域番号が連続となるように、領域番号を再割り当てする（ステップＳ５０６）。以上で、図８に示すフローチャートの処理が終了する。 Subsequent to step S504, the camera microcomputer 201 scans as indicated by an arrow 800 shown in FIG. 10, and reassigns the area numbers so that the area numbers assigned to the subject areas are continuous (step S506). . Thus, the process of the flowchart shown in FIG. 8 ends.

図９、１３、１４及び１５を参照して、ステップＳ５０２、Ｓ５０４及びＳ５０６の処理の具体例を説明する。図１３、１４及び１５は、図９に示す２値画像Ｄに対して、ステップＳ５０２、Ｓ５０４及びＳ５０６を順に適用した結果を示す図である。図１３、１４及び１５において、各画素の枠内に記した数字は、それぞれステップＳ５０２、Ｓ５０４及びＳ５０６の処理により割り当てられた領域番号を示している。図１３、１４及び１５の領域９００、９０１、９０２及び９０３は、図９に示す各領域と同じ領域を示す。 A specific example of the processing of steps S502, S504, and S506 will be described with reference to FIGS. 13, 14 and 15 are diagrams showing the results of applying steps S502, S504 and S506 in order to the binary image D shown in FIG. In FIGS. 13, 14 and 15, the numbers in the frame of each pixel indicate the region numbers assigned by the processes of steps S502, S504 and S506, respectively. Regions 900, 901, 902, and 903 in FIGS. 13, 14, and 15 indicate the same regions as the regions illustrated in FIG.

ステップＳ５０２について、ｊ＝３である行を走査する場合を例に説明する。図９を参照して、カメラマイコン２０１は、位置［０、３］の黒画素の領域番号には０を割り当てる。位置［１、３］の白画素の領域番号には１を割り当てる。位置［２、３］の白画素の領域番号には、位置［２、３］の白画素の１画素前の位置［１、３］の画素が白画素であるため、位置［１、３］の白画素と位置［２、３］の白画素とは同一の被写体領域に含まれると判定して、位置［１、３］の白画素の領域番号と同一の領域番号である１を割り当てる。同様に、位置［３、３］の白画素の領域番号にも１を割り当てる。位置［４、３］から［９、３］の黒画素の領域番号には０を割り当てる。位置［１０、３］の白画素の領域番号には、位置［１０、３］の白画素の１画素前の位置［９、３］の画素が黒画素であるため、インクリメントした領域番号である２を割り当てる。位置［１１、３］の白画素の領域番号には、位置［１１、３］の白画素の１画素前の位置［１０、３］の画素が白画素であるため、位置［１０、３］の白画素と位置［１１、３］の白画素とは同一の被写体領域に含まれると判定して、位置［１０、３］の白画素の領域番号と同一の領域番号である２を割り当てる。同様に、位置［１２、３］の白画素の領域番号にも２を割り当てる。位置［１３、３］の黒画素の領域番号には０を割り当てる。以上で、ｊ＝３である行の走査が終了する。ｊ＝４である行に移動するとき領域番号をインクリメントして４とする。このような処理を２値画像Ｄ全体に適用した結果が図１３である。 Step S502 will be described by taking as an example the case of scanning a row where j = 3. Referring to FIG. 9, camera microcomputer 201 assigns 0 to the area number of the black pixel at position [0, 3]. 1 is assigned to the area number of the white pixel at the position [1, 3]. In the area number of the white pixel at position [2, 3], the pixel at position [1, 3] one pixel before the white pixel at position [2, 3] is a white pixel. And the white pixel at position [2, 3] are determined to be included in the same subject area, and 1 is assigned as the area number of the white pixel at position [1, 3]. Similarly, 1 is also assigned to the area number of the white pixel at position [3, 3]. 0 is assigned to the area numbers of black pixels from positions [4, 3] to [9, 3]. The area number of the white pixel at position [10, 3] is an incremented area number because the pixel at position [9, 3] one pixel before the white pixel at position [10, 3] is a black pixel. 2 is assigned. In the area number of the white pixel at position [11, 3], the pixel at position [10, 3] one pixel before the white pixel at position [11, 3] is a white pixel, so position [10, 3] The white pixel at position [11, 3] is determined to be included in the same subject area, and 2 which is the same area number as the area number of the white pixel at position [10, 3] is assigned. Similarly, 2 is assigned to the area number of the white pixel at the position [12, 3]. 0 is assigned to the area number of the black pixel at the position [13, 3]. This completes the scanning of the row where j = 3. When moving to the line where j = 4, the area number is incremented to 4. The result of applying such processing to the entire binary image D is shown in FIG.

ステップＳ５０４について、位置［１、４］の白画素の領域番号を再割り当てする場合を例に説明する。図１３を参照して、位置［１、４］の白画素の領域番号は３である。カメラマイコン２０１は、位置［１、４］の白画素の上の位置［１、３］の画素と右上の位置［２、３］の画素とが白画素であるため、位置［１、４］の白画素と、位置［１、３］及び［２、３］の画素とは同一の被写体に含まれると判定する。よって、位置［１、４］の白画素の領域番号に、位置［１、３］及び［２、３］の画素の領域番号と同一の領域番号である１を再割り当てする。以上で、位置［１、４］の白画素の領域番号の再割り当てが終了する。このような処理を２値画像Ｄ全体に適用した結果が図１４である。 Step S504 will be described by taking as an example the case of reassigning the area number of the white pixel at position [1, 4]. Referring to FIG. 13, the region number of the white pixel at position [1, 4] is 3. In the camera microcomputer 201, the pixel at the position [1, 3] above the white pixel at the position [1, 4] and the pixel at the upper right position [2, 3] are white pixels. And the pixels at the positions [1, 3] and [2, 3] are determined to be included in the same subject. Therefore, 1 is assigned to the area number of the white pixel at position [1, 4], which is the same area number as the area number of the pixels at positions [1, 3] and [2, 3]. This completes the reassignment of the area number of the white pixel at position [1, 4]. The result of applying such processing to the entire binary image D is shown in FIG.

ステップＳ５０６について、位置［５、４］の白画素の領域番号を再割り当てする場合を例に説明する。図１４を参照して、位置［５、４］の白画素の１つ手前の画素までの走査において、確認された領域番号は０、１及び２である。位置［５、４］の白画素の領域番号は４である。よって、位置［５、４］の白画素の領域番号には、２と連続となる領域番号である３を再割り当てする。以上で、位置［５、４］の白画素の領域番号の再割り当てが終了する。同様に、位置［５、４］の白画素以外の領域番号が４である白画素の領域番号にも３を再割り当てする。このような処理を２値画像Ｄ全体に適用した結果が図１５である。 Step S506 will be described by taking as an example a case where the area number of the white pixel at position [5, 4] is reassigned. Referring to FIG. 14, in the scanning up to the pixel immediately before the white pixel at position [5, 4], the confirmed region numbers are 0, 1, and 2. The area number of the white pixel at position [5, 4] is 4. Therefore, the area number 3 that is continuous with 2 is reassigned to the area number of the white pixel at the position [5, 4]. This completes the reassignment of the area number of the white pixel at the position [5, 4]. Similarly, 3 is reassigned to the area number of the white pixel whose area number is 4, except for the white pixel at the position [5, 4]. The result of applying such processing to the entire binary image D is shown in FIG.

図１５より、図９に示す２値画像Ｄから被写体５０１、５０２及び５０３に対応する３つの被写体領域９０１、９０２及び９０３が抽出され、それぞれに領域番号１、２及び３が割り当てられている。被写体領域９０１、９０２及び９０３を除く領域９００には、領域番号０が割り当てられている。以下、領域番号０の領域を背景領域と記す。 15, three subject areas 901, 902, and 903 corresponding to the subjects 501, 502, and 503 are extracted from the binary image D shown in FIG. 9, and area numbers 1, 2, and 3 are assigned to the subject areas. Region number 0 is assigned to the region 900 excluding the subject regions 901, 902, and 903. Hereinafter, the area with area number 0 is referred to as a background area.

ここで、定常光除去画像Ｃの各画素の領域番号をＧｒｐＮｕｍ［ｉ、ｊ］＝ｔと表す。抽出された被写体領域の領域数をｎとすると、ｔの取り得る値は０〜ｎである。 Here, the region number of each pixel of the stationary light removal image C is expressed as GrpNum [i, j] = t. If the number of extracted subject areas is n, t can have a value of 0 to n.

図６の説明に戻る。ステップＳ４０６に続いて、カメラマイコン２０１は、測光領域の測光結果を算出する（ステップＳ４０７）。測光領域の測光結果は、各被写体領域の輝度値の平均値とする。測光領域の測光結果をＲＭ［ｔ］と表す。 Returning to the description of FIG. Subsequent to step S406, the camera microcomputer 201 calculates a photometric result in the photometric area (step S407). The photometric result of the photometric area is an average value of the luminance values of the subject areas. The photometric result in the photometric area is represented as RM [t].

本実施例では、図１５に示す領域番号の割り当ての結果より、ｔは０〜３となる。図５に示す撮影の状況に基づいて、各ＲＭ［ｔ］（ただしｔ＝０を除く）の例を以下の式（４）、（５）及び（６）で表す値とする。
ＲＭ［１］＝２式（４）
ＲＭ［２］＝２式（５）
ＲＭ［３］＝１６式（６） In this embodiment, t is 0 to 3 from the result of the area number assignment shown in FIG. Based on the shooting situation shown in FIG. 5, examples of each RM [t] (except for t = 0) are values represented by the following equations (4), (5), and (6).
RM [1] = 2 Formula (4)
RM [2] = 2 Formula (5)
RM [3] = 16 Formula (6)

図１６を参照して、定常光除去画像Ｃにおいて抽出された被写体領域９０１、９０２及び９０３と測光結果との関係を説明する。図１６は、定常光除去画像Ｃの各被写体領域の測光結果を示す図である。図１６において、各被写体領域中に示す数字は、対応する上記の各ＲＭ［ｔ］を示している。また、各被写体領域に対応する領域番号ＧｒｐＮｕｍ［ｉ、ｊ］を示している。図１６のように、被写体領域９０１、９０２及び９０３の各ＲＭ［ｔ］はそれぞれ２、２及び１６である。 With reference to FIG. 16, the relationship between the subject areas 901, 902, and 903 extracted from the steady light removal image C and the photometric result will be described. FIG. 16 is a diagram illustrating a photometric result of each subject area of the steady light removal image C. In FIG. 16, the numbers shown in each subject area indicate the corresponding RM [t]. In addition, a region number GrpNum [i, j] corresponding to each subject region is shown. As shown in FIG. 16, the RM [t] of the subject areas 901, 902 and 903 are 2, 2 and 16, respectively.

カメラマイコン２０１は本発光の光量を決定する（ステップＳ４０８）。まず、各被写体領域の本発光におけるＳＢ１１９の光量と予備発光におけるＳＢ１１９の光量との段数差（以下、発光量段数差と記す）をＫＧＮＡｐｅｘ［ｔ］とする。カメラマイコン２０１は、Ｓ４０７で算出したＲＭ［ｔ］を用いて、ＫＧＮＡｐｅｘ［ｔ］を以下の式（７）により算出する。
ＫＧＮＡｐｅｘ［ｔ］＝
−ｌｏｇ_２ＲＭ［ｔ］−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（７）
式（７）の定数ＫＧＮＣＯＮＳＴは、反射率が１８％である標準反射板等の被写体に対して、ＳＢ１１９を本発光したときに、撮像画像の緑成分の輝度値が適正となるための発光量段数差を示す。Ａｖ０は撮影レンズ１０２の開放Ｆ値を示す。Ａｖは撮影レンズ１０２の撮影時の絞りＦ値を示す。 The camera microcomputer 201 determines the amount of main light emission (step S408). First, a step number difference between the light amount of SB 119 in the main light emission and the light amount of SB 119 in the preliminary light emission of each subject region (hereinafter referred to as a light emission amount step number difference) is defined as KGNApex [t]. The camera microcomputer 201 calculates KGNApex [t] by the following equation (7) using RM [t] calculated in S407.
KGNApex [t] =
-Log ₂ RM [t] -Av0 + Av + KGCONST Equation (7)
The constant KGNCONST in Expression (7) is the amount of light emission for the luminance value of the green component of the captured image to be appropriate when the SB119 is actually emitted to a subject such as a standard reflector having a reflectance of 18%. The difference in the number of stages is shown. Av0 indicates the open F value of the taking lens 102. Av represents an aperture F value at the time of photographing with the photographing lens 102.

本実施例では、図１６に示す各被写体領域に対応するＫＧＮＡｐｅｘ［ｔ］は、以下の式（８）、（９）及び（１０）のように表すことができる。
ＫＧＮＡｐｅｘ［１］＝−１−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（８）
ＫＧＮＡｐｅｘ［２］＝−１−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（９）
ＫＧＮＡｐｅｘ［３］＝−４−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（１０） In the present embodiment, KGNApex [t] corresponding to each subject area shown in FIG. 16 can be expressed as the following equations (8), (9), and (10).
KGNApex [1] = − 1−Av0 + Av + KGCONST Equation (8)
KGNApex [2] =-1-Av0 + Av + KGCONST Equation (9)
KGNApex [3] = − 4−Av0 + Av + KGCONST Equation (10)

続いて、カメラマイコン２０１は、合焦領域と判断される領域が複数検出され、かつ、それら複数の合焦領域がそれぞれ被写体領域と重なる場合、各被写体領域の輝度値の平均値ＲＭ［ｔ］の平均値ＲＭａｖｅを求める。なお、合焦領域と判断される領域が１つ検出され、かつ、その合焦領域が１つの被写体領域と重なる場合、その被写体領域の輝度値の平均値ＲＭ［ｔ］をＲＭａｖｅとする。ここで、被写体領域に含まれる画素が合焦領域であるか否かを示す変数ｆｏｃｕｓ［ｉ、ｊ］（ｉ＝０〜１３、ｊ＝０〜９）を用意する。カメラマイコン２０１は、ｆｏｃｕｓ［ｉ、ｊ］に被写体領域に含まれる画素が合焦領域である場合に１、それ以外の場合に０を設定する。 Subsequently, when a plurality of areas determined to be in-focus areas are detected and the plurality of in-focus areas overlap with the subject areas, the camera microcomputer 201 averages the luminance value RM [t] of each subject area. The average value Rave of is obtained. When one area determined to be the in-focus area is detected and the in-focus area overlaps with one subject area, the average value RM [t] of the luminance values of the subject area is set as RMave. Here, a variable focus [i, j] (i = 0 to 13, j = 0 to 9) indicating whether or not the pixel included in the subject area is the in-focus area is prepared. The camera microcomputer 201 sets 1 in focus [i, j] when the pixel included in the subject area is the in-focus area, and 0 otherwise.

本実施例では、図７（ａ）の説明のとおり、合焦領域と判断される領域が２つあり、それぞれ領域番号が１及び２の被写体領域と重なっている。よって、平均値ＲＭａｖｅは、以下の式（１１）のようになる。
ＲＭａｖｅ＝（ＲＭ［１］＋ＲＭ［２］）／２＝２式（１１） In the present embodiment, as described with reference to FIG. 7A, there are two areas that are determined to be in-focus areas, which overlap with the subject areas having area numbers 1 and 2, respectively. Therefore, the average value Rave is as shown in the following formula (11).
RMave = (RM [1] + RM [2]) / 2 = 2 Formula (11)

合焦領域の輝度値が適正となる発光量段数差をＫＧＮＡｐｅｘＨｏｎとする。カメラマイコン２０１は、ＫＧＮＡｐｅｘＨｏｎを以下の式（１２）により算出する。
ＫＧＮＡｐｅｘＨｏｎ＝
−ｌｏｇ_２ＲＭａｖｅ−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（１２）
ここで、カメラマイコン２０１は、背景領域の発光量段数差であるＫＧＮＡｐｅｘ［０］をＫＧＮＡｐｅｘＨｏｎに設定する。本実施例では、ＫＧＮＡｐｅｘＨｏｎは以下のようになる。
ＫＧＮＡｐｅｘＨｏｎ＝ −１−Ａｖ０＋Ａｖ＋ＫＧＮＣＯＮＳＴ式（１３）
予備発光におけるＳＢ１１９の光量及び本発光におけるＳＢ１１９の光量をそれぞれＧＮＭｏｎ及びＧＮＨｏｎとする。カメラマイコン２０１は、ＧＮＭｏｎ及びＫＧＮＡｐｅｘＨｏｎを用いて、ＧＮＨｏｎを以下の式（１４）により決定する。

The difference in the number of emitted light levels at which the brightness value of the in-focus area is appropriate is defined as KGNApexHon. The camera microcomputer 201 calculates KGNApexHon according to the following equation (12).
KGNApexHon =
-Log ₂ RMave-Av0 + Av + KGCONST formula (12)
Here, the camera microcomputer 201 sets KGNApex [0], which is the difference in the number of light emission levels in the background area, to KGNApexHon. In this embodiment, KGNApexHon is as follows.
KGNApexHon =-1-Av0 + Av + KGNCONST Equation (13)
The light quantity of SB119 in the preliminary light emission and the light quantity of SB119 in the main light emission are GNMon and GNHon, respectively. The camera microcomputer 201 determines GNOn by the following formula (14) using GNMon and KGNApexHon.

カメラマイコン２０１は本発光の処理を行う（ステップＳ４１０）。まず、ＳＢ１１９本体内のＳＢマイコン２０７を通じて閃光発光部２０８の本発光を指示する。閃光発光部２０８は、ステップＳ４０８により決定した光量ＧＮＨｏｎによる本発光を行う。このとき、カメラマイコン２０１は、クイックリターンミラー１０３およびサブミラー１０４を撮影光路外に退避させ、輝度値ＬＶに基づいて算出したシャッター値及び絞り値に基づいて、シャッター１０５を開放し、絞り１１８を絞り込む。 The camera microcomputer 201 performs a main light emission process (step S410). First, a main light emission of the flash light emitting unit 208 is instructed through the SB microcomputer 207 in the SB119 main body. The flash light emitting unit 208 performs main light emission with the light amount GNHon determined in step S408. At this time, the camera microcomputer 201 retracts the quick return mirror 103 and the sub mirror 104 out of the photographing optical path, opens the shutter 105 based on the shutter value and the aperture value calculated based on the luminance value LV, and narrows down the aperture 118. .

カメラマイコン２０１は撮影の処理を行う（ステップＳ４１１）。まず、撮影レンズ１０２により第１撮像素子１０６に被写体像を結像させる。このとき、第１撮像素子１０６への光量の蓄積が開始する。ＳＢマイコン２０７は、ＳＢ１１９の光量が光量ＧＮＨｏｎに達した時点でＳＢ１１９の発光を停止する。カメラマイコン２０１は、所定の露光期間が経過すると、シャッター１０５を閉じて、クイックリターンミラー１０３を下げる。第１撮像素子１０６は撮影画像Ｅをカメラマイコン２０１へ出力する。撮影画像Ｅの各画素の輝度値の赤、緑及び青成分を、それぞれＩｍａｇｅ＿Ｒ［ｘ、ｙ］、Ｉｍａｇｅ＿Ｇ［ｘ、ｙ］及びＩｍａｇｅ＿Ｂ［ｘ、ｙ］とする。カメラマイコン２０１は、ｆｏｃｕｓ［ｉ、ｊ］＝１を満たす値ｉ及びｊと、式（１）及び（２）より、撮影画像Ｅの画素の位置を示す値ｘ及びｙの組み合わせを算出する。カメラマイコン２０１は、算出したｘ及びｙの各組み合わせに対応する各Ｉｍａｇｅ＿Ｇ［ｘ、ｙ］を第１撮像素子１０６から取得して、取得したＩｍａｇｅ＿Ｇ［ｘ、ｙ］の平均値を算出する。以下、Ｉｍａｇｅ＿Ｇ［ｘ、ｙ］の平均値をＩｍａｇｅ＿Ｇ＿ｆｏｃｕｓと表す。 The camera microcomputer 201 performs shooting processing (step S411). First, a subject image is formed on the first image sensor 106 by the photographing lens 102. At this time, accumulation of the light amount in the first image sensor 106 starts. The SB microcomputer 207 stops the light emission of the SB 119 when the light amount of the SB 119 reaches the light amount GNHon. When the predetermined exposure period has elapsed, the camera microcomputer 201 closes the shutter 105 and lowers the quick return mirror 103. The first image sensor 106 outputs the captured image E to the camera microcomputer 201. Let the red, green, and blue components of the luminance value of each pixel of the captured image E be Image_R [x, y], Image_G [x, y], and Image_B [x, y], respectively. The camera microcomputer 201 calculates a combination of values i and j satisfying focus [i, j] = 1 and values x and y indicating the pixel position of the captured image E from the expressions (1) and (2). The camera microcomputer 201 acquires each Image_G [x, y] corresponding to each calculated combination of x and y from the first image sensor 106 and calculates an average value of the acquired Image_G [x, y]. Hereinafter, the average value of Image_G [x, y] is represented as Image_G_focus.

本実施例では、ステップＳ４１１において撮影した撮影画像Ｅは図１７のようになる。図１７は、被写体５０１、５０２及び５０３を撮影した撮影画像Ｅを示す図である。図１７において、被写体が撮像された領域中に示す数字は、各画素の補正前の輝度値の緑成分Ｉｍａｇｅ＿Ｇ［ｘ、ｙ］を示している。被写体５０１、５０２及び５０３が撮像された領域９１１、９１２及び９１３のＩｍａｇｅ＿Ｇ［ｘ、ｙ］の値の例をそれぞれ１６、１６及び１６０とする。 In the present embodiment, the captured image E captured in step S411 is as shown in FIG. FIG. 17 is a diagram illustrating a captured image E obtained by capturing the subjects 501, 502, and 503. In FIG. 17, the numbers shown in the area where the subject is imaged indicate the green component Image_G [x, y] of the luminance value before correction of each pixel. Examples of values of Image_G [x, y] of the areas 911, 912, and 913 where the subjects 501, 502, and 503 are imaged are 16, 16, and 160, respectively.

カメラマイコン２０１は、予備発光に基づく補正値を算出する（ステップＳ４１２）。まず、定常光除去画像Ｃの各画素の輝度の補正値（以下、輝度補正値と記す）を算出する。輝度補正値をＣｏｒｒ＿ｉｍｇ２［ｉ、ｊ］とする。カメラマイコン２０１は、定常光除去画像Ｃの各画素の領域番号ＧｒｐＮｕｍ［ｉ、ｊ］を用いて、以下の式（１５）より、Ｃｏｒｒ＿ｉｍｇ２［ｉ、ｊ］を算出する。

なお、合焦領域及び背景領域に対応する画素の輝度はいずれもＫＧＮＡｐｅｘＨｏｎとなるため、式（１５）においてＣｏｒｒ＿ｉｍｇ２［ｉ、ｊ］＝０となる。すなわち、カメラマイコン２０１は、合焦領域及び背景領域に対応する画素を補正の対象から除外する。撮影画像Ｅの各画素の輝度補正値をＣｏｒｒ＿ｉｍｇ１とする。カメラマイコン２０１は、Ｃｏｒｒ＿ｉｍｇ２［ｉ、ｊ］を用いて、以下の式（１６）より、Ｃｏｒｒ＿ｉｍｇ１［ｘ、ｙ］を決定する。
Ｃｏｒｒ＿ｉｍｇ１［ｘ、ｙ］＝Ｃｏｒｒ＿ｉｍｇ２［ｉ、ｊ］式（１６） The camera microcomputer 201 calculates a correction value based on the preliminary light emission (step S412). First, the luminance correction value (hereinafter referred to as the luminance correction value) of each pixel of the steady light removed image C is calculated. Let the luminance correction value be Corr_img2 [i, j]. The camera microcomputer 201 uses the area number GrpNum [i, j] of each pixel of the steady light removal image C to calculate Corr_img2 [i, j] from the following equation (15).

Note that the luminance of the pixels corresponding to the in-focus area and the background area is KGNApexHon, so Corr_img2 [i, j] = 0 in equation (15). That is, the camera microcomputer 201 excludes pixels corresponding to the in-focus area and the background area from correction targets. The brightness correction value of each pixel of the captured image E is assumed to be Corr_img1. The camera microcomputer 201 determines Corr_img1 [x, y] from the following equation (16) using Corr_img2 [i, j].
Corr_img1 [x, y] = Corr_img2 [i, j] Equation (16)

本実施例では、領域番号が１及び２である被写体領域についてＣｏｒｒ＿ｉｍｇ２［ｉ、ｊ］＝０となる。領域番号が３である被写体領域のＣｏｒｒ＿ｉｍｇ２［ｉ、ｊ］の値は以下の式（１７）のように算出される。
Ｃｏｒｒ＿ｉｍｇ２［ｉ、ｊ］＝ＫＧＮＡｐｅｘ［３］−ＫＧＮＡｐｅｘＨｏｎ
＝−４−（−１）＝−３式（１７）
式（１６）及び（１７）より、Ｃｏｒｒ＿ｉｍｇ１［ｘ、ｙ］を決定する。 In the present embodiment, Corr_img2 [i, j] = 0 for the subject areas whose area numbers are 1 and 2. The value of Corr_img2 [i, j] of the subject area whose area number is 3 is calculated as the following Expression (17).
Corr_img2 [i, j] = KGNApex [3] −KGNApexHon
= -4-(-1) =-3 Formula (17)
Corr_img1 [x, y] is determined from equations (16) and (17).

カメラマイコン２０１は、本発光に基づく補正値を算出する（ステップＳ４１３）。被写体からの反射光の光量を受光したときに第１撮像素子１０６から出力される輝度値の緑成分の目標値をＩｍａｇｅ＿Ｇ＿ｔａｒｇｅｔとする。本発光に基づく補正値を、２を底とするＩｍａｇｅ＿Ｇ＿ｆｏｃｕｓとＩｍａｇｅ＿Ｇ＿ｔａｒｇｅｔとの比の対数とし、以下、Ｈｏｓｅｉと記す。カメラマイコン２０１は、Ｈｏｓｅｉを以下の式（１８）により算出する。

Ｈｏｓｅｉが正となるのは、Ｉｍａｇｅ＿Ｇ＿ｆｏｃｕｓがＩｍａｇｅ＿Ｇ＿ｔａｒｇｅｔより小さい場合である。この場合、実際に本発光して得られた撮影画像において、被写体の緑成分の輝度値が目標値よりも小さく、アンダーと考えられる。そのため、明るくなるように補正する。逆に、Ｈｏｓｅｉが負となるのは、Ｉｍａｇｅ＿Ｇ＿ｆｏｃｕｓがＩｍａｇｅ＿Ｇ＿ｔａｒｇｅｔより大きい場合である。この場合、実際に本発光して得られた撮影画像において、被写体の緑成分の輝度値が目標値よりも大きく、オーバーと考えられる。そのため、暗くなるように補正する。この補正は、撮影時のレンズの絞り込みによる誤差、ＳＢの発光量誤差及び定常光による影響等、すべての誤差要因を含めた撮影画像の輝度値補正のために行う。 The camera microcomputer 201 calculates a correction value based on the main light emission (step S413). The target value of the green component of the luminance value output from the first image sensor 106 when the amount of reflected light from the subject is received is assumed to be Image_G_target. The correction value based on the main light emission is a logarithm of the ratio of Image_G_focus and Image_G_target with 2 as the base, and is hereinafter referred to as “Hosei”. The camera microcomputer 201 calculates Hosei by the following equation (18).

The case where Hosei is positive is when Image_G_focus is smaller than Image_G_target. In this case, the luminance value of the green component of the subject is smaller than the target value in the captured image actually obtained by the main light emission, which is considered to be under. Therefore, it corrects so that it may become bright. Conversely, the case where Hosei is negative is when Image_G_focus is greater than Image_G_target. In this case, the luminance value of the green component of the subject is larger than the target value in the captured image actually obtained by the main light emission, which is considered to be over. Therefore, it corrects so that it may become dark. This correction is performed for correcting the luminance value of the captured image including all error factors such as an error due to lens narrowing at the time of shooting, an SB light emission amount error, and an influence due to stationary light.

カメラマイコン２０１は、式（１６）により算出した予備発光に基づく補正値Ｃｏｒｒ＿ｉｍｇ１と、式（１８）により算出した本発光に基づく補正値Ｈｏｓｅｉとを用いて、以下の式（１９）、（２０）及び（２１）により撮影画像Ｅの各画素の輝度値を補正する（ステップＳ４１４）。

撮影画像Ｅの各画素の輝度値を補正した後の画像を、撮影画像Ｆとする。ここで、ＩｍａｇｅＨｏｎ＿Ｒ［ｘ、ｙ］、ＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］及びＩｍａｇｅＨｏｎ＿Ｂ［ｘ、ｙ］は、それぞれ撮影画像Ｆの各画素の輝度値の赤、緑及び青成分を示す。以上で、図６に示すフローチャートの処理が終了する。 The camera microcomputer 201 uses the correction value Corr_img1 based on the preliminary light emission calculated by the equation (16) and the correction value Hosei based on the main light emission calculated by the equation (18), and uses the following equations (19) and (20). And the luminance value of each pixel of the photographed image E is corrected by (21) (step S414).

Let the image after correcting the luminance value of each pixel of the captured image E be a captured image F. Here, ImageHon_R [x, y], ImageHon_G [x, y], and ImageHon_B [x, y] indicate red, green, and blue components of the luminance value of each pixel of the captured image F, respectively. Thus, the process of the flowchart shown in FIG. 6 ends.

本実施例では、ＩｍａｇｅＨｏｎ＿Ｒ［ｘ、ｙ］、ＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］及びＩｍａｇｅＨｏｎ＿Ｂ［ｘ、ｙ］は、それぞれ以下のようになる。
ＩｍａｇｅＨｏｎ＿Ｒ［ｘ、ｙ］
＝Ｉｍａｇｅ＿Ｒ［ｘ、ｙ］・２^{−３＋Ｈｏｓｅｉ} 式（２２）
ＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］
＝Ｉｍａｇｅ＿Ｇ［ｘ、ｙ］・２^{−３＋Ｈｏｓｅｉ} 式（２３）
ＩｍａｇｅＨｏｎ＿Ｂ［ｘ、ｙ］
＝Ｉｍａｇｅ＿Ｂ［ｘ、ｙ］・２^{−３＋Ｈｏｓｅｉ} 式（２４）
ここで、例えば、実際の本発光の光量が、予備発光に基づいて算出した光量と等しかったとして、本発光に基づく補正値Ｈｏｓｅｉを０とする。このとき、撮影画像Ｆの各画素の輝度値は、補正前の輝度値の２^−３＝１／８倍となる。画素の輝度値の緑成分を例に説明する。領域番号が３の被写体領域に対応する撮影画像Ｆの各画素の輝度値の緑成分ＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］は以下の式（２５）のように算出される。
ＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］＝１６０／８＝２０式（２５） In this embodiment, ImageHon_R [x, y], ImageHon_G [x, y], and ImageHon_B [x, y] are as follows.
ImageHon_R [x, y]
= Image_R [x, y] · 2 ^{−3 + Hosei} equation (22)
ImageHon_G [x, y]
= Image_G [x, y] · 2 ^{−3 + Hosei} equation (23)
ImageHon_B [x, y]
= Image_B [x, y] · 2 ^{−3 + Hosei} equation (24)
Here, for example, assuming that the actual light emission amount is equal to the light amount calculated based on the preliminary light emission, the correction value Hosei based on the main light emission is set to zero. At this time, the luminance value of each pixel of the captured image F is 2 ⁻³ = 1/8 times the luminance value before correction. A green component of the luminance value of the pixel will be described as an example. The green component ImageHon_G [x, y] of the luminance value of each pixel of the captured image F corresponding to the subject area with the area number 3 is calculated as in the following Expression (25).
ImageHon_G [x, y] = 160/8 = 20 Formula (25)

図１８は、図１７に示す撮影画像Ｅの画像信号を補正した後の撮影画像Ｆを示す図である。図１８において、被写体が撮像された領域中に示す数字は、上記で算出した補正後の輝度値の緑成分であるＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］を示している。図１８のように、被写体５０３が撮像された領域９１３の各画素のＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］の値は、式（２５）より２０となる。領域番号が０、１及び２の被写体領域に対応する各画素は補正の対象から除外される。よって、被写体５０１及び５０２が撮像された領域９１１及び９１２の各画素のＩｍａｇｅＨｏｎ＿Ｇ［ｘ、ｙ］の値は、補正されず１６のままとなる。 FIG. 18 is a diagram illustrating the captured image F after the image signal of the captured image E illustrated in FIG. 17 is corrected. In FIG. 18, the numbers shown in the area where the subject is imaged indicate ImageHon_G [x, y], which is the green component of the luminance value after correction calculated above. As shown in FIG. 18, the value of ImageHon_G [x, y] of each pixel in the area 913 where the subject 503 is imaged is 20 from the equation (25). The pixels corresponding to the subject areas having the area numbers 0, 1, and 2 are excluded from correction targets. Therefore, the value of ImageHon_G [x, y] of each pixel in the areas 911 and 912 in which the subjects 501 and 502 are captured remains 16 without being corrected.

図１７のような撮影画像Ｅにおいて、焦点を合わせた奥の被写体５０１及び５０２が撮像された領域９１１及び９１２の輝度値に比べて、手前の被写体５０３が撮像された領域９１３の輝度値が高くなると、撮影者は違和感を覚える場合がある。そのような場合でも、カメラマイコン２０１は、図１８のように、手前の被写体５０３が撮像された領域９１３の輝度値を補正することができる。よって、撮影者は違和感を軽減した撮影画像Ｆを撮影することができる。 In the captured image E as shown in FIG. 17, the brightness value of the area 913 where the near subject 503 is captured is higher than the brightness value of the areas 911 and 912 where the focused subjects 501 and 502 are captured. Then, the photographer may feel uncomfortable. Even in such a case, the camera microcomputer 201 can correct the luminance value of the region 913 in which the near subject 503 is imaged as shown in FIG. Therefore, the photographer can photograph the photographed image F with reduced discomfort.

実施例１の撮像装置１００によれば、カメラマイコン２０１は、図６のステップＳ４０７のように、図１６に示す定常光除去画像Ｃの領域番号が１、２及び３の被写体領域９０１、９０２及び９０３のうちの領域番号が１及び２の被写体領域９０１及び９０２を第１測光領域として、図６のステップＳ４０８のように、第１測光領域に対する測光結果に基づいて、ＳＢ１１９の光量ＧＮＨｏｎを決定する。カメラマイコン２０１は、図６のステップＳ４１４のように、ステップＳ４０８で決定された光量ＧＮＨｏｎでＳＢ１１９からの光束が照射された被写体を撮像して得られた撮影画像Ｅの画像信号のうち、図１６に示す定常光除去画像Ｃの被写体領域のうち第１測光領域とは異なる領域、すなわち、領域番号が３の被写体領域９０３を第２測光領域として、図１７に示す第２測光領域に対応する領域９１３の画像信号を補正する。これにより、撮像装置との距離が各々異なる複数の被写体を撮影する場合、撮影画像全体の画像信号が適正となるように撮影を行うことができる。よって、撮影者は、ＳＢを用いたことによる違和感を軽減した、見た目に自然な撮影画像Ｆを撮影することができる。また、実施例１によれば、特許文献１の撮像装置と比較して、ＳＢの発光回数を１回に抑えることができるため、ＳＢのエネルギーの消費量を低減することができる。また、複数枚の画像を保存する必要がないため、メモリの使用量を抑えることができる。よって、コストの低減に効果がある。 According to the imaging apparatus 100 of the first embodiment, the camera microcomputer 201 uses the subject areas 901, 902, and the area numbers 1, 2, and 3 of the stationary light removal image C illustrated in FIG. 16 as illustrated in step S407 of FIG. The subject areas 901 and 902 having the area numbers 1 and 2 in 903 are set as the first photometry areas, and the light quantity GNOn of SB119 is determined based on the photometry results for the first photometry area as in step S408 in FIG. . As shown in step S414 in FIG. 6, the camera microcomputer 201 selects the image signal of the captured image E obtained by imaging the subject irradiated with the light beam from the SB 119 with the light amount GNOn determined in step S408. The area corresponding to the second photometry area shown in FIG. 17 is defined as an area different from the first photometry area among the subject areas of the stationary light removal image C shown in FIG. The image signal 913 is corrected. As a result, when a plurality of subjects having different distances from the imaging device are photographed, photographing can be performed so that the image signal of the entire photographed image is appropriate. Therefore, the photographer can shoot a natural captured image F with reduced discomfort due to the use of SB. In addition, according to the first embodiment, the number of SB light emissions can be reduced to one as compared with the imaging apparatus disclosed in Patent Document 1, so that the energy consumption of SB can be reduced. In addition, since it is not necessary to store a plurality of images, the amount of memory used can be reduced. Therefore, it is effective in reducing the cost.

実施例１において、カメラマイコン２０１が、図６のステップＳ４０８のように、フォーカスポイント１５２のうち焦点状態が合焦であると判定されたフォーカスポイント１５２に対応する測光領域である領域番号が１及び２の被写体領域を第１測光領域として、ＳＢ１１９の光量ＧＮＨｏｎを決定する例を説明した。これにより、焦点状態が合焦であると判定された測光領域に対応する撮影画像の領域の画像信号が適正となるように本発光の光量を決定することができる。また、焦点状態が合焦であると判定された測光領域を除く領域に対応する撮影画像の領域の画像信号が適正となるように補正することができる。撮影者にとって、合焦である被写体の画像信号が適正であることが好ましいため、利便性の向上に効果がある。他に、例えば、焦点状態が合焦ではないと判定された測光領域を第１測光領域としてもよい。また、撮影者が選択した領域を第１測光領域としてもよい。 In the first exemplary embodiment, the camera microcomputer 201 sets the area number that is a photometric area corresponding to the focus point 152 determined to be in focus among the focus points 152 as in step S408 of FIG. The example in which the amount of light GNHon of SB119 is determined using the two subject areas as the first photometry area has been described. Thereby, the light quantity of the main light emission can be determined so that the image signal of the area of the captured image corresponding to the photometric area determined to be in focus is appropriate. Further, it is possible to correct so that the image signal of the photographed image area corresponding to the area excluding the photometric area determined to be in focus is appropriate. For the photographer, it is preferable that the image signal of the subject that is in focus is appropriate, which is effective in improving convenience. In addition, for example, a photometric area in which the focus state is determined to be out of focus may be set as the first photometric area. The area selected by the photographer may be the first photometric area.

実施例１において、カメラマイコン２０１が、ステップＳ４１１のように、第１測光領域及び第２測光領域に対する第２撮像素子１１７の測光結果である図１６に示すようなＲＭ［１］、ＲＭ［２］及びＲＭ［３］に基づいて、図１７に示す第２測光領域に対応する領域９１３の画像信号を補正する例を説明した。これにより、測光結果に基づいてより適正な補正を行うことができる。実施例１では、各被写体領域の輝度値の平均値を測光結果とする例を説明したが、例えば、コントラストの平均値を測光結果としてもよい。 In the first embodiment, the camera microcomputer 201 performs RM [1] and RM [2 as shown in FIG. 16 as the photometric results of the second image sensor 117 with respect to the first photometric area and the second photometric area as in step S411. ] And RM [3], the example in which the image signal of the area 913 corresponding to the second photometric area shown in FIG. 17 is corrected has been described. Thereby, more appropriate correction can be performed based on the photometric result. In the first embodiment, the example in which the average value of the luminance values of the subject areas is used as the photometric result has been described. However, for example, the average value of the contrast may be used as the photometric result.

実施例１において、カメラマイコン２０１が、ステップＳ４１１のように、第１測光領域に対する第１測光結果であるＲＭ［１］及びＲＭ［２］に基づく発光量段数差ＫＧＮＡｐｅｘＨｏｎと、第２測光領域に対する第２測光結果であるＲＭ［３］に基づく発光量段数差ＫＧＮＡｐｅｘ［３］との差Ｃｏｒｒ＿ｉｍｇ２［ｉ、ｊ］に対応するＣｏｒｒ＿ｉｍｇ１［ｘ、ｙ］に基づいて、図１７に示す第２測光領域に対応する領域９１３の画像信号を補正する例を説明した。これにより、ＳＢの光量の差に基づいてより適正な補正を行うことができる。実施例１では、第１撮像素子１０６、第２撮像素子１１７の入出力特性が線形として、光量の差に基づく式（６）により画像信号を補正する例を説明した。第１撮像素子１０６、第２撮像素子１１７の入出力特性が非線形の場合、その影響を考慮した光量の差に基づいて画像信号を補正してもよい。 In the first embodiment, as in step S411, the camera microcomputer 201 determines the light emission amount stage number difference KGNApexHon based on RM [1] and RM [2], which are the first photometry results for the first photometry area, and the second photometry area. Based on Corr_img1 [x, y] corresponding to the difference Corr_img2 [i, j] with the light emission amount stage difference KGNApex [3] based on RM [3] as the second photometric result, the second photometric area shown in FIG. The example in which the image signal in the region 913 corresponding to the above is corrected has been described. Thereby, more appropriate correction can be performed based on the difference in the amount of light of SB. In the first exemplary embodiment, the input / output characteristics of the first image sensor 106 and the second image sensor 117 are linear, and the example in which the image signal is corrected by Expression (6) based on the difference in the amount of light has been described. When the input / output characteristics of the first image sensor 106 and the second image sensor 117 are non-linear, the image signal may be corrected based on the difference in light quantity considering the influence.

実施例１において、カメラマイコン２０１が、ステップＳ４１１のように、フォーカスポイント１５２が存在しない領域番号が０の被写体領域を第３領域として、第３領域に対応する領域の画像信号を補正の対象から除外する例を説明した。第３領域は、背景領域に対応する。フォーカスポイント１５２が存在しない背景領域は概して撮影者の注目する領域ではないため、補正をしなくても十分である場合が多い。背景領域を補正の対象から除外することにより、カメラマイコン２０１の処理量を削減して、撮影開始から完了までの処理時間の短縮に効果がある。 In the first embodiment, as in step S411, the camera microcomputer 201 sets the subject area having the area number 0 where the focus point 152 does not exist as the third area, and the image signal of the area corresponding to the third area is corrected. The example to exclude was demonstrated. The third area corresponds to the background area. Since the background region where the focus point 152 does not exist is generally not the region of interest to the photographer, it is often sufficient that no correction is made. By excluding the background region from the correction target, the processing amount of the camera microcomputer 201 can be reduced, and the processing time from the start to the end of shooting can be shortened.

実施例１において、カメラマイコン２０１が、ステップＳ４０３のようにＳＢ１１９の照射を行って被写体からの光束を測光した結果である測光画像Ａと、ステップＳ４０４のようにＳＢ１１９の照射を行わずに被写体からの光束を測光した結果である測光画像Ｂとに基づく測光結果である定常光除去画像Ｃに基づいて、ステップＳ４０８のようにＳＢ１１９の光量を決定する例を説明した。定常光除去画像Ｃは予備発光のみによる被写体からの光束を測光した結果である。よって、測光画像Ａや測光画像Ｂではなく定常光除去画像Ｃを用いる方が、本発光の光量をより精度よく決定することができる。 In the first embodiment, the camera microcomputer 201 irradiates SB119 as in step S403 to measure the luminous flux from the subject, and the photometric image A as a result of SB119 irradiation as in step S404. The example in which the amount of light of SB119 is determined as in step S408 based on the steady light removed image C, which is a photometric result based on the photometric image B, which is the result of photometric measurement of the luminous flux of. The stationary light removal image C is a result of photometry of a light beam from a subject by only preliminary light emission. Therefore, the amount of main light emission can be determined with higher accuracy by using the steady light removed image C instead of the photometric image A and the photometric image B.

実施例１において、撮影画像の各画素の画像信号を補正する一例として、画像信号の輝度値を補正する例を説明した。輝度値の他に、コントラスト値等を補正してもよい。 In the first embodiment, the example of correcting the luminance value of the image signal has been described as an example of correcting the image signal of each pixel of the captured image. In addition to the luminance value, a contrast value or the like may be corrected.

図６のステップＳ４１４において、予備発光に基づく補正値Ｃｏｒｒ＿ｉｍｇ１と本発光に基づく補正値Ｈｏｓｅｉとを用いて、撮影画像の各画素の輝度値を補正する例を説明した。例えば、本発光に基づく補正値Ｈｏｓｅｉを用いず、予備発光に基づく補正値Ｃｏｒｒ＿ｉｍｇ１のみで補正してもよい。 The example in which the luminance value of each pixel of the photographed image is corrected using the correction value Corr_img1 based on the preliminary light emission and the correction value Hosei based on the main light emission in step S414 in FIG. For example, the correction value Josei based on the main light emission may not be used, and the correction may be performed using only the correction value Corr_img1 based on the preliminary light emission.

ステップＳ５００において、輝度値がＸ以上か否かにより２値画像を生成する例を説明した。例えば、輝度値が所定の範囲内であるか否かにより２値画像を生成してもよい。任意の輝度値ごとに２値画像を生成してもよい。任意の輝度値ごとに生成した複数の２値画像をマージして２値画像を生成してもよい。 In step S500, the example in which the binary image is generated based on whether the luminance value is X or more has been described. For example, a binary image may be generated depending on whether or not the luminance value is within a predetermined range. A binary image may be generated for each arbitrary luminance value. A binary image may be generated by merging a plurality of binary images generated for each arbitrary luminance value.

ステップＳ４０８において、式（４）の定数ＫＧＮＣＯＮＳＴは、撮像画像の画素の緑成分の輝度値が適正となるための発光量段数差である例を説明した。例えば、撮像画像の画素の輝度値のうち、赤、青成分や補色成分が適正となるための発光量段数差を定数ＫＧＮＣＯＮＳＴに用いてもよい。 In step S408, the constant KGNCONST in Expression (4) has been described as an example in which the luminance value of the green component of the pixel of the captured image is the difference in the number of light emission levels. For example, among the luminance values of the pixels of the captured image, a difference in the number of light emission levels for red, blue and complementary color components to be appropriate may be used as the constant KGNCONST.

ステップＳ４１３において、撮影画像の画素の輝度値の緑成分に対応するＩｍａｇｅ＿Ｇ＿ｆｏｃｕｓ及びＩｍａｇｅ＿Ｇ＿ｔａｒｇｅｔを用いて、Ｈｏｓｅｉを算出する例を説明した。例えば、撮影画像の画素の輝度値のうち、赤、青成分や補色成分に対応する同様の各値を用いてＨｏｓｅｉを算出してもよい。 In step S413, an example has been described in which the Hosei is calculated using Image_G_focus and Image_G_target corresponding to the green component of the luminance value of the pixel of the captured image. For example, among the luminance values of the pixels of the photographed image, Hosei may be calculated using similar values corresponding to the red, blue components, and complementary color components.

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims. It can be changed.

１００撮像装置
１０６第１撮像素子
１０７焦点検出光学系
１０８測距素子
１０９レンズ光学系
１１６測光用レンズ
１１７第２撮像素子
１１９ＳＢ
２０１カメラマイコン
２０３レンズマイコン
２０４絞り制御部
２０７ＳＢマイコン
２０８閃光発光部 DESCRIPTION OF SYMBOLS 100 Image pick-up device 106 1st image pick-up element 107 Focus detection optical system 108 Distance measuring element 109 Lens optical system 116 Photometry lens 117 2nd image pick-up element 119 SB
201 Camera microcomputer 203 Lens microcomputer 204 Aperture control unit 207 SB microcomputer 208 Flash light emitting unit

Claims

Imaging means for capturing an image of a subject by an optical system and outputting an image signal;
A photometric means for measuring the light flux from the subject by dividing it into a plurality of photometric areas;
A light source for irradiating the subject with a luminous flux;
A light amount determining means for determining a light amount of the light source based on a photometric result of the photometric means for a first photometric area of the plurality of photometric areas;
In a second photometry area different from the first photometry area of the image signal obtained by imaging the subject irradiated with the light flux from the light source with the light quantity determined by the light quantity determination means. Correction means for correcting the image signal of the corresponding area ,
The correction unit corrects an image signal in an area corresponding to the second photometry area based on a first correction value based on a photometry result of the photometry means and a second correction value based on an output from the imaging means. An imaging apparatus characterized by:

  The light source performs first light emission and second light emission to irradiate the subject with a light beam,
  The light quantity determining means determines the light emission amount of the second light emission based on a photometric result of the photometric means for the first photometric area of the plurality of photometric areas;
  The correction means includes an area corresponding to a second photometry area different from the first photometry area in an image signal obtained by imaging the subject irradiated with the light emission amount of the second light emission by the imaging means. The first correction value based on the photometry result of the photometry means when the first light emission is performed, and the second correction value based on the output from the imaging means when the second light emission is performed The image pickup apparatus according to claim 1, wherein correction is performed based on the correction.

The first correction value is calculated based on a difference between a light emission amount of the first light emission and a light emission amount of the second light emission,
The imaging apparatus according to claim 2, wherein the second correction value is calculated based on a luminance value obtained by imaging the subject with the imaging unit.

A focus detection unit that detects a focus state of the optical system with respect to a plurality of focus detection positions set in an image plane of the optical system;
The light amount determining means determines a light amount of the light source using a photometric area corresponding to a focus detection position determined to be in focus as the first photometric area among the plurality of focus detection positions. The imaging device according to any one of claims 1 to 3, wherein

The imaging apparatus according to claim 4 , wherein the correction unit excludes an image signal of a region corresponding to a third photometric region where the focus detection position does not exist from a correction target.

The light quantity determining means is based on the photometric result based on the result of measuring the luminous flux from the subject by irradiating the light source and the result of measuring the luminous flux from the subject without irradiating the light source. the imaging apparatus according to any one of claims 1 to 5, characterized in that to determine the quantity of the light source Te.