JP7242247B2 - IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE - Google Patents

IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE Download PDF

Info

Publication number
JP7242247B2
JP7242247B2 JP2018205619A JP2018205619A JP7242247B2 JP 7242247 B2 JP7242247 B2 JP 7242247B2 JP 2018205619 A JP2018205619 A JP 2018205619A JP 2018205619 A JP2018205619 A JP 2018205619A JP 7242247 B2 JP7242247 B2 JP 7242247B2
Authority
JP
Japan
Prior art keywords
area
image data
face
light emitting
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018205619A
Other languages
Japanese (ja)
Other versions
JP2020072391A5 (en
JP2020072391A (en
Inventor
宣和 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018205619A priority Critical patent/JP7242247B2/en
Publication of JP2020072391A publication Critical patent/JP2020072391A/en
Publication of JP2020072391A5 publication Critical patent/JP2020072391A5/ja
Application granted granted Critical
Publication of JP7242247B2 publication Critical patent/JP7242247B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Description

本発明は、調光を行う撮像装置および撮像装置の制御方法に関する。 The present invention relates to an imaging device that performs light control and a control method for the imaging device.

例えば、デジタルカメラ等の撮像装置として、撮像された画像データに含まれる顔の領域の情報を用いて調光を行うものがある。関連する技術として、特許文献1の撮像装置が提案されている。特許文献1の撮像装置は、発光がない状態での顔領域の輝度色情報と、発光を行った状態での顔領域の輝度色情報との差分を考慮して、顔色を考慮した発光量を算出し、補正している。 For example, there is an imaging apparatus such as a digital camera that performs light control using information on a face area included in captured image data. As a related technology, an imaging device is proposed in Japanese Patent Application Laid-Open No. 2002-200012. The image pickup apparatus of Patent Document 1 considers the difference between the luminance color information of the face region in the absence of light emission and the luminance color information of the face region in the light emission state, and determines the amount of light emission considering the complexion. calculated and corrected.

特開2015-75628号公報JP 2015-75628 A

例えば、撮像装置により撮像を行うシーンが逆光シーン等のように、ストロボが発光していない定常状態では、撮像された画像データ中の顔の領域が暗くなることがある。その場合、顔の領域の特定が困難なため顔の領域に適正な発光量を算出することは難しい。 For example, in a steady state in which the strobe does not emit light, such as when the scene to be imaged by the imaging device is a backlit scene, the face area in the imaged image data may become dark. In that case, it is difficult to specify the face area, and therefore it is difficult to calculate the appropriate amount of light emission for the face area.

本発明の目的は、顔の領域に適した調光の精度を向上させることができる撮像装置および撮像装置の制御方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an imaging device and a control method for the imaging device that can improve the accuracy of light adjustment suitable for a face area.

上記目的を達成するために、本発明の撮像装置は、発光手段と、画像データから被写体の顔領域を検出する検出手段と、前記発光手段を発光させていない画像データから被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される第1領域を推定する推定手段と、推定された前記第1領域に複数の枠を設定する設定手段と、前記発光手段を発光させていない画像データに対して設定された前記複数の枠の信号値に基づいて調光を行う調光手段と、を備え、前記推定手段は、前記発光手段を発光させていない画像データのうち、輝度値が所定値以下である領域を前記第1領域として推定することを特徴とする。 To achieve the above object, the imaging apparatus of the present invention comprises light emitting means, detection means for detecting a face area of a subject from image data, and detection of the face area of the subject from image data in which the light emitting means is not illuminated. if not, estimating means for estimating a first area in which the face area of the subject is detected from image data obtained by causing the light emitting means to emit light; setting means for setting a plurality of frames in the estimated first area; light control means for performing light control based on the signal values of the plurality of frames set for the image data in which the light emitting means is not caused to emit light, and the estimation means is configured to cause the light emitting means to emit no light. It is characterized by estimating an area of the image data whose brightness value is equal to or less than a predetermined value as the first area .

本発明によれば、顔の領域に適した調光の精度を向上させることができる。 According to the present invention, it is possible to improve the accuracy of dimming suitable for the face area.

本実施形態に係る撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device which concerns on this embodiment. 実施形態に係る処理の流れを示すフローチャートである。4 is a flowchart showing the flow of processing according to the embodiment; 撮影処理の流れを示すフローチャートである。4 is a flowchart showing the flow of imaging processing; 顔領域推定処理の流れを示すフローチャートである。7 is a flowchart showing the flow of face area estimation processing; 画像データに設定される各種の枠の設定例を示す図である。FIG. 7 is a diagram showing setting examples of various frames set in image data;

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。 Hereinafter, each embodiment of the present invention will be described in detail with reference to the drawings. However, the configurations described in each embodiment below are merely examples, and the scope of the present invention is not limited by the configurations described in each embodiment.

図1は、本実施形態に係る撮像装置1の構成例を示す図である。撮像装置1としては、デジタルカメラ等の任意のカメラが適用され得る。撮像装置1は、撮像部10、露出制御部20、フォーカス制御部30、ストロボ制御部35、ストロボ36、システム制御部40、メモリ50、画像処理回路60、表示部70、記録部80および操作部90を有する。撮像部10は、フォーカスレンズを含むレンズ群、シャッターおよび絞りを通過した光を受光し、A/D変換によってデジタル化された画像データを出力する。露出制御部20は、シャッターおよび絞りの制御を行う。フォーカス制御部30は、フォーカスレンズの制御を行う。ストロボ制御部35は、発光手段としてのストロボ36を発光させる制御を行う。撮像部10は、ストロボ36の発光による被写体からの反射光を取り込むことができる。 FIG. 1 is a diagram showing a configuration example of an imaging device 1 according to this embodiment. Any camera such as a digital camera can be applied as the imaging device 1 . The imaging apparatus 1 includes an imaging unit 10, an exposure control unit 20, a focus control unit 30, a strobe control unit 35, a strobe 36, a system control unit 40, a memory 50, an image processing circuit 60, a display unit 70, a recording unit 80 and an operation unit. has 90. The imaging unit 10 receives light that has passed through a lens group including a focus lens, a shutter, and an aperture, and outputs image data digitized by A/D conversion. The exposure control section 20 controls the shutter and aperture. The focus control unit 30 controls the focus lens. The strobe control unit 35 controls the strobe 36 as light emitting means to emit light. The imaging unit 10 can take in reflected light from the object emitted by the strobe 36 .

撮像部10が出力した画像データは、画像処理回路60に入力されるとともに、メモリ50に記憶することができる。メモリ50に記憶された画像データは、再度読み出すことができる。システム制御部40は、メモリ50に記憶された画像データを参照することができ、またメモリ50から読み出した画像データを画像処理回路60に入力することができる。画像処理回路60により画像処理が施された画像データはメモリ50に書き戻すことができる。 The image data output by the imaging unit 10 can be input to the image processing circuit 60 and stored in the memory 50 . The image data stored in memory 50 can be read again. The system control unit 40 can refer to the image data stored in the memory 50 and can input the image data read from the memory 50 to the image processing circuit 60 . Image data subjected to image processing by the image processing circuit 60 can be written back to the memory 50 .

また、システム制御部40は、任意のデータをメモリ50に書き込むことができる。システム制御部40は、例えば、CPU、RAMおよびROMを有する。この場合、ROMに記憶されているプログラムがRAMに展開され、RAMに展開されたプログラムをCPUが実行することで、システム制御部40の機能が実現されてもよい。システム制御部40は、所定のプログラミング回路により実現されてもよい。システム制御部40は、推定手段、設定手段および調光手段に対応する。 Also, the system control unit 40 can write arbitrary data to the memory 50 . The system control unit 40 has, for example, a CPU, RAM and ROM. In this case, the functions of the system control unit 40 may be implemented by developing a program stored in the ROM into the RAM and causing the CPU to execute the program loaded into the RAM. The system control section 40 may be realized by a predetermined programming circuit. The system control unit 40 corresponds to estimation means, setting means, and light adjustment means.

画像処理回路60は、画像データの所定領域の信号値を積分する積分器や画像データから顔の領域を検出する顔検出部等を含む。図1に示されるように、画像処理回路60は、第1積分器62および第2積分器64を有する。図1において、第1積分手段としての第1積分器62は、積分器Aとして示される。第2積分手段としての第2積分器64は、積分器Fとして示される。第1積分器62(積分器A)は、主に画面全体の輝度分布を取得するために用いられる。第2積分器64(積分器F)は、主に顔の領域の輝度を取得するために用いる。 The image processing circuit 60 includes an integrator that integrates signal values in a predetermined area of image data, a face detection section that detects a face area from image data, and the like. As shown in FIG. 1, image processing circuit 60 has a first integrator 62 and a second integrator 64 . In FIG. 1, the first integrator 62 as the first integrating means is indicated as integrator A. As shown in FIG. A second integrator 64 as a second integrating means is indicated as integrator F. The first integrator 62 (integrator A) is mainly used to obtain the luminance distribution of the entire screen. The second integrator 64 (integrator F) is mainly used to obtain the brightness of the facial region.

画像処理回路60が画像処理を施したデジタルの画像データは、メモリ50に記憶される。メモリ50に記憶された画像データは、D/A変換されて、アナログの画像データとなる。表示部70は、アナログの画像データを表示する。表示部70は、例えば、液晶ディスプレイである。表示部70は、画像データ(画像)だけでなく任意の情報を単独で、または画像と共に表示することが可能である。表示部70は、撮影時の露出情報や検出された顔の領域に枠を表示することも可能である。表示手段としての表示部70は、例えば、システム制御部40の制御に基づいて、後述する一枠Fやメッシュ枠A、メッシュ枠F等を表示することができる。記録部80は、撮影した画像データを所定の記録媒体(メディア)に記憶する。 Digital image data subjected to image processing by the image processing circuit 60 is stored in the memory 50 . The image data stored in the memory 50 is D/A converted into analog image data. The display unit 70 displays analog image data. The display unit 70 is, for example, a liquid crystal display. The display unit 70 can display not only image data (image) but also arbitrary information alone or together with the image. The display unit 70 can also display exposure information at the time of shooting and a frame around the detected face area. The display unit 70 as display means can display a frame F, a mesh frame A, a mesh frame F, etc., which will be described later, under the control of the system control unit 40, for example. The recording unit 80 stores captured image data in a predetermined recording medium.

操作部90は、例えば、撮像装置1に設けられるシャッターボタンであり、撮影指示を行うための第1シャッタースイッチ92および第2シャッタースイッチ94を含む。図1において、第1シャッタースイッチ92は「SW1」と表記され、第2シャッタースイッチ94は「SW2」と表記される。第1シャッタースイッチ92は、上記シャッターボタンの操作途中でONとなる。第1シャッタースイッチ92がONになると、露出やピントの自動制御等の撮影準備動作が開始する。第2シャッタースイッチ94は、上記シャッターボタンの操作完了でONとなる。第2シャッタースイッチ94がONになると、静止画撮影の指示がされる。また、操作部90は、モード切り替えスイッチやパラメータ選択スイッチ等を含む。モード切り替えスイッチは、静止画撮影モードや動画撮影モード、再生モードなどのカメラ動作モードを切り替えるためのスイッチである。パラメータ選択スイッチは、カメラ設定を変更可能なスイッチである。 The operation unit 90 is, for example, a shutter button provided in the imaging device 1, and includes a first shutter switch 92 and a second shutter switch 94 for instructing shooting. In FIG. 1, the first shutter switch 92 is labeled "SW1" and the second shutter switch 94 is labeled "SW2." The first shutter switch 92 is turned ON while the shutter button is being operated. When the first shutter switch 92 is turned on, shooting preparation operations such as automatic control of exposure and focus are started. The second shutter switch 94 is turned ON when the operation of the shutter button is completed. When the second shutter switch 94 is turned on, a still image photographing instruction is issued. The operation unit 90 also includes a mode switching switch, a parameter selection switch, and the like. The mode switching switch is a switch for switching camera operation modes such as a still image shooting mode, a moving image shooting mode, and a playback mode. A parameter selection switch is a switch that can change camera settings.

次に、実施形態に係る静止画記録モードの処理の流れについて説明する。図2は、実施形態に係る処理の流れを示すフローチャートである。システム制御部40は、第1シャッタースイッチ92(SW1)がONになっているかを判定する(S201)。S201でNoと判定された場合、フローは、S201に戻る。第1シャッタースイッチ92がONになるまで、S201の処理が繰り返し行われる。S201でYesと判定された場合、システム制御部40は、測光処理を行い、被写体の輝度値を算出するとともに、算出した輝度値に基づき適正露出に制御する(S202)。被写体の輝度値は、撮像部10から出力される画像データを第1積分器62に入力して得られる画面全体の輝度分布と、画像データが露光された時点の露出条件とに基づいて算出することができる。 Next, the flow of processing in the still image recording mode according to the embodiment will be described. FIG. 2 is a flow chart showing the flow of processing according to the embodiment. The system control unit 40 determines whether the first shutter switch 92 (SW1) is ON (S201). If determined as No in S201, the flow returns to S201. The process of S201 is repeated until the first shutter switch 92 is turned ON. If it is determined as Yes in S201, the system control unit 40 performs photometry processing, calculates the brightness value of the subject, and controls appropriate exposure based on the calculated brightness value (S202). The brightness value of the subject is calculated based on the brightness distribution of the entire screen obtained by inputting the image data output from the imaging unit 10 to the first integrator 62 and the exposure conditions at the time the image data was exposed. be able to.

システム制御部40は、測距処理を行い、被写体にピントを合わせるためにフォーカスレンズを合焦位置に移動させる(S203)。システム制御部40は、撮影時にストロボを発光させる設定となっているか否かを判定する(S204)。例えば、ユーザによりストロボを強制的に発光させる設定がされている場合には、S204でYesと判定される。また、撮像装置1に対して自動発光設定がされている場合、システム制御部40は、画像データの解析結果に応じて、ストロボ制御部35を制御して、ストロボ36を発光させることがある。この場合も、撮影時にストロボを発光させる設定となり、S204でYesと判定される。例えば、撮影時のシーンが逆光シーンである場合等においては、システム制御部40は、ストロボ制御部35に対してストロボ36を発光させる制御を行う。 The system control unit 40 performs distance measurement processing and moves the focus lens to the in-focus position in order to focus on the subject (S203). The system control unit 40 determines whether or not the strobe is set to emit light during photographing (S204). For example, if the user has set the strobe to emit light forcibly, the determination in S204 is Yes. Further, when the imaging device 1 is set to automatically emit light, the system control unit 40 may control the strobe control unit 35 to cause the strobe 36 to emit light according to the analysis result of the image data. In this case as well, the strobe is set to emit light at the time of photographing, and the determination in S204 is Yes. For example, when the scene at the time of photographing is a backlit scene, the system control section 40 controls the strobe control section 35 to cause the strobe 36 to emit light.

システム制御部40は、第2シャッタースイッチ94(SW2)がONになっているか否かを判定する(S205)。S205でNoと判定された場合、システム制御部40は、第1シャッタースイッチ92(SW1)がONになっているか否かを判定する(S206)。S206でYesと判定された場合、第1シャッタースイッチ92(SW1)はONであるが、第2シャッタースイッチ94(SW2)はOFFである。この場合、フローは、S205に移行する。S206でNoと判定された場合、第1シャッタースイッチ92(SW1)および第2シャッタースイッチ94(SW2)の両者がOFFである。この場合、フローは、S201に移行する。S205でYesと判定された場合、第2シャッタースイッチ94(SW2)がONにされたため、静止画を撮影する撮影処理が行われる(S207)。撮影処理が終了した後、フローは、S201に戻る。例えば、撮像装置1に対して所定の操作がされた場合に、図2のフローチャートが終了してもよい。 The system control unit 40 determines whether or not the second shutter switch 94 (SW2) is ON (S205). If it is determined No in S205, the system control unit 40 determines whether or not the first shutter switch 92 (SW1) is ON (S206). If it is determined Yes in S206, the first shutter switch 92 (SW1) is ON, but the second shutter switch 94 (SW2) is OFF. In this case, the flow moves to S205. If it is determined No in S206, both the first shutter switch 92 (SW1) and the second shutter switch 94 (SW2) are OFF. In this case, the flow moves to S201. If it is determined as Yes in S205, the second shutter switch 94 (SW2) is turned ON, and therefore the shooting process for shooting a still image is performed (S207). After the shooting process ends, the flow returns to S201. For example, the flowchart of FIG. 2 may end when a predetermined operation is performed on the imaging device 1 .

S207の撮影処理について、図3のフローチャートを参照して説明する。システム制御部40は、上述したS204での判定の結果、ストロボ36を発光させる設定となっているか否かを判定する(S301)。S301でNoと判定された場合、ストロボ36が発光しない設定となっているため、S302~S319の処理は行われず、フローはS320に移行する。S301でYesと判定された場合、システム制御部40は、最新の顔検出結果を取得する(S302)。画像処理回路60は、画像データの中から被写体の顔領域を検出する処理(顔検出処理)を行い、システム制御部40は、画像処理回路60による顔検出処理の結果を顔検出結果として取得する。そして、システム制御部40は、第1積分器62(積分器A)に対して第1メッシュ枠(以下、メッシュ枠A)を設定する(S303)。メッシュ枠Aは、第1積分器62の積分値から画面全体の輝度分布を算出できるように、画角全体を概略カバーするように設定される。画角全体の領域は、画像データ全体の領域(第2領域)である。メッシュ枠Aは、複数の枠により構成されている。以下に説明する各種の枠は、格子状の枠である。システム制御部40は、S302で取得した顔検出結果を参照し、顔が検出されたか否かを判定する(S304)。S304でYesと判定された場合、つまり画像データの中から顔が検出された場合、システム制御部40は、第2積分器64に、検出された顔の領域を設定する(S305)。このとき、システム制御部40は、第2積分器64の積分値から顔の輝度が算出できるように、検出された顔の領域に1つの枠(以下、一枠Fとする)を設定する。一枠Fは、1つの枠で構成される。 The shooting process of S207 will be described with reference to the flowchart of FIG. As a result of the determination in S204 described above, the system control unit 40 determines whether or not the strobe 36 is set to emit light (S301). If the determination in S301 is No, the strobe 36 is set not to emit light, so the processing of S302 to S319 is not performed, and the flow proceeds to S320. If determined as Yes in S301, the system control unit 40 acquires the latest face detection result (S302). The image processing circuit 60 performs processing (face detection processing) for detecting the face area of the subject from the image data, and the system control unit 40 acquires the result of the face detection processing by the image processing circuit 60 as the face detection result. . Then, the system control unit 40 sets a first mesh frame (hereinafter referred to as mesh frame A) for the first integrator 62 (integrator A) (S303). The mesh frame A is set so as to roughly cover the entire angle of view so that the luminance distribution of the entire screen can be calculated from the integrated value of the first integrator 62 . The area covering the entire angle of view is the area covering the entire image data (second area). The mesh frame A is composed of a plurality of frames. The various frames described below are lattice frames. The system control unit 40 refers to the face detection result acquired in S302 and determines whether or not a face has been detected (S304). If it is determined Yes in S304, that is, if a face is detected from the image data, the system control unit 40 sets the detected face area in the second integrator 64 (S305). At this time, the system control unit 40 sets one frame (hereinafter referred to as one frame F) in the detected face region so that the luminance of the face can be calculated from the integrated value of the second integrator 64 . One frame F is composed of one frame.

システム制御部40は、ストロボ制御部35を制御して、ストロボ36に調光のためのプリ発光を行わせる(S306)。システム制御部40は、プリ発光による撮影を行い、プリ発光時に撮像部10が撮像した画像データ(プリ発光画像)を取得する(S307)。また、プリ発光がされていない状態で撮像部10が撮像した画像データ(非発光画像)を取得する(S308)。システム制御部40は、プリ発光画像および非発光画像を、第1積分器62(積分器A)および第2積分器64(積分器F)にセットする。以下、第1積分器62(積分器A)および第2積分器64(積分器F)は、プリ発光画像の信号値と非発光画像との信号値の差分の積分を行うものとする。以下の積分値は、プリ発光画像の信号値と非発光画像との信号値の差分の積分により得られる値(評価値)である。 The system control unit 40 controls the strobe control unit 35 to cause the strobe 36 to perform pre-emission for dimming (S306). The system control unit 40 performs photographing by pre-emission, and acquires image data (pre-emission image) captured by the imaging unit 10 during pre-emission (S307). In addition, image data (non-emission image) captured by the imaging unit 10 in a state where pre-emission is not performed is acquired (S308). The system control unit 40 sets the pre-emission image and non-emission image in the first integrator 62 (integrator A) and the second integrator 64 (integrator F). Hereinafter, it is assumed that the first integrator 62 (integrator A) and the second integrator 64 (integrator F) integrate the difference between the signal values of the pre-emission image and the non-emission image. The integral value below is a value (evaluation value) obtained by integrating the difference between the signal values of the pre-emission image and the non-emission image.

上述したように、第1積分器62には、画像データ全体をカバーするようにメッシュ枠Aが設定されている。第1積分器62は、メッシュ枠Aを構成する複数の枠のそれぞれについて、信号値の積分を行う。これにより、システム制御部40は、第1積分器62が積分した評価値に基づいて、画像データ全体の輝度分布を得ることができる。また、第2積分器64には、S305で検出された顔の領域に設定された一枠Fが設定されている。第2積分器64は、一枠Fの信号値の積分を行い、評価値を算出する。これにより、システム制御部40は、顔の領域の輝度を得ることができる(S309)。実施形態では、顔の領域の輝度は、プリ発光画像の信号値と非発光画像との信号値の差分の積分により得られる評価値に基づいて求められる。なお、顔の領域の輝度は、プリ発光画像の信号値の積分値に基づいて求められてもよいし、非発光画像の信号値の積分値に基づいて求められてもよい。 As described above, the mesh frame A is set in the first integrator 62 so as to cover the entire image data. The first integrator 62 integrates signal values for each of the plurality of frames that make up the mesh frame A. FIG. Thereby, the system control unit 40 can obtain the luminance distribution of the entire image data based on the evaluation value integrated by the first integrator 62 . Also, the second integrator 64 is set with one frame F set in the face region detected in S305. The second integrator 64 integrates the signal values of one frame F to calculate an evaluation value. Thereby, the system control unit 40 can obtain the luminance of the face region (S309). In the embodiment, the brightness of the face region is obtained based on the evaluation value obtained by integrating the difference between the signal values of the pre-emission image and the non-emission image. Note that the luminance of the face region may be obtained based on the integrated value of the signal values of the pre-emission image, or may be obtained based on the integrated value of the signal values of the non-emission image.

後述するように、システム制御部40は、画像データ全体の輝度分布と顔の領域の輝度とに基づいて、調光処理を行う。S304でYesと判定される場合、プリ発光がされていない状態で、S302で画像データから顔が検出されている。従って、システム制御部40は、画像データ全体の輝度分布と検出された顔の領域の輝度とに基づいて、調光処理を行うことで、高精度に調光を行うことができる。 As will be described later, the system control unit 40 performs light control processing based on the luminance distribution of the entire image data and the luminance of the face region. If it is determined as Yes in S304, the face is detected from the image data in S302 in a state where pre-emission is not performed. Therefore, the system control unit 40 can perform light control with high accuracy by performing light control processing based on the brightness distribution of the entire image data and the brightness of the detected face region.

ここで、S304でYesと判定された場合、システム制御部40は、プリ発光がされる前に、顔の領域に対して一枠Fを設定することができるため、プリ発光画像が読み出された際に、システム制御部40は、画像データの中から顔の領域を特定できる。これにより、プリ発光後に顔の領域を特定する必要がなくなり、調光処理を早期に開始することができるため、撮影タイムラグを短縮できる。一方、S304でNoと判定された場合、画像データのうち何れの領域に顔があるかが特定されていない。プリ発光により、被写体の輝度が高くなるため、プリ発光後であれば、画像データのうち何れの領域に顔があるかを特定することができる。しかし、この場合、プリ発光後に顔の領域を特定する必要があるため、調光処理の開始タイミングが遅くなり、撮影タイムラグが長くなる。 Here, if it is determined as Yes in S304, the system control unit 40 can set one frame F for the face region before pre-emission, so that the pre-emission image is read out. At this time, the system control unit 40 can identify the facial region from the image data. This eliminates the need to specify the face area after pre-emission, and the light adjustment process can be started early, thereby shortening the shooting time lag. On the other hand, if the determination in S304 is No, it is not specified in which area of the image data the face is located. Since the brightness of the subject increases due to the pre-emission, it is possible to specify in which area of the image data the face is located after the pre-emission. However, in this case, since it is necessary to specify the area of the face after the pre-emission, the start timing of the light adjustment processing is delayed, and the shooting time lag is lengthened.

次に、S304でNoと判定された場合、つまりプリ発光されていない状態では、画像データから顔が検出されなかった場合について説明する。この場合、システム制御部40は、プリ発光により顔が検出される可能性がある領域(第1領域)を推定する顔推定処理を行う(S310)。システム制御部40は、S310で推定された領域に対して、第2メッシュ枠を設定する(S311)。第2メッシュ枠(メッシュ枠F)は、第1メッシュ枠(メッシュ枠A)と同様、複数の他の枠により構成されているものとする。実施形態では、メッシュ枠Aおよびメッシュ枠Fは、均等に分割されているものとする。メッシュ枠Fの面積は、メッシュ枠Aの面積より小さい。また、メッシュ枠Fを構成する他の枠の面積は、メッシュ枠Aを構成する枠の面積より小さい。システム制御部40は、ストロボ制御部35を制御して、ストロボ36から調光のためのプリ発光を行わせる(S312)。 Next, the case where the determination in S304 is No, that is, the case where no face is detected from the image data when pre-emission is not performed will be described. In this case, the system control unit 40 performs face estimation processing for estimating an area (first area) in which a face may be detected by preliminary light emission (S310). The system control unit 40 sets a second mesh frame for the area estimated in S310 (S311). It is assumed that the second mesh frame (mesh frame F) is composed of a plurality of other frames, like the first mesh frame (mesh frame A). In the embodiment, it is assumed that the mesh frame A and the mesh frame F are evenly divided. The area of the mesh frame F is smaller than the area of the mesh frame A. Also, the areas of the other frames that make up the mesh frame F are smaller than the areas of the frames that make up the mesh frame A. FIG. The system control unit 40 controls the strobe control unit 35 to cause the strobe 36 to perform pre-emission for dimming (S312).

システム制御部40は、プリ発光による撮影を行い、プリ発光時に撮像部10が撮像した画像データ(プリ発光画像)を取得する(S313)。システム制御部40は、画像処理回路60に対して、取得したプリ発光画像から顔検出処理を実施させる制御を行う(S314)。プリ発光がされることで、被写体の輝度が高くなり、プリ発光がされていない状態では検出されなかった顔が、S314の顔検出処理で検出されることが想定される。次に、システム制御部40は、プリ発光がされていない状態で撮像部10が撮像した画像データ(非発光画像)を取得する(S315)。システム制御部40は、S314にてプリ発光画像を、第1積分器62(積分器A)および第2積分器64(積分器F)にセットし、S315にて非発光画像を、第1積分器62(積分器A)および第2積分器64(積分器F)にセットする。 The system control unit 40 performs photographing by pre-emission, and acquires image data (pre-emission image) captured by the imaging unit 10 during pre-emission (S313). The system control unit 40 controls the image processing circuit 60 to perform face detection processing from the obtained pre-emission image (S314). It is assumed that the brightness of the subject increases due to the pre-emission, and that a face that was not detected in the absence of the pre-emission will be detected in the face detection processing of S314. Next, the system control unit 40 acquires image data (non-emission image) captured by the imaging unit 10 in a state where pre-emission is not performed (S315). The system control unit 40 sets the pre-luminescence image in the first integrator 62 (integrator A) and the second integrator 64 (integrator F) in S314, and converts the non-luminescence image into the first integral image in S315. integrator 62 (integrator A) and second integrator 64 (integrator F).

S314において、画像処理回路60にて、プリ発光画像から顔検出処理が実施される。システム制御部40は、プリ発光画像に基づく顔検出処理により顔が検出されたか否かを判定する(S316)。上述したように、S314において、プリ発光がされていない状態では検出されなかった顔が、プリ発光画像から検出されることがある。S316でYesと判定された場合、第1積分器62(積分器A)および第2積分器64(積分器F)は、プリ発光画像の信号値と非発光画像との信号値の差分の積分を行い、評価値を得る。S311において、第2積分器64には、メッシュ枠Fが設定されている。第2積分器64は、メッシュ枠Fを構成する複数の他の枠のそれぞれについて、信号値の積分を行う。メッシュ枠Fは、画像データのうち顔が検出される可能性があると推定された領域である。従って、システム制御部40は、S316でYesと判定された場合、メッシュ枠Fの評価値に基づいて、顔の領域の輝度を求めることができる(S317)。 In S314, the image processing circuit 60 performs face detection processing from the pre-emission image. The system control unit 40 determines whether or not a face has been detected by face detection processing based on the pre-emission image (S316). As described above, in S314, a face that would not have been detected without pre-light emission may be detected from the pre-light emission image. If it is determined as Yes in S316, the first integrator 62 (integrator A) and the second integrator 64 (integrator F) integrate the difference between the signal values of the pre-flash image and the non-flash image. to obtain an evaluation value. In S<b>311 , a mesh frame F is set in the second integrator 64 . The second integrator 64 integrates signal values for each of a plurality of other frames that make up the mesh frame F. FIG. A mesh frame F is an area in which it is estimated that a face may be detected in the image data. Therefore, when the determination in S316 is Yes, the system control unit 40 can obtain the brightness of the face area based on the evaluation value of the mesh frame F (S317).

ここで、S304でNoと判定された場合、画像データのうち何れの領域に顔があるかが特定されていない。実施形態のシステム制御部40は、S312のプリ発光前に、顔推定処理を行い、顔の領域が検出される可能性がある領域を推定する。そして、システム制御部40は、顔の領域が検出される可能性がある領域にメッシュ枠Fを設定する。そして、メッシュ枠Fを構成する他の枠の面積は、メッシュ枠Aを構成する枠の面積より小さい。従って、メッシュ枠Aの枠の積分値から顔の領域の輝度を求める場合と比較して、メッシュ枠Fの他の枠の積分値から顔の領域の輝度を求める場合の方が、高い精度で顔の領域の輝度を求めることができる。 Here, if it is determined No in S304, it is not specified in which area of the image data the face is located. The system control unit 40 of the embodiment performs face estimation processing before pre-light emission in S312, and estimates areas where there is a possibility that a face area can be detected. Then, the system control unit 40 sets a mesh frame F in an area where a face area may be detected. The areas of the other frames forming the mesh frame F are smaller than the areas of the frames forming the mesh frame A. Therefore, compared to obtaining the luminance of the face region from the integrated value of the frame of the mesh frame A, obtaining the luminance of the face region from the integrated value of the other frames of the mesh frame F has higher accuracy. The brightness of the face region can be determined.

次に、システム制御部40は、顔の領域の輝度とメッシュ枠Aの積分値から得られる画面全体の輝度分布とに基づいて、調光処理を行う(S318)。S304でYesと判定された場合には、システム制御部40は、S309で求められた顔の領域の輝度と、メッシュ枠Aの積分値から得られる画像データ全体の輝度分布とに基づいて、調光処理(調光演算)を行う。S304でNoと判定された場合には、システム制御部40は、S317で求められた顔の領域(S310で推定された顔の領域)の輝度と、メッシュ枠Aの積分値から得られる画面全体の輝度分布とに基づいて、調光処理(調光演算)を行う。 Next, the system control unit 40 performs light control processing based on the brightness of the face area and the brightness distribution of the entire screen obtained from the integrated value of the mesh frame A (S318). If the determination in S304 is Yes, the system control unit 40 performs adjustment based on the brightness of the face region obtained in S309 and the brightness distribution of the entire image data obtained from the integrated value of the mesh frame A. Light processing (light control calculation) is performed. If the determination in S304 is No, the system control unit 40 adjusts the luminance of the face area obtained in S317 (the face area estimated in S310) and the overall screen obtained from the integrated value of the mesh frame A. Light control processing (light control calculation) is performed based on the luminance distribution of .

S316でNoと判定された場合、システム制御部40は、メッシュ枠Aの積分値から得られる画面全体の輝度分布から調光処理(調光演算)を行う(S319)。画像処理回路60により、S314における顔検出処理が実施されたとしても、顔の領域が検出されないこともある。このような場合、S316でNoと判定される。システム制御部40は、S318またはS319で調光処理された結果に基づいて、本露光時の発光量を算出する(S319)。上述したように、S318において、システム制御部40は、顔の領域の輝度とメッシュ枠Aの積分値から得られる画面全体の輝度分布とに基づいて、調光演算を行う。これにより、顔の領域の輝度だけでなく画面全体の輝度分布も加味した調光演算が行われるため、顔以外の被写体とのバランスのとれた調光が可能となる。 When determined as No in S316, the system control unit 40 performs light control processing (light control calculation) from the luminance distribution of the entire screen obtained from the integrated value of the mesh frame A (S319). Even if the image processing circuit 60 performs the face detection process in S314, the face area may not be detected. In such a case, it is determined as No in S316. The system control unit 40 calculates the amount of light emitted during the main exposure based on the result of the light control processing in S318 or S319 (S319). As described above, in S<b>318 , the system control unit 40 performs light control calculation based on the brightness of the face area and the brightness distribution of the entire screen obtained from the integrated value of the mesh frame A. As a result, light adjustment calculations are performed taking into consideration not only the brightness of the face region but also the brightness distribution of the entire screen, so that balanced light adjustment with subjects other than the face is possible.

システム制御部40は、S319で算出された本露光時の発光量に基づいて、静止画用の露出設定を行う(S320)。また、システム制御部40は、発光撮影する場合にはS318またはS319で求めた発光量に基づき、本露光に対する発光設定も行う。露出設定が完了すると、システム制御部40は、本露光を実施する制御を行う(S321)。そして、撮像された画像データの現像処理が行われる(S322)。現像処理が施された画像データは、記録部80によりメディアに記録される(S323)。以上により、撮影処理が終了する。 The system control unit 40 performs still image exposure settings based on the amount of light emitted during the main exposure calculated in S319 (S320). In addition, the system control unit 40 also sets the light emission for the main exposure based on the light emission amount obtained in S318 or S319 when photographing with light emission. When the exposure setting is completed, the system control unit 40 performs control to carry out the main exposure (S321). Then, the captured image data is developed (S322). The image data that has undergone development processing is recorded on the medium by the recording unit 80 (S323). With the above, the photographing process ends.

次に、S310の顔推定処理について、図4のフローチャートを参照して説明する。顔推定処理は、非発光状態では暗くて検出されないが、プリ発光により検出される顔の領域を推定するために行われる。システム制御部40は、画像データのうち暗部領域の特定を行う(S401)。例えば、撮像部10から得られた最新の画像データが画像処理回路60に入力された場合、システム制御部40は、画像処理回路60による画像処理の結果に応じて、画像データのうち輝度値が所定値以下の領域を暗部領域として特定する。また、システム制御部40は、S202の測光時に第1積分器62から得られた画面全体の輝度分布に基づいて、輝度値が所定値以下の領域を暗部領域として特定してもよい。 Next, the face estimation processing of S310 will be described with reference to the flowchart of FIG. The face estimation process is performed to estimate a region of a face which is dark in the non-light emitting state and is not detected, but which is detected by preliminary light emission. The system control unit 40 identifies a dark area in the image data (S401). For example, when the latest image data obtained from the imaging unit 10 is input to the image processing circuit 60, the system control unit 40 changes the brightness value of the image data according to the image processing result of the image processing circuit 60. A region below a predetermined value is specified as a dark region. Further, the system control unit 40 may specify, as a dark area, an area whose luminance value is equal to or less than a predetermined value based on the luminance distribution of the entire screen obtained from the first integrator 62 during photometry in S202.

次に、システム制御部40は、距離マップを取得する(S402)。距離マップは、画像領域ごとの被写体距離情報に基づいて、例えば、S203の測距処理の際に生成することができる。システム制御部40は、特定された暗部領域および被写体距離情報に基づいて、画像データのうち、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域を特定する(S403)。S403で特定された領域は、近くて暗い領域であり、画像データのうち顔が検出される可能性があると推定される領域である。 Next, the system control unit 40 acquires a distance map (S402). The distance map can be generated, for example, during the distance measurement processing in S203, based on subject distance information for each image area. Based on the identified dark area and subject distance information, the system control unit 40 identifies an area in the image data that is a dark area and whose subject distance indicated by the subject distance information is equal to or less than a predetermined distance (S403). The area specified in S403 is a nearby dark area, and is an area in which it is estimated that a face may be detected in the image data.

例えば、逆光シーン等の撮影環境において、発光がされていない状態(非発光状態)である場合、画像データ中の顔は暗くなる。また、S403において特定される領域は、被写体距離が所定距離以下の領域である。ここで、ガイドナンバーや調光時の絞り値に基づいて、プリ発光が届く領域を推定することができる。また、ストロボの配光に基づいて、プリ発光が届かないと想定される領域を推定することができる。プリ発光が届かないと推定される領域は、被写体距離が所定距離を超える領域であり、S403で特定される領域から除外される領域である。従って、ガイドナンバー、調光時の絞り値またはストロボの配光に基づいて、上記所定距離を決定することができる。図4のフローチャートのS403では、画像データのうち顔が検出される可能性があると推定される領域は、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域(暗くて近い領域)である。ここで、暗部領域は、顔がある領域である可能性が高いため、システム制御部40は、被写体距離情報にかかわらず、暗部領域を、顔が検出される可能性がある領域と推定してもよい。 For example, in a photographing environment such as a backlit scene, if no light is emitted (non-light emission state), the face in the image data will be dark. Also, the area specified in S403 is an area where the subject distance is equal to or less than a predetermined distance. Here, based on the guide number and the aperture value at the time of light adjustment, it is possible to estimate the area where the pre-light emission reaches. Also, based on the light distribution of the strobe, it is possible to estimate the area where the preliminary light emission is assumed not to reach. The area in which the preliminary light emission is estimated not to reach is an area where the subject distance exceeds a predetermined distance, and is an area excluded from the areas specified in S403. Therefore, the predetermined distance can be determined based on the guide number, the aperture value at the time of dimming, or the light distribution of the strobe. In S403 of the flowchart of FIG. 4, the area in the image data in which it is estimated that a face may be detected is a dark area, and an area where the subject distance indicated by the subject distance information is equal to or less than a predetermined distance (dark area). near area). Here, since there is a high possibility that the dark area is an area in which a face is present, the system control unit 40 estimates the dark area as an area in which a face may be detected regardless of the subject distance information. good too.

次に、第1積分器62および第2積分器64に設定される枠について説明する。図5は、画像データに設定される各種の枠の設定例を示す図である。図5(A)は、プリ発光がされていない状態(非発光状態)で、画像データから顔が検出されている場合のメッシュ枠Aおよび一枠Fの設定例を示す。この場合、システム制御部40は、第1積分器62に対して、画角の概ね全体をカバーする領域にメッシュ枠Aを設定する。図5(A)のメッシュ枠Aは、水平方向に10個の枠と垂直方向に6個の枠とにより構成されている。メッシュ枠Aを構成する枠の個数は、上記の値には限定されない。画像処理回路60は、メッシュ枠Aの各枠について、赤色、緑色および青色の各色の信号値を積分して積分値を算出する。システム制御部40は、算出された積分値に基づいて、各枠のそれぞれについての輝度を求めることができる。 Next, the frames set for the first integrator 62 and the second integrator 64 will be described. FIG. 5 is a diagram showing setting examples of various frames set in image data. FIG. 5A shows a setting example of a mesh frame A and a frame F when a face is detected from image data in a state where preliminary light emission is not performed (non-light emission state). In this case, the system control unit 40 sets the mesh frame A for the first integrator 62 in a region covering substantially the entire angle of view. The mesh frame A in FIG. 5A is composed of 10 frames in the horizontal direction and 6 frames in the vertical direction. The number of frames forming the mesh frame A is not limited to the above value. The image processing circuit 60 integrates the signal values of the colors red, green, and blue for each frame of the mesh frame A to calculate an integrated value. The system control unit 40 can obtain the luminance for each frame based on the calculated integrated value.

システム制御部40は、第2積分器64に対して、検出された顔に1つの枠(一枠F)を設定する。メッシュ枠Aが画面の略全体をカバーしているため、顔の領域の輝度をメッシュ枠Aの各枠の積分値から求めることもできるが、1つの枠が顔の領域と背景領域とを含むような場合に、枠内の積分値は背景の輝度を含むことになる。例えば、図5(A)の例で示されるメッシュ枠Aを構成する各枠のうち一部の枠は、顔の一部分だけでなく、顔以外の背景等を含む。メッシュ枠Aは、画像データの全体に対して設定されているため、メッシュ枠Aを構成する各枠の面積も大きくなる。このため、メッシュ枠Aの各枠の積分値から顔の領域の輝度が求められる場合、顔の領域の輝度の検出精度が低下する。メッシュ枠Aの分割数(枠の数)を多くできれば、検出精度を向上させることもできるが、システム制御部40の回路規模の問題等から分割数には制限がある。従って、実施形態のシステム制御部40は、顔の領域に設定した1つの枠(一枠F)の積分値から顔の領域の輝度を求める。これにより、顔の領域の輝度を高精度に求めることができるとともに、調光を高精度に行うことができる。 The system control unit 40 sets one frame (one frame F) on the detected face for the second integrator 64 . Since the mesh frame A covers substantially the entire screen, the brightness of the face area can be obtained from the integrated value of each frame of the mesh frame A, but one frame includes the face area and the background area. In such a case, the integrated value within the frame will include the luminance of the background. For example, some of the frames forming the mesh frame A shown in the example of FIG. 5A include not only part of the face but also the background other than the face. Since the mesh frame A is set for the entire image data, the area of each frame forming the mesh frame A also increases. Therefore, when the luminance of the face region is obtained from the integrated value of each frame of the mesh frame A, the detection accuracy of the luminance of the face region is lowered. If the number of divisions (the number of frames) of the mesh frame A can be increased, the detection accuracy can be improved. Therefore, the system control unit 40 of the embodiment obtains the brightness of the face region from the integrated value of one frame (one frame F) set in the face region. As a result, the brightness of the face area can be obtained with high accuracy, and the light control can be performed with high accuracy.

図5(B)は、プリ発光がされていない状態(非発光状態)で、画像データから顔が検出されない場合のメッシュ枠Aおよびメッシュ枠Fの設定例を示す。図5(B)の例では、逆光シーンでの撮影により、画像データのうち、顔を含む人物領域が暗くなり、顔が検出されない場合を想定している。システム制御部40は、図5(A)と同様に、第1積分器62に対しては、画角の略全体(画像データの略全体)にメッシュ枠Aが設定される。一方、第2積分器64に対しては、S403で特定される領域(顔が検出される可能性がある領域)にメッシュ枠Fが設定される。図5(B)の例では、メッシュ枠Fは、水平方向に10個の枠と垂直方向に6個の枠とにより構成されている。メッシュ枠Fを構成する枠の個数は、上記の値には限定されない。 FIG. 5B shows a setting example of the mesh frame A and the mesh frame F when no pre-light emission is performed (non-light emission state) and no face is detected from the image data. In the example of FIG. 5B, it is assumed that the human area including the face is dark in the image data due to shooting in a backlit scene, and the face is not detected. As in FIG. 5A, the system control unit 40 sets the mesh frame A to substantially the entire angle of view (substantially the entire image data) for the first integrator 62 . On the other hand, for the second integrator 64, a mesh frame F is set in the area specified in S403 (area where a face may be detected). In the example of FIG. 5B, the mesh frame F is composed of 10 frames in the horizontal direction and 6 frames in the vertical direction. The number of frames forming the mesh frame F is not limited to the above value.

図5(B)の例では、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域(近くて暗い領域)に、メッシュ枠Fが設定されている。S314で顔が検出された場合、システム制御部40は、メッシュ枠Fのうち、検出された顔の領域と重なるメッシュ枠の積分値から顔の領域の輝度を求める。図5(B)に示されるように、メッシュ枠Fを構成する他の枠の面積は、メッシュ枠Aを構成する枠の面積より小さい。このため、メッシュ枠Fを構成する他の枠に顔の一部分だけでなく、背景等が入っていたとしても、他の枠の中における顔の部分の割合が高くなる。このため、メッシュ枠Aが設定された第1積分器62が算出した積分値より求められる顔の領域の輝度より、メッシュ枠Fが設定された第2積分器64が算出した積分値により求められる顔の領域の輝度の方が、顔の領域の輝度を高精度が求められる。 In the example of FIG. 5B, a mesh frame F is set in a dark area where the subject distance indicated by the subject distance information is equal to or less than a predetermined distance (near and dark area). If a face is detected in S314, the system control unit 40 obtains the brightness of the face area from the integrated value of the mesh frame F that overlaps the detected face area. As shown in FIG. 5B, the areas of the other frames that make up the mesh frame F are smaller than the areas of the frames that make up the mesh frame A. As shown in FIG. Therefore, even if the other frames constituting the mesh frame F contain not only part of the face but also the background, etc., the percentage of the face part in the other frames increases. Therefore, from the luminance of the face area calculated from the integrated value calculated by the first integrator 62 with the mesh frame A set, it is calculated from the integrated value calculated by the second integrator 64 with the mesh frame F set. Higher precision is required for the luminance of the face region.

図5(C)は、S403において、暗部領域であり、且つ被写体距離情報が示す被写体距離が所定距離以下の領域が複数特定された例を示す。この場合、システム制御部40は、特定された複数の領域を包含する矩形領域にメッシュ枠Fを設定する。これにより、画像データから複数の顔が検出された場合でも、高精度に調光を行うことができる。図5(C)の例では、第2積分器64が1つのメッシュ枠Fを設定することができる積分器であることを想定している。この点、第2積分器64が複数のメッシュ枠Fを設定できる積分器である場合には、システム制御部40は、第2積分器64に、特定された複数の領域のそれぞれにメッシュ枠Fを設定してもよい。 FIG. 5(C) shows an example in which a plurality of areas that are dark areas and whose object distance indicated by the object distance information is equal to or less than a predetermined distance are specified in S403. In this case, the system control unit 40 sets the mesh frame F to a rectangular area that includes the specified areas. Thereby, even when a plurality of faces are detected from the image data, highly accurate light control can be performed. In the example of FIG. 5C, it is assumed that the second integrator 64 is an integrator capable of setting one mesh frame F. In this regard, when the second integrator 64 is an integrator that can set a plurality of mesh frames F, the system control unit 40 instructs the second integrator 64 to set mesh frames F in each of the specified regions. may be set.

図5(D)は、画像データ中の暗部領域が大きいことに起因して、メッシュ枠Aを構成する枠とメッシュ枠Fを構成する他の枠との面積差が小さくなっている例を示している。そこで、システム制御部40は、メッシュ枠Aを構成する枠の面積に対するメッシュ枠Fを構成する他の枠の面積の割合が所定以上(例えば、半分以上)である場合、メッシュ枠Aとメッシュ枠Fとを再設定する。システム制御部40は、例えば、図5(E)および(F)に示されるように、画像データを半分の領域に分割し、一方の領域にメッシュ枠Aを割り当て、他方の領域にメッシュ枠Fを割り当てる再設定を行う。当該再設定により、図5(A)のメッシュ枠Aを構成する枠と比較して、図5(E)および(F)におけるメッシュ枠Aおよびメッシュ枠Fの枠の面積を小さくすることができる。これにより、顔の領域の輝度を高精度に求めることができる。 FIG. 5D shows an example in which the difference in area between the frame forming the mesh frame A and the other frames forming the mesh frame F is small due to a large dark area in the image data. ing. Therefore, when the ratio of the area of the other frames forming the mesh frame F to the area of the frames forming the mesh frame A is equal to or greater than a predetermined value (for example, equal to or greater than half), the system control unit 40 sets the mesh frame A and the mesh frame Reset F. For example, as shown in FIGS. 5(E) and (F), the system control unit 40 divides the image data into half regions, assigns a mesh frame A to one region, and assigns a mesh frame F to the other region. to reconfigure. By the resetting, the area of the mesh frame A and the mesh frame F in FIGS. 5(E) and 5(F) can be made smaller compared to the frame constituting the mesh frame A in FIG. 5(A). . As a result, the brightness of the face area can be obtained with high accuracy.

以上のように、非発光状態で画像データから顔が検出されていない場合でも、システム制御部40は、プリ発光することで顔が検出される領域を推定し、且つ通常より細かいメッシュ枠を設定することで、精度よく顔に合わせた調光が可能である。また、プリ発光画像読出前に顔検出領域を推定することによって、顔検出用の画像を読み出すと同時に推定した領域の積分値を得ることができるため、撮影タイムラグを短縮することもできる。 As described above, even when a face is not detected from the image data in the non-emission state, the system control unit 40 estimates the area where the face is detected by pre-emission, and sets a finer mesh frame than usual. By doing so, it is possible to adjust the light precisely according to the face. In addition, by estimating the face detection area before reading out the pre-emission image, the integrated value of the estimated area can be obtained at the same time as reading out the image for face detection, so that the shooting time lag can be shortened.

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes are possible within the scope of the gist of the present invention. The present invention supplies a program that implements one or more functions of each of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors of the computer of the system or device executes the program. It can also be realized by reading and executing processing. The invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

1 撮像装置
35 ストロボ制御部
36 ストロボ
40 システム制御部
60 画像処理回路
62 第1積分器
64 第2積分器
70 表示部
1 imaging device 35 strobe control unit 36 strobe 40 system control unit 60 image processing circuit 62 first integrator 64 second integrator 70 display unit

Claims (8)

発光手段と、
画像データから被写体の顔領域を検出する検出手段と、
前記発光手段を発光させていない画像データから被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される第1領域を推定する推定手段と、
推定された前記第1領域に複数の枠を設定する設定手段と、
前記発光手段を発光させていない画像データに対して設定された前記複数の枠の信号値に基づいて調光を行う調光手段と、を備え、
前記推定手段は、前記発光手段を発光させていない画像データのうち、輝度値が所定値以下である領域を前記第1領域として推定することを特徴とする撮像装置。
light emitting means;
detection means for detecting a face area of a subject from image data;
estimating means for estimating a first area in which the face area of the subject is detected from the image data with the light emitting means turned on when the face area of the subject is not detected from the image data without the light emitting means;
setting means for setting a plurality of frames in the estimated first area;
a dimming means for performing dimming based on the signal values of the plurality of frames set for the image data in which the light emitting means is not caused to emit light ;
The imaging apparatus, wherein the estimating means estimates, as the first area, an area in which the luminance value is equal to or less than a predetermined value in the image data in which the light emitting means is not caused to emit light.
前記設定手段は、前記発光手段を発光させていない画像データから被写体の顔領域が検出された場合、検出された被写体の顔領域に1つの枠を設定し、
前記調光手段は、前記発光手段を発光させていない画像データに対して設定された前記1つの枠の信号値に基づいて調光を行うことを特徴とする請求項1に記載の撮像装置。
When the face area of the subject is detected from the image data in which the light emitting means is not caused to emit light, the setting means sets one frame around the detected face area of the subject;
2. The imaging apparatus according to claim 1, wherein said light control means performs light control based on the signal value of said one frame set for image data in which said light emitting means is not caused to emit light.
前記推定手段は、前記輝度値が前記所定値以下である領域であり、且つ被写体までの距離が所定距離以下である領域を前記第1領域として特定することを特徴とする請求項1または2に記載の撮像装置。 3. The method according to claim 1 , wherein the estimating means specifies, as the first area, an area in which the luminance value is equal to or less than the predetermined value and a distance to the object is equal to or less than the predetermined distance. The imaging device described. 前記推定手段は、前記発光手段のガイドナンバー、調光時の絞り値または前記発光手段の配光に基づいて、前記所定距離を決定することを特徴とする請求項に記載の撮像装置。 4. The imaging apparatus according to claim 3 , wherein said estimation means determines said predetermined distance based on a guide number of said light emitting means, an aperture value during dimming, or light distribution of said light emitting means. 前記推定手段は、前記発光手段によりプリ発光が行われる前に前記第1領域の推定を行うことを特徴とする請求項1乃至のうち何れか1項に記載の撮像装置。 5. The imaging apparatus according to any one of claims 1 to 4 , wherein the estimating means estimates the first area before pre-light emission is performed by the light emitting means. 前記第1領域に設定された前記複数の枠の信号値を積分する第1積分手段と、
画像データ全体の第2領域に対して設定された複数の他の枠の信号値を積分する第2積分手段と、をさらに備え、
前記第1積分手段が積分する前記枠の面積は、前記第2積分手段が積分する前記他の枠の面積より小さいことを特徴とする請求項1乃至のうち何れか1項に記載の撮像装置。
a first integrating means for integrating the signal values of the plurality of frames set in the first area;
a second integration means for integrating signal values of a plurality of other frames set for a second region of the entire image data;
6. The imaging according to any one of claims 1 to 5 , wherein the area of the frame integrated by the first integration means is smaller than the area of the other frame integrated by the second integration means. Device.
前記第1領域に設定された複数の枠を表示する表示手段をさらに備えることを特徴とする請求項1乃至のうち何れか1項に記載の撮像装置。 7. The imaging apparatus according to any one of claims 1 to 6 , further comprising display means for displaying a plurality of frames set in said first area. 発光手段を有する撮像装置の制御方法であって、
前記発光手段を発光させていない画像データから被写体の顔領域を検出する検出工程と、
前記検出工程で被写体の顔領域が検出されない場合、前記発光手段を発光させた画像データから被写体の顔領域が検出される第1領域を推定する推定工程と、
前記推定工程で推定された前記第1領域に複数の枠を設定する設定工程と、
前記発光手段を発光させていない画像データに対して前記設定工程で設定された前記複数の枠の信号値に基づいて調光を行う調光工程と、を備え、
前記推定工程は、前記発光手段を発光させていない画像データのうち、輝度値が所定値以下である領域を前記第1領域として推定することを特徴とする撮像装置の制御方法。
A control method for an imaging device having light emitting means,
a detecting step of detecting a face area of a subject from image data in which the light emitting means is not caused to emit light;
an estimating step of estimating a first region in which the face region of the subject is detected from image data obtained by causing the light emitting means to emit light when the face region of the subject is not detected in the detecting step;
a setting step of setting a plurality of frames in the first region estimated in the estimation step;
a dimming step of performing dimming based on the signal values of the plurality of frames set in the setting step for image data in which the light emitting means is not caused to emit light ;
In the estimating step, an area having a brightness value equal to or less than a predetermined value in the image data in which the light emitting means is not caused to emit light is estimated as the first area.
JP2018205619A 2018-10-31 2018-10-31 IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE Active JP7242247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018205619A JP7242247B2 (en) 2018-10-31 2018-10-31 IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205619A JP7242247B2 (en) 2018-10-31 2018-10-31 IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE

Publications (3)

Publication Number Publication Date
JP2020072391A JP2020072391A (en) 2020-05-07
JP2020072391A5 JP2020072391A5 (en) 2021-12-02
JP7242247B2 true JP7242247B2 (en) 2023-03-20

Family

ID=70548132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205619A Active JP7242247B2 (en) 2018-10-31 2018-10-31 IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE

Country Status (1)

Country Link
JP (1) JP7242247B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196389A (en) 2000-12-26 2002-07-12 Canon Inc Photometric device and camera
JP2005077924A (en) 2003-09-02 2005-03-24 Canon Inc Imaging device, control method for imaging device, computer program, and computer-readable recording medium
JP2007201679A (en) 2006-01-25 2007-08-09 Konica Minolta Photo Imaging Inc Imaging apparatus, image processing method, and image processing program
JP2008263478A (en) 2007-04-13 2008-10-30 Fujifilm Corp Imaging apparatus
JP2009059073A (en) 2007-08-30 2009-03-19 Toshiba Corp Unit and method for imaging, and unit and method for person recognition
JP2009198951A (en) 2008-02-25 2009-09-03 Nikon Corp Imaging device and method for detecting target object
JP2009246773A (en) 2008-03-31 2009-10-22 Canon Inc Imaging apparatus, control method, and program
JP2015075628A (en) 2013-10-09 2015-04-20 株式会社ニコン Light emission control device and imaging device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002196389A (en) 2000-12-26 2002-07-12 Canon Inc Photometric device and camera
JP2005077924A (en) 2003-09-02 2005-03-24 Canon Inc Imaging device, control method for imaging device, computer program, and computer-readable recording medium
JP2007201679A (en) 2006-01-25 2007-08-09 Konica Minolta Photo Imaging Inc Imaging apparatus, image processing method, and image processing program
JP2008263478A (en) 2007-04-13 2008-10-30 Fujifilm Corp Imaging apparatus
JP2009059073A (en) 2007-08-30 2009-03-19 Toshiba Corp Unit and method for imaging, and unit and method for person recognition
JP2009198951A (en) 2008-02-25 2009-09-03 Nikon Corp Imaging device and method for detecting target object
JP2009246773A (en) 2008-03-31 2009-10-22 Canon Inc Imaging apparatus, control method, and program
JP2015075628A (en) 2013-10-09 2015-04-20 株式会社ニコン Light emission control device and imaging device

Also Published As

Publication number Publication date
JP2020072391A (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP6512810B2 (en) Image pickup apparatus, control method and program
JP4422667B2 (en) Imaging apparatus and imaging method
CN101237530B (en) Photographing apparatus, method for controlling photographing apparatus
KR101633460B1 (en) Method and Apparatus for controlling multi-exposure
US9081257B2 (en) Imaging apparatus and lighting control method
JP5885416B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US8817171B2 (en) Imaging apparatus with automatic exposure adjusting function
KR20090098197A (en) Digital photographing apparatus to control flash lighting, controlling method for the same, and recording medium which records the program for carrying the same method
JP2008070562A (en) Imaging apparatus and exposure control method
CN104702824A (en) Image capturing apparatus and control method of image capturing apparatus
JP4325158B2 (en) Flash control device, electronic flash device, and photographing system
US9894339B2 (en) Image processing apparatus, image processing method and program
KR101457417B1 (en) Photographing control method and apparatus using stroboscope
JP6741881B2 (en) Image processing device, imaging device, image processing method, and program
JP2006033291A (en) Imaging apparatus, method of controlling the same and processing program thereof
US7978262B2 (en) Digital camera and flash emission control method
JP5911241B2 (en) Image processing apparatus, image processing method, and program
JP2021136555A (en) Image processing device and image processing method
JP7242247B2 (en) IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE
JP4534539B2 (en) Camera apparatus and program
CN111835980B (en) Image pickup apparatus, control method therefor, and storage medium
JP5959957B2 (en) Imaging apparatus and control method thereof
JP6883855B2 (en) Imaging device and control method of imaging device
JP2015167308A (en) Photometry method suitable for face detection autofocus control
JP4623178B2 (en) Image signal processing apparatus, image signal processing method, program, imaging apparatus, and imaging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R151 Written notification of patent or utility model registration

Ref document number: 7242247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151