JP6254842B2 - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP6254842B2
JP6254842B2 JP2013260664A JP2013260664A JP6254842B2 JP 6254842 B2 JP6254842 B2 JP 6254842B2 JP 2013260664 A JP2013260664 A JP 2013260664A JP 2013260664 A JP2013260664 A JP 2013260664A JP 6254842 B2 JP6254842 B2 JP 6254842B2
Authority
JP
Japan
Prior art keywords
imaging
image
subject
output
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013260664A
Other languages
Japanese (ja)
Other versions
JP2015119288A5 (en
JP2015119288A (en
Inventor
宣和 吉田
宣和 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013260664A priority Critical patent/JP6254842B2/en
Publication of JP2015119288A publication Critical patent/JP2015119288A/en
Publication of JP2015119288A5 publication Critical patent/JP2015119288A5/ja
Application granted granted Critical
Publication of JP6254842B2 publication Critical patent/JP6254842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。   The present invention relates to an imaging apparatus, a control method thereof, and a program.

従来の撮像装置には、高輝度側の輝度レンジがダイナミックレンジに収まるような露出と、低輝度側の輝度レンジがダイナミックレンジに収まるような露出とで、複数枚の画像を撮影するものがある（特許文献１参照）。また、異なる露光で複数回の撮影を行い、得られた複数の画像を合成処理することで１つのダイナミックレンジ拡大画像を生成する技術も知られている（特許文献２参照）。特許文献２は、ダイナミックレンジの拡大量に基づいた段数でアンダー露光にして撮影を行い、画像処理部でゲイン補正することで１つのダイナミックレンジ拡大画像を生成する技術も開示している。   Some conventional imaging devices shoot a plurality of images with an exposure such that the luminance range on the high luminance side falls within the dynamic range and an exposure such that the luminance range on the low luminance side falls within the dynamic range. (See Patent Document 1). A technique is also known in which a single dynamic range enlarged image is generated by photographing a plurality of times with different exposures and combining the obtained images (see Patent Document 2). Japanese Patent Application Laid-Open No. 2004-228561 also discloses a technique for performing underexposure with a number of steps based on the amount of expansion of the dynamic range, and generating one dynamic range expanded image by performing gain correction with an image processing unit.

特開２００８−１０４００９号公報JP 2008-104209 A 特開２０１０−０７４６１８号公報JP 2010-074618 A

上述の各技術は、特に撮影画面内に輝度差があるシーンで有効であるが、撮影時の状況によっては、好ましくない結果をもたらす場合がある。例えば、被写体位置が頻繁に変化する状況では、複数回の撮影により得られた複数の画像中の被写体位置が異なるため、これら複数の画像の合成処理は失敗する可能性がある。また、例えば、撮影画面内の輝度差が大きなシーンではダイナミックレンジの拡大量が大きくなり、ゲイン補正によるノイズの増加が目立ってしまう。   Each of the above-described techniques is particularly effective in a scene where there is a luminance difference in the shooting screen. However, depending on the situation at the time of shooting, there may be an undesirable result. For example, in a situation where the subject position changes frequently, the subject positions in a plurality of images obtained by a plurality of shootings are different, and thus the composition processing of these plurality of images may fail. Further, for example, in a scene with a large luminance difference in the shooting screen, the amount of expansion of the dynamic range becomes large, and the increase in noise due to gain correction becomes conspicuous.

本発明はこのような状況に鑑みてなされたものであり、撮影時の様々な状況を考慮して撮影方式を決定する技術を提供することを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to provide a technique for determining an imaging method in consideration of various situations at the time of imaging.

上記課題を解決するために、本発明は、撮影画面内の被写体が動いているか否かを判定する判定手段と、前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記被写体が動いていないと判定された場合、第２の撮影方式を選択する選択手段と、前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力する出力手段と、前記撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出手段と、を備え、前記選択手段は、前記輝度差が第１の閾値以上の場合、前記判定手段の判定結果に関わらず第３の撮影方式を選択し、前記出力手段は、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力することを特徴とする撮像装置を提供する。 In order to solve the above-described problem, the present invention selects a first photographing method when it is determined that a determination unit that determines whether or not a subject in a shooting screen is moving, and the subject is moving. When it is determined that the subject is not moving, a selection unit that selects a second imaging method, and, when the first imaging method is selected, an amplification factor for a low-brightness input value is input as a high-brightness input. When a first processed image is generated by gradation correction processing using an input / output characteristic that is larger than an amplification factor with respect to a value, and the second imaging method is selected, a plurality of images captured under a plurality of different exposure conditions Generating means for generating a second processed image by combining the first image and the first photographing method, the first processed image is output, and the second photographing method is selected. The second processed image is output. And output means, and a calculating means for calculating a luminance difference between the high luminance region and low luminance region of the photographing screen, the selection means, the luminance difference is equal to or larger than the first threshold value, said judging means A third imaging method is selected regardless of the determination result, and the output means outputs an image captured with a predetermined exposure when the third imaging method is selected. provide.

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。   Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.

本発明によれば、撮影時の様々な状況を考慮して撮影方式を決定することが可能となる。   According to the present invention, it is possible to determine a shooting method in consideration of various situations during shooting.

第１の実施形態に係る撮像装置１００の構成を示す図。1 is a diagram illustrating a configuration of an imaging apparatus 100 according to a first embodiment. 撮像装置１００による静止画記録処理を示すフローチャート。5 is a flowchart showing still image recording processing by the imaging apparatus 100. Ｓ２０９のブラケット撮影処理の詳細を示すフローチャート。The flowchart which shows the detail of the bracket imaging | photography process of S209. Ｓ３０２のＡＥＢ種別決定処理の詳細を示すフローチャート。The flowchart which shows the detail of the AEB classification determination process of S302.

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。   Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.

［第１の実施形態］
図１に、第１の実施形態に係る撮像装置１００の構成を示す。撮像部１０は、光を受光し、Ａ／Ｄ変換によってデジタル化された画像信号を出力する。撮像部１０が受光する光は、フォーカスレンズを含むレンズ群、シャッター、及び絞りを通過したものである。シャッター及び絞りは露出制御部２０によって、フォーカスレンズはフォーカス制御部３０によって、それぞれ制御することが可能である。また、ストロボ制御部３５によってストロボ（フラッシュ）を発光させることもできる。 [First Embodiment]
FIG. 1 shows a configuration of the imaging apparatus 100 according to the first embodiment. The imaging unit 10 receives light and outputs an image signal digitized by A / D conversion. The light received by the imaging unit 10 has passed through a lens group including a focus lens, a shutter, and a diaphragm. The shutter and aperture can be controlled by the exposure control unit 20, and the focus lens can be controlled by the focus control unit 30. In addition, a strobe (flash) can be emitted by the strobe control unit 35.

撮像部１０から出力された画像データは、画像処理回路６０へ入力すると共に、メモリ５０に記憶することができる。メモリ５０に一旦記憶した画像データは、再度読み出すことができ、システム制御部４０から画像データを参照したり、読み出した画像データを画像処理回路６０に入力したりすることが可能である。更に、画像処理回路６０で画像処理した画像データをメモリ５０に書き戻したり、システム制御部４０から任意のデータをメモリ５０に書き込んだりすることも可能である。   Image data output from the imaging unit 10 can be input to the image processing circuit 60 and stored in the memory 50. The image data once stored in the memory 50 can be read again, the image data can be referred to from the system control unit 40, and the read image data can be input to the image processing circuit 60. Furthermore, the image data processed by the image processing circuit 60 can be written back to the memory 50, or arbitrary data can be written to the memory 50 from the system control unit 40.

画像処理回路６０は、以下のような機能を有している。
・入力画像にガンマをかける。
・メモリ５０から読み出した複数の画像を合成する。
・入力画像の特徴を抽出することで顔などの被写体を検出する。
・複数の入力画像の輝度差分を算出する。特に、連続する２フレームの画像の輝度差分を出力することで、被写体に変化があるか否かを判定することができる。
・入力画像の輝度ヒストグラムを出力する。 The image processing circuit 60 has the following functions.
• Apply gamma to the input image.
A plurality of images read from the memory 50 are combined.
・ Detect a subject such as a face by extracting features of the input image.
Calculate the luminance difference between multiple input images. In particular, it is possible to determine whether or not there is a change in the subject by outputting a luminance difference between two consecutive frames.
・ Output brightness histogram of input image.

表示部７０は、画像処理回路６０で画像処理されメモリ５０に記憶されたデジタル画像データをＤ／Ａ変換して、液晶ディスプレイのような表示装置に画像を表示することができる。また、表示部７０は、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示したりすることも可能である。   The display unit 70 can D / A convert the digital image data processed by the image processing circuit 60 and stored in the memory 50 to display an image on a display device such as a liquid crystal display. Further, the display unit 70 can display not only image data but also arbitrary information alone or together with an image, display exposure information at the time of shooting, or display a frame in the detected face area. It is also possible to do.

記録部８０は、撮影した画像データをメディアに記憶することができる。操作部９０は、特に、撮影指示を行うためのシャッタースイッチＳＷ１ ９２、及びＳＷ２ ９４を含む。シャッタースイッチＳＷ１ ９２は、シャッターボタン（不図示）の操作途中でＯＮとなり、露出やピントの自動制御等の撮影準備動作の開始を指示する。シャッタースイッチＳＷ２ ９４は、シャッターボタン（不図示）の操作完了でＯＮとなり、静止画撮影の指示を行う。操作部９０は、他にも、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えるモード切替スイッチや、カメラ設定を変更可能なパラメータ選択スイッチなどを含む。   The recording unit 80 can store captured image data in a medium. The operation unit 90 includes, in particular, shutter switches SW1 92 and SW2 94 for instructing photographing. The shutter switch SW1 92 is turned on during the operation of a shutter button (not shown), and instructs to start a shooting preparation operation such as automatic exposure and focus control. The shutter switch SW 294 is turned on when the operation of a shutter button (not shown) is completed, and issues a still image shooting instruction. In addition, the operation unit 90 includes a mode switch for switching camera operation modes such as a still image shooting mode, a moving image shooting mode, and a playback mode, a parameter selection switch that can change camera settings, and the like.

図２は、撮像装置１００による静止画記録処理を示すフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部４０が撮像装置１００の各ブロックを適宜用いて実現される。撮像装置１００のカメラ動作モードが静止画撮影モードに設定されると、本フローチャートの処理が開始する。本実施形態では、シャッタースイッチＳＷ１ ９２、及びＳＷ２ ９４によって撮影動作が指示されると、撮像装置１００は、シーンに応じたブラケット撮影を選択し、３枚の静止画を出力する。   FIG. 2 is a flowchart showing still image recording processing by the imaging apparatus 100. Unless otherwise specified, the processing of each step in the flowchart is realized by the system control unit 40 using each block of the imaging apparatus 100 as appropriate. When the camera operation mode of the imaging apparatus 100 is set to the still image shooting mode, the process of this flowchart starts. In this embodiment, when a shooting operation is instructed by the shutter switches SW1 92 and SW2 94, the imaging device 100 selects bracket shooting according to the scene and outputs three still images.

Ｓ２０１で、システム制御部４０は、シャッタースイッチＳＷ１ ９２がＯＮであるか否かを判定する。ＯＮであれば、処理はＳ２０２に進む。Ｓ２０２で、システム制御部４０は測光処理を行い、被写体の輝度値を算出する。被写体の輝度値は、撮像部１０から出力される画像データの輝度信号値と、その画像が露光された時点の露出条件とから算出される。また、システム制御部４０は、画像データの輝度信号値や画像処理回路６０から出力される輝度ヒストグラムを参照し、画像の低輝度領域と高輝度領域の輝度値についても別途求めておく。   In step S201, the system control unit 40 determines whether the shutter switch SW1 92 is ON. If it is ON, the process proceeds to S202. In step S202, the system control unit 40 performs photometry processing and calculates the luminance value of the subject. The luminance value of the subject is calculated from the luminance signal value of the image data output from the imaging unit 10 and the exposure condition at the time when the image is exposed. Also, the system control unit 40 refers to the luminance signal value of the image data and the luminance histogram output from the image processing circuit 60, and separately obtains the luminance values of the low luminance region and the high luminance region of the image.

Ｓ２０３で、システム制御部４０は、被写体が動いているか否かを判定する。ここでの判定結果は、後で、ＨＤＲ合成処理を行うか否かを判定するために使用される。詳細は後述するが、被写体が動いている場合は、連続して撮影した複数の画像の合成に失敗する可能性が高いため、撮像装置１００はＨＤＲ合成処理を行わない。被写体が動いているか否かの判定には、画像処理回路６０から出力される連続する２フレームの画像の輝度差分や、画像処理回路６０から出力される顔座標の時間変化量や、測光により得られる輝度値の時間変化量などが用いられる。また、被写体が静止していても撮像装置１００が動いている場合には、被写体に相対的な動きが生じる。そのため、撮像装置１００に搭載されているジャイロセンサ（不図示）から出力される角速度情報などを用いて撮像装置１００が動いているか否かを判定することにより、被写体が動いているか否かを判定してもよい。これらの輝度差分、顔座標の時間変化量、輝度値の時間変化量、角速度情報などの大きさが閾値以上の場合に、システム制御部４０は、被写体に動きがあると判定する。   In S203, the system control unit 40 determines whether or not the subject is moving. The determination result here is used later to determine whether to perform HDR synthesis processing. Although details will be described later, when the subject is moving, there is a high possibility that composition of a plurality of consecutively photographed images will fail, so the imaging apparatus 100 does not perform HDR composition processing. Whether or not the subject is moving is obtained by a luminance difference between two consecutive frames output from the image processing circuit 60, a temporal change in face coordinates output from the image processing circuit 60, or photometry. The amount of change in luminance value over time is used. In addition, when the imaging apparatus 100 is moving even when the subject is stationary, a relative movement occurs on the subject. Therefore, it is determined whether or not the subject is moving by determining whether or not the imaging device 100 is moving using angular velocity information output from a gyro sensor (not shown) mounted on the imaging device 100. May be. The system control unit 40 determines that the subject is moving when the magnitudes of the luminance difference, the temporal change amount of the face coordinates, the temporal change amount of the luminance value, the angular velocity information, and the like are equal to or greater than a threshold value.

Ｓ２０４で、システム制御部４０は、距離マップを取得する。距離マップは、画角中の小領域ごとの距離情報を示す。まず、システム制御部４０は、画角に対してＭ×Ｎの測距領域を設定する。そして、システム制御部４０は、フォーカス制御部３０によってフォーカスレンズを移動させながら、撮像部１０から出力される画像データのコントラストを示すＡＦ評価値を各測距領域に対して求めていく。ＡＦ評価値は、画像処理回路６０から出力される。或いは、システム制御部４０は、画像データもしくは画像処理回路６０の出力から演算によりＡＦ評価値を求めてもよい。各フォーカスレンズ位置に対して求まった各測距領域のＡＦ評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置（以下、ピークポジション）が求まり、これが領域ごとの距離情報に相当する。即ち、距離マップは、Ｍ×Ｎのピークポジション情報である。なお、撮像部１０に含まれる撮像素子が複数の測距領域ごとにデフォーカス量を求められる構成であれば、各測距領域のデフォーカス量に基づいて距離マップを取得してもよい。   In S204, the system control unit 40 acquires a distance map. The distance map indicates distance information for each small region in the angle of view. First, the system control unit 40 sets an M × N ranging area for the angle of view. Then, the system control unit 40 obtains an AF evaluation value indicating the contrast of the image data output from the imaging unit 10 for each distance measurement area while moving the focus lens by the focus control unit 30. The AF evaluation value is output from the image processing circuit 60. Alternatively, the system control unit 40 may obtain the AF evaluation value by calculation from the image data or the output of the image processing circuit 60. The focus lens position (hereinafter referred to as peak position) at which the evaluation value is maximized for each distance measurement area is obtained from the AF evaluation value of each distance measurement area obtained for each focus lens position, and this corresponds to distance information for each area. To do. That is, the distance map is M × N peak position information. If the image sensor included in the imaging unit 10 is configured to obtain the defocus amount for each of the plurality of distance measurement areas, the distance map may be acquired based on the defocus amount of each distance measurement area.

Ｓ２０５で、システム制御部４０は、Ｓ２０４で得られた距離マップ、及びＳ２０２で得られた測光結果を参照して、ブラケット撮影の種類を決定する。まず、システム制御部４０は、距離マップを参照して撮影画面内に距離差のある被写体が混在するか否かを判定する。距離差のある被写体が混在する場合、システム制御部４０は、フォーカスブラケットを選択する。即ち、撮像装置１００は、フォーカスレンズの位置を変えて複数回の撮影を行うことになる。撮影画面内の距離差が小さい場合は、システム制御部４０は、Ｓ２０２で得られた低輝度領域の輝度値と高輝度領域の輝度値との差分（輝度差）を算出し、輝度差が所定の閾値（第３の閾値）以上か否かを判定する。輝度差が所定の閾値以上である場合は、システム制御部４０は、ＡＥブラケット（以下、ＡＥＢ）を選択する。即ち、撮像装置１００は、露出を変えて複数回の撮影を行うことになる。輝度差が所定の閾値未満の場合は、システム制御部４０は、連写を選択する。即ち、撮像装置１００は、同じフォーカス位置、同じ露出で３枚連続撮影することになる。この場合、撮像装置１００は、図４を参照して後述するＡＥＢ種別（撮影方式）の選択は行わない。なお、Ｓ２０５における輝度差に関する所定の閾値（第３の閾値）は、後述するＳ４０４における所定の閾値（第１の閾値）よりも小さい。   In S205, the system control unit 40 refers to the distance map obtained in S204 and the photometric result obtained in S202, and determines the type of bracket shooting. First, the system control unit 40 refers to the distance map to determine whether or not subjects with a distance difference are mixed in the shooting screen. When subjects with different distances exist together, the system control unit 40 selects a focus bracket. In other words, the imaging apparatus 100 performs photographing a plurality of times by changing the position of the focus lens. When the distance difference in the shooting screen is small, the system control unit 40 calculates the difference (luminance difference) between the luminance value of the low luminance area and the luminance value of the high luminance area obtained in S202, and the luminance difference is predetermined. It is determined whether or not it is equal to or greater than the threshold (third threshold). When the luminance difference is equal to or greater than a predetermined threshold, the system control unit 40 selects an AE bracket (hereinafter referred to as AEB). In other words, the imaging apparatus 100 performs photographing a plurality of times while changing the exposure. When the luminance difference is less than the predetermined threshold, the system control unit 40 selects continuous shooting. That is, the imaging apparatus 100 continuously takes three images at the same focus position and the same exposure. In this case, the imaging apparatus 100 does not select an AEB type (imaging method) described later with reference to FIG. Note that the predetermined threshold value (third threshold value) relating to the luminance difference in S205 is smaller than the predetermined threshold value (first threshold value) in S404 described later.

Ｓ２０６で、システム制御部４０は、被写体にピントを合わせるためにフォーカスレンズを合焦位置に移動させる。合焦位置は、Ｓ２０４で得られた距離マップをもとに算出される。   In S206, the system control unit 40 moves the focus lens to the in-focus position in order to focus on the subject. The in-focus position is calculated based on the distance map obtained in S204.

Ｓ２０７で、システム制御部４０は、シャッタースイッチＳＷ２ ９４がＯＮであるか否かを判定する。ＯＦＦの場合、処理はＳ２０８に進み、ＯＮの場合、処理はＳ２０９に進む。   In S207, the system control unit 40 determines whether or not the shutter switch SW294 is ON. If it is OFF, the process proceeds to S208. If it is ON, the process proceeds to S209.

Ｓ２０８で、システム制御部４０は、シャッタースイッチＳＷ１ ９２がＯＮであるか否かを判定する。ＯＮの場合、処理はＳ２０７に戻り、ＯＦＦの場合、処理はＳ２０１に戻る。シャッタースイッチＳＷ１ ９２がＯＮ、シャッタースイッチＳＷ２ ９４がＯＦＦの間は、Ｓ２０７〜Ｓ２０８の処理が繰り返される。   In S208, the system control unit 40 determines whether or not the shutter switch SW1 92 is ON. If it is ON, the process returns to S207. If it is OFF, the process returns to S201. While the shutter switch SW1 92 is ON and the shutter switch SW2 94 is OFF, the processes of S207 to S208 are repeated.

Ｓ２０９で、システム制御部４０は、Ｓ２０５で決定したブラケット種別に基づきブラケット撮影を行う。Ｓ２０９のブラケット撮影処理については、図３を用いて後述する。   In step S209, the system control unit 40 performs bracket shooting based on the bracket type determined in step S205. The bracket shooting process in S209 will be described later with reference to FIG.

Ｓ２１０で、システム制御部４０は、ブラケット撮影により得られた最終的な３枚の出力画像データを、記録部８０を通じてメディアに記録する。   In S <b> 210, the system control unit 40 records the final three output image data obtained by bracket shooting on the medium through the recording unit 80.

図３は、Ｓ２０９のブラケット撮影処理の詳細を示すフローチャートである。Ｓ３０１で、システム制御部４０は、Ｓ２０５で決定したブラケット種別を参照し、ブラケット種別がＡＥＢであれば処理をＳ３０２に進める。   FIG. 3 is a flowchart showing details of the bracket photographing process in S209. In S301, the system control unit 40 refers to the bracket type determined in S205, and proceeds to S302 if the bracket type is AEB.

Ｓ３０２で、システム制御部４０は、ＡＥＢ種別（撮影方式）を決定する。決定されるＡＥＢ種別は「発光」（第４の撮影方式）、「ＨＤＲ」（第２の撮影方式）、「Ｄ＋」（第１の撮影方式）、「ＡＥＢ（通常）」（第３の撮影方式）のいずれかである。「発光」は、ストロボ発光を伴う撮影方式を指す。「ＨＤＲ」は、適正、アンダー、オーバーという露出の異なる３枚の画像の合成によりダイナミックレンジを拡大する処理を伴う撮影方式を指す。「Ｄ＋」は、露出アンダーの画像をダイナミックレンジ拡大用のガンマで持ち上げる処理を伴う撮影方式を指す。「ＡＥＢ（通常）」は、適正、アンダー、オーバーという露出の異なる３枚の画像を出力する撮影方式を指す。「ＡＥＢ（通常）」の場合、複数の画像の合成処理や、ダイナミックレンジを拡大するガンマ処理は行われない。また、「ＨＤＲ」のための合成処理、及び「Ｄ＋」のためのガンマ処理は、画像処理回路６０で行われる。Ｓ３０２のＡＥＢ種別決定処理については、図４を用いて後述する。   In S302, the system control unit 40 determines the AEB type (imaging method). The determined AEB types are “flash” (fourth shooting method), “HDR” (second shooting method), “D +” (first shooting method), “AEB (normal)” (third shooting). Method). “Light emission” refers to a photographing method that involves strobe light emission. “HDR” refers to an imaging method that involves processing to expand the dynamic range by combining three images with different exposures of appropriate, under, and over. “D +” refers to a photographing method involving a process of lifting an underexposed image with gamma for expanding the dynamic range. “AEB (normal)” refers to a photographing system that outputs three images with different exposures of appropriate, under, and over. In the case of “AEB (normal)”, composite processing of a plurality of images and gamma processing for expanding the dynamic range are not performed. Also, the image processing circuit 60 performs the synthesis process for “HDR” and the gamma process for “D +”. The AEB type determination process in S302 will be described later with reference to FIG.

Ｓ３０２にて決定されたＡＥＢ種別が「発光」の場合、システム制御部４０は、処理をＳ３０３からＳ３０４へ進める。Ｓ３０４で、システム制御部４０は、ストロボ制御部３５を用いてストロボ（フラッシュ）を発光させ、１枚目の画像をアンダー露出で撮影する。Ｓ３０５で、システム制御部４０は、２枚目の画像を適正露出で撮影する、Ｓ３０６で、システム制御部４０は、３枚目の画像をオーバー露出で撮影する。Ｓ３０５及びＳ３０６では、ストロボの発光は行われない。適正露出、アンダー露出、オーバー露出については、システム制御部４０は、Ｓ２０２の測光処理で求めた被写体輝度、高輝度領域の輝度値、低輝度領域の輝度値に基づいて算出する。適正露出で撮影すると撮影画面全体が平均的に、アンダー露出で撮影すると高輝度領域が、オーバー露出で撮影すると低輝度領域が、それぞれ適正露出になるように露出が計算される。   If the AEB type determined in S302 is “light emission”, the system control unit 40 advances the process from S303 to S304. In step S <b> 304, the system control unit 40 uses the strobe control unit 35 to emit a strobe (flash) and takes a first image with underexposure. In S305, the system control unit 40 captures the second image with proper exposure. In S306, the system control unit 40 captures the third image with overexposure. In S305 and S306, the flash is not emitted. The appropriate exposure, underexposure, and overexposure are calculated based on the subject brightness, the brightness value in the high brightness area, and the brightness value in the low brightness area, which are obtained by the photometry process in S202. When shooting with proper exposure, the entire shooting screen is averaged. When shooting with underexposure, exposure is calculated so that the high-brightness area is properly exposed, and when shooting with overexposure, the low-brightness area is appropriately exposed.

Ｓ３０７で、システム制御部４０は、Ｓ３０４で撮影した発光画像、Ｓ３０５で撮影した適正画像、Ｓ３０６で撮影したオーバー画像を現像して出力する。   In step S307, the system control unit 40 develops and outputs the light emission image captured in step S304, the appropriate image captured in step S305, and the over image captured in step S306.

なお、Ｓ３０４からＳ３０６においては、システム制御部４０は少なくとも１枚の発光画像を撮影すればよく、これ以外の撮影や撮影条件は上で説明したものと異なっていてもよい。例えば、システム制御部４０は、Ｓ３０５及びＳ３０６の処理を省略してもよい。この場合、Ｓ３０７で、システム制御部４０は、Ｓ３０４で撮影された発光画像（フラッシュの発光時に撮像された画像）のみを出力する。   In S304 to S306, the system control unit 40 only needs to capture at least one light-emitting image, and other shooting and shooting conditions may be different from those described above. For example, the system control unit 40 may omit the processes of S305 and S306. In this case, in S307, the system control unit 40 outputs only the light emission image captured in S304 (the image captured when the flash is emitted).

Ｓ３０２にて決定されたＡＥＢ種別が「発光」でない場合は、システム制御部４０は、処理をＳ３０３からＳ３０８へ進める。Ｓ３０８で、システム制御部４０は、１枚目の画像を適正露出で撮影する。Ｓ３０９で、システム制御部４０は、２枚目の画像をアンダー露出で撮影する。Ｓ３１０で、システム制御部４０は、３枚目の画像をオーバー露出で撮影する。Ｓ３０８〜Ｓ３１０では、ストロボの発光は行われない。   If the AEB type determined in S302 is not “light emission”, the system control unit 40 advances the process from S303 to S308. In step S308, the system control unit 40 captures the first image with appropriate exposure. In step S309, the system control unit 40 captures the second image with underexposure. In S310, the system control unit 40 captures the third image with overexposure. In S308 to S310, the flash is not emitted.

Ｓ３１１で、システム制御部４０は、Ｓ３０２にて決定されたＡＥＢ種別が「ＨＤＲ」であるか否かを判定する。「ＨＤＲ」の場合、処理はＳ３１２に進み、「ＨＤＲ」でない場合、処理はＳ３１５に進む。   In S311, the system control unit 40 determines whether or not the AEB type determined in S302 is “HDR”. If it is “HDR”, the process proceeds to S312. If it is not “HDR”, the process proceeds to S315.

Ｓ３１２で、システム制御部４０は、Ｓ３０８で撮影した適正画像、Ｓ３０９で撮影したアンダー画像、Ｓ３１０で撮影したオーバー画像を合成してＨＤＲ画像を生成する。   In S312, the system control unit 40 generates an HDR image by combining the appropriate image captured in S308, the under image captured in S309, and the over image captured in S310.

Ｓ３１３で、システム制御部４０は、合成が成功したか否かを判定する。合成処理は、被写体などの動きに弱い。後述する通り、「ＨＤＲ」が選択されるのは被写体の動きが比較的小さい場合であるが、そのような場合でも、Ｓ３１２で合成処理をした結果、合成する画像の位置合わせなどに失敗し、合成が失敗する場合がある。システム制御部４０は、例えば、位置合わせのための動きベクトルが検出できなかった場合や、検出された動きベクトルが大き過ぎる場合などに、合成が失敗したと判定することができる。合成が成功した場合、処理はＳ３１４に進み、合成が失敗した場合、処理はＳ３１６に進む。   In S313, the system control unit 40 determines whether or not the composition is successful. The composition process is vulnerable to movement of the subject or the like. As will be described later, “HDR” is selected when the movement of the subject is relatively small. However, even in such a case, as a result of the composition processing in S312, the alignment of the image to be composed fails. Synthesis may fail. The system control unit 40 can determine that the synthesis has failed, for example, when a motion vector for alignment cannot be detected or when the detected motion vector is too large. If the composition is successful, the process proceeds to S314. If the composition is unsuccessful, the process proceeds to S316.

Ｓ３１４で、システム制御部４０は、Ｓ３０８で撮影した適正画像、及びＳ３１０で撮影したオーバー画像を現像し、Ｓ３１２で生成したＨＤＲ合成画像（第２の処理画像）と併せて出力する。   In step S314, the system control unit 40 develops the appropriate image captured in step S308 and the over image captured in step S310, and outputs the developed image together with the HDR composite image (second processed image) generated in step S312.

なお、Ｓ３１４においては、システム制御部４０は少なくともＨＤＲ合成画像を出力すればよく、これ以外の画像は出力しなくてもよい。また、本実施形態では、ＨＤＲ合成画像は３枚の画像（適正画像、アンダー画像、オーバー画像）から生成されるものとしたが、合成枚数は３枚に限定されない。例えば、システム制御部４０は、アンダー画像及びオーバー画像からＨＤＲ合成画像を生成してもよい。この場合、システム制御部４０は、Ｓ３０８における適正画像の撮影を省略してもよい。   In S314, the system control unit 40 may output at least the HDR composite image, and may not output any other image. In this embodiment, the HDR composite image is generated from three images (appropriate image, under image, and over image). However, the number of composite images is not limited to three. For example, the system control unit 40 may generate an HDR composite image from the under image and the over image. In this case, the system control unit 40 may omit taking an appropriate image in S308.

処理がＳ３１１からＳ３１５へ進んだ場合（Ｓ３０２にて決定されたＡＥＢ種別が「ＨＤＲ」でない場合）、システム制御部４０は、Ｓ３０２にて決定されたＡＥＢ種別が「Ｄ＋」であるか否かを判定する。「Ｄ＋」の場合、処理はＳ３１６に進み、「Ｄ＋」でない場合、処理はＳ３１８に進む。   When the process proceeds from S311 to S315 (when the AEB type determined in S302 is not “HDR”), the system control unit 40 determines whether or not the AEB type determined in S302 is “D +”. judge. If “D +”, the process proceeds to S316. If not “D +”, the process proceeds to S318.

処理がＳ３１３又はＳ３１５からＳ３１６へ進んだ場合、システム制御部４０は、Ｓ３０９で撮影したアンダー画像に対し、画像処理回路６０を用いてガンマ処理を施す。そして、Ｄ＋画像（合成処理ではなくガンマ処理による処理画像：第１の処理画像）を生成する。   When the process proceeds from S313 or S315 to S316, the system control unit 40 performs gamma processing using the image processing circuit 60 on the under image captured in S309. Then, a D + image (processed image by gamma processing instead of synthesis processing: first processed image) is generated.

Ｓ３１７で、システム制御部４０は、Ｓ３０８で撮影した適正画像、及びＳ３１０で撮影したオーバー画像を現像し、Ｓ３１６で生成したＤ＋画像と併せて出力する。   In S317, the system control unit 40 develops the appropriate image captured in S308 and the over image captured in S310, and outputs the developed image together with the D + image generated in S316.

なお、Ｓ３１７においては、システム制御部４０は少なくともＤ＋画像を出力すればよく、これ以外の画像は出力しなくてもよい。システム制御部４０がＤ＋画像しか出力しない場合、システム制御部４０は、Ｓ３０８における適正画像の撮影やＳ３１０におけるオーバー画像の撮影を省略してもよい。   Note that in S317, the system control unit 40 may output at least the D + image, and may not output any other image. When the system control unit 40 outputs only the D + image, the system control unit 40 may omit the shooting of the appropriate image in S308 and the shooting of the over image in S310.

処理がＳ３１５からＳ３１８へ進んだ場合（Ｓ３０２にて決定されたＡＥＢ種別が「Ｄ＋」でない場合）、システム制御部４０は、Ｓ３０８で撮影した適正画像、Ｓ３０９で撮影したアンダー画像、及びＳ３１０で撮影したオーバー画像を現像して出力する。   When the process proceeds from S315 to S318 (when the AEB type determined in S302 is not “D +”), the system control unit 40 captures the appropriate image captured in S308, the under image captured in S309, and the S310. Develop and output the overimage.

なお、Ｓ３１８においては、システム制御部４０は所定の露出で撮像された少なくとも１つの画像を出力すればよく、上述の３つの画像全てを出力することは必須ではない。例えば、システム制御部４０は適正露出で撮像された画像だけを出力してもよく、この場合、Ｓ３０９におけるアンダー画像の撮影やＳ３１０におけるオーバー画像の撮影を省略してもよい。   In S318, the system control unit 40 only needs to output at least one image captured with a predetermined exposure, and it is not essential to output all three images described above. For example, the system control unit 40 may output only an image captured with appropriate exposure. In this case, the under image capturing in S309 and the over image capturing in S310 may be omitted.

処理がＳ３０１からＳ３１９へ進んだ場合（Ｓ２０５で決定したブラケット種別がＡＥＢでない場合）、システム制御部は、ブラケット種別に応じて、フォーカスブラケット撮影もしくは連写を行う。フォーカスブラケット撮影の場合、システム制御部４０は、フォーカス制御部３０を用いてフォーカスレンズ位置を変えて３枚の画像を撮影する。連写の場合、システム制御部４０は、撮影条件を変えずに連続で３枚の画像を撮影する。Ｓ３２０で、システム制御部４０は、Ｓ３１９で撮影した３枚の画像を現像して出力する。   When the process proceeds from S301 to S319 (when the bracket type determined in S205 is not AEB), the system control unit performs focus bracket shooting or continuous shooting according to the bracket type. In the case of focus bracket shooting, the system control unit 40 uses the focus control unit 30 to change the focus lens position and shoot three images. In the case of continuous shooting, the system control unit 40 continuously captures three images without changing the shooting conditions. In S320, the system control unit 40 develops and outputs the three images captured in S319.

Ｓ３０７、Ｓ３１４、Ｓ３１７、Ｓ３１８、又はＳ３２０で３枚の画像が出力されると、Ｓ２０９のブラケット撮影処理は終了する。   When three images are output in S307, S314, S317, S318, or S320, the bracket shooting process in S209 ends.

図４は、Ｓ３０２のＡＥＢ種別決定処理の詳細を示すフローチャートである。Ｓ４０１で、システム制御部４０は、Ｓ２０４で得られた距離マップやＳ２０６で算出した合焦位置を参照することにより被写体までの距離（被写体距離）を検出し、被写体距離が遠距離であるか否かを判定する。例えば、システム制御部４０は、被写体距離を所定の閾値と比較し、被写体距離が閾値以上であれば遠距離であると判定する。遠距離の場合、処理はＳ４０４に進み、遠距離でない場合、処理はＳ４０２に進む。   FIG. 4 is a flowchart showing details of the AEB type determination process in S302. In S401, the system control unit 40 detects the distance to the subject (subject distance) by referring to the distance map obtained in S204 and the in-focus position calculated in S206, and whether or not the subject distance is a long distance. Determine whether. For example, the system control unit 40 compares the subject distance with a predetermined threshold, and determines that the subject distance is long if the subject distance is equal to or greater than the threshold. If it is a long distance, the process proceeds to S404. If it is not a long distance, the process proceeds to S402.

Ｓ４０２で、システム制御部４０は、前述の被写体距離に基づき、被写体が至近に存在するか否かを判定する。例えば、システム制御部４０は、被写体距離を所定の閾値と比較し、被写体距離が閾値以下であれば被写体が至近に存在すると判定する。被写体が至近に存在する場合、処理はＳ４０４に進み、被写体が至近に存在しない場合、処理はＳ４０３に進む。   In S402, the system control unit 40 determines whether or not the subject is in the vicinity based on the above-described subject distance. For example, the system control unit 40 compares the subject distance with a predetermined threshold value, and determines that the subject is close when the subject distance is equal to or smaller than the threshold value. If the subject is present in the vicinity, the process proceeds to S404. If the subject is not present in the vicinity, the process proceeds to S403.

Ｓ４０３で、システム制御部４０は、ＡＥＢ種別を「発光」に決定する。ストロボ撮影を行う場合、撮影露出を高輝度領域に合わせて（即ち、アンダー露出で）ストロボ発光することで（Ｓ３０４参照）、高輝度領域と低輝度領域を同時に適正な明るさにできる。ストロボ撮影であれば、複数の画像を合成することによる合成失敗のリスクもなく、ダイナミックレンジ拡大用のガンマ処理でノイズが増加することもない。そのため、本実施形態では、被写体距離に問題がなければ、システム制御部４０はＡＥＢ種別として「発光」を選択する。Ｓ４０３の処理が行われるのは、被写体距離が遠距離でもなく（Ｓ４０１でＮＯ）、至近でもない（Ｓ４０２でＮＯ）場合、即ち、被写体距離が所定の範囲内であり問題がない場合である。   In step S403, the system control unit 40 determines that the AEB type is “light emission”. When performing strobe shooting, the high-brightness region and the low-brightness region can be set to appropriate brightness at the same time by performing strobe light emission with the shooting exposure adjusted to the high-brightness region (that is, underexposure) (see S304). In the case of flash photography, there is no risk of composition failure due to composition of a plurality of images, and noise is not increased by gamma processing for dynamic range expansion. Therefore, in this embodiment, if there is no problem with the subject distance, the system control unit 40 selects “light emission” as the AEB type. The process of S403 is performed when the subject distance is neither a long distance (NO in S401) nor a close distance (NO in S402), that is, the subject distance is within a predetermined range and there is no problem.

他方、被写体が遠距離に存在する場合は、ストロボ発光してもストロボ光が被写体に届かない可能性があり、逆に被写体が至近に存在する場合は、ストロボ発光してしまうとストロボ光が被写体に強く当たりすぎたりケラレが生じたりする可能性がある。そのため、被写体が遠距離に存在する場合（Ｓ４０１でＹＥＳ）や、被写体が至近に存在する場合（Ｓ４０２でＹＥＳ）には、システム制御部４０は処理をＳ４０４に進め、ストロボ発光しないようにする。   On the other hand, if the subject is located at a long distance, the flash light may not reach the subject even if the flash is fired. Conversely, if the subject is close to the subject, There is a possibility of hitting too hard or vignetting. Therefore, when the subject is at a long distance (YES in S401) or when the subject is close (YES in S402), the system control unit 40 advances the process to S404 so that the flash is not emitted.

Ｓ４０４で、システム制御部４０は、Ｓ２０２で得られた低輝度領域の輝度値と高輝度領域の輝度値との差分（輝度差）が所定の閾値（第１の閾値）以上であるか否かを判定する。輝度差が大きい場合にＨＤＲ合成（Ｓ３１２参照）を行うと、合成画像が不自然になりやすい。また、輝度差が大きい場合にガンマ処理によるダイナミックレンジ拡大（Ｓ３１６参照）を行うと、ガンマ処理によりアンダー画像の輝度をより大きく持ち上げないとならないため、ノイズが増加する傾向にある。そのため、本実施形態では、輝度差が所定の閾値以上である場合には、システム制御部４０は「ＨＤＲ」や「Ｄ＋」を選択せず、「ＡＥＢ（通常）」を選択する。即ち、Ｓ４０４において輝度差が閾値以上の場合、処理はＳ４０８に進み、輝度差が閾値未満の場合、処理はＳ４０５に進む。   In S404, the system control unit 40 determines whether or not the difference (luminance difference) between the luminance value of the low luminance area and the luminance value of the high luminance area obtained in S202 is equal to or larger than a predetermined threshold (first threshold). Determine. When HDR synthesis (see S312) is performed when the luminance difference is large, the synthesized image tends to be unnatural. Further, when the dynamic range is expanded by gamma processing (see S316) when the luminance difference is large, the luminance of the under image has to be increased more greatly by gamma processing, and thus noise tends to increase. Therefore, in this embodiment, when the luminance difference is equal to or greater than a predetermined threshold, the system control unit 40 selects “AEB (normal)” without selecting “HDR” or “D +”. That is, if the luminance difference is greater than or equal to the threshold in S404, the process proceeds to S408, and if the luminance difference is less than the threshold, the process proceeds to S405.

なお、Ｓ４０４においては、システム制御部４０は、輝度差を判定する代わりに、被写体の高輝度領域の適正露出と低輝度領域の適正露出を算出し、両者の露出差が所定の閾値以上であるか否かを判定してもよい。高輝度領域の適正露出は、Ｓ３０４及びＳ３０９のアンダー露出に相当し、低輝度領域の適正露出は、Ｓ３０６及びＳ３１０のオーバー露出に相当する。輝度差が大きい場合は露出差も大きくなる（換言すると、露出差が大きいということは輝度差が大きいということを意味する）ので、露出差を判定するということは、実質的には輝度差を判定するということと同じことである。   In S404, instead of determining the luminance difference, the system control unit 40 calculates the appropriate exposure of the high luminance area and the appropriate exposure of the low luminance area of the subject, and the exposure difference between them is equal to or greater than a predetermined threshold value. It may be determined whether or not. Proper exposure in the high luminance region corresponds to underexposure in S304 and S309, and proper exposure in the low luminance region corresponds to overexposure in S306 and S310. When the brightness difference is large, the exposure difference also becomes large (in other words, a large exposure difference means that the brightness difference is large). Therefore, determining the exposure difference substantially reduces the brightness difference. It is the same as judging.

Ｓ４０５で、システム制御部４０は、Ｓ２０３における動き判定結果を参照することにより、被写体に動きがあるか否かを判定する。被写体に動きがある場合、処理はＳ４０６に進み、そうでない場合、処理はＳ４０７に進む。   In step S405, the system control unit 40 determines whether the subject has movement by referring to the movement determination result in step S203. If the subject has movement, the process proceeds to S406, and if not, the process proceeds to S407.

被写体に動きがある場合、複数の撮影画像の合成に失敗する可能性が高い。そのため、Ｓ４０６で、システム制御部４０は、１枚の画像をガンマ処理することによりダイナミックレンジを拡大する「Ｄ＋」を選択する。逆に、被写体に動きがなければ、Ｓ４０７で、システム制御部４０は、複数の撮影画像を合成することによりダイナミックレンジを拡大する「ＨＤＲ」を選択する。   When the subject moves, there is a high possibility that composition of a plurality of captured images will fail. Therefore, in S406, the system control unit 40 selects “D +” that expands the dynamic range by performing gamma processing on one image. On the other hand, if there is no movement of the subject, in S407, the system control unit 40 selects “HDR” that expands the dynamic range by combining a plurality of captured images.

Ｓ４０４からＳ４０８へ進んだ場合（高輝度領域と低輝度領域の輝度差が大きい場合）、システム制御部４０は、非発光で露出を変えながら複数の画像を撮影する「ＡＥＢ（通常）」を選択する。「ＡＥＢ（通常）」の場合は、低輝度領域を適正露出にした撮影と、高輝度領域を適正露出にした撮影とを行うことができる。そして、合成失敗のリスクや、ガンマ処理によりノイズが増加するリスクもない。しかしながら、「ＡＥＢ（通常）」の場合、１枚の画像で低輝度領域と高輝度領域を同時に適正露出にすることはできない。そのため、例えば、Ｓ３１８において、システム制御部４０は、各画像から適正露出の領域のみを切り出して出力してもよい。   When the process proceeds from S404 to S408 (when the brightness difference between the high-brightness area and the low-brightness area is large), the system control unit 40 selects “AEB (normal)” that captures a plurality of images without changing light exposure. To do. In the case of “AEB (normal)”, it is possible to perform shooting with the low-brightness area having proper exposure and shooting with the high-brightness area having proper exposure. There is no risk of composition failure and no risk of noise increase due to gamma processing. However, in the case of “AEB (normal)”, the low luminance region and the high luminance region cannot be appropriately exposed simultaneously in one image. Therefore, for example, in S318, the system control unit 40 may cut out and output only the appropriate exposure area from each image.

また、Ｓ３０７、Ｓ３１４、Ｓ３１７、及びＳ３１８におけるオーバー画像について、システム制御部４０は、オーバー画像のうち輝度が所定の閾値（第２の閾値）未満の領域を切り出して出力してもよい。これにより、オーバー画像のうち適正露出の領域のみが出力される。   In addition, for the over image in S307, S314, S317, and S318, the system control unit 40 may cut out and output an area of the over image whose luminance is less than a predetermined threshold (second threshold). As a result, only a properly exposed region in the over image is output.

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮影時の様々な状況（被写体距離、高輝度領域と低輝度領域の輝度差、及び被写体の動きなど）を考慮して撮影方式（ＡＥＢ種別）を決定する。これにより、最終的に得られる画像の画質を向上させることができる。   As described above, according to the first embodiment, the imaging apparatus 100 takes into consideration various situations at the time of shooting (subject distance, luminance difference between a high luminance region and a low luminance region, subject movement, and the like). To determine the shooting method (AEB type). Thereby, the image quality of the finally obtained image can be improved.

また、上記の実施形態では、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理の例として、露出アンダーの画像をダイナミックレンジ拡大用のガンマで持ち上げる処理（Ｄ＋）を説明した。しかしながら、上記のような階調補正処理はガンマで持ち上げる処理に限られるものではなく、例えば、特開２０１０−１９３０９８号公報に記載された暗部補正処理など、他の公知の階調補正処理を行ってもよい。   In the above embodiment, as an example of the gradation correction process using the input / output characteristic that makes the amplification factor for the low luminance input value larger than the amplification factor for the high luminance input value, an underexposed image is converted to a dynamic range. The process (D +) of lifting with gamma for enlargement has been described. However, the gradation correction process as described above is not limited to the process of lifting with gamma, and other known gradation correction processes such as a dark part correction process described in Japanese Patent Application Laid-Open No. 2010-193098 are performed. May be.

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 [Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

Claims (12)

撮影画面内の被写体が動いているか否かを判定する判定手段と、
前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記被写体が動いていないと判定された場合、第２の撮影方式を選択する選択手段と、
前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、
前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力する出力手段と、
前記撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出手段と、
を備え、
前記選択手段は、前記輝度差が第１の閾値以上の場合、前記判定手段の判定結果に関わらず第３の撮影方式を選択し、
前記出力手段は、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力する
ことを特徴とする撮像装置。 Determination means for determining whether or not the subject in the shooting screen is moving;
A selection unit that selects a first shooting method when it is determined that the subject is moving; and a second shooting method that is selected when it is determined that the subject is not moving;
When the first imaging method is selected, the first processed image is obtained by gradation correction processing using an input / output characteristic that makes an amplification factor for a low luminance input value larger than an amplification factor for a high luminance input value. Generating means for generating a second processed image by combining a plurality of images captured under a plurality of different exposure conditions when the second imaging method is selected;
An output means for outputting the first processed image when the first photographing method is selected, and outputting the second processed image when the second photographing method is selected;
Calculating means for calculating a luminance difference between a high luminance area and a low luminance area in the shooting screen;
Equipped with a,
The selection unit selects a third imaging method regardless of the determination result of the determination unit when the luminance difference is equal to or greater than a first threshold value;
The output means outputs an image captured with a predetermined exposure when the third imaging method is selected.
An imaging apparatus characterized by that. 前記被写体までの距離を検出する検出手段を更に備え、
前記選択手段は、前記距離が所定の範囲内の場合、第４の撮影方式を選択し、
前記撮像装置は、前記第４の撮影方式が選択された場合、フラッシュを発光させる発光手段を更に備え、
前記出力手段は、前記第４の撮影方式が選択された場合、前記フラッシュの発光時に撮像された画像を出力する
ことを特徴とする請求項１に記載の撮像装置。 A detecting means for detecting a distance to the subject;
The selection means selects a fourth imaging method when the distance is within a predetermined range;
The imaging apparatus further includes light emitting means for emitting a flash when the fourth imaging method is selected,
And the output means, when the fourth imaging mode is selected, the imaging apparatus according to claim 1, characterized in that outputs the image captured at the time of emission of the flash. 前記出力手段は、前記第４の撮影方式が選択された場合、前記フラッシュの発光時にアンダー露出で撮像された画像と、前記フラッシュを発光させずに適正露出で撮像された画像と、前記フラッシュを発光させずにオーバー露出で撮像された画像と、を出力する
ことを特徴とする請求項２に記載の撮像装置。 When the fourth photographing method is selected, the output means captures an image captured with underexposure when the flash is emitted, an image captured with appropriate exposure without emitting the flash, and the flash. The imaging apparatus according to claim 2 , wherein an image captured with overexposure without causing light emission is output. 前記出力手段は、前記第１の撮影方式が選択された場合、前記第１の処理画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を出力する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The output means outputs the first processed image, an image captured with proper exposure, and an image captured with overexposure when the first imaging method is selected. The imaging device according to any one of claims 1 to 3 . 前記生成手段は、前記第２の撮影方式が選択された場合、アンダー露出で撮像された画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を合成することにより前記第２の処理画像を生成し、
前記出力手段は、前記第２の撮影方式が選択された場合、前記第２の処理画像と、当該適正露出で撮像された画像と、当該オーバー露出で撮像された画像と、を出力する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 When the second imaging method is selected, the generation unit combines the image captured with underexposure, the image captured with appropriate exposure, and the image captured with overexposure, Generating a second processed image;
The output means outputs the second processed image, the image captured with the appropriate exposure, and the image captured with the overexposure when the second imaging method is selected. the imaging apparatus according to any one of claims 1 to 4, characterized. 前記出力手段は、前記第３の撮影方式が選択された場合、アンダー露出で撮像された画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を出力する
ことを特徴とする請求項１に記載の撮像装置。 The output means outputs an image captured with underexposure, an image captured with appropriate exposure, and an image captured with overexposure when the third imaging method is selected. The imaging apparatus according to claim 1 . 前記出力手段は、前記オーバー露出で撮像された画像を出力する場合、当該画像のうち輝度が第２の閾値未満の領域を出力する
ことを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。 And the output means, when outputting an image captured by the over-exposure, the luminance of the image is any one of claims 3 to 6, characterized in that for outputting a region of less than a second threshold value The imaging device described. 前記第２の撮影方式が選択された場合に、前記生成手段による前記合成が失敗すると、前記生成手段は前記第１の処理画像を生成し、前記出力手段は前記第１の処理画像を出力する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 When the second photographing method is selected and the composition by the generating unit fails, the generating unit generates the first processed image, and the output unit outputs the first processed image. the imaging apparatus according to any one of claims 1 to 7, characterized in that. 前記選択手段は、前記輝度差が前記第１の閾値よりも小さい第３の閾値以上である場合に、前記選択を行う
ことを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1 , wherein the selection unit performs the selection when the luminance difference is equal to or greater than a third threshold value that is smaller than the first threshold value. 撮影画面内の被写体が動いているか否かを判定する判定手段と、  Determination means for determining whether or not the subject in the shooting screen is moving;
前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記被写体が動いていないと判定された場合、第２の撮影方式を選択する選択手段と、  A selection unit that selects a first shooting method when it is determined that the subject is moving; and a second shooting method that is selected when it is determined that the subject is not moving;
前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、  When the first imaging method is selected, the first processed image is obtained by gradation correction processing using an input / output characteristic that makes an amplification factor for a low luminance input value larger than an amplification factor for a high luminance input value. Generating means for generating a second processed image by combining a plurality of images captured under a plurality of different exposure conditions when the second imaging method is selected;
前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力する出力手段と、  An output means for outputting the first processed image when the first photographing method is selected, and outputting the second processed image when the second photographing method is selected;
前記被写体までの距離を検出する検出手段と、  Detecting means for detecting a distance to the subject;
を備える撮像装置であって、  An imaging device comprising:
前記選択手段は、前記距離が所定の範囲内の場合、第４の撮影方式を選択し、  The selection means selects a fourth imaging method when the distance is within a predetermined range;
前記撮像装置は、前記第４の撮影方式が選択された場合、フラッシュを発光させる発光手段を更に備え、  The imaging apparatus further includes light emitting means for emitting a flash when the fourth imaging method is selected,
前記出力手段は、前記第４の撮影方式が選択された場合、前記フラッシュの発光時に撮像された画像を出力する  The output means outputs an image picked up when the flash is emitted when the fourth photographing method is selected.
ことを特徴とする撮像装置。  An imaging apparatus characterized by that. 撮像装置の制御方法であって、
前記撮像装置の判定手段が、撮影画面内の被写体が動いているか否かを判定する判定工程と、
前記撮像装置の選択手段が、前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記被写体が動いていないと判定された場合、第２の撮影方式を選択する選択工程と、
前記撮像装置の生成手段が、前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成工程と、
前記撮像装置の出力手段が、前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力する出力工程と、
前記撮像装置の算出手段が、前記撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出工程と、
を備え、
前記選択工程では、前記輝度差が第１の閾値以上の場合、前記判定工程の判定結果に関わらず第３の撮影方式を選択し、
前記出力工程では、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力する
ことを特徴とする制御方法。 A method for controlling an imaging apparatus,
A determination step in which the determination unit of the imaging apparatus determines whether or not the subject in the shooting screen is moving;
When the selection unit of the imaging apparatus determines that the subject is moving, the first shooting method is selected. When the selection unit determines that the subject is not moving, the second shooting method is selected. Process,
Tone correction using an input / output characteristic that causes the generation unit of the imaging apparatus to make an amplification factor for a low luminance input value larger than an amplification factor for a high luminance input value when the first imaging method is selected A generating step of generating a first processed image by processing and generating a second processed image by combining a plurality of images captured under a plurality of different exposure conditions when the second imaging method is selected. When,
The output unit of the imaging apparatus outputs the first processed image when the first shooting method is selected, and outputs the second processed image when the second shooting method is selected. An output process to
A calculating step of calculating a luminance difference between a high luminance region and a low luminance region in the photographing screen by the calculation unit of the imaging device;
Equipped with a,
In the selection step, when the luminance difference is equal to or greater than a first threshold, the third imaging method is selected regardless of the determination result of the determination step,
In the output step, when the third imaging method is selected, an image captured with a predetermined exposure is output.
A control method characterized by that. 撮像装置の制御方法であって、  A method for controlling an imaging apparatus,
前記撮像装置の判定手段が、撮影画面内の被写体が動いているか否かを判定する判定工程と、  A determination step in which the determination unit of the imaging apparatus determines whether or not the subject in the shooting screen is moving;
前記撮像装置の選択手段が、前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記被写体が動いていないと判定された場合、第２の撮影方式を選択する選択工程と、  When the selection unit of the imaging apparatus determines that the subject is moving, the first shooting method is selected. When the selection unit determines that the subject is not moving, the second shooting method is selected. Process,
前記撮像装置の生成手段が、前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成工程と、  Tone correction using an input / output characteristic that causes the generation unit of the imaging apparatus to make an amplification factor for a low luminance input value larger than an amplification factor for a high luminance input value when the first imaging method is selected A generating step of generating a first processed image by processing and generating a second processed image by combining a plurality of images captured under a plurality of different exposure conditions when the second imaging method is selected. When,
前記撮像装置の出力手段が、前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力する出力工程と、  The output unit of the imaging apparatus outputs the first processed image when the first shooting method is selected, and outputs the second processed image when the second shooting method is selected. An output process to
前記撮像装置の検出手段が、前記被写体までの距離を検出する検出工程と、  A detecting step in which the detecting means of the imaging device detects the distance to the subject;
を備え、  With
前記選択工程では、前記距離が所定の範囲内の場合、第４の撮影方式を選択し、  In the selection step, when the distance is within a predetermined range, a fourth imaging method is selected,
前記制御方法は、前記撮像装置の発光手段が、前記第４の撮影方式が選択された場合、フラッシュを発光させる発光工程を更に備え、  The control method further includes a light emitting step of causing the light emitting means of the imaging device to emit a flash when the fourth photographing method is selected,
前記出力工程では、前記第４の撮影方式が選択された場合、前記フラッシュの発光時に撮像された画像を出力する  In the output step, when the fourth imaging method is selected, an image captured when the flash is emitted is output.
ことを特徴とする制御方法。  A control method characterized by that.
JP2013260664A 2013-12-17 2013-12-17 Imaging apparatus and control method thereof Active JP6254842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013260664A JP6254842B2 (en) 2013-12-17 2013-12-17 Imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013260664A JP6254842B2 (en) 2013-12-17 2013-12-17 Imaging apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2015119288A JP2015119288A (en) 2015-06-25
JP2015119288A5 JP2015119288A5 (en) 2017-02-02
JP6254842B2 true JP6254842B2 (en) 2017-12-27

Family

ID=53531667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013260664A Active JP6254842B2 (en) 2013-12-17 2013-12-17 Imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP6254842B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159842A (en) * 1993-12-10 1995-06-23 Nikon Corp Camera
JP3974799B2 (en) * 2002-03-07 2007-09-12 オリンパス株式会社 Digital camera
JP2010093679A (en) * 2008-10-10 2010-04-22 Fujifilm Corp Imaging apparatus, and imaging control method
JP2012090041A (en) * 2010-10-19 2012-05-10 Canon Inc Image processing device, method, and program
JP2013179565A (en) * 2012-02-01 2013-09-09 Panasonic Corp Image pickup device

Also Published As

Publication number Publication date
JP2015119288A (en) 2015-06-25

Similar Documents

Publication Publication Date Title
JP5717453B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US7565068B2 (en) Image-taking apparatus
JP6077853B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2007184729A (en) Gain calculation apparatus
JP4420906B2 (en) Imaging device
JP2006254364A (en) Photographing apparatus
JP2010154306A (en) Device, program and method for imaging control
JP5246590B2 (en) Imaging apparatus, image generation method, and program
JP2020109924A (en) Image processing device and image processing method
JP2016145943A (en) Focus adjustment apparatus, imaging apparatus, control methods for such apparatuses, and program
JP6231814B2 (en) EXPOSURE DETERMINING DEVICE, IMAGING DEVICE, CONTROL METHOD, AND PROGRAM
JP2018050149A (en) Image processing apparatus
JP2009017427A (en) Imaging device
JP2011259245A (en) Imaging device and imaging method
JP2012090041A (en) Image processing device, method, and program
JP6254842B2 (en) Imaging apparatus and control method thereof
JP2006217249A (en) Electronic camera, electronic camera system and program
JP2015080157A (en) Image processing device, image processing method and program
JP6300514B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6223173B2 (en) Image processing apparatus, control method thereof, and program
JP6075829B2 (en) IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
KR20100112788A (en) Method of controlling activation between shaking correction and electronical strobo, method of photographing, and digital camera module
JP5914189B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
JP6272006B2 (en) Imaging apparatus, image processing method, and program
JP5043178B2 (en) Image blur correction apparatus and correction method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171201

R151 Written notification of patent or utility model registration

Ref document number: 6254842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151