WO2021251260A1 - Imaging device, and imaging method - Google Patents

Imaging device, and imaging method Download PDF

Info

Publication number
WO2021251260A1
WO2021251260A1 PCT/JP2021/021165 JP2021021165W WO2021251260A1 WO 2021251260 A1 WO2021251260 A1 WO 2021251260A1 JP 2021021165 W JP2021021165 W JP 2021021165W WO 2021251260 A1 WO2021251260 A1 WO 2021251260A1
Authority
WO
WIPO (PCT)
Prior art keywords
transmittance
image
exposure period
exposure
image pickup
Prior art date
Application number
PCT/JP2021/021165
Other languages
French (fr)
Japanese (ja)
Inventor
賢二 和嶋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021251260A1 publication Critical patent/WO2021251260A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Abstract

This imaging device comprises a transmittance adjustment unit; an imaging element; an exposure period setting unit; a transmittance setting unit; and a synthesis unit. The transmittance adjustment unit adjusts light transmittance. The imaging element captures an image by exposure to light transmitted by the transmittance adjustment unit. The exposure period setting unit sets a first exposure period and a second exposure period, which is shorter than the first exposure period, on the basis of the flicker period of the light transmitted by the transmittance adjustment unit. The transmittance setting unit sets a first transmittance for imaging during the first exposure period, and a second transmittance for imaging during the second exposure period. The synthesis unit synthesizes a first image acquired by imaging with the first transmittance in the first exposure period, and a second image acquired by imaging with the second transmittance in the second exposure period.

Description

撮像装置、及び撮像方法Imaging device and imaging method
　本技術は、撮像装置、及び撮像方法に関する。 This technology relates to an image pickup device and an image pickup method.
　特許文献１に記載の撮像装置では、ＨＤＲ（High Dynamic Range）モードとフリッカ低減モードとが実行される。
　ＨＤＲモードでは、２ライン（画素行）毎に長時間露光と短時間露光とが繰り返される。そして、各々の露光時間で得られた２種類の画像が合成されることで、ＨＤＲ画像が取得される。
　フリッカ低減モードでは、長短の露光時間の合計が、フリッカ周期と同じ時間に設定される。そして連続するフレームにて、長時間露光の画像と短時間露光の画像とが合成される。これにより、フリッカ現象がキャンセルされた画像が取得される（特許文献１の明細書段落［０００８］［００３５］［００３６］等）。 In the image pickup apparatus described in Patent Document 1, an HDR (High Dynamic Range) mode and a flicker reduction mode are executed.
In the HDR mode, long exposure and short exposure are repeated every two lines (pixel rows). Then, the HDR image is acquired by synthesizing the two types of images obtained at each exposure time.
In the flicker reduction mode, the total of the long and short exposure times is set to the same time as the flicker cycle. Then, the long-exposure image and the short-exposure image are combined in continuous frames. As a result, an image in which the flicker phenomenon is canceled is acquired (paragraphs [0008] [0035] [0036], etc. in the specification of Patent Document 1).
特開２０１７－１４３４０４号公報Japanese Unexamined Patent Publication No. 2017-143404
　フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能となる技術が求められている。 There is a need for technology that can acquire images with a wider dynamic range while reducing the flicker phenomenon.
　以上のような事情に鑑み、本技術の目的は、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能な撮像装置、及び撮像方法を提供することにある。 In view of the above circumstances, an object of the present technology is to provide an image pickup device and an image pickup method capable of acquiring an image having a wider dynamic range while reducing the flicker phenomenon.
　上記目的を達成するため、本技術の一形態に係る撮像装置は、透過率調整部と、撮像素子と、露光期間設定部と、透過率設定部と、合成部とを具備する。
　前記透過率調整部は、光の透過率を調整する。
　前記撮像素子は、透過率調整部を透過した光を露光することで撮像を実行する。
　前記露光期間設定部は、前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する。
　前記透過率設定部は、前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する。
　前記合成部は、前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する。 In order to achieve the above object, the image pickup apparatus according to one embodiment of the present technology includes a transmittance adjusting unit, an image pickup element, an exposure period setting unit, a transmittance setting unit, and a compositing unit.
The transmittance adjusting unit adjusts the transmittance of light.
The image pickup device performs imaging by exposing the light transmitted through the transmittance adjusting unit.
The exposure period setting unit sets a first exposure period and a second exposure period shorter than the first exposure period based on the flicker period of the light transmitted through the transmittance adjusting unit.
The transmittance setting unit determines the first transmittance when the image pickup is executed in the first exposure period and the second transmittance when the image pickup is executed in the second exposure period. Set.
The compositing unit is acquired by the first image acquired by the first exposure period and the image pickup in the first transmittance, and by the image pickup in the second exposure period and the second transmittance. Is combined with the second image.
　この撮像装置では、第１の露光期間と、第１の露光期間よりも短い第２の露光期間とが、撮像の対象となる光のフリッカ周期に基づいて設定される。また第１の露光期間及び第２の露光期間の各々に対応する透過率として、第１の透過率及び第２の透過率が設定される。これにより、第１の画像と第２の画像とを合成することで、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能となる。 In this image pickup apparatus, the first exposure period and the second exposure period shorter than the first exposure period are set based on the flicker cycle of the light to be imaged. Further, the first transmittance and the second transmittance are set as the transmittance corresponding to each of the first exposure period and the second exposure period. This makes it possible to acquire an image having a wider dynamic range while reducing the flicker phenomenon by synthesizing the first image and the second image.
　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定してもよい。 The exposure period setting unit may set the second exposure period based on the flicker cycle.
　前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成してもよい。 The synthesizing unit may generate an HDR (High Dynamic Range) image by synthesizing the first image and the second image.
　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定してもよい。 The exposure period setting unit may set the second exposure period to an integral multiple of 1/2 of the flicker cycle.
　前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定してもよい。 The exposure period setting unit may set the first exposure period to an integral multiple of 1/2 of the flicker cycle.
　前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定してもよい。 The transmittance setting unit may set the first transmittance to a value larger than the second transmittance.
　前記透過率設定部は、前記第１の透過率を１００％に設定してもよい。 The transmittance setting unit may set the first transmittance to 100%.
　前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定してもよい。 The transmittance setting unit may set the first transmittance to the same value as the second transmittance.
　前記撮像装置は、さらに、前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備してもよい。この場合、前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定してもよい。 The image pickup apparatus further sets an exposure amount setting unit for setting a first exposure amount for acquiring the first image and setting a second exposure amount for acquiring the second image. May be provided. In this case, the transmittance setting unit may set the second transmittance based on the set second exposure amount and the set second exposure period.
前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定してもよい。 The transmittance setting unit may set the first transmittance based on the set first exposure amount and the set first exposure period.
前記透過率調整部は、印加される電圧に応じて前記透過率を調整してもよい。 The transmittance adjusting unit may adjust the transmittance according to the applied voltage.
前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタであってもよい。 The transmittance adjusting unit may be a liquid crystal ND (Neutral Density) filter.
　前記撮像装置は、さらに、前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備してもよい。 The image pickup device may further include a detection unit that detects the flicker cycle of the light transmitted through the transmittance adjusting unit.
　本技術の一形態に係る撮像方法は、撮像装置により実行される撮像方法であって、光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定することを含む。前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率が設定される。前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率が設定される。前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像が合成される。 The imaging method according to one embodiment of the present technology is an imaging method executed by an imaging apparatus, and is a first exposure based on a flicker cycle of light transmitted through a transmittance adjusting unit capable of adjusting the transmittance of light. It includes setting a period and a second exposure period shorter than the first exposure period. The first transmittance when the image pickup is performed in the first exposure period is set by the image pickup device that executes the image pickup by exposing the light transmitted through the transmittance adjusting unit. The image sensor sets a second transmittance when imaging is performed in the second exposure period. A first image acquired by imaging with the first exposure period and the first transmittance, and a second image acquired by imaging with the second exposure period and the second transmittance. Is synthesized.
本技術の一実施形態に係る撮像装置の機能的な構成例を示すブロック図である。It is a block diagram which shows the functional configuration example of the image pickup apparatus which concerns on one Embodiment of this technique. 露出制御処理部の機能的な構成例を示すブロック図である。It is a block diagram which shows the functional configuration example of the exposure control processing part. 本実施形態に係る撮像装置の処理を示すフローチャートである。It is a flowchart which shows the process of the image pickup apparatus which concerns on this embodiment. 通常撮像処理の一例を示すフローチャートである。It is a flowchart which shows an example of a normal image pickup processing. ＨＤＲ画像の生成の基本動作を説明するための模式図である。It is a schematic diagram for demonstrating the basic operation of HDR image generation. ＨＤＲ画像の生成の基本動作を説明するための模式図である。It is a schematic diagram for demonstrating the basic operation of HDR image generation. 長時間露光画像の撮像処理の一例を示すフローチャートである。It is a flowchart which shows an example of the imaging process of a long-exposure image. フリッカ検出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a flicker detection process. フリッカが発生していない場合の、短時間露光画像の撮像処理の一例を示すフローチャートである。It is a flowchart which shows an example of the image pickup process of the short-exposure image when flicker does not occur. フリッカが発生している場合の、短時間露光画像の撮像処理の一例を示すフローチャートである。It is a flowchart which shows an example of the image pickup process of the short-exposure image when flicker occurs. フリッカ現象が低減される原理を説明するための模式図である。It is a schematic diagram for demonstrating the principle that a flicker phenomenon is reduced.
　以下、本技術に係る実施形態を、図面を参照しながら説明する。 Hereinafter, embodiments relating to this technology will be described with reference to the drawings.
［撮像装置１００の全体構成及び各部の構成］
　図１は、本技術の一実施形態に係る撮像装置１００の機能的な構成例を示すブロック図である。
　図１に示す撮像装置１００は、静止画像、及び動画像を撮像可能なデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）である。また、この撮像装置１００は、記録された画像データを再生可能とされている。撮像装置１００の具体的な構成は限定されず、任意に設計されてよい。 [Overall configuration of image pickup apparatus 100 and configuration of each part]
FIG. 1 is a block diagram showing a functional configuration example of the image pickup apparatus 100 according to an embodiment of the present technology.
The image pickup device 100 shown in FIG. 1 is a digital camera (digital still camera, digital video camera) capable of capturing still images and moving images. Further, the image pickup apparatus 100 is capable of reproducing the recorded image data. The specific configuration of the image pickup apparatus 100 is not limited, and may be arbitrarily designed.
　図１に示すように、撮像装置１００は、レンズ系１０と、液晶ＮＤ（Neutral Density）フィルタ１１と、撮像素子１２と、アナログ信号処理回路１３と、Ａ／Ｄ変換回路１４と、デジタル信号処理回路１５とを有する。
　また撮像装置１００は、レンズドライバ１６と、液晶ＮＤドライバ１７と、タイミングジェネレータ（ＴＧ：Timing Generator）１８と、記録部１９と、操作部２０とを有する。
　また撮像装置１００は、制御部３０と、データ保存部２１と、表示処理部２２とを有する。 As shown in FIG. 1, the image pickup apparatus 100 includes a lens system 10, a liquid crystal ND (Neutral Density) filter 11, an image pickup element 12, an analog signal processing circuit 13, an A / D conversion circuit 14, and digital signal processing. It has a circuit 15.
Further, the image pickup apparatus 100 includes a lens driver 16, a liquid crystal ND driver 17, a timing generator (TG: Timing Generator) 18, a recording unit 19, and an operation unit 20.
Further, the image pickup apparatus 100 includes a control unit 30, a data storage unit 21, and a display processing unit 22.
　レンズ系１０には、撮像対象となる被写体からの光である被写体光が入射する。
　レンズ系１０は、撮像レンズ、フォーカスレンズ等の各種のレンズと、絞りとを含む。
　被写体光は、レンズ系１０内の各種レンズ及び絞りを通って、撮像素子１２の露光面に結像される。
　絞りは、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。
　絞りは、撮像レンズとフォーカスレンズとの間に配置されていてもよいし、フォーカスレンズよりも後方に配置されてもよい。 Subject light, which is light from the subject to be imaged, is incident on the lens system 10.
The lens system 10 includes various lenses such as an image pickup lens and a focus lens, and an aperture.
The subject light passes through various lenses and a diaphragm in the lens system 10 and is imaged on the exposed surface of the image pickup device 12.
The aperture is configured to be able to mechanically adjust the amount of subject light by adjusting its opening degree.
The diaphragm may be arranged between the image pickup lens and the focus lens, or may be arranged behind the focus lens.
　液晶ＮＤフィルタ１１は、被写体光の光路上に配置される。
　液晶ＮＤフィルタ１１は、印加される電圧に応じて光の透過率を調整可能に構成されている。透過率とは、液晶ＮＤフィルタ１１に入射する光の光量と、液晶ＮＤフィルタ１１から出射される光の光量との比率である。なお透過率を、濃度と表現することも可能である。
　本実施形態では、液晶ＮＤフィルタ１１の光の透過率を制御することで、撮像素子１２に結像される被写体光の光量を調整することが可能である。
　液晶ＮＤフィルタ１１を用いることで、透過率を精度よく調整することが可能となる。従って、撮像素子１２に結像される被写体光の光量を精度よく調整することが可能となる。
　本実施形態において、液晶ＮＤフィルタ１１は、透過率調整部の一実施形態として機能する。透過率調整部として、液晶ＮＤフィルタ１１とは異なるデバイスが用いられてもよい。また透過率の調整方法として、電圧の印加とは異なる方法が採用されてもよい。
　例えば、透過率（濃度）が異なる複数のＮＤフィルタが、光路上に切り替え可能に配置されるような構成に対しても、本技術は適用可能である。 The liquid crystal ND filter 11 is arranged on the optical path of the subject light.
The liquid crystal ND filter 11 is configured so that the light transmittance can be adjusted according to the applied voltage. The transmittance is a ratio of the amount of light incident on the liquid crystal ND filter 11 to the amount of light emitted from the liquid crystal ND filter 11. The transmittance can also be expressed as a concentration.
In the present embodiment, it is possible to adjust the amount of light of the subject light imaged on the image pickup device 12 by controlling the light transmittance of the liquid crystal ND filter 11.
By using the liquid crystal ND filter 11, the transmittance can be adjusted accurately. Therefore, it is possible to accurately adjust the amount of subject light imaged on the image sensor 12.
In the present embodiment, the liquid crystal ND filter 11 functions as an embodiment of the transmittance adjusting unit. A device different from the liquid crystal ND filter 11 may be used as the transmittance adjusting unit. Further, as a method for adjusting the transmittance, a method different from the application of voltage may be adopted.
For example, the present technology can be applied to a configuration in which a plurality of ND filters having different transmittances (concentrations) are arranged so as to be switchable on the optical path.
　撮像素子１２は、液晶ＮＤフィルタ１１を透過した光を露光することで撮像を実行する。
　具体的には、撮像素子１２は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有している。液晶ＮＤフィルタ１１を透過して露光面に入射された被写体光は、画素毎に光電変換により電子信号に変換される。ＲＧＢの各画素にて変換された電子信号である３原色信号（Ｒ、Ｇ、Ｂ）は、アナログ画像データとしてアナログ信号処理回路１３へ出力される。
　撮像素子１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）センサなどにより構成されている。その他、撮像素子１２として、任意の構成が用いられてもよい。 The image pickup device 12 executes imaging by exposing the light transmitted through the liquid crystal ND filter 11.
Specifically, the image pickup device 12 has a plurality of pixels (R pixel, G pixel, B pixel). The subject light transmitted through the liquid crystal ND filter 11 and incident on the exposed surface is converted into an electronic signal by photoelectric conversion for each pixel. The three primary color signals (R, G, B), which are electronic signals converted by each RGB pixel, are output to the analog signal processing circuit 13 as analog image data.
The image pickup device 12 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, or the like. In addition, any configuration may be used as the image pickup device 12.
　アナログ信号処理回路１３は、撮像素子１２から出力された画像信号に対して、例えばＣＤＳ（Correlated Double Sampling）処理や、ゲイン処理等を実行する。その他、信号処理の方式は限定されず、任意の方式が採用されてよい。
　Ａ／Ｄ変換回路１４は、アナログ信号処理回路１３から出力されたアナログ画像データをデジタル画像データに変換する。具体的なＡ／Ｄ変換の方法は限定されず、任意の方法が採用されてよい。
　デジタル信号処理回路１５は、Ａ／Ｄ変換回路１４から出力されたデジタル画像データに対して、例えばノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行する。その他、デジタル画像データに対する処理は限定されず、任意の処理が実行されてよい。
　デジタル信号処理回路１５によって処理されたデジタル画像データは、制御部３０に出力される。
　またデジタル信号処理回路１５は、後述のＨＤＲモードにおいては、Ａ／Ｄ変換回路１４から出力されたデジタル画像データを検波して、その結果を制御部３０に出力する。 The analog signal processing circuit 13 executes, for example, CDS (Correlated Double Sampling) processing, gain processing, or the like on the image signal output from the image pickup device 12. In addition, the signal processing method is not limited, and any method may be adopted.
The A / D conversion circuit 14 converts the analog image data output from the analog signal processing circuit 13 into digital image data. The specific A / D conversion method is not limited, and any method may be adopted.
The digital signal processing circuit 15 has, for example, various digital such as noise removal processing, white balance adjustment processing, color correction processing, edge enhancement processing, and gamma correction processing for the digital image data output from the A / D conversion circuit 14. Perform signal processing. In addition, the processing for the digital image data is not limited, and any processing may be executed.
The digital image data processed by the digital signal processing circuit 15 is output to the control unit 30.
Further, in the HDR mode described later, the digital signal processing circuit 15 detects the digital image data output from the A / D conversion circuit 14 and outputs the result to the control unit 30.
　レンズドライバ１６は、制御部３０からの指示に応じて、レンズ系１０を制御する。具体的には、撮像レンズ、フォーカスレンズ及び絞りの位置を制御したり、絞りの開度を制御したりする。
　液晶ＮＤドライバ１７は、制御部３０からの指示に応じて、液晶ＮＤフィルタ１１に印加される電圧を制御することによって、液晶ＮＤフィルタ１１の透過率（濃度）を制御する。 The lens driver 16 controls the lens system 10 in response to an instruction from the control unit 30. Specifically, the positions of the image pickup lens, the focus lens and the diaphragm are controlled, and the opening degree of the diaphragm is controlled.
The liquid crystal ND driver 17 controls the transmittance (concentration) of the liquid crystal ND filter 11 by controlling the voltage applied to the liquid crystal ND filter 11 in response to an instruction from the control unit 30.
　タイミングジェネレータ１８は、制御部３０からの指示に応じて撮像素子１２の駆動に必要な駆動パルスを生成して、撮像素子１２に供給する。タイミングジェネレータ１８によって撮像素子１２が駆動されることで、被写体像が撮像され（電子シャッター）、被写体像の画像が取得される。
　またタイミングジェネレータ１８が、撮像素子１２のシャッタースピードを調整することで、撮像の際の露光期間が制御される。
　露光期間とは、撮像により画像が取得される際に、撮像素子１２に光が入射される時間幅のことである。露光期間は、シャッター時間ともいえる。
　タイミングジェネレータ１８は、例えば、３０ｆｐｓのフレームレートで撮像素子１２に撮像を行わせる。もちろんこのフレームレートに限定される訳ではない。 The timing generator 18 generates a drive pulse necessary for driving the image pickup device 12 in response to an instruction from the control unit 30, and supplies the drive pulse to the image pickup device 12. By driving the image pickup device 12 by the timing generator 18, the subject image is imaged (electronic shutter), and the image of the subject image is acquired.
Further, the timing generator 18 adjusts the shutter speed of the image pickup device 12 to control the exposure period at the time of imaging.
The exposure period is the time width during which light is incident on the image pickup device 12 when an image is acquired by imaging. The exposure period can also be said to be the shutter time.
The timing generator 18 causes the image pickup device 12 to take an image at a frame rate of, for example, 30 fps. Of course, it is not limited to this frame rate.
　記録部１９は、制御部３０から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記録する。
　記録部１９は、例えば、メモリーカード等の半導体メモリ、光ディスク、ＨＤ（hard Disc）などの記録媒体にデータを記録する。
　記録媒体は、撮像装置１００の内部に固定されていてもよいし、撮像装置１００に対して着脱可能に構成されていてもよい。 The recording unit 19 records the image data output from the control unit 30 and the metadata related to the image data (for example, the date and time when the image data was acquired).
The recording unit 19 records data on, for example, a semiconductor memory such as a memory card, an optical disk, or a recording medium such as an HD (hard disc).
The recording medium may be fixed inside the image pickup apparatus 100, or may be configured to be detachable from the image pickup apparatus 100.
　操作部２０は、例えば、電源スイッチ、シャッターボタン、録画ボタン、設定ボタン、モード切替えボタンなどを含む。
　電源スイッチは、撮像装置１００の電源のＯＮ／ＯＦＦを切替えるために用いられる。
　シャッターボタンは、静止画像を撮像する静止画像撮像モードにおいて、画像データを静止画データとして記録するために用いられる。
　録画ボタンは、動画像を撮像する動画像撮像モードにおいて、画像データを動画データとして記録するために用いられる。
　設定ボタンは、例えば、ズームレンズ、フォーカスレンズ、絞りの位置を調整したり、絞りの開度を調整したりするために用いられる。
　また設定ボタンは、電子シャッターを調整したり、アナログ信号処理回路１３のゲイン処理におけるゲイン値を変更したり、デジタル信号処理回路１５による各種の処理の設定値を変更したりするために用いられる。
　モード切替えボタンは、静止画像撮像モードと、動画像撮像モードとを切替えるために用いられる。またモード切替えボタンにより、連写モードを選択することが可能である。
　また本実施形態では、モード切替えボタンにより、記録部１９により記録された画像を再生する再生モードへの切替えが実行される。 The operation unit 20 includes, for example, a power switch, a shutter button, a recording button, a setting button, a mode switching button, and the like.
The power switch is used to switch ON / OFF of the power of the image pickup apparatus 100.
The shutter button is used to record image data as still image data in a still image capturing mode for capturing a still image.
The record button is used to record image data as moving image data in a moving image imaging mode for capturing a moving image.
The setting button is used, for example, to adjust the position of the zoom lens, the focus lens, and the aperture, and to adjust the opening degree of the aperture.
Further, the setting button is used to adjust the electronic shutter, change the gain value in the gain processing of the analog signal processing circuit 13, and change the setting value of various processing by the digital signal processing circuit 15.
The mode switching button is used to switch between the still image imaging mode and the moving image imaging mode. It is also possible to select the continuous shooting mode with the mode switching button.
Further, in the present embodiment, the mode switching button is used to switch to the reproduction mode in which the image recorded by the recording unit 19 is reproduced.
　さらに本実施形態では、静止画像撮像モード、動画像撮像モード、及び連写モードの各々において、ノーマルモード及びＨＤＲモードを切替えて設定することが可能である。
　ノーマルモードは、通常の動作によって撮像を行うモードである。具体的には、所定のフレームレートにて撮像素子１２により撮像が実行される。そして撮像素子１２、アナログ信号処理回路１３、Ａ／Ｄ変換回路１４、及びデジタル信号処理回路１５を介して出力されるデジタル画像データが、撮像画像のデータとして記録される。
　ＨＤＲモードは、露光期間の異なる複数の画像を撮影し、１枚の画像として合成することで、ＨＤＲ画像を生成するモードである。
　ＨＤＲモードを選択することで、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像を生成することが可能となる。
　ＨＤＲモードにおける動作は、後述する。 Further, in the present embodiment, it is possible to switch between the normal mode and the HDR mode in each of the still image imaging mode, the moving image imaging mode, and the continuous shooting mode.
The normal mode is a mode in which imaging is performed by normal operation. Specifically, image pickup is performed by the image pickup device 12 at a predetermined frame rate. Then, the digital image data output via the image pickup element 12, the analog signal processing circuit 13, the A / D conversion circuit 14, and the digital signal processing circuit 15 is recorded as the data of the captured image.
The HDR mode is a mode in which an HDR image is generated by taking a plurality of images having different exposure periods and combining them as one image.
By selecting the HDR mode, it is possible to generate an HDR image with a wider dynamic range and rich gradation expression.
The operation in the HDR mode will be described later.
　データ保存部２１は、例えば、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリ（例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、プログラムＲＯＭ（Read Only Memory））、一時格納領域として利用されるＲＡＭ（Radom Access Memory）等のメモリデバイスにより構成される。
　データ保存部２１は、ＨＤＲモードにおいて、合成される画像を保存するためのフレームメモリとしても使用される。
　またデータ保存部２１には、透過率対電圧テーブルが記憶されている。透過率対電圧テーブルは、液晶ＮＤフィルタ１１の透過率と、印加電圧との関係が示されたテーブルである。
　もちろんデータ保存部２１に、制御部３０から出力された画像データや、その画像データに関連するメタデータが保存されてもよい。 The data storage unit 21 is, for example, a non-volatile memory (for example, EEPROM (Electrically Erasable Programmable ROM), a program ROM (Read Only Memory)) in which various programs and various data are fixedly stored, and a temporary storage area. It is composed of a memory device such as a RAM (Radom Access Memory) used as a memory device.
The data storage unit 21 is also used as a frame memory for storing the combined image in the HDR mode.
Further, the data storage unit 21 stores a transmittance vs. voltage table. The transmittance vs. voltage table is a table showing the relationship between the transmittance of the liquid crystal ND filter 11 and the applied voltage.
Of course, the image data output from the control unit 30 and the metadata related to the image data may be stored in the data storage unit 21.
　表示処理部２２は、表示デバイスに対する表示処理を実行する。例えば、撮像された画像やユーザ操作のためのＧＵＩ（Graphical User Interface）等が表示される。
　なお本実施形態では、表示デバイスも含めて表示処理部２２が実現されている。すなわち液晶ディスプレイや、有機ＥＬ（Electro luminescence）ディスプレイ等からなる表示デバイスが、撮像装置１００に備えられている。
　もちろんこれに限定されず、撮像装置１００に接続された外部の表示デバイスに対して、画像やＧＵＩ等の表示処理が実行されてもよい。
　例えば、表示処理部２２は、デジタル信号処理回路１５から出力された画像データをリアルタイムで表示することによって、スルー画像を表示する。スルー画像は、静止画像や動画像を撮像するときに、ユーザが画角を合わせることを可能とするために表示される。
　また表示処理部２２は、記録部１９により記録された画像を再生することも可能である。 The display processing unit 22 executes display processing for the display device. For example, a captured image, a GUI (Graphical User Interface) for user operation, and the like are displayed.
In this embodiment, the display processing unit 22 is realized including the display device. That is, a display device including a liquid crystal display, an organic EL (Electroluminescence) display, or the like is provided in the image pickup apparatus 100.
Of course, the present invention is not limited to this, and display processing such as an image or GUI may be executed on an external display device connected to the image pickup apparatus 100.
For example, the display processing unit 22 displays a through image by displaying the image data output from the digital signal processing circuit 15 in real time. The through image is displayed to allow the user to adjust the angle of view when capturing a still image or a moving image.
The display processing unit 22 can also reproduce the image recorded by the recording unit 19.
　制御部３０は、例えばＣＰＵ、ＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばＣＰＵ等がＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る撮像方法が実行される。
　制御部３０の構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵ等が所定のプログラムを実行することで、機能ブロックとして露出制御処理部３１、画像合成処理部３２、及びフリッカ検出部３３が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　また図１に示すデータ保存部２１や表示処理部２２等の他のブロックが、制御部３０内の機能ブロックとして構成されてもよい。
　プログラムは、例えば種々の記録媒体を介して撮像装置１００にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。 The control unit 30 has hardware necessary for configuring a computer, such as a processor such as a CPU, GPU, and DSP, a memory such as ROM and RAM, and a storage device such as an HDD. For example, the image pickup method according to the present technology is executed by the CPU or the like loading and executing the program according to the present technology recorded in advance in the ROM or the like into the RAM.
The configuration of the control unit 30 is not limited, and any hardware and software may be used. Of course, hardware such as FPGA and ASIC may be used.
In the present embodiment, when a CPU or the like executes a predetermined program, an exposure control processing unit 31, an image composition processing unit 32, and a flicker detection unit 33 are configured as functional blocks. Of course, in order to realize the functional block, dedicated hardware such as an IC (integrated circuit) may be used.
Further, other blocks such as the data storage unit 21 and the display processing unit 22 shown in FIG. 1 may be configured as functional blocks in the control unit 30.
The program is installed in the image pickup apparatus 100, for example, via various recording media. Alternatively, the program may be installed via the Internet or the like.
The type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any non-transient storage medium readable by a computer may be used.
　フリッカ検出部３３は、撮像対象となる被写体光にフリッカが発生しているか否かを検出することが可能である。またフリッカ検出部３３は、フリッカが発生している場合には、フリッカ周期を検出することが可能である。
　上記したように本実施形態では、撮像素子１２により、液晶ＮＤフィルタ１１を透過した光が露光されることで撮像が実行される。
　フリッカ検出部３３は、液晶ＮＤフィルタ１１を透過した光のフリッカの有無、及びフリッカ周期を検出することが可能である。
　フリッカ検出部３３は、本技術に係る検出部の一実施形態として機能する。 The flicker detection unit 33 can detect whether or not flicker is generated in the subject light to be imaged. Further, the flicker detection unit 33 can detect the flicker cycle when flicker is generated.
As described above, in the present embodiment, the image pickup device 12 exposes the light transmitted through the liquid crystal ND filter 11 to perform imaging.
The flicker detection unit 33 can detect the presence or absence of flicker of light transmitted through the liquid crystal ND filter 11 and the flicker cycle.
The flicker detection unit 33 functions as an embodiment of the detection unit according to the present technology.
　画像合成処理部３２は、ＨＤＲモードの設定時において、異なる露光量により撮像された２枚の画像（後に説明する長時間露光画像及び短時間露光画像）を合成することで、ＨＤＲ画像を生成する。
　画像合成処理部３２は、本技術に係る合成部の一実施形態として機能する。 The image composition processing unit 32 generates an HDR image by synthesizing two images (a long-exposure image and a short-exposure image described later) captured by different exposure amounts when the HDR mode is set. ..
The image composition processing unit 32 functions as an embodiment of the composition unit according to the present technology.
　図２は、露出制御処理部３１の機能的な構成例を示すブロック図である。
　露出制御処理部３１は、撮像が実行される際の露光量を制御するための種々の処理を実行することが可能であり、露光量設定部３４と、露光期間設定部３５と、透過率設定部３６とを有する。
　露光量設定部３４は、撮像が実行される際の露光量を設定する。
　露光期間設定部３５は、撮像が実行される際の露光期間を設定する。
　透過率設定部３６は、撮像が実行される際の液晶ＮＤフィルタ１１の透過率を設定する。 FIG. 2 is a block diagram showing a functional configuration example of the exposure control processing unit 31.
The exposure control processing unit 31 can execute various processes for controlling the exposure amount when imaging is executed, and the exposure amount setting unit 34, the exposure period setting unit 35, and the transmittance setting. It has a portion 36.
The exposure amount setting unit 34 sets the exposure amount when imaging is executed.
The exposure period setting unit 35 sets the exposure period when the imaging is executed.
The transmittance setting unit 36 sets the transmittance of the liquid crystal ND filter 11 when imaging is executed.
　例えば、露光量、露光期間、及び透過率は、以下の式に従って設定される。
　Ｌｏｇ（露光量）＝Ｌｏｇ（露光期間）＋Ｌｏｇ（透過率）・・・・・・・・（１）
　例えば、露光量設定部３４により、撮像が実行される際に必要となる露光量が設定される。当該露光量が実現されるように、式（１）に従って、露光期間設定部３５及び透過率設定部３６により、露光期間及び透過率が設定される。
　あるいは、露光期間又は透過率のいずれかが固定された状態で、必要な露光量となるように、固定されていない方のパラメータが調整されてもよい。
　あるいは、必要な露光量を設定することなく、最大の露光期間及び最大の透過率で撮像を行うといった制御も可能である。 For example, the exposure amount, the exposure period, and the transmittance are set according to the following equations.
Log (exposure amount) = Log (exposure period) + Log (transmittance) ... (1)
For example, the exposure amount setting unit 34 sets the exposure amount required when imaging is executed. The exposure period and the transmittance are set by the exposure period setting unit 35 and the transmittance setting unit 36 according to the equation (1) so that the exposure amount is realized.
Alternatively, with either the exposure period or the transmittance fixed, the non-fixed parameter may be adjusted so that the required exposure amount is obtained.
Alternatively, it is possible to control the imaging with the maximum exposure period and the maximum transmittance without setting the required exposure amount.
　［動作説明］
　次に、本実施形態に係る撮像装置１００による処理について具体的に説明する。図３は本実施形態に係る撮像装置１００の処理を示すフローチャートである。 [Operation explanation]
Next, the processing by the image pickup apparatus 100 according to the present embodiment will be specifically described. FIG. 3 is a flowchart showing the processing of the image pickup apparatus 100 according to the present embodiment.
　まず、制御部３０は、撮像の設定がＨＤＲモードであるか否かを判定する（ステップ１０１）。なお、ノーマルモードと、ＨＤＲモードとの切替えは、例えば操作部２０のモード切替えボタンによって実行することができる。
　現在のモードがＨＤＲモードではない場合（ステップ１０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、撮像装置１００は、通常撮像処理を行う（ステップ１０２）。 First, the control unit 30 determines whether or not the imaging setting is the HDR mode (step 101). The switching between the normal mode and the HDR mode can be executed by, for example, the mode switching button of the operation unit 20.
When the current mode is not the HDR mode (NO in step 101), that is, when the current mode is the normal mode, the image pickup apparatus 100 performs a normal image pickup process (step 102).
　[通常撮像処理]
　図４は、通常撮像処理の一例を示すフローチャートである。
　露光量設定部３４により、画像を取得するための露光量が設定される（ステップ２０１）。
　露光量は、例えばユーザにより入力された設定値や、被写体を照らす環境光の光量に基づいて設定される。もちろん露光量を設定する方法は限定されず、任意の方法が採用されてよい。
　露光期間設定部３５により、撮像が実行される際の露光期間が設定される。また透過率設定部３６により、撮像が実行される際の液晶ＮＤフィルタ１１の透過率が設定される（ステップ２０２）。
　例えば、上記した式（１）に従って、ステップ２０１にて設定された露光量が実現されるように、露光期間及び透過率を算出することが可能である。 [Normal imaging process]
FIG. 4 is a flowchart showing an example of the normal imaging process.
The exposure amount setting unit 34 sets the exposure amount for acquiring an image (step 201).
The exposure amount is set based on, for example, a set value input by the user or the amount of ambient light that illuminates the subject. Of course, the method of setting the exposure amount is not limited, and any method may be adopted.
The exposure period setting unit 35 sets the exposure period when imaging is executed. Further, the transmittance setting unit 36 sets the transmittance of the liquid crystal ND filter 11 when imaging is executed (step 202).
For example, according to the above equation (1), it is possible to calculate the exposure period and the transmittance so that the exposure amount set in step 201 is realized.
　ステップ２０２にて設定された露光期間及び透過率で、撮像素子１２により撮像が実行され、画像が取得される（ステップ２０３）。
　例えば、制御部３０により、次フレームの画像データが撮像されるタイミングに合わせて、ステップ２０２にて算出された透過率となるように、液晶ＮＤフィルタ１１の透過率が制御される。
　具体的には、制御部３０により、透過率対電圧テーブルが参照され、ステップ２０２にて算出された透過率に対応する印加電圧が読み出される。
　制御部３０により、読み出された印加電圧を印加するように、液晶ＮＤドライバ１７に指示が出される。なお制御部３０によりテーブルが参照される場合に限定されず、プログラムに従ってリアルタイムに電圧が算出されてもよい。
　液晶ＮＤドライバ１７により、制御部３０からの指示に基づいて、液晶ＮＤフィルタ１１に電圧が印加される。液晶ＮＤフィルタ１１により、印加された電圧に応じて透過率が調整される。
　液晶ＮＤフィルタ１１を用いることで、高い精度で透過率を調整することが可能となる。 With the exposure period and transmittance set in step 202, image pickup is executed by the image pickup device 12 and an image is acquired (step 203).
For example, the control unit 30 controls the transmittance of the liquid crystal ND filter 11 so that the transmittance is calculated in step 202 according to the timing at which the image data of the next frame is captured.
Specifically, the control unit 30 refers to the transmittance vs. voltage table, and reads out the applied voltage corresponding to the transmittance calculated in step 202.
The control unit 30 instructs the liquid crystal ND driver 17 to apply the read applied voltage. The voltage may be calculated in real time according to the program, not limited to the case where the table is referred to by the control unit 30.
The liquid crystal ND driver 17 applies a voltage to the liquid crystal ND filter 11 based on an instruction from the control unit 30. The liquid crystal ND filter 11 adjusts the transmittance according to the applied voltage.
By using the liquid crystal ND filter 11, the transmittance can be adjusted with high accuracy.
　制御部３０により、タイミングジェネレータ１８が制御され、ステップ２０２で算出された露光期間となるように、撮像素子１２のシャッタースピードが調整される。 The control unit 30 controls the timing generator 18 and adjusts the shutter speed of the image sensor 12 so that the exposure period calculated in step 202 is reached.
　液晶ＮＤフィルタ１１を透過した被写体像が撮像素子１２の露光面に結合され、撮像素子１２により画像データが生成される。この画像データは、アナログ信号処理回路１３により各種の処理が施された後、Ａ／Ｄ変換回路１４によってデジタル信号に変換される。
　デジタル信号に変換された画像データは、デジタル信号処理回路１５において各種の処理が実行された後、制御部３０により取得され、記録部１９に記憶される。
　もちろん通常撮像の具体的な方法として、他の任意の方法が採用されてよい。 The subject image transmitted through the liquid crystal ND filter 11 is coupled to the exposed surface of the image pickup device 12, and the image pickup device 12 generates image data. This image data is subjected to various processing by the analog signal processing circuit 13, and then converted into a digital signal by the A / D conversion circuit 14.
The image data converted into a digital signal is acquired by the control unit 30 and stored in the recording unit 19 after various processes are executed in the digital signal processing circuit 15.
Of course, any other method may be adopted as a specific method for normal imaging.
　図３に示すように、現在のモードがＨＤＲモードである場合（ステップ１０１のＹＥＳ）、撮像装置１００は、ステップ１０３からステップ１０８の処理により、ＨＤＲ画像の生成を実行する。 As shown in FIG. 3, when the current mode is the HDR mode (YES in step 101), the image pickup apparatus 100 executes HDR image generation by the processing of steps 103 to 108.
　［ＨＤＲ画像の生成の基本動作］
　ここで、まずＨＤＲ画像を生成する際の基本動作について説明する。
　図５及び図６は、ＨＤＲ画像の生成の基本動作を説明するための模式図である。
　ＨＤＲ画像とは、白飛びや黒つぶれが十分に抑制された、より広いダイナミックレンジを持つ画像である。例えば、露光量を変えつつ複数枚の写真が撮像され、撮像された画像が合成されることでＨＤＲ画像が取得される。 [Basic operation of HDR image generation]
Here, first, the basic operation when generating an HDR image will be described.
5 and 6 are schematic views for explaining the basic operation of HDR image generation.
The HDR image is an image having a wider dynamic range in which overexposure and underexposure are sufficiently suppressed. For example, a plurality of photographs are taken while changing the exposure amount, and the captured images are combined to obtain an HDR image.
　図５及び図６に示すように本実施形態では、連続するフレームにて、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とが生成される。そして、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とが合成されることで、ＨＤＲ画像Ｐ３が生成される。
　長時間露光画像Ｐ１は、長時間露光により撮像が実行されることで生成される。本実施形態では、露光期間及び透過率が適宜設定されて長時間露光による撮像が実行される。
　以下、長時間露光画像Ｐ１を撮像するための露光期間を第１の露光期間Ｔ１とする。また長時間露光画像Ｐ１を撮像するための透過率を第１の透過率とする。第１の透過率は、第１の露光期間Ｔ１での撮像が実行される際の透過率ともいえる。
　長時間露光画像Ｐ１は、第１の露光期間Ｔ１及び第１の透過率での撮像により取得される。 As shown in FIGS. 5 and 6, in the present embodiment, the long-exposure image P1 and the short-time exposure image P2 are generated in continuous frames. Then, the HDR image P3 is generated by combining the long-exposure image P1 and the short-time exposure image P2.
The long-exposure image P1 is generated by performing imaging by long-time exposure. In the present embodiment, the exposure period and the transmittance are appropriately set, and imaging by long-time exposure is performed.
Hereinafter, the exposure period for capturing the long-exposure image P1 is referred to as the first exposure period T1. Further, the transmittance for capturing the long-exposure image P1 is defined as the first transmittance. The first transmittance can also be said to be the transmittance when imaging is performed in the first exposure period T1.
The long-exposure image P1 is acquired by imaging with the first exposure period T1 and the first transmittance.
　短時間露光画像Ｐ２は、短時間露光により撮像が実行されることで生成される。本実施形態では、第１の露光期間Ｔ１よりも短い露光期間、及び透過率が適宜設定されて短時間露光による撮像が実行される。
　以下、短時間露光画像Ｐ２を撮像するための露光期間を第２の露光期間Ｔ２とする。第２の露光期間Ｔ２は、第１の露光期間Ｔ１よりも短くなる。
　また短時間露光画像Ｐ２を撮像するための透過率を第２の透過率とする。第２の透過率は、第２の露光期間Ｔ２での撮像が実行される際の透過率ともいえる。
　短時間露光画像Ｐ２は、第２の露光期間Ｔ２及び第２の透過率での撮像により取得される。 The short-time exposure image P2 is generated by performing imaging by short-time exposure. In the present embodiment, an exposure period shorter than the first exposure period T1 and a transmittance are appropriately set, and imaging by short exposure is executed.
Hereinafter, the exposure period for capturing the short-time exposure image P2 is referred to as the second exposure period T2. The second exposure period T2 is shorter than the first exposure period T1.
Further, the transmittance for capturing the short-exposure image P2 is defined as the second transmittance. The second transmittance can also be said to be the transmittance when imaging is performed in the second exposure period T2.
The short exposure image P2 is acquired by imaging with the second exposure period T2 and the second transmittance.
　図５に示す例では、ｎフレーム目にて、長時間露光による撮像が実行される。従って第１の露光期間Ｔ１にて撮像が実行される。
　ｎ＋１フレーム目にて、短時間露光による撮像が実行される。従って、第２の露光期間Ｔ２にて撮像が実行される。またｎ＋１フレーム目にて、ｎフレーム目で撮像された長時間露光画像Ｐ１の画像データが出力されフレームメモリに記憶される。
　ｎ＋２フレーム目にて、ｎ＋１フレーム目で撮像された短時間露光画像Ｐ２の画像データが出力される。そしてｎ＋２フレーム目にて、長時間露光画像Ｐ１の画像データと、短時間露光画像Ｐ２の画像データとが合成され、ＨＤＲ画像Ｐ３が生成される。
　なお、ｎ＋２フレーム目には、次フレームのＨＤＲ画像を生成するための、長時間露光による撮像が実行される。
　従って図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートをＭ（ｆｐｓ）とすると、ＨＤＲ画像Ｐ３が生成されるフレームレートは、１／２倍のＭ／２（ｆｐｓ）となる。 In the example shown in FIG. 5, imaging by long exposure is executed at the nth frame. Therefore, imaging is performed in the first exposure period T1.
Imaging by short exposure is performed at the n + 1th frame. Therefore, imaging is performed in the second exposure period T2. Further, in the n + 1th frame, the image data of the long-exposure image P1 captured in the nth frame is output and stored in the frame memory.
At the n + 2nd frame, the image data of the short exposure image P2 captured at the n + 1th frame is output. Then, at the n + 2nd frame, the image data of the long-exposure image P1 and the image data of the short-exposure image P2 are combined to generate the HDR image P3.
At the n + 2nd frame, imaging by long exposure is executed to generate an HDR image of the next frame.
Therefore, assuming that the frame rate at which each frame of n, n + 1, and n + 2 shown in FIG. 5 is repeated is M (fps), the frame rate at which the HDR image P3 is generated is 1/2 times M / 2 (fps). ..
　図６Ａに示す例では、長時間露光画像Ｐ１は、被写体の手前側に相当する部分に白飛びが発生している。すなわち本例では、露光量の多い箇所が白く写り、階調が失われている。長時間露光画像Ｐ１は、黒つぶれが発生しないように、十分に長い露光期間が設定される。長時間露光画像Ｐ１として、白飛びが許容された画像が撮像されてもよい。
　図６Ｂに示す例では、短時間露光画像Ｐ２は、被写体の奥側に相当する部分に黒つぶれが発生している。すなわち本例では、露光量の少ない箇所が黒く写り、階調が失われている。短時間露光画像Ｐ２は、白飛びが発生しないように、短い露光期間が設定される。短時間露光画像Ｐ２として、黒つぶれが許容された画像が撮像されてもよい。
　図６Ｃに例示するように、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とがＨＤＲ合成されることでＨＤＲ画像Ｐ３が生成される。
　これにより、被写体の手前側に相当する部分、及び被写体の奥側に相当する部分のいずれにおいても階調が失われない画像を生成することが可能となる。すなわち、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像Ｐ３を取得することが可能となる。
　ＨＤＲ合成の方法としては、例えば階調値（画素値）について閾値が設定される。そして、各画素に対して長時間露光画像Ｐ１の階調値又は短時間露光画像Ｐ２の階調値を、閾値に基づいて適宜割り振り、合成画像として出力する。
　もちろん画像合成の方法は限定されず、例えばゲイン処理等を含んだ画像合成方法等、任意の方法が採用されてよい。
　本実施形態において、長時間露光画像Ｐ１は、第１の画像の一実施形態に相当する。また短時間露光画像Ｐ２は、第２の画像の一実施形態に相当する。 In the example shown in FIG. 6A, in the long-exposure image P1, overexposure occurs in a portion corresponding to the front side of the subject. That is, in this example, a portion having a large exposure amount appears white and the gradation is lost. The long-exposure image P1 is set with a sufficiently long exposure period so that blackout does not occur. As the long-exposure image P1, an image in which overexposure is allowed may be captured.
In the example shown in FIG. 6B, in the short-exposure image P2, blackout occurs in a portion corresponding to the back side of the subject. That is, in this example, the portion where the exposure amount is small appears black, and the gradation is lost. The short exposure period of the short exposure image P2 is set so that overexposure does not occur. As the short-exposure image P2, an image in which blackout is allowed may be captured.
As illustrated in FIG. 6C, the HDR image P3 is generated by HDR combining the long exposure image P1 and the short exposure image P2.
This makes it possible to generate an image in which the gradation is not lost in either the portion corresponding to the front side of the subject and the portion corresponding to the back side of the subject. That is, it is possible to acquire an HDR image P3 having a wider dynamic range and rich gradation expression.
As a method of HDR composition, for example, a threshold value is set for a gradation value (pixel value). Then, the gradation value of the long-exposure image P1 or the gradation value of the short-time exposure image P2 is appropriately allocated to each pixel based on the threshold value and output as a composite image.
Of course, the method of image composition is not limited, and any method such as an image composition method including gain processing or the like may be adopted.
In the present embodiment, the long-exposure image P1 corresponds to one embodiment of the first image. Further, the short exposure image P2 corresponds to one embodiment of the second image.
　図３に示すように、倍速駆動設定が実行される（ステップ１０３）。
　本実施形態では、図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートが、通常撮像処理のフレームレートの２倍のフレームレートとなるように、駆動周波数が設定される。
　これにより、ノーマルモードにてノーマル画像が生成されるフレームレートと、ＨＤＲモードにてＨＤＲ画像が生成されるフレームレートとを等しくすることが可能となる。これにより、撮像装置１００を使用するユーザに対するユーザビリティが向上する。
　もちろんＨＤＲ画像Ｐ３が生成されるフレームレートが限定される訳ではない。 As shown in FIG. 3, the double speed drive setting is executed (step 103).
In the present embodiment, the drive frequency is set so that the frame rate in which each frame of n, n + 1, and n + 2 shown in FIG. 5 is repeated is twice the frame rate of the normal imaging process.
This makes it possible to make the frame rate at which the normal image is generated in the normal mode equal to the frame rate at which the HDR image is generated in the HDR mode. This improves usability for the user who uses the image pickup apparatus 100.
Of course, the frame rate at which the HDR image P3 is generated is not limited.
　[長時間露光画像の撮像処理]
　長時間露光画像Ｐ１の撮像処理が実行される（ステップ１０４）。
　図７は、長時間露光画像Ｐ１の撮像処理の一例を示すフローチャートである。
　露光量設定部３４により、長時間露光画像Ｐ１を取得するための第１の露光量が設定される（ステップ３０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第１の露光量が設定される。
　露光期間設定部３５により、長時間露光画像Ｐ１の撮像が実行される際の第１の露光期間Ｔ１が設定される。また透過率設定部３６により、長時間露光画像Ｐ１の撮像が実行される際の第１の透過率が設定される（ステップ３０２）。 [Imaging process of long-exposure image]
The imaging process of the long-exposure image P1 is executed (step 104).
FIG. 7 is a flowchart showing an example of the imaging process of the long-exposure image P1.
The exposure amount setting unit 34 sets a first exposure amount for acquiring the long-exposure image P1 (step 301). In the present embodiment, the target first exposure amount is set based on the set value from the user, the amount of ambient light, and the like.
The exposure period setting unit 35 sets the first exposure period T1 when the long-exposure image P1 is captured. Further, the transmittance setting unit 36 sets the first transmittance when the imaging of the long-exposure image P1 is executed (step 302).
　例えば、第１の露光量、第１の露光期間Ｔ１、及び第１の透過率は、以下の式に従って設定される。
　Ｌｏｇ（第１の露光量）＝Ｌｏｇ（第１の露光期間）＋Ｌｏｇ（第１の透過率）・・・（２）
　例えば、目標となる第１の露光量が設定され、まず第１の露光期間Ｔ１が設定される。そして第１の露光量及び第１の露光期間Ｔ１に基づいて、式（２）に従って、第１の透過率が設定される。
　本実施形態では、液晶ＮＤフィルタ１１により高い精度で第１の透過率を設定することが可能である。従って、第１の露光量及び第１の露光期間Ｔ１が設定された後に、第１の透過率を設定することは容易に実現可能である。
　もちろんこのような設定方法に限定される訳ではない。 For example, the first exposure amount, the first exposure period T1, and the first transmittance are set according to the following equations.
Log (first exposure amount) = Log (first exposure period) + Log (first transmittance) ... (2)
For example, a target first exposure amount is set, and first, a first exposure period T1 is set. Then, the first transmittance is set according to the equation (2) based on the first exposure amount and the first exposure period T1.
In the present embodiment, it is possible to set the first transmittance with high accuracy by the liquid crystal ND filter 11. Therefore, it is easily feasible to set the first transmittance after the first exposure amount and the first exposure period T1 are set.
Of course, it is not limited to such a setting method.
　ステップ３０２にて設定された第１の露光期間Ｔ１及び第１の透過率で、撮像素子１２により撮像が実行され、長時間露光画像Ｐ１が取得される（ステップ３０３）。
　撮像により取得された長時間露光画像Ｐ１は、データ保存部２１のフレームメモリに保存される。 In the first exposure period T1 and the first transmittance set in step 302, image pickup is executed by the image pickup device 12, and the long-exposure image P1 is acquired (step 303).
The long-exposure image P1 acquired by imaging is stored in the frame memory of the data storage unit 21.
　図３に示すように、フリッカ検出部３３により、撮像対象となる被写体光、すなわち液晶ＮＤフィルタ１１を透過した被写体光に、フリッカが発生しているか否かが判定される（ステップ１０５）。
　例えば、被写体を照明する光源が蛍光灯であった場合に、被写体光にフリッカが発生する場合がある。蛍光灯は、電源周波数（５０Ｈｚ、６０Ｈｚ）の２倍の周波数（１００Ｈｚ、１２０Ｈｚ）で明滅を繰り返している。この明滅が被写体光のフリッカの原因となる。
　被写体光にフリッカが発生すると、撮像される画像にフリッカ現象が発生してしまい、画像の品質が低下してしまう場合があり得る。例えば、所定のフレームレートで撮影される動画像において、フレーム間フリッカが発生してしまう場合があり得る。
　フリッカ現象が発生すると、表示される画像がちらついているように見えてしまい、ユーザに不快感を与えてしまう。 As shown in FIG. 3, the flicker detection unit 33 determines whether or not flicker is generated in the subject light to be imaged, that is, the subject light transmitted through the liquid crystal ND filter 11 (step 105).
For example, when the light source that illuminates the subject is a fluorescent lamp, flicker may occur in the subject light. The fluorescent lamp repeatedly blinks at a frequency (100 Hz, 120 Hz) that is twice the power frequency (50 Hz, 60 Hz). This blinking causes flicker of the subject light.
When flicker occurs in the subject light, a flicker phenomenon may occur in the captured image, and the quality of the image may deteriorate. For example, in a moving image taken at a predetermined frame rate, inter-frame flicker may occur.
When the flicker phenomenon occurs, the displayed image appears to be flickering, which makes the user uncomfortable.
　［フリッカ検出処理]
　図８は、フリッカ検出処理の一例を示すフローチャートである。
　本実施形態では、図３に示す撮像のための処理とは別に、図８に示すフリッカ検出処理が定期的に実行されている。
　フリッカ検出部３３により、フリッカの有無とフリッカ周期とが検出される（ステップ４０１）。
　本実施形態では、デジタル信号処理回路１５により、Ａ／Ｄ変換回路１４から入力されたデジタル画像データが検波され、検波結果が制御部３０に出力される。フリッカ検出部３３は、この検波結果に基づいて、フリッカが発生しているかどうかを判定する。
　例えば、フリッカ検出部３３により、所定フレーム分（５フレーム程度）の画像データの検波結果が取得される。そして、これらの画像データ全体の輝度（階調）の変動具合に基づいて、フリッカの有無、及びフリッカ周期が検出される。
　例えば、通常撮像処理において取得された画像を用いてフリッカの検出が実行されてもよい。又は短時間露光画像Ｐ２に基づいて、フリッカの検出が実行されてもよい。あるいは、フリッカ検出用の撮像が実行されてもよい。
　フリッカの検出方法は限定されない。例えば、離散フーリエ変換を用いてフリッカの有無及びフリッカ周期を特定する方法等、任意の方法が採用されてよい。 [Flicker detection process]
FIG. 8 is a flowchart showing an example of the flicker detection process.
In the present embodiment, apart from the processing for imaging shown in FIG. 3, the flicker detection processing shown in FIG. 8 is periodically executed.
The flicker detection unit 33 detects the presence or absence of flicker and the flicker cycle (step 401).
In the present embodiment, the digital signal processing circuit 15 detects the digital image data input from the A / D conversion circuit 14, and the detection result is output to the control unit 30. The flicker detection unit 33 determines whether or not flicker has occurred based on the detection result.
For example, the flicker detection unit 33 acquires the detection result of image data for a predetermined frame (about 5 frames). Then, the presence or absence of flicker and the flicker cycle are detected based on the degree of variation in the brightness (gradation) of the entire image data.
For example, flicker detection may be performed using an image acquired in a normal imaging process. Alternatively, flicker detection may be executed based on the short exposure image P2. Alternatively, imaging for flicker detection may be performed.
The method of detecting flicker is not limited. For example, an arbitrary method such as a method of specifying the presence or absence of flicker and a flicker period by using a discrete Fourier transform may be adopted.
　フリッカ検出部３３により、ステップ４０１の結果に基づいて、フリッカの有無が判定される（ステップ４０２）。
　被写体光にフリッカが発生している場合（ステップ４０２のＹＥＳ）、被写体の状態がフリッカ状態に設定される（ステップ４０３）。
　被写体光にフリッカが発生していない場合（ステップ４０２のＮＯ）、被写体の状態が通常状態に設定される（ステップ４０４）。 The flicker detection unit 33 determines the presence or absence of flicker based on the result of step 401 (step 402).
When flicker is generated in the subject light (YES in step 402), the state of the subject is set to the flicker state (step 403).
When no flicker is generated in the subject light (NO in step 402), the state of the subject is set to the normal state (step 404).
　図３に示すステップ１０５では、被写体の状態がどちらの状態に設定されているかが判定される。
　被写体の状態が通常状態である場合には、被写体光にフリッカは発生していないと判定される。被写体の状態がフリッカ状態である場合には、被写体光にフリッカが発生していると判定される（ステップ１０５）。
　被写体光にフリッカが発生していない場合は（ステップ１０５のＮｏ）、フリッカがない場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０６）。
　被写体光にフリッカが発生している場合は（ステップ１０５のＹｅｓ）、フリッカがある場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０７）。 In step 105 shown in FIG. 3, it is determined which state the subject state is set to.
When the state of the subject is the normal state, it is determined that no flicker has occurred in the subject light. When the state of the subject is a flicker state, it is determined that flicker is generated in the subject light (step 105).
When no flicker is generated in the subject light (No in step 105), the imaging process of the short-time exposure image P2 when there is no flicker is executed (step 106).
If flicker is generated in the subject light (Yes in step 105), the imaging process of the short-time exposure image P2 in the case of flicker is executed (step 107).
　[短時間露光画像の撮像処理（フリッカなし）]
　図９は、フリッカが発生していない場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
　露光量設定部３４により、短時間露光画像Ｐ２を取得するための第２の露光量が設定される（ステップ５０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第２の露光量が設定される。
　露光期間設定部３５により、短時間露光画像Ｐ２の撮像が実行される際の第２の露光期間Ｔ２が設定される。また透過率設定部３６により、短時間露光画像Ｐ２の撮像が実行される際の第２の透過率が設定される（ステップ５０２）。 [Short-exposure image imaging process (without flicker)]
FIG. 9 is a flowchart showing an example of the imaging process of the short-exposure image P2 when flicker does not occur.
The exposure amount setting unit 34 sets a second exposure amount for acquiring the short-time exposure image P2 (step 501). In the present embodiment, a target second exposure amount is set based on a set value from the user, the amount of ambient light, and the like.
The exposure period setting unit 35 sets a second exposure period T2 when the short-exposure image P2 is captured. Further, the transmittance setting unit 36 sets a second transmittance when the short-exposure image P2 is captured (step 502).
　例えば、第２の露光量、第２の露光期間Ｔ２、及び第２の透過率は、以下の式に従って設定される。
　Ｌｏｇ（第２の露光量）＝Ｌｏｇ（第２の露光期間）＋Ｌｏｇ（第２の透過率）・・・（３）
　例えば、目標となる第２の露光量が設定され、まず第２の露光期間Ｔ２が設定される。そして第２の露光量及び第２の露光期間Ｔ２に基づいて、式（３）に従って、第２の透過率が設定される。
　本実施形態では、液晶ＮＤフィルタ１１により高い精度で第２の透過率を設定することが可能である。従って、第２の露光量及び第２の露光期間Ｔ２が設定された後に、第２の透過率を設定することも容易に実現可能である。
　もちろんこのような設定方法に限定される訳ではない。 For example, the second exposure amount, the second exposure period T2, and the second transmittance are set according to the following equations.
Log (second exposure amount) = Log (second exposure period) + Log (second transmittance) ... (3)
For example, a target second exposure amount is set, and first, a second exposure period T2 is set. Then, the second transmittance is set according to the formula (3) based on the second exposure amount and the second exposure period T2.
In the present embodiment, it is possible to set the second transmittance with high accuracy by the liquid crystal ND filter 11. Therefore, it is also easily feasible to set the second transmittance after the second exposure amount and the second exposure period T2 are set.
Of course, it is not limited to such a setting method.
　ステップ５０２にて設定された第２の露光期間Ｔ２及び第２の透過率で、撮像素子１２により撮像が実行され、短時間露光画像Ｐ２が取得される（ステップ５０３）。
　撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。 In the second exposure period T2 and the second transmittance set in step 502, an image pickup is executed by the image pickup device 12, and a short-time exposure image P2 is acquired (step 503).
The short-time exposure image P2 acquired by imaging is stored in the frame memory of the data storage unit 21.
　[短時間露光フレーム撮像処理（フリッカあり）]
　図１０は、フリッカが発生している場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
　図１１は、フリッカ現象が低減される原理を説明するための模式図である。
　図１１には、横軸に時間を、縦軸にフリッカ光源の光量を取ったグラフを示している。
　図１１に示す例では、被写体がフリッカ周波数５０Ｈｚで明滅を行っている。従って、フリッカ周期は、１／５０ｓ＝０．０２ｓとなっている。 [Short exposure frame imaging process (with flicker)]
FIG. 10 is a flowchart showing an example of the imaging process of the short-exposure image P2 when flicker is generated.
FIG. 11 is a schematic diagram for explaining the principle of reducing the flicker phenomenon.
FIG. 11 shows a graph in which the horizontal axis represents time and the vertical axis represents the amount of light from a flicker light source.
In the example shown in FIG. 11, the subject blinks at a flicker frequency of 50 Hz. Therefore, the flicker cycle is 1 / 50s = 0.02s.
　露光量設定部３４により、短時間露光画像Ｐ２を取得するための第２の露光量が設定される（ステップ６０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第２の露光量が設定される。 The exposure amount setting unit 34 sets a second exposure amount for acquiring the short-time exposure image P2 (step 601). In the present embodiment, a target second exposure amount is set based on a set value from the user, the amount of ambient light, and the like.
　露光期間設定部３５により、短時間露光画像Ｐ２の撮像が実行される際の第２の露光期間Ｔ２が設定される（ステップ６０２）。
　本実施形態では、第２の露光期間Ｔ２は、フリッカ周期の１／２の整数倍（逓倍）に設定される。図１１に示す例では、第２の露光期間Ｔ２＝１／１００ｓ＝０．０１ｓ＝１／２フリッカ周期となっている。
　このように第２の露光期間Ｔ２が設定されることにより、第２の露光期間Ｔ２が開始する時刻によらず、グラフと横軸がなす部分の面積が一定となる。
　例えば図１１中では、第２の露光期間Ｔ２が２つの矢印で示されている。左側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積は、右側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積と一致している。
　従って、短時間露光画像Ｐ２の撮像を開始する時刻によらず、第２の露光期間Ｔ２の間に液晶ＮＤフィルタ１１に入射する被写体光の光量を、一定にすることが可能となる。
　これにより、被写体光のフリッカにより、短時間露光画像Ｐ２にフリッカ現象が発生してしまうことを十分に低減させることが可能となる。すなわち異なるフレームにて撮影された短時間露光画像Ｐ２の露光量が、被写体光のフリッカにより、ばらついてしまうことを十分に低減することが可能である。
　もちろん、液晶ＮＤフィルタ１１の透過率を制御して、各短時間露光画像Ｐ２の露光量を変化させるといった処理は可能である。このような処理も、被写体光のフリッカを十分に低減させることで、精度よく実行することが可能である。
　もちろん第２の露光期間Ｔ２は１／２フリッカ周期に限定されず、フリッカ周期の１／２の整数倍となる任意の値が設定されてよい。 The exposure period setting unit 35 sets a second exposure period T2 when the short-exposure image P2 is captured (step 602).
In the present embodiment, the second exposure period T2 is set to an integral multiple (multiplication) of 1/2 of the flicker period. In the example shown in FIG. 11, the second exposure period T2 = 1 / 100s = 0.01s = 1/2 flicker cycle.
By setting the second exposure period T2 in this way, the area of the portion formed by the graph and the horizontal axis becomes constant regardless of the time when the second exposure period T2 starts.
For example, in FIG. 11, the second exposure period T2 is indicated by two arrows. The area formed by the graph and the horizontal axis in the second exposure period T2 indicated by the arrow on the left side is the area formed by the graph and the horizontal axis in the second exposure period T2 indicated by the arrow on the right side. Consistent with the area of.
Therefore, it is possible to keep the amount of subject light incident on the liquid crystal ND filter 11 constant during the second exposure period T2, regardless of the time when the imaging of the short-exposure image P2 is started.
This makes it possible to sufficiently reduce the occurrence of the flicker phenomenon in the short-exposure image P2 due to the flicker of the subject light. That is, it is possible to sufficiently reduce that the exposure amount of the short-exposure images P2 taken in different frames varies due to the flicker of the subject light.
Of course, it is possible to control the transmittance of the liquid crystal ND filter 11 to change the exposure amount of each short-time exposure image P2. Such processing can also be performed with high accuracy by sufficiently reducing the flicker of the subject light.
Of course, the second exposure period T2 is not limited to the 1/2 flicker cycle, and any value that is an integral multiple of 1/2 of the flicker cycle may be set.
　なお図１１には、長時間露光画像Ｐ１が撮像される際の第１の露光期間Ｔ１も図示されている。第１の露光期間Ｔ１は、第２の露光期間Ｔ２よりも長い時間となる。
　比較的長い第１の露光期間Ｔ１では、被写体光のフリッカの影響は小さく十分に許容範囲となる場合が多い。従って、例えば第１の露光期間Ｔ１として最大露光期間を設定することで、黒つぶれがない高精度の長時間露光画像Ｐ１を撮像することが可能となる。
　一方で、フリッカの影響を十分に抑えるために、第１の露光期間Ｔ１がフリッカ周期の１／２の整数倍となるように設定されてもよい。
　さらにいえば、図４に示す通常撮像処理が実行される際にも、露光期間が、フリッカ周期の１／２の整数倍となるように設定されてもよい。これにより、通常撮像処理におけるフレーム間フリッカを十分に抑制することが可能となる。 Note that FIG. 11 also shows a first exposure period T1 when the long-exposure image P1 is captured. The first exposure period T1 is longer than the second exposure period T2.
In the relatively long first exposure period T1, the influence of the flicker of the subject light is small and often sufficiently acceptable. Therefore, for example, by setting the maximum exposure period as the first exposure period T1, it is possible to capture a high-precision long-exposure image P1 without blackout.
On the other hand, in order to sufficiently suppress the influence of flicker, the first exposure period T1 may be set to be an integral multiple of 1/2 of the flicker period.
Furthermore, the exposure period may be set to be an integral multiple of 1/2 of the flicker period even when the normal imaging process shown in FIG. 4 is executed. This makes it possible to sufficiently suppress interframe flicker in the normal imaging process.
　ステップ６０２で設定された第２の露光期間Ｔ２に基づいて、露光量設定部３４により、露光量が再設定される（ステップ６０３）。
　例えば、露光量の再設定は、以下の式に従って設定される。
　Ｌｏｇ（第２の露光量）－Ｌｏｇ（第２の露光期間）＝Ｌｏｇ（露光量_再設定）・・・（４）
　透過率設定部３６は、再設定された露光量、及び設定された第２の露光期間Ｔ２に基づいて、以下の式に従って第２の透過率を設定する（ステップ６０４）。
　Ｌｏｇ（露光量_再設定）＝Ｌｏｇ（第２の透過率）・・・・（５）
　従って、本実施形態では、まず目標となる第２の露光量が設定される。そして、フリッカ周期の１／２の整数倍となるように、第２の露光期間Ｔ２が設定される。そして、目標となる第２の露光量、及び第２の露光期間Ｔ２に基づいて、最後に第２の透過率が設定される。
　液晶ＮＤフィルタ１１を用いることで、このような第２の透過率の設定を高精度に実行することが可能となる。
　第２の露光量、第２の露光期間Ｔ２、及び第２の透過率の設定として、他の方法が採用されてよい。 Based on the second exposure period T2 set in step 602, the exposure amount setting unit 34 resets the exposure amount (step 603).
For example, the resetting of the exposure amount is set according to the following formula.
Log (second exposure amount) -Log (second exposure period) = Log (exposure amount_reset) ... (4)
The transmittance setting unit 36 sets the second transmittance according to the following formula based on the reset exposure amount and the set second exposure period T2 (step 604).
Log (exposure amount_reset) = Log (second transmittance) ... (5)
Therefore, in the present embodiment, the target second exposure amount is first set. Then, the second exposure period T2 is set so as to be an integral multiple of 1/2 of the flicker period. Then, the second transmittance is finally set based on the target second exposure amount and the second exposure period T2.
By using the liquid crystal ND filter 11, it is possible to perform such a second transmittance setting with high accuracy.
Other methods may be adopted for setting the second exposure amount, the second exposure period T2, and the second transmittance.
　ステップ６０２及び６０４にて設定された第２の露光期間Ｔ２及び第２の透過率で、撮像素子１２により撮像が実行され、短時間露光画像Ｐ２が取得される（ステップ６０５）。
　撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。 In the second exposure period T2 and the second transmittance set in steps 602 and 604, image pickup is executed by the image pickup device 12, and the short-time exposure image P2 is acquired (step 605).
The short-time exposure image P2 acquired by imaging is stored in the frame memory of the data storage unit 21.
　図３に戻り、画像合成処理部３２により、フレームメモリに保存された長時間露光画像Ｐ１と短時間露光画像Ｐ２とが合成されることで、ＨＤＲ画像Ｐ３が生成される（ステップ１０８）。
　なお、短時間露光画像Ｐ２はフレームメモリに保存されなくてもよい。すなわちフレームメモリに保存された長時間露光画像Ｐ１と、ステップ５０３や６０５で生成された短時間露光画像Ｐ２とが合成されて、ＨＤＲ画像Ｐ３が生成されてもよい（ステップ１０８）。
　本実施形態では、被写体光にフリッカが発生している場合にも、フリッカ現象が低減されたＨＤＲ画像を、高い精度で生成することが可能となる。
　表示処理部２２は、生成されたＨＤＲ画像Ｐ３の表示処理を実行する。 Returning to FIG. 3, the image composition processing unit 32 combines the long-exposure image P1 and the short-time exposure image P2 stored in the frame memory to generate the HDR image P3 (step 108).
The short exposure image P2 does not have to be stored in the frame memory. That is, the HDR image P3 may be generated by synthesizing the long-exposure image P1 stored in the frame memory and the short-exposure image P2 generated in steps 503 and 605 (step 108).
In the present embodiment, even when flicker is generated in the subject light, it is possible to generate an HDR image in which the flicker phenomenon is reduced with high accuracy.
The display processing unit 22 executes display processing of the generated HDR image P3.
　以上、本実施形態に係る撮像装置１００では、第１の露光期間Ｔ１と、第１の露光期間Ｔ１よりも短い第２の露光期間Ｔ２が、撮像の対象となる被写体光のフリッカ周期に基づいて設定される。また第１の露光期間Ｔ１及び第２の露光期間Ｔ２の各々に対応する透過率として、第１の透過率及び第２の透過率とが設定される。これにより、長時間露光画像Ｐ１と短時間露光画像Ｐ２とを合成することで、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つＨＤＲ画像Ｐ３を取得することが可能となる。 As described above, in the image pickup apparatus 100 according to the present embodiment, the first exposure period T1 and the second exposure period T2 shorter than the first exposure period T1 are based on the flicker cycle of the subject light to be imaged. Set. Further, a first transmittance and a second transmittance are set as the transmittances corresponding to each of the first exposure period T1 and the second exposure period T2. This makes it possible to acquire the HDR image P3 having a wider dynamic range while reducing the flicker phenomenon by synthesizing the long-exposure image P1 and the short-time exposure image P2.
　近年、撮像装置において、蛍光灯及びＬＥＤ（Light Emitting Diode）などの光源によるフリッカを抑制する技術が提案されている。
　一方で、光源のフリッカを抑制しつつ、より広いダイナミックレンジを持つＨＤＲ画像を生成することは難しかった。 In recent years, in an image pickup apparatus, a technique for suppressing flicker caused by a light source such as a fluorescent lamp and an LED (Light Emitting Diode) has been proposed.
On the other hand, it has been difficult to generate an HDR image having a wider dynamic range while suppressing flicker of a light source.
　本実施形態では、短時間露光画像Ｐ２の露光期間Ｔ２がフリッカ周期に基づいて設定すされる。これにより短時間露光画像Ｐ２のフリッカ現象が低減される。
　また目標となる第２の露光量を実現するために、液晶ＮＤフィルタ１１の透過率が調整される。これにより、高品質なＨＤＲ画像Ｐ３を生成することが可能となる。
　例えば、目標となる第２の露光量を実現するために絞りの開度を調整することも考えられる。しかしながら絞りの開度を調整する方法では、長時間露光画像Ｐ１と短時間露光画像Ｐ２との間で絞りボケが発生してしまったり、被写体深度ずれが発生してしまう可能性が高い。この結果、合成により取得されるＨＤＲ画像Ｐ３の画質が劣化してしまう。
　本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、高品質な短時間露光画像Ｐ２が取得可能であり、合成により取得されるＨＤＲ画像Ｐ３の画質の向上を実現することが可能となる。
　すなわち本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、短時間露光画像Ｐ２の露光期間Ｔ２をフリッカ周期に設定するシンプルな方法により、フリッカ現象が低減された高品質なＨＤＲ画像Ｐ３を生成することが可能となる。 In the present embodiment, the exposure period T2 of the short-time exposure image P2 is set based on the flicker cycle. As a result, the flicker phenomenon of the short-time exposure image P2 is reduced.
Further, the transmittance of the liquid crystal ND filter 11 is adjusted in order to realize the target second exposure amount. This makes it possible to generate a high quality HDR image P3.
For example, it is conceivable to adjust the aperture opening in order to realize the target second exposure amount. However, in the method of adjusting the aperture opening, there is a high possibility that the aperture blur occurs between the long-exposure image P1 and the short-time exposure image P2, or the depth of field shifts. As a result, the image quality of the HDR image P3 acquired by compositing deteriorates.
In the present embodiment, by adjusting the transmittance of the liquid crystal ND filter 11, it is possible to acquire a high-quality short-exposure image P2, and it is possible to improve the image quality of the HDR image P3 acquired by compositing. It becomes.
That is, in the present embodiment, a high-quality HDR image in which the flicker phenomenon is reduced by a simple method of setting the exposure period T2 of the short-time exposure image P2 to the flicker cycle by adjusting the transmittance of the liquid crystal ND filter 11. It becomes possible to generate P3.
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。 <Other embodiments>
The present technology is not limited to the embodiments described above, and various other embodiments can be realized.
　透過率の設定について、例えば、長時間露光画像Ｐ１の撮像時には、より明るい側の情報を得るために、透過率（第１の透過率）を高く設定する（濃度を薄く設定する）。そして、短時間露光画像Ｐ２の撮影時には、透過率（第２の透過率）を下げる（濃度を濃くする）。例えば第１の透過率を１００％（１００％に近い値）に設定し、第２の透過率を低い値に設定する。このように第１の透過率を、第２の透過率よりも大きい値に設定することで、さらに高品質なＨＤＲ画像３を生成することが可能となる。
　なお、第１の透過率を１００％（１００％に近い値）に設定することは、液晶ＮＤフィルタ１１を使用しない場合と同等となる。従って、例えば第１の透過率を１００％（１００％に近い値）に設定し、第２の透過率を低い値に設定する制御は、長時間露光画像Ｐ１の撮像時には液晶ＮＤフィルタ１１を使用せず、短時間露光画像Ｐ２の撮影時にのみ液晶ＮＤフィルタ１１を使用する制御ともいえる。 Regarding the setting of the transmittance, for example, when the long-exposure image P1 is captured, the transmittance (first transmittance) is set high (the density is set thin) in order to obtain information on the brighter side. Then, when the short-exposure image P2 is photographed, the transmittance (second transmittance) is lowered (the density is increased). For example, the first transmittance is set to 100% (a value close to 100%), and the second transmittance is set to a low value. By setting the first transmittance to a value larger than the second transmittance in this way, it is possible to generate a higher quality HDR image 3.
Setting the first transmittance to 100% (a value close to 100%) is equivalent to not using the liquid crystal ND filter 11. Therefore, for example, the control of setting the first transmittance to 100% (a value close to 100%) and setting the second transmittance to a low value uses the liquid crystal ND filter 11 when capturing the long-exposure image P1. It can be said that the control uses the liquid crystal ND filter 11 only when the short-exposure image P2 is taken.
　もちろん、第１の透過率を第２の透過率と同じ値に設定することも可能である。これにより、頻繁に液晶ＮＤフィルタ１１を制御する必要がなくなるので、制御的／装置的に負荷を低減することが可能となる。この結果、負荷を低減しつつＨＤＲ画像を生成することが可能となる。 Of course, it is also possible to set the first transmittance to the same value as the second transmittance. This eliminates the need to frequently control the liquid crystal ND filter 11, so that the load can be reduced in terms of control / equipment. As a result, it becomes possible to generate an HDR image while reducing the load.
　液晶ＮＤフィルタ１１の透過率は、温度環境の影響を受けることがある。例えば、液晶ＮＤフィルタ１１が高温になることで、透過率設定部３６により設定された透過率と撮像を実行する際の透過率に、差異が生じることがある。
　この差異を抑制するために、例えばフィードバック制御が実行されてもよい。具体的には、制御部３０は、撮像が実行された際の透過率と設定した透過率を比較して、その差異が抑制されるように液晶ＮＤフィルタ１１への印加電圧を設定し、液晶ＮＤドライバ１７に指示を出してもよい。また、アナログ信号処理回路１３は、差異に基づいてゲイン処理等を実行してもよい。 The transmittance of the liquid crystal ND filter 11 may be affected by the temperature environment. For example, when the liquid crystal ND filter 11 becomes hot, there may be a difference between the transmittance set by the transmittance setting unit 36 and the transmittance when performing imaging.
In order to suppress this difference, for example, feedback control may be executed. Specifically, the control unit 30 compares the transmittance when the imaging is executed with the set transmittance, sets the voltage applied to the liquid crystal ND filter 11 so that the difference is suppressed, and sets the liquid crystal. You may give an instruction to the ND driver 17. Further, the analog signal processing circuit 13 may execute gain processing or the like based on the difference.
　各図面を参照して説明した撮像装置等の各構成、各処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。 Each configuration of the image pickup apparatus and the like, each processing flow, etc. described with reference to each drawing are merely one embodiment, and can be arbitrarily deformed as long as the purpose of the present technology is not deviated. That is, other arbitrary configurations, algorithms, and the like for implementing the present technology may be adopted.
　本開示において、「略」という文言が使用される場合、これはあくまで説明の理解を容易とするための使用であり、「略」という文言の使用／不使用に特別な意味があるわけではない。
　すなわち、本開示において、「中心」「中央」「均一」「等しい」「一致」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に一致」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
　例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に一致」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
　従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。 When the word "abbreviation" is used in this disclosure, it is used only to facilitate the understanding of the explanation, and the use / non-use of the word "abbreviation" has no special meaning. ..
That is, in the present disclosure, "center", "center", "uniform", "equal", "match", "same", "orthogonal", "parallel", "symmetrical", "extended", "axial direction", "cylindrical shape", "cylindrical shape", and " Concepts that define shape, size, positional relationship, state, etc., such as "ring shape" and "annular shape", are "substantially center", "substantially center", "substantially uniform", and "substantially equal". "Substantially coincident""substantially the same""substantiallyorthogonal""substantiallyparallel""substantiallysymmetric""substantiallyextended""substantiallyaxial""substantially cylindrical shape" The concept includes "substantially cylindrical shape", "substantially ring shape", "substantially annular shape" and the like.
For example, "perfectly centered", "perfectly centered", "perfectly uniform", "perfectly equal", "perfectly matched", "perfectly identical", "perfectly orthogonal", "perfectly parallel", "perfectly symmetric", and "perfectly extended". Within a predetermined range (for example, ± 10% range) based on "presence", "completely axial", "completely cylindrical", "completely cylindrical", "completely ring-shaped", "completely annular", etc. The included state is also included.
Therefore, even when the word "abbreviation" is not added, a concept expressed by adding a so-called "abbreviation" can be included. On the contrary, the complete state is not excluded from the state expressed by adding "abbreviation".
　本開示において、「Ａより大きい」「Ａより小さい」といった「より」を使った表現は、Ａと同等である場合を含む概念と、Ａと同等である場合を含なまい概念の両方を包括的に含む表現である。例えば「Ａより大きい」は、Ａと同等は含まない場合に限定されず、「Ａ以上」も含む。また「Ａより小さい」は、「Ａ未満」に限定されず、「Ａ以下」も含む。
　本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。 In the present disclosure, expressions using "more" such as "greater than A" and "less than A" include both the concept including the case equivalent to A and the concept not including the case equivalent to A. It is an expression that includes the concept. For example, "greater than A" is not limited to the case where the equivalent of A is not included, and "greater than or equal to A" is also included. Further, "less than A" is not limited to "less than A" and includes "less than or equal to A".
When implementing this technique, specific settings and the like may be appropriately adopted from the concepts included in "greater than A" and "less than A" so that the effects described above can be exhibited.
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。 It is also possible to combine at least two feature parts among the feature parts related to the present technology described above. That is, the various feature portions described in each embodiment may be arbitrarily combined without distinction between the respective embodiments. Further, the various effects described above are merely exemplary and not limited, and other effects may be exhibited.
　なお、本技術は以下のような構成も採ることができる。
（１）
　光の透過率を調整可能な透過率調整部と、
　前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子と、
　前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する露光期間設定部と、
　前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する透過率設定部と、
　前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する合成部と
　を具備する撮像装置。
（２）（１）に記載の撮像装置であって、
　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定する
　撮像装置。
（３）（１）又は（２）に記載の撮像装置であって、
　前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成する
　撮像装置。
（４）（１）から（３）のうちいずれか１つに記載の撮像装置であって、
　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定する
　撮像装置。
（５）（１）から（４）のうちいずれか１つに記載の撮像装置であって、
　前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定する
　撮像装置。
（６）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
　前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定する
　撮像装置。
（７）（６）に記載の撮像装置であって、
　前記透過率設定部は、前記第１の透過率を１００％に設定する
　撮像装置。
（８）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
　前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定する
　撮像装置。
（９）（１）から（８）のうちいずれか１つに記載の撮像装置であって、さらに、
　前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備し、
　前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定する
　撮像装置。
（１０）（９）に記載の撮像装置であって、
　前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定する
　撮像装置。
（１１）（１）から（１０）のうちいずれか１つに記載の撮像装置であって、
　前記透過率調整部は、印加される電圧に応じて前記透過率を調整可能である
　撮像装置。
（１２）（１１）に記載の撮像装置であって、
　前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタである
　撮像装置。
（１３）（１）から（１２）のうちいずれか１つに記載の撮像装置であって、さらに、
　前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備する
　撮像装置。
（１４）
　光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定し、
　前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率を設定し、
　前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率を設定し、
　前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する
　ことを撮像装置が実行する撮像方法。 In addition, this technology can also adopt the following configurations.
(1)
A transmittance adjustment unit that can adjust the transmittance of light,
An image sensor that performs imaging by exposing the light transmitted through the transmittance adjusting unit, and
An exposure period setting unit that sets a first exposure period and a second exposure period shorter than the first exposure period based on the flicker period of light transmitted through the transmittance adjusting unit.
A transmittance setting unit that sets a first transmittance when imaging is executed in the first exposure period and a second transmittance when imaging is executed in the second exposure period. ,
A first image acquired by imaging with the first exposure period and the first transmittance, and a second image acquired by imaging with the second exposure period and the second transmittance. An image pickup device including a compositing unit that synthesizes and.
(2) The image pickup apparatus according to (1).
The exposure period setting unit is an image pickup device that sets the second exposure period based on the flicker cycle.
(3) The image pickup apparatus according to (1) or (2).
The synthesizing unit is an image pickup device that generates an HDR (High Dynamic Range) image by synthesizing the first image and the second image.
(4) The image pickup apparatus according to any one of (1) to (3).
The exposure period setting unit is an image pickup device that sets the second exposure period to an integral multiple of 1/2 of the flicker cycle.
(5) The image pickup apparatus according to any one of (1) to (4).
The exposure period setting unit is an image pickup device that sets the first exposure period to an integral multiple of 1/2 of the flicker cycle.
(6) The image pickup apparatus according to any one of (1) to (5).
The transmittance setting unit is an image pickup device that sets the first transmittance to a value larger than the second transmittance.
(7) The image pickup apparatus according to (6).
The transmittance setting unit is an image pickup device that sets the first transmittance to 100%.
(8) The image pickup apparatus according to any one of (1) to (5).
The transmittance setting unit is an image pickup device that sets the first transmittance to the same value as the second transmittance.
(9) The image pickup apparatus according to any one of (1) to (8), and further.
It is provided with an exposure amount setting unit for executing a first exposure amount setting for acquiring the first image and a second exposure amount setting for acquiring the second image.
The transmittance setting unit is an image pickup device that sets the second transmittance based on the set second exposure amount and the set second exposure period.
(10) The image pickup apparatus according to (9).
The transmittance setting unit is an image pickup device that sets the first transmittance based on the set first exposure amount and the set first exposure period.
(11) The image pickup apparatus according to any one of (1) to (10).
The transmittance adjusting unit is an image pickup device capable of adjusting the transmittance according to an applied voltage.
(12) The image pickup apparatus according to (11).
The transmittance adjusting unit is an image pickup device that is a liquid crystal display ND (Neutral Density) filter.
(13) The image pickup apparatus according to any one of (1) to (12), and further.
An image pickup apparatus including a detection unit that detects a flicker cycle of light transmitted through the transmittance adjusting unit.
(14)
A first exposure period and a second exposure period shorter than the first exposure period are set based on the flicker period of the light transmitted through the transmittance adjusting unit capable of adjusting the transmittance of the light.
The first transmittance when the image pickup is executed in the first exposure period is set by the image pickup element that executes the image pickup by exposing the light transmitted through the transmittance adjusting unit.
The second transmittance when the image pickup is performed by the image pickup element in the second exposure period is set.
A first image acquired by imaging with the first exposure period and the first transmittance, and a second image acquired by imaging with the second exposure period and the second transmittance. An imaging method in which the imaging device performs the synthesis of and.
　Ｐ１…長時間露光画像
　Ｐ２…短時間露光画像
　Ｐ３…ＨＤＲ画像
　Ｔ１…第１の露光期間
　Ｔ２…第２の露光期間
　１１…液晶ＮＤフィルタ
　１２…撮像素子
　３２…画像合成処理部
　３３…フリッカ検出部
　３４…露光量設定部
　３５…露光期間設定部
　３６…透過率設定部
　１００…撮像装置 P1 ... Long exposure image P2 ... Short exposure image P3 ... HDR image T1 ... First exposure period T2 ... Second exposure period 11 ... Liquid crystal ND filter 12 ... Image sensor 32 ... Image composition processing unit 33 ... Flicker detection unit 34 ... Exposure amount setting unit 35 ... Exposure period setting unit 36 ... Transmission rate setting unit 100 ... Image sensor

Claims (14)

  1. 　光の透過率を調整可能な透過率調整部と、
    　前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子と、
    　前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する露光期間設定部と、
    　前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する透過率設定部と、
    　前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する合成部と
    　を具備する撮像装置。     A transmittance adjustment unit that can adjust the transmittance of light,
    An image sensor that performs imaging by exposing the light transmitted through the transmittance adjusting unit, and
    An exposure period setting unit that sets a first exposure period and a second exposure period shorter than the first exposure period based on the flicker period of light transmitted through the transmittance adjusting unit.
    A transmittance setting unit that sets a first transmittance when imaging is executed in the first exposure period and a second transmittance when imaging is executed in the second exposure period. ,
    A first image acquired by imaging with the first exposure period and the first transmittance, and a second image acquired by imaging with the second exposure period and the second transmittance. An image pickup device including a compositing unit that synthesizes and.
  2. 　請求項１に記載の撮像装置であって、
    　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定する
    　撮像装置。     The imaging device according to claim 1.
    The exposure period setting unit is an image pickup device that sets the second exposure period based on the flicker cycle.
  3. 　請求項１に記載の撮像装置であって、
    　前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成する
    　撮像装置。     The imaging device according to claim 1.
    The synthesizing unit is an image pickup device that generates an HDR (High Dynamic Range) image by synthesizing the first image and the second image.
  4. 　請求項１に記載の撮像装置であって、
    　前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定する
    　撮像装置。     The imaging device according to claim 1.
    The exposure period setting unit is an image pickup device that sets the second exposure period to an integral multiple of 1/2 of the flicker cycle.
  5. 　請求項１に記載の撮像装置であって、
    　前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定する
    　撮像装置。     The imaging device according to claim 1.
    The exposure period setting unit is an image pickup device that sets the first exposure period to an integral multiple of 1/2 of the flicker cycle.
  6. 　請求項１に記載の撮像装置であって、
    　前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定する
    　撮像装置。     The imaging device according to claim 1.
    The transmittance setting unit is an image pickup device that sets the first transmittance to a value larger than the second transmittance.
  7. 　請求項６に記載の撮像装置であって、
    　前記透過率設定部は、前記第１の透過率を１００％に設定する
    　撮像装置。     The imaging device according to claim 6.
    The transmittance setting unit is an image pickup device that sets the first transmittance to 100%.
  8. 　請求項１に記載の撮像装置であって、
    　前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定する
    　撮像装置。     The imaging device according to claim 1.
    The transmittance setting unit is an image pickup device that sets the first transmittance to the same value as the second transmittance.
  9. 　請求項１に記載の撮像装置であって、さらに、
    　前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備し、
    　前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定する
    　撮像装置。     The imaging device according to claim 1, further
    It is provided with an exposure amount setting unit for executing a first exposure amount setting for acquiring the first image and a second exposure amount setting for acquiring the second image.
    The transmittance setting unit is an image pickup device that sets the second transmittance based on the set second exposure amount and the set second exposure period.
  10. 　請求項９に記載の撮像装置であって、
    　前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定する
    　撮像装置。     The imaging device according to claim 9.
    The transmittance setting unit is an image pickup device that sets the first transmittance based on the set first exposure amount and the set first exposure period.
  11. 　請求項１に記載の撮像装置であって、
    　前記透過率調整部は、印加される電圧に応じて前記透過率を調整可能である
    　撮像装置。     The imaging device according to claim 1.
    The transmittance adjusting unit is an image pickup device capable of adjusting the transmittance according to an applied voltage.
  12. 　請求項１１に記載の撮像装置であって、
    　前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタである
    　撮像装置。     The imaging device according to claim 11.
    The transmittance adjusting unit is an image pickup device that is a liquid crystal display ND (Neutral Density) filter.
  13. 　請求項１に記載の撮像装置であって、さらに、
    　前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備する
    　撮像装置。     The imaging device according to claim 1, further
    An image pickup apparatus including a detection unit that detects a flicker cycle of light transmitted through the transmittance adjusting unit.
  14. 　光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定し、
    　前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率を設定し、
    　前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率を設定し、
    　前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する
    　ことを撮像装置が実行する撮像方法。     A first exposure period and a second exposure period shorter than the first exposure period are set based on the flicker period of the light transmitted through the transmittance adjusting unit capable of adjusting the transmittance of the light.
    The first transmittance when the image pickup is executed in the first exposure period is set by the image pickup element that executes the image pickup by exposing the light transmitted through the transmittance adjusting unit.
    The second transmittance when the image pickup is performed by the image pickup element in the second exposure period is set.
    A first image acquired by imaging with the first exposure period and the first transmittance, and a second image acquired by imaging with the second exposure period and the second transmittance. An imaging method in which the imaging device performs the synthesis of and.
PCT/JP2021/021165 2020-06-12 2021-06-03 Imaging device, and imaging method WO2021251260A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020102320A JP2021197613A (en) 2020-06-12 2020-06-12 Imaging apparatus and imaging method
JP2020-102320 2020-06-12

Publications (1)

Publication Number Publication Date
WO2021251260A1 true WO2021251260A1 (en) 2021-12-16

Family

ID=78846116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021165 WO2021251260A1 (en) 2020-06-12 2021-06-03 Imaging device, and imaging method

Country Status (2)

Country Link
JP (1) JP2021197613A (en)
WO (1) WO2021251260A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248589A1 (en) * 2022-06-23 2023-12-28 株式会社ジャパンディスプレイ Camera module

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179924A (en) * 2013-03-15 2014-09-25 Canon Inc Imaging apparatus, control method thereof, program, and storage medium
JP2015198292A (en) * 2014-03-31 2015-11-09 ソニー株式会社 Imaging apparatus, flicker correction method and program
JP2017011367A (en) * 2015-06-17 2017-01-12 キヤノン株式会社 Imaging apparatus and control method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179924A (en) * 2013-03-15 2014-09-25 Canon Inc Imaging apparatus, control method thereof, program, and storage medium
JP2015198292A (en) * 2014-03-31 2015-11-09 ソニー株式会社 Imaging apparatus, flicker correction method and program
JP2017011367A (en) * 2015-06-17 2017-01-12 キヤノン株式会社 Imaging apparatus and control method of the same

Also Published As

Publication number Publication date
JP2021197613A (en) 2021-12-27

Similar Documents

Publication Publication Date Title
JP6680377B2 (en) Imaging device, imaging method, and program
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
TWI390971B (en) Imaging apparatus, imaging processing method, and imaging control program
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP5123137B2 (en) Imaging apparatus and imaging method
US9681060B2 (en) Imaging apparatus, method of correcting flicker, and program
US9277135B2 (en) Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium
US9277134B2 (en) Image pickup apparatus and image pickup method
JP2016082510A (en) Image processing apparatus and image processing method
US11128799B2 (en) Image processing apparatus and image processing method
US11006050B2 (en) Imaging apparatus and imaging method using first and second images for generating high dynamic range image
JP5984975B2 (en) Imaging apparatus, imaging method, and program
JP2018006827A (en) Imaging apparatus, imaging program, and imaging method
WO2021251260A1 (en) Imaging device, and imaging method
JPWO2015146471A1 (en) Imaging device
JP2010103700A (en) Imaging device and imaging method
JP6242129B2 (en) Imaging device, control method thereof, and control program
JP2014146969A (en) Digital camera
JP6075829B2 (en) IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2018056941A (en) Imaging apparatus, display apparatus, electronic equipment, imaging method, program, imaging system, display system, and image processing apparatus
JP5268823B2 (en) Imaging apparatus and imaging method
JP3206826U (en) Image processing device
JP2009225252A (en) Imaging apparatus and imaging method
JP2016140057A (en) Imaging device
JP2013106228A (en) Imaging apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21821780

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21821780

Country of ref document: EP

Kind code of ref document: A1