WO2015151813A1 - 制御装置、制御方法及び撮像装置 - Google Patents

制御装置、制御方法及び撮像装置 Download PDF

Info

Publication number
WO2015151813A1
WO2015151813A1 PCT/JP2015/058034 JP2015058034W WO2015151813A1 WO 2015151813 A1 WO2015151813 A1 WO 2015151813A1 JP 2015058034 W JP2015058034 W JP 2015058034W WO 2015151813 A1 WO2015151813 A1 WO 2015151813A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame rate
transmittance
brightness
change
filter
Prior art date
Application number
PCT/JP2015/058034
Other languages
English (en)
French (fr)
Inventor
啓友 中島
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016511524A priority Critical patent/JP6558362B2/ja
Priority to EP15773607.5A priority patent/EP3128741B1/en
Priority to US15/128,182 priority patent/US10033936B2/en
Publication of WO2015151813A1 publication Critical patent/WO2015151813A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present disclosure relates to a control device, a control method, and an imaging device.
  • Patent Document 1 describes a technique for predicting a high luminance level, predicting a high luminance level range based on the time displacement, and generating a mask pattern that dims the high luminance range.
  • a frame rate control unit that controls a frame rate of imaging, and a filter that transmits light incident on the imaging device so that the brightness of the imaged subject is maintained according to the change in the frame rate
  • a transmittance control unit that controls the transmittance
  • a filter that controls the imaging frame rate and transmits light incident on the imaging element so that the brightness of the imaged subject is maintained according to the change in the frame rate. Controlling the transmittance.
  • an imaging device that captures a subject image for each frame, a filter that is disposed closer to the subject than the imaging device and transmits light incident on the imaging device, and controls a frame rate of imaging
  • a frame rate control unit that controls, and a transmittance control unit that controls the transmittance of the filter so that the brightness of the subject image captured by the image sensor is maintained in accordance with a change in the frame rate.
  • An imaging device is provided.
  • the present disclosure it is possible to adjust the brightness without a sense of incongruity according to the change in the frame rate without causing a change in the image quality.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 3 is a schematic diagram illustrating an exposure state when the imaging frame rate is continuously changed in an ideal shutter-off state as a moving image with respect to FIG. 2.
  • FIG. 4 is a diagram schematically showing control for changing the density of the liquid crystal ND filter 103 while interlocking with the change in the frame rate in the shutter-off state according to the change in the frame rate, as in FIG. 3. It is a flowchart which shows the process in the imaging device 100 of this embodiment.
  • FIG. 10 is a characteristic diagram illustrating a change in brightness when an attempt is made to suppress a change in brightness by rebating an image according to the number of memory additions in FIG. 9.
  • FIG. 10 is a schematic diagram illustrating an example of controlling rebating by memory addition and density change of the liquid crystal ND filter 103 in conjunction with each other.
  • some high-end camcorders are capable of shooting in the S & Q mode.
  • playback is performed by changing the frame rate at the time of shooting.
  • the frame rate range of about 1 fps to 240 fps
  • by performing playback at a frame rate of 60 fps it is possible to perform 60 times to 1/4 times quick motion shooting or slow motion shooting.
  • the brightness of the image changes. For example, in the case of shooting at an optimal exposure condition at a frame rate of 60 fps, if the frame rate changes to 1 fp, the brightness becomes 60 times brighter. For this reason, it is necessary to adjust the exposure amount so that the brightness is constant.
  • the shutter in the off state means that shooting is performed at a shutter speed of 1/60 sec when the shooting frame rate is 60 fps and at a shutter speed of 1 sec when the shooting frame rate is 1 fps.
  • the frame rate is changed from 60 fps to 1 fp, the brightness becomes 60 times brighter, so the exposure amount needs to be adjusted as described above.
  • the change in the frame rate from 60 fps to 1 fps is as shown in FIG.
  • a method of always setting the shutter speed to 1/60 sec (or faster) or closing the aperture according to the frame rate can be considered.
  • FIG. 1 is a schematic diagram illustrating a configuration example of an imaging device 100 according to an embodiment of the present disclosure.
  • an imaging apparatus 100 includes a lens (imaging optical system) 101, a diaphragm 102, a liquid crystal ND filter 103, an imaging element 104, an analog signal processing unit 105, an A / D conversion unit 106, and a digital signal processing unit 107.
  • TG timing generator
  • microcomputer system controller
  • the image pickup apparatus 100 shown in FIG. 1 receives light that has passed through the lens 101, the diaphragm 102, and the liquid crystal ND filter 103 by the image pickup element 104, adds (multiplies) an analog gain or the like to the image value by the analog signal processing unit 105, After A / D conversion is performed by the A / D conversion unit 106, digital signal processing is performed by the digital signal processing unit 107. The signal subjected to the digital signal processing is sent to the image display unit 108 and the image storage unit 109, an image is output from the image display unit 108, and recording is performed in the image storage unit 109. The digital signal processing unit 107 creates a detection value for correcting automatic exposure (AE) from the image data.
  • AE automatic exposure
  • the operation unit 113 receives a user operation and sends an operation input by the user operation to the system controller 120.
  • the system controller 120 outputs a control amount instruction according to a user operation to each device.
  • the operation input by the user operation includes an operation for changing the frame rate and an operation for changing the gain in a high-transmittance region described later.
  • the system controller 120 issues an instruction to the lens driver 110 when it is desired to change the focus position, zoom position, aperture value, or transmittance of the liquid crystal ND filter 103.
  • the system controller 120 issues an instruction to the timing generator 111 when changing the value of the electronic shutter, issues an instruction to the analog signal processing unit 105 when changing the analog gain, and digital when changing the digital signal processing. An instruction is issued to the signal processing unit 107.
  • FIG. 2 is a schematic diagram showing an exposure state when the imaging frame rate is continuously changed with the shutter speed fixed in order to maintain the brightness in the S & Q mode.
  • the width of the imaging cycle becomes wider.
  • a time during which the frame is not exposed occurs at a low frame rate.
  • the frame rate is 15 fps
  • exposure is performed during the exposure time (1/60 sec) 200, but exposure is not performed during the remaining 3/60 sec in 15 fp. Therefore, since it is not photographed for 3/60 sec, it becomes a discrete moving image with discontinuity.
  • FIG. 3 is a schematic diagram showing an exposure state when the imaging frame rate is continuously changed in a shutter-off state ideal as a moving image with respect to FIG.
  • an ideal shutter OFF state means that shooting is performed at a shutter speed of 1/60 sec when the shooting frame rate is 60 fps, and 1 sec when the shooting frame rate is 1 fps.
  • shooting is performed at a shutter speed of 1/60 sec when the shooting frame rate is 60 fps, and at a shutter speed of 1/15 sec when the frame rate is 15 fps.
  • the exposure time 200 becomes longer in synchronism with the frame rate, instead of the occurrence of the time corresponding to the non-exposure time. For this reason, when the frame rate is 15 fps, the brightness is quadrupled when the frame rate is 60 fps.
  • FIG. 4 is a diagram schematically showing control for changing the density of the liquid crystal ND filter 103 while interlocking with the change in the frame rate in the shutter-off state according to the change in the frame rate, as in FIG.
  • the transmittance of the ND filter 103 is reduced when the frame rate is 15 fps compared to the frame rate of 60 fps.
  • the transmittance of the ND filter 103 is 100%, and when the frame rate is 15 fps, the transmittance of the ND filter 103 is 25%.
  • FIG. 5 is a flowchart showing processing in the imaging apparatus 100 of the present embodiment.
  • a frame rate switching instruction is issued from the user, first, in step S10, the transmittance (density) of the liquid crystal ND filter 103 is linked based on the operation speed information of the liquid crystal ND filter 103 that is held in advance.
  • the range of the frame rate that can maintain the brightness constant is calculated.
  • the frame rate range that can maintain the brightness constant is performed by the frame rate range calculation unit 121 of the system controller 120.
  • a frame rate transition instruction is output to the frame rate conversion processing unit 122 in order to change the frame rate within the range of the frame rate calculated in step S10.
  • the frame rate conversion processing unit 122 performs processing for converting the imaging frame rate.
  • the transmittance calculation unit 123 calculates the transmittance corresponding to the change in the frame rate, and gives an instruction for the transition of the transmittance to the lens driver.
  • the lens driver 110 controls the transmittance of the liquid crystal ND filter 103 based on the received transmission transition instruction.
  • next step S14 the current frame rate and the current transmittance of the liquid crystal ND filter 103 are updated.
  • step S16 if the current frame rate matches the target frame rate, the process ends. On the other hand, if the current frame rate does not reach the target, the process returns to step S10, and the process is repeated so as to make a transition within a range where the brightness can be maintained constant.
  • the target frame rate corresponds to the frame rate designated by the user. For example, in FIG. 4, when the user instructs to change the frame rate from the current 60 fps to 15 fps, the target frame rate is 15 fps.
  • step S10 of FIG. 5 the liquid crystal ND filter 103 is controlled to calculate a frame rate range in which the brightness can be kept constant. If the transition to the target frame rate cannot be made at a time, the processing of steps S10 to S16 is repeated, so that the frame is gradually changed within the frame rate range in which the brightness can be maintained constant according to the operation speed of the liquid crystal ND filter 103. Change the rate.
  • FIG. 6 is a flowchart showing the processing in this case.
  • the luminance calculation unit 124 of the system controller acquires the detected detection value and the output value of the AE-related element (shutter speed, gain, aperture value, liquid crystal ND filter).
  • the brightness of the subject is calculated from the transmission 103).
  • the digital signal processing unit 107 can generate a detection value such as automatic exposure (AE) from the image data, and can calculate the brightness of the subject based on the detection value.
  • AE automatic exposure
  • the liquid crystal ND filter 103 is obtained from the operation speed information of the liquid crystal ND filter 103 held in advance and the target transmittance of the liquid crystal ND filter 103 calculated from the brightness of the subject calculated in step S20.
  • the range of the frame rate in which the brightness can be maintained is calculated by interlocking with the transmittance of.
  • the target transmittance of the liquid crystal ND filter 103 calculated from the brightness of the subject is calculated by the transmittance calculating unit 123 based on the brightness of the subject calculated by the luminance calculating unit 124.
  • the frame rate range calculation unit 121 calculates the range of the frame rate that can maintain the brightness.
  • a frame rate transition instruction is output to the frame rate conversion processing unit 122 in order to change the frame rate within the range of the frame rate calculated in step S22.
  • the transmittance calculation unit 123 calculates a transmittance corresponding to the change in the frame rate when the frame rate changes within the range of the frame rate calculated in step S22, and instructs the lens driver to change the transmittance.
  • the lens driver 110 controls the transmittance of the liquid crystal ND filter 103 based on the received transmission transition instruction.
  • next step S26 the current frame rate and the current transmittance of the liquid crystal ND filter 103 are updated.
  • step S28 if the current frame rate matches the target frame rate, the process ends. On the other hand, if the current frame rate does not reach the target, the process returns to step S20, and the process is repeated so as to make a transition within a range where the brightness can be maintained constant. Steps S24 to S28 are the same as steps S12 to S16 in FIG.
  • the transition amount of the transmittance of the liquid crystal ND filter 103 that complements the brightness change due to the change of the frame rate and the transition to the target brightness by AE.
  • the transmittance of the liquid crystal ND filter 103 can be optimally controlled according to the transition of the AE and the transition of the frame rate.
  • FIG. 7 illustrates the processing of FIG. 6 in detail.
  • the transmittance is controlled according to the transition of AE and the brightness is constant according to the change in the frame rate.
  • the case where the control which maintains to is performed simultaneously is represented typically.
  • the maximum change rate of the transmittance of the liquid crystal ND filter 103 within one frame is 1/8.
  • images 901 to 904 show transitions in normal AE that do not involve a change in frame rate.
  • the transmittance is changed from 100% to 20% by AE.
  • the transition of the AE exposure amount is started, and the AE exposure amount transitions across the state of the image 903 (transmittance 80%) so that the transition looks smooth.
  • the state where the transition is completed to the optimum value is shown.
  • Images 911 to 915 have the same AE exposure amount transition as the images 901 to 904 and a frame that maintains the AE exposure amount transition and brightness when the frame rate change (transition) that maintains brightness occurs simultaneously.
  • the case where the rate transition is controlled independently is shown.
  • the transition amount for maintaining the brightness with respect to the change in frame rate A transition of transmittance occurs (added to reduce the transmittance to 1 ⁇ 4).
  • the transition by AE and the transition by the frame rate are combined and the transmittance is shifted to 5%.
  • control is performed as in the images 921 to 925.
  • the transitions of the images 921 to 925 correspond to the processing of FIG. 6, and when the transition due to AE and the frame rate transition maintaining the brightness occur simultaneously, the AE transition and the frame rate transition maintaining the brightness are linked. This shows the case where control is performed.
  • the conditions of the images 921 to 925 are the same as those of the images 911 to 915, but the sum of the request for the change in transmittance of the liquid crystal ND filter 103 due to AE and the request for the change in transmittance due to the change in frame rate is the specification of the liquid crystal ND filter 103 ( Therefore, the frame rate change is temporarily limited in the image 924 so that the brightness does not go too far.
  • This processing corresponds to the processing in steps S22 and S24 in FIG. As described above, if the frame rate is 15 fps in the image 924, the image becomes bright and the brightness cannot be maintained constant. In this example, in step S22 in FIG. 6, the frame rate that can maintain the brightness is 30 fps. Is calculated. Thereby, the frame rate of the image 924 is set to 30 fps.
  • the frame rate is changed to the target 15 fps while maintaining the brightness at the transition from the image 924 to the image 925.
  • the frame rate is switched, the brightness does not go too far to the high luminance side, and natural transition can be realized.
  • the frame rate is changed while maintaining the brightness by using the gain control in the low gain region where the image quality is relatively difficult to affect the image and allowed.
  • a method for enlarging a region where the image can be processed will be described. Brightness can be controlled by multiplying the pixel value by a gain.
  • the influence on the image quality is relatively small, and the image quality can be maintained even if the gain is multiplied. Therefore, in the low gain region, the range of control linked to the frame rate can be expanded by changing the gain in addition to the transition of the transmittance.
  • FIG. 8 is a schematic diagram showing an example of controlling the gain in the low gain region in addition to the transmittance transition by the liquid crystal ND filter 103.
  • the control of the transmittance from the frame rate of 15 fps to 60 fps is the same as in FIG. Compared to FIG. 4, the gain is changed from 0 dB to 6 dB in a low gain region where it is difficult to affect the image with respect to the frame rate transition to the higher speed side than the reference frame rate of 60 fps.
  • the gain control unit 125 of the system controller 120 controls the gain from 0 dB to 6 dB.
  • liquid crystal ND filter 103 by controlling the liquid crystal ND filter 103 so as to interpolate the roughness of the resolution, it is possible to change the frame rate while maintaining the brightness in high speed tracking over a wide range that is difficult with the liquid crystal ND filter 103 alone.
  • FIG. 9 shows an example in which the memory addition number is increased when the frame rate is lowered on the low frame rate side of 1 fps to 8 fps.
  • the image signal is divided (redivided) by the number of sheets added to the memory, only the brightness can be reduced without degrading the image quality.
  • FIG. 10 shows a change in brightness when an attempt is made to suppress the change in brightness by rebating the image according to the number of memory additions in FIG.
  • the horizontal axis indicates the set frame rate [fps]
  • the vertical axis indicates the brightness when the brightness at 60 fps is 1.
  • the amount of change in brightness tends to increase on the low frame rate side, but by performing rebate, it is possible to keep the change in brightness within a predetermined range. Therefore, it is basically possible to keep the brightness constant when the frame rate changes by performing rebate according to the change in the frame rate.
  • FIG. 11 is a schematic diagram illustrating an example in which rebating by memory addition and density change of the liquid crystal ND filter 103 are controlled in conjunction with each other.
  • FIG. 8 also shows an exposure state when the imaging frame rate is continuously changed in an ideal shutter-off state.
  • the brightness is maintained by the liquid crystal ND filter 103 until the timing when the added number is switched.
  • the brightness can be maintained in the entire range by switching the transmittance of the liquid crystal ND filter 103 at the timing when the number of additions is switched and performing addition.
  • the display addition is performed for both 3 fps and 4 fps, the brightness cannot be kept constant according to the change in the frame rate when rebating, but in FIG. Since the transmittance of the liquid crystal ND filter 103 is increased to 50% at 3 fps, it can be brighter at 3 fps.
  • the transmittance of the liquid crystal ND filter 103 is increased by 16%, 19%, 22%, and 25% as the frame rate increases.
  • the brightness can be kept constant according to the change in the frame rate.
  • Rebate by memory addition is performed by the memory addition control unit 126 of the system controller 120.
  • the memory addition control unit 126 changes the number of memory additions as shown in FIG. 9 according to the frame rate, and performs rebate.
  • the transmittance calculator 123 calculates the transmittance of the liquid crystal ND filter 103 as shown in FIG. 11 according to the number of added memories and the frame rate.
  • the transmittance of the liquid crystal ND filter 103 is controlled according to the change in the frame rate, the brightness is kept constant even when the frame rate changes. Is possible.
  • a frame rate control unit that controls a frame rate of imaging
  • a transmittance control unit that controls the transmittance of a filter through which light incident on the imaging element is transmitted so that the brightness of the imaged subject is maintained according to the change in the frame rate
  • a control device comprising: (2) a frame rate range calculation unit that calculates a range in which the frame rate can be changed under the condition that the brightness of the subject image is maintained according to the operation speed of the filter;
  • the control device controls the transmittance stepwise in accordance with a range in which the frame rate can be changed and a target frame rate.
  • a subject brightness acquisition unit that acquires the brightness of the subject is provided.
  • the control device controls the transmittance of the filter according to a luminance of the subject and a change in the frame rate.
  • a frame rate range calculation unit that calculates a range in which the frame rate can be changed under the condition that the brightness of the subject image is maintained according to the operation speed of the filter;
  • the control device according to (4), wherein the transmittance control unit controls the transmittance according to a range in which the frame rate can be changed.
  • a gain control unit that controls a gain by which the pixel value of the subject imaged by the image sensor is multiplied;
  • the control apparatus according to any one of (1) to (5), wherein the gain control unit controls the gain according to a change in the frame rate in the region where the transmittance is high.
  • a memory addition control unit that controls memory addition of the pixel value of the subject imaged by the image sensor, The control device according to claim 1, wherein the transmittance control unit controls the transmittance according to a change in the frame rate and the number of memory additions.
  • An operation input unit for inputting a user operation is provided.
  • the control apparatus according to any one of (1) to (7), wherein the frame rate control unit controls the frame rate in accordance with a user operation input.
  • An operation input unit for inputting a user operation is provided.
  • the said gain control part is a control apparatus as described in said (1) which controls the said gain according to a user's operation input.
  • a control method comprising: (11) an image sensor that captures a subject image for each frame; A filter that is disposed closer to the subject than the image sensor and transmits light incident on the image sensor; A frame rate control unit for controlling the frame rate of imaging; A transmittance control unit that controls the transmittance of the filter so that the brightness of the subject image captured by the image sensor is maintained according to the change in the frame rate;
  • An imaging apparatus comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

　本開示に係る制御装置は、撮像のフレームレートを制御するフレームレート制御部と、前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、を備える。この構成により、フレームレートが変化した場合であって、画質に変化を生じさせることなく、フレームレートの変化に応じて明るさを一定に保つことが可能となる。

Description

制御装置、制御方法及び撮像装置
　本開示は、制御装置、制御方法及び撮像装置に関する。
　従来、下記の特許文献１には、高輝度レベルを予測し、その時間変位を基に高輝度レベル範囲を予測し、その高輝度範囲を減光するマスクパターンを発生させる技術が記載されている。
特開２００２－２０４３９１号公報
　近時では、動画撮影中にフレームレートを変更可能な撮像装置が出現している。動画撮影中にフレームレートを変更すると明るさが変化する。しかしながら、フレームレートの変更に伴ってシャッタ速度を変更して明るさを維持しようとすると、途切れ途切れのいわゆるパラパラとした感じの動画となってしまう。また、フレームレートの変更に伴って絞りを調整して明るさを維持しようとした場合、被写界深度の変化による画質の変化が生じてしまう。更に、フレームレートの変化に応じて画素値にゲインを乗算する方法も考えられるが、信号のダイナミックレンジの減少による画質劣化を招来する。
　そこで、画質に変化を生じさせることなく、フレームレートの変化に応じて明るさを違和感なく調整することが求められていた。
　本開示によれば、撮像のフレームレートを制御するフレームレート制御部と、前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、を備える、制御装置が提供される。
　また、本開示によれば、撮像のフレームレートを制御することと、前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、を備える、制御方法が提供される。
　また、本開示によれば、被写体像をフレーム毎に撮像する撮像素子と、前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、撮像のフレームレートを制御するフレームレート制御部と、前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、を備える、撮像装置が提供される。
　以上説明したように本開示によれば、画質に変化を生じさせることなく、フレームレートの変化に応じて明るさを違和感なく調整することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る撮像装置の構成例を示す模式図である。 Ｓ＆Ｑモードで明るさを維持するために、シャッタスピードを固定して撮像フレームレートを連続的に変更させた時の露光状態を示す模式図である。 図２に対して、動画として理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示す模式図である。 図３と同様に、フレームレートの変化に応じてシャッタオフの状態とし、フレームレートの変化に連動させながら液晶ＮＤフィルタ１０３の濃度を変化させる制御を模式的に示す図である。 本実施形態の撮像装置１００における処理を示すフローチャートである。 ＡＥの遷移スピード、フレームレートの遷移量にスムージングを掛ける処理を示すフローチャートである。 ＡＥの遷移に応じた透過率の制御と、フレームレートの変化に応じて明るさを一定に維持する制御を同時に行った場合を示す模式図である。 液晶ＮＤフィルタ１０３による透過率の遷移に加えて、低ゲイン領域でゲインを制御する例を示す模式図である。 フレームレートが低くなるとメモリ加算数を増加させる例を示す模式図である。 図９のメモリ加算数に応じて画像を割り戻すことで明るさ変化を抑えようとしたときの明るさ変化を表す特性図である。 メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御する例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の前提
　２．本実施形態に係る撮像装置の構成例
　３．ＡＥ（自動露出）による露光量調整との併用
　４．ゲイン制御との併用
　５．メモリでの画像加算との併用
　１．本開示の前提
　例えば、上位機種のカムコーダーでは、Ｓ＆Ｑモードで撮影が可能なものがある。Ｓ＆Ｑモードでは、撮影時のフレームレートを変更して再生が行われる。一例として、フレームレートが１ｆｐｓ～２４０ｆｐｓ程度の範囲で撮影が可能な場合に、再生を６０ｆｐｓのフレームレートで行うことで、６０倍～１／４倍のクイックモーション撮影、またはスローモーション撮影が可能になる。
　フレームレートを変化させて撮影を行った場合、画像の明るさが変化する。例えばフレームレート６０ｆｐｓで最適な露光条件で撮影した場合に、フレームレートが１ｆｐに変化すると、明るさが６０倍に明るくなる。このため、明るさが一定となるように露光量を調整する必要が生じる。
　また、特に上位機種のカムコーダーを使用して撮影するユーザーは、画像の連続性が無くなることを嫌がり、シャッタをオフの状態として撮影を行うことが一般的となっている。ここで、シャッタのオフの状態とは、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１ｆｐｓの時は１ｓｅｃのシャッタスピードで撮影すること意味する。この場合、フレームレートが６０ｆｐｓから１ｆｐへ変化すると明るさが６０倍に明るくなるため、上記のように露光量を調整する必要がある。
　Ｓ＆Ｑモードにおいて、フレームレート変化に対して明るさを一定に維持する方法としては、例えば６０ｆｐｓを基準にして考えると、６０ｆｐｓから１ｆｐｓに向けてのフレームレートの変化では、後述する図２に示すように、シャッタスピードを常に１／６０ｓｅｃ（あるいはそれより高速）にするか、フレームレートに合わせて絞りを閉じて行くといった方法が考えられる。
　しかしながら、シャッタスピードを１／６０ｓｅｃにした場合、１ｆｐｓであれば１／６０ｓｅｃ分が画像に反映され、残りの５９／６０ｓｅｃ分は画像に反映されなくなり、途切れ途切れのいわゆるパラパラとした感じの動画となってしまう。
　また、絞りを閉じてフレームレートの変化に追従させる場合、被写界深度も変化し、また絞りすぎによる小絞りボケも発生するなど画像の質に与える影響が大きくなる。また、フレームレートの変化に応じて画素値にマイナスゲインを乗算する方法も考えられるが、信号のダイナミックレンジの減少による画質劣化を招くため、基本的には使用できない。
　また、撮像光学系にＮＤフィルタを挿入し、複数のＮＤフィルタを切り替えることによってフレームレートに応じて明るさを変化させることも考えられる。しかし、ＮＤフィルタを機械的に撮像光学系に挿入させると、ＮＤフィルタの切り替わりが画像に映ってしまう。また、フレームレートの変更と連動してＮＤフィルタを機械的に切り換えることは困難が伴う。
　以上のように、シャッタオフの状態でフレームレートを変化させたいときに、フレームレートの変化と連動して明るさを保持する有効な手法が求められていた。
　２．本実施形態に係る撮像装置の構成例
　図１は、本開示の一実施形態に係る撮像装置１００の構成例を示す模式図である。図１に示すように、撮像装置１００は、レンズ（撮像光学系）１０１、絞り１０２、液晶ＮＤフィルタ１０３、撮像素子１０４、アナログ信号処理部１０５、Ａ／Ｄ変換部１０６、ディジタル信号処理部１０７、画像表示部１０８、画像保存部１０９、レンズドライバ１１０、タイミングジェネレータ（ＴＧ）１１１、システムコントローラ（マイクロコンピュータ）１２０、操作部１１３、を有して構成されている。
　図１に示す撮像装置１００は、レンズ１０１、絞り１０２、液晶ＮＤフィルタ１０３を通過した光を撮像素子１０４で受光し、アナログ信号処理部１０５で画像値にアナログゲインなどを付加（乗算）し、Ａ／Ｄ変換部１０６でＡ／Ｄ変換を行った後、デジタル信号処理部１０７でデジタル信号処理を行う。デジタル信号処理された信号は画像表示部１０８及び画像保存部１０９へ送られ、画像表示部１０８からは画像が出力され、画像保存部１０９では記録が行われる。また、デジタル信号処理部１０７では、画像データから自動露出（ＡＥ）の補正用などの検波値を作成する。
　また、操作部１１３はユーザの操作を受け付け、ユーザの操作による操作入力をシステムコントローラ１２０へ送る。システムコントローラ１２０は、ユーザ操作に従った制御量の指示を各デバイスに出力する。ユーザの操作による操作入力には、フレームレートを変更する操作、後述する高透過率の領域でゲインを変更するための操作が含まれる。システムコントローラ１２０は、フォーカス位置やズーム位置、絞り値、液晶ＮＤフィルタ１０３の透過率を変更したい場合は、レンズドライバ１１０へ指示を出す。また、システムコントローラ１２０は、電子シャッタの値を変更する場合はタイミングジェネレータ１１１へ指示を出し、アナログゲインを変更する場合はアナログ信号処理部１０５へ指示を出し、デジタル信号処理を変更したい場合はデジタル信号処理部１０７へ指示を出す。
　図２は、Ｓ＆Ｑモードで明るさを維持するために、シャッタスピードを固定して撮像フレームレートを連続的に変更させた時の露光状態を示す模式図である。フレームレートを６０ｆｐｓから１５ｆｐｓへ小さくしていくと、撮像周期の幅が広くなっていく。この時、フレームレートが変化しても明るさを一定にするために、シャッタスピードが固定された露光時間（１／６０ｓｅｃ）以外に、低フレームレートの時に露光されない時間が発生してしまう。具体的には、フレームレートが１５ｆｐｓになると、露光時間（１／６０ｓｅｃ）２００の間は露光が行われるが、１５ｆｐの中の残りの３／６０ｓｅｃの間は露光がされないこととなる。従って、３／６０ｓｅｃの間は撮影されないために、途切れ途切れのパラパラとした離散的な動画となってしまう。
　図３は、図２に対して、動画として理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示す模式図である。上述したように、理想的なシャッタのオフの状態とは、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１ｆｐｓの時は１ｓｅｃのシャッタスピードで撮影することを意味する。図３では、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１５ｆｐｓの時は１／１５ｓｅｃのシャッタスピードで撮影している。
　図２とは異なり、露光されない時間に相当するものが発生しない代わりに、露光時間２００がフレームレートに同調して長くなる。このため、フレームレートが６０ｆｐｓの場合に対して、フレームレートが１５ｆｐｓの場合では明るさが４倍となってしまう。
　そこで、本実施形態では、フレームレートが変化した場合に、フレームレートの変化に応じて明るさを一定に保つように液晶ＮＤフィルタ１０３を制御する。図４は、図３と同様に、フレームレートの変化に応じてシャッタオフの状態とし、フレームレートの変化に連動させながら液晶ＮＤフィルタ１０３の濃度を変化させる制御を模式的に示す図である。図３と比較すると、フレームレートが６０ｆｐｓの場合に対して、フレームレートが１５ｆｐｓの場合ではＮＤフィルタ１０３の透過率を低下させている。具体的には、フレームレートが６０ｆｐｓの場合はＮＤフィルタ１０３の透過率を１００％とし、フレームレートが１５ｆｐｓの場合はＮＤフィルタ１０３の透過率を２５％としている。これにより、フレームレートが変化した場合であっても、明るさを一定に維持しつつ、図２のようなパラパラ感の発生しない動画が撮影可能となる。
　図５は、本実施形態の撮像装置１００における処理を示すフローチャートである。ユーザからのフレームレート切り替え指示が発生した場合、先ず、ステップＳ１０では、予め保持している液晶ＮＤフィルタ１０３の動作スピード情報に基づいて、液晶ＮＤフィルタ１０３の透過率（濃度）を連動させることで、明るさを一定に維持可能なフレームレートの範囲を算出する。明るさを一定に維持可能なフレームレートの範囲は、システムコントローラ１２０のフレームレート範囲算出部１２１が行う。次のステップＳ１２では、ステップＳ１０で算出したフレームレートの範囲内でフレームレートを変化させるため、フレームレートの遷移指示をフレームレート変換処理部１２２へ出力する。フレームレート変換処理部１２２は、撮像のフレームレートを変換する処理を行う。また、透過率算出部１２３は、ステップＳ１０で算出したフレームレートの範囲内でフレームレートが変化した際に、フレームレートの変化に対応する透過率を算出し、透過率の遷移の指示をレンズドライバ１１０へ出力する。レンズドライバ１１０は、受け取った透過率の遷移の指示に基づいて液晶ＮＤフィルタ１０３の透過率を制御する。
　次のステップＳ１４では、現在のフレームレートと現在の液晶ＮＤフィルタ１０３の透過率を更新する。次のステップＳ１６では、現在のフレームレートが目標フレームレートに一致していれば処理を終了する。一方、現在のフレームレートが目標に未達の場合は、ステップＳ１０へ戻り、再び明るさを一定に維持可能な範囲内の遷移を行うように処理を繰り返す。
　目標フレームレートは、ユーザが指示したフレームレートに相当する。例えば、図
４において、フレームレートを現状の６０ｆｐｓから１５ｆｐｓへ変化させるようにユーザが指示した場合、目標フレームレートが１５ｆｐｓである。
　このような場合に、液晶ＮＤフィルタ１０３は、その動作スピード（応答性）に応じて、目標フレームレートに対応する透過率（図４の場合２５％）へ瞬時に遷移できないことも考えられる。このような場合、図５のステップＳ１０では、液晶ＮＤフィルタ１０３を制御して明るさを一定に維持可能なフレームレートの範囲を算出する。そして、一度に目標フレームレートに遷移できない場合は、ステップＳ１０～Ｓ１６の処理を繰り返すことで、液晶ＮＤフィルタ１０３の動作スピードに応じて明るさを一定に維持可能なフレームレートの範囲で小刻みにフレームレートを変化させる。
　３．ＡＥ（自動露出）による露光量調整との併用
　次に、液晶ＮＤフィルタ１０３の透過率を制御してＡＥ（自動露出）をする場合に、フレームレートの変更による明るさ変化を補完する透過率の遷移量と、ＡＥで目標とする明るさへ遷移するために必要な透過率の遷移量の両方に鑑みて、ＡＥの遷移スピード、フレームレートの遷移量にスムージングを掛ける手法について説明する。図６は、この場合の処理を示すフローチャートである。
　ユーザからのフレームレート切り替え指示が発生した場合、先ずステップＳ２０では、システムコントローラの輝度算出部１２４は、取得した検波値とＡＥ関連の素子の出力値（シャッタスピード、ゲイン、絞り値、液晶ＮＤフィルタ１０３の透過率）から被写体の明るさを算出する。上述したように、デジタル信号処理部１０７では、画像データから自動露出（ＡＥ）などの検波値を生成することができ、これに基づいて被写体の明るさを算出することができる。
　次のステップＳ２２では、予め保持している液晶ＮＤフィルタ１０３の動作スピード情報と、ステップＳ２０で算出した被写体の明るさから算出される液晶ＮＤフィルタ１０３の目標の透過率とから、液晶ＮＤフィルタ１０３の透過率を連動させることで明るさを維持できるフレームレートの範囲を算出する。被写体の明るさから算出される液晶ＮＤフィルタ１０３の目標の透過率は、輝度算出部１２４が算出した被写体の明るさに基づいて、透過率算出部１２３が算出する。また、明るさを維持できるフレームレートの範囲は、フレームレート範囲算出部１２１が算出する。
　次のステップＳ２４では、ステップＳ２２で算出したフレームレートの範囲内でフレームレートを変化させるため、フレームレートの遷移指示をフレームレート変換処理部１２２へ出力する。また、透過率算出部１２３は、ステップＳ２２で算出したフレームレートの範囲内でフレームレートが変化した際に、フレームレートの変化に対応する透過率を算出し、透過率の遷移の指示をレンズドライバ１１０へ出力する。レンズドライバ１１０は、受け取った透過率の遷移の指示に基づいて液晶ＮＤフィルタ１０３の透過率を制御する。
　次のステップＳ２６では、現在のフレームレートと現在の液晶ＮＤフィルタ１０３の透過率を更新する。次のステップＳ２８では、現在のフレームレートが目標フレームレートに一致していれば処理を終了する。一方、現在のフレームレートが目標に未達の場合は、ステップＳ２０へ戻り、再び明るさを一定に維持可能な範囲内の遷移を行うように処理を繰り返す。なお、ステップＳ２４～Ｓ２８は、図５のステップＳ１２～Ｓ１６と同様である。
　以上のように、図６の処理によれば、フレームレートの変更による明るさ変化を補完する液晶ＮＤフィルタ１０３の透過率の遷移量と、ＡＥで目標とする明るさへ遷移するために必要な透過率の遷移量の双方を考慮して、ＡＥの遷移と、フレームレートの遷移に応じて液晶ＮＤフィルタ１０３の透過率を最適に制御することが可能となる。
　図７は、図６の処理を詳細に説明するため、液晶ＮＤフィルタ１０３のみでＡＥを行う場合に、ＡＥの遷移に応じた透過率の制御と、フレームレートの変化に応じて明るさを一定に維持する制御を同時に行った場合を模式的に表している。一例として、１フレーム内での液晶ＮＤフィルタ１０３の透過率の最大変化率（液晶ＮＤフィルタ１０３の最大の動作スピード）が１／８であるものとする。
　図７において、画像９０１～９０４は、フレームレート変化を伴わない通常のＡＥでの遷移を示している。図７に示すように、フレームレートが６０ｆｐｓで一定の場合に、ＡＥにより透過率が１００％から２０％まで変化するものとする。ここでは、画像９０２で画角が変化したためＡＥ露光量の遷移が開始され、遷移が滑らかに見えるように画像９０３の状態（透過率８０％）を挟んでＡＥ露光量が遷移し、画像９０４で最適な値（透過率２０％）に遷移が完了した状態を表している。
　画像９１１～９１５は、画像９０１～９０４と同様のＡＥ露光量の遷移と、明るさを維持したフレームレート変化（遷移）が同時に発生したときに、ＡＥ露光量の遷移と明るさを維持したフレームレート遷移を独立して制御した場合を表している。画像９１４でフレームレートの変化（６０ｆｐｓ→１５ｆｐｓ）が指示されると、ＡＥとして遷移したい透過率８０％から透過率２０％への遷移に加えて、フレームレートの変化に対する明るさ維持分の遷移量（透過率を１／４に減らす）を加えた透過率の遷移が発生する。つまり、ＡＥによる遷移とフレームレートによる遷移を合わせて、透過率を５％まで遷移させることになる。この場合、液晶ＮＤフィルタ１０３の１フレームでの透過率の最大遷移量（＝１／８）を超える透過率の遷移量（＝１／１６）の変化が生じるため、画像９１４では透過率を１０％まで下げ、次のフレームの画像９１５で透過率を５％に下げる制御を行う。この場合、画像９１４では一時的に目標とする明るさよりも明るくなってしまい、画像の見栄えが低下する。
　このため、本実施形態では、画像９２１～９２５のように制御を行う。画像９２１～９２５の遷移は図６の処理に対応しており、ＡＥによる遷移と、明るさを維持したフレームレート遷移が同時に発生したときに、ＡＥ遷移と明るさを維持したフレームレート遷移を連動して制御した場合を示している。
　画像９２１～９２５の条件は画像９１１～９１５と共通であるが、ＡＥによる液晶ＮＤフィルタ１０３の透過率変化の要求と、フレームレート変化による透過率変化の要求の合算が液晶ＮＤフィルタ１０３のスペック（動作スピード）を超えてしまうため、画像９２４でフレームレート変化に一旦制限を掛け、明るさが行き過ぎないようにする。この処理は、図６のステップＳ２２，Ｓ２４の処理に対応する。上述したように画像９２４でフレームレートを１５ｆｐｓとすると、画像が明るくなり明るさを一定に維持することができないため、この例では、図６のステップＳ２２において、明るさを維持できるフレームレートとして３０ｆｐｓが算出される。これにより、画像９２４のフレームレートが３０ｆｐｓとされる。
　その後、目標に対して残りのフレームレート変化と透過率の変化を行うことで、画像９２４から画像９２５の遷移で明るさを維持しながらフレームレートを目標の１５ｆｐｓに変化させる。これにより、フレームレートを切り換えた際に明るさが高輝度側に行き過ぎてしまうことがなく、自然な遷移を実現することが可能となる。
　次に、液晶ＮＤフィルタ１０３による透過率の遷移に加えて、比較的画像に影響を与えにくく画質が許容できる低ゲイン領域でのゲイン制御を合わせて使用し、明るさを維持したままフレームレート変化が可能な領域を拡大する手法について説明する。画素値にゲインを乗算することで明るさを制御することができる。ここで、低ゲイン領域では、画質に対する影響が比較的少なく、ゲインを乗算しても画質を維持できる。このため、低ゲイン領域では、透過率の遷移に加えてゲインを変化させることで、フレームレートに連動した制御の範囲を拡大することができる。具体的には、液晶ＮＤフィルタ１０３による透過率の遷移とゲイン変化を併用することで、より速いフレームレートの変化に対応することが可能となる。但し、マイナス側へのゲインの変化は画質の劣化が比較的大きいため、プラス側でゲインを制御し、且つ低ゲイン領域で制御することが望ましい。
　４．ゲイン制御との併用
　図８は、液晶ＮＤフィルタ１０３による透過率の遷移に加えて、低ゲイン領域でゲインを制御する例を示す模式図である。フレームレート１５ｆｐｓ～６０ｆｐｓまでの透過率の制御は、図４と同様である。図４と比較すると、基準としていたフレームレート６０ｆｐｓよりも高速側へのフレームレートの遷移に対して、画像に影響が出にくい低ゲイン領域でゲインを０ｄＢから６ｄＢまで変化させている。具体的には、フレームレートが６０ｆｐｓから１２０ｆｐｓまで遷移すると、システムコントローラ１２０のゲイン制御部１２５がゲインを０ｄＢから６ｄＢへ制御する。これにより、フレームレートを１２０ｆｐｓまで変化させても明るさを一定に維持することができ、明るさを維持できるフレームレートの領域を拡大することができる。
　５．メモリでの画像加算との併用
　次に、メモリでの画像加算と併用した例について説明する。メモリでの画像加算と併用してＳ＆Ｑモードの撮影を実現している場合、加算枚数を割り戻すことで画質の劣化なく画像を暗くすることが可能である。しかしながら、加算枚数の割り戻しでは、分解能が粗くなる欠点がある。
　ここでは、その分解能の粗さを補間するように液晶ＮＤフィルタ１０３を制御することで、液晶ＮＤフィルタ１０３のみでは困難な広範囲で、高速追従での明るさを維持したフレームレート変化を可能とする。
　以下、具体的に説明する。図９に示すように、メモリでの画像加算を用いる場合は、Ｓ＆Ｑモードの低フレームレート側では、画像のメモリ加算を併用してフレームレートを実現する方法がとられる場合がある。図９では、１ｆｐｓ～８ｆｐｓの低フレームレート側において、フレームレートが低くなるとメモリ加算数を増加させる例を示している。この場合、メモリ加算されている枚数分だけ画像信号を除算する（割り戻す）と、画質を劣化させることなく明るさだけを減少させることができる。
　また、図１０は、図９のメモリ加算数に応じて画像を割り戻すことで明るさ変化を抑えようとしたときの明るさ変化を表している。図１０において、横軸は設定されたフレームレート［ｆｐｓ］を、縦軸は６０ｆｐｓの明るさを１とした場合の明るさを示している。グラフ１に示すように、低フレームレート側では明るさの変化量が大きくなる傾向にあるが、割り戻しを行うことで明るさの変化を所定の範囲に収めることが可能となる。従って、フレームレートの変化に応じて割り戻しを行うことで、フレームレートが変化した際に明るさを一定に保つことが基本的には可能である。
　ここでは、メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御を行う。図１１は、メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御する例を示す模式図である。図８においても、理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示している。
　また、図８に示す例では、図９と同様に、１ｆｐｓでは８枚のメモリ加算を、２ｆｐｓでは４枚のメモリ加算を、３ｆｐｓ，４ｆｐｓでは２枚のメモリ加算を、５～８ｆｐｓでは１枚のメモリ加算を行っている。従って、メモリ加算枚数を割り戻すことで、低フレームレートでの明るさを減少させることができる。
　一方、図９に示すように、フレームレートが３ｆｐｓ、４ｆｐｓの場合は、いずれもメモリ加算枚数が２枚であるため、フレームレートが３ｆｐｓと４ｆｐｓで同様に割り戻しを行うと、明るさを厳密に一定に維持することはできない。同様に、フレームレートが５ｆｐｓ～８ｆｐｓの場合は、いずれもメモリ加算枚数が１枚であるため、フレームレートが５ｆｐｓ～８ｆｐｓのそれぞれで同様に割り戻しを行うと、明るさを厳密に一定に維持することはできない。
　このため、図１１に示すように、フレームレートが増加した際に、加算枚数が切り替わるタイミングまでは液晶ＮＤフィルタ１０３で明るさの維持を行う。そして、加算枚数が切り換わるタイミングで液晶ＮＤフィルタ１０３の透過率を切り換えて加算を行うことで、全ての範囲で明るさの維持が可能となる。例えば、図９の例では、３ｆｐｓと４ｆｐｓではいずれも２枚のメモリ加算を行うため、割り戻した際にフレームレートの変化に応じて明るさを一定に保つことができないが、図１１では，３ｆｐｓの時に液晶ＮＤフィルタ１０３の透過率を５０％に上げているため、３ｆｐｓの時により明るくすることができる。従って、同じ２枚のメモリ加算をした場合に、液晶ＮＤフィルタ１０３の透過率が５０％の場合のフレームレート３ｆｐｓと液晶ＮＤフィルタ１０３の透過率が２５％の場合のフレームレート４ｆｐｓとで明るさを一定に保つことが可能となる。
　同様に、フレームレート５ｆｐｓ，６ｆｐｓ，７ｆｐｓ，８ｆｐｓで１枚のメモリ加算を行った場合に、液晶ＮＤフィルタ１０３の透過率をフレームレートの増加に応じて１６％，１９％，２２％，２５％と段階的に変化させることで、フレームレートの変化に応じて明るさを一定に保つことが可能となる。
　メモリ加算による割り戻しは、システムコントローラ１２０のメモリ加算制御部１２６によって行われる。メモリ加算制御部１２６は、フレームレートに応じてメモリ加算枚数を図９のように変化させ、割り戻しを行う。透過率算出部１２３は、メモリ加算枚数とフレームレートに応じて、図１１に示したように液晶ＮＤフィルタ１０３の透過率を算出する。
　以上説明したように本実施形態によれば、フレームレートの変化に応じて液晶ＮＤフィルタ１０３の透過率を制御するようにしたため、フレームレートが変化した場合であっても明るさを一定に保つことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　撮像のフレームレートを制御するフレームレート制御部と、
　前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、
　を備える、制御装置。
（２）　前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
　前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、前記（１）に記載の制御装置。
（３）　前記透過率制御部は、前記フレームレートを遷移可能な範囲と目標のフレームレートとに応じて、前記透過率を段階的に制御する、前記（２）に記載の制御装置。
（４）　被写体の輝度を取得する被写体輝度取得部を備え、
　前記透過率制御部は、前記被写体の輝度と前記フレームレートの変化とに応じて、前記フィルタの透過率を制御する、前記（１）～（３）のいずれかに記載の制御装置。
（５）　前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
　前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、前記（４）に記載の制御装置。
（６）　前記撮像素子が撮像した被写体の画素値に乗算するゲインを制御するゲイン制御部を備え、
　前記ゲイン制御部は、前記透過率が高い領域では、前記フレームレートの変化に応じて前記ゲインを制御する、前記（１）～（５）のいずれかに記載の制御装置。
（７）　前記撮像素子が撮像した被写体の画素値のメモリ加算を制御するメモリ加算制御部を備え、
　前記透過率制御部は、前記フレームレートの変化と前記メモリ加算の枚数とに応じて前記透過率を制御する、請求項１に記載の制御装置。
（８）　ユーザの操作が入力される操作入力部を備え、
　前記フレームレート制御部は、ユーザの操作入力に応じて前記フレームレートを制御する、前記（１）～（７）のいずれかに記載の制御装置。
（９）　ユーザの操作が入力される操作入力部を備え、
　前記ゲイン制御部は、ユーザの操作入力に応じて前記ゲインを制御する、前記（１）に記載の制御装置。
（１０）　撮像のフレームレートを制御することと、
　前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、
　を備える、制御方法。
（１１）　被写体像をフレーム毎に撮像する撮像素子と、
　前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、
　撮像のフレームレートを制御するフレームレート制御部と、
　前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、
　を備える、撮像装置。
　１００　　撮像装置
　１０３　　液晶ＮＤフィルタ
　１０４　　撮像素子
　１２２　　フレームレート変換処理部
　１２３　　透過率算出部

Claims (11)

  1. 　撮像のフレームレートを制御するフレームレート制御部と、
    　前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、
    　を備える、制御装置。
  2. 　前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
    　前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、請求項１に記載の制御装置。
  3. 　前記透過率制御部は、前記フレームレートを遷移可能な範囲と目標のフレームレートとに応じて、前記透過率を段階的に制御する、請求項２に記載の制御装置。
  4. 　被写体の輝度を取得する被写体輝度取得部を備え、
    　前記透過率制御部は、前記被写体の輝度と前記フレームレートの変化とに応じて、前記フィルタの透過率を制御する、請求項１に記載の制御装置。
  5. 　前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
    　前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、請求項４に記載の制御装置。
  6. 　前記撮像素子が撮像した被写体の画素値に乗算するゲインを制御するゲイン制御部を備え、
    　前記ゲイン制御部は、前記透過率が高い領域では、前記フレームレートの変化に応じて前記ゲインを制御する、請求項１に記載の制御装置。
  7. 　前記撮像素子が撮像した被写体の画素値のメモリ加算を制御するメモリ加算制御部を備え、
    　前記透過率制御部は、前記フレームレートの変化と前記メモリ加算の枚数とに応じて前記透過率を制御する、請求項１に記載の制御装置。
  8. 　ユーザの操作が入力される操作入力部を備え、
    　前記フレームレート制御部は、ユーザの操作入力に応じて前記フレームレートを制御する、請求項１に記載の制御装置。
  9. 　ユーザの操作が入力される操作入力部を備え、
    　前記ゲイン制御部は、ユーザの操作入力に応じて前記ゲインを制御する、請求項６に記載の制御装置。
  10. 　撮像のフレームレートを制御することと、
    　前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、
    　を備える、制御方法。
  11. 　被写体像をフレーム毎に撮像する撮像素子と、
    　前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、
    　撮像のフレームレートを制御するフレームレート制御部と、
    　前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、
    　を備える、撮像装置。
PCT/JP2015/058034 2014-03-31 2015-03-18 制御装置、制御方法及び撮像装置 WO2015151813A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016511524A JP6558362B2 (ja) 2014-03-31 2015-03-18 制御装置、制御方法及び撮像装置
EP15773607.5A EP3128741B1 (en) 2014-03-31 2015-03-18 Control device, control method, and imaging device
US15/128,182 US10033936B2 (en) 2014-03-31 2015-03-18 Control apparatus, control method, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-071969 2014-03-31
JP2014071969 2014-03-31

Publications (1)

Publication Number Publication Date
WO2015151813A1 true WO2015151813A1 (ja) 2015-10-08

Family

ID=54240144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058034 WO2015151813A1 (ja) 2014-03-31 2015-03-18 制御装置、制御方法及び撮像装置

Country Status (4)

Country Link
US (1) US10033936B2 (ja)
EP (1) EP3128741B1 (ja)
JP (1) JP6558362B2 (ja)
WO (1) WO2015151813A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020067486A (ja) * 2018-10-22 2020-04-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2021193403A1 (ja) * 2020-03-25 2021-09-30 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128380A (ja) * 2018-01-22 2019-08-01 キヤノン株式会社 撮像装置及びその制御方法
US10750099B2 (en) * 2018-10-17 2020-08-18 Primesensor Technology Inc. Image sensing method and image sensing system
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
WO2021157950A1 (ko) * 2020-02-06 2021-08-12 삼성전자 주식회사 디스플레이 구동 방법 및 이를 지원하는 전자 장치
US20220413366A1 (en) * 2021-03-02 2022-12-29 Bulletproof Property Management, Llc Camera with shutter release control of frame rate

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324648A (ja) * 2002-04-30 2003-11-14 Olympus Optical Co Ltd カメラ
JP2007336599A (ja) * 2007-08-27 2007-12-27 Sony Corp 撮像装置
WO2009013907A1 (ja) * 2007-07-26 2009-01-29 Panasonic Corporation 撮影装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204391A (ja) 2000-10-23 2002-07-19 Hitachi Kokusai Electric Inc 透過光量制御方法およびその方法を用いたテレビジョンカメラ装置
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP5704957B2 (ja) * 2011-02-22 2015-04-22 キヤノン株式会社 動画撮影装置及びその制御方法
US8610818B2 (en) * 2012-01-18 2013-12-17 Cisco Technology, Inc. Systems and methods for improving video stutter in high resolution progressive video
KR102010628B1 (ko) * 2013-04-05 2019-08-13 레드.컴, 엘엘씨 카메라용 광학 필터링

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324648A (ja) * 2002-04-30 2003-11-14 Olympus Optical Co Ltd カメラ
WO2009013907A1 (ja) * 2007-07-26 2009-01-29 Panasonic Corporation 撮影装置
JP2007336599A (ja) * 2007-08-27 2007-12-27 Sony Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3128741A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020067486A (ja) * 2018-10-22 2020-04-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2021193403A1 (ja) * 2020-03-25 2021-09-30 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JPWO2021193403A1 (ja) * 2020-03-25 2021-09-30
CN115336251A (zh) * 2020-03-25 2022-11-11 富士胶片株式会社 摄像装置、摄像方法及摄像程序
US11805320B2 (en) 2020-03-25 2023-10-31 Fujifilm Corporation Imaging device, imaging method, and imaging program
JP7407909B2 (ja) 2020-03-25 2024-01-04 富士フイルム株式会社 撮像装置、撮像方法、撮像プログラム、及び記録媒体
CN115336251B (zh) * 2020-03-25 2024-05-03 富士胶片株式会社 摄像装置、摄像方法及记录介质

Also Published As

Publication number Publication date
EP3128741B1 (en) 2020-12-09
US10033936B2 (en) 2018-07-24
EP3128741A1 (en) 2017-02-08
JP6558362B2 (ja) 2019-08-14
US20170104909A1 (en) 2017-04-13
JPWO2015151813A1 (ja) 2017-04-13
EP3128741A4 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
JP6558362B2 (ja) 制御装置、制御方法及び撮像装置
JP6680377B2 (ja) 撮像装置、撮像方法及びプログラム
JP7071099B2 (ja) 撮像装置
JP2011119846A (ja) 撮像装置、撮像方法、およびプログラム
JP2008035167A (ja) 撮像装置
JP2011100010A (ja) 撮像装置
JP2006128781A (ja) 撮影装置
JP5910852B2 (ja) 動作制御装置および動作制御方法、撮像装置、並びにプログラム
JP2008209577A (ja) カメラ
JP2020109924A (ja) 画像処理装置および画像処理方法
JP4958635B2 (ja) 撮像装置及びその制御方法
JP5948997B2 (ja) 撮像装置及び撮像方法
JP2007110636A (ja) カメラ装置
JP5780885B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5003348B2 (ja) 電子カメラ
JP6090565B2 (ja) 撮像装置、撮像方法及びプログラム
JP2017224940A (ja) 画像処理方法および画像処理装置
JP5595167B2 (ja) 撮像装置及びその制御方法
JP2009201062A (ja) 撮像装置及び撮像方法
US9521355B2 (en) Image processing apparatus, image processing method and program thereof
JP2011239187A (ja) 撮像装置
JP6708490B2 (ja) 画像処理方法および画像処理装置
JP2010226314A (ja) 動画処理装置、動画処理方法及び動画処理プログラム
JP2018014680A (ja) 撮像装置、制御方法及びプログラム
KR102089981B1 (ko) 영상처리장치, 영상처리방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15773607

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016511524

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015773607

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15128182

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE