WO2019054017A1 - 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム - Google Patents

撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム Download PDF

Info

Publication number
WO2019054017A1
WO2019054017A1 PCT/JP2018/025124 JP2018025124W WO2019054017A1 WO 2019054017 A1 WO2019054017 A1 WO 2019054017A1 JP 2018025124 W JP2018025124 W JP 2018025124W WO 2019054017 A1 WO2019054017 A1 WO 2019054017A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
aperture
value
exposure
time
Prior art date
Application number
PCT/JP2018/025124
Other languages
English (en)
French (fr)
Inventor
長谷川　亮
小林　潤
小林　誠
仁史 桜武
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019541913A priority Critical patent/JP6778828B2/ja
Priority to CN201880059501.3A priority patent/CN111095910B/zh
Publication of WO2019054017A1 publication Critical patent/WO2019054017A1/ja
Priority to US16/813,755 priority patent/US10863110B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Definitions

  • the present invention relates to an imaging control apparatus, an imaging apparatus, an imaging control method, and an imaging control program.
  • An apodization filter is known as an optical filter for improving an out-of-focus image, a so-called blurred image.
  • the APD filter is an optical filter in which the light transmittance in the plane perpendicular to the optical axis decreases as the distance from the optical axis center increases. With this APD filter, it is possible to make the outline of the blurred image smooth. .
  • a lens device equipped with an APD filter is expensive.
  • AF Auto Focus
  • Patent Document 1 proposals have been made to obtain the APD effect without using an APD filter (see Patent Document 1 and Patent Document 2).
  • Patent Document 1 and Patent Document 2 describe that an APD effect is obtained by changing an aperture value during exposure of an imaging device.
  • Patent Document 3 describes a technique for changing the aperture value during exposure of the imaging device.
  • Patent Literatures 4 and 5 disclose techniques for performing imaging a plurality of times while changing the aperture value, and combining the captured images obtained by each imaging. .
  • JP, 2015-049298 A Japanese Patent Application Laid-Open No. 10-333221 JP, 2016-173444, A JP, 2015-204470, A JP 2011-114441 A
  • the imaging devices described in Patent Document 1 and Patent Document 3 control the exposure time of the imaging element by a focal plane shutter.
  • the focal plane shutter is a mechanism that moves the slit between the front and rear curtains to expose the imaging device. For this reason, the start timing of exposure can not be made uniform over the entire imaging surface of the imaging device.
  • FIG. 11 is a view exemplifying the exposure state of the imaging surface of the imaging element when imaging is performed using a focal plane shutter and the aperture is changed during exposure.
  • FIG. 11 shows an example in which the aperture changes from F1.4 to F2.5 during the exposure period of the imaging device (period in which the slit of the focal plane shutter moves from the upper end to the lower end of the imaging surface).
  • a lens shutter having the same configuration as the diaphragm is also used as a diaphragm, and while the film shutter is exposed by opening the lens shutter, the aperture of the lens shutter is changed. To obtain the APD effect.
  • Patent Documents 4 and 5 do not assume changing the aperture during one exposure and obtaining an APD effect, and do not recognize the above-described problem.
  • the present invention has been made in view of the above circumstances, and provides an imaging control apparatus, an imaging apparatus, an imaging control method, and an imaging control program capable of obtaining an optimal APD effect without using an APD filter. To aim.
  • An imaging control apparatus is an imaging control apparatus incorporated in an imaging apparatus including an imaging element including an imaging surface in which a plurality of pixels are arranged in a two-dimensional shape and an aperture is disposed in front of the imaging surface.
  • an imaging control unit that simultaneously terminates the exposure of the pixel; and an aperture control unit that sequentially changes the aperture value of the aperture to a plurality of values during a period from the start of the exposure to the end of the exposure;
  • the aperture controller controls the aperture value to be maintained at each of the plurality of values, and the transmittance of the optical filter decreases as the distance from the center of the optical axis increases. Relationship with And it controls the time based on the function shown.
  • An imaging device includes the imaging control device and the imaging device.
  • the imaging control method of the present invention is an imaging control method of an imaging apparatus including an imaging element including an imaging surface in which a plurality of pixels are arranged in a two-dimensional shape and an aperture is disposed in front of the imaging surface.
  • an imaging element including an imaging surface in which a plurality of pixels are arranged in a two-dimensional shape and an aperture is disposed in front of the imaging surface.
  • exposure of the pixel is simultaneously started over the entire imaging surface by controlling the imaging element drive unit that drives the imaging element, and
  • the aperture control step the time for which the aperture value is maintained at each of the plurality of values, the distance between the optical filter and the transmission for which the light transmittance decreases as the distance from the optical axis center increases And it controls the time based on a function indicating a relationship between.
  • An imaging control program includes an imaging surface in which a plurality of pixels are two-dimensionally arranged, and a processor of an imaging apparatus having an imaging element in which a diaphragm is disposed in front of the imaging surface After the exposure of the pixel is simultaneously started over the entire imaging surface by controlling the imaging element drive unit that drives the imaging element in a state in which light from the light source is incident, the exposure of the pixel is simultaneously performed.
  • Imaging control for performing an imaging control step of ending and an aperture control step of sequentially changing the aperture value of the aperture to a plurality of values in a period from the start of the exposure to the end of the exposure It is a program, and in the aperture control step, the time for which the aperture value is maintained at each of the plurality of values, the light transmittance decreases as the distance from the center of the optical axis increases. That is to control the time based on a function indicating a relationship between the distance and the transmittance of the optical filter.
  • an imaging control apparatus an imaging apparatus, an imaging control method, and an imaging control program capable of obtaining an optimal APD effect without using an APD filter.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera 100 which is an embodiment of an imaging device of the present invention. It is a plane schematic diagram which shows schematic structure of the image pick-up element 5 shown in FIG. It is a plane schematic diagram which shows schematic structure of the pixel 61 of the image pick-up element 5 shown in FIG.
  • FIG. 4 is a schematic cross-sectional view of the pixel 61 shown in FIG. 3 along the line AA.
  • FIG. 2 is a functional block diagram of a system control unit 11 in the digital camera 100 shown in FIG. It is a figure which shows an example of the variable control of F value of the aperture stop 2 based on aperture control data. It is a figure which shows an example of the light transmittance characteristic of an APD filter.
  • FIG. 200 It is a schematic diagram for demonstrating the calculation method of the maintenance time for every F value.
  • the external appearance of the smart phone 200 which is one Embodiment of the imaging device of this invention is shown. It is a block diagram which shows the structure of the smart phone 200 shown in FIG. It is a figure which illustrates the exposure state of the imaging surface of the image pick-up element in the case of imaging using a focal plane shutter and changing an aperture during exposure.
  • FIG. 1 is a view showing a schematic configuration of a digital camera 100 which is an embodiment of an imaging device of the present invention.
  • a digital camera 100 shown in FIG. 1 includes a lens device 40 having an imaging lens 1, an aperture 2, a lens control unit 4, a lens drive unit 8, and an aperture drive unit 9.
  • the lens device 40 may be detachable from the digital camera 100 main body, or may be integrated with the digital camera 100 main body.
  • the imaging lens 1 includes a focus lens or a zoom lens that is movable in the optical axis direction.
  • the lens control unit 4 of the lens device 40 is configured to be communicable with the system control unit 11 of the digital camera 100 by wire or wireless.
  • the lens control unit 4 changes the position of the principal point of the focus lens by controlling the focus lens included in the imaging lens 1 through the lens drive unit 8 according to the command from the system control unit 11, or driving the lens
  • the zoom lens included in the imaging lens 1 is controlled via the unit 8 to change the position (focal length) of the zoom lens, or the aperture value of the aperture stop 2 via the aperture drive unit 9 (hereinafter referred to as F value) Control the
  • the digital camera 100 further includes a MOS type imaging device 5 that captures an object through an imaging optical system including the imaging lens 1 and the aperture 2.
  • the imaging device 5 has an imaging surface in which a plurality of pixels are two-dimensionally arranged, and converts an object image formed on the imaging surface by the imaging optical system into a pixel signal by the plurality of pixels and outputs it. .
  • a set of pixel signals output from each pixel of the imaging device 5 is referred to as a captured image signal.
  • the imaging device 5 captures an object through an imaging optical system in a state where no mechanical shutter such as a focal plane shutter or a lens shutter separate from the aperture stop 2 is disposed in front of the imaging surface. That is, the digital camera 100 is a so-called mechanical shutter-less camera.
  • the system control unit 11 which controls the entire electric control system of the digital camera 100, drives the imaging device 5 through the imaging device driving unit 10, and an object image captured through the imaging optical system of the lens device 40 is used as a captured image signal. Make it output.
  • the imaging device drive unit 10 generates a drive signal based on an instruction from the system control unit 11 and supplies the drive signal to the imaging device 5 to drive the imaging device 5.
  • the image pickup device driving unit 10 is an electric circuit configured by combining circuit elements such as semiconductor elements in a hardware configuration.
  • the operation unit 14 includes a touch panel integrated with a display surface 23 described later, various buttons, and the like.
  • the system control unit 11 integrally controls the entire digital camera 100, and the hardware structure is various processors that execute programs including an imaging control program to perform processing.
  • the various processors include a CPU (central processing unit) that is a general-purpose processor that executes programs and performs various processes, and a programmable logic that is a processor that can change the circuit configuration after manufacturing a field programmable gate array (FPGA) or the like.
  • the processor includes a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed to execute specific processing such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the system control unit 11 may be configured with one of various processors, or configured with a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA) It may be done.
  • the electric control system of the digital camera 100 includes a memory 16 including a random access memory (RAM) and a read only memory (ROM), and a memory control for storing data in the memory 16 and reading data from the memory 16.
  • a digital signal processing unit 17 which performs digital signal processing on a captured image signal output from the imaging device 5 and generates captured image data according to various formats such as JPEG (Joint Photographic Experts Group) format, for example.
  • an external memory control unit 20 that controls data storage to the storage medium 21 and data readout from the storage medium 21, and an organic EL (electroluminescence) panel or a liquid crystal panel.
  • a display surface 23 that is, a display controller 22 for controlling the display of the display surface 23.
  • the ROM included in the memory 16 stores a program including an imaging control program that the system control unit 11 executes.
  • the storage medium 21 is a semiconductor memory such as a flash memory incorporated in the digital camera 100 or a portable semiconductor memory removable from the digital camera 100.
  • the memory control unit 15, the digital signal processing unit 17, the external memory control unit 20, and the display controller 22 are mutually connected by the control bus 24 and the data bus 25, and are controlled by commands from the system control unit 11.
  • the digital signal processing unit 17 has various hardware structures, such as the various processors exemplified above that execute programs and perform processing.
  • the display controller 22 includes the various processors exemplified above that execute programs and perform processing, and a display memory for holding data of an image to be displayed on the display surface 23.
  • FIG. 2 is a schematic plan view showing a schematic configuration of the imaging device 5 shown in FIG.
  • the imaging element 5 is an imaging device in which a plurality of pixel rows 62 composed of a plurality of pixels 61 arranged in the row direction L, which is the first direction, are arranged in the column direction Y, which is the second direction orthogonal to the row direction L
  • an end on one end side (upper side in the drawing) of the imaging surface 60 in the column direction Y in FIG. 2 is referred to as an upper end, and an end on the other end side (lower side in the drawing) of the imaging surface 60 The part is called the lower end.
  • FIG. 3 is a schematic plan view showing a schematic configuration of the pixel 61 of the imaging device 5 shown in FIG.
  • the pixel 61 includes a photoelectric conversion element 61A, a charge holding unit 61B, a charge transfer unit 61C, a floating diffusion 61D, and a reading circuit 61E formed on a semiconductor substrate.
  • the photoelectric conversion element 61A receives the light passing through the imaging optical system of the lens device 40, and generates and accumulates a charge according to the amount of light received.
  • the photoelectric conversion element 61A is configured of, for example, a silicon photodiode formed in a semiconductor substrate.
  • the charge transfer unit 61C transfers the charge accumulated in the photoelectric conversion element 61A to the charge holding unit 61B.
  • the charge transfer portion 61C is composed of an impurity region in the semiconductor substrate and an electrode formed above the impurity region.
  • the voltage applied to the electrodes of the charge transfer unit 61C is controlled by the drive circuit 63 (see FIG. 2), whereby charge transfer from the photoelectric conversion element 61A to the charge holding unit 61B is performed.
  • the charge holding unit 61B holds the charge transferred from the photoelectric conversion element 61A by the charge transfer unit 61C.
  • the charge holding portion 61B is formed of an impurity region in the semiconductor substrate.
  • the floating diffusion 61D is for converting charge into a voltage signal, and the charge held by the charge holding portion 61B is transferred.
  • the readout circuit 61E is a circuit that reads out to the signal line 65 a voltage signal corresponding to the potential of the floating diffusion 61D as a pixel signal.
  • the read out circuit 61E is driven by the drive circuit 63 shown in FIG.
  • FIG. 4 is a schematic sectional view taken along the line AA of the pixel 61 of the imaging device 5 shown in FIG.
  • a P well layer 71 is formed on the surface of the N-type substrate 70, and a photoelectric conversion element 61A is formed on the surface of the P well layer 71.
  • the photoelectric conversion element 61A is configured of an N-type impurity layer 73 and a P-type impurity layer 74 formed thereon.
  • the n-type substrate 70 and the p-well layer 71 constitute a semiconductor substrate.
  • a charge holding portion 61B made of an N-type impurity layer is formed at a distance from the photoelectric conversion element 61A.
  • a transfer electrode 76 is formed above the region 75 of the P well layer 71 between the charge holding portion 61B and the photoelectric conversion element 61A via an oxide film (not shown).
  • Region 75 and transfer electrode 76 constitute charge transfer portion 61C of FIG.
  • the transfer electrode 76 is formed to the upper side of the charge holding portion 61B, but the transfer electrode 76 may be formed at least above the region 75.
  • the transfer electrode 76 By controlling the potential of the transfer electrode 76 and forming a channel in the region 75, the charge accumulated in the photoelectric conversion element 61A can be transferred to the charge holding portion 61B.
  • the potential of the transfer electrode 76 is controlled by the drive circuit 63 of FIG.
  • a floating diffusion 61D formed of an N-type impurity layer is formed on the surface portion of the P well layer 71 so as to be slightly separated from the charge holding portion 61B.
  • a read electrode 72 is formed via an oxide film (not shown).
  • the potential of the read electrode 72 is controlled by the drive circuit 63 of FIG.
  • the read out circuit 61E includes a reset transistor 77 for resetting the potential of the floating diffusion 61D, an output transistor 78 which converts the potential of the floating diffusion 61D into a pixel signal and outputs the pixel signal, and It is constituted by a selection transistor 79 for selectively reading out a pixel signal to be output to the signal line 65.
  • the configuration of the read out circuit is an example, and is not limited to this.
  • the readout circuit 61 ⁇ / b> E may be shared by a plurality of pixels 61.
  • the photoelectric conversion element 61A is formed of a silicon photodiode, but is formed inside the semiconductor substrate for storing the charge generated in the film of the organic or inorganic photoelectric conversion material formed above the semiconductor substrate and the film And the impurity region may be constituted by In this case, the charges accumulated in the impurity region are transferred to the charge holding portion 61B of FIG.
  • the drive circuit 63 shown in FIG. 2 drives the transfer electrode 76, the readout electrode 72, and the readout circuit 61E of each pixel 61 independently for each pixel row 62, and resets each photoelectric conversion element 61A included in the pixel row 62. (Discharge of the charge stored in the photoelectric conversion element 61A), readout of a pixel signal corresponding to the charge stored in each photoelectric conversion element 61A to the signal line 65, and the like are performed.
  • the drive circuit 63 simultaneously drives the charge transfer units 61C of all the pixels 61 to simultaneously transfer the charges from the photoelectric conversion elements 61A of the respective pixels 61 to the charge holding unit 61B.
  • the drive circuit 63 is controlled by the imaging element drive unit 10.
  • the photoelectric conversion element 61A is reset by resetting the floating diffusion 61D by the reset transistor 77 in a state in which the charge transfer portion 61C can transfer charges and a channel is formed in the semiconductor substrate below the readout electrode 72. It will be.
  • a charge discharging region is separately provided adjacent to the photoelectric conversion element 61A, and the drive circuit 63 discharges the charge accumulated in the photoelectric conversion element 61A to the charge discharging region, whereby the photoelectric conversion element 61A is It may be configured to be reset.
  • the signal processing circuit 64 shown in FIG. 2 performs correlated double sampling processing on pixel signals read out from each pixel 61 of the pixel row 62 to the signal line 65, and digitizes the pixel signals after the correlated double sampling processing. It is converted into a signal and output to the data bus 25.
  • the signal processing circuit 64 is controlled by the imaging device driving unit 10.
  • the digital signal processing unit 17 performs signal processing such as demosaicing processing and gamma correction processing on the pixel signal output from the imaging element 5 to the data bus 25 to generate captured image data.
  • FIG. 5 is a functional block diagram of the system control unit 11 in the digital camera 100 shown in FIG.
  • the digital camera 100 shown in FIG. 1 has an APD mode as an imaging mode.
  • this APD mode the captured image having the same degree of blur as in the case of using the APD filter by sequentially changing the F value of the aperture stop 2 to a plurality of values during the exposure period for exposing the imaging surface 60 of the imaging device 5 Is an imaging mode for obtaining
  • the functional blocks shown in FIG. 5 indicate functional blocks of the system control unit 11 when this APD mode is set.
  • the system control unit 11 functions as an imaging control apparatus including an imaging control unit 11A and an aperture control unit 11B by executing a program including an imaging control program stored in the ROM of the memory 16. .
  • the imaging control unit 11A controls the imaging device driving unit 10 to simultaneously start the exposure of all the pixels 61 in the entire imaging surface 60, and then simultaneously ends the exposure. Specifically, the imaging control unit 11A causes the imaging element driving unit 10 to perform drive including a set of global reset drive, global shutter drive, and rolling readout drive.
  • the global reset drive is a drive for simultaneously resetting the photoelectric conversion elements 61A of each of all the pixels 61 on the imaging surface 60 and simultaneously starting the exposure of all the pixels 61.
  • the global shutter drive transfers the charge accumulated in the photoelectric conversion element 61A of each pixel 61 by the exposure started in each pixel 61 by the global reset drive to the charge holding portion 61B of the pixel 61, It is the drive which simultaneously ends exposure in each pixel 61.
  • the pixel row 62 including the pixels 61 whose charges are held in the charge holding portion 61B by the global shutter drive is sequentially selected from the upper end side to the lower end side of the imaging surface 60 and the selected pixel row 62
  • the pixel signal corresponding to the charge held in the charge holding unit 61 B is read out to the signal line 65.
  • the aperture control unit 11B sets the F-number of the aperture stop 2 to a plurality of values during a period from the start of the exposure started by the control of the imaging control unit 11A to the end of the exposure (hereinafter referred to as exposure period). Change it sequentially.
  • Aperture control data in which ROMs of the memory 16 are associated with a plurality of F values to be set in the exposure period and a time for which a state controlled to each of the plurality of F values is to be maintained (hereinafter referred to as a maintenance time)
  • a plurality of sets are stored corresponding to imaging conditions such as the focal length of the imaging lens 1, the imaging sensitivity, or the exposure value.
  • the aperture control unit 11B reads the aperture control data corresponding to the imaging condition determined in the exposure period from the ROM, and performs variable control of the F value of the aperture 2 based on the read aperture control data.
  • FIG. 6 is a diagram showing an example of variable control of the F value of the aperture stop 2 based on the aperture control data.
  • a plurality of F values included in the aperture control data show a total of seven examples of F1.4, F1.6, F1.8, F2, F2.2, F2.5, and F2.8. There is. The number of F values or one or both of the values of each F value changes depending on the imaging conditions described above.
  • the ratio of the maintenance time corresponding to each of the seven F values included in the aperture control data (the maintenance time corresponding to F1.4: the maintenance time corresponding to F1.6 corresponds to F1.8
  • the maintenance time to be performed The maintenance time corresponding to F 2: The maintenance time corresponding to F 2.2: The maintenance time corresponding to F 2.5: The maintenance time corresponding to F 2.8) 1: 1: 3: 6: 10: An example of 8: 3 is shown.
  • global reset driving is performed by the control of the imaging control unit 11A.
  • the exposure of the pixel 61 started at time t1 is simultaneously ended in the entire imaging surface 60.
  • FIG. 6 in the imaging surface 60, exposure is simultaneously started at any position from the upper end to the lower end, and the exposure is simultaneously ended.
  • the F value of the diaphragm 2 is controlled to F1.4 by the control of the diaphragm control unit 11B.
  • the F-number of the diaphragm 2 is controlled to F1.6 by the control of the diaphragm control unit 11B.
  • the F value of the aperture stop 2 is controlled to F1.8 by the control of the aperture control unit 11B.
  • the F value of the aperture stop 2 is controlled to F2 by the control of the aperture control unit 11B.
  • the F value of the aperture stop 2 is controlled to F2.2 by the control of the aperture control unit 11B.
  • the F value of the aperture stop 2 is controlled to F2.5 by the control of the aperture control unit 11B.
  • the F value of the aperture stop 2 is controlled to F2.8 by the control of the aperture control unit 11B.
  • the light reception amount of the pixel 61 in the vicinity of the center of the imaging surface 60 of the imaging device 5 is larger than the light reception amount of the pixel 61 in the peripheral portion of the imaging surface 60 of the imaging device 5
  • the captured image obtained by the exposure during the exposure period makes it possible to obtain an equivalent to capturing an object through the APD filter.
  • FIG. 7 is a view showing an example of the light transmittance characteristic of the APD filter.
  • the horizontal axis shown in FIG. 7 indicates the distance X from the optical axis center in a plane which passes through the optical axis center of the APD filter and is perpendicular to the optical axis of the APD filter.
  • the vertical axis shown in FIG. 7 indicates the light transmittance of the APD filter at the position at a distance X from the center of the optical axis.
  • the APD filter has an optical characteristic that the light transmittance decreases as the distance from the optical axis center increases. According to such an APD filter, the peripheral light amount of light incident on the imaging surface 60 can be reduced, and it becomes possible to give gradation to the outline of the blurred image generated by out-focus.
  • the diaphragm control data used for variable control of the diaphragm 2 illustrated in FIG. 6 is created based on a predetermined function (specifically, a Gaussian function) indicating the light transmittance characteristic of the APD filter shown in FIG. There is. Note that this function is not limited to the one showing the curve shown in FIG. 7, and an appropriate one may be used according to the required imaging performance.
  • a predetermined function specifically, a Gaussian function
  • the plurality of F values constituting the aperture control data may be all F values settable by the aperture 2 or may be F values arbitrarily selected from all of the F values.
  • a total of seven F-numbers of F1.4, F1.6, F1.8, F2, F2.2, F2.5, and F2.8 are determined as a plurality of F-numbers constituting the aperture control data. An example will be described.
  • the distance x from the optical axis center of the stop 2 to the edge of the opening of the stop 2 is calculated in a state where the stop 2 is controlled to each determined F value .
  • the distance x can be calculated for each of the determined F-numbers by substituting the specific focal length f and each of the determined F-numbers into the equation (2).
  • the distance x calculated for F1.4 is “x1”
  • the distance x calculated for F1.6 is “x2”
  • the distance x calculated for F1.8 is “x3”
  • the distance calculated for F2 Let x be “x4”, the distance x calculated for F2.2 be “x5”, the distance x calculated for F2.5 be “x6”, and the distance x calculated for F2.8 be “x7”.
  • the amount of light passing through the stop 2 per unit time with the focal length f controlled to a specific value and the stop 2 controlled to each F value is known. Therefore, the time required to obtain the light quantity corresponding to this area in the state of F1.4 can be determined as the maintenance time TF1.4 corresponding to F1.4 .
  • FIG. 8 the light quantity passing through the diaphragm 2 when the state of F1.4 is maintained for the maintaining time TF1 is schematically shown by the height of the rectangular block next to "F1.4". .
  • the light amount passing through the aperture stop 2 when the state of F1.6 is maintained for the maintaining time TF1.6 is schematically shown by the height of the rectangular block next to "F1.6".
  • the light amount passing through the aperture stop 2 when the state of F1.8 is maintained for the maintaining time TF1 is schematically shown by the height of the rectangular block next to "F1.8".
  • the light amount passing through the aperture stop 2 when the state of F2.2 is maintained for the maintenance time TF2.2 is schematically shown by the height of the rectangular block next to "F2.2".
  • the light amount passing through the diaphragm 2 when the state of F2.5 is maintained for the maintaining time TF 2.5 is schematically shown by the height of the rectangular block next to "F2.5".
  • the light amount passing through the diaphragm 2 when the state of F2.8 is maintained for the maintaining time TF2.8 is schematically shown by the height of the rectangular block next to "F2.8".
  • F1.4 is a first value
  • F2.8 is a second value
  • F2.5, F2.2, or F2 is between the first value and the second value. It is the third value.
  • one aperture control data is generated for a specific focal length f.
  • aperture control data is generated for each of all the focal lengths that can be set in the digital camera 100.
  • Ru the number or each value of a plurality of F values is determined for each combination of imaging sensitivity and exposure value, and the above processing is performed on each focal distance f for the determined F value, for each imaging condition.
  • Aperture control data is generated.
  • the exposure period of the pixel 61 is unified over the entire imaging surface 60 under the control of the imaging control unit 11A. Variable control of the value is performed. For this reason, in the captured image obtained by this exposure period, no difference occurs in the state of blurring between the upper end side and the lower end side, and a good APD effect can be obtained.
  • the start timing and the end timing of the exposure period for obtaining a captured image are determined by the drive of the imaging element 5 under the control of the imaging control unit 11A. That is, the control of the aperture stop 2 and the control of the exposure period are performed independently. Therefore, control of the exposure period becomes easy, and even when the exposure period is short, the APD effect can be reliably obtained.
  • the aperture control unit 11B performs variable control of the F value of the aperture 2 based on the aperture control data corresponding to the imaging condition set at the time of imaging. Therefore, even when the imaging condition changes, a captured image having an APD effect can be obtained, and usability can be improved.
  • the digital camera 100 has a configuration in which the focal length of the imaging lens 1 is variable, this focal length may be fixed. Alternatively, the focal length of the imaging lens 1 may be variable in another imaging mode and may be fixed in the APD mode.
  • the number of F values included in the aperture control data is seven examples in the above description, if there are at least two F numbers, it is possible to obtain a captured image close to that obtained using the APD filter. It is possible. By setting the number of F-numbers to three or more, preferably five or more, it is possible to obtain a captured image closer than in the case of using an APD filter.
  • the image pickup device 5 of the digital camera 100 may be a device capable of driving to start exposure simultaneously in all pixels and simultaneously finish the exposure without using a mechanical shutter, for example, a CCD (Charge Coupled Device) image It may be a sensor.
  • a CCD Charge Coupled Device
  • the digital camera 100 does not have a mechanical shutter, it may have a mechanical shutter.
  • the imaging control unit 11A includes all the pixels 61. Control may be performed to simultaneously start and end exposure.
  • FIG. 9 shows an appearance of a smartphone 200 which is an embodiment of the imaging device of the present invention.
  • the smartphone 200 shown in FIG. 9 has a flat housing 201, and a display input in which a display panel 202 as a display surface and an operation panel 203 as an input unit are integrated on one surface of the housing 201.
  • a section 204 is provided.
  • a housing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited to this.
  • a configuration in which the display surface and the input unit are independent may be adopted, or a configuration having a folding structure or a slide mechanism may be adopted.
  • FIG. 10 is a block diagram showing a configuration of smartphone 200 shown in FIG.
  • a wireless communication unit 210 As shown in FIG. 10, a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit as main components of the smartphone. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • GPS Global Positioning System
  • a wireless communication function of performing mobile wireless communication via the base station apparatus BS (not shown) and the mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW in accordance with an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as voice data and image data, electronic mail data and the like, and web data or streaming data and the like are performed.
  • the display input unit 204 displays an image (still image and moving image) or character information etc. to visually convey information to the user, and performs user operation on the displayed information. It is a so-called touch panel to be detected, and includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is visibly mounted on an image displayed on the display surface of the display panel 202 and detects one or more coordinates operated by a user's finger or a stylus. When this device is operated by the user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 220. Next, the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as one embodiment of the photographing apparatus of the present invention are integrated to constitute the display input unit 204.
  • the arrangement 203 is such that the display panel 202 is completely covered.
  • the operation panel 203 may have a function of detecting the user's operation also in the area outside the display panel 202.
  • the operation panel 203 detects a detection area (hereinafter referred to as a display area) for a superimposed portion overlapping the display panel 202 and a detection area (hereinafter a non-display area) for an outer edge portion not overlapping the display panel 202. And may be provided.
  • the size of the display area may be completely the same as the size of the display panel 202, but it is not necessary to make the two coincide with each other.
  • the operation panel 203 may have two sensitive areas, an outer edge portion and an inner portion other than the outer edge portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • a position detection method adopted by the operation panel 203 a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, an electrostatic capacity method, etc. may be mentioned. You can also
  • the call unit 211 includes a speaker 205 or a microphone 206, converts the user's voice input through the microphone 206 into sound data that can be processed by the main control unit 220, and outputs the sound data to the main control unit 220, or wireless communication
  • the audio data received by the unit 210 or the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface provided with the display input unit 204, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed by a finger or the like, and turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 212 includes control programs and control data of the main control unit 220, application software, address data corresponding to names of communicating parties or telephone numbers, etc., data of transmitted / received e-mail, web data downloaded by web browsing, download The stored content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 is configured by an internal storage unit 217 embedded in the smartphone and an external storage unit 218 having an external memory slot that can be attached and detached.
  • the internal storage unit 217 and the external storage unit 218 that constitute the storage unit 212 are a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type, It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory or the like), a RAM (Random Access Memory), a ROM (Read Only Memory) or the like.
  • a card type memory for example, MicroSD (registered trademark) memory or the like
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the external input / output unit 213 plays the role of an interface with all the external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network (For example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark) ZigBee (registered trademark) etc.) for connecting directly or indirectly.
  • USB universal serial bus
  • IEEE 1394 etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark) ZigBee (registered trademark) etc.
  • Examples of external devices connected to the smartphone 200 include a wired / wireless headset, wired / wireless external charger, wired / wireless data port, memory card connected via card socket, SIM (Subscriber) Identity Module Card (UI) / User Identity Module Card (UIM) Card, external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment wirelessly connected, There are a smartphone wirelessly connected, a personal computer wirelessly / wirelessly connected, a personal computer wirelessly / wirelessly connected, an earphone, and the like.
  • the external input / output unit 213 transmits the data received from such an external device to each component inside the smartphone 200, or transmits the data inside the smartphone 200 to the external device. Can.
  • the GPS reception unit 214 receives the GPS signals transmitted from the GPS satellites ST1 to STn according to the instruction of the main control unit 220, executes positioning operation processing based on the plurality of received GPS signals, and the latitude of the smartphone 200, Detects a position consisting of longitude and altitude.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a 3-axis acceleration sensor and the like, and detects physical movement of the smartphone 200 according to an instruction of the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction or acceleration of the smartphone 200 is detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 according to an instruction of the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to the control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner. Further, the main control unit 220 has a mobile communication control function of controlling each unit of the communication system and an application processing function in order to perform voice communication or data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • the application processing function for example, an infrared communication function that performs data communication with the other device by controlling the external input / output unit 213, an electronic mail function that transmits and receives electronic mail, or a web browsing function that browses a web page is there.
  • the main control unit 220 also has an image processing function of displaying a video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • image data still image or moving image data
  • the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 By executing the display control, the main control unit 220 displays a software key such as an icon for activating application software or a scroll bar, or a window for creating an e-mail.
  • a software key such as an icon for activating application software or a scroll bar, or a window for creating an e-mail.
  • the scroll bar is a software key for receiving an instruction to move a display portion of an image, for example, for a large image that can not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207, or accepts an operation on the icon and an input of a character string to the input field of the window through the operation panel 203. Or accepts a request to scroll the display image through the scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to be a superimposed portion (display area) overlapping the display panel 202 or an outer edge portion (non-display area) not overlapping the display panel 202 And a touch panel control function of controlling the display position of the sensitive area or the software key of the operation panel 203.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203, and can execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but it is possible to draw a locus with a finger or the like, designate a plurality of positions simultaneously, or combine them to draw an locus for at least one from a plurality of positions. means.
  • the camera unit 208 includes components other than the external memory control unit 20, the storage medium 21, the display controller 22, the display surface 23, and the operation unit 14 in the digital camera 100 shown in FIG.
  • the captured image data generated by the camera unit 208 can be stored in the storage unit 212 or can be output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this, and may be mounted on the back of the display input unit 204 .
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • the image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of the operation input of the operation panel 203.
  • the position can also be detected with reference to the image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the three-axis acceleration sensor or in combination with the three-axis acceleration sensor You can also determine the current usage environment.
  • the image from the camera unit 208 can also be used in application software.
  • position information acquired by the GPS reception unit 214 and audio information acquired by the microphone 206 may be converted into text information
  • image data converted by the main control unit or the like may be converted into text information
  • Posture information and the like acquired by the motion sensor unit 215 may be added and stored in the storage unit 212 or may be output through the external input / output unit 213 or the wireless communication unit 210.
  • a captured image having an APD effect can be obtained without using an APD filter.
  • An imaging control apparatus incorporated in an imaging apparatus including an imaging element including an imaging surface in which a plurality of pixels are arranged in a two-dimensional shape and having a diaphragm disposed in front of the imaging surface, After the exposure of the pixel is simultaneously started over the entire imaging surface by controlling the imaging element drive unit that drives the imaging element in a state in which light from the subject is incident, the exposure of the pixel is performed.
  • a diaphragm control unit for sequentially changing the diaphragm stop value of the diaphragm to a plurality of values in a period from the start of the exposure to the end of the exposure, and the diaphragm
  • the control unit indicates the relationship between the distance of the optical filter and the transmittance at which the light transmittance decreases as the distance from the center of the optical axis increases, while maintaining the aperture value at each of the plurality of values.
  • the imaging control apparatus wherein the plurality of values are between the first minimum value, the second maximum value, and the first and second values.
  • the time during which the aperture value is maintained at the third value includes the time during which the aperture value is maintained at the first value, and the time during which the aperture value is maintained at the second value.
  • An imaging device comprising the imaging control device according to any one of (1) to (3), and the imaging device.
  • An image pickup control method of an image pickup apparatus including an image pickup element including an image pickup surface in which a plurality of pixels are arranged in a two-dimensional shape and an aperture is disposed in front of the image pickup surface
  • the exposure of the pixel is simultaneously started over the entire imaging surface by controlling the imaging element drive unit that drives the imaging element in the state where the light of the light is incident, and the exposure of the pixel is simultaneously ended.
  • the time for which the aperture value is maintained at each of the plurality of values is related to the relationship between the distance of the optical filter and the transmittance, in which the light transmittance decreases as the distance from the center of the optical axis increases.
  • the imaging control method according to (5) wherein the plurality of values are between the first minimum value, the second maximum value, and the first and second values.
  • the time during which the aperture value is maintained at the third value includes the time during which the aperture value is maintained at the first value, and the time during which the aperture value is maintained at the second value.
  • an imaging control apparatus an imaging apparatus, an imaging control method, and an imaging control program capable of obtaining an optimal APD effect without using an APD filter.
  • Imaging device 100 digital camera 1 imaging lens 2 aperture 4 lens control unit 5 imaging device 60 imaging surface 61 pixel 61A photoelectric conversion device 61B charge holding unit 61C charge transfer unit 61D floating diffusion 61E readout circuit 62 pixel row 63 drive circuit 64 signal processing circuit 65 signal Line 70 N-type substrate 71 P-well layer 72 readout electrode 73 N-type impurity layer 74 P-type impurity layer 75 region 76 transfer electrode 77 reset transistor 78 output transistor 79 selection transistor 8 lens drive unit 9 aperture drive unit 10 imaging device drive unit 11 System control unit 11A Imaging control unit 11B Aperture control unit 14 Operation unit 15 Memory control unit 16 Memory 17 Digital signal processing unit 20 External memory control unit 21 Storage medium 22 Display controller 23 Display surface 24 Control bus 25 Data bus 40 Lens Device 200 smartphone 201 housing 202 display panel 203 operation panel 204 display input unit 205 speaker 206 microphone 207 operation unit 208 camera unit 210 wireless communication unit 211 call unit 212 storage unit 213 external input / output unit 214 GPS reception unit 215 motion sensor unit 216 power

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。撮像面６０の前方に絞り２が配置された撮像素子５を有するデジタルカメラ１００は、撮像面６０に被写体からの光が入射されている状態（メカニカルシャッタが非配置又は不使用の状態）において、撮像素子５を駆動する撮像素子駆動部１０を制御することにより、撮像面６０全体において画素６１の露光を同時に開始させた後、画素６１のこの露光を同時に終了させる撮像制御部１１Ａと、この露光が開始されてからこの露光が終了されるまでの期間に、絞り２の絞り値を複数の値に順次変化させる絞り制御部１１Ｂと、を備える。絞り制御部１１Ｂは、絞り値を複数の値の各々に維持する時間を、ＡＰＤフィルタの光透過率特性を示す関数に基づく時間に制御する。

Description

撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム
　本発明は、撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラムに関する。
　ピントの合っていない画像、いわゆるボケ像を良好にするための光学フィルタとしてアポダイゼーションフィルタ（ａｐｏｄｉｚａｔｉｏｎ　ｆｉｌｔｅｒ；ＡＰＤフィルタ）が知られている。ＡＰＤフィルタは、光軸に垂直な面内における光透過率が、光軸中心からの距離が大きくなるほど低下する光学フィルタであり、このＡＰＤフィルタを用いるとボケ像の輪郭をなだらかにすることができる。
　ＡＰＤフィルタを搭載するレンズ装置はコストが高くなる。また、位相差ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）を行う撮像装置においては、ＡＰＤフィルタを通して被写体を撮像すると、ＡＦ性能に影響が出る可能性がある。
　そこで、ＡＰＤフィルタを用いることなく、ＡＰＤ効果を得るための提案がなされている（特許文献１及び特許文献２参照）。
　特許文献１及び特許文献２には、撮像素子の露光中に絞り値を変更することにより、ＡＰＤ効果を得ることが記載されている。
　また、ＡＰＤ効果を得ることを目的としていないが、撮像素子の露光中に絞り値を変更する技術が特許文献３に記載されている。
　更に、ＡＰＤ効果を得ることを目的としていないが、絞り値を変えながら複数回の撮像を行い、この各撮像で得た撮像画像を合成する技術が特許文献４及び特許文献５に記載されている。
特開２０１５－０４９２９８号公報 特開平１０－３３３２２１号公報 特開２０１６－１７３４４４号公報 特開２０１５－２０４４７０号公報 特開２０１１－１１４４４１号公報
　特許文献１及び特許文献３に記載された撮像装置は、フォーカルプレーンシャッタによって撮像素子の露光時間を制御している。フォーカルプレーンシャッタは、先幕と後幕の間のスリットを移動させて撮像素子の露光を行う機構である。このため、撮像素子の撮像面の全体において、露光の開始タイミングを均一にすることはできない。
　したがって、特許文献１及び特許文献３に記載されているように、フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合には、撮像によって得られる撮像画像の上下においてボケの度合いが変化することになる。
　図１１は、フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合の撮像素子の撮像面の露光状態を例示する図である。
　図１１には、撮像素子の撮像面の露光される期間が平行四辺形のブロックとして示されている。図１１は、撮像素子の露光期間（フォーカルプレーンシャッタのスリットが撮像面の上端から下端まで移動する期間）に、絞りがＦ１．４からＦ２．５まで変化する例を示している。
　図１１に示す例では、撮像素子の撮像面の上端側においては、Ｆ１．４の絞り値にて露光される期間が十分に確保される一方、Ｆ２．５の絞り値にて露光される期間は十分に確保されない。したがって、図１１に示す駆動によって得られる撮像画像は、上端側と下端側とでボケの具合が異なるものとなる。
　特許文献２に記載された撮像装置は、絞りと同じ構成のレンズシャッタを絞りと兼用し、このレンズシャッタを開けてフイルムの露光を行っている期間において、このレンズシャッタの開口量を変化させることにより、ＡＰＤ効果を得るものである。
　しかし、この撮像装置は、レンズシャッタの開閉制御によって露光時間を制御する必要がある。このため、露光時間の制御が難しい。また、特許文献２の段落０１０９－０１１２に記載されているように、露光時間の長さによってはＡＰＤ効果を得ることができない。
　特許文献４，５に記載の撮像装置は、１度の露光中に絞りを変更すること及びＡＰＤ効果を得ることを想定しておらず、上述した課題の認識はない。
　本発明は、上記事情に鑑みてなされたものであり、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
　本発明の撮像制御装置は、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御部と、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、上記絞り制御部は、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
　本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、を備えるものである。
　本発明の撮像制御方法は、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
　本発明の撮像制御プログラムは、複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御するものである。
　本発明によれば、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図３に示す画素６１のＡ－Ａ線の断面模式図である。 図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。 絞り制御データに基づく絞り２のＦ値の可変制御の一例を示す図である。 ＡＰＤフィルタの光透過率特性の一例を示す図である。 Ｆ値毎の維持時間の算出方法を説明するための模式図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図９に示すスマートフォン２００の構成を示すブロック図である。 フォーカルプレーンシャッタを用いて撮像を行い、且つ露光中に絞りを変える場合の撮像素子の撮像面の露光状態を例示する図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
　図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
　レンズ装置４０は、デジタルカメラ１００本体に着脱可能なものであってもよいし、デジタルカメラ１００本体と一体化されたものであってもよい。
　撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
　レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
　レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御することによりフォーカスレンズの主点の位置を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御することによりズームレンズの位置（焦点距離）を変更したり、絞り駆動部９を介して絞り２の絞り値（以下、Ｆ値という）を制御したりする。
　デジタルカメラ１００は、更に、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。
　撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
　撮像素子５は、フォーカルプレーンシャッタ、又は絞り２とは別体のレンズシャッタ等のメカニカルシャッタが撮像面の前方に非配置の状態にて、撮像光学系を通して被写体を撮像するものである。つまり、デジタルカメラ１００は、所謂メカシャッタレスのカメラである。
　デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
　撮像素子駆動部１０は、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することにより、撮像素子５を駆動する。撮像素子駆動部１０は、ハードウェア的な構成は、半導体素子等の回路素子を組み合わせて構成された電気回路である。
　システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、後述する表示面２３と一体化されたタッチパネルと、各種ボタン等が含まれる。
　システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｓｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記憶及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行って、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。
　メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記憶されている。
　記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
　メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
　表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示面２３に表示すべき画像のデータを保持するための表示メモリとを含む。
　図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。
　撮像素子５は、第一の方向である行方向Ｌに配列された複数の画素６１からなる画素行６２が、行方向Ｌと直交する第二の方向である列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
　以下では、図２において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。
　図３は、図２に示す撮像素子５の画素６１の概略構成を示す平面模式図である。
　図３に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。
　光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、例えば、半導体基板内に形成されたシリコンフォトダイオードによって構成される。
　電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
　電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３（図２参照）によって制御されることにより、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
　電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送されてきた電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
　フローティングディフュージョン６１Ｄは、電荷を電圧信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
　読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた電圧信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、図２に示す駆動回路６３によって駆動される。
　図４は、図３に示す撮像素子５の画素６１のＡ－Ａ線の断面模式図である。
　図４に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
　光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
　Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
　電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
　領域７５と転送電極７６とが図３の電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
　転送電極７６の電位を制御して領域７５にチャネルを形成することにより、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は図２の駆動回路６３によって制御される。
　Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
　電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
　読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することにより、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は、図２の駆動回路６３によって制御される。
　図４に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を信号線６５に選択的に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
　なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
　光電変換素子６１Ａは、シリコンフォトダイオードにより構成されているが、半導体基板上方に形成された有機又は無機の光電変換材料の膜と、この膜で発生した電荷を蓄積するための半導体基板内部に形成された不純物領域と、によって構成されていてもよい。この場合には、この不純物領域に蓄積された電荷が、図４の電荷保持部６１Ｂに転送される。
　図２に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
　また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
　光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、且つ読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることにより行われる。
　なお、光電変換素子６１Ａに隣接させて電荷排出領域を別途設けておき、駆動回路６３が、光電変換素子６１Ａに蓄積されている電荷をこの電荷排出領域に排出することにより、光電変換素子６１Ａのリセットが行われる構成であってもよい。
　図２に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
　デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された画素信号にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像データを生成する。
　図５は、図１に示すデジタルカメラ１００におけるシステム制御部１１の機能ブロック図である。
　図１に示すデジタルカメラ１００は、撮像モードとしてＡＰＤモードを搭載している。このＡＰＤモードは、撮像素子５の撮像面６０を露光する露光期間中に、絞り２のＦ値を複数の値に順次変化させて、ＡＰＤフィルタを用いた場合と同等のボケ具合を持つ撮像画像を得る撮像モードである。図５に示す機能ブロックは、このＡＰＤモードが設定された場合のシステム制御部１１の機能ブロックを示している。
　図５に示すように、システム制御部１１は、メモリ１６のＲＯＭに記憶された撮像制御プログラムを含むプログラムを実行することにより、撮像制御部１１Ａ及び絞り制御部１１Ｂを備える撮像制御装置として機能する。
　撮像制御部１１Ａは、撮像素子駆動部１０を制御して、撮像面６０全体において全ての画素６１の露光を同時に開始させた後、その露光を同時に終了させる。具体的には、撮像制御部１１Ａは、グローバルリセット駆動、グローバルシャッタ駆動、及びローリング読み出し駆動のセットからなる駆動を撮像素子駆動部１０に実行させる。
　グローバルリセット駆動は、撮像面６０にある全ての画素６１の各々の光電変換素子６１Ａを同時にリセットしてこの全ての画素６１の露光を同時に開始する駆動である。
　グローバルシャッタ駆動は、上記グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を、その各画素６１の電荷保持部６１Ｂに転送して、その各画素６１で同時に露光を終了する駆動である。
　ローリング読み出し駆動は、上記グローバルシャッタ駆動によって電荷保持部６１Ｂに電荷が保持された画素６１を含む画素行６２を、撮像面６０の上端側から下端側に向かって順次選択し、選択した画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号を信号線６５に読み出す駆動である。
　絞り制御部１１Ｂは、撮像制御部１１Ａの制御によって開始された上記の露光の開始からその露光が終了されるまでの期間（以下、露光期間という）に、絞り２のＦ値を複数の値に順次変化させる。
　メモリ１６のＲＯＭには、露光期間において設定すべき複数のＦ値と、この複数のＦ値の各々に制御した状態を維持すべき時間（以下、維持時間という）とを対応付けた絞り制御データが、撮像レンズ１の焦点距離、撮像感度、又は露出値等の撮像条件に対応して複数組記憶されている。
　絞り制御部１１Ｂは、上記の露光期間において決められた撮像条件に対応する上記の絞り制御データをＲＯＭから読み出し、読み出した絞り制御データに基づいて絞り２のＦ値の可変制御を行う。
　図６は、絞り制御データに基づく絞り２のＦ値の可変制御の一例を示す図である。図６では、絞り制御データに含まれる複数のＦ値が、Ｆ１．４、Ｆ１．６、Ｆ１．８、Ｆ２、Ｆ２．２、Ｆ２．５、及びＦ２．８の合計７つの例を示している。これらＦ値の数又は各Ｆ値の値の一方又は両方は、上述した撮像条件によって変わる。
　また、図６では、絞り制御データに含まれる上記７つのＦ値の各々に対応する維持時間の比（Ｆ１．４に対応する維持時間：Ｆ１．６に対応する維持時間：Ｆ１．８に対応する維持時間：Ｆ２に対応する維持時間：Ｆ２．２に対応する維持時間：Ｆ２．５に対応する維持時間：Ｆ２．８に対応する維持時間）が、１：１：３：６：１０：８：３である例を示している。
　図６に示すように、ＡＰＤモードにおいてユーザにより撮像指示が行われると、撮像面６０に被写体からの光が入射している状態にて、撮像制御部１１Ａの制御によって、時刻ｔ１においてグローバルシャッタ駆動が行われる。このグローバルシャッタ駆動により、撮像面６０の全体において画素６１の露光が同時に開始される。
　時刻ｔ１から所定の時間が経過した時刻ｔ８になると、撮像制御部１１Ａの制御によって、グローバルリセット駆動が行われる。このグローバルリセット駆動により、時刻ｔ１で開始された画素６１の露光が、撮像面６０の全体において同時に終了される。図６に示すように、撮像面６０は、上端から下端までのどの位置においても同時に露光が開始され、同時に露光が終了される。
　このようにして行われる時刻ｔ１と時刻ｔ８の間の露光期間において、時刻ｔ１では、絞り制御部１１Ｂの制御によって絞り２のＦ値がＦ１．４に制御される。
　時刻ｔ１から所定の時間Ｔが経過した時刻ｔ２では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ１．６に制御される。時刻ｔ２から所定の時間Ｔが経過した時刻ｔ３では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ１．８に制御される。
　時刻ｔ３から所定の時間Ｔの３倍の時間が経過した時刻ｔ４では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２に制御される。
　時刻ｔ４から所定の時間Ｔの６倍の時間が経過した時刻ｔ５では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．２に制御される。
　時刻ｔ５から所定の時間Ｔの１０倍の時間が経過した時刻ｔ６では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．５に制御される。
　時刻ｔ６から所定の時間Ｔの８倍の時間が経過した時刻ｔ７では、絞り制御部１１Ｂの制御によって、絞り２のＦ値がＦ２．８に制御される。
　そして、時刻ｔ７から所定の時間Ｔの３倍の時間が経過して時刻ｔ８となり、露光期間が終了する。
　このような絞り２の可変制御によって、撮像素子５の撮像面６０の中央付近の画素６１の受光量は、撮像素子５の撮像面６０の周辺部にある画素６１の受光量よりも多くなり、露光期間の露光によって得られる撮像画像は、ＡＰＤフィルタを通して被写体を撮像した場合と同等のものを得ることを可能にしている。
　図７は、ＡＰＤフィルタの光透過率特性の一例を示す図である。
　図７に示す横軸は、ＡＰＤフィルタの光軸中心を通り、且つＡＰＤフィルタの光軸に垂直な平面内における、この光軸中心からの距離Ｘを示している。
　図７に示す縦軸は、光軸中心から距離Ｘの位置におけるＡＰＤフィルタの光透過率を示している。図７に示す縦軸の光透過率は、距離Ｘ＝０の位置（つまり光軸中心）における光透過率を最大値の“１”として正規化した値となっている。
　このように、ＡＰＤフィルタは、光軸中心からの距離が大きくなるにつれて光透過率が低下するという光学特性を有する。このようなＡＰＤフィルタによれば、撮像面６０に入射する光の周辺光量を低下させることができ、アウトフォーカスにより生じるボケ像の輪郭にグラデーションを与えることが可能となる。
　図６に例示した絞り２の可変制御に用いられる絞り制御データは、図７に示すＡＰＤフィルタの光透過率特性を示す予め決められた関数（具体的にはガウス関数）に基づいて作成されている。なお、この関数は、図７に示した曲線を示すものに限らず、必要とする撮像性能に応じて適当なものを用いればよい。
　以下、絞り制御データの生成方法の一例を説明する。
　絞り制御データを構成する複数のＦ値は、絞り２の設定可能な全てのＦ値としてもよいし、この全てのＦ値の中から任意に選択したＦ値としてもよい。以下では、Ｆ１．４、Ｆ１．６、Ｆ１．８、Ｆ２、Ｆ２．２、Ｆ２．５、及びＦ２．８の合計７つのＦ値が、絞り制御データを構成する複数のＦ値として決定された例を説明する。
　このようにＦ値が決定されると、決定した各Ｆ値に絞り２が制御された状態での、絞り２の光軸中心から絞り２の開口部の端縁までの距離ｘが算出される。
　絞り２のＦ値は、撮像レンズ１の焦点距離を“ｆ”として、Ｆ値＝ｆ／（２＊ｘ）　・・・（１）で表される。この式（１）を距離ｘについて解くと、ｘ＝ｆ／（２＊Ｆ値）　・・・（２）となる。
　したがって、この式（２）に、特定の焦点距離ｆと、上記の決定した各Ｆ値を代入することにより、決定したＦ値毎に、距離ｘを算出することができる。
　ここで、Ｆ１．４について算出した距離ｘを“ｘ１”とし、Ｆ１．６について算出した距離ｘを“ｘ２”とし、Ｆ１．８について算出した距離ｘを“ｘ３”とし、Ｆ２について算出した距離ｘを“ｘ４”とし、Ｆ２．２について算出した距離ｘを“ｘ５”とし、Ｆ２．５について算出した距離ｘを“ｘ６”とし、Ｆ２．８について算出した距離ｘを“ｘ７”とする。
　図７に示すグラフにおいて、距離Ｘ＝ｘ１～ｘ７となる直線を追記したものが図８に示す図である。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ１の直線と、Ｘ＝ｘ２の直線と、横軸とで囲まれた領域の面積に相当する光量が、Ｆ１．４の状態にて絞り２を通過させるべき光量となる。焦点距離ｆが特定の値に制御され且つ絞り２が各Ｆ値に制御された状態での単位時間当たりに絞り２を通過する光量は既知である。このため、この面積に相当する光量をＦ１．４の状態にて得るのに必要な時間を、Ｆ１．４に対応する維持時間ＴＦ１．４として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ２の直線と、Ｘ＝ｘ３の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ１．６の状態にて得るのに必要な時間から、維持時間ＴＦ１．４を減算して得られる時間を、Ｆ１．６に対応する維持時間ＴＦ１．６として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ３の直線と、Ｘ＝ｘ４の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ１．８の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６を減算して得られる時間を、Ｆ１．８に対応する維持時間ＴＦ１．８として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ４の直線と、Ｘ＝ｘ５の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８を減算して得られる時間を、Ｆ２に対応する維持時間ＴＦ２として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ５の直線と、Ｘ＝ｘ６の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２．２の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２を減算して得られる時間を、Ｆ２．２に対応する維持時間ＴＦ２．２として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ６の直線と、Ｘ＝ｘ７の直線と、横軸とで囲まれた領域の面積に相当する光量をＦ２．５の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２と維持時間ＴＦ２．２を減算して得られる時間を、Ｆ２．５に対応する維持時間ＴＦ２．５として求めることができる。
　図８において、ガウス関数で示される曲線と、Ｘ＝ｘ７の直線と、縦軸と、横軸とで囲まれた領域の面積に相当する光量をＦ２．８の状態にて得るのに必要な時間から、維持時間ＴＦ１．４と維持時間ＴＦ１．６と維持時間ＴＦ１．８と維持時間ＴＦ２と維持時間ＴＦ２．２と維持時間ＴＦ２．５を減算して得られる時間を、Ｆ２．８に対応する維持時間ＴＦ２．８として求めることができる。
　図８では、Ｆ１．４の状態を維持時間ＴＦ１．４維持した場合に絞り２を通過する光量が、“Ｆ１．４”の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ１．６の状態を維持時間ＴＦ１．６維持した場合に絞り２を通過する光量が、“Ｆ１．６”　の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ１．８の状態を維持時間ＴＦ１．８維持した場合に絞り２を通過する光量が、“Ｆ１．８”　の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ２の状態を維持時間ＴＦ２維持した場合に絞り２を通過する光量が、“Ｆ２”の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ２．２の状態を維持時間ＴＦ２．２維持した場合に絞り２を通過する光量が、“Ｆ２．２”の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ２．５の状態を維持時間ＴＦ２．５維持した場合に絞り２を通過する光量が、“Ｆ２．５”の隣の矩形ブロックの高さにて模式的に示されている。
　また、Ｆ２．８の状態を維持時間ＴＦ２．８維持した場合に絞り２を通過する光量が、“Ｆ２．８”の隣の矩形ブロックの高さにて模式的に示されている。
　図８の例では、Ｆ１．４が第一の値となり、Ｆ２．８が第二の値となり、Ｆ２．５、Ｆ２．２、又はＦ２が、第一の値と第二の値の間の第三の値となる。
　以上のようにして特定の焦点距離ｆに対して１つの絞り制御データが生成される。この特定の焦点距離ｆを、デジタルカメラ１００において設定可能な全ての値で順次変更して上述した処理を行うことにより、デジタルカメラ１００で設定可能な全ての焦点距離毎に絞り制御データが生成される。また、撮像感度と露出値の組み合わせ毎に複数のＦ値の数又は各値を決定し、その決定したＦ値について、各焦点距離ｆに対して上記の処理を行うことにより、撮像条件毎に、絞り制御データが生成される。
　このように、図１のデジタルカメラ１００によれば、撮像制御部１１Ａの制御により、撮像面６０の全体において画素６１の露光期間が統一され、その状態にて、露光期間中に絞り２のＦ値の可変制御が行われる。このため、この露光期間によって得られる撮像画像は、上端側と下端側とでボケの状態に差が生じることはなく、良好なＡＰＤ効果を得ることができる。
　また、図１のデジタルカメラ１００では、撮像画像を得るための露光期間の開始タイミングと終了タイミングが、撮像制御部１１Ａの制御による撮像素子５の駆動によって決められている。つまり、絞り２の制御と、露光期間の制御とが独立して行われている。このため、露光期間の制御が容易になると共に、露光期間が短い場合でも、確実にＡＰＤ効果を得ることが可能となる。
　また、図１のデジタルカメラ１００では、絞り制御部１１Ｂが、撮像時に設定された撮像条件に対応する絞り制御データに基づいて、絞り２のＦ値の可変制御を行っている。このため、撮像条件が変化した場合であってもＡＰＤ効果のある撮像画像を得ることができ、使い勝手を向上させることができる。
　なお、デジタルカメラ１００は、撮像レンズ１の焦点距離が可変な構成であるが、この焦点距離は固定であってもよい。または、撮像レンズ１の焦点距離を他の撮像モードにおいては可変とし、ＡＰＤモードにおいては固定とする構成であってもよい。
　以上の説明では、絞り制御データに含まれるＦ値の数が７つの例を示したが、このＦ値の数は少なくとも２つあれば、ＡＰＤフィルタを用いた場合に近い撮像画像を得ることは可能である。このＦ値の数を３つ以上、好ましくは５つ以上にすることにより、ＡＰＤフィルタを用いた場合により近い撮像画像を得ることができる。
　デジタルカメラ１００の撮像素子５は、メカニカルシャッタを用いることなく、全ての画素において同時に露光を開始し且つその露光を同時に終了させる駆動が可能なものであればよく、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであってもよい。
　また、デジタルカメラ１００は、メカニカルシャッタを搭載しないものとしているが、メカニカルシャッタを搭載するものであってもよい。
　この場合には、ＡＰＤモードにおいては、このメカニカルシャッタを不使用とし、メカニカルシャッタが開いていて撮像面６０に被写体からの光が入射されている状態において、撮像制御部１１Ａが全ての画素６１の露光を同時に開始してから同時に終了させる制御を行えばよい。
　次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
　図９は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。
　図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
　また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
　図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。
　図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
　また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図１０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
　さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
　また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
　なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
　外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御することにより対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
　また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
　画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
　なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
　さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
　ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。
　カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
　図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、ＡＰＤフィルタを用いることなく、ＡＰＤ効果のある撮像画像を得ることができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）　複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御部と、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、上記絞り制御部は、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御装置。
（２）　（１）記載の撮像制御装置であって、上記複数の値は、最小の第一の値と、最大の第二の値と、上記第一の値と上記第二の値の間の第三の値と、を含み、上記絞り値が上記第三の値に維持される時間は、上記絞り値が上記第一の値に維持される時間及び上記絞り値が上記第二の値に維持される時間の各々よりも長くなっている撮像制御装置。
（３）　（１）又は（２）記載の撮像制御装置であって、上記絞り制御部は、上記絞り値の上記複数の値を撮像条件に基づいて決定する撮像制御装置。
（４）　（１）～（３）のいずれか１つに記載の撮像制御装置と、上記撮像素子と、を備える撮像装置。
（５）　複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御方法。
（６）　（５）記載の撮像制御方法であって、上記複数の値は、最小の第一の値と、最大の第二の値と、上記第一の値と上記第二の値の間の第三の値と、を含み、上記絞り値が上記第三の値に維持される時間は、上記絞り値が上記第一の値に維持される時間及び上記絞り値が上記第二の値に維持される時間の各々よりも長くなっている撮像制御方法。
（７）　（５）又は（６）記載の撮像制御方法であって、上記絞り制御ステップでは、上記絞り値の上記複数の値を撮像条件に基づいて決定する撮像制御方法。
（８）　複数の画素が二次元状に配列された撮像面を含み、上記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、上記撮像面に被写体からの光が入射されている状態において、上記撮像素子を駆動する撮像素子駆動部を制御することにより、上記撮像面全体において上記画素の露光を同時に開始させた後、上記画素の上記露光を同時に終了させる撮像制御ステップと、上記露光が開始されてから上記露光が終了されるまでの期間に、上記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、上記絞り制御ステップでは、上記絞り値を上記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの上記距離と上記透過率との関係を示す関数に基づく時間に制御する撮像制御プログラム。
　本発明によれば、ＡＰＤフィルタを用いることなく最適なＡＰＤ効果を得ることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
１００　デジタルカメラ
１　撮像レンズ
２　絞り
４　レンズ制御部
５　撮像素子
６０　撮像面
６１　画素
６１Ａ　光電変換素子
６１Ｂ　電荷保持部
６１Ｃ　電荷転送部
６１Ｄ　フローティングディフュージョン
６１Ｅ　読み出し回路
６２　画素行
６３　駆動回路
６４　信号処理回路
６５　信号線
７０　Ｎ型基板
７１　Ｐウェル層
７２　読み出し電極
７３　Ｎ型不純物層
７４　Ｐ型不純物層
７５　領域
７６　転送電極
７７　リセットトランジスタ
７８　出力トランジスタ
７９　選択トランジスタ
８　レンズ駆動部
９　絞り駆動部
１０　撮像素子駆動部
１１　システム制御部
１１Ａ　撮像制御部
１１Ｂ　絞り制御部
１４　操作部
１５　メモリ制御部
１６　メモリ
１７　デジタル信号処理部
２０　外部メモリ制御部
２１　記憶媒体
２２　表示コントローラ
２３　表示面
２４　制御バス
２５　データバス
４０　レンズ装置
２００　スマートフォン
２０１　筐体
２０２　表示パネル
２０３　操作パネル
２０４　表示入力部
２０５　スピーカ
２０６　マイクロホン
２０７　操作部
２０８　カメラ部
２１０　無線通信部
２１１　通話部
２１２　記憶部
２１３　外部入出力部
２１４　ＧＰＳ受信部
２１５　モーションセンサ部
２１６　電源部
２１７　内部記憶部
２１８　外部記憶部
２２０　主制御部
ＳＴ１～ＳＴｎ　ＧＰＳ衛星

Claims (8)

  1. 　複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置に内蔵される撮像制御装置であって、
    　前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御部と、
    　前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御部と、を備え、
    　前記絞り制御部は、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御装置。
  2. 　請求項１記載の撮像制御装置であって、
    　前記複数の値は、最小の第一の値と、最大の第二の値と、前記第一の値と前記第二の値の間の第三の値と、を含み、
    　前記絞り値が前記第三の値に維持される時間は、前記絞り値が前記第一の値に維持される時間及び前記絞り値が前記第二の値に維持される時間の各々よりも長くなっている撮像制御装置。
  3. 　請求項１又は２記載の撮像制御装置であって、
    　前記絞り制御部は、前記絞り値の前記複数の値を撮像条件に基づいて決定する撮像制御装置。
  4. 　請求項１～３のいずれか１項記載の撮像制御装置と、
    　前記撮像素子と、を備える撮像装置。
  5. 　複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置の撮像制御方法であって、
    　前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御ステップと、
    　前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を備え、
    　前記絞り制御ステップでは、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御方法。
  6. 　請求項５記載の撮像制御方法であって、
    　前記複数の値は、最小の第一の値と、最大の第二の値と、前記第一の値と前記第二の値の間の第三の値と、を含み、
    　前記絞り値が前記第三の値に維持される時間は、前記絞り値が前記第一の値に維持される時間及び前記絞り値が前記第二の値に維持される時間の各々よりも長くなっている撮像制御方法。
  7. 　請求項５又は６記載の撮像制御方法であって、
    　前記絞り制御ステップでは、前記絞り値の前記複数の値を撮像条件に基づいて決定する撮像制御方法。
  8. 　複数の画素が二次元状に配列された撮像面を含み、前記撮像面の前方に絞りが配置された撮像素子を有する撮像装置のプロセッサに、
    　前記撮像面に被写体からの光が入射されている状態において、前記撮像素子を駆動する撮像素子駆動部を制御することにより、前記撮像面全体において前記画素の露光を同時に開始させた後、前記画素の前記露光を同時に終了させる撮像制御ステップと、
    　前記露光が開始されてから前記露光が終了されるまでの期間に、前記絞りの絞り値を複数の値に順次変化させる絞り制御ステップと、を実行させるための撮像制御プログラムであって、
    　前記絞り制御ステップでは、前記絞り値を前記複数の値の各々に維持する時間を、光軸中心からの距離が大きいほど光の透過率が低下する光学フィルタの前記距離と前記透過率との関係を示す関数に基づく時間に制御する撮像制御プログラム。
PCT/JP2018/025124 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム WO2019054017A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019541913A JP6778828B2 (ja) 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム
CN201880059501.3A CN111095910B (zh) 2017-09-14 2018-07-03 摄像控制装置、摄像装置、摄像控制方法及记录介质
US16/813,755 US10863110B2 (en) 2017-09-14 2020-03-10 Imaging control device, imaging apparatus, imaging control method, and imaging control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-176908 2017-09-14
JP2017176908 2017-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/813,755 Continuation US10863110B2 (en) 2017-09-14 2020-03-10 Imaging control device, imaging apparatus, imaging control method, and imaging control program

Publications (1)

Publication Number Publication Date
WO2019054017A1 true WO2019054017A1 (ja) 2019-03-21

Family

ID=65722622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025124 WO2019054017A1 (ja) 2017-09-14 2018-07-03 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム

Country Status (4)

Country Link
US (1) US10863110B2 (ja)
JP (1) JP6778828B2 (ja)
CN (1) CN111095910B (ja)
WO (1) WO2019054017A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022013076A (ja) * 2020-07-03 2022-01-18 キヤノン株式会社 撮像装置、制御方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271838A (ja) * 1998-03-19 1999-10-08 Minolta Co Ltd 多重露光カメラ
JP2004317650A (ja) * 2003-04-14 2004-11-11 Fuji Photo Film Co Ltd カメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3736040B2 (ja) * 1997-06-05 2006-01-18 コニカミノルタフォトイメージング株式会社 カメラの露出制御装置
US5999752A (en) * 1997-06-05 1999-12-07 Minolta Co., Ltd. Exposure controller for use in a camera
JPH10333221A (ja) * 1997-06-05 1998-12-18 Minolta Co Ltd カメラの露出制御装置
US7046279B2 (en) * 2000-09-06 2006-05-16 Minolta Co., Ltd. Image taking apparatus
JP4325557B2 (ja) * 2005-01-04 2009-09-02 ソニー株式会社 撮像装置および撮像方法
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP2011114441A (ja) 2009-11-25 2011-06-09 Nikon Corp 撮像装置
JP5495841B2 (ja) * 2010-02-22 2014-05-21 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
US9380220B2 (en) * 2013-04-05 2016-06-28 Red.Com, Inc. Optical filtering for cameras
JP6194703B2 (ja) 2013-08-30 2017-09-13 ソニー株式会社 発光制御装置および発光制御方法、ならびに撮像装置
JP6175992B2 (ja) * 2013-08-30 2017-08-09 ソニー株式会社 露出制御装置および露出制御方法、ならびに撮像装置
US9609236B2 (en) * 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
JP2015204470A (ja) 2014-04-10 2015-11-16 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
WO2016031867A1 (ja) * 2014-08-29 2016-03-03 富士フイルム株式会社 撮影装置、撮影装置本体、及びレンズ鏡筒
JP2016173444A (ja) 2015-03-17 2016-09-29 キヤノン株式会社 デジタルカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271838A (ja) * 1998-03-19 1999-10-08 Minolta Co Ltd 多重露光カメラ
JP2004317650A (ja) * 2003-04-14 2004-11-11 Fuji Photo Film Co Ltd カメラ

Also Published As

Publication number Publication date
JP6778828B2 (ja) 2020-11-04
CN111095910B (zh) 2021-01-12
CN111095910A (zh) 2020-05-01
US20200213546A1 (en) 2020-07-02
US10863110B2 (en) 2020-12-08
JPWO2019054017A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP5777825B2 (ja) 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP6573731B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP5937767B2 (ja) 撮像装置及び撮像方法
JP5946970B2 (ja) 撮像装置及び撮像方法
CN110463185B (zh) 摄像装置、摄像方法及存储介质
WO2019054031A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP6569025B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JPWO2018061497A1 (ja) 撮像素子及び撮像装置
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP6569023B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
CN110024373B (zh) 摄像装置、摄像方法及存储介质
CN109716752B (zh) 摄像装置、摄像方法、存储介质
US10778880B2 (en) Imaging device, imaging method, and imaging program
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856326

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019541913

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18856326

Country of ref document: EP

Kind code of ref document: A1