WO2012008337A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2012008337A1
WO2012008337A1 PCT/JP2011/065439 JP2011065439W WO2012008337A1 WO 2012008337 A1 WO2012008337 A1 WO 2012008337A1 JP 2011065439 W JP2011065439 W JP 2011065439W WO 2012008337 A1 WO2012008337 A1 WO 2012008337A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur correction
signal
unit
image pickup
Prior art date
Application number
PCT/JP2011/065439
Other languages
English (en)
French (fr)
Inventor
高宏 矢野
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012008337A1 publication Critical patent/WO2012008337A1/ja
Priority to US13/721,511 priority Critical patent/US9332183B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Definitions

  • the present invention relates to an imaging device and the like.
  • an imaging device having a blur correction function is known in order to prevent deterioration of a captured image due to camera shake that occurs during shooting.
  • the blur correction methods are roughly classified into the following first to third methods.
  • the first method is to detect the movement (vibration) of the imaging device by a motion detection sensor such as an angular velocity sensor or an acceleration sensor, and drive an optical system such as a photographing lens or a variable apex angle prism according to the detected amount.
  • a motion detection sensor such as an angular velocity sensor or an acceleration sensor
  • an optical system such as a photographing lens or a variable apex angle prism according to the detected amount.
  • the second method is to provide only a motion detection sensor that detects camera shake in the imaging apparatus, record camera shake information, and perform shake correction processing using the camera shake information during reproduction, thereby correcting the camera shake.
  • This is a technique (for example, Patent Documents 3 to 5).
  • the third method is a method of obtaining shake information from a captured image and performing shake correction processing at the time of image reading using the shake information.
  • shake information For example, there are techniques such as an inverse filter, a Wiener filter, and a Richardson & Lucy method that recover a deteriorated image into an image free from camera shake or blur by digital processing.
  • Non-Patent Document 1 a coded aperture is used as the aperture of the imaging apparatus to improve the frequency characteristics of the point spread function at the time of shooting, thereby realizing a more accurate blur correction process.
  • an imaging device or the like that can improve the frequency characteristics of the point spread function and realize more accurate shake correction processing.
  • One embodiment of the present invention is an imaging device that captures an image with an imaging unit, and an image signal acquired by the imaging unit during an exposure period from the start of exposure to the end of exposure when an image is captured by the imaging unit.
  • the present invention relates to an imaging apparatus including a control unit that performs signal modulation control for reducing or increasing a signal level and a blur correction unit that performs a blur correction process on the signal-modulated image signal.
  • the control unit controls the signal modulation so that the signal modulation that reduces or increases the signal level of the image signal is performed in the exposure period when the image is captured. Then, a shake correction process is performed on the signal-modulated image signal, and an image subjected to the shake correction process is acquired.
  • the blur correction process by performing such signal modulation, the frequency characteristics of the point spread function are improved, and a more accurate blur correction process can be realized.
  • control unit may control the imaging unit such that signal modulation is performed such that the signal level of the image signal gradually decreases or increases during the exposure period.
  • the image before blur correction is an image that has been subjected to signal modulation in which the signal level gradually decreases or increases, and an image that does not have much unnaturalness due to signal modulation. Therefore, even when the blur correction process fails, the image before the blur correction can be used effectively.
  • control unit may control the imaging unit such that signal modulation is performed in which the signal level of the image signal decreases or increases stepwise during the exposure period.
  • control unit may perform signal modulation control that reduces the number of zero points in the used frequency band in the amplitude spectrum of the point spread function.
  • control unit may control the optical system of the imaging unit such that signal modulation is performed such that the signal level of the image signal decreases or increases during the exposure period.
  • control unit may perform control to gradually reduce or open the aperture of the optical system during the exposure period.
  • signal modulation in which the signal level of the image signal gradually decreases or increases can be realized by simple control such as gradually decreasing or opening the aperture of the optical system during the exposure period.
  • the optical system includes a shutter whose light transmittance is variably set, and the control unit gradually decreases or increases the light transmittance at the shutter during the exposure period. Control may be performed.
  • the imaging unit includes a writing unit that irradiates light to a subject, and the control unit gradually decreases or increases the amount of light irradiated from the lighting unit during the exposure period. Control may be performed.
  • control unit may control the image sensor of the imaging unit such that signal modulation is performed such that the signal level of the image signal decreases or increases during the exposure period.
  • control unit may perform control to gradually shorten or lengthen a period from the start of charge accumulation in the image sensor until the accumulated charge is transferred. Good.
  • the signal level of the image signal acquired by the image sensor also gradually decreases or increases.
  • the frequency characteristics of the function can be improved.
  • control unit may perform control to gradually reduce or increase a gain for a charge signal accumulated and transferred in the image sensor.
  • the control for gradually decreasing or increasing the gain with respect to the signal of the accumulated charge in the image sensor is performed in this way, the signal level of the image signal acquired by the image sensor also gradually decreases or increases.
  • the frequency characteristics of the distribution function can be improved.
  • the blur correction unit is configured to generate an original image before blurring based on the point spread function estimated from the blur image represented by the image signal that has been signal-modulated and the blur image.
  • the blur correction process for obtaining an image may be performed.
  • the point image distribution function reflecting the deterioration process due to the blur is estimated from the blur image, and the original image before the blur is restored by performing the blur correction process using the estimated point image distribution function. It becomes possible to do.
  • the blur correction unit performs the blur correction process for obtaining the original image in the entire image area based on the point spread function estimated in an image area smaller than the entire image area. You may go.
  • a blur correction availability determination unit that determines whether the blur correction process by the blur correction unit is possible may be included.
  • the blur correction availability determination unit may determine whether the blur correction process is possible based on sensor information from a sensor that detects the movement of the imaging apparatus.
  • the blur correction availability determination unit estimates a point spread function from a blur image represented by the signal-modulated image signal, and based on the estimated point spread function, It may be determined whether the blur correction process is possible.
  • the blur correction unit may perform the blur correction process for obtaining an original image before blur using the point spread function estimated by the blur correction availability determination unit. .
  • the blur correction availability determination unit determines that the blur correction process is possible
  • an image obtained by the blur correction process is stored as a captured image, and the blur correction is performed.
  • a recording unit that stores an image before the blur correction process as a captured image may be included.
  • the image obtained by the shake correction process is stored in the recording unit, and this image is used as a captured image. become able to.
  • the blur correction enable / disable determination unit determines that the blur correction process is not possible, an image before the blur correction process is stored in the recording unit, and this image can be used as a captured image. Therefore, a more natural image can be used as a captured image.
  • a blur correction success / failure determination unit that determines whether the blur correction process is successful may be included.
  • the blur correction process by the blur correction unit it is determined whether or not the blur correction process is successful. If it is determined that the blur correction process is not successful, for example, before the blur correction process, It is possible to use images.
  • FIGS. 1A and 1B are configuration examples of the imaging apparatus according to the present embodiment.
  • 2A to 2D are explanatory diagrams of signal modulation according to the present embodiment.
  • FIG. 3A to FIG. 3D are also explanatory diagrams of signal modulation of this embodiment.
  • FIGS. 4A and 4B are explanatory diagrams of an original image restoration method based on a point spread function.
  • 5A and 5B show examples of point spread functions.
  • FIG. 6 is a one-dimensional model of a point spread function.
  • FIG. 7 is an amplitude spectrum of the point spread function of FIG. Fig. 8 shows a one-dimensional model of a stepwise point spread function.
  • FIG. 9 is an amplitude spectrum of the point spread function of FIG.
  • FIG. 10A and 10B are explanatory diagrams of a signal modulation method based on control of an aperture, a shutter, and a lighting unit.
  • FIG. 11A and FIG. 11B are configuration examples of an image sensor.
  • FIG. 12 is an operation timing chart for explaining the operation of the image sensor.
  • FIG. 13 is an explanatory diagram of another example of signal modulation by control of the image sensor.
  • FIG. 14 is an explanatory diagram of an original image restoration method based on an estimated point spread function.
  • FIG. 15 is a flowchart for explaining the operation of the present embodiment.
  • FIG. 16 is a flowchart for explaining signal modulation by controlling a diaphragm.
  • FIG. 17 is an explanatory diagram of signal modulation by controlling the diaphragm.
  • FIG. 1A illustrates a configuration example of an imaging apparatus according to the present embodiment.
  • the imaging device of the present embodiment may be an electronic camera such as a digital still camera or a video camera, a silver salt camera, or an imaging device built in a mobile phone, a portable information terminal, a portable game machine, or the like. There may be.
  • 1A includes an imaging unit 10, a control unit 40, and a signal processing unit 50.
  • a recording unit 60 and an input / output unit 70 can be included.
  • the imaging unit 10 is connected to the control unit 40 and the signal processing unit 50, and the control unit 40 is connected to the imaging unit 10, the signal processing unit 50, and the input / output unit 70, and the signal processing unit 50 includes the imaging unit 10, the control unit 40,
  • the recording unit 60 and the input / output unit 70 are connected.
  • the imaging unit 10 is for capturing an image of a subject (imaging target), and includes an optical system 12, an imaging element 20, and a lighting unit 30.
  • the optical system 12 includes a lens 14, a diaphragm 16, and a shutter 18.
  • the lens 14 is a focus lens or a zoom lens for focus adjustment.
  • the diaphragm 16 (diaphragm mechanism) is for adjusting the amount of light in the optical system 12, and is disposed between the lens 14 and the image sensor 20 (imaging plane) as shown in FIG. 1B, for example. Is done.
  • the diaphragm 16 a structure in which a plurality of plates (diaphragm blades) are overlapped can be used.
  • the shutter 18 a mechanical shutter, an electronic shutter, or the like can be used.
  • a shutter capable of variably setting light transmittance (opacity) such as a liquid crystal shutter may be used as will be described later.
  • the imaging element 20 is an element for imaging a subject, and is realized by, for example, a CCD or a CMOS sensor.
  • the lighting unit 30 irradiates a subject with light, and is realized by, for example, LED lighting or a flash.
  • the control unit 40 controls the imaging unit 10 and controls the entire imaging device. Specifically, as shown in FIG. 1B, control signals SDI, SSH, SIM, and SLI are output to the aperture 16, shutter 18, image sensor 20, and lighting unit 30 of the imaging unit 10, respectively. Control.
  • the signal processing unit 50 performs various types of signal processing for image quality improvement on the image signal from the imaging unit 10.
  • the signal processing unit 50 includes a shake correction unit 52, a shake correction availability determination unit 54, and a shake correction success / failure determination unit 56.
  • the recording unit 60 is for recording / saving the image after the signal processing.
  • the recording unit 60 can be realized by, for example, a semiconductor memory such as SRAM, DRAM, or EEPROM, or a hard disk.
  • the input / output unit 70 is used by the user to input various types of information and display various types of information and through images to the user.
  • the input / output unit 70 displays various operation buttons, various dials, a liquid crystal panel, and the like. Realized by panels.
  • each device may be performed singly or may be performed by a combination of a plurality of devices. The operation can be set in advance by the user via the user interface.
  • the control unit 40 decreases or increases the signal level (signal amount) of the image signal acquired by the imaging unit 10 during the exposure period.
  • Controls modulation For example, the imaging unit 10 is controlled so that signal modulation in which the signal level of the image signal gradually decreases or increases is performed.
  • the control unit 40 controls signal modulation to reduce the number of zero points in the used frequency band in the amplitude spectrum of the point spread function.
  • the signal modulation in which the signal level gradually decreases or increases may be signal modulation in which the signal level decreases or increases in stages.
  • the exposure period is a period from the start of exposure to the end of exposure when the image capturing unit 10 captures an image, for example, a period during which the shutter 18 is open.
  • the exposure period is not limited to the optical exposure period.
  • it may be a period during which exposure for capturing an image is substantially performed, and may be a period during which an imaging operation of a captured image by the image sensor 20 is performed, for example.
  • the signal modulation in which the signal level of the image signal decreases or increases does not include a case where the signal level changes steeply from the minimum value to the maximum value or from the maximum value to the minimum value like a rectangular pulse signal. Signal modulation in which the signal level gradually decreases (in steps) at a given rate of change.
  • the blur correction unit 52 performs a blur correction process on the signal-modulated image signal. For example, blur correction processing is performed to restore the original image before blurring from the blurring image represented by the signal-modulated image signal. Specifically, blur correction processing for obtaining an original image before blur is performed based on the point spread function estimated from the blur image and the blur image.
  • the blur correction possibility determination unit 54 determines whether or not the blur correction processing by the blur correction unit 52 is possible (whether or not the blur correction processing can be appropriately performed). When it is determined that the shake correction process is possible, the shake correction unit 52 performs the shake correction process. When such a blur correction process is performed, the blur correction success / failure determination unit 56 determines whether the blur correction process is successful.
  • FIGS. 2A to 3D show examples of signal modulation performed by the imaging unit 10 and the like under the control of the control unit 40.
  • FIG. The method of signal modulation is not limited to FIGS. 2A to 3D, and various modifications can be made.
  • the signal level (signal amount) of the image signal gradually decreases during the exposure period from the exposure start timing ts to the exposure end timing te.
  • the signal level decreases at a given rate of change (slope).
  • the signal level of the image signal decreases stepwise. That is, the signal level decreases with a stepped waveform.
  • the signal level decreases at a constant rate of change, but the rate of change may change during the exposure period as shown in FIG.
  • the signal level change is not limited to a linear change, and may be a hyperbolic change as shown in FIG.
  • the signal level at the exposure end timing te may be larger than 0 as shown in FIG.
  • the signal level of the image signal may be gradually increased or gradually increased. In this case, the signal level at the exposure start timing ts may be greater than 0 or 0.
  • it may be switched from decrease to increase during the exposure period, or may be switched from increase to decrease.
  • the frequency characteristic of a point spread function is improved by a simpler method than the conventional example described above. Specifically, the frequency characteristics of the point spread function are improved by decreasing or increasing the signal level (signal amount) of each point image of the image captured during the exposure period from the start of exposure to the end of exposure. To do.
  • the image before blur correction becomes an unnatural image due to the influence of the coded point spread function. Therefore, if the blur correction process is not performed successfully, the image before blur correction and the image after blur correction become unnatural images, and thus a natural captured image cannot be provided to the user.
  • the captured image before blur correction can be used as it is and provided to the user.
  • the original image signal is not subjected to the coding process by the flyer or the coding aperture, and simple signal modulation as shown in FIGS. 2 (A) to 3 (D). It is just processing. Therefore, even when the blur correction process fails, the original image signal can be used to provide a captured image to the user.
  • an operation mechanism for fluttering is required, and dedicated hardware is required such that an encoded aperture element is required in the encoded aperture. End up.
  • the method of this embodiment has an advantage that it is not necessary to provide such additional hardware.
  • the conventional technique such as the coded aperture has a problem that the amount of light incident on the image sensor 20 is reduced, but the modulation according to the present embodiment as shown in FIGS. 2 (A) to 3 (D). According to the technique, there is an advantage that a reduction in the amount of incident light can be suppressed compared to a coded aperture or the like.
  • f (x, y) is an original image before blurring
  • g (x, y) is a blurred image after degradation due to camera shake or the like of the imaging apparatus.
  • the symbol “*” represents a convolution integral.
  • f (x, y), g (x, y), and h (x, y) obtained by Fourier transform are respectively F (u, v), G (u, v), and H (u, v).
  • the original image f (x, y) can be restored. That is, if the point spread function h (x, y) representing the deterioration process can be obtained, the original image f (x, y) can be restored.
  • the frequency characteristics of the point spread function are improved by performing signal modulation as shown in FIGS. 2 (A) to 3 (D).
  • the description will be made with a one-dimensional point spread function.
  • Equation (1) is a one-dimensional point spread function.
  • rect (x) is a rect function, and is represented by the following formula (2).
  • FIG. 6 is a one-dimensional representation of a point spread function having a certain slope with a> 0 in the above equation (1). This corresponds to a model when signal modulation is performed as shown in FIG. In this way, when a> 0 and an inclination is given, a point spread function representing blurring when the imaging device or the subject moves linearly at a constant speed in the DR1 direction is as shown in FIG.
  • the point spread function that gradually decreases the signal level in a slope shape has been described above as an example.
  • the present embodiment is not limited to this,
  • it may be a point spread function that decreases the signal level stepwise (stepwise).
  • the stepwise point spread function (PSF) in FIG. 8 can be expressed as the following equation (4).
  • FIG. 9 shows a plot of the amplitude spectrum of equation (5) above.
  • a broken line or a one-dot chain line in FIG. 9 is an amplitude spectrum of the point spread function when the shape of the point spread function is not flat but a stepped shape with a certain number of steps.
  • the broken line is a three-step staircase
  • the dotted line is a five-step staircase.
  • the control unit 40 in FIG. 1A controls the imaging unit 10 in order to realize signal modulation as shown in FIGS. 2A to 3D.
  • the control unit 40 controls the optical system 12 (aperture 16, shutter 18) of the imaging unit 10, the imaging element 20, and the like so that signal modulation is performed so that the signal level of the image signal decreases or increases during the exposure period.
  • the lighting unit 30 and the like are controlled.
  • the control unit 40 performs control to gradually narrow or open the diaphragm 16 of the optical system 12 during the exposure period.
  • the control unit 40 performs control to gradually reduce or increase the light transmittance at the shutter 18 during the exposure period. Do. Alternatively, imaging is performed such that control is performed to gradually decrease or increase the amount of light emitted from the lighting unit 30 during the exposure period, or signal modulation is performed so that the signal level of the image signal decreases or increases during the exposure period.
  • the image sensor 20 of the unit 10 is controlled.
  • the signal level reduction control by the diaphragm 16 is realized by controlling the diaphragm 16 gradually during the exposure period from the exposure start timing ts at the time of imaging to the exposure end timing te as shown in FIG. The By doing so, the frequency characteristic of the point spread function at the time of imaging is improved as described with reference to FIGS. 6 and 7 and the blur correction process in the subsequent blur correction unit 52 is appropriately performed. .
  • the aperture speed and acceleration when the aperture 16 is reduced can be arbitrarily set.
  • the frequency characteristics of the point spread function during imaging may be improved by gradually opening the diaphragm 16 during the exposure period. Further, when the diaphragm 16 is squeezed or opened, the acceleration may be applied. By changing how the diaphragm 16 is stopped or opened, the signal level of the image signal can be reduced or increased in various ways.
  • the method of gradually reducing the aperture 16 during the exposure period increases the amount of incident light of the image sensor 20 at the exposure start timing ts, as compared with the method of gradually opening, and thus more reflects the user's shooting instruction timing. There is an advantage that an image can be taken.
  • the signal level reduction control by the shutter 18 gradually decreases the light transmission through the shutter 18 during the exposure period from the exposure start timing ts to the exposure end timing te. This is realized by performing control (control to make it gradually opaque).
  • the transmittance is controlled by using a liquid crystal shutter or the like whose transmittance can be variably set as the shutter 18. By doing so, the frequency characteristic of the point spread function at the time of imaging is improved as described with reference to FIGS. 6 and 7 and the blur correction process in the subsequent blur correction unit 52 is appropriately performed. .
  • the speed and acceleration when the transmittance of the shutter 18 is gradually decreased can be arbitrarily set.
  • the frequency characteristic of the point spread function at the time of imaging is changed by performing control to gradually increase the transmittance of the shutter 18 during the exposure period (control to make it gradually transparent). You may improve.
  • the shutter 18 is not limited to a liquid crystal shutter.
  • two polarizing plates are prepared, and one of the polarizing plates is gradually rotated to control the transmittance of light passing through the shutter 18, thereby generating a signal of an image signal. The level may be decreased or increased.
  • a signal shutter according to this embodiment may be realized by using a mechanical shutter as the shutter 18 and performing control to gradually close the mechanical shutter.
  • the signal level reduction control by the lighting unit 30 is performed by adjusting the amount of irradiation light from the lighting unit 30 during the exposure period from the exposure start timing ts to the exposure end timing te. This is realized by shooting while gradually decreasing. For example, control is performed to gradually reduce the amount of light from the LED illumination and flash constituting the lighting unit 30.
  • the amount of light can be controlled by controlling the current flowing in the LED (light emitting element). By doing so, the frequency characteristic of the point spread function at the time of imaging is improved as described with reference to FIGS. 6 and 7 and the blur correction process in the subsequent blur correction unit 52 is appropriately performed. .
  • photographing may be performed while gradually increasing the amount of light emitted from the writing unit 30 during the exposure period.
  • control unit 40 may control the imaging device 20 of the imaging unit 10 such that signal modulation is performed so that the signal level of the image signal decreases or increases during the exposure period.
  • the control unit 40 performs control to gradually shorten or lengthen the period from the start of charge accumulation in the image sensor 20 until the accumulated charge is transferred.
  • control may be performed to gradually reduce or increase the gain for the charge signal accumulated and transferred in the image sensor 20.
  • FIG. 11A shows a configuration example of the image sensor 20 which is a CMOS sensor.
  • the image sensor 20 includes a plurality of pixel cells 200 arranged in a matrix, a vertical shift register 210 for selecting a row of the pixel cells 200, and a read circuit 220 for reading a signal from the image cell 200.
  • the readout circuit 220 includes a signal accumulation unit 222 that accumulates the read signals and a horizontal shift register 224 for performing column selection of the pixel cells 200.
  • FIG. 11B shows a configuration example of each pixel cell 200 (pixel circuit) of the image sensor 20.
  • the pixel cell 200 includes a photodiode PD (light receiving element) and transistors TRSP, TTR, TRSF, TSF, and TSL.
  • the transistor TRSP is a transistor (switch) for resetting the photodiode PD.
  • TTR is a transistor for controlling the timing of charge transfer to the floating diffusion region (node NF).
  • TRSF is a transistor for performing a reset operation of the floating diffusion region (NF).
  • the TSF is a source follower operation transistor.
  • the TSL is a transistor for selecting a pixel cell to be read and outputting a signal to its output node NRQ.
  • Control signals SRSP, STR, SRSF, SSL are input to the gates of the transistors TRSP, TTR, TRSF, TSL, respectively.
  • a node NF of the floating diffusion region is connected to the gate of the transistor TSF.
  • the transistor TRSP is provided between the VDD node (high potential side power supply node) and the charge storage node NP, and the transistor TTR is provided between the node NF in the floating diffusion region and the charge storage node NP.
  • the transistor TRSF is provided between the VDD node and the node NF, and the transistors TSF and TSL are provided in series between the VDD node and the output node NRQ.
  • the control unit 40 controls these transistors TRSP, TTR, TRSF, TSL, and the like, thereby realizing control for reducing the signal level of the image signal by reducing the amount of charge acquired during photoelectric conversion.
  • the configurations of the imaging element 20 and the pixel cell 200 are not limited to the configurations in FIGS. 11A and 11B, and various components such as omitting some of the components or adding other components. Can be implemented.
  • the transistor TRSF is turned on, so that the node NF in the floating diffusion region is set to the reset voltage (VDD), and the gate of the transistor TSF of the source follower is set to the reset voltage.
  • the transistor TRSP is turned on, so that the charge storage node NP is set to the reset voltage (VDD).
  • VDD reset voltage
  • the reset operation of the photodiode PD is performed, and charge accumulation to the charge accumulation node NP due to the photoelectric effect of the photodiode PD is started.
  • the transistor TTR is turned on at timing c, whereby the charge accumulated by the photodiode PD is transferred from the charge accumulation node NP to the node NF (TSF input node) in the diffusion floating region.
  • a signal of an optical signal component corresponding to the charge accumulated in the node NF in the floating diffusion region is output to the output node NRQ.
  • the extracted optical signal component signal is stored in a frame buffer or the like.
  • such an image pickup operation of the image pickup device 20 of the CMOS sensor is realized by performing a plurality of times while shifting the timings at which the reset transistors TRSF and TRSP are turned on.
  • the transistor TRSF for resetting the floating diffusion region is turned on at timings a, a + S, a + 2S, a + 3S,.
  • the reset transistor TRSP of the photodiode PD is turned on at timings b, b + (S + ⁇ ), b + 2 (S + ⁇ ), b + 3 (S + ⁇ ),.
  • the transfer transistor TTR is turned on at timings c, c + S, c + 2S, c + 3S,.
  • the selection transistor TSL is turned on at timings d, d + S, d + 2S, d + 3S,.
  • the signal of the optical signal component obtained by such repeated operation is read out via the output node NRQ and added in the frame buffer.
  • each pixel cell of the image sensor 20 may be configured, and control for gradually decreasing (or increasing) the gain for the charge signal accumulated and transferred in the image sensor 20 may be performed. .
  • the signal level may be gradually increased by gradually increasing the gain of the source follower.
  • the image captured by the imaging unit 10 in FIG. 1A is recorded and stored in the recording unit 60.
  • the image recorded / saved in the recording unit 60 is transferred to the shake correction availability determination unit 54.
  • the transfer timing may be designated by the user via the user interface of the imaging apparatus, or may be automatically transferred to the shake correction availability determination unit 54 when it is recorded in the recording unit 60.
  • the blur correction possibility determination unit 54 performs processing for determining whether or not blur correction is possible for a blur image.
  • the size of the point spread function in which the blurred image is taken is obtained, and it is determined whether or not the blur correction is possible based on the size.
  • a non-blurred image is transferred, it is confirmed that there is no blur and subsequent processing is not performed.
  • a sensor that detects the movement of the imaging apparatus
  • the size of the point spread function is specified based on the sensor information, and it is determined whether or not the shake correction processing of the captured image is possible.
  • a sensor for detecting the movement of the imaging device a motion detection sensor (motion sensor) such as an angular acceleration sensor or an acceleration sensor can be used.
  • movement data of the imaging device in the X, Y, and Z directions may be acquired based on sensor information from a motion detection sensor, and it may be determined whether blur correction processing is possible based on the acquired movement data. .
  • the blur correction availability determination unit 54 estimates a point spread function from the blur image represented by the signal-modulated image signal, and determines whether or not blur correction processing is possible based on the estimated point spread function. May be determined.
  • the present embodiment is not limited to the method for determining whether or not the blur correction process is possible as described above, and various methods can be adopted as long as it is a process for determining whether or not blur correction is possible for a blur image. For example, when a point spread function is actually obtained, its frequency characteristic is analyzed, and when it is determined that many zero points are included from the analyzed frequency characteristic, it is determined that the blur correction is impossible, and the blur correction process is performed. It may not be performed.
  • the estimation of the point spread function can be realized, for example, by performing the energy function E minimization processing as shown in the following equation (6) on the original image and the point spread function before blurring.
  • g is a blurred image
  • h is a point spread function
  • f is an original image before blurring
  • L is a matrix representation of a Laplacian filter.
  • hf and Lf represent operations of convolving a point spread function and a Laplacian filter with the original image before blurring, respectively.
  • bold indicates a vector.
  • the norm (L1 norm, L2 norm) used in the above equation (6) is an arbitrary vector x,
  • the point spread function h is estimated by minimizing the energy function E of the above formula (6) by changing the point spread function h and the original image f before blurring.
  • an initial value of the point spread function is determined.
  • an impulse function-like point spread function is set as the initial point spread function.
  • the user may specify the length of the line blur and the direction of the line blur via a user interface such as a touch panel and set the initial value of the point spread function.
  • a point image distribution function having an arbitrary shape may be set as an initial value by drawing a point image distribution function having an arbitrary shape via a user interface such as a touch panel.
  • a convex analysis method such as a steepest descent method or a Newton method is used.
  • A3 the value of the original image before blurring obtained in the above (A2) is fixed, the value of the point spread function is used as a variable, the energy function E of the following equation (9) is minimized, and the point Find the image distribution function.
  • a convex analysis method such as a steepest descent method or a Newton method is used.
  • the point spread function and the original image before blurring can be obtained.
  • the blur correction availability determination unit 54 determines that the blur correction process is possible, the blur image is transferred to the blur correction unit 52.
  • the blur correction unit 52 performs a blur correction process on the transferred blur image.
  • the blur correction unit 52 performs a blur correction process using an inverse filter, a Wiener filter, a Richardson & Lucy method, or the like. For blur correction processing, it is necessary to obtain a point spread function in advance. For the estimation of the point spread function, the method of minimizing the energy function E of the above equation (4) used in the above-described blur correction availability determination unit 54 can be used. Therefore, when the point spread function is estimated by the blur correction availability determination unit 54, the point spread function can be used by the blur correction unit 52.
  • ift represents an inverse Fourier transform.
  • f inv is an image before blurring estimated by an inverse filter.
  • G and H respectively represent a blur image and a point image distribution function obtained by Fourier transform.
  • the blur correction process using the Wiener filter can be realized by performing the following equation (11).
  • H ′ is a complex conjugate of the Fourier transform coefficient H.
  • f wineer is an image before blurring estimated by the Wiener filter, and K is an arbitrary constant. This constant K may change according to the frequency.
  • the estimation of the original image before blurring is also performed at the same time. It may be used.
  • the blur image that has undergone the blur correction process in the blur correction unit 52 is transferred to the blur correction success / failure determination unit 56.
  • the blur correction success / failure determination unit 56 presents the image after the blur correction process to the user, thereby allowing the user to determine whether the blur correction process is properly performed.
  • the shake correction process is performed using the energy function E minimization process of the above equation (4), the shake correction process is appropriately performed when the final energy amount of E is higher than a predetermined value. You may determine that it was not missed.
  • the image subjected to the shake correction process by the shake correction unit 52 is transferred to the recording unit 60 for recording / recording. Saved.
  • the recorded / stored image is used for various purposes via the input / output unit 70.
  • the blur correction unit 52 estimates the point spread function from the blur image, and based on the estimated point spread function and the blur image, the blur correction unit 52 obtains an original image before blur. Perform correction processing.
  • the blur correction unit 52 calculates a blur for obtaining an original image in the entire image area RAL based on the point spread function h estimated in the image area RPT smaller than the entire image area RAL. Correction processing may be performed.
  • the point spread function whose image degradation is mainly caused by camera shake is not different locally in each image region and has a certain shape.
  • the point spread function h in the desired image region RPT in FIG. 14 is estimated by the above-described methods (A1) to (A4) (a method for minimizing the energy function E using equation (6) or the like).
  • A1 to (A4) a method for minimizing the energy function E using equation (6) or the like.
  • the image region RPT for estimating the point image distribution function h for example, a region with high contrast or a region with many edge components is set, and the point image distribution function h is estimated using an image in the image region RPT. By doing so, it becomes possible to estimate the point spread function h using an image in which camera shake of the imaging apparatus is more reflected, and the estimation accuracy can be improved.
  • the blur correction availability determination unit 54 determines whether the blur correction process by the blur correction unit 52 is possible. Specifically, as described in the above (A1) to (A4), the blur correction availability determination unit 54 calculates the point spread function h from the blur image g (an image represented by the signal-modulated image signal). Based on the estimated point spread function h, it is determined whether blur correction processing is possible.
  • the blur correction unit 52 uses the point spread function h estimated by the blur correction availability determination unit 54 to perform blur correction processing for obtaining an original image before blurring. By doing so, it is possible to prevent a situation where useless processing is performed, and to improve processing efficiency.
  • the blur correction enable / disable determination unit 54 determines that the blur correction process is possible
  • an image obtained by the blur correction process is stored in the recording unit 60 (storage unit) as a captured image.
  • the shake correction process is performed.
  • the obtained image is stored in the recording unit 60.
  • an image before the blur correction process is performed is stored in the recording unit 60 as a captured image.
  • an image before the blur correction process is performed is stored in the recording unit 60 as a captured image.
  • the image before performing the blur correction process becomes an unnatural image due to the encoding process. Therefore, when it is determined that the blur correction process is not possible by the blur correction availability determination unit 54 or when the blur correction success / failure determination unit 56 determines that the blur correction process has failed, it should be presented to the user. Natural images no longer exist.
  • the image before the blur correction process is performed is an image obtained by performing simple signal modulation as shown in FIGS. 2 (A) to 3 (D). Therefore, by storing the image before this blur correction process in the recording unit 60 as a captured image, it is determined that the blur correction process is not possible or the blur correction process has failed. In this case, the stored captured image can be presented to the user.
  • step S1 in FIG. 15 shooting option settings are made (option setting 1).
  • this option setting is performed in advance by the user via the user interface of the imaging apparatus.
  • an option for turning on / off the aperture 16 an option for turning the shutter 18 on / off, an option for turning the image sensor 20 on / off, Then, the option of whether to control the lighting unit 30 is set on / off.
  • More specific shooting option settings include setting the shutter speed at the time of shooting and controlling the aperture 16 accordingly, the initial aperture value at the time of controlling the aperture 16, and the operation of the aperture 16 at the time of shooting. Parameters such as the period and the movement locus of the diaphragm 16 are set.
  • parameters such as initial transparency (opacity) at the time of controlling the shutter 18, an operation period of the shutter 18 at the time of photographing, and an operation locus of the transparency of the shutter 18 are set.
  • parameters such as the operation period of the image sensor 20, the number of times of signal readout during the imaging period (N as described above), and the photodiode reset timing control parameter ( ⁇ as described above) are set.
  • parameters such as an initial irradiation light amount when the lighting unit 30 is controlled, an operation period of the writing unit 30 during photographing, and a light amount control locus of the irradiation light amount of the writing unit 30 are set.
  • setting of these parameter values may be in the form that the values are grouped into several modes, presented to the user, and then selected by the user.
  • step S2 it is set which of the first mode in which the signal level of the image signal acquired during photographing is gradually decreased and the second mode in which the signal level is gradually increased is used (option setting 2).
  • step S3 imaging is started by the imaging unit 10 of the imaging apparatus.
  • step S2 when the first mode for reducing the signal level of the image signal is set, in step S3, shooting is performed so that the signal level of the image signal gradually decreases during shooting.
  • step S1 when the option setting of the aperture 16 is turned on in step S1, shooting is performed while gradually reducing the aperture.
  • step S3 when the option setting of the shutter 18 is turned on, the image is taken while gradually making the shutter 18 opaque (while gradually closing).
  • the option setting of the image sensor 20 is turned on, shooting is performed while gradually decreasing the amount of charge (charge transfer period and gain) accumulated in the image sensor 20.
  • the option setting of the lighting unit 30 when the option setting of the lighting unit 30 is turned on, shooting is performed while gradually reducing the amount of light emitted by the lighting unit 30.
  • step S3 shooting is performed so that the signal level of the image signal gradually increases during shooting.
  • the option setting of the aperture 16 is turned on in step S1
  • the image is taken while the aperture is gradually opened.
  • step S3 shooting is performed while the shutter is gradually made transparent (gradually opened).
  • the option setting of the image sensor 20 is turned on, shooting is performed while gradually increasing the amount of charge (charge transfer period and gain) accumulated in the image sensor 20.
  • the option setting of the lighting unit 30 is turned on, shooting is performed while gradually increasing the amount of light emitted by the lighting unit 30.
  • FIG. 16 is a flowchart in the case where signal modulation is performed by the diaphragm 16 at the time of shooting as shown in FIG.
  • step S11 in FIG. 16 the aperture is set to be the aperture value based on the initial aperture value of the aperture 16 set in step S1 in FIG. That is, the F value is set to F1 at time ts in FIG.
  • step S12 when the user presses the button to start photographing, the aperture operation starts in step S13.
  • the F value of the aperture is a value corresponding to time t in FIG.
  • the aperture value is controlled according to the operation locus of the diaphragm 16 set in step S1 of FIG.
  • step S14 the shutter is opened, and after shooting exposure, the shutter is closed in step S15, and shooting is finished.
  • step S16 the aperture operation ends.
  • the F value is set to F2 at time te.
  • step S13 and step S14 may be interchanged.
  • Steps S15 and S16 may also be switched in the order of processing.
  • step S4 of FIG. 15 the image photographed in step S3 is recorded and saved in the recording unit 60.
  • step S5 it is determined whether or not blur correction processing is possible. If it is determined that the blur correction process is possible as a result of the determination, the process proceeds to step S6. Otherwise, the process ends.
  • step S6 blur correction processing is performed.
  • step S7 whether or not the shake correction process performed on the shake correction image that has been subjected to the shake correction process in step S6 is determined. As a result of the success / failure determination, if it is determined that the blur correction process is successful, the process proceeds to step S8. Otherwise, the process ends.
  • step S8 the blur correction image determined to have been successfully corrected in step S7 is recorded and stored in the recording unit 60. And a process is complete

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

点像分布関数の周波数特性を改善して、より高精度なブレ補正処理を実現できる撮像装置等の提供。　撮像部１０により画像を撮像する撮像装置は、撮像部１０による画像の撮像時の露光開始から露光終了までの露光期間において、撮像部１０で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部４０と、信号変調された画像信号に対してブレ補正処理を行うブレ補正部５２を含む。

Description

撮像装置
　本発明は撮像装置等に関する。
　従来より、撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を有する撮像装置（カメラ）が知られている。ブレ補正手法としては、大別して以下に示す第１～第３の手法がある。
　第１の手法は、角速度センサや加速度センサなどの動き検出センサにより撮像装置の動き（振動）を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である（例えば特許文献１、２）。
　第２の手法は、撮像装置に手ブレを検出する動き検出センサのみを設けて、手ブレ情報を記録し、再生時にその手ブレ情報を用いてブレ補正処理を行うことにより、ブレを補正する手法である（例えば、特許文献３～５）。
　第３の手法は、撮像された画像からブレの情報を求め、そのブレの情報を用いて画像読み出し時にブレ補正処理を行う手法である。例えば劣化画像を、手ブレやぼけのない画像にデジタル処理により回復する逆フィルタやウィナーフィルタ、Richardson&Lucy法などの手法である。
　また、これらの第１～第３の手法の他に、撮影時の点像分布関数の周波数特性を改善した後、ブレ補正処理を行う手法も知られている。例えば、特許文献６、７では、撮影時にシャッターを所定のタイミングで短時間に反復的に開閉させる（以下「はためかせる」と呼ぶ）ことで、撮影時の点像分布関数の周波数特性を改善し、より高精度はブレ補正処理を実現している。また、非特許文献１では、撮像装置の開口として符号化開口を用いて、撮影時の点像分布関数の周波数特性を改善し、より高精度なブレ補正処理を実現している。
特開昭６１－２４０７８０号公報 特開昭６１－２２３８１９号公報 特開平６－２７６５１２号公報 特開平６－３４３１５９号公報 特開平７－２２６９０５号公報 特表２００９－５３２９２８号公報 特表２００９－５２２８２５号公報
Image and Depth from a Conventional Camera with a Coded Aperture, Anat Levin, Rob Fergus, Fredo Durand, Bill Freeman, SIGGRAPH 2007.
　しかしながら、特許文献６、７や非特許文献１の従来技術では、点像分布関数の符号化を行っており、そのためにブレ補正処理を行わない場合の被写体の点像が不自然になってしまうという問題がある。即ち、これら従来技術においては、ブレ補正処理を行うことが必須となるが、実際のところ、ブレ補正処理は常に成功するとは限らず、例えば点像分布関数の大きさが比較的大きくなったり形状が複雑になった場合、点像分布関数の推定処理に失敗することがある。そのため、ブレ補正前の画像も符号化された点像分布関数の影響で不自然な画像となり、ブレ補正後の画像もブレ補正処理の失敗で不自然な画像になる可能性があり、撮影された画像を満足に利用できないという課題がある。
　本発明の幾つかの態様によれば、点像分布関数の周波数特性を改善して、より高精度なブレ補正処理を実現できる撮像装置等を提供できる。
　本発明の一態様は、撮像部により画像を撮像する撮像装置であって、前記撮像部による画像の撮像時の露光開始から露光終了までの露光期間において、前記撮像部で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部と、信号変調された前記画像信号に対してブレ補正処理を行うブレ補正部とを含む撮像装置に関係する。
　本発明の一態様によれば、画像の撮像時の露光期間において画像信号の信号レベルを減少又は増加させる信号変調が行われるように、制御部が信号変調を制御する。そして、信号変調された画像信号に対してブレ補正処理が行われ、ブレ補正処理が行われた画像が取得される。このような信号変調を行ってブレ補正処理を行うことで、点像分布関数の周波数特性が改善され、より高精度なブレ補正処理を実現できるようになる。
　また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、前記撮像部を制御してもよい。
　このようにすれば、ブレ補正前の画像は、信号レベルが徐々に減少又は増加する信号変調が行われた画像になり、信号変調による不自然さがそれほど残らない画像になる。従って、ブレ補正処理が失敗した場合等においても、ブレ補正前の画像を有効に利用することが可能になる。
　また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが段階的に減少又は増加する信号変調が行われるように、前記撮像部を制御してもよい。
　このように信号レベルが段階的に減少又は増加する信号変調を行うことによっても、点像分布関数の周波数特性を改善でき、より高精度なブレ補正処理を実現できるようになる。
　また本発明の一態様では、前記制御部は、点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行ってもよい。
　このように使用周波数帯域におけるゼロ点の数が減少すれば、ブレ補正処理における不良設定問題の発生を要因とする処理破綻を抑止できるようになる。
　また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の光学系を制御してもよい。
　このようにすれば、撮像部の光学系を制御して、画像信号の信号レベルが減少又は増加する信号変調を実現し、点像分布関数の周波数特性を改善できる。
　また本発明の一態様では、前記制御部は、前記露光期間において前記光学系の絞りを徐々に絞る又は開放する制御を行ってもよい。
　このようにすれば、露光期間において光学系の絞りを徐々に絞る又は開放するというような簡素な制御で、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。
　また本発明の一態様では、前記光学系は、光の透過度が可変に設定されるシャッターを含み、前記制御部は、前記露光期間において前記シャッターでの光の透過度を徐々に減少又は増加する制御を行ってもよい。
　このようにすれば、露光期間においてシャッターが徐々に透明になったり、徐々に不透明になることで、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。
　また本発明の一態様では、前記撮像部は、被写体に光を照射するライティング部を含み、前記制御部は、前記露光期間において前記ライティング部から照射される光の照射光量を徐々に減少又は増加させる制御を行ってもよい。
　このようにすれば、ライティング部での光の照射光量を制御するという簡素な制御で、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。
　また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の撮像素子を制御してもよい。
　このようにすれば、撮像部の撮像素子を制御して、画像信号の信号レベルが減少又は増加する信号変調を実現できるようになる。
　また本発明の一態様では、前記制御部は、前記撮像素子において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行ってもよい。
　このように撮像素子での蓄積電荷の転送期間を徐々に短くする又は長くする制御を行えば、撮像素子で取得される画像信号の信号レベルも徐々に減少又は増加するようになり、点像分布関数の周波数特性を改善できる。
　また本発明の一態様では、前記制御部は、前記撮像素子において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行ってもよい。
　このように撮像素子での蓄積電荷の信号に対するゲインを徐々に小さくする又は大きくする制御を行えば、撮像素子で取得される画像信号の信号レベルも徐々に減少又は増加するようになり、点像分布関数の周波数特性を改善できる。
　また本発明の一態様では、前記ブレ補正部は、信号変調された前記画像信号により表されるブレ画像から推定された点像分布関数と、前記ブレ画像とに基づいて、ブレる前の原画像を求める前記ブレ補正処理を行ってもよい。
　このようにすれば、ブレ画像から、ブレによる劣化過程が反映された点像分布関数を推定し、推定された点像分布関数によりブレ補正処理を行うことで、ブレる前の原画像を復元することが可能になる。
　また本発明の一態様では、前記ブレ補正部は、全画像領域よりも小さな画像領域において推定された前記点像分布関数に基づいて、前記全画像領域における前記原画像を求める前記ブレ補正処理を行ってもよい。
　このようにすれば、全画像領域についての点像分布関数を推定する必要がなくなるため、点像分布関数の推定処理などの処理負荷を軽減できる。
　また本発明の一態様では、前記ブレ補正部による前記ブレ補正処理が可能か否かを判定するブレ補正可否判定部を含んでもよい。
　このようにすれば、ブレ補正部によるブレ補正処理の前に、ブレ補正処理が可能か否かを判定し、ブレ補正処理が可能ではないと判定された場合には、例えばブレ補正処理前の画像を利用することなどが可能になる。
　また本発明の一態様では、前記ブレ補正可否判定部は、撮像装置の動きを検知するセンサからのセンサ情報に基づいて、前記ブレ補正処理が可能か否かを判定してもよい。
　このようにすれば、センサからのセンサ情報に基づいて、例えば撮像装置の動きが小さかったと判断された場合には、ブレ補正処理が可能であると判定し、撮像装置の動きが大きかったと判断された場合には、ブレ補正処理が可能ではないと判定できるようになる。
　また本発明の一態様では、前記ブレ補正可否判定部は、信号変調された前記画像信号により表されるブレ画像から点像分布関数を推定し、推定された前記点像分布関数に基づいて、前記ブレ補正処理が可能か否かを判定してもよい。
　このようにすれば、ブレ画像から推定された点像分布関数の大きさ等に基づいて、ブレ画像に対するブレ補正処理が可能か否かを判定できるようになる。
　また本発明の一態様では、前記ブレ補正部は、前記ブレ補正可否判定部により推定された前記点像分布関数を用いて、ブレる前の原画像を求める前記ブレ補正処理を行ってもよい。
　このようにすれば、ブレ補正可否判定処理とブレ補正処理の両方において重複して点像分布関数の推定処理が行われてしまう事態を回避できるため、処理の効率化が図れ、処理負荷を軽減できる。
　また本発明の一態様では、前記ブレ補正可否判定部により前記ブレ補正処理が可能であると判定された場合には、前記ブレ補正処理により得られた画像が撮像画像として保存され、前記ブレ補正可否判定部により前記ブレ補正処理が可能ではないと判定された場合には、前記ブレ補正処理が行われる前の画像が撮像画像として保存される記録部を含んでもよい。
　このようにすれば、ブレ補正可否判定部によりブレ補正処理が可能であると判定された場合には、ブレ補正処理により得られた画像が記録部に保存されて、この画像を撮像画像として利用できるようになる。一方、ブレ補正可否判定部によりブレ補正処理が可能ではないと判定された場合には、ブレ補正処理前の画像が記録部に保存されて、この画像を撮像画像として利用できるようになる。従って、より自然な画像を撮像画像として利用することが可能になる。
　また本発明の一態様では、前記ブレ補正処理が成功したか否かを判定するブレ補正成否判定部を含んでもよい。
　このようにすれば、ブレ補正部によるブレ補正処理の後に、ブレ補正処理が成功したか否かを判定し、ブレ補正処理に成功しなかったと判定された場合には、例えばブレ補正処理前の画像を利用することなどが可能になる。
図１（Ａ）、図１（Ｂ）は、本実施形態の撮像装置の構成例。 図２（Ａ）～図２（Ｄ）は、本実施形態の信号変調の説明図。 図３（Ａ）～図３（Ｄ）も、本実施形態の信号変調の説明図。 図４（Ａ）、図４（Ｂ）は、点像分布関数に基づく原画像の復元手法の説明図。 図５（Ａ）、図５（Ｂ）は、点像分布関数の例。 図６は、点像分布関数の１次元モデル。 図７は、図６の点像分布関数の振幅スペクトル。 図８は、階段状の点像分布関数の1次元モデル。 図９は、図８の点像分布関数の振幅スペクトル。 図１０（Ａ）、図１０（Ｂ）は、絞り、シャッター、ライティング部の制御による信号変調手法の説明図。 図１１（Ａ）、図１１（Ｂ）は、撮像素子の構成例。 図１２は、撮像素子の動作を説明するための動作タイミング図。 図１３は、撮像素子の制御による信号変調の他の例の説明図。 図１４は、推定された点像分布関数に基づく原画像の復元手法の説明図。 図１５は、本実施形態の動作を説明するためのフローチャート。 図１６は、絞りの制御による信号変調を説明するためのフローチャート。 図１７は、絞りの制御による信号変調の説明図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．構成例
　図１（Ａ）に本実施形態の撮像装置の構成例を示す。本実施形態の撮像装置は、デジタルスチルカメラやビデオカメラなどの電子カメラや、銀塩カメラであってもよいし、携帯電話機、携帯型情報端末、携帯型ゲーム機等に内蔵される撮像装置であってもよい。
　図１（Ａ）の撮像装置は撮像部１０、制御部４０、信号処理部５０を含む。また記録部６０、入出力部７０を含むことができる。撮像部１０は制御部４０、信号処理部５０に接続され、制御部４０は撮像部１０、信号処理部５０、入出力部７０に接続され、信号処理部５０は撮像部１０、制御部４０、記録部６０、入出力部７０に接続されている。
　撮像部１０は、被写体（撮像対象物）の画像を撮像するためのものであり、光学系１２、撮像素子２０、ライティング部３０を含む。
　光学系１２は、レンズ１４、絞り１６、シャッター１８を含む。レンズ１４はフォーカス調整用のフォーカスレンズやズームレンズなどである。絞り１６（絞り機構）は、光学系１２において光の量を調整するためのものであり、例えば図１（Ｂ）に示すようにレンズ１４と撮像素子２０（結像面）との間に配置される。例えば絞り１６としては、複数枚の板（絞り羽根）を重ね合わせた構造のものを用いることができる。シャッター１８としては、機械式シャッター、電子式シャッターなどを用いることができる。なお、入射光の透過度を制御する場合には、後述するように液晶シャッターなどの光の透過度（不透明度）を可変に設定できるシャッターを用いればよい。
　撮像素子２０は、被写体を撮像するための素子であり、例えばＣＣＤやＣＭＯＳセンサなどにより実現される。ライティング部３０は、被写体に光を照射するものであり、例えばＬＥＤ照明やフラッシュなどにより実現される。
　制御部４０は、撮像部１０の制御を行ったり、撮像装置全体の制御などを行う。具体的には図１（Ｂ）に示すように、撮像部１０の絞り１６、シャッター１８、撮像素子２０、ライティング部３０に対して、各々、制御信号ＳＤＩ、ＳＳＨ、ＳＩＭ、ＳＬＩを出力して制御する。
　信号処理部５０は、撮像部１０からの画像信号に対して画質向上等のための各種の信号処理を行う。この信号処理部５０はブレ補正部５２、ブレ補正可否判定部５４、ブレ補正成否判定部５６を含む。
　記録部６０は、信号処理後の画像を記録・保存するためのものである。この記録部６０は、例えばＳＲＡＭ、ＤＲＡＭ、ＥＥＰＲＯＭなどの半導体メモリや、ハードディスクなどにより実現できる。
　入出力部７０は、ユーザが各種の情報を入力したり、ユーザに対して各種の情報やスルー画像などを表示するためのものであり、例えば各種操作ボタン、各種ダイアルや、液晶パネル等の表示パネルにより実現される。
　本実施形態では撮像部１０を介して、被写体の像が画像として撮像（撮影）されると、記録部６０へ記録される。ここで撮像部１０における撮像の際に、その露光開始から露光終了までの露光期間において、例えば絞り１６、シャッター１８、撮像素子２０、ライティング３０は、各々、画像信号の信号レベルが減少又は増加していくように動作する。なお、これら各デバイス（各素子）の動作は、単体で行われてもよいし、複数のデバイスの組み合わせで行われてもよい。動作の設定については、ユーザが予め、ユーザインターフェースを介して設定しておくことができる。
　具体的には本実施形態では、撮像部１０により画像が撮像されると、制御部４０は、露光期間において撮像部１０で取得される画像信号の信号レベル（信号量）を減少又は増加させる信号変調の制御を行う。例えば画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、撮像部１０を制御する。別の言い方をすれば、制御部４０は、点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行う。なお、信号レベルが徐々に減少又は増加する信号変調は、信号レベルが段階的に減少又は増加する信号変調であってもよい。
　ここで露光期間は、撮像部１０による画像の撮像時の露光開始から露光終了までの期間であり、例えばシャッター１８が開口している期間である。なお露光期間は、光学的な露光期間には限定されない。例えば画像を撮像するための露光が実質的に行われている期間であればよく、例えば撮像素子２０による撮像画像の撮像動作が行われている期間であってもよい。また、画像信号の信号レベルが減少又は増加する信号変調は、矩形のパルス信号のように信号レベルが最小値から最大値或いは最大値から最小値に急峻に変化するような場合を含まず、例えば所与の変化率で信号レベルが徐々に（段階的に）減少又は増加するような信号変調である。
　そしてブレ補正部５２は、信号変調された画像信号に対してブレ補正処理を行う。例えば信号変調された画像信号により表されるブレ画像から、ブレる前の原画像を復元するためのブレ補正処理を行う。具体的には、ブレ画像から推定された点像分布関数と、ブレ画像とに基づいて、ブレる前の原画像を求めるブレ補正処理を行う。
　またブレ補正可否判定部５４は、ブレ補正部５２によるブレ補正処理が可能か否か（ブレ補正処理を適正に行うことが可能か否か）を判定する。そして、ブレ補正処理が可能であると判定された場合に、ブレ補正部５２はブレ補正処理を行う。そして、このようなブレ補正処理が行われると、ブレ補正成否判定部５６は、ブレ補正処理が成功したか否かを判定する。
　図２（Ａ）～図３（Ｄ）に、制御部４０の制御の下で撮像部１０等により行われる信号変調の例を示す。なお信号変調の手法は図２（Ａ）～図３（Ｄ）に限定されるものではなく、種々の変形実施が可能である。
　例えば図２（Ａ）では、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、画像信号の信号レベル（信号量）が徐々に減少している。例えば所与の変化率（傾き）で信号レベルが減少している。また図２（Ｂ）では画像信号の信号レベルが段階的に減少している。即ち階段状の波形で信号レベルが減少している。
　なお図２（Ａ）では、一定の変化率で信号レベルが減少しているが、図２（Ｃ）に示すように露光期間の途中で変化率が変化してもよい。また信号レベルの変化は、線形な変化には限定されず、図２（Ｄ）に示すような双曲線状の変化などであってもよい。また露光終了タイミングｔｅでの信号レベルは図３（Ａ）に示すように０よりも大きくてもよいし、０になってもよい。また画像信号の信号レベルは図３（Ｂ）、図３（Ｃ）に示すように、徐々に増加したり、段階的に増加するものであってもよい。この場合に露光開始タイミングｔｓでの信号レベルは０よりも大きくてもよいし、０であってもよい。また、図３（Ｄ）に示すように露光期間の途中で減少から増加に切り替わったり、増加から減少に切り替わってもよい。
　２．本実施形態の手法
　次に本実施形態の手法の原理について説明する。本実施形態では、前述した従来例よりも、より簡素な手法で、点像分布関数（PSF: Point Spread Function）の周波数特性を改善する。具体的には、撮像時の露光開始から露光終了までの露光期間で撮像される画像の各点像の信号レベル（信号量）を減少又は増加させることで、点像分布関数の周波数特性を改善する。
　例えば、従来例のような、シャッターのはためきや符号化開口による符号化方式では、符号化された点像分布関数の影響で、ブレ補正前の画像が不自然な画像になってしまう。従って、ブレ補正処理が上手く行かなかった場合には、ブレ補正前の画像も、ブレ補正後の画像も不自然な画像になるため、ユーザに対して自然な撮像画像を提供することができない。
　この点、本実施形態の手法によれば、たとえブレ補正処理に失敗した場合であっても、ブレ補正前の撮像画像をそのまま利用して、ユーザに対して提供することが可能になる。即ち本実施形態では、元の画像信号に対しては、はためきや符号化開口による符号化処理は行われておらず、図２（Ａ）～図３（Ｄ）に示すような単純な信号変調処理が行われているだけである。従って、ブレ補正処理に失敗した場合であっても、元の画像信号を利用して撮像画像としてユーザに提供できるようになる。
　また、従来例のようなシャッターをはためかせる処理では、はためきの動作機構が必要になり、符号化開口においては符号化開口素子が必要になるというように、専用のハードウェアが必要になってしまう。
　この点、本実施形態の手法では、そのような付加的なハードウェアを設けなくても済むという利点がある。
　また従来例の符号化開口等の手法では、撮像素子２０への入射光量が少なくなってしまうという問題点があるが、図２（Ａ）～図３（Ｄ）のような本実施形態の変調手法によれば、符号化開口等に比べて、入射光量の低減を抑止できるという利点がある。
　次に本実施形態による点像分布関数の周波数特性改善の原理について詳細に説明する。まず、前提となる点像分布関数及び点像分布関数に基づく原画像の復元について、図４（Ａ）、図４（Ｂ）を用いて説明する。
　図４（Ａ）においてｆ（ｘ，ｙ）はブレる前の原画像であり、ｇ（ｘ，ｙ）は撮像装置の手ブレなどにより劣化した後のブレ画像である。これらの両者の関係は、劣化過程を表す空間フィルタｈ（ｘ，ｙ）により、ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）と表される。ここで記号「＊」はたたみ込み積分を表す。この式においてｆ（ｘ，ｙ）として２次元のデルタ関数δ（ｘ，ｙ）を与えると、図４（Ａ）に示すように、劣化過程を表すｈ（ｘ，ｙ）が出力される。この劣化過程を表すｈ（ｘ，ｙ）が点像分布関数と呼ばれる。
　そしてｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）、ｈ（ｘ，ｙ）をフーリエ変換したものを、各々、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）とすると、図４（Ｂ）に示すようにＧ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ）が成り立つ。従って、Ｈｉｎｖ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）とすると、Ｈｉｎｖ（ｕ，ｖ）Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）となるため、このＦ（ｕ，ｖ）の逆フーリエ変換を求めることで、原画像ｆ（ｘ，ｙ）を復元できる。即ち、劣化過程を表す点像分布関数ｈ（ｘ，ｙ）を求めることができれば、原画像ｆ（ｘ，ｙ）の復元が可能になる。
　そして本実施形態では、図２（Ａ）～図３（Ｄ）に示すような信号変調を行うことで、点像分布関数の周波数特性を改善している。ここでは説明を簡単にするため、１次元的な点像分布関数で説明を行う。
　下式（１）は、一次元的な点像分布関数である。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｒｅｃｔ（ｘ）はｒｅｃｔ関数であり、下式（２）のように表される。
Figure JPOXMLDOC01-appb-M000002
　上式（１）のｈｓｌｏｐｅ（ｘ）は、ａ＝０の場合には単なるｒｅｃｔ関数になり、平坦なブレを表す点像分布関数になる。即ち図５（Ａ）に示すように、撮像装置又は被写体がＤＲ１方向で等速直線運動したときのブレを表す点像分布関数になる。
　図６は、上式（１）においてａ＞０として、点像分布関数の形状に一定の傾きを持たせたものを１次元的に示したものである。これは図２（Ａ）等のように信号変調を行った場合のモデルに相当する。このようにａ＞０として傾きを持たせた場合には、撮像装置又は被写体がＤＲ１方向で等速直線運動したときのブレを表す点像分布関数は、図５（Ｂ）のようになる。
　上式（１）のフーリエ変換は下式（３）のようになる。
Figure JPOXMLDOC01-appb-M000003
　上式（３）の振幅スペクトルをプロットしたものを図７に示す。図７において実線で示したものが、上式（１）において点像分布関数の形状が平坦（ａ＝０）である場合の点像分布関数の振幅スペクトルである。即ち図５（Ａ）の場合の振幅スペクトルである。この場合には、振幅スペクトルはｕ＝－５、－４、－３、－２、－１、１、２、３、４、５でゼロ点を持つ。このため、ブレ補正処理は不良設定問題となりやすく、結果としてブレ補正処理後に不自然なアーチファクトが発生してしまうなどの処理破綻が多くなる。即ち図４（Ｂ）のＨｉｎｖ（ｕ，ｖ）Ｇ（ｕ，ｖ）を求める際に処理破綻が生じる。
　一方、図７において破線や一点鎖線で示したものが、点像分布関数の形状として、平坦ではなくある一定の傾き（ａ＝０．１５、ａ＝０．３０）を持たせた場合の点像分布関数の振幅スペクトルである。即ち図５（Ｂ）の場合の振幅スペクトルである。図７から明らかなように、点像分布関数の傾きが大きくなるに従い、点像分布関数の振幅スペクトルのゼロ点が無くなって行く傾向にある。これにより、点像分布関数の周波数特性が改善し、結果として不良設定問題であったものが良設定問題化し、ブレ補正処理の際に処理破綻が生じる可能性が少なくなる。
　以上では、スロープ状に信号レベルを徐々に減少させる点像分布関数を例に説明したが、図２（Ａ）～図３（Ｄ）で説明したように本実施形態はこれに限定されず、例えば図８に示すように階段状（段階的）に信号レベルを減少させる点像分布関数であってもよい。
　図８の階段状の点像分布関数（ＰＳＦ）は下式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　上式（４）のフーリエ変換は下式（５）のようになる。
Figure JPOXMLDOC01-appb-M000005
　上式（５）の振幅スペクトルをプロットしたものを図９に示す。各種パラメータは、Ｔ＝１０［ｐｉｘｅｌ］、Ｎ＝２、４、６（３種類）、ｂ＝２／（（Ｎ－１）Ｔ）としている。
　図９において実線で示したものが、点像分布関数の形状が平坦（Ｎ＝２）である場合（即ち単なるｒｅｃｔ関数の形状である場合）の点像分布関数の振幅スペクトルである。このように振幅スペクトルは、Ｎ＝２の場合にはＮ＝４、Ｎ＝６の場合に比べて、周波数の低周波領域においてゼロ点を多く有する。このため、ブレ補正処理は不良設定問題となりやすく、結果としてブレ補正処理後に不自然なアーチファクトが発生してしまうなどの処理破綻が多くなる。
　一方、図９において破線や一点鎖線で示したものが、点像分布関数の形状が平坦ではなく、ある一定の段数で階段状の形状である場合の点像分布関数の振幅スペクトルである。具体的には破線が３段の階段状の場合であり、点鎖線が５段の階段状の場合である。図９を見れば明らかなように、点像分布関数の形状の階段の段数が多くなるにしたがい（Ｎが大きくなるにしたがい）、点像分布関数の振幅スペクトルのゼロ点が少なくなる傾向にある。このため、点像分布関数の周波数特性が改善し、結果として不良設定問題であったものが良設定問題化し、ブレ補正処理を行った際に処理破綻が生じる可能性が少なくなる。
　以上のように本実施形態の信号変調手法によれば、点像分布関数の振幅スペクトルにおいて、使用周波数帯域（撮像画像の空間周波数において必要な周波数帯域）におけるゼロ点の数を減らすことが可能になる。例えば図７において撮像装置の使用周波数帯域をＦＲＵとすると、信号レベルを減少又は増加させない場合、即ちａ＝０の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は６個になる。これに対して、図６のように信号レベルを減少（或いは増加）させる信号変調を行った場合、即ちａ＝０．１５やａ＝０．３０の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は０個になる。
　また図９において、Ｎ＝２の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は２個になる。これに対して、図８のように信号レベルを段階的に減少（或いは増加）させる信号変調を行った場合、即ちＮ＝４やＮ＝６の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は０個になる。
　このように使用周波数帯域でのゼロ点の数が減ることで、不良設定問題の発生を抑止して、ブレ補正処理を行った場合の処理破綻の可能性を低減できる。
　３．絞りの制御
　次に、本実施形態の信号変調の種々の制御手法について説明する。本実施形態では、図２（Ａ）～図３（Ｄ）のような信号変調を実現するために、図１（Ａ）の制御部４０が撮像部１０を制御する。具体的には制御部４０は、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の光学系１２（絞り１６、シャッター１８）や、撮像素子２０や、ライティング部３０などを制御する。例えば制御部４０は、露光期間において光学系１２の絞り１６を徐々に絞る又は開放する制御を行う。或いは、光学系１２が、光の透過度が可変に設定されるシャッター１８を含む場合には、制御部４０は、露光期間においてシャッター１８での光の透過度を徐々に減少又は増加する制御を行う。或いは、露光期間においてライティング部３０から照射される光の照射光量を徐々に減少又は増加させる制御を行ったり、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の撮像素子２０を制御する。
　絞り１６による信号レベルの減少制御は、図１０（Ａ）に示すように撮像時の露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間で、絞り１６を徐々に絞る制御を行うことにより実現される。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。ここで、絞り１６を絞るときの絞り速さや加速度は任意に設定できる。
　なお、図１０（Ａ）とは逆に、露光期間において絞り１６を徐々に開放することにより、撮像時の点像分布関数の周波数特性を改善してもよい。また、絞り１６を絞ったり開放したりする場合には、加速度をつけて行ってもよい。そのように絞り１６の絞りの仕方または開放の仕方を変化させることで、様々な形で画像信号の信号レベルの減少又は増加を行うことが可能になる。
　なお、露光期間において絞り１６を徐々に絞る手法は、徐々に開放する手法に比べて、露光開始タイミングｔｓでの撮像素子２０の入射光量が多くなるため、ユーザの撮影指示タイミングをより反映させた画像の撮像が可能になるという利点がある。
　４．シャッターの制御
　シャッター１８による信号レベルの減少制御は、図１０（Ｂ）に示すように、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、シャッター１８での光の透過度を徐々に減少させる制御（徐々に不透明にする制御）を行うことにより実現される。例えばシャッター１８として、透過度が可変に設定できる液晶シャッターなどを用いてその透過度を制御する。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。ここでシャッター１８の透過度を徐々に減少させる際の速さや加速度は任意に設定できる。
　なお、図１０（Ｂ）とは逆に、露光期間においてシャッター１８の透過度を徐々に増加させる制御（徐々に透明にする制御）を行うことにより、撮像時の点像分布関数の周波数特性を改善してもよい。また、シャッター１８は液晶シャッターに限定されず、例えば２つの偏光板を用意し、一方の偏光板を徐々に回転させることで、シャッター１８を通る光の透過度を制御して、画像信号の信号レベルを減少又は増加させてもよい。或いは、シャッター１８としてメカシャッターを用い、そのメカシャッターを徐々に閉じる制御等を行って本実施形態の信号変調を実現してもよい。
　５．ライティング部の制御
　ライティング部３０による信号レベルの減少制御は、図１０（Ｂ）に示すように、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、ライティング部３０からの照射光の光量を徐々に減少しながら撮影することにより実現される。例えばライティング部３０を構成するＬＥＤ照明やフラッシュの光量を徐々に減少させる制御を行う。ＬＥＤ照明の場合には、ＬＥＤ（発光素子）に流れる電流を制御することでその光量を制御できる。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。
　なお、図１０（Ｂ）とは逆に、露光期間においてライティング部３０からの照射光の光量を徐々に増加させながら撮影を行うようにしてもよい。
　６．撮像素子の制御
　本実施形態では、制御部４０が、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の撮像素子２０を制御してもよい。例えば制御部４０は、撮像素子２０において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行う。或いは撮像素子２０において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行ってもよい。
　例えば図１１（Ａ）に、ＣＭＯＳセンサである撮像素子２０の構成例を示す。この撮像素子２０は、マトリクス状に配置された複数の画素セル２００と、これらの画素セル２００の行選択を行うための垂直シフトレジスタ２１０と、画像セル２００からの信号の読み出しを行う読み出し回路２２０を含む。読み出し回路２２０は、読み出された信号を蓄積する信号蓄積部２２２と、画素セル２００の列選択を行うための水平シフトレジスタ２２４を含む。
　図１１（Ｂ）に、撮像素子２０の各画素セル２００（画素回路）の構成例を示す。この画素セル２００は、フォトダイオードＰＤ（受光素子）と、トランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＦ、ＴＳＬを含む。
　トランジスタＴＲＳＰは、フォトダイオードＰＤのリセット動作を行うためのトランジスタ（スイッチ）である。ＴＴＲは、浮遊拡散領域（ノードＮＦ）への電荷転送のタイミングを制御するためのトランジスタである。ＴＲＳＦは、浮遊拡散領域（ＮＦ）のリセット動作を行うためのトランジスタである。ＴＳＦは、ソースフォロワ動作のトランジスタである。ＴＳＬは、読み出し対象となる画素セルを選択して、その出力ノードＮＲＱに信号を出力するためのトランジスタである。
　トランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＬのゲートには、各々、制御信号ＳＲＳＰ、ＳＴＲ、ＳＲＳＦ、ＳＳＬが入力される。トランジスタＴＳＦのゲートには浮遊拡散領域のノードＮＦが接続される。トランジスタＴＲＳＰは、ＶＤＤノード（高電位側電源ノード）と電荷蓄積ノードＮＰとの間に設けられ、トランジスタＴＴＲは、浮遊拡散領域のノードＮＦと、電荷蓄積ノードＮＰとの間に設けられる。トランジスタＴＲＳＦは、ＶＤＤノードとノードＮＦとの間に設けられ、トランジスタＴＳＦ、ＴＳＬは、ＶＤＤノードと出力ノードＮＲＱとの間に直列に設けられる。
　制御部４０は、これらのトランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＬ等を制御することで、光電変換時の電荷の取得量を低減させて、画像信号の信号レベルを減少させる制御を実現する。なお撮像素子２０や画素セル２００の構成は図１１（Ａ）、図１１（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　次に図１２の動作タイミング図を用いて図１１（Ａ）、図１１（Ｂ）の撮像素子２０の詳細な動作を説明する。
　まず図１２のタイミングａで、トランジスタＴＲＳＦがオンになることで、浮遊拡散領域のノードＮＦがリセット電圧（ＶＤＤ）に設定されて、ソースフォロワのトランジスタＴＳＦのゲートがリセット電圧に設定される。
　次に、タイミングｂで、トランジスタＴＲＳＰがオンになることで、電荷蓄積ノードＮＰがリセット電圧（ＶＤＤ）に設定される。これによりフォトダイオードＰＤのリセット動作が行われ、フォトダイオードＰＤの光電効果による電荷蓄積ノードＮＰへの電荷蓄積が開始する。
　そして、所望の蓄積時間が経過すると、タイミングｃでトランジスタＴＴＲがオンになることで、フォトダイオードＰＤによる蓄積電荷が、電荷蓄積ノードＮＰから拡散浮遊領域のノードＮＦ（ＴＳＦの入力ノード）に転送される。
　その後、タイミングｄでトランジスタＴＳＬがオンになることで、浮遊拡散領域のノードＮＦに蓄積された電荷に応じた光信号成分の信号が、出力ノードＮＲＱに出力される。取り出された光信号成分の信号は、フレームバッファ等に保存される。
　本実施形態では、このようなＣＭＯＳセンサの撮像素子２０の撮像動作を、リセット用のトランジスタＴＲＳＦ、ＴＲＳＰがオンになるタイミングをずらしながら複数回行うことで実現する。
　具体的には図１２に示すように、浮遊拡散領域のリセット用のトランジスタＴＲＳＦは、タイミングａ、ａ＋Ｓ、ａ＋２Ｓ、ａ＋３Ｓ・・・・でオンになる。一方、フォトダイオードＰＤのリセット用のトランジスタＴＲＳＰは、タイミングｂ、ｂ＋（Ｓ＋ε）、ｂ＋２（Ｓ＋ε）、ｂ＋３（Ｓ＋ε）・・・・でオンになる。
　また転送トランジスタＴＴＲは、タイミングｃ、ｃ＋Ｓ、ｃ＋２Ｓ、ｃ＋３Ｓ・・・・でオンになる。選択用のトランジスタＴＳＬは、タイミングｄ、ｄ＋Ｓ、ｄ＋２Ｓ、ｄ＋３Ｓ・・・でオンになる。このような繰り返し動作により得られた光信号成分の信号は、出力ノードＮＲＱを介して読み出され、フレームバッファ内で加算される。
　このような動作制御を行えば、トランジスタＴＲＳＰによりフォトダイオードＰＤがリセットされるタイミング（ｂ、ｂ＋（Ｓ＋ε）、ｂ＋２（Ｓ＋ε）・・・）から、トランジスタＴＴＲにより蓄積電荷が転送されるタイミング（ｃ、ｃ＋Ｓ、ｃ＋２Ｓ・・・）までの期間ＴＲＱは、ｃ－ｂ－ｎεとなる（ｎ＝１、２、３・・・Ｎ）。従って、ｎが増えるにしたがって、期間ＴＲＱ＝ｃ－ｂ－ｎεは徐々に短くなる。なお、総繰り返し回数をＮ回とし、Ｎは、Ｎε＜ｃ－ｂの式を満たす自然数であるとする。
　以上のように、撮像素子２０において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間ＴＲＱを、徐々に短くする制御（又は長くする制御）を行うことで、図８等で説明したように、画像信号の信号レベルを段階的（階段状）に減少（又は増加）させる信号変調が可能になる。
　なお撮像素子２０の制御による信号変調手法としては種々の変形実施が可能である。例えば図１３のように撮像素子２０の各画素セルを構成し、撮像素子２０において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする制御（又は大きくする制御）を行ってもよい。
　具体的には図１３では、１つのフォトダイオードに対応して、複数の浮遊拡散領域を設ける構成としている。そして、撮像時の露光開始から露光終了までの露光期間を複数の期間に分け、複数の期間の各期間において、転送トランジスタを介して各浮遊拡散領域に電荷を蓄積して行くようにする。例えば、撮像時の露光開始から露光終了までの露光期間をＮ個の期間に分割する。そしてＳ番目（Ｓ＝１、２、３、・・・Ｎ）の期間にフォトダイオードに蓄積された電荷については、Ｓ番目の浮遊拡散領域（Ｓ＝１、２、３、・・・Ｎ）に転送する。そして、浮遊拡散領域１、２、・・・Ｎのそれぞれについてのソースフォロワのゲインを、各浮遊拡散領域毎に変化させることで、時間的に徐々に画像信号の信号レベルを減少させる。具体的にはＳ番目の期間にフォトダイオードに蓄積された電荷を浮遊拡散領域Ｓ（Ｓ＝１、２、・・・、Ｎ）に転送する場合、Ｓが大きくなるにしたがって、浮遊拡散領域に接続されたソースフォロワのゲインを徐々に小さくするように構成する。そして、最後にそれぞれの浮遊拡散領域に蓄積された電荷を合算し、撮像素子２０から１画素セルの画像信号として読み出す。
　なお、ここでは、信号レベルを徐々に減少させる場合について説明したが、ソースフォロワのゲインを徐々に大きくなるようにして、信号レベルを徐々に増加させるようにしてもよい。
　７．ブレ補正処理
　次に、ブレ補正処理、ブレ補正可否判定処理、ブレ補正成否判定処理の詳細について説明する。
　図１（Ａ）の撮像部１０において撮像された画像は、記録部６０に記録・保存される。記録部６０に記録・保存された画像はブレ補正可否判定部５４へ転送される。転送されるタイミングは、ユーザが撮像装置のユーザインターフェースを介して指定するようにしてもよいし、記録部６０に記録された時点で自動的にブレ補正可否判定部５４へ転送してもよい。ブレ補正可否判定部５４では、ブレ画像に対してブレ補正可能か否かを判定する処理を行う。
　具体的には、ブレ画像の撮影された点像分布関数の大きさを求め、その大きさからブレ補正可能か否かを判定する。このような手法を採用する場合、ブレていない画像が転送された場合には、ブレていないことを確認し、その後の処理を行わないようにする。
　また、例えば撮像装置の動きを検知するセンサ（ブレ検出部）が撮像装置に設けられている場合には、このセンサからのセンサ情報に基づいて、ブレ補正処理が可能か否かを判定する。例えば、センサ情報に基づいて点像分布関数を大きさを特定して、撮像された画像のブレ補正処理が可能か否かを判定する。撮像装置の動きを検知するセンサとしては、角加速度センサや加速度センサなどの動き検出センサ（モーションセンサ）を用いることができる。例えば動き検出センサからのセンサ情報に基づいて、Ｘ、Ｙ、Ｚ方向での撮像装置の移動データを取得し、取得された移動データに基づいてブレ補正処理が可能か否かを判定すればよい。
　或いは、ブレ補正可否判定部５４は、信号変調された画像信号により表されるブレ画像から点像分布関数を推定し、推定された点像分布関数に基づいて、ブレ補正処理が可能か否かを判定してもよい。
　なお、本実施形態は、上述のようなブレ補正処理の可否判定手法には限定されず、ブレ画像に対してブレ補正可能か否かを判定する処理であれば、様々な手法を採用できる。例えば、実際に点像分布関数を求め、その周波数特性を解析し、解析された周波数特性からゼロ点が多く含まれると判定した場合、ブレ補正が不可であると判定して、ブレ補正処理を行わないようにしてもよい。
　次に、点像分布関数の推定処理の一例について説明する。点像分布関数の推定は、例えば、下式（６）に示すようなエネルギー関数Ｅの最小化処理を、ブレる前の原画像、点像分布関数について行うことで実現できる。
Figure JPOXMLDOC01-appb-M000006
　上式（６）において、ｇはブレ画像、ｈは点像分布関数、ｆはブレる前の原画像、Ｌはラプラシアンフィルタの行列表現である。またｈｆおよびＬｆはそれぞれ、ブレる前の原画像に点像分布関数及びラプラシアンフィルタを畳み込む動作を表している。なお、上式（６）等において、太字はベクトルを表している。また、上式（６）において使用されるノルム（Ｌ１ノルム、Ｌ２ノルム）は、任意のベクトルｘにおいて、
Figure JPOXMLDOC01-appb-M000007
と定義される。
　上式（６）のエネルギー関数Ｅを、点像分布関数ｈ及びブレる前の原画像ｆを変化させて最小化することで、点像分布関数ｈを推定する。
　次に、エネルギー関数Ｅを用いた点像分布関数ｈの具体的な推定手法の一例について説明する。
（Ａ１）まず、はじめに、点像分布関数の初期値を決定する。点像分布関数の初期値の設定手法としては、例えば、インパルス関数状の点像分布関数などを初期の点像分布関数として設定する。その他、線ブレ状の関数を想定し、ユーザがタッチパネルなどのユーザインターフェースを介して、線ブレの長さと線ブレの方向を指定し、点像分布関数の初期値として設定してもよい。或いは、ユーザがタッチパネルなどのユーザインターフェースを介して任意形状の点像分布関数を描くことで、任意形状の点像分布関数を初期値として設定してもよい。
（Ａ２）次に、上述の（Ａ１）のように設定された点像分布関数の初期値を用いて、その点像分布関数の値を固定し、ブレる前の原画像を変数として、下式（８）のエネルギー関数Ｅを最小化し、ブレる前の原画像を求める。
Figure JPOXMLDOC01-appb-M000008
　エネルギー関数Ｅの最小化には最急降下法、ニュートン法などの凸解析法を用いる。
（Ａ３）次に、上述の（Ａ２）で求めたブレる前の原画像の値を固定し、点像分布関数の値を変数として、下式（９）のエネルギー関数Ｅを最小化し、点像分布関数を求める。エネルギー関数Ｅの最小化には最急降下法、ニュートン法などの凸解析法を用いる。
Figure JPOXMLDOC01-appb-M000009
（Ａ４）上述の（Ａ２）、（Ａ３）の処理を繰り返すことで、ブレる前の原画像及び点像分布関数を、より高精度に求める。なおこの繰り返し処理は計算量を削減するために省略することも可能である。
　以上のようにして、点像分布関数及びブレる前の原画像を求めることができる。
　ブレ補正可否判定部５４において、ブレ補正処理が可能であると判定された場合には、ブレ画像はブレ補正部５２へ転送される。ブレ補正部５２では、転送されて来たブレ画像に対してブレ補正処理を行う。
　ブレ補正部５２では、逆フィルタ、ウィナーフィルタ、Richardson&Lucy法などによるブレ補正処理を行う。ブレ補正処理には、予め点像分布関数を求めておく必要がある。点像分布関数の推定には、上述のブレ補正可否判定部５４で用いた上式（４）のエネルギー関数Ｅの最小化手法を用いることができる。従って、ブレ補正可否判定部５４で点像分布関数の推定を行っている場合は、その点像分布関数をブレ補正部５２で用いることができる。
　次に、ブレ補正処理の具体例について説明する。ここでは、逆フィルタ又はウィナーフィルタによるブレ補正処理を例にとり説明する。例えば、逆フィルタによるブレ補正処理は下式（１０）の演算を行うことで実現できる。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｉｆｆｔは逆フーリエ変換を表す。ｆｉｎｖは逆フィルタによって推定された、ブレる前の画像である。また、Ｇ、Ｈは、各々、ブレ画像、点像分布関数をフーリエ変換したものを表す。
　ウィナーフィルタによるブレ補正処理は下式（１１）の演算を行うことで実現できる。
Figure JPOXMLDOC01-appb-M000011
　ここでＨ’は、フーリエ変換係数Ｈの複素共役である。ｆｗｉｎｅｒはウィナーフィルタによって推定されたブレる前の画像であり、Ｋは任意の定数である。この定数Ｋは、周波数に応じて変化するものであっても構わない。
　また、その他の手法としては、ブレ補正可否判定部５４において点像分布関数の推定を行っている場合には、その際に、ブレる前の原画像の推定も同時に行っているので、これを用いてもよい。
　なお、ブレ補正処理の方法としては、上記手法以外の種々の手法を採用できる。例えば、High-quality Motion Deblurring from a Single ImageSIGGRAPH2008で開示された手法などを用いてもよい。
　ブレ補正部５２でブレ補正処理が行われたブレ画像は、ブレ補正成否判定部５６へ転送される。ブレ補正成否判定部５６では、ブレ補正処理後の画像をユーザに提示することにより、ユーザにブレ補正処理が適切に行われているかを判定してもらうなどする。その他、上式（４）のエネルギー関数Ｅの最小化処理を用いてブレ補正処理を行う場合は、その最終的なＥのエネルギー量が所定の値より高い場合に、ブレ補正処理が適切に行われなかったと判定してもよい。
　ブレ補正成否判定部５６において、ブレ補正部５２でブレ補正処理された画像が適切にブレ補正処理されたと判定された場合には、ブレ補正処理された画像は記録部６０へ転送されて記録・保存される。記録・保存された画像は、入出力部７０を介して様々な用途へ利用される。
　以上のように本実施形態では、ブレ補正部５２は、ブレ画像から点像分布関数を推定し、推定された点像分布関数とブレ画像とに基づいて、ブレる前の原画像を求めるブレ補正処理を行う。
　この場合に図１４に示すように、例えばブレ補正部５２は、全画像領域ＲＡＬよりも小さな画像領域ＲＰＴにおいて推定された点像分布関数ｈに基づいて、全画像領域ＲＡＬにおける原画像を求めるブレ補正処理を行ってもよい。
　即ち上式（１０）、（１１）のように、ブレ画像ｇのフーリエ変換Ｇと、点像分布関数ｈのフーリエ変換Ｈから、逆フーリエ変換により原画像ｆを求める場合に、全画像領域ＲＡＬにおいて点像分布関数ｈのフーリエ変換Ｈを求めて、原画像ｆ（ｆｉｎｖ、ｆｗｉｎｅｒ）を復元しようとすると、処理負荷が重くなる可能性がある。
　一方、撮像装置の手ブレを主な画像劣化の要因とする点像分布関数は、各画像領域において局所的に異なることはなく、一定の形状を有していると考えられる。
　そこで、例えば上述した（Ａ１）～（Ａ４）の手法（式（６）等を用いたエネルギー関数Ｅの最小化手法）により、図１４の所望の画像領域ＲＰＴでの点像分布関数ｈを推定する。点像分布関数ｈを推定する画像領域ＲＰＴとしては、例えばコントラストが高い領域や、エッジ成分が多い領域を設定し、この画像領域ＲＰＴでの画像を用いて点像分布関数ｈを推定する。こうすることで、撮像装置の手ブレが、より反映された画像を用いて、点像分布関数ｈを推定できるようになり、推定の精度を向上できる。
　そして、このようにして推定された点像分布関数ｈのフーリエ変換Ｈを求め、これを上式（１０）、（１１）に代入して逆フーリエ変換を行うことで、原画像ｆを復元する。こうすることで、より少ない処理負荷で、原画像ｆを復元できるようになる。
　また本実施形態では、ブレ補正可否判定部５４が、ブレ補正部５２によるブレ補正処理が可能か否かを判定する。具体的には、上述の（Ａ１）～（Ａ４）で説明したようにブレ補正可否判定部５４は、ブレ画像ｇ（信号変調された画像信号により表される画像）から点像分布関数ｈを推定し、推定された点像分布関数ｈに基づいて、ブレ補正処理が可能か否かを判定する。
　この時、ブレ補正部５２が、ブレ補正処理の際に、再度、点像分布関数ｈの推定処理を行うと、二重に処理が行われることになってしまい無駄である。
　そこでこの場合にはブレ補正部５２は、ブレ補正可否判定部５４により推定された点像分布関数ｈを用いて、ブレる前の原画像を求めるブレ補正処理を行う。こうすることで、無駄な処理が行われてしまう事態を防止でき、処理の効率化を図れる。
　また本実施形態では、ブレ補正可否判定部５４によりブレ補正処理が可能であると判定された場合に、ブレ補正処理により得られた画像が、撮像画像として記録部６０（記憶部）に保存される。具体的には、ブレ補正可否判定部５４によりブレ補正処理が可能であると判定され、且つ、ブレ補正成否判定部５６により、ブレ補正処理が成功したと判定された場合に、ブレ補正処理により得られた画像が、記録部６０に保存される。
　一方、ブレ補正可否判定部５４によりブレ補正処理が可能ではないと判定された場合には、ブレ補正処理が行われる前の画像が、撮像画像として記録部６０に保存される。またブレ補正成否判定部５６により、ブレ補正処理が失敗した判定された場合にも、ブレ補正処理が行われる前の画像が、撮像画像として記録部６０に保存される。
　即ち、前述のようにシャッターのはためきや符号化開口による符号化処理を行う従来例では、ブレ補正処理を行う前の画像が、この符号化処理により不自然な画像になってしまう。従って、ブレ補正可否判定部５４によりブレ補正処理が可能ではないと判定されたり、ブレ補正成否判定部５６によりブレ補正処理が失敗であったと判定された場合には、ユーザに対して提示すべき自然な画像が存在しなくなってしまう。
　これ対して本実施形態では、ブレ補正処理が行われる前の画像は、図２（Ａ）～図３（Ｄ）に示すような簡素な信号変調が行われただけの画像である。従って、このブレ補正処理が行われる前の画像を、撮像画像として記録部６０に保存しておくことで、ブレ補正処理が可能ではないと判定された場合や、ブレ補正処理が失敗したと判定された場合にも、保存された撮像画像をユーザに対して提示できるようになる。
　８．処理フロー
　次に、本実施形態の処理フローについて図１５、図１６のフローチャートを用いて説明する。
　まず図１５のステップＳ１では、撮影のオプション設定を行う（オプション設定１）。例えばこのオプション設定は、予めユーザが撮像装置のユーザインターフェースを介して行う。
　具体的には、絞り１６の制御を行うかのオプションのオン／オフや、シャッター１８の制御を行うかのオプションのオン／オフや、撮像素子２０の制御を行うかのオプションのオン／オフや、ライティング部３０の制御を行うかのオプションのオン／オフの設定を行う。
　更に具体的な撮影オプションの設定としては、撮影時のシャッター速度の設定、及びそれに応じて絞り１６の制御を行う場合は、絞り１６の制御時の初期の開口値、撮影時の絞り１６の動作期間、絞り１６の動作軌跡などのパラメータを設定する。
　シャッター１８の制御を行う場合は、シャッター１８の制御時の初期の透過度（不透明度）、撮影時のシャッター１８の動作期間、シャッター１８の透過度の動作軌跡などのパラメータを設定する。
　撮像素子２０の制御を行う場合は、撮像素子２０の動作期間、撮像期間中の信号読み出しの回数（前述のＮ）、フォトダイオードのリセットタイミング制御パラメータ（前述のε）などのパラメータを設定する。
　ライティング部３０の制御を行う場合は、ライティング部３０の制御時の初期の照射光量、撮影時のライティング部３０の動作期間、ライティング部３０の照射光量の光量制御軌跡などのパラメータを設定する。
　なお、これらのパラメータ値の設定は、その値を組として、いくつかのモードに分けた上でユーザに提示し、それをユーザが選ぶと言う形式にしてもよい。
　ステップＳ２では、撮影中に取得する画像信号の信号レベルを徐々に減少する第１のモードと、徐々に増加する第２のモードのいずれを用いるのかを設定する（オプション設定２）。
　ステップＳ３では、撮像装置の撮像部１０で撮影を開始する。そしてステップＳ２において、画像信号の信号レベルを減少させる第１のモードを設定した場合には、ステップＳ３では、撮影中に画像信号の信号レベルが徐々に減少するように撮影を行う。具体的には、ステップＳ１で絞り１６のオプション設定をオンにした場合には、絞りを徐々に絞りながら撮影する。また、シャッター１８のオプション設定をオンにした場合には、シャッター１８を徐々に不透明にしながら（徐々に閉じながら）、撮影する。また、撮像素子２０のオプション設定をオンにした場合には、撮像素子２０に蓄積される電荷量（電荷転送期間やゲイン）を徐々に減少させながら撮影する。また、ライティング部３０のオプション設定をオンにした場合には、ライティング部３０により照射される光の光量を徐々に減少させながら撮影する。
　一方、ステップＳ２で画像信号の信号レベルを徐々に増加させる第２のモードを設定した場合には、ステップＳ３では、撮影中に画像信号の信号レベルが徐々に増加するように撮影を行う。具体的には、ステップＳ１で絞り１６のオプション設定をオンにした場合には、絞りを徐々に開放しながら撮影する。また、シャッター１８のオプション設定をオンにした場合には、シャッターを徐々に透明にしながら（徐々に開きながら）、撮影する。また、撮像素子２０のオプション設定をオンにした場合には、撮像素子２０に蓄積される電荷量（電荷転送期間やゲイン）を徐々に増加させながら撮影する。また、ライティング部３０のオプション設定をオンにした場合には、ライティング部３０により照射される光の光量を徐々に増加させながら撮影する。
　図１５のステップＳ３の処理の具体例を図１６のフローチャートを用いて説明する。図１６は、図１０（Ａ）のように撮影時に絞り１６で信号変調を行う場合のフローチャートである。
　図１６のステップＳ１１では、図１５のステップＳ１で設定した絞り１６の初期の開口値に基づいて、絞りをその開口値となるように設定しておく。即ちＦ値を、図１７の時刻ｔｓのＦ１に設定する。
　ステップＳ１２で、ユーザがボタンを押下して撮影を開始すると、ステップＳ１３で、絞りの動作が開始する。この場合に、絞りのＦ値は図１７の時刻ｔに対応する値になる。この絞り動作では、図１５のステップＳ１で設定した絞り１６の動作軌跡にしたがって開口値が制御される。
　ステップＳ１４でシャッターが開き、撮影露光後に、ステップＳ１５でシャッターが閉じ、撮影を終了する。そしてステップＳ１６で絞り動作が終了する。この時、Ｆ値は、時刻ｔｅのＦ２に設定される。絞り１６の動作期間Ｔ＝ｔｓ－ｔｅは、図１６のステップＳ１で設定された絞り１６の動作期間である。
　なおステップＳ１３とステップＳ１４は、その処理の順番を入れ替えてもよい。またステップＳ１５とステップＳ１６も、その処理の順番を入れ替えてもよい。
　以上が、絞り１６の制御を例にとった撮影時の撮像部１０の動作説明である。
　図１５の説明に戻る。図１５のステップＳ４では、ステップＳ３で撮影された画像が記録部６０に記録保存される。
　ステップＳ５では、ブレ補正処理の可否判定を行う。可否判定の結果、ブレ補正処理が可能であると判定された場合にはステップＳ６に進む。それ以外の場合は処理を終了する。
　ステップＳ６では、ブレ補正処理を行う。ステップＳ７では、ステップＳ６でブレ補正処理が施されたブレ補正画像に対して、施されたブレ補正処理の成否判定を行う。成否判定の結果、ブレ補正処理が成功したと判定された場合には、ステップＳ８に進む。それ以外の場合は処理を終了する。
　ステップＳ８では、ステップＳ７でブレ補正処理が成功したと判定されたブレ補正画像が、記録部６０に記録保存される。そしてステップＳ８の終了後、処理を終了する。
　以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１０　撮像部、１２　光学系、１４　レンズ、１６　絞り、１８　シャッター、
２０　撮像素子、３０　ライティング部、４０　制御部、５０　信号処理部、
５２　ブレ補正部、５４　ブレ補正可否判定部、５６　ブレ補正成否判定部、
６０　記録部、７０　入出力部、
２００　画素セル、２１０　垂直シフトレジスタ、２２０　読み出し回路、
２２２　信号蓄積部、２２４　水平シフトレジスタ、
ＴＲＳＰ　フォトダイオードのリセット用トランジスタ、
ＴＲＳＦ　浮遊拡散領域のリセット用トランジスタ、
ＴＴＲ　転送トランジスタ、ＴＳＦ　ソースフォロワ動作のトランジスタ、
ＴＳＬ　選択用トランジスタ

Claims (19)

  1. 　撮像部により画像を撮像する撮像装置であって、
    　前記撮像部による画像の撮像時の露光開始から露光終了までの露光期間において、前記撮像部で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部と、
    　信号変調された前記画像信号に対してブレ補正処理を行うブレ補正部と、
    　を含むことを特徴とする撮像装置。
  2. 　請求項１において、
    　前記制御部は、
    　前記露光期間において前記画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、前記撮像部を制御することを特徴とする撮像装置。
  3. 　請求項１において、
    　前記制御部は、
    　前記露光期間において前記画像信号の信号レベルが段階的に減少又は増加する信号変調が行われるように、前記撮像部を制御することを特徴とする撮像装置。
  4. 　請求項１乃至３のいずれかにおいて、
    　前記制御部は、
    　点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行うことを特徴とする撮像装置。
  5. 　請求項１乃至４のいずれかにおいて、
    　前記制御部は、
    　前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の光学系を制御することを特徴とする撮像装置。
  6. 　請求項５において、
    　前記制御部は、
    　前記露光期間において前記光学系の絞りを徐々に絞る又は開放する制御を行うことを特徴とする撮像装置。
  7. 　請求項５又は６において、
    　前記光学系は、光の透過度が可変に設定されるシャッターを含み、
    　前記制御部は、
    　前記露光期間において前記シャッターでの光の透過度を徐々に減少又は増加する制御を行うことを特徴とする撮像装置。
  8. 　請求項１乃至７のいずれかにおいて、
    　前記撮像部は、被写体に光を照射するライティング部を含み、
    　前記制御部は、
    　前記露光期間において前記ライティング部から照射される光の照射光量を徐々に減少又は増加させる制御を行うことを特徴とする撮像装置。
  9. 　請求項１乃至８のいずれかにおいて、
    　前記制御部は、
    　前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の撮像素子を制御することを特徴とする撮像装置。
  10. 　請求項９において、
    　前記制御部は、
    　前記撮像素子において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行うことを特徴とする撮像装置。
  11. 　請求項９において、
    　前記制御部は、
    　前記撮像素子において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行うことを特徴とする撮像装置。
  12. 　請求項１乃至１１のいずれかにおいて、
    　前記ブレ補正部は、
    　信号変調された前記画像信号により表されるブレ画像から推定された点像分布関数と、前記ブレ画像とに基づいて、ブレる前の原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
  13. 　請求項１２において、
    　前記ブレ補正部は、
    　全画像領域よりも小さな画像領域において推定された前記点像分布関数に基づいて、前記全画像領域における前記原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
  14. 　請求項１乃至１３のいずれかにおいて、
    　前記ブレ補正部による前記ブレ補正処理が可能か否かを判定するブレ補正可否判定部を含むことを特徴とする撮像装置。
  15. 　請求項１４において、
    　前記ブレ補正可否判定部は、
    　撮像装置の動きを検知するセンサからのセンサ情報に基づいて、前記ブレ補正処理が可能か否かを判定することを特徴とする撮像装置。
  16. 　請求項１４において、
    　前記ブレ補正可否判定部は、
    　信号変調された前記画像信号により表されるブレ画像から点像分布関数を推定し、推定された前記点像分布関数に基づいて、前記ブレ補正処理が可能か否かを判定することを特徴とする撮像装置。
  17. 　請求項１６において、
    　前記ブレ補正部は、
    　前記ブレ補正可否判定部により推定された前記点像分布関数を用いて、ブレる前の原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
  18. 　請求項１４乃至１７のいずれかにおいて、
    　前記ブレ補正可否判定部により前記ブレ補正処理が可能であると判定された場合には、前記ブレ補正処理により得られた画像が撮像画像として保存され、前記ブレ補正可否判定部により前記ブレ補正処理が可能ではないと判定された場合には、前記ブレ補正処理が行われる前の画像が撮像画像として保存される記録部を含むことを特徴とする撮像装置。
  19. 　請求項１乃至１８のいずれかにおいて、
    　前記ブレ補正処理が成功したか否かを判定するブレ補正成否判定部を含むことを特徴とする撮像装置。
PCT/JP2011/065439 2010-07-16 2011-07-06 撮像装置 WO2012008337A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/721,511 US9332183B2 (en) 2010-07-16 2012-12-20 Imaging device and method of controlling imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-161280 2010-07-16
JP2010161280A JP5523231B2 (ja) 2010-07-16 2010-07-16 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/721,511 Continuation US9332183B2 (en) 2010-07-16 2012-12-20 Imaging device and method of controlling imaging device

Publications (1)

Publication Number Publication Date
WO2012008337A1 true WO2012008337A1 (ja) 2012-01-19

Family

ID=45469340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065439 WO2012008337A1 (ja) 2010-07-16 2011-07-06 撮像装置

Country Status (3)

Country Link
US (1) US9332183B2 (ja)
JP (1) JP5523231B2 (ja)
WO (1) WO2012008337A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024079997A1 (ja) * 2022-10-12 2024-04-18 株式会社ジャパンディスプレイ 液晶光シャッタおよび撮像装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2666819C2 (ru) * 2013-05-24 2018-09-12 Филипс Лайтинг Холдинг Б.В. Обнаружение кодированного света
JP2015204566A (ja) * 2014-04-15 2015-11-16 株式会社東芝 カメラシステム
JP6333076B2 (ja) 2014-06-06 2018-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
US10660533B2 (en) 2014-09-30 2020-05-26 Rapsodo Pte. Ltd. Remote heart rate monitoring based on imaging for moving subjects
KR101596203B1 (ko) * 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
JP6789620B2 (ja) * 2015-10-08 2020-11-25 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP7443034B2 (ja) * 2019-11-29 2024-03-05 キヤノン株式会社 撮像装置、撮像アクセサリ、および、中間アクセサリ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333061A (ja) * 2005-05-26 2006-12-07 Sanyo Electric Co Ltd 手ぶれ補正装置
JP2008249941A (ja) * 2007-03-30 2008-10-16 Canon Inc 画像振れ補正装置および撮像装置
JP2009171341A (ja) * 2008-01-17 2009-07-30 Sanyo Electric Co Ltd ぶれ補正装置及び撮像装置
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置
JP2010050745A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置およびその方法
JP2011078074A (ja) * 2009-09-04 2011-04-14 Canon Inc 撮像装置およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2502282B2 (ja) 1985-03-29 1996-05-29 キヤノン株式会社 防振光学系
JPH0628406B2 (ja) 1985-04-18 1994-04-13 松下電器産業株式会社 撮影装置
US4713697A (en) 1985-04-18 1987-12-15 Matsushita Electric Industrial Co., Ltd. Camera apparatus
JP3129069B2 (ja) 1992-12-28 2001-01-29 ミノルタ株式会社 画像記録・再生システム及び撮影装置
US20030099467A1 (en) 1992-12-28 2003-05-29 Manabu Inoue Image recording and reproducing system capable or correcting an image deterioration
JPH06276512A (ja) 1993-03-22 1994-09-30 Matsushita Electric Ind Co Ltd 画像通信装置
JP3188089B2 (ja) 1994-02-10 2001-07-16 オリンパス光学工業株式会社 ブレ情報記録カメラ
JP2004361486A (ja) * 2003-06-02 2004-12-24 Nikon Corp デジタルスチルカメラ
US7580620B2 (en) 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333061A (ja) * 2005-05-26 2006-12-07 Sanyo Electric Co Ltd 手ぶれ補正装置
JP2008249941A (ja) * 2007-03-30 2008-10-16 Canon Inc 画像振れ補正装置および撮像装置
JP2009171341A (ja) * 2008-01-17 2009-07-30 Sanyo Electric Co Ltd ぶれ補正装置及び撮像装置
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置
JP2010050745A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置およびその方法
JP2011078074A (ja) * 2009-09-04 2011-04-14 Canon Inc 撮像装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024079997A1 (ja) * 2022-10-12 2024-04-18 株式会社ジャパンディスプレイ 液晶光シャッタおよび撮像装置

Also Published As

Publication number Publication date
US20130107063A1 (en) 2013-05-02
JP5523231B2 (ja) 2014-06-18
JP2012023650A (ja) 2012-02-02
US9332183B2 (en) 2016-05-03

Similar Documents

Publication Publication Date Title
JP5523231B2 (ja) 撮像装置
US9215370B2 (en) Digital photographing apparatus and method of controlling the same to increase continuous shooting speed for capturing panoramic photographs
JP4567593B2 (ja) 撮像装置および撮影方法
JP5102374B2 (ja) 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
US8994849B2 (en) Method and apparatus for increasing dynamic range of image by using electronic shutter
TWI446098B (zh) 成像裝置及其快門驅動模式選擇方法
JP6124538B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2019097213A (ja) 撮像装置、画像データの取得方法及びプログラム
JP2007300595A (ja) 静止画像撮影の手ブレ回避方法
CN102428694B (zh) 摄像装置以及图像处理装置
JP5746521B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
JP2012039326A (ja) 画像復元装置および画像復元方法
US9258496B2 (en) Digital photographing apparatus and method of controlling the same
JP5976315B2 (ja) 撮像装置
KR20070120012A (ko) 촬상 장치 및 촬상 방법
JP2018148512A (ja) 撮像装置と撮像装置の制御方法、及びプログラム
JP5947625B2 (ja) 撮像装置、及びその制御方法
US20200068158A1 (en) Imaging apparatus
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
KR20130094121A (ko) 하이브리드 포컬 플레인 셔터 조립체를 구비한 촬상장치 및 촬상방법
JP2013128184A (ja) 撮像装置及び撮像方法
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems
KR102089981B1 (ko) 영상처리장치, 영상처리방법 및 프로그램
JP2009089228A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11806667

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11806667

Country of ref document: EP

Kind code of ref document: A1