WO2014050189A1 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2014050189A1
WO2014050189A1 PCT/JP2013/061842 JP2013061842W WO2014050189A1 WO 2014050189 A1 WO2014050189 A1 WO 2014050189A1 JP 2013061842 W JP2013061842 W JP 2013061842W WO 2014050189 A1 WO2014050189 A1 WO 2014050189A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject distance
unit
lens
restoration
restoration filter
Prior art date
Application number
PCT/JP2013/061842
Other languages
English (en)
French (fr)
Inventor
遠藤　宏
林　健吉
入江　公祐
洋介 成瀬
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201380049879.2A priority Critical patent/CN104685863B/zh
Priority to DE112013004760.8T priority patent/DE112013004760B4/de
Priority to JP2014538218A priority patent/JP5746795B2/ja
Publication of WO2014050189A1 publication Critical patent/WO2014050189A1/ja
Priority to US14/661,361 priority patent/US9363430B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0905—Dividing and/or superposing multiple light beams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Definitions

  • the present invention relates to an imaging apparatus and an image processing method, and more particularly, to an imaging apparatus and an image processing method for performing point image restoration processing of an image captured based on a point spread function (PSF).
  • PSF point spread function
  • the characteristics of deterioration (PSF) due to aberrations of the photographing lens are obtained in advance, and the restored image is created based on the PSF. Is a process of restoring the original image with a high resolution by performing a filtering process using.
  • Patent Literature 1 an imaging state including a subject distance is acquired, a restoration filter corresponding to the imaging state is obtained for each restoration area of the degraded image, and a degradation image is obtained for each restoration area using the degradation image and the restoration filter.
  • An image processing apparatus to be restored is described. Since PSF changes depending on the type of lens, zoom magnification, F number, subject distance, angle of view (image height), etc., it is necessary to prepare a large number of restoration filters.
  • the image processing apparatus described in Patent Document 1 includes a memory that holds a plurality of restoration filter lists corresponding to combinations of lens types, zoom magnifications, and F numbers.
  • Each restoration filter list includes a plurality of restoration filter tables classified by subject distance, and the restoration filter table holds a restoration filter (a determinant of filter coefficients constituting the restoration filter) for each image height (restoration region).
  • FIG. 3 of Patent Document 1 The image processing apparatus described in Patent Document 1 includes a memory that holds a plurality of restoration filter lists corresponding to combinations of lens types, zoom magnifications, and F numbers.
  • Each restoration filter list includes a plurality of restoration filter tables classified by subject distance, and the restoration filter table holds a restoration filter (a determinant of filter coefficients constituting the restoration filter) for each image height (restoration region).
  • the optimum restoration filter corresponding to the lens type, zoom magnification, F number, subject distance, angle of view (image height), etc. is selected, and the selected restoration filter is selected.
  • a large number of restoration filters must be stored in the memory, which increases the memory capacity.
  • Patent Document 1 describes that a plurality of restoration filters are held discretely, and a restoration filter corresponding to an intermediate value is generated by interpolation, thereby reducing the capacity of a memory holding the restoration filter.
  • the present invention has been made in view of such circumstances, and can reduce the number of restoration filters retained in advance when performing restoration processing of an image captured using a restoration filter corresponding to the subject distance.
  • An object of the present invention is to provide an imaging apparatus and an image processing method capable of improving the resolution by the restoration process.
  • an imaging apparatus includes an imaging unit that captures an image of a subject formed by a photographic lens and acquires an image indicating the subject image, and when the imaging unit captures an image.
  • One or more restorations selected from a plurality of restoration filters created on the basis of a first object distance estimation unit for obtaining a subject distance estimated by the focus detection unit and a point spread function of at least a photographing lens corresponding to the subject distance
  • a restoration filter storage unit that stores a filter, and a restoration filter selection unit that selects a restoration filter corresponding to the subject distance from the restoration filter stored in the restoration filter storage unit based on the subject distance estimated by the first subject distance estimation unit
  • a restoration processing unit that performs restoration processing of the image acquired by the imaging unit using the restoration filter selected by the restoration filter selection unit,
  • the original filter storage unit adds the maximum estimation variation on the infinity side of the range of estimation variation with respect to the closest subject distance to the closest subject distance estimated by the first subject distance estimation unit.
  • the restoration filter storage unit stores a plurality of restoration filters created based on at least the point spread function of the photographing lens corresponding to the subject distance. Instead of storing a plurality of restoration filters created over the entire range, one or more restoration filters selected from the plurality of restoration filters are stored. That is, the restoration filter storage unit estimates the range of estimation variation for the subject distance estimated by the first subject distance estimation unit with respect to the closest subject distance estimated by the first subject distance estimation unit. A restoration filter corresponding to the range of the subject distance (hereinafter referred to as “estimated variation close distance”) and the infinite distance is stored.
  • the point spread function (PSF) varies depending on the subject distance, and the PSF on the near side has a wider shape than the PSF on the infinity side. As a result, the restoration filter closer to the infinity side is prepared in advance to perform stronger restoration processing.
  • Restoration filters in the range closer to the estimated variation near distance may perform restoration processing that is overcorrected. Therefore, by storing only the restoration filter corresponding to the range of the subject distance between the estimated variation close distance and infinity, and not having the restoration filter in the range closer to the estimated variation close distance from the beginning. The number of restoration filters to be stored in the restoration filter storage unit is reduced.
  • the first subject distance estimation unit estimates the subject distance based on the lens position of the focus lens of the photographing lens.
  • the photographic lens is an interchangeable lens
  • the maximum estimation variation on the infinity side of the estimation variation range with respect to the subject distance estimated by the first subject distance estimation unit is , At least one of estimated variation due to individual differences of interchangeable lenses and estimated variation due to temperature characteristics of the interchangeable lenses.
  • an estimation variation acquisition unit that acquires the maximum estimation variation on the infinity side of the range of estimation variation with respect to the subject distance estimated by the first subject distance estimation unit;
  • a second subject distance estimation unit that calculates a subject distance obtained by adding the maximum estimation variation on the infinity side acquired by the estimation variation acquisition unit to the subject distance estimated by the first subject distance estimation unit;
  • the unit selects a restoration filter on the infinity side closest to the subject distance calculated by the second subject distance estimation unit among the one or more restoration filters stored in the restoration filter storage unit.
  • the subject distance is estimated by the first subject distance estimation unit, and the maximum estimation variation on the infinity side in the range of variation (estimation variation) with respect to the estimated subject distance is acquired by the estimation variation acquisition unit.
  • a subject distance is calculated by adding the subject distance estimated by the first subject distance estimation unit and the maximum estimation variation on the infinity side acquired by the estimation variation acquisition unit.
  • the calculated subject distance is the subject distance when the estimated subject distance varies most toward the infinity side. Then, when selecting a restoration filter to be used for restoration processing from one or more restoration filters corresponding to the subject distance stored in the restoration filter storage unit, restoration corresponding to the infinity side closest to the calculated subject distance is performed. Select a filter.
  • restoration filter that corresponds to the infinity side closest to the subject distance when the estimated subject distance varies to the infinity side
  • restoration corresponding to the subject distance when the infinity side varies
  • a filter or a restoration filter that performs restoration processing weaker than that can be selected.
  • the photographing lens is an interchangeable lens including a restoration filter storage unit.
  • the restoration filter corresponding to the lens can be acquired from the restoration filter storage unit on the lens side without providing the restoration filter storage unit stage on the imaging device main body side.
  • the photographing lens is an interchangeable lens
  • the estimated variation acquisition unit is configured to reduce estimated variation due to individual differences between the interchangeable lens and the estimated lens due to temperature characteristics of the interchangeable lens. It is preferable to acquire at least one of them.
  • the photographing lens is an interchangeable lens
  • the estimation variation acquiring unit includes a lens information acquiring unit that acquires lens information of the interchangeable lens from the mounted interchangeable lens, and a plurality of information It is preferable to have an estimated variation storage unit that stores estimated variation for each interchangeable lens, and to acquire the estimated variation corresponding to the lens information acquired by the lens information acquisition unit from the estimated variation storage unit.
  • the imaging apparatus it is preferable to include a recording unit that records an image obtained by the restoration processing by the restoration processing unit.
  • an image acquisition step of acquiring an image showing a subject image from an imaging unit having a photographic lens, and a subject distance estimated by a focus detection unit during imaging by the imaging unit are obtained.
  • a subject distance estimation step, and a step of preparing a restoration filter storage unit that stores at least one restoration filter selected from a plurality of restoration filters created based on at least a point spread function of a photographing lens corresponding to the subject distance A restoration filter selection step for selecting a restoration filter corresponding to the subject distance from the restoration filter stored in the restoration filter storage unit based on the subject distance estimated by the first subject distance estimation step, and a selection by the restoration filter selection step
  • the original filter storage unit includes a range of estimation variations with respect to the subject distance estimated by the first subject distance estimation step with respect to the closest subject distance to the closest subject distance estimated by the first subject distance estimation step. Is stored in the range of the subject distance between the subject distance obtained by adding
  • the restoration filter within the range closer to the estimated variation close distance is not provided from the beginning, thereby reducing the number of restoration filters held in advance. Note that it is preferable not to use these restoration filters because restoration filters within the range closer to the estimated variation closest distance may perform restoration processing that is overcorrected.
  • FIG. 1 is an external view of an imaging apparatus which is one embodiment of the present invention.
  • FIG. 2 is a rear view of the imaging device shown in FIG.
  • FIG. 3 is a principal block diagram of the imaging apparatus shown in FIG.
  • FIG. 4 is a diagram showing a flow of contrast autofocus processing.
  • FIG. 5 is a diagram illustrating contrast autofocus.
  • FIG. 6 is a principal block diagram of the focus lens control unit.
  • FIG. 7 is a principal block diagram of a main CPU and a digital signal processing unit that perform point image restoration processing.
  • FIG. 8 is a diagram for explaining how to store and select the restoration filter in the first embodiment of the present invention.
  • FIG. 9 is a diagram for explaining how to store and select the restoration filter according to the first embodiment of the present invention.
  • FIG. 1 is an external view of an imaging apparatus which is one embodiment of the present invention.
  • FIG. 2 is a rear view of the imaging device shown in FIG.
  • FIG. 3 is a principal block diagram of the imaging apparatus shown in FIG
  • FIG. 10 is a diagram for explaining how to store and select the restoration filter in the first embodiment of the present invention.
  • FIG. 11 is a diagram for explaining how to store and select a restoration filter according to the second embodiment of the present invention.
  • FIG. 12 is a diagram for explaining how to store and select the restoration filter according to the second embodiment of the present invention.
  • FIG. 13 is a diagram for explaining how to store and select a restoration filter according to the second embodiment of the present invention.
  • FIG. 14 is an external view of a smartphone that is another embodiment of the imaging apparatus.
  • FIG. 15 is a block diagram illustrating a main configuration of the smartphone.
  • FIG. 1 is a perspective view showing an appearance of an imaging apparatus 100 according to one aspect of the present invention.
  • the imaging device 100 includes an imaging device body 200 and a lens device 300 that is replaceably attached to the imaging device body 200.
  • the imaging apparatus main body 200 and the lens apparatus 300 include a mount 246 (transmission means and reception means) provided in the imaging apparatus main body 200 and a mount 346 (reception means and transmission means) on the lens apparatus 300 side corresponding to the mount 246 ( 3) and are interchangeably mounted.
  • a flash 240 is provided on the front surface of the imaging apparatus main body 200, and a release button 220-1 and a shooting mode setting dial 220-2 are provided on the upper surface.
  • the mount 246 is provided with a terminal 247 (transmission means, reception means), and the mount 346 is provided with a terminal 347 (transmission means, reception means) (see FIG. 3).
  • the corresponding terminal 247 and terminal 347 come into contact with each other to enable communication.
  • the terminals 247 and 347 in FIGS. 1 and 3 are conceptually shown, and the position and number of terminals in the present invention are not limited to those in these drawings.
  • a monitor 212, a cross button 260, a MENU / OK button 265, a playback button 270, a BACK button 275, and the like are disposed on the back of the imaging apparatus main body 200.
  • the imaging apparatus 100 may be an interchangeable lens imaging apparatus or a lens fixed imaging apparatus.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging apparatus 100.
  • the operation of the imaging apparatus 100 is controlled by the main CPU 214 of the imaging apparatus body 200 and the lens CPU 340 of the lens apparatus 300.
  • Programs (including a program for driving the zoom lens ZL, the focus lens FL, and the aperture I) and data necessary for the operation of the main CPU 214 are stored in the flash ROM 226 and ROM 228 in the imaging apparatus main body 200, and the lens CPU 340
  • a program including a program for driving the zoom lens ZL, the focus lens FL, and the aperture I
  • data necessary for the above operation are stored in the ROM 344 in the lens CPU 340.
  • the imaging apparatus main body 200 is provided with an operation unit 220 including a playback button, a MENU / OK key, a cross key, a BACK key, and the like.
  • an operation unit 220 including a playback button, a MENU / OK key, a cross key, a BACK key, and the like.
  • a signal from the operation unit 220 is input to the main CPU 214.
  • the main CPU 214 controls each circuit of the imaging apparatus main body 200 based on the input signal, and mount 246 (transmitting unit, receiving unit, lens information acquiring unit) and mount communication. Signals are transmitted / received to / from the lens apparatus 300 via the unit 250 (transmission unit, reception unit, lens information acquisition unit).
  • the above-described terminals include, for example, a grounding terminal, a synchronization signal terminal, a serial communication terminal, a control status communication terminal, and a power supply terminal from the battery 242 of the imaging apparatus main body 200 to each part of the lens apparatus 300.
  • the subject light is imaged on the light receiving surface of the imaging element 202 of the imaging apparatus main body 200 via the zoom lens ZL, the focus lens FL, and the aperture stop I of the lens apparatus 300.
  • the image sensor 202 is a CMOS type, but is not limited to a CMOS type and may be a CCD type.
  • the focus lens FL, the zoom lens ZL, and the aperture I are driven by the zoom lens control unit 310, the focus lens control unit 320 (lens driving unit), and the aperture control unit 330 that are controlled by the lens CPU 340, and focus control / zoom control is performed. ⁇ Aperture control is performed.
  • the zoom lens control unit 310 moves the zoom lens ZL in the direction of the optical axis in accordance with a command from the lens CPU 340 to change the photographing magnification. Further, the focus lens control unit 320 moves the focus lens FL forward and backward in the direction of the optical axis in accordance with a command from the lens CPU 340 to focus on the subject.
  • the aperture control unit 330 changes the aperture value of the aperture I according to a command from the lens CPU 340.
  • the main CPU 214 When the release button 220-1 is pressed (half-pressed) in the first stage, the main CPU 214 starts AF and AE operations, and the image data output from the A / D converter 204 in response thereto is AE / AWB. It is captured by the detection unit 224.
  • the main CPU 214 calculates the brightness of the subject (shooting EV value) from the integrated value of the G signal input to the AE / AWB detection unit 224, and based on the result, the aperture value of the aperture I and the charge at the image sensor 202 are calculated.
  • the accumulation time (corresponding to the shutter speed), the flash 240 emission time, and the like are controlled.
  • the AF detection unit 222 is a part that performs contrast AF processing or phase difference AF processing.
  • the focus lens FL in the lens barrel is controlled so that the AF evaluation value indicating the in-focus state, which is calculated by integrating the high frequency components of the image data in the focus area, is maximized.
  • the phase difference AF process the defocus amount obtained from the phase difference data calculated using the pixels having a plurality of phase differences in the focus area in the image data is set to 0.
  • the focus lens FL in the lens apparatus 300 is controlled.
  • the AF detection unit 222 operates as a focus detection unit that detects a focus.
  • the flash 240 emits light under the control of the flash control unit 238. Further, based on the readout signal applied from the image sensor control unit 201, the signal charge accumulated in the image sensor 202 is read out as a voltage signal corresponding to the signal charge and added to the analog signal processing unit 203.
  • the analog signal processing unit 203 samples and holds the R, G, and B signals of each pixel by a correlated double sampling process on the voltage signal output from the image sensor 202, adds the amplified signal to the A / D converter 204 .
  • the A / D converter 204 converts analog R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 205.
  • the image sensor 202 is a CMOS image sensor
  • the A / D converter 204 is often built in the image sensor 202, and the correlated double sampling may not be necessary.
  • Image data output from the image input controller 205 is input to the digital signal processing unit 206 and is subjected to signal processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, restoration processing, and YC processing.
  • the image is encoded / read by the display control unit 210 through writing / reading to / from the VRAM 230 and output to the monitor 212, whereby the subject image is displayed on the monitor 212.
  • a recording unit as means for recording the obtained subject image.
  • an image obtained by the restoration process may be recorded in the memory card 236.
  • the image data output from the A / D converter 204 in response to the full press of the release button 220-1 is input from the image input controller 205 to the SDRAM (memory) 232 and temporarily stored.
  • signal processing such as gain control processing, gamma correction processing and YC processing in the digital signal processing unit 206 and compression processing to JPEG (Joint Photographic Coding Experts Group) format in the compression / decompression processing unit 208 Etc.
  • JPEG Joint Photographic Coding Experts Group
  • the imaging apparatus main body 200 and the lens apparatus 300 include a mount 246 (transmission means and reception means) and a mount communication unit 250 (transmission means and reception means) of the imaging apparatus main body 200, and a mount 346 (transmission means and reception means) of the lens apparatus.
  • a mount communication unit 350 transmission means, reception means
  • terminals provided on the mount 246 and the mount 346
  • the lens movement command includes control target (zoom lens ZL / focus lens FL / aperture I), drive mode, numerical value (target position of zoom lens ZL / focus lens FL, aperture value of aperture I, etc.), brake ON / OFF Information (information indicating whether or not to apply the brake by short-circuiting the coil of the motor 326 at the target position) is included.
  • control target zoom lens ZL / focus lens FL / aperture I
  • numerical value target position of zoom lens ZL / focus lens FL, aperture value of aperture I, etc.
  • brake ON / OFF Information information indicating whether or not to apply the brake by short-circuiting the coil of the motor 326 at the target position
  • contrast AF will be described with reference to FIGS.
  • FIG. 4 shows a flowchart of the contrast AF process.
  • the main CPU 214 outputs a lens movement command for moving the focus lens FL to the home position (HP) to the lens device 300 in order to detect the lens position of the focus lens FL, and the focus lens. FL is moved to HP (step S10).
  • the HP is provided with an HP sensor 322 (FIG. 6) such as a photo interrupter.
  • the HP sensor 322 outputs a lens detection signal when the moving focus lens FL reaches HP based on a lens movement command. Output.
  • This lens detection signal is used as a reset signal for resetting the count value of the up / down counter 320-8 functioning as a lens position detection means to zero.
  • the movement of the focus lens FL to the HP may be performed when the lens apparatus 300 is attached to the imaging apparatus main body 200 or may be performed when the power is turned on.
  • the main CPU 214 outputs a lens movement command for moving the focus lens FL from the infinity side (INF) to the closest end (AF search) to the lens apparatus 300 (step S14).
  • the main CPU 214 acquires the count value as a lens position signal from the up / down counter 320-8 of the lens apparatus 300 (step S16), and acquires image data in the focus area for each appropriate lens position. Then, an AF evaluation value is calculated by the AF detection unit 222 (FIG. 3) (step S18).
  • the AF detection unit 222 calculates an AF evaluation value indicating the in-focus state by integrating the high frequency components of the image data in the focus area, and outputs the calculated AF evaluation value to the main CPU 214.
  • the main CPU 214 determines whether or not the AF search has ended (that is, whether or not the count value i (focus lens FL position) is the closest end (0.20)) (step S20), and the count value i. If is not the closest end, the process proceeds to step S14 to continue the AF search.
  • the main CPU 214 calculates the lens position (focus position) at which the AF evaluation value is maximized based on each AF evaluation value and lens position acquired in steps S16 and S18. (Step S22, (A) of FIG. 5).
  • the main CPU 214 outputs a lens position command for moving the focus lens FL to the calculated focus position to the lens apparatus 300, and moves the focus lens FL to the focus position (step S24, FIG. 5B).
  • the main CPU 214 calculates the subject distance from the lens position calculated in step S22 (step S26).
  • FIG. 6 shows a functional block diagram of the focus lens control unit 320.
  • a lens movement command is sent from the main CPU 214 to the focus lens control unit 320 via the lens CPU 340.
  • the focus lens control unit 320 mainly includes a controller 320-2, a driver 320-4, a motor 320-6, and an up / down counter 320-8.
  • a lens movement command from the lens CPU 340 is received by the controller 320-2.
  • a pulse signal corresponding to the lens movement command is output from the controller 320-2.
  • the pulse signal output from the controller 320-2 is input to the driver 320-4.
  • the driver 320-4 drives the motor 320-6 according to the input pulse signal.
  • the motor 320-6 is preferably a stepping motor.
  • the pulse signal output from the controller 320-2 is also sent to the up / down counter 320-8.
  • the up / down counter 320-8 counts the pulse signal sent and outputs a count value. Since the up / down counter 320-8 is reset to 0 when the focus lens FL reaches HP by the HP sensor 322 as described above, the count value of the up / down counter 320-8 is based on HP. The lens position of the focus lens FL is shown.
  • FIG. 7 is a block diagram showing the main parts of the main CPU 214 and the digital signal processing unit 206 that perform point image restoration processing.
  • the main CPU 214 includes a lens position input unit 214-2, a first subject distance estimation unit 214-4, an estimation variation acquisition unit 214-6, and a second subject distance estimation unit 214-8 as functions for restoration processing. ing.
  • the lens position input unit 214-2 inputs the current count value of the up / down counter 320-8 after the focus control of the focus lens FL as information indicating the lens position.
  • the first subject distance estimation unit 214-4 receives information indicating the lens position from the lens position input unit 214-2, and estimates the distance (subject distance) of the subject focused by the focus lens FL at the current lens position. To do. Since the lens position of the focus lens FL and the subject distance focused by the lens position are in a fixed relationship, the subject distance can be estimated from the lens position of the focus lens FL.
  • Information indicating the subject distance (first subject distance) estimated by the first subject distance estimation unit 214-4 is output to the estimation variation acquisition unit 214-6 and the second subject distance estimation unit 214-8.
  • the estimation variation acquisition unit 214-6 calculates an error (estimation variation) of the first subject distance based on the information indicating the first subject distance input from the first subject distance estimation unit 214-4.
  • the estimation variation is variation in the first subject distance estimated from the lens position of the focus lens FL, and is caused by the detection accuracy of the focus stop position of the focus lens FL. For example, if the lens barrel characteristics change with temperature, the focus stop position of the focus lens FL changes even if the subject distance is constant, and erroneous distance measurement occurs (estimation variation occurs).
  • the estimation variation has an error range (estimation variation range) extending from the first object distance to the infinity side and the closest end side.
  • the estimated variation acquisition unit 214-6 calculates the maximum estimated variation on the infinity side in the estimated variation range with respect to the first subject distance.
  • the estimation variation acquisition unit 214-6 performs the first subject distance. And the estimation variation of the first subject distance is calculated based on the information indicating the error and the error information (n pulses) of the count value.
  • the error may be calculated according to various conditions, or may be selected from an error database stored in an error storage unit (not shown) that is a means for storing the error.
  • the error is specific to a solid (individual difference) in the interchangeable lens or depends on the temperature characteristics of the interchangeable lens.
  • an estimated variation storage unit that is a means for storing an error (estimated variation) is included in the estimated variation acquisition unit 214-6. And an error (estimated variation) for each interchangeable lens may be stored.
  • the lens device 300 is attached, lens information related to the lens device 300 is acquired, and a corresponding estimated variation is acquired from the estimated variation storage unit based on the lens information.
  • the estimated variation storage unit may be installed in the lens apparatus 300.
  • the second subject distance estimation unit 214-8 calculates a second subject distance obtained by adding the estimated first subject distance and the maximum error (estimation variation) on the infinity side, and calculates the calculated second subject distance Information indicating the distance is output to the restoration filter selection unit 206-4 of the digital signal processing unit 206.
  • the main parts related to the restoration process are a restoration processing unit 206-2, a restoration filter selection unit 206-4, and a restoration filter storage unit 206-6.
  • the restoration filter storage unit 206-6 stores, for each lens, a plurality of restoration filters created based on point spread functions of various lenses including the lens device 300.
  • the plurality of restoration filters correspond to combinations of subject distance, zoom magnification, F number, and image height (restoration area), and are a number of restoration filters.
  • the restoration filter storage unit 206-6 stores the restoration filter discretely corresponding to the subject distance.
  • the restoration filter selection unit 206-4 receives information indicating the second subject distance from the second subject distance estimation unit 214-8, and based on this input information, the restoration filter storage unit 206-6 receives the second information from the second subject distance estimation unit 214-8.
  • the restoration filter corresponding to the subject distance is selected.
  • the restoration filter on the infinity side closest to the second subject distance is selected. Details of the restoration filter selection method will be described later.
  • the restoration processing unit 206-2 performs restoration processing on the image data using the restoration filter selected by the restoration filter selection unit 206-4.
  • PSF Point Spread Function
  • the former case is suitable for PSF measurement corresponding only to the lens apparatus 300, and the latter case is suitable for PSF measurement considering the influence of the image sensor 202 (color filter or the like).
  • the blurred image acquired by the imaging of the point image by the imaging unit including the lens device 300 and the imaging element 202 is G (X, Y)
  • the original point image is F (X, Y)
  • H (X, Y) that is, the point spread function (PSF) of [Expression 1] is obtained.
  • R (X, Y) F (X, Y)
  • This R (X, Y) is called a restoration filter.
  • a least square filter Wiener filter
  • a limited deconvolution filter a limited deconvolution filter
  • a recursive filter a homomorphic filter, or the like
  • FIGS. 8 to 10 are diagrams for explaining how to store and select the restoration filter in the first embodiment of the present invention, which is performed by the restoration filter selection unit 206-4 and the restoration filter storage unit 206-6.
  • FIG. 8 is an image diagram of a point spread function (PSF) according to a plurality of object distances within a range from the closest end (0.2 m) to infinity (INF). As described above, a restoration filter is generated based on these PSFs.
  • PSF point spread function
  • the PSF on the infinity side has a smaller spread than the PSF on the near side, and therefore the restoration process by the restoration filter on the infinity side is weaker than the restoration process by the restoration filter on the near side. Become.
  • the closest end (0.2 m), 0.25 m, 0.33 m,. It is assumed that restoration filters corresponding to six distances (subject distances) of 5 m, 1 m, and INF are stored. These subject distances are subject distances corresponding to the respective lens positions obtained by dividing the amount of movement from the closest end of the focus lens FL to the INF into approximately five equal parts.
  • the range indicated by the arrow in FIG. 8 indicates each subject distance when the first subject distance estimation unit 214-4 estimates 0.2 m, 0.25 m, 0.33 m, 0.5 m, 1 m, or INF.
  • variation in is shown.
  • the circle at the tip of the arrow in the figure indicates that the subject distance (first subject distance) estimated by the first subject distance estimation unit 214-4 is 0.2 m, 0.25 m, 0.33 m, 0. In the case of .5 m, 1 m, or INF, the distance obtained by adding the first subject distance and the maximum estimated variation on the infinity side of the estimated variation range with respect to the first subject distance (second subject distance) ).
  • the error range is from 0.25 m to 02 m
  • the maximum estimation variation on the infinity side In consideration of the above, the second subject distance estimated by the second subject distance estimation unit 214-8 is 0.25 m.
  • the restoration filter on the infinity side closest to the second subject distance is used. That is, a restoration filter generated corresponding to a subject distance of 0.25 m is selected to prevent overcorrection. That is, the restoration filter corresponding to the infinity side closest to the second subject distance is selected.
  • the overcorrection in the restoration process is to estimate a subject distance closer to the actual subject distance and perform the restoration process using a restoration filter stronger (larger) than the restoration filter that should be used originally. is there. If overcorrection is performed in the restoration process, the quality of the obtained image will deteriorate.
  • the first subject distance estimated by the first subject distance estimation unit 214-4 is 0.25 m, and the error range is 0.33 m to 0.2 m.
  • the restoration process may be overcorrected. That is, since the actual subject distance is 0.33 m to 0.2 m, if the actual subject distance is 0.33 m, it is generated corresponding to the subject distance of 0.25 m or 0.2 m. The restoration process using the restored filter is overcorrected.
  • the restoration filter generated corresponding to the subject distance that is far away from the second subject distance toward the infinity side when used, the effect of the restoration process cannot be sufficiently obtained.
  • the restoration process is performed using a restoration filter corresponding to INF even though the second subject distance is 0.25 m, the restoration process is weak and the effect of the restoration process cannot be sufficiently obtained.
  • the first subject distance estimated by the first subject distance estimation unit 214-4 is 0.25 m
  • the second subject distance estimated by the second subject distance estimation unit 214-8 is 0.33 m. In some cases, it is possible to prevent the occurrence of overcorrection by using a restoration filter generated corresponding to a subject distance of 0.33 m.
  • the range of the arrow indicates the subject distance error range, and is within the error range.
  • the restoration filter corresponding to the infinity side closest to the second subject distance is selected. Therefore, when 0.25 m is estimated as the first subject distance, the subject distance corresponding to 0.33 m is selected.
  • the restoration filter generated corresponding to the subject distance of 0.5 m is used, and when 0.5 m is estimated, when the restoration filter generated corresponding to the subject distance of 1 m is used and the INF is estimated, the restoration filter generated corresponding to the subject distance of the INF is used.
  • the first subject distance is 0.2 m, 0.25 m, 0.33 m, 0.5 m, 1 m
  • the second subject distance considering the maximum estimation variation is 0.
  • the subject distance is between 5 m and 1 m. Therefore, the restoration filter on the infinity side closest to the second subject distance is a restoration filter generated corresponding to the subject distance of 1 m.
  • the restoration generated in accordance with the INF subject distance regardless of the second subject distance may be used.
  • FIG. 9 shows distance measurement errors and the like corresponding to a lens (interchangeable lens) different from the lens apparatus 300. Since the temperature characteristics differ depending on the type of the lens or there are individual differences, the focus stop position of the focus lens The estimation variation of the subject distance estimated from is different.
  • FIG. 9 shows a case where the estimation variation (error range) indicated by the arrow range is large (long) compared to the case of FIG.
  • a restoration filter on the infinity side closest to the maximum possible subject distance from the second subject distance is used. That is, when 0.2 m is estimated as the first subject distance, the restoration filter generated corresponding to the subject distance of 0.33 m is used, and when 0.25 m is estimated, the subject of 0.5 m is used. When the restoration filter generated corresponding to the distance is used and 0.33 m is estimated, the restoration filter generated corresponding to the subject distance of 1 m is used, and when 1 m or more is estimated, the INF A restoration filter generated corresponding to the subject distance is used.
  • FIG. 10 shows a case where the error range is larger (longer) than in the case of FIG.
  • the subject distance (second subject distance) in consideration of the estimation variation is larger than 1 m. Therefore, the restoration filter that does not cause overcorrection is only the restoration filter generated corresponding to INF. That is, in the case of the lens having the estimation variation shown in FIG. 10, only the restoration filter generated corresponding to the INF is used regardless of the estimated subject distance.
  • FIGS. 11 to 13 are diagrams for explaining how to store and select the restoration filter according to the second embodiment of the present invention.
  • the second embodiment shown in FIGS. 11 to 13 stores a restoration filter corresponding to the subject distance in the same manner as the first embodiment shown in FIGS.
  • the method of storing the restoration filter in the restoration filter storage unit 206-6 is different.
  • the restoration filter storage unit 206-6 which is a means for storing the restoration filter, sets the closest object distance estimated by the first object distance estimation unit 214-4 to the closest object distance. Stores a restoration filter corresponding to the range between the subject distance (hereinafter referred to as “estimated variation close distance”) and the infinite range within the range of estimated variation with respect to the subject distance and the maximum estimated variation on the infinity side. Yes.
  • Restoration filters in the range closer to the estimated variation near distance may perform restoration processing that is overcorrected. Therefore, the restoration filter storage unit 206-6 stores only a plurality of restoration filters corresponding to the range between the estimated variation close distance and infinity, and the restoration filter within the range closer to the estimated variation close distance is stored. Do not remember from the beginning. Thereby, the number of restoration filters stored in the restoration filter storage unit 206-6 is reduced.
  • the restoration filter is stored in the restoration filter storage unit 206-6 regardless of whether or not the restoration filter is used for each of a plurality of preset subject distances.
  • the restoration filter that is not used in relation to the error range of the subject distance is not stored in the restoration filter storage unit 206-6 (see FIGS. 11 to 13).
  • FIG. 11 is a diagram showing a second embodiment corresponding to the first embodiment shown in FIG. Comparing the second embodiment shown in FIG. 11 with the first embodiment shown in FIG. 8, the second embodiment is different in that there is no restoration filter corresponding to a subject distance of 0.2 m. To do.
  • the restoration filter corresponding to the infinity side closest to the estimated variation close distance is a restoration filter generated corresponding to the subject distance of 0.25 m.
  • the restoration filter generated corresponding to the subject distance of 0.2 m as shown in FIG. Even do not use. Unused restoration filters are not stored in the restoration filter storage unit 206-6.
  • FIG. 12 is a diagram showing a second embodiment corresponding to the first embodiment shown in FIG. Comparing the second embodiment shown in FIG. 12 with the first embodiment shown in FIG. 9, in the second embodiment, restoration filters corresponding to subject distances of 0.2 m and 0.25 m are provided. There is no difference.
  • the restoration filter corresponding to the infinity side closest to the estimated variation close distance is a restoration filter generated corresponding to the subject distance of 0.33 m.
  • the restoration filter generated corresponding to the subject distances of 0.2 m and 0.25 m as shown in FIG. It is not used regardless of the subject distance. Unused restoration filters are not stored in the restoration filter storage unit 206-6.
  • FIG. 13 is a diagram showing a second embodiment corresponding to the first embodiment shown in FIG. Comparing the second embodiment shown in FIG. 13 with the first embodiment shown in FIG. 10, in the second embodiment, 0.2 m, 0.25 m, 0.33 m, 0.5 m, And there is no restoration filter corresponding to a subject distance of 1 m.
  • the restoration filter corresponding to the infinity side closest to the estimated variation close distance is the restoration filter of INF (1).
  • the restoration filters (2) to (6) that are not used are not stored in the restoration filter storage unit 206-6, but the restoration filter (1) selected from the relationship of the error range is the restoration filter storage unit 206-. 6 is stored.
  • the restoration filter that is not used in relation to the error range is not stored in the restoration filter storage unit 206-6. Thereby, the memory capacity for storing the restoration filter can be reduced.
  • the restoration filter storage unit which is a means for storing the restoration filter has a plurality of tables each storing a plurality of restoration filters corresponding to the estimation variation, and a restoration filter selection which is a means for selecting the restoration filter.
  • the unit selects a corresponding table from a plurality of tables according to the magnitude of the estimated variation acquired by the estimated variation acquisition unit 214-6, which is a means for acquiring the estimated variation, and selects a restoration filter from the selected table. Also good.
  • FIG. 14 shows an appearance of a smartphone 500 that is another embodiment of the imaging apparatus 100.
  • a smartphone 500 illustrated in FIG. 14 includes a flat housing 502, and a display input in which a display panel 521 as a monitor 212 and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541. Note that the configuration of the housing 502 is not limited to this, and for example, a configuration in which the monitor 212 and the input unit are independent may be employed, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 15 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output unit. 560, a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by the control of the main control unit 501, and visually transmits information to the user, and detects a user operation on the displayed information.
  • a so-called touch panel which includes a display panel 521 and an operation panel 522.
  • the display panel 521 is preferably a 3D display panel.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When this device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the surface on which the display input unit 520 is provided, and the microphone 532 can be mounted on the side surface of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the lower and lower side of the display unit of the housing 502 of the smartphone 500 and turns on when pressed with a finger or the like, and restores a spring or the like when the finger is released. It is a push button type switch that is turned off by force.
  • the storage unit 550 includes control programs and control data of the main control unit 501, address data in which names and telephone numbers of communication partners are associated, transmitted and received e-mail data, Web data downloaded by Web browsing, and downloaded contents Data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 built in the smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type, a hard disk type, a multimedia card micro type, a multimedia card micro type, This is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a card type memory for example, Micro SD (registered trademark) memory
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (Bluetooth (registered trademark)), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • an external device connected to the smartphone 500 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 500 Detect the position consisting of longitude and altitude.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes a triaxial acceleration sensor, for example, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 has a mobile communication control function for controlling each part of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 560 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, a web browsing function for browsing web pages, and the present invention. And a function for generating a 3D image from the 2D image according to the above.
  • the main control unit 501 also has an image processing function such as displaying video on the display input unit 520 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an imaging element 202 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device), and has a function similar to that of the imaging apparatus 100 shown in FIG. I have.
  • an imaging element 202 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device)
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the camera unit 541 is configured to be able to switch between a manual focus mode and an autofocus mode.
  • a force icon displayed on the operation unit 540 or the display input unit 520 is displayed.
  • the photographing lens of the camera unit 541 can be focused.
  • the manual focus mode the live view image obtained by combining the split images is displayed on the display panel 521 so that the in-focus state during the manual focus can be confirmed.
  • the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic Coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550 or externally.
  • the data can be output through the input / output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this, and may be mounted on the back surface of the display input unit 520. Alternatively, a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to shoot alone, or a plurality of camera units 541 can be used simultaneously for shooting.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the position information acquired by the GPS receiver 570 to the image data of the still image or the moving image, the voice information acquired by the microphone 532 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 580 can be added and recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510.
  • DESCRIPTION OF SYMBOLS 100 ... Image pick-up device, 200 ... Image pick-up device main body, 202 ... Image pick-up element, 206 ... Digital signal processing part, 212 ... Monitor, 214 ... Main CPU, 220 ... Operation part, 214 ... AF detection part, 300 ... Lens apparatus, 320 ... F lens control unit, 340 ... lens CPU, 500 ... smartphone

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

　本発明によれば、被写体距離に応じた復元フィルタを使用して撮像した画像の復元処理を行う際に、推定ばらつき至近距離と無限遠との被写体距離の範囲内に相当する復元フィルタのみを記憶し、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、初めから持たないようにし、これにより予め保持する復元フィルタの数を低減することができる。

Description

撮像装置及び画像処理方法
　本発明は撮像装置及び画像処理方法に係り、特に点像分布関数（ＰＳＦ：Point Spread Function）に基づいて撮像された画像の点像復元処理を行う撮像装置及び画像処理方法に関する。
　撮像された画像の点像復元処理は、予め撮影レンズの収差等による劣化（ＰＳＦ）の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦに基づいて作成した復元フィルタを使用してフィルタ処理することにより解像度の高い元の画像に復元する処理である。
　特許文献１には、被写体距離を含む撮像状態を取得し、劣化画像の復元領域毎に撮像状態に対応する復元フィルタを取得し、劣化画像と復元フィルタを使用して復元領域毎に劣化画像を復元する画像処理装置が記載されている。ＰＳＦは、レンズの種類、ズーム倍率、Ｆナンバー、被写体距離、画角（像高）等により変化する為、多数の復元フィルタを用意する必要がある。
　特許文献１に記載の画像処理装置は、レンズの種類、ズーム倍率、及びＦナンバーの組合せに対応する複数の復元フィルタリストを保持するメモリを備えている。各復元フィルタリストは、被写体距離により分類された複数の復元フィルタ表を含み、復元フィルタ表は、像高（復元領域）毎に復元フィルタ（復元フィルタを構成するフィルタ係数の行列式）を保持している（特許文献１の図３）。
特開２０１１－２１１６６３号公報
　劣化画像に対する点像復元処理を適正に行う為には、レンズの種類、ズーム倍率、Ｆナンバー、被写体距離、画角（像高）等に対応した最適な復元フィルタを選択し、選択した復元フィルタを使用して劣化画像の復元処理を行う必要があるが、この場合、多数の復元フィルタをメモリに記憶保持しなければならず、メモリ容量が増大するという問題がある。
　特許文献１には、複数の復元フィルタを離散的に保持し、中間値に対応する復元フィルタは補間により生成し、これにより復元フィルタを保持するメモリの容量を減らす記載がある。
　しかしながら、復元フィルタを離散的に保持することにより復元フィルタの数を少なくする場合、離散的に保持される復元フィルタの間隔（例えば、被写体距離の間隔）を広くすると、補間により適切な復元フィルタを生成することができず、又、生成された復元フィルタにより過補正になる場合には、解像度を逆に劣化させてしまうという問題がある。尚、過補正が発生する条件としては、被写体距離を誤測距し、その結果、誤った被写体距離に対応する復元フィルタを使用する場合が考えられる。
　本発明はこのような事情に鑑みてなされたもので、被写体距離に応じた復元フィルタを使用して撮像した画像の復元処理を行う際に、予め保持する復元フィルタの数を少なくすることができ、かつ復元処理による解像度の向上を図ることができる撮像装置及び画像処理方法を提供することを目的とする。
　上記目的を達成する為に本発明の一の態様に係る撮像装置は、撮影レンズにより結像された被写体像を撮像し、該被写体像を示す画像を取得する撮像部と、撮像部による撮像時の焦点検出部より推定した被写体距離を求める第１の被写体距離推定部と、少なくとも被写体距離に対応した撮影レンズの点像分布関数に基づいて作成した複数の復元フィルタから選択された１以上の復元フィルタを記憶する復元フィルタ記憶部と、第１の被写体距離推定部により推定した被写体距離に基づいて復元フィルタ記憶部に記憶された復元フィルタから被写体距離に対応する復元フィルタを選択する復元フィルタ選択部と、復元フィルタ選択部により選択した復元フィルタを使用して撮像部により取得した画像の復元処理を行う復元処理部と、を備え、復元フィルタ記憶部は、第１の被写体距離推定部により推定される最も至近側の被写体距離に最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との被写体距離の範囲内に相当する復元フィルタを記憶するものである。
　本発明の一の態様によれば、復元フィルタ記憶部には、少なくとも被写体距離に対応した撮影レンズの点像分布関数に基づいて作成した複数の復元フィルタが記憶されるが、撮影可能な被写体距離の全範囲にわたって作成した複数の復元フィルタを記憶するのではなく、複数の復元フィルタから選択された１以上の復元フィルタを記憶する。即ち、復元フィルタ記憶部は、第１の被写体距離推定部により推定される最も至近側の被写体距離に最も至近側の被写体距離に対する第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離（以下「推定ばらつき至近距離」という）と、無限遠との被写体距離の範囲内に相当する復元フィルタを記憶する。
　点像分布関数（ＰＳＦ）は被写体距離によって異なり、無限遠側のＰＳＦよりも至近側のＰＳＦの方が広がった形状を有している。その結果、無限遠側の復元フィルタよりも至近側の復元フィルタは、より強い復元処理を行うものとして予め準備されている。
　推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、過補正になる復元処理を行う可能性がある。そこで、推定ばらつき至近距離と無限遠との被写体距離の範囲内に相当する復元フィルタのみを記憶し、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは初めから持たないようにすることで、復元フィルタ記憶部に記憶させる復元フィルタの数を低減するようにしている。
　本発明の他の態様に係る撮像装置において、第１の被写体距離推定部は、撮影レンズのフォーカスレンズのレンズ位置に基づいて被写体距離を推定することが好ましい。
　本発明の更に他の態様に係る撮像装置において、撮影レンズは交換レンズであり、第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきは、交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方である。
　本発明の更に他の態様に係る撮像装置において、第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得部と、第１の被写体距離推定部により推定した被写体距離に推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定部と、備え、復元フィルタ選択部は、復元フィルタ記憶部に記憶された１以上の復元フィルタのうちの第２の被写体距離推定部により算出した被写体距離に最も近い無限遠側の復元フィルタを選択することが好ましい。
　第１の被写体距離推定部により被写体距離を推定し、この推定した被写体距離に対するばらつき（推定ばらつき）の範囲のうちの無限遠側の最大の推定ばらつきを推定ばらつき取得部により取得する。第１の被写体距離推定部により推定した被写体距離と、推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきとを加算した被写体距離を算出する。この算出された被写体距離は、推定した被写体距離が最も無限遠側にばらついた時の被写体距離になる。そして、復元フィルタ記憶部に記憶されている、被写体距離に対応した１以上の復元フィルタから復元処理に使用する復元フィルタを選択する際に、算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する。
　推定した被写体距離が最も無限遠側にばらついた時の被写体距離に対して最も近い無限遠側に対応した復元フィルタを選択することにより、最も無限遠側にばらついた時の被写体距離に対応する復元フィルタ、又はそれよりも弱い復元処理を行う復元フィルタを選択することができる。これにより、選択された復元フィルタにより過補正になる復元処理を防止すること（解像劣化を防止すること）ができ、かつ復元フィルタによる解像度の向上を図ることができる。
　本発明の更に他の態様に係る撮像装置において、撮影レンズは、復元フィルタ記憶部が内蔵された交換レンズであることが好ましい。これよれば、撮像装置本体側に復元フィルタ記憶部段を設けずに、レンズ側の復元フィルタ記憶部からそのレンズに対応する復元フィルタを取得することができる。
　本発明の更に他の態様に係る撮像装置において、撮影レンズは交換レンズであり、推定ばらつき取得部は、交換レンズから該交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方を取得することが好ましい。
　本発明の更に他の態様に係る撮像装置において、撮影レンズは交換レンズであり、推定ばらつき取得部は、装着される交換レンズから該交換レンズのレンズ情報を取得するレンズ情報取得部と、複数の交換レンズ毎の推定ばらつきを記憶する推定ばらつき記憶部とを有し、レンズ情報取得部により取得したレンズ情報に対応する推定ばらつきを、推定ばらつき記憶部から取得することが好ましい。
　本発明の更に他の態様に係る撮像装置において、復元処理部により復元処理して得られた画像を記録する記録部を備えることが好ましい。
　本発明の更に他の態様に係る撮像装置において、撮影レンズを有する撮像部から被写体像を示す画像を取得する画像取得工程と、撮像部による撮像時の焦点検出部より推定した被写体距離を求める第１の被写体距離推定工程と、少なくとも被写体距離に対応した撮影レンズの点像分布関数に基づいて作成した複数の復元フィルタから選択された１以上の復元フィルタを記憶する復元フィルタ記憶部を準備する工程と、第１の被写体距離推定工程により推定した被写体距離に基づいて復元フィルタ記憶部に記憶された復元フィルタから被写体距離に対応する復元フィルタを選択する復元フィルタ選択工程と、復元フィルタ選択工程により選択した復元フィルタを使用して撮像部により取得した画像の復元処理を行う復元処理工程と、を含み、復元フィルタ記憶部は、第１の被写体距離推定工程により推定される最も至近側の被写体距離に最も至近側の被写体距離に対する第１の被写体距離推定工程により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と無限遠との被写体距離の範囲内に相当する復元フィルタを記憶するものである。
　本発明によれば、被写体距離に応じた復元フィルタを使用して撮像した画像の復元処理を行う際に、推定ばらつき至近距離と無限遠との被写体距離の範囲内に相当する復元フィルタのみを記憶し、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、初めから持たないようにし、これにより予め保持する復元フィルタの数を低減することができる。尚、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、過補正になる復元処理を行う可能性がある為、これらの復元フィルタは使用しない方が好ましい。
図１は、本発明の一の態様である撮像装置の外観図である。 図２は、図１で示した撮像装置の背面図である。 図３は、図１で示した撮像装置の要部ブロック図である。 図４は、コントラストオートフォーカス処理のフローを示す図である。 図５は、コントラストオートフォーカスを説明する図である。 図６は、フォーカスレンズ制御部の要部ブロック図である。 図７は、点像復元処理を行うメインＣＰＵ及びデジタル信号処理部の要部ブロック図である。 図８は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図９は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１０は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１１は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１２は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１３は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１４は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図１５は、スマートフォンの要部構成を示すブロック図である。
　図１は、本発明の一の態様の撮像装置１００の外観を示す斜視図である。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着されるレンズ装置３００と、から構成される。撮像装置本体２００とレンズ装置３００とは、撮像装置本体２００に備えられたマウント２４６（送信手段、受信手段）と、マウント２４６に対応するレンズ装置３００側のマウント３４６（受信手段、送信手段）（図３参照）と、が結合されることにより交換可能に装着される。又、撮像装置本体２００の前面にはマウント２４６の他、フラッシュ２４０が設けられており、上面にはレリーズボタン２２０－１及び撮影モード設定用のダイヤル２２０－２が設けられている。
　マウント２４６には端子２４７（送信手段、受信手段）が設けられており、マウント３４６には端子３４７（送信手段、受信手段）（図３参照）が設けられていて、レンズ装置３００を撮像装置本体２００に装着すると、対応する端子２４７と端子３４７とが接触して通信が可能となる。尚、図１及び図３における端子２４７、端子３４７は概念的に示したものであり、本発明における端子の位置及び個数はこれらの図におけるものに限定されるものではない。
　一方、図２に示すように、撮像装置本体２００の背面には、モニタ２１２、十字ボタン２６０、ＭＥＮＵ／ＯＫボタン２６５、再生ボタン２７０、ＢＡＣＫボタン２７５等が配設されている。尚、本発明の一の態様である撮像装置１００はレンズ交換式撮像装置であっても、レンズ固定式撮像装置であってもよい。
　図３は、撮像装置１００の構成を示すブロック図である。撮像装置１００の動作は、撮像装置本体２００のメインＣＰＵ２１４及びレンズ装置３００のレンズＣＰＵ３４０によって統括制御されている。メインＣＰＵ２１４の動作に必要なプログラム（ズームレンズＺＬ、フォーカスレンズＦＬ、及び絞りＩを駆動する為のプログラムを含む）やデータは撮像装置本体２００内のフラッシュＲＯＭ２２６及びＲＯＭ２２８に記憶されており、レンズＣＰＵ３４０の動作に必要なプログラム（ズームレンズＺＬ、フォーカスレンズＦＬ、及び絞りＩを駆動する為のプログラムを含む）やデータはレンズＣＰＵ３４０内のＲＯＭ３４４に記憶されている。
　撮像装置本体２００には、レリーズボタン２２０－１及びダイヤル２２０－２の他、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部２２０が設けられており、ユーザは操作部２２０に含まれるボタンやキーを操作することにより、撮影／再生モードの選択、撮影開始、画像の選択・再生・消去、ズーム指示等の指示が可能になっている。
　操作部２２０からの信号はメインＣＰＵ２１４に入力され、メインＣＰＵ２１４は入力信号に基づいて撮像装置本体２００の各回路を制御すると共に、マウント２４６（送信手段、受信手段、レンズ情報取得部）及びマウント通信部２５０（送信手段、受信手段、レンズ情報取得部）を介してレンズ装置３００との間で信号を送受信する。
　上述した端子には例えば接地用端子、同期信号用端子、シリアル通信用端子、制御ステータス通信用端子、及び撮像装置本体２００のバッテリ２４２からレンズ装置３００の各部への電源供給用端子が含まれる。
　撮像時において、被写体光はレンズ装置３００のズームレンズＺＬ、フォーカスレンズＦＬ、及び絞りＩを介して、撮像装置本体２００の撮像素子２０２の受光面に結像される。本実施形態では撮像素子２０２はＣＭＯＳ型とするが、ＣＭＯＳ型に限らずＣＣＤ型であってもよい。フォーカスレンズＦＬ、ズームレンズＺＬ、及び絞りＩは、レンズＣＰＵ３４０によって制御されるズームレンズ制御部３１０、フォーカスレンズ制御部３２０（レンズ駆動手段）、絞り制御部３３０によって駆動されて、フォーカス制御・ズーム制御・絞り制御が行われる。
　ズームレンズ制御部３１０は、レンズＣＰＵ３４０からの指令に従い、ズームレンズＺＬを光軸方向に移動させて撮影倍率を可変する。又、フォーカスレンズ制御部３２０は、レンズＣＰＵ３４０からの指令に従い、フォーカスレンズＦＬを光軸方向に進退動作させて被写体に合焦させる。絞り制御部３３０は、レンズＣＰＵ３４０からの指令に従い、絞りＩの絞り値を変更する。
　レリーズボタン２２０－１の第１段階の押下（半押し）があると、メインＣＰＵ２１４はＡＦ及びＡＥ動作を開始させ、これに応じてＡ／Ｄ変換器２０４から出力される画像データがＡＥ／ＡＷＢ検出部２２４に取り込まれる。メインＣＰＵ２１４は、ＡＥ／ＡＷＢ検出部２２４に入力されたＧ信号の積算値より被写体の明るさ（撮影ＥＶ値）を算出し、その結果に基づいて絞りＩの絞り値、撮像素子２０２での電荷蓄積時間（シャッタスピードに相当）、フラッシュ２４０の発光時間等を制御する。
　ＡＦ検出部２２２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、フォーカス領域内の画像データの高周波成分を積分して算出した、合焦状態を示すＡＦ評価値が極大となるようにレンズ鏡筒内のフォーカスレンズＦＬを制御する。又、位相差ＡＦ処理を行う場合には、画像データのうちのフォーカス領域内の複数の位相差を持った画素を用いて算出した位相差データから求めたデフォーカス量が０になるように、レンズ装置３００内のフォーカスレンズＦＬを制御する。尚、ＡＦ検出部２２２は、焦点を検出する焦点検出部として動く。
　ＡＥ動作及びＡＦ動作が終了し、レリーズボタン２２０－１の第２段階の押下（全押し）があると、フラッシュ制御部２３８を介した制御によりフラッシュ２４０が発光する。又、撮像素子制御部２０１から加えられる読み出し信号に基づいて、撮像素子２０２に蓄積された信号電荷が信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０３に加えられる。アナログ信号処理部２０３は、撮像素子２０２から出力された電圧信号に対して相関二重サンプリング処理により各画素のＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２０４に加える。Ａ／Ｄ変換器２０４は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２０５に出力する。尚、撮像素子２０２がＣＭＯＳ型撮像素子である場合は、Ａ／Ｄ変換器２０４は撮像素子２０２内に内蔵されていることも多く、又上記相関二重サンプリングは必要としない場合もある。
　画像入力コントローラ２０５から出力された画像データはデジタル信号処理部２０６に入力されてオフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、復元処理、及びＹＣ処理等の信号処理が行われ、ＶＲＡＭ２３０への書き込み／読み出しを経て表示制御部２１０でエンコーディングされてモニタ２１２に出力され、これにより被写体像がモニタ２１２に表示される。
　又、上記得られた被写体像を記録する手段である記録部を有してもよい。例えば、メモリカード２３６に復元処理で得られた画像を記録してもよい。
　又、レリーズボタン２２０－１の全押しに応答してＡ／Ｄ変換器２０４から出力される画像データが画像入力コントローラ２０５からＳＤＲＡＭ（メモリ）２３２に入力され、一時的に記憶される。ＳＤＲＡＭ２３２への一時記憶後、デジタル信号処理部２０６におけるゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の信号処理や圧縮・伸張処理部２０８でのＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式への圧縮処理等を経て画像ファイルが生成され、その画像ファイルは、メディア制御部２３４により読み出されてメモリカード２３６に記録される。メモリカード２３６に記録された画像は、操作部２２０の再生ボタンを操作することによりモニタ２１２で再生表示することができる。
　次に、撮像装置本体２００とレンズ装置３００との間の通信について説明する。撮像装置本体２００とレンズ装置３００とは、撮像装置本体２００のマウント２４６（送信手段、受信手段）及びマウント通信部２５０（送信手段、受信手段）、レンズ装置のマウント３４６（送信手段、受信手段）及びマウント通信部３５０（送信手段、受信手段）、並びにマウント２４６及びマウント３４６に設けられた端子を介して通信を行い、レンズ移動指令を送受信する。
　レンズ移動指令には、制御対象（ズームレンズＺＬ／フォーカスレンズＦＬ／絞りＩ）、駆動モード、数値（ズームレンズＺＬ・フォーカスレンズＦＬの目標位置、絞りＩの絞り値、等）、ブレーキＯＮ／ＯＦＦ情報（目標位置においてモータ３２６のコイルを短絡させてブレーキを掛けるか否かを示す情報）が含まれる。撮像装置本体２００とレンズ装置３００との間では上記の他、制御ステータス通信用端子を介して各種制御ステータス（レンズ駆動開始／完了通知等）の通信が行われる。
　＜コントラストＡＦ＞
　次に、コントラストＡＦについて、図４及び図５を参照して説明する。
　図４には、コントラストＡＦ処理のフロー図が示されている。コントラストＡＦ処理がスタートすると、先ず、メインＣＰＵ２１４は、フォーカスレンズＦＬのレンズ位置を検出する為に、フォーカスレンズＦＬをホームポジション（ＨＰ）に移動させるレンズ移動指令をレンズ装置３００に出力し、フォーカスレンズＦＬをＨＰに移動させる（ステップＳ１０）。
　フォーカスレンズＦＬがＨＰに移動すると、アップダウンカウンタ３２０－８（図６）のカウント値をリセットし、カウント値ｉ＝０にする（ステップＳ１２）。尚、ＨＰには、フォトインタラプタ等のＨＰセンサ３２２（図６）が設けられており、ＨＰセンサ３２２は、レンズ移動指令に基づいて移動中のフォーカスレンズＦＬがＨＰに達すると、レンズ検出信号を出力する。このレンズ検出信号は、レンズ位置検出手段として機能するアップダウンカウンタ３２０－８のカウント値を０にリセットするリセット信号として使用される。又、フォーカスレンズＦＬのＨＰへの移動は、撮像装置本体２００にレンズ装置３００を装着した時に行ってもよいし、電源を投入した時に行ってもよい。
　続いて、メインＣＰＵ２１４は、図５に示すようにフォーカスレンズＦＬを無限側（ＩＮＦ）から至近端まで移動（ＡＦサーチ）させるレンズ移動指令をレンズ装置３００に出力する（ステップＳ１４）。
　ＡＦサーチ中、メインＣＰＵ２１４は、レンズ装置３００のアップダウンカウンタ３２０－８からカウント値をレンズ位置信号として取得し（ステップＳ１６）、又、適宜のレンズ位置毎にフォーカス領域内の画像データを取得し、ＡＦ検出部２２２（図３）にてＡＦ評価値の算出を行わせる（ステップＳ１８）。尚、ＡＦ検出部２２２は、フォーカス領域内の画像データの高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出し、算出したＡＦ評価値をメインＣＰＵ２１４に出力する。
　メインＣＰＵ２１４は、ＡＦサーチが終了したか否か（即ち、カウント値ｉ（フォーカスレンズＦＬ位置）が至近端（０．２０）であるか否か）を判断し（ステップＳ２０）、カウント値ｉが至近端でない場合は、ステップＳ１４に遷移させ、ＡＦサーチを続行させる。
　一方、ＡＦサーチが終了した判断すると、メインＣＰＵ２１４は、ステップＳ１６、Ｓ１８で取得した各ＡＦ評価値とレンズ位置とに基づいて、ＡＦ評価値が最大になるレンズ位置（合焦位置）を算出する（ステップＳ２２、図５の（Ａ））。
　メインＣＰＵ２１４は、算出した合焦位置にフォーカスレンズＦＬを移動させるレンズ位置指令をレンズ装置３００に出力し、フォーカスレンズＦＬを合焦位置に移動させる（ステップＳ２４、図５の（Ｂ））。
　又、メインＣＰＵ２１４は、ステップＳ２２で算出したレンズ位置から被写体距離を算出する（ステップＳ２６）。
　＜フォーカスレンズ制御部＞
　図６は、フォーカスレンズ制御部３２０の機能ブロック図が示されている。フォーカスレンズ制御部３２０には、メインＣＰＵ２１４からレンズＣＰＵ３４０を介してレンズ移動指令が送られる。
　フォーカスレンズ制御部３２０は、主にコントローラ３２０－２、ドライバ３２０－４、モータ３２０－６、及びアップダウンカウンタ３２０－８により構成されている。レンズＣＰＵ３４０からのレンズ移動指令をコントローラ３２０－２によって受信する。そして、コントローラ３２０－２からレンズ移動指令に応じたパルス信号を出力する。コントローラ３２０－２から出力されたパルス信号は、ドライバ３２０－４に入力さる。そして、ドライバ３２０－４は、入力されたパルス信号に応じてモータ３２０－６を駆動する。尚、モータ３２０－６は、ステッピングモータを用いることが好ましい。一方、コントローラ３２０－２から出力されるパルス信号は、アップダウンカウンタ３２０－８にも送られる。
　アップダウンカウンタ３２０－８は、送られてきたパルス信号をカウントし、カウント値を出力する。尚、アップダウンカウンタ３２０－８は、前述したようにＨＰセンサ３２２によりフォーカスレンズＦＬがＨＰに達すると、０にリセットされる為、アップダウンカウンタ３２０－８のカウント値は、ＨＰを基準にしたフォーカスレンズＦＬのレンズ位置を示す。
　＜点像復元処理＞
　図７は、点像復元処理を行うメインＣＰＵ２１４及びデジタル信号処理部２０６の要部ブロック図を示す。メインＣＰＵ２１４は、復元処理用の機能としてレンズ位置入力部２１４－２、第１の被写体距離推定部２１４－４、推定ばらつき取得部２１４－６、及び第２の被写体距離推定部２１４－８を備えている。
　レンズ位置入力部２１４－２は、フォーカスレンズＦＬの合焦制御後のアップダウンカウンタ３２０－８の現在のカウント値を、レンズ位置を示す情報として入力する。
　第１の被写体距離推定部２１４－４は、レンズ位置入力部２１４－２からレンズ位置を示す情報を入力し、現在のレンズ位置のフォーカスレンズＦＬにより合焦する被写体の距離（被写体距離）を推定する。尚、フォーカスレンズＦＬのレンズ位置と、そのレンズ位置により合焦する被写体距離とは一定の関係にある為、フォーカスレンズＦＬのレンズ位置から被写体距離を推定することができる。
　第１の被写体距離推定部２１４－４により推定された被写体距離（第１の被写体距離）を示す情報は、推定ばらつき取得部２１４－６、及び第２の被写体距離推定部２１４－８に出力される。
　推定ばらつき取得部２１４－６は、第１の被写体距離推定部２１４－４から入力する第１の被写体距離を示す情報に基づいて、第１の被写体距離の誤差（推定ばらつき）を算出する。
　ここで、推定ばらつきとは、フォーカスレンズＦＬのレンズ位置から推定した第１の被写体距離のばらつきであり、フォーカスレンズＦＬの合焦停止位置の検出精度等に起因して発生する。例えば、温度によりレンズ鏡胴特性が変化すると、被写体距離が一定でも、フォーカスレンズＦＬの合焦停止位置が変わり、誤測距される（推定ばらつきが発生する）。
　又、推定ばらつきは、第１の被写体距離を中心に無限遠側と至近端側に延びるように誤差範囲（推定ばらつきの範囲）が存在する。推定ばらつき取得部２１４－６は、第１の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを算出する。
　例えば、被写体距離が一定でも、ＨＰ（又はＩＮＦ）からのアップダウンカウンタ３２０－８のカウント値が、本来のカウント値と異なる場合（フォーカスレンズＦＬの合焦停止位置が異なる場合）、このカウント値の誤差が推定ばらつきとなる。カウント値の誤差が、±ｎパルスの範囲で発生するレンズ装置の場合、ｎパルス分のフォーカスレンズＦＬの移動量が、無限遠側の最大の推定ばらつきに相当する。尚、１パルス当りの合焦被写体距離の変化量は、現在のフォーカスレンズＦＬの合焦停止位置（第１の被写体距離）により異なる為、推定ばらつき取得部２１４－６は、第１の被写体距離を示す情報とカウント値の誤差の情報（ｎパルス）とに基づいて第１の被写体距離の推定ばらつきを算出する。
　尚、誤差は、種々な条件によって算出されてもよいし又は誤差を記憶する手段である誤差記憶部（図示せず）に格納されている誤差データベースから選択されてもよい。例えば、誤差は、交換レンズにおいて固体特有（個体差）のものであったり、交換レンズの温度特性に依存したりする。
　例えば、交換レンズ式の撮像装置１００の場合には、交換レンズ毎に誤差範囲が変わるので、推定ばらつき取得部２１４－６内に、誤差（推定ばらつき）を記憶する手段である推定ばらつき記憶部を有して、交換レンズ毎の誤差（推定ばらつき）を記憶してもよい。この場合、レンズ装置３００が装着されると、そのレンズ装置３００に係るレンズ情報を取得し、そのレンズ情報に基づいて、推定ばらつき記憶部から対応する推定ばらつきを取得する。尚、上記推定ばらつき記憶部は、レンズ装置３００内に設置されていてもよい。
　推定ばらつき取得部２１４－６により算出された推定ばらつきを示す情報は、第２の被写体距離推定部２１４－８に出力される。第２の被写体距離推定部２１４－８は、推定された第１の被写体距離と無限遠側の最大誤差（推定ばらつき）とを加算した第２の被写体距離を算出し、算出した第２の被写体距離を示す情報をデジタル信号処理部２０６の復元フィルタ選択部２０６－４に出力する。
　デジタル信号処理部２０６において、復元処理に関する要部は、復元処理部２０６－２、復元フィルタ選択部２０６－４、及び復元フィルタ記憶部２０６－６である。
　復元フィルタ記憶部２０６－６は、レンズ装置３００を含む各種レンズの点像分布関数に基づいて作成した複数の復元フィルタを、レンズ毎に記憶している。又、複数の復元フィルタは、被写体距離、ズーム倍率、Ｆナンバー、及び像高（復元領域）の組み合わせに対応するものであり、多数の復元フィルタである。尚、説明を簡単にする為に、復元フィルタ記憶部２０６－６は、被写体距離に対応して離散的に復元フィルタを記憶しているものとする。
　復元フィルタ選択部２０６－４は、第２の被写体距離推定部２１４－８から第２の被写体距離を示す情報を入力しており、この入力情報に基づいて復元フィルタ記憶部２０６－６から第２の被写体距離に対応する復元フィルタを選択する。ここで、第２の被写体距離に対応する復元フィルタが復元フィルタ記憶部２０６－６に記憶されていない場合には、第２の被写体距離に最も近い無限遠側の復元フィルタを選択する。尚、復元フィルタの選択方法の詳細については後述する。
　復元処理部２０６－２は、復元フィルタ選択部２０６－４により選択された復元フィルタを使用して画像データに対して復元処理を行う。
　次に、復元フィルタの生成方法について説明する。
　まず、撮像装置１００の出荷前等の調整時に、その撮像装置１００のレンズ装置３００の撮影レンズの点像分布関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を測定する為に、レンズ装置３００により点像（点光源）を撮像し、収差によりボケている（点像が広がっている）画像を取得する。
　このとき、撮像素子２０２は、測定専用のものを使用する方法と、実際に撮像装置１００に組み込まれる撮像素子２０２を使用する方法とがある。前者の場合は、レンズ装置３００のみに対応するＰＳＦの測定に適し、後者の場合は、撮像素子２０２の影響（カラーフィルタ等）も考慮したＰＳＦの測定に適している。
　続いて、レンズ装置３００及び撮像素子２０２を含む撮像部による点像の撮像により取得したボケた画像をＧ（Ｘ，Ｙ）、元の点像をＦ（Ｘ，Ｙ）、点像分布関数（ＰＳＦ）をＨ（Ｘ，Ｙ）とすると、次式で関係を表すことができる。
　［式１］
Ｇ（Ｘ，Ｙ）＝Ｈ（Ｘ，Ｙ）＊Ｆ（Ｘ，Ｙ）
ただし、＊はコンボリューションを示す。
　上記での点像の撮像により取得したボケた画像Ｇ（Ｘ，Ｙ）に基づいて［式１］のＨ（Ｘ，Ｙ）（即ち、点像分布関数（ＰＳＦ））を求める。
　次に、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める。この逆関数をＲ（Ｘ，Ｙ）とすると、次式のように位相変調された画像Ｇ（Ｘ，Ｙ）を、Ｒ（Ｘ，Ｙ）によりコンボリューション処理することにより、元の画像Ｆ（Ｘ，Ｙ）に対応する復元画像が得られる（復元処理）。
　［式２］
Ｇ（Ｘ，Ｙ）＊Ｒ（Ｘ，Ｙ）＝Ｆ（Ｘ，Ｙ）
　このＲ（Ｘ，Ｙ）を復元フィルタという。復元フィルタは、原画像と復元画像との２乗平均誤差を最小にする最小２乗フィルタ（ウィナーフィルタ）、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。
　［第１の実施形態］
　図８から図１０は、復元フィルタ選択部２０６－４及び復元フィルタ記憶部２０６－６により行われる、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。
　図８は、至近端（０．２ｍ）から無限遠（ＩＮＦ）までの範囲内の複数の被写体距離別の点像分布関数（ＰＳＦ）のイメージ図である。前述したように、これらのＰＳＦに基づいて復元フィルタは生成される。
　図８に示すように無限遠側のＰＳＦは、至近側のＰＳＦよりも広がりが小さく、したがって、無限遠側の復元フィルタによる復元処理は、至近側の復元フィルタによる復元処理よりも弱い復元処理となる。
　又、図８に示す例では、至近端（０．２ｍ）から無限遠までの範囲（撮影可能範囲）のうちの至近端（０．２ｍ）、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、及びＩＮＦの６つの距離（被写体距離）に対応する復元フィルタが記憶されているものとする。尚、これらの被写体距離は、フォーカスレンズＦＬの至近端からＩＮＦまでの移動量をほぼ５等分した各レンズ位置に対応する被写体距離である。
　図８中の矢印で示した範囲は、第１の被写体距離推定部２１４－４により０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦが推定され場合における各被写体距離における推定ばらつきの範囲を示している。
　又、図中の矢印先端の丸印は、第１の被写体距離推定部２１４－４により推定された被写体距離（第１の被写体距離）が、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦの場合に、第１の被写体距離とその第１の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきとを加算した距離（第２の被写体距離）を示している。
　図８において、第１の被写体距離推定部２１４－４により推定された第１の被写体距離が０．２ｍの場合は、誤差範囲が０．２５ｍから０２ｍまであり、無限遠側の最大の推定ばらつきを考慮した、第２の被写体距離推定部２１４－８により推定される第２の被写体距離は０．２５ｍである。そして、第２の被写体距離に最も近い無限遠側の復元フィルタを使用する。すなわち、０．２５ｍの被写体距離に対応して生成された復元フィルタを選択し、過補正を防ぐ。すなわち、第２の被写体距離に最も近い無限遠側に対応した復元フィルタを選択することになる。
　ここで、復元処理における過補正とは、実際の被写体距離よりも近い被写体距離を推定してしまい、本来使用すべき復元フィルタよりも強い（大きい）復元フィルタを使用して復元処理を行うことである。復元処理における過補正が行われると、得られる画像の質が悪化してしまう。
　復元処理の過補正が発生する具体例としては、第１の被写体距離推定部２１４－４により推定された第１の被写体距離が０．２５ｍ、誤差範囲が０．３３ｍから０．２ｍとなる場合に、０．２５ｍ又は０．２ｍの被写体距離に対応して生成された復元フィルタを選択すると、復元処理が過補正になる可能性がある。すなわち、実際の被写体距離は０．３３ｍから０．２ｍであるので、仮に実際の被写体距離が０．３３ｍであった場合には、０．２５ｍ又は０．２ｍの被写体距離に対応して生成された復元フィルタを使用しての復元処理は、過補正になる。
　一方で、第２の被写体距離に対して、無限遠側に大きく離れた被写体距離に対応して生成された復元フィルタを使用する場合、復元処理の効果を十分に得ることができない。例えば、第２の被写体距離は０．２５ｍであるのに、ＩＮＦに対応する復元フィルタを使用して復元処理を行うと、復元処理が弱く、復元処理の効果を十分に得ることができない。
　よって、第１の被写体距離推定部２１４－４により推定された第１の被写体距離が０．２５ｍ、第２の被写体距離推定部２１４－８により推定された第２の被写体距離が０．３３ｍである場合に、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用することにより、過補正の発生を防ぐことが可能となる。
　図８において、第１の被写体距離として０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦが推定された場合も同様に、矢印の範囲が被写体距離の誤差範囲を示し、誤差範囲内において、第２の被写体距離に最も近い無限遠側に対応した復元フィルタを選択するので、第１の被写体距離として０．２５ｍが推定された場合には、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用し、０．３３ｍが推定された場合には、０．５ｍの被写体距離に対応して生成された復元フィルタを使用し、０．５ｍが推定された場合には、１ｍの被写体距離に対応して生成された復元フィルタを使用し、ＩＮＦが推定された場合には、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用する。
　又、第１の被写体距離として、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、
又はＩＮＦ以外の被写体距離が推定された場合、例えば、０．３３ｍと０．５ｍとの間の被写体距離が推定され場合には、最大の推定ばらつきを考慮した第２の被写体距離は、０．５ｍと１ｍとの間の被写体距離になる。したがって、この第２の被写体距離に最も近い無限遠側の復元フィルタは、１ｍの被写体距離に対応して生成された復元フィルタである。
　又、撮像装置１００において、予め遠方を撮影することが決められている場合（風景モード）での撮影には、第２の被写体距離に関わらず、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用するようにしてもよい。
　図９は、レンズ装置３００とは異なるレンズ（交換レンズ)に対応する測距誤差等を示しており、レンズの種類により温度特性が異なったり、個体差がある為、フォーカスレンズの合焦停止位置から推定される被写体距離の推定ばらつきが異なっている。
　図９は、図８の場合に比べて、矢印の範囲で示す推定ばらつき（誤差範囲）が大きい（長い）場合に関して示している。図９の場合において、第２の被写体距離から最大の取り得る被写体距離に最も近い無限遠側の復元フィルタを使用する。すなわち、第１の被写体距離として０．２ｍが推定された場合、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用し、０．２５ｍが推定された場合、０．５ｍの被写体距離に対応して生成された復元フィルタを使用し、０．３３ｍが推定された場合、１ｍの被写体距離に対応して生成された復元フィルタを使用し、１ｍ以上が推定された場合、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用する。
　図１０は、図９の場合に比べて、更に誤差範囲が大きい（長い）場合を示している。図１０の場合、第１の被写体距離として至近端（０．２ｍ）が推定されても、その推定ばらつきを考慮した被写体距離（第２の被写体距離）は、１ｍよりも大きい。したがって、過補正にならない復元フィルタは、ＩＮＦに対応して生成された復元フィルタのみである。即ち、図１０に示す推定ばらつきを有するレンズの場合、推定される被写体距離に関わらず、ＩＮＦに対応して生成された復元フィルタのみを使用する。
　［第２の実施形態］
　図１１から図１３は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。
　図１１から図１３に示される第２の実施形態は、図８から図１０に示される第１の実施形態と同様に被写体距離に対応する復元フィルタを記憶するようにしているが、第２の実施形態では、復元フィルタの復元フィルタ記憶部２０６－６への記憶のさせ方が異なる。
　第２の実施形態では、復元フィルタを記憶する手段である復元フィルタ記憶部２０６－６は、第１の被写体距離推定部２１４－４により推定される最も至近側の被写体距離に、最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離（以下「推定ばらつき至近距離」という）と、無限遠との範囲内に相当する復元フィルタを記憶させている。
　推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、過補正になる復元処理を行う可能性がある。そこで、復元フィルタ記憶部２０６－６には、推定ばらつき至近距離と無限遠との範囲内に相当する複数の復元フィルタのみを記憶させ、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、初めから記憶させないようにする。これにより、復元フィルタ記憶部２０６－６に記憶させる復元フィルタの数を低減するようにしている。
　すなわち、第１の実施形態において、復元フィルタは、予め設定された複数の被写体距離毎に使用するか否かに関わらず、復元フィルタ記憶部２０６－６に記憶されているのに対して、第２の実施形態では、被写体距離の誤差範囲との関係で使用しない復元フィルタは、復元フィルタ記憶部２０６－６へ記憶させない（図１１から図１３を参照）。
　図１１は、図８に示された第１の実施形態に対応する第２の実施形態を示した図である。図１１に示された第２の実施形態と図８に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍの被写体距離に対応する復元フィルタが無い点で相違する。
　図１１の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は０．２５ｍであり、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、０．２５ｍの被写体距離に対応して生成された復元フィルタとなる。言い換えると、図１１に示されたような誤差範囲を持つ場合には、図８に示されるような０．２ｍの被写体距離に対応して生成された復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない復元フィルタは、復元フィルタ記憶部２０６－６に記憶させてない。
　図１２は、図９に示された第１の実施形態に対応する第２の実施形態を示した図である。図１２に示された第２の実施形態と図９に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍ及び０．２５ｍの被写体距離に対応する復元フィルタが無い点で相違する。
　図１２の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は０．３３ｍであり、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、０．３３ｍの被写体距離に対応して生成された復元フィルタとなる。言い換えると、図１２に示されたような誤差範囲を持つ場合には、図９に示されるような０．２ｍ、０．２５ｍの被写体距離に対応して生成された復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない復元フィルタは、復元フィルタ記憶部２０６－６に記憶させてない。
　図１３は、図１０に示された第１の実施形態に対応する第２の実施形態を示した図である。図１３に示された第２の実施形態と図１０に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、及び１ｍの被写体距離に対応する復元フィルタが無い点で相違する。
　図１３の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は１ｍより大きく、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、ＩＮＦ（１）の復元フィルタとなる。言い換えると、図１３に示されたような誤差範囲を持つ場合には、図１０に示されるような（２）から（６）の復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない（２）から（６）の復元フィルタは、復元フィルタ記憶部２０６－６に記憶させてなく、誤差範囲の関係から選択された（１）の復元フィルタが復元フィルタ記憶部２０６－６に記憶されている。
　このように、図１１から図１３に示された第２の実施形態では、誤差範囲との関係で使用しない復元フィルタを復元フィルタ記憶部２０６－６に記憶させていない。これにより、復元フィルタを記憶させる為のメモリ容量を軽減することができる。
　又、復元フィルタを記憶する手段である復元フィルタ記憶部は、推定ばらつきに対応してそれぞれ複数の復元フィルタが格納された複数のテーブルを有して、復元フィルタを選択する手段である復元フィルタ選択部は、推定ばらつきを取得する手段である推定ばらつき取得部２１４－６により取得した推定ばらつきの大きさに応じて複数のテーブルから対応するテーブルを選択し、選択したテーブルから復元フィルタを選択してもよい。
　図１４は、撮像装置１００の他の実施形態であるスマートフォン５００の外観を示すものである。図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面にモニタ２１２としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。又、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、モニタ２１２と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１５は、図１４に示すスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。又、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
　表示パネル５２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。又、図１４に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ　ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続する為のものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。又、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行う為に、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。
　又、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動する為のアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成する為のウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付ける為のソフトウェアキーのことをいう。
　又、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示用画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　又、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子２０２を用いて電子撮影するデジタルカメラであり、図１等に示した撮像装置１００と同様の機能を備えている。
　即ち、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替えることができるように構成され、マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォース用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。
　又、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　又、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。又、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
　又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１００…撮像装置、２００…撮像装置本体、２０２…撮像素子、２０６…デジタル信号処理部、２１２…モニタ、２１４…メインＣＰＵ、２２０…操作部、２１４…ＡＦ検出部、３００…レンズ装置、３２０…Ｆレンズ制御部、３４０…レンズＣＰＵ、５００…スマートフォン

Claims (9)

  1. 　撮影レンズにより結像された被写体像を撮像し、該被写体像を示す画像を取得する撮像部と、
    　前記撮像部による撮像時の、焦点検出部より推定した被写体距離を求める第１の被写体距離推定部と、
    　少なくとも被写体距離に対応した前記撮影レンズの点像分布関数に基づいて作成した複数の復元フィルタから選択された１以上の復元フィルタを記憶する復元フィルタ記憶部と、
    　前記第１の被写体距離推定部段により推定した被写体距離に基づいて前記復元フィルタ記憶部に記憶された復元フィルタから前記被写体距離に対応する復元フィルタを選択する復元フィルタ選択部と、
    　前記復元フィルタ選択部により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理部と、を備え、
    　前記復元フィルタ記憶部は、前記第１の被写体距離推定部段により推定される最も至近側の被写体距離に前記最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との範囲内に相当する復元フィルタを記憶する、
    　撮像装置。
  2. 　前記第１の被写体距離推定部は、前記撮影レンズのフォーカスレンズのレンズ位置に基づいて被写体距離を推定する請求項１に記載の撮像装置。
  3. 　前記撮影レンズは交換レンズであり、
    　前記第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきは、交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方である請求項２に記載の撮像装置。
  4. 　前記第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得部と、
    　前記第１の被写体距離推定部により推定した被写体距離に前記推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定部と、備え、
    　前記復元フィルタ選択部は、前記復元フィルタ記憶部に記憶された１以上の復元フィルタのうちの前記第２の被写体距離推定部により算出した被写体距離に最も近い無限遠側の復元フィルタを選択する請求項１から３のいずれか１項に記載の撮像装置。
  5. 　前記撮影レンズは、前記復元フィルタ記憶部が内蔵された交換レンズである請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記撮影レンズは交換レンズであり、
    　前記推定ばらつき取得部は、交換レンズから該交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方を取得する請求項４に記載の撮像装置。
  7. 　前記撮影レンズは交換レンズであり、
    　前記推定ばらつき取得部は、
    　装着される交換レンズから該交換レンズのレンズ情報を取得するレンズ情報取得部と、複数の交換レンズ毎の推定ばらつきを記憶する推定ばらつき記憶部とを有し、前記レンズ情報取得部により取得したレンズ情報に対応する推定ばらつきを、前記推定ばらつき記憶部から取得する請求項４に記載の撮像装置。
  8. 　前記復元処理部により復元処理して得られた画像を記録する記録部を備えた請求項１から７のいずれか１項に記載の撮像装置。
  9. 　撮影レンズを有する撮像部から被写体像を示す画像を取得する画像取得工程と、
    　前記撮像部による撮像時の焦点検出部より推定した被写体距離を求める第１の被写体距離推定工程と、
    　少なくとも被写体距離に対応した前記撮影レンズの点像分布関数に基づいて作成した複数の復元フィルタから選択された１以上の復元フィルタを記憶する復元フィルタ記憶部を準備する工程と、
    　前記第１の被写体距離推定工程により推定した被写体距離に基づいて前記復元フィルタ記憶部に記憶された復元フィルタから前記被写体距離に対応する復元フィルタを選択する復元フィルタ選択工程と、
    　前記復元フィルタ選択工程により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理工程と、を含み、
    　前記復元フィルタ記憶部は、前記第１の被写体距離推定工程により推定される最も至近側の被写体距離に前記最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との範囲内に相当する復元フィルタを記憶するものである画像処理方法。
PCT/JP2013/061842 2012-09-27 2013-04-23 撮像装置及び画像処理方法 WO2014050189A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380049879.2A CN104685863B (zh) 2012-09-27 2013-04-23 摄像装置及图像处理方法
DE112013004760.8T DE112013004760B4 (de) 2012-09-27 2013-04-23 Bilderfassungsvorrichtung und Bildverarbeitungsverfahren
JP2014538218A JP5746795B2 (ja) 2012-09-27 2013-04-23 撮像装置及び画像処理方法
US14/661,361 US9363430B2 (en) 2012-09-27 2015-03-18 Imaging device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-213831 2012-09-27
JP2012213831 2012-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/661,361 Continuation US9363430B2 (en) 2012-09-27 2015-03-18 Imaging device and image processing method

Publications (1)

Publication Number Publication Date
WO2014050189A1 true WO2014050189A1 (ja) 2014-04-03

Family

ID=50387609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061842 WO2014050189A1 (ja) 2012-09-27 2013-04-23 撮像装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9363430B2 (ja)
JP (1) JP5746795B2 (ja)
CN (1) CN104685863B (ja)
DE (1) DE112013004760B4 (ja)
WO (1) WO2014050189A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041727A (ja) * 2015-08-19 2017-02-23 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050188A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
JP5864037B2 (ja) * 2013-08-02 2016-02-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197354A (ja) * 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
JP2011259314A (ja) * 2010-06-10 2011-12-22 Fujifilm Corp 撮像装置、画像処理装置及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008418A1 (en) 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP3468231B2 (ja) * 2001-07-02 2003-11-17 ミノルタ株式会社 画像処理装置、画質制御方法、プログラム及び記録媒体
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR100829581B1 (ko) * 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
JP5111306B2 (ja) * 2008-08-29 2013-01-09 キヤノン株式会社 像ブレ補正機能を有する光学機器及びその制御方法
US20110199511A1 (en) * 2008-10-20 2011-08-18 Camelot Co., Ltd. Image photographing system and image photographing method
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20120026360A1 (en) * 2010-02-08 2012-02-02 Panasonic Corporation Imaging device
JP5501069B2 (ja) 2010-03-31 2014-05-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5454348B2 (ja) * 2010-05-12 2014-03-26 ソニー株式会社 撮像装置および画像処理装置
US8774550B2 (en) * 2010-06-04 2014-07-08 Panasonic Corporation Picture processing device, picture processing method, integrated circuit, and program
CN102625043B (zh) * 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法
US8928783B2 (en) * 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
JP6115781B2 (ja) * 2012-03-29 2017-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
WO2014050188A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197354A (ja) * 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
JP2011259314A (ja) * 2010-06-10 2011-12-22 Fujifilm Corp 撮像装置、画像処理装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017041727A (ja) * 2015-08-19 2017-02-23 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム

Also Published As

Publication number Publication date
JP5746795B2 (ja) 2015-07-08
CN104685863B (zh) 2017-11-03
DE112013004760T5 (de) 2015-08-13
JPWO2014050189A1 (ja) 2016-08-22
US9363430B2 (en) 2016-06-07
CN104685863A (zh) 2015-06-03
DE112013004760B4 (de) 2017-10-19
US20150195447A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
JP6033454B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6031587B2 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US9800774B2 (en) Image capture device with restoration processing and image restoration processing method
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5746794B2 (ja) 撮像装置及び画像処理方法
WO2014045740A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5746795B2 (ja) 撮像装置及び画像処理方法
WO2014171423A1 (ja) 撮像装置、キャリブレーションシステム、キャリブレーション方法、及びプログラム
JP6171105B2 (ja) 撮像装置及び合焦制御方法
JP6379307B2 (ja) 撮像装置、合焦制御方法、及び合焦制御プログラム
JP5972485B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842904

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014538218

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112013004760

Country of ref document: DE

Ref document number: 1120130047608

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13842904

Country of ref document: EP

Kind code of ref document: A1