WO2013190946A1 - 撮像装置およびその動作制御方法 - Google Patents

撮像装置およびその動作制御方法 Download PDF

Info

Publication number
WO2013190946A1
WO2013190946A1 PCT/JP2013/064346 JP2013064346W WO2013190946A1 WO 2013190946 A1 WO2013190946 A1 WO 2013190946A1 JP 2013064346 W JP2013064346 W JP 2013064346W WO 2013190946 A1 WO2013190946 A1 WO 2013190946A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
optical axis
center
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/064346
Other languages
English (en)
French (fr)
Inventor
寿明 本木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014521237A priority Critical patent/JP5736512B2/ja
Priority to CN201380032909.9A priority patent/CN104380709B/zh
Publication of WO2013190946A1 publication Critical patent/WO2013190946A1/ja
Priority to US14/541,211 priority patent/US9363437B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G03B2205/0038—Movement of one or more optical elements for control of motion blur by displacing the image plane with respect to the optical axis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Definitions

  • the present invention relates to an imaging apparatus and its operation control method.
  • Camera shake correction function may be added to the camera to reduce image blur due to camera shake.
  • patent document 1 makes it a subject to prevent the expansion-contraction produced in the peripheral part of a picked-up image due to the optical aberration of a lens, when optical camera-shake correction is performed.
  • the deviation correction amount is calculated by the correction calculation circuit, and the optical shake correction is performed based on the calculated deviation correction amount, a correction vector indicating the correction direction and the correction amount Based on the data, the reference position is moved within the imaging region, and distortion correction for each pixel is performed based on the moved reference position.
  • the one described in Patent Document 2 has a problem of accurately restoring an image by eliminating the influence of image distortion of the imaging lens system, storing image degradation information of the optical system, and shaking during shooting. Is detected and stored in time-series camera shake detection signal, the image data is corrected based on the image degradation information of the optical system, and the image data corrected by the image degradation information is deteriorated by the camera shake based on the camera shake detection signal. The image is restored by eliminating the influence of the image distortion of the optical system.
  • the one disclosed in Patent Document 2 includes a circuit that calculates an image restoration function in order to restore image degradation due to camera shake, and the image restoration function changes how the original image changes from the output of the basic trajectory calculation circuit. Is output in anticipation.
  • the device described in Patent Document 3 can perform blur correction so that the difference in image shift amount between the screen center position and the peripheral position during exposure due to the size of the angle of view of the photographing lens is not conspicuous. It is an issue to provide a camera with a camera shake correction function, and the lens unit FlashRom obtains a correction limit value ⁇ h for camera shake correction in the camera body, thereby limiting the image sensor shift amount during camera shake correction. . That is, instead of correcting the distortion, an area with a large distortion is detected and avoided.
  • An object of the present invention is to reduce image distortion due to camera shake correction. Another object of the present invention is to reduce image distortion of moving images.
  • an imaging device solid-state electronic imaging device
  • An image pickup optical system including an image pickup optical system, and a camera shake correction mechanism that corrects a relative position between the center of the image pickup element and the optical axis center of the image pickup optical system according to camera shake.
  • Position detecting means for detecting the position where the optical axis center of the image pickup optical system is relatively moved by the camera shake correction mechanism a plurality of times during the exposure period of the image pickup device, the position detected by the position detection means From the optical axis position calculating means for calculating the position of the optical axis center of the imaging optical system in the subject image captured by the imaging element as the optical axis position, and calculating by the optical axis position calculating means Characterized in that it comprises a correction means for performing at least one of correction of the optical distortion correction or shading correction of a subject image captured by the image pickup device by using the position of the optical axis center.
  • the first invention also provides an operation control method suitable for the imaging apparatus. That is, an imaging device that images a subject and outputs image data representing the subject image, an imaging optical system that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device, and camera shake
  • the position detection means includes the camera shake correction mechanism.
  • the position where the center of the imaging device and the optical axis center of the imaging optical system are relatively moved is detected a plurality of times during the exposure period of the imaging device, and the optical axis position calculating means is detected by the position detecting means.
  • the position of the optical axis center of the imaging optical system in the subject image captured by the imaging element is calculated from the detected position, and the correcting means calculates the optical axis center position calculated by the optical axis position calculating means. Using location and performs at least one of correction of the optical distortion correction or shading correction of a subject image captured by the image pickup device.
  • the position where the center of the image sensor and the optical axis center of the imaging optical system are relatively moved by the camera shake correction is detected a plurality of times during the exposure period, so that the detected position is used.
  • the optical axis center position of the imaging optical system in the captured subject image can be calculated as the optical axis position.
  • at least one of optical distortion correction and shading correction of the subject image can be performed.
  • the optical axis center position of the imaging optical system in the subject image is more It can be calculated accurately, and optical distortion correction or shading correction of the subject image can be realized more accurately.
  • moving image distortion can be reduced by performing the above-described correction on the subject images of a plurality of frames constituting the moving image.
  • the optical axis position calculating means calculates the optical axis position from the position where the image pickup device and the image pickup optical system are most shifted among the positions detected by the position detecting means a plurality of times, for example.
  • a trajectory generating means for generating a trajectory of the position detected a plurality of times by the position detecting means may be further provided.
  • the optical axis position calculating means will calculate the optical axis position of the imaging optical system in the subject image captured by the imaging device from the trajectory generated by the trajectory generating means.
  • the optical axis position calculating means is, for example, a position where the image sensor indicated by the trajectory generated by the trajectory generating means and the imaging optical system are moved relative to each other in the vertical direction or the horizontal direction.
  • the optical axis position of the imaging optical system in the subject image captured by the imaging device may be calculated.
  • the optical axis position calculation means is a vertical or horizontal one when the amount of movement is equal to or greater than a threshold value among the positions where the image pickup device and the image pickup optical system indicated by the locus generated by the locus generation means are relatively moved.
  • the optical axis position of the imaging optical system in the subject image captured by the imaging device from the position where the direction is changed may be calculated.
  • the image sensor outputs, for example, partial image data representing a part of the subject image a plurality of times during the exposure period
  • the correction means includes, for example, the previous partial image data output from the image sensor and the current partial image data.
  • Optical distortion correction or shading correction of the partial image represented by the current partial image data is performed using the position detected by the position detection means until output.
  • the image sensor for example, captures a subject at a fixed period and outputs image data representing a moving subject image, or outputs image data representing a still image subject by exposure for a given shutter time. It is.
  • a zoom lens that changes the size of the subject image formed on the light receiving surface of the image sensor without changing the focal length of the imaging optical system may be further provided.
  • the correction means uses, for example, the position detected by the position detection means when the zoom lens position is such that the optical distortion amount is not less than the first threshold value or not more than the second threshold value. An optical distortion correction of the subject image picked up by the image pickup device will be performed.
  • an imaging device that images a subject and outputs image data representing the subject image
  • imaging optics that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device.
  • an imaging apparatus having a camera shake correction mechanism that corrects a relative position between the center of the imaging device and the center of the optical axis of the imaging optical system according to a system and camera shake, the center of the imaging device at the start of an exposure period Including detection of an initial position with respect to the optical axis center of the imaging optical system, and a position where the center of the imaging element and the optical axis center of the imaging optical system are relatively moved by the camera shake correction mechanism.
  • Position detection means for detecting a plurality of times during the exposure period, and optical distortion correction or detection of the subject image picked up by the image sensor from the initial position and other positions detected by the position detection means. Characterized in that it comprises a smaller correction means for performing one of over loading correction.
  • the second invention also provides an operation control method suitable for the imaging apparatus. That is, an imaging device that images a subject and outputs image data representing the subject image, an imaging optical system that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device, and camera shake
  • an operation control method for an image pickup apparatus including a camera shake correction mechanism for correcting a relative position between the center of the image pickup element and the optical axis center of the image pickup optical system.
  • the correction means detects the light of the subject image captured by the image sensor from the initial position and other positions detected by the position detector. Less distortion correction or shading correction also is performed one.
  • the detection of the initial position between the center of the image pickup device and the optical axis center of the image pickup optical system at the start of the exposure period is included, and the center of the image pickup device and the optical axis center of the image pickup optical system are shaken. Since the position relatively moved by the correction is detected multiple times during the exposure period, the detected initial position and other positions are used to correct at least one of the optical distortion correction or shading correction of the subject image. Can be performed relatively accurately. In addition, moving image distortion can be reduced by performing the above-described correction on the subject images of a plurality of frames constituting the moving image.
  • an imaging device that images a subject and outputs image data representing the subject image
  • imaging optics that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device.
  • An image pickup apparatus including a camera shake correction mechanism that corrects a relative position between the center of the image pickup element and the center of the optical axis of the image pickup optical system according to a camera shake, and a center of the image pickup element and the image pickup optical system.
  • Position detection means for detecting the position relative to the center of the optical axis by the camera shake correction mechanism a plurality of times during the exposure period of the image sensor, and generating a locus of the position detected by the position detection means a plurality of times And the trajectory generated by the trajectory generating means, without changing the direction in the vertical direction or in the horizontal direction, the imaging element and the imaging optical system are compatible with each other. Characterized in that to the number of times that has been moved is provided with correction means for performing at least one of correction of the optical distortion correction or shading correction using the direction changing position after became more than a predetermined number of times.
  • the third invention also provides an operation control method suitable for the imaging apparatus. That is, an imaging device that images a subject and outputs image data representing the subject image, an imaging optical system that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device, and camera shake
  • an imaging device that images a subject and outputs image data representing the subject image
  • an imaging optical system that is provided in front of the light receiving surface of the imaging device and forms a subject image on the light receiving surface of the imaging device
  • camera shake In the operation control method of an image pickup apparatus having a camera shake correction mechanism for correcting the relative position between the center of the image pickup element and the optical axis center of the image pickup optical system in accordance with the position of the image pickup element, The position where the optical axis center of the imaging optical system is relatively moved by the camera shake correction mechanism is detected a plurality of times during the exposure period of the imaging device, and the locus generating means is detected a plurality of times by the position detecting means.
  • the correcting means does not change the direction in the vertical direction or the horizontal direction in the trajectory generated by the trajectory generating means.
  • Number of times that the image optical system is moved relatively is to perform at least one of correction of the optical distortion correction or shading correction using the direction changing position after it became more than a predetermined number of times.
  • a position where the center of the image sensor and the optical axis center of the image pickup optical system are relatively moved by camera shake correction is detected a plurality of times during the exposure period, and a locus of the position is generated.
  • Using the position changed after the number of times the image pickup device and the image pickup optical system are relatively moved is not less than a predetermined number without being changed in the vertical direction or the horizontal direction in the generated trajectory.
  • At least one of optical distortion correction and shading correction of the subject image is performed.
  • the direction is changed after a predetermined number of times or more as described above, the changed position often deviates considerably from the initial position. Since optical distortion correction or shading correction of the subject image is performed using such a position, correction can be performed relatively accurately.
  • moving image distortion can be reduced by performing the above-described correction on the subject images of a plurality of frames constituting the moving image.
  • the relationship between an imaging lens and an image sensor is shown. It shows a state where the image sensor is shifted by camera shake correction. It shows a state in which optical distortion occurs in the captured subject image. It shows a state in which optical distortion occurs in the captured subject image. It is a time chart of an imaging device. The locus
  • FIG. 1 shows an embodiment of the present invention, and is a side view showing the positional relationship between the imaging lens 1 and the imaging device 2 of the imaging apparatus
  • FIG. 2 is a front view showing the positional relationship before and after the shift of the imaging device 2. It is.
  • an imaging lens 1 that forms a subject image on the light receiving surface of the image sensor 2 is disposed in front of the light receiving surface of the image sensor 2 (left side in FIG. 1).
  • the image sensor 2 can be shifted in the vertical direction (up and down direction in FIGS. 1 and 2) and in the horizontal direction (left and right direction in FIG. 2).
  • camera shake correction is performed by shifting the imaging device 2 in the vertical direction and the horizontal direction (vertical direction or horizontal direction).
  • the optical axis L of the imaging lens 1 is positioned so as to pass through the center of the imaging device 2 as indicated by reference numeral 2A in FIGS.
  • the image sensor 2 that has been at the position indicated by reference numeral 2A is shifted to a position indicated by reference numeral 2B, for example, so as to correct the camera shake in accordance with the direction and amount of camera shake.
  • the optical axis L passes through the center of the image sensor 2, but when the image sensor 2 is shifted to the position indicated by reference numeral 2B. , The optical axis L does not pass through the center C of the image sensor 2.
  • FIG. 3 is an example of the subject image 3 obtained when the image pickup device 2 exists at the position of 2A as shown in FIGS.
  • the subject image 3 formed by the imaging lens 1 has a distorted portion 4 due to distortion of the imaging lens 1.
  • the subject image 3 is obtained from the image sensor 2 when the image pickup lens 1 and the image sensor 2 have a positional relationship such that the optical axis L passes through the center of the image sensor 2.
  • the degree of distortion increases with increasing distance from the radial direction.
  • FIG. 4 is an example of a subject image 5 obtained when the image pickup device 2 is present at the position 2B as shown in FIGS.
  • the subject image 5 is obtained from the image sensor 2 when the image sensor 2 is shifted so that the optical axis L is in the positional relationship between the image sensor 2 and the image sensor 2 that does not pass through the center C of the image sensor 2. It is.
  • the distorted portion 6 does not increase in degree of distortion as it moves away from the center C of the subject image 5 in the radial direction, but increases in degree of distortion as it moves away from the optical axis L in the radial direction. It has become.
  • the subject image 3 shown in FIG. 3 is an image of the first frame and the subject image shown in FIG. 4 is an image of the second frame, when viewed as a moving image, a moving image distortion in which a distorted portion changes for each frame occurs.
  • the moving image distortion is reduced by correcting the optical distortion.
  • FIG. 5 is a time chart of the imaging apparatus according to this embodiment.
  • camera shake detection is performed a plurality of times during the exposure period in which an image of one frame is obtained, and the center of the image sensor 2 and the light of the imaging lens 1 are corrected by camera shake correction based on the plurality of camera shake detections. A position where the center of the axis is moved relative to the axis is detected.
  • moving images are captured, and the shutter is opened.
  • the imaging of the subject is repeated at a 1/30 second period with an exposure period of 1/30 second.
  • 14 times of camera shake detection (camera shake correction) is performed during the 1/30 second exposure period.
  • the camera shake detection may be performed less than 14 times or more than 14 times during the exposure period.
  • camera shake detection is performed at 14 timings from time t1 to t14 during an exposure period of 1/30 seconds from time t0 to t14.
  • FIG. 6 shows a locus from the front of the center of the image sensor 2 when the image sensor 2 is shifted by 14 times of camera shake detection during the exposure period.
  • the horizontal axis indicates the shift amount in the horizontal direction
  • the vertical axis indicates the shift amount in the vertical direction.
  • the origin is the position of the optical axis L and coincides with the center position of the initial position of the image sensor 2 as described above.
  • FIG. 7 is a table showing the trajectory of FIG.
  • a positive sign indicating that the image pickup device 2 is shifted in the positive vertical direction is stored, and when the image pickup device 2 is shifted downward, a negative sign is stored.
  • the sign of ⁇ indicating that the shift has been made in the vertical direction is stored.
  • the image pickup device 2 is viewed from the front, when the image pickup device 2 is shifted rightward, a positive sign indicating that the image pickup device 2 has been shifted in the positive horizontal direction is stored, and the image pickup device 2 is shifted leftward. In the case of “-”, the sign of “ ⁇ ” indicating that it has been shifted in the negative direction is stored.
  • the image sensor 2 has moved in the vertical positive direction and in the horizontal negative direction by the first camera shake detection (P1, Y1). Then, the code
  • P2, Y2 the second hand shake detection
  • symbol which shows each direction is stored in the 2nd column of the camera shake detection frequency of the table shown in FIG.
  • a code indicating the moving direction from the position of the image sensor 2 in the previous camera shake detection is stored in the table shown in FIG.
  • the moving direction of the image sensor 2 in the fourth hand shake detection is opposite to the vertical direction and the horizontal direction from the moving direction of the image sensor 2 in the third hand shake detection which is the previous hand shake detection. .
  • a negative sign indicating the negative direction is stored in the vertical direction
  • a positive sign indicating the positive direction is stored in the horizontal direction.
  • codes indicating the same direction as the fourth column are stored in the fourth to tenth columns of the number of camera shake detection times.
  • the eleventh handshake detection it is assumed that only the vertical direction is reversed from the moving direction of the image sensor 2 in the tenth handshake detection which is the previous handshake detection. Then, the + sign indicating the positive direction in both the vertical direction and the horizontal direction is stored in the eleventh column of the number of times of camera shake detection. Assuming that the movement direction of the image sensor 2 has not changed from the movement direction in the previous shake detection from the eleventh shake detection to the fourteenth shake detection, from the eleventh column of the number of shake detection times The 14th field stores a code indicating the same direction as the 11th field.
  • the camera shake detection is performed 14 times in one frame as described above.
  • the position information stored in the table is read as shown in FIG. 7 until time t22.
  • the optical axis position in the subject image is calculated from the read position information (three position information since it is recorded three times in the above case).
  • FIG. 8 shows a subject image obtained by imaging.
  • the optical axis position L in the subject image 7 is found by calculation. Since the subject image 7 is picked up by the image pickup device 2 shifted by camera shake correction, the optical axis position L1 is not necessarily the position of the center C of the subject image.
  • image data is captured from the image sensor 2.
  • optical distortion correction is performed on the captured image data using the calculated reference position.
  • an optical distortion corrected image is displayed.
  • FIG. 9 is a block diagram showing an electrical configuration of the imaging apparatus.
  • the overall operation of the imaging device is controlled by the CPU 10.
  • the imaging device includes an operation device 34 including switches, buttons, and the like for inputting imaging commands and the like.
  • An operation signal output from the operation device 34 is input to the CPU 10.
  • the imaging device also includes a light emitting device 16 that irradiates the subject and a light receiving device 17 that receives the reflected light from the subject.
  • the imaging lens 1 is positioned in front of the imaging element 2 (there is a mechanical shutter in front of the imaging lens 1, but the illustration is omitted).
  • a diaphragm 12 and an optical low-pass filter 13 are disposed between the light receiving surface of the image sensor 2 and the imaging lens 1.
  • the imaging lens 1 is positioned in the optical axis direction by the lens driving device 18, and the aperture amount of the diaphragm 12 is controlled by the diaphragm driving device 19.
  • the image sensor 2 is controlled by the image sensor driving device 20 for video signal output and the like.
  • the imaging apparatus includes a camera shake detection device 14 that detects camera shake of the image sensor 2 and a camera shake correction drive device 21 that shifts the image sensor 2 as described above.
  • the image pickup apparatus includes a sensor position detection / detection position memory 15.
  • the sensor position detection / detection position memory 15 detects the position of the image sensor 2 when the image sensor 2 is shifted by camera shake correction, and stores the data indicating the detected position. By storing data indicating the detected position in the detection / detection position memory 15, a locus shown in FIG. 6 is generated. The table shown in FIG. 7 is also stored in the sensor position detection / detection position memo 15.
  • the video signal output from the image sensor is subjected to predetermined analog signal processing such as white balance in the analog signal processing device 22 and output.
  • the video signal output from the analog signal processing device 22 is converted into digital image data by the analog / digital conversion circuit 23.
  • Digital image data is temporarily recorded in the main memory 24 by the memory control device 25.
  • the digital image data is read from the main memory 24, and predetermined digital signal processing such as gamma correction is performed in the digital signal processor 26.
  • the digital image data is input to the optical distortion and shading correction device 27, where optical distortion correction is performed as described above, and shading correction is performed with reference to the reference position.
  • the digital image data read from the main memory 24 is also input to the integrating device 29.
  • the integrating device 29 integrates the luminance components, and the aperture value of the aperture 12 is adjusted based on the obtained integrated value.
  • the image data whose optical distortion has been corrected as described above is given to the memory card 30 under the control of the external memory control device 31, and recorded on the memory card 30. Is done.
  • FIG. 10 is a flowchart showing a processing procedure for optical distortion correction in the imaging apparatus.
  • the timing of camera shake detection performed a plurality of times during the exposure period is determined in advance, and camera shake detection is performed at that timing.
  • the image sensor 2 is shifted so as to correct the camera shake according to the camera shake amount and the camera shake direction (step 42).
  • a change of direction such as a shift from the positive direction to the negative direction or vice versa in at least one of the vertical direction and the horizontal direction compared to the shift direction in the previous camera shake detection. Is confirmed. If there is a change of direction (YES in step 44), the position information of the change point where the change of direction has occurred is stored in the sensor position detection / detection position memory 15 (step 45).
  • step 46 the processing from step 41 to step 46 is repeated (step 47).
  • the center position information of the imaging element 2 having the longest distance is the sensor position detection / detection position. It is read from the memory 15 (step 47). Optical distortion and shading correction are performed using the read center position information as a reference position (step 48).
  • the shift amount of the image sensor during the exposure may be larger than the shift amount of the image sensor 2 at the end of the exposure. More accurate optical distortion correction is realized when the optical distortion correction is performed based on the shift amount of the image sensor during the exposure than when the optical distortion correction is performed based on the shift amount of the image sensor 2 at the end. it can. According to this embodiment, since optical distortion correction or the like is performed based on the position of the image sensor 2 having a large shift amount, more accurate optical distortion correction or the like can be realized.
  • the center position information of the image sensor 2 having the longest distance among the distances from the optical axis center of the image pickup lens 1 stored in the sensor position detection / detection position memory 15 to the center of the image sensor 2 is obtained.
  • optical distortion correction is performed using each of the optical axis positions when a plurality of pieces of center position information are obtained using a plurality of pieces of center position information in addition to the center position information of the image sensor 2 having the longest distance. May be assumed to be the optical axis position, and optical distortion correction may be performed using the optical axis position.
  • FIG. 11 shows a processing procedure according to another embodiment, and is a flowchart showing a processing procedure of optical distortion correction in the imaging apparatus.
  • FIG. 11 the same processes as those shown in FIG.
  • step 50 it is determined whether or not the shift amount is equal to or greater than a threshold value (step 50). If the shift amount is greater than or equal to the threshold (YES in step 50), it is confirmed whether or not the direction has been changed compared to the previous shift direction (steps 43 and 44).
  • FIG. 12 shows a processing procedure according to another embodiment, and is a flowchart showing a processing procedure for optical distortion correction.
  • FIG. 12 the same processes as those shown in FIG.
  • the distance from the center of the optical axis to the center of the image sensor 2 is calculated based on the position information of the change point as described above (step 46), but in the process shown in FIG.
  • the calculation of the distance from the center of the optical axis to the image sensor 2 is omitted.
  • Arbitrary change points such as the first and last are selected, and the selected change points are output (step 51).
  • the optical axis position is calculated from the selected change point, and optical distortion correction or the like is performed using the optical axis position (step 49). Since the distance from the center of the optical axis to the center of the image sensor 2 is not calculated, optical distortion correction or the like is performed relatively quickly.
  • FIG. 13 shows a processing procedure according to still another embodiment, and is a flowchart showing a processing procedure for optical distortion correction.
  • FIG. 13 the same processes as those shown in FIG. 13
  • step 52 when the image sensor 2 is shifted, if the direction of the previous shift is the same, the number of consecutive shifts without a direction change is counted (step 52).
  • step 53 The position information of the change point where the direction change occurred after the number of shifts with a large count out of the number of consecutive shifts without direction change is output (step 53), and optical distortion correction or the like is performed based on the position information (step 53).
  • step 53 If there is a large number of shifts when there is no direction change, it can be determined that the change point found after the large number of shifts is farthest from the center of the optical axis. Optical distortion correction can be realized based on such determination.
  • FIGS. 14 to 21 show other embodiments, in which optical distortion correction or the like is performed with reference to a plurality of reference points that differ depending on the region of the subject.
  • optical distortion correction or the like is performed with reference to different reference points in the upper region and the lower region of the subject image.
  • FIG. 14 shows a time chart of the imaging apparatus
  • FIG. 15 shows an upper region 61 of the subject image 60 obtained by imaging
  • FIG. 16 shows a lower region 62 of the subject image 60.
  • the data indicating the shift position stored as described above due to the camera shake correction performed up to time t7 is from time t7 to time t31. Read during. Between time t32 and time t33, the positional relationship between the upper region 61 of the subject image 60 and the optical axis position used for optical distortion correction is calculated.
  • the center of the subject image 60 is indicated by the symbol C.
  • the optical axis position calculated as described above based on the camera shake correction performed from time t1 to time t8 is denoted by reference numeral B1.
  • the upper region 61 of the subject image 60 is subjected to optical distortion correction with reference to the optical axis position indicated by reference numeral B1 (from time t14 to time t41 in FIG. 14).
  • data indicating the shift position obtained by performing the camera shake correction at the timing from time t8 to time t14 is read from time t14 to time t22.
  • time t22 and time t23 the positional relationship between the area 71 below the subject image 60 and the optical axis position is calculated.
  • the center of the subject image 60 is indicated by the symbol C.
  • the optical axis position determined as described above based on the camera shake correction performed from time t8 to time t14 is indicated by reference numeral B2.
  • the region 62 below the subject image is subjected to optical distortion correction with reference to the optical axis position indicated by symbol B2 (from time t41 to time t24 in FIG. 14).
  • the subject image 60 optically corrected with respect to the optical axis position B1 and the subject image 60 subjected to optical strain correction with respect to the optical axis position B2 for the lower region 62 are synthesized and combined for one frame.
  • Subject image 60 is generated.
  • FIGS. 17 to 20 show that optical distortion correction and the like is performed with reference to different reference points in the upper area, the central area, and the lower area of the subject image.
  • FIG. 17 shows a time chart of the imaging apparatus
  • FIG. 18 shows an upper region 81 of the subject image 80 obtained by imaging
  • FIG. 19 shows a central region 83 of the subject image 80
  • time t4 at time t4 during the exposure period, data indicating the shift position obtained by performing camera shake correction up to time t4 is read between time t4 and time t41. Between time t41 and time t42, the positional relationship between the upper region 81 of the subject image 80 and the reference used for optical distortion correction is calculated.
  • the center of the subject image 80 is indicated by the symbol C.
  • a reference point determined based on the camera shake correction performed from time t1 to time t4 is indicated by reference numeral B11.
  • the upper region 81 of the subject image 80 is subjected to optical distortion correction with reference to the optical axis position indicated by reference numeral B11 (from time t14 to time t51).
  • Optical distortion correction is not performed on the region 82 other than the region 81 above the subject image 80 with reference to the optical axis position B11.
  • time t9 data indicating the shift position obtained by camera shake correction performed between time t5 and time t9 is read between time t9 and time t43. Between time t43 and time t44, the positional relationship between the region 83 in the central portion of the subject image 80 and the optical axis position is calculated.
  • the center of the subject image 80 is indicated by the symbol C.
  • the optical axis position determined based on the camera shake correction performed from time t5 to time t9 is indicated by reference numeral B12.
  • the region 83 at the center of the subject image 80 is subjected to optical distortion correction with reference to the optical axis position indicated by B12 (from time t51 to time t52 in FIG. 17).
  • the upper region 81 and the lower region 84 other than the central region 83 are not subjected to optical distortion correction based on the optical axis position B12.
  • data indicating the shift position obtained by performing the camera shake correction from time t10 to t14 is read from time t14 to t22. Between time t22 and time t23, the positional relationship between the area 86 below the subject image 80 and the reference used for optical distortion correction is calculated.
  • the center of the subject image 80 is indicated by the symbol C.
  • the reference point determined based on the camera shake correction performed from time t9 to time t14 is indicated by reference numeral B13.
  • the optical distortion correction is performed on the area 86 below the subject image 80 with reference to the optical axis position indicated by reference numeral B13 (from time t52 to time t26).
  • Optical distortion correction is not performed on the region 85 other than the region 86 below the subject image 80 with reference to the optical axis position B13.
  • a one-frame subject image 80 with optical distortion corrected is generated from the upper area 81 shown in FIG. 18, the central area 83 shown in FIG. 19, and the lower area 86 shown in FIG.
  • FIG. 21 is a flowchart showing a processing procedure for optical distortion correction of the imaging apparatus. In FIG. 21, the same processes as those shown in FIG.
  • the reference point is calculated N times during one frame. For this reason, when the 1 / N frame ends (YES in step 47A), the position information having the longest distance from the optical axis center among the position information of the change point is output in the 1 / N frame, as described above.
  • the optical distortion is corrected (steps 48 and 49).
  • FIG. 22 is a time chart showing the processing procedure of the imaging apparatus.
  • the time chart shown in FIG. 5 etc. is for moving image shooting, while the time chart shown in FIG. 22 is for still image shooting.
  • the mechanical shutter is opened and the subject is imaged for 1/30 seconds from time t0 to time t14. Needless to say, the shutter speed need not be 1/30 second. While the mechanical shutter is opened and exposure is performed, camera shake correction is performed as described above, and optical distortion correction of a still image is performed based on the calculated reference point. As described above, the optical distortion correction and the like according to this embodiment can be applied not only to moving images but also to still images.
  • FIG. 23 to FIG. 25 show still another embodiment in which the above-described optical distortion correction is performed according to the zoom magnification.
  • the horizontal axis indicates the zoom magnification, and the right direction is wide (W) and the left direction is tele (T).
  • the vertical axis indicates the amount of distortion.
  • the upper direction (+ direction) distorts the periphery of the image inward (so-called pincushion distortion), and the lower direction ( ⁇ direction) distorts the periphery of the image outward (so-called barrel distortion).
  • the distortion increases in the + direction as the zoom magnification increases from tele to wide.
  • the distortion gradually increases in the + direction when the zoom magnification is changed from tele to wide, but the distortion gradually increases in the ⁇ direction when the predetermined zoom magnification is reached.
  • the relationship between the distortion and the zoom magnification shown in FIG. 23 is different from the relationship between the distortion and the zoom magnification shown in FIG. 24, the relationship between the distortion and the zoom magnification varies depending on the characteristics of the zoom lens.
  • FIG. 25 is a flowchart showing the processing procedure of the imaging apparatus.
  • step 110 optical distortion correction by the above-described method is performed (step 111). If the zoom magnification is set so as not to cause pincushion distortion (NO in step 110), optical distortion correction by the above-described method is not performed.
  • FIG. 26 is a side view showing a state in which the first imaging lens 121 and the second imaging lens 122 in front of the light receiving surface of the image sensor 123 are arranged.
  • optical distortion correction is performed by shifting the first imaging lens 121 from the optical axis in the radial direction.
  • the optical distortion correction of the above-described method is performed by shifting the image pickup device 2 in the radial direction from the optical axis L of the image pickup lens 1.
  • the optical distortion correction by the above-described method may be performed by shifting in the radial direction from the axis L.
  • the movement of the center axis of the first image pickup lens 121 is performed by camera shake correction.
  • the position is detected as described above, and optical distortion correction can be performed in the same manner as described above.
  • the optical distortion correction according to this embodiment is applied to the imaging apparatus.
  • Examples of portable terminal devices include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 27 shows the appearance of a smartphone 131 which is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 171 shown in FIG. 27 has a flat housing 132, and a display input in which a display panel 141 as a display unit and an operation panel 142 as an input unit are integrated on one surface of the housing 132.
  • a device 140 is provided.
  • the casing 132 includes a microphone 151, a speaker 152, an operation device 160, and a camera device 161. Note that the configuration of the housing 132 is not limited to this, and for example, a configuration in which the display device and the input device are independent may be employed, or a configuration having a folding structure and a slide mechanism may be employed.
  • FIG. 28 is a block diagram showing the configuration of the smartphone 131 shown in FIG.
  • the main components of the smartphone include a wireless communication device 135, a display input device 140, a call device 150, an operation device 160, a camera device 161, a storage device 170, and an external input / output device. 180, a GPS (Global Positioning System) receiving device 190, a motion sensor 200, a power supply device 210, and a main control device 220.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided.
  • the wireless communication device 135 performs wireless communication with the base station device BS accommodated in the mobile communication network NW in accordance with an instruction from the main control device 220. Using such wireless communication, transmission / reception of various file data such as voice data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input device 140 displays images (still images and moving images), character information, and the like, visually transmits information to the user, and detects user operations on the displayed information under the control of the main control device 220.
  • a so-called touch panel which includes a display panel 141 and an operation panel 142.
  • Display panel 141 LCD (Liquid Crystal Display), OELD (Organic Electro-Luminescence Display), etc. are used as display devices.
  • the operation panel 142 is a device that is placed so that an image displayed on the display surface of the display panel 141 is visible and detects one or more coordinates operated by a user's finger or stylus. When the device is operated with a user's finger or stylus, a detection signal generated due to the operation is output to the main controller 220. Next, main controller 220 detects an operation position (coordinates) on display panel 141 based on the received detection signal.
  • the display panel 141 and the operation panel 142 of the smartphone 131 illustrated as an embodiment of the imaging apparatus integrally constitute the display input device 140, but the operation panel 142 displays The panel 141 is completely covered.
  • the operation panel 142 may have a function of detecting a user operation even in an area outside the display panel 141.
  • the operation panel 142 has a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 141 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 141. May be included).
  • the operation panel 142 may be provided with two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 132 and the like. Furthermore, examples of the position detection method adopted by the operation panel 142 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method, and any method is adopted. You can also
  • the communication device 150 includes a speaker 151 and a microphone 152, converts a user's voice input through the microphone 152 into voice data that can be processed by the main control device 220, and outputs the voice data to the main control device 220, or a wireless communication device.
  • the voice data received by 135 or the external input / output device 180 is decoded and output from the speaker 151.
  • the speaker 151 can be mounted on the same surface as the surface on which the display input device 140 is provided, and the microphone 152 can be mounted on the side surface of the housing 132.
  • the operation device 160 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation device 160 is mounted on the side surface of the housing 132 of the smartphone 131 and turns on when pressed with a finger or the like, and turns off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage device 170 includes a control program and control data of the main control device 220, application software, address data that associates the name and telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, , Stores downloaded content data, and temporarily stores streaming data and the like.
  • the storage device 170 includes an internal storage device 171 with a built-in smartphone and an external storage device 172 having a removable external memory slot.
  • Each of the internal storage device 171 and the external storage device 172 constituting the storage device 170 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output device 180 serves as an interface with all external devices connected to the smartphone 131, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.). Or a network (for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (Registered trademark), ZigBee (registered trademark), etc.) for direct or indirect connection.
  • USB universal serial bus
  • IEEE 1394 etc.
  • a network for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (Registered trademark), ZigBee (registered trademark), etc.
  • IrDA Infrared Data Association
  • External devices connected to the smartphone 131 include, for example, wired / wireless headsets, wired / wireless external chargers, wired / wireless data ports, memory cards connected via card sockets, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio video equipment connected wirelessly
  • smartphones wired / wireless personal computers, wired / wireless connected PDAs, wired / wireless personal computers, earphones, and the like.
  • the external input / output unit may transmit data received from such an external device to each internal component of the smartphone 1 or allow the internal data of the smartphone 1 to be transmitted to the external device. it can.
  • the GPS receiving unit 190 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main controller 220, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 131. Detects position consisting of, longitude and altitude.
  • the GPS receiver 190 can acquire position information from the wireless communication device 13 or the external input / output device 180 (for example, a wireless LAN), the GPS receiver 190 can also detect the position using the position information.
  • the motion sensor 200 includes, for example, a three-axis acceleration sensor and detects the physical movement of the smartphone 131 in accordance with an instruction from the main controller 220. By detecting the physical movement of the smartphone 131, the moving direction and acceleration of the smartphone 131 are detected. Such a detection result is output to the main controller 220.
  • the power supply device 210 supplies power stored in a battery (not shown) to each part of the smartphone 131 in accordance with an instruction from the main control device 220.
  • the main control device 220 includes a microprocessor, operates in accordance with a control program and control data stored in the storage device 170, and controls each part of the smartphone 131 in an integrated manner.
  • the main controller 220 includes a mobile communication control function for controlling each part of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication device 135.
  • the application processing function is realized by the main controller 220 operating according to the application software stored in the storage device 170.
  • Application processing functions include, for example, an infrared communication function for controlling external input / output device 180 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main controller 220 also has an image processing function such as displaying video on the display input device 140 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control device 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input device 140.
  • the main control device 220 executes display control for the display panel 141 and operation detection control for detecting a user operation through the operation device 160 and the operation panel 142.
  • main controller 220 By executing display control, main controller 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move an image display portion of a large image that cannot fit in the display area of the display panel 141.
  • main controller 220 detects a user operation through operation device 160, or accepts an operation on the icon or an input of a character string in the input field of the window through operation panel 142. Or a display image scroll request through a scroll bar is accepted.
  • the main controller 220 causes the operation position on the operation panel 142 to overlap with the display panel 141 (display area) or the other outer edge part (non-display area) that does not overlap the display panel 141.
  • a touch panel control function for controlling the sensitive area of the operation panel 142 and the display position of the software key.
  • the main control device 220 can also detect a gesture operation on the operation panel 142 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera device 161 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera device 161 converts the image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main controller 220, and records it in the storage device 170 or enters it.
  • the data can be output through the output device 180 or the wireless communication device 135.
  • the camera device 161 is mounted on the same surface as the display input device 140.
  • the mounting position of the camera device 161 is not limited to this, and the camera device 161 may be mounted on the back surface of the display input device 140. Alternatively, a plurality of camera devices 161 may be mounted. If a plurality of camera devices 161 are installed, the camera device 161 used for shooting may be switched to shoot alone, or a plurality of camera devices 161 may be used to shoot simultaneously. it can.
  • the camera device 161 can be used for various functions of the smartphone 131.
  • an image acquired by the camera device 161 can be displayed on the display panel 141, or the image of the camera device 161 can be used as one of operation inputs of the operation panel 142.
  • the GPS receiving device 190 detects the position, the position can also be detected with reference to an image from the camera device 161.
  • the optical axis direction of the camera device 161 of the smartphone 131 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera device 161 can be used in the application software.
  • the camera shake correction drive device 21 When the optical distortion correction (shading correction) according to this embodiment is applied to the smartphone 1, the camera shake correction drive device 21, the sensor position detection device 15, the optical distortion / shading correction device 27, and the like are stored in the camera device 161 described above. It will be.
  • the initial position adjusted at the time of manufacturing the imaging device is the center of the imaging device and the optical axis center of the imaging lens (imaging optical system), and is not limited to the true center. Further, the four corners or the like may be used as a reference without using the center of the image sensor 1 as a reference.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

撮像装置およびその動作制御方法
　この発明は，撮像装置およびその動作制御方法に関する。
　手振れによる画像のボケを低減するためにカメラには手振れ補正機能が付加されていることがある。
　特許文献１に記載のものは，光学的な手振れ補正を行ったときに，レンズの光収差のために，撮影画像の周縁部に伸び縮みが生じてしまうのを防止することを課題としており，ジャイロ・センサによって手振れが検出され，補正演算回路でずれ補正量が演算されて，演算されたズレ補正量にもとづいて光学的に振れ補正を行ったときには，補正方向および補正量を示す補正ベクトル・データにもとづいて，撮影領域内で基準位置を移動し，移動した基準位置にもとづいて，各画素に対する歪曲補正を行っている。
　また，特許文献２に記載のものは，撮像レンズ系の画像歪の影響を排除して画像を正確に復元することが課題であり，光学系の画像劣化情報を記憶するとともに，撮影時の手振れを検出して時系列の手振れ検出信号を記憶し，画像データを光学系の画像劣化情報にもとづいて補正し，画像劣化情報で補正した画像データを手振れ検出信号にもとづいて手振れによる画像データの劣化を復元することにより，光学系の画像歪の影響を排除した画像の復元を行っている。特許文献２に記載のものでは，手振れによる画像の劣化を復元するために画像復元関数を算出する回路を具備し，画像復元関数は，基本軌跡演算回路の出力から原画像がどのように変化するかを予測して出力される。
　さらに，特許文献３に記載のものは，撮影レンズの画角の大きさ等による露光中における画面中心位置と周辺位置との間の像ずれ量の差が目立たないようにぶれ補正を行うことができるぶれ補正機能付きカメラを提供することが課題であり，レンズユニットのFlashRomにカメラボディにおけるぶれ補正の際の補正限界値用Δｈを求め，ブレ補正の際の撮像素子シフト量を制限している。つまり，ディストーションの補正を行うのではなくディストーションの大きな領域を検出して回避している。
特開2006-129175号公報 特開2006-33759号公報 特開2007-233166号公報
　手振れ補正が行われると，手振れ方向，手振れ量などによりディストーションなどの光学歪，シェーディングなどがフレームごとに異なってしまうことがあり，動画の画像歪が発生することがある。しかしながら，引用文献１においては１フレーム内で複雑にストロークする手振れ補正に対する考慮がなされていない。また，引用文献２においては，手振れ検出信号を記録しただけでは光学系の画像歪は補正できず，時系列の手振れによる影響を受けた光学系の画像歪を補正していない。さらに，引用文献３においては，ディストーション補正限界未満であってもフレームごとの手振れ情報にもとづいた補正を行えない。このように引用文献１～３のいずれにおいても手振れ補正による像歪み，動画の画像歪は解決できない。
　この発明は，手振れ補正による像歪みを軽減することを目的とする。また，この発明は，動画の画像歪を軽減することを目的とする。
　第１の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子（固体電子撮像素子），上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を光軸位置として算出する光軸位置算出手段，ならびに上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段を備えていることを特徴とする。
　第１の発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の値光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，光軸位置算出手段が，上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出し，補正手段が，上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行うものである。
　第１の発明によると，手振れ補正により撮像素子の中心と撮像光学系の光軸中心とが相対的に動かされた位置が露光期間中において複数回検出されるので，その検出された位置を用いて，撮像された被写体像における撮像光学系の光軸中心位置を光軸位置として算出できる。算出された光軸中心位置を利用して，被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行うことができる。手振れ補正により撮像素子の中心と撮像光学系の光軸中心とが相対的に動かされた位置は，露光期間中において複数回検出されるので，被写体像における撮像光学系の光軸中心位置をより正確に算出でき，被写体像の光学歪補正またはシェーディング補正をより正確に実現できる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。
　光軸位置算出手段は，たとえば，位置検出手段によって複数回検出された位置のうち，撮像素子と撮像光学系とがもっともずれた位置から光軸位置を算出するものである。
　位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段をさらに備えてもよい。この場合，光軸位置算出手段は，たとえば，軌跡生成手段によって生成された軌跡から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものとなろう。
　光軸位置算出手段は，たとえば，軌跡生成手段によって生成された軌跡によって示される撮像素子と撮像光学系とが相対的に動かされた位置のうち，垂直方向または水平方向において方向転換があった位置から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものでもよい。
　光軸位置算出手段は，軌跡生成手段によって生成された軌跡によって示される撮像素子と撮像光学系とが相対的に動かされた位置のうち，動き量がしきい値以上の場合に垂直方向または水平方向において方向転換があった位置から撮像素子によって撮像された被写体像における撮像光学系の光軸位置を算出するものでもよい。
　撮像素子は，たとえば，露光期間中に被写体像の一部を表わす部分画像データを複数回出力するものであり，補正手段は，たとえば，撮像素子から前回の部分画像データ出力から今回の部分画像データ出力までの間に位置検出手段において検出された位置を用いて今回の部分画像データによって表される部分画像の光学歪補正またはシェーディング補正を行うものである。
　撮像素子は，たとえば，一定周期で被写体を撮像し，動画の被写体像を表わす画像データを出力する，あるいは所与のシャッタ時間の間露光して静止画の被写体像を表わす画像データを出力するものである。
　撮像光学系の焦点距離を変えずに撮像素子の受光面上に結像する被写体像の大きさを変えるズーム・レンズをさらに備えていてもよい。この場合，補正手段は，たとえば，光学歪量が第１のしきい値以上または第２のしきい値以下となるズーム・レンズ位置であるときに，位置検出手段において検出された位置を用いて撮像素子により撮像された被写体像の光学歪補正を行うものとなろう。
　第２の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，ならびに上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行う補正手段を備えていることを特徴とする。
　第２の発明は，撮像装置に適した動作制御方法も提供している。すなわち，　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，補正手段が，上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行うものである。
　第２の発明によると，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，撮像素子の中心と撮像光学系の光軸中心とが手振れ補正により相対的に動かされた位置が露光期間中において複数回検出されるので，その検出された初期位置とその他の位置を利用して，被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を比較的正確に行うことができる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。
　第３の発明は，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段，ならびに上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段を備えていることを特徴とする。
　第３の発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，位置検出手段が，上記撮像素子の中心と上記撮像光学系の光軸中心とが上記手振れ補正機構により相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，軌跡生成手段が，上記位置検出手段によって複数回検出された位置の軌跡を生成し，補正手段が，上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行うものである。
　第３の発明によると，撮像素子の中心と撮像光学系の光軸中心とが手振れ補正により相対的に動かされた位置が露光期間中において複数回検出され，その位置の軌跡が生成される。生成された軌跡において垂直方向または水平方向において方向転換されることなく，撮像素子と撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに方向転換された位置を用いて被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正が行われる。上述のように所定回数以上となった後に方向転換された場合，その方向転換された位置は初期位置よりもかなりずれていることが多い。そのような位置を用いて被写体像の光学歪補正またはシェーディング補正が行われるので，比較的正確に補正できる。また，動画を構成する複数フレームの被写体像に対して上述した補正が行われることにより，動画歪を軽減させることもできる。
撮像レンズと撮像素子との関係を示している。 撮像素子が手振れ補正によりシフトされた様子を示している。 撮像された被写体像に光学歪が生じている様子を示している。 撮像された被写体像に光学歪が生じている様子を示している。 撮像装置のタイム・チャートである。 撮像素子が手振れ補正によりシフトされた軌跡を示している。 撮像素子が手振れ補正によりシフトされた方向を示すテーブルである。 被写体像の一例である。 撮像装置の電気的構成を示すブロック図である。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 光学歪補正処理手順を示すフローチャートである。 撮像装置のタイム・チャートである。 被写体像の一部を示している。 被写体像の一部を示している。 撮像装置のタイム・チャートである。 被写体像の一部を示している。 被写体像の一部を示している。 被写体像の一部を示している。 光学歪補正処理手順を示すフローチャートである。 撮像装置のタイム・チャートである。 ディストーションとズーム倍率との関係を示している。 ディストーションとズーム倍率との関係を示している。 光学歪補正処理手順を示すフローチャートである。 撮像レンズと撮像素子との関係を示している。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。
　図１は，この発明の実施例を示すもので，撮像装置の撮像レンズ１と撮像素子２との位置関係を示す側面図，図２は，撮像素子２のシフト前後の位置関係を示す正面図である。
　図１を参照して，撮像素子２の受光面前方（図１では左側）に，撮像素子２の受光面に被写体像を結像させる撮像レンズ１が配置されている。撮像素子２は，垂直方向（図１および図２において上下方向）および水平方向（図２において左右方向）にシフト可能である。撮像装置に手振れがあった場合に，撮像素子２を垂直方向および水平方向（垂直方向または水平方向）にシフトさせることにより手振れ補正が行われる。
　初期状態では，図１および図２において符号２Ａで示すように撮像レンズ１の光軸Ｌは撮像素子２の中心を通るように位置決めされている。手振れが検出されると，手振れの方向および手振れ量に応じて手振れを補正するように符号２Ａで示す位置にあった撮像素子２が，たとえば符号２Ｂで示す位置にシフトさせられる。図２に示すように，符号２Ａで示す位置に撮像素子２があった場合には，光軸Ｌが撮像素子２の中心を通るが，符号２Ｂで示す位置に撮像素子２がシフトさせられると，光軸Ｌは撮像素子２の中心Ｃを通らなくなる。
　図３は，図１および図２において示されたように撮像素子２が符号２Ａの位置に存在した場合に得られる被写体像３の一例である。
　撮像レンズ１によって結像した被写体像３は撮像レンズ１のディストーションにより歪曲する部分４が生じる。被写体像３は，光軸Ｌが撮像素子２の中心を通るような撮像レンズ１と撮像素子２との位置関係の場合に撮像素子２から得られたものであるから，被写体像３の中心から径方向に離れるにしたがって歪曲の程度が大きくなる。
　図４は，図１および図２において示されたように撮像素子２が符号２Ｂの位置に存在した場合に得られる被写体像５の一例である。
　被写体像５は，撮像素子２がシフトされたことにより，光軸Ｌは撮像素子２の中心Ｃを通らない撮像レンズ１と撮像素子２との位置関係の場合に撮像素子２から得られたものである。被写体像５のうち，歪曲する部分６は，被写体像５の中心Ｃから径方向に離れるにしたがって歪曲の程度が大きくなるのではなく，光軸Ｌから径方向に離れるにしたがって歪曲の程度が大きくなっている。
　図３に示す被写体像３を第１フレームの画像，図４に示す被写体像を第２フレームの画像と仮定すると，動画として観賞した場合にフレームごとに歪曲部分が変わる動画歪が生じることとなる。この実施例では，光学歪を補正することにより動画歪を軽減するものである。
　図５は，この実施例による撮像装置のタイム・チャートである。
　この実施例では，１フレームの画像が得られる露光期間中に複数回の手振れ検出が行われ，その複数回の手振れ検出にもとづいて行われる手振れ補正により撮像素子２の中心と撮像レンズ１の光軸の中心とが相対的に動かされた位置が検出される。
　図５においては動画の撮像であり，シャッタは開放されている。１／30秒の露光期間で１／30秒周期で被写体の撮像が繰り返される。１／30秒の露光期間中に14回の手振れ検出（手振れ補正）が行われる。もっとも，露光期間中に複数回の手振れ検出が行われればよく，露光期間中に14回未満または14回よりも多くの手振れ検出が行われるようにしてもよい。図５においては，時刻ｔ０からｔ14までの１／30秒の露光期間中において時刻ｔ１からｔ14の14回のタイミングで手振れ検出が行われる。
　図６は，露光期間中における14回の手振れ検出により，撮像素子２がシフトされたときの撮像素子２の中心の正面からの軌跡を示している。横軸は水平方向のシフト量，縦軸は垂直方向のシフト量を示している。原点は，光軸Ｌの位置であり，上述のように撮像素子２の初期位置の中心位置と一致する。撮像素子２が右方向にシフトされる場合を正方向，左方向にシフトされる場合を負方向，撮像素子２が上方向にシフトされる場合を正方向下方向にシフトされる場合を負方向とする。
　図７は，図６の軌跡を示すテーブルである。図７において，撮像素子２が上方向にシフトされた場合には正の垂直方向にシフトされたことを示す＋の符号が格納され，撮像素子２が下方向にシフトされた場合には負の垂直方向にシフトされたことを示す－の符号が格納されている。また，撮像素子２を正面から見て，撮像素子２が右方向にシフトされた場合には正の水平方向にシフトされたことを示す＋の符号が格納され，撮像素子２が左方向にシフトされた場合には負の方向にシフトされたことを示す－の符号が格納されている。
　図６および図７を参照して，第１回目の手振れ検出により撮像素子２が垂直方向の正方向に，水平方向の負方向に移動したものとする（Ｐ１，Ｙ１）。すると，それぞれの方向を示す符号が図７に示すテーブルの手振れ検出回数の第１回目の欄に格納される。第２回目の手振れ検出により撮像素子２が前回の手振れ検出における撮像素子２の位置を基準として撮像素子２が垂直方向または水平方向に移動したか検出される。第２回目の手振れ検出により撮像素子２が垂直方向のさらに正方向に，水平方向のさらに負方向に移動したものとする（Ｐ２，Ｙ２）。すると，それぞれの方向を示す符号が図７に示すテーブルの手振れ検出回数の第２回目の欄に格納される。このように，手振れ検出により撮像素子２が移動すると，前回の手振れ検出における撮像素子２の位置からの移動方向を示す符号が図７に示すテーブルに格納される。
　第４回目の手振れ検出における撮像素子２の移動方向が前回の手振れ検出である第３回目の手振れ検出における撮像素子２の移動方向から垂直方向および水平方向のいずれも逆方向になったものとする。すると，手振れ検出回数の第４回目の欄には，垂直方向には負の方向を示す－符号が，水平方向には正の方向を示す＋符号がそれぞれ格納される。第４回目の手振れ検出から第10回目の手振れ検出の間は撮像素子２の移動方向がそれぞれの前回の手振れ検出における移動方向から変わらなかったものとする。すると，手振れ検出回数の第４回目の欄から第10回目の欄には第４回目の欄と同じ方向を示す符号が格納される。第11回目の手振れ検出において，前回の手振れ検出である第10回目の手振れ検出における撮像素子２の移動方向から垂直方向のみが逆方向になったものとする。すると，手振れ検出回数の第11回目の欄には垂直方向および水平方向のいずれも正の方向を示す＋符号が格納される。第11回目の手振れ検出から第14回目の手振れ検出の間まで撮像素子２の移動方向がそれぞれの前回の手振れ検出における移動方向から変わらなかったものとすると，手振れ検出回数の第11回目の欄から第14回目の欄には第11回目の欄と同じ方向を示す符号が格納される。
　上述のように，第３回目の手振れ検出から第４回目の手振れ検出の間に垂直方向において正方向から負方向に方向転換があり，水平方向において負方向から正方向に方向転換があり，第10回目のぶれ検出から第11回目の手振れ検出の間に垂直方向において負方向から正方向に変化したように方向転換があった場合には，方向転換があったと判断された手振れ検出の直前に手振れ検出された撮像素子２の位置（変化点という）から原点までの距離が図７に示すテーブルに格納される。また，最後の手振れ検出が行われた撮像素子２の位置から原点までの距離も図７に示すテーブルに格納される。また，これらの距離および位置が格納された記録回数も図７に示すテーブルに格納される。
　上述のように手振れ検出に応じて撮像素子２の位置が移動すると，撮像素子２の中心の軌跡は図６に示すようになる。
　図５に戻って，上述のように１フレーム中に14回の手振れ検出が行われる。時刻ｔ14となり，１フレームの露光が終了すると，時刻ｔ22までの間に，図７に示したように，テーブルに格納された位置情報が読み取られる。時刻ｔ22からｔ23までの間に，読み取られた位置情報（上述の場合３回記録されているので３つの位置情報）から被写体像における光軸位置が演算される。
　図８は，撮像により得られた被写体像を示している。
　演算により，被写体像７における光軸位置Ｌが分る。被写体像７は手振れ補正によりシフトされた撮像素子２によって撮像されたものであるから，光軸位置Ｌ１は必ずしも被写体像の中心Ｃの位置とはなっていない。
　再び図５にもどって，時刻ｔ14になると，撮像素子２から画像データが取り込まれる。時刻ｔ23となると，演算された基準位置を用いて，取り込まれた画像データについて光学歪補正が行われる。時刻ｔ24となると，光学歪補正された画像が表示されるようになる。
　図９は，撮像装置の電気的構成を示すブロック図である。
　撮像装置の全体の動作は，ＣＰＵ10によって統括される。
　撮像装置には，撮像指令等を入力するためのスイッチ，ボタン等を含む操作装置34が含まれている。操作装置34から出力される操作信号はＣＰＵ10に入力する。また，撮像装置には，被写体を照射する発光装置16および被写体からの反射光を受光する受光装置17も含まれている。
　上述のように，撮像素子２の前方には撮像レンズ１が位置決めされている（撮像レンズ１の前方に機械シャッタがあるが図示は省略されている）。撮像素子２の受光面と撮像レンズ１との間には，絞り12および光学ロウ・パス・フィルタ13が配置されている。撮像レンズ１は，レンズ駆動装置18によって光軸方向に位置決めされ，絞り12は絞り駆動装置19によって開口量が制御される。撮像素子２は，撮像素子駆動装置20によって映像信号出力等が制御される。また，撮像装置には，上述のように撮像素子２の手振れを検出する手振れ検出装置14および撮像素子２をシフトするための手振れ補正駆動装置21が含まれている。さらに，撮像装置には，センサ位置検出／検出位置メモリ15が含まれている。センサ位置検出／検出位置メモリ15によって上述したように，手振れ補正により撮像素子２がシフトされた場合に撮像素子２の位置が検出されるとともに，検出された位置を示すデータが記憶されるセンサ位置検出／検出位置メモリ15に，検出された位置を示すデータが記憶されることにより，図６に示す軌跡が生成される。また，このセンサ位置検出／検出位置メモ15に図７に示すテーブルも格納されることとなる。
　撮像素子から出力された映像信号は，アナログ信号処理装置22において，白バランスなどの所定のアナログ信号処理が行われて出力される。アナログ信号処理装置22から出力される映像信号は，アナログ／ディジタル変換回路23においてディジタル画像データに変換される。
　ディジタル画像データは，メモリ制御装置25によってメイン・メモリ24に一時的に記録される。ディジタル画像データはメイン・メモリ24から読み出され，ディジタル信号処理装置26において，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル画像データは，光学歪およびシェーディング補正装置27に入力し，上述したように光学歪補正が行われるとともに基準位置を基準としてシェーディング補正が行われる。光学歪補正等が行われた画像データが表示制御装置33の制御のもので表示装置32に与えられることにより，表示装置32の表示画面に光学補正等が行われた被写体像が表示される。
　メイン・メモリ24から読み出されたディジタル画像データは積算装置29にも入力する。積算装置29において輝度成分の積算が行われ，得られた積算値にもとづいて，絞り12の絞り値が調整される。
　操作装置34から記録指令が与えられると，上述のように光学歪等が補正された画像データは外部メモリ制御装置31の制御のもとにメモリ・カード30に与えられ，メモリ・カード30に記録される。
　図10は，撮像装置における光学歪補正の処理手順を示すフローチャートである。
　上述のように，露光期間中に複数回行われる手振れ検出のタイミングは予め定められており，そのタイミングとなると手振れ検出が行われる。手振れ検出により手振れがあると判定されると（ステップ41），その手振れ量および手振れ方向に応じて手振れ補正するように撮像素子２がシフトさせられる（ステップ42）。上述のように，前回の手振れ検出におけるシフト方向と比較され，垂直方向または水平方向の少なくとも一方において正方向へのシフトから負方向へのシフトまたはその逆へのシフトのように方向転換があったかどうかが確認される。方向転換があった場合には（ステップ44でＹＥＳ），上述のように方向転換があった変化点の位置情報がセンサ位置検出／検出位置メモリ15に格納される（ステップ45）。また，撮像レンズ１の光軸中心からシフトされた撮像素子２の中心までの距離が算出され，算出された距離を表すデータもセンサ位置検出／検出位置メモリ15に格納される（ステップ46）。１フレームが終了するまで（ステップ47でＮＯ），ステップ41から46までの処理が繰り返される（ステップ47）。
　センサ位置検出／検出位置メモリ15に格納されている撮像レンズ１の光軸中心から撮像素子２の中心までの距離のうち，もっとも距離の大きい撮像素子２の中心位置情報がセンサ位置検出／検出位置メモリ15から読み取られる（ステップ47）。読み取られた中心位置情報が基準位置として光学歪およびシェーディング補正が行われる（ステップ48）。
　露光期間中に複数回の手振れ補正が行われると，露光終了時における撮像素子２のシフト量よりも露光の途中での撮像素子のシフト量の方が大きい場合がある，そのような場合に露光終了時における撮像素子２のシフト量にもとづいて光学歪補正が行われるよりも露光途中での撮像素子のシフト量にもとづいて光学歪補正が行われる方が，より精度の高い光学歪補正を実現できる。この実施例によると，シフト量の大きな撮像素子２の位置にもとづいて光学歪補正等が行われるので，より精度の高い光学歪補正等を実現できる。
　上述の実施例では，センサ位置検出／検出位置メモリ15に格納されている撮像レンズ１の光軸中心から撮像素子２の中心までの距離のうち，もっとも距離の大きい撮像素子２の中心位置情報を用いて光学歪補正が行われているが，もっとも距離の大きい撮像素子２の中心位置情報だけでなく，複数の中心位置情報を用い，複数の中心位置情報が得られるときのそれぞれの光軸位置の平均位置を光軸位置と擬制して，その光軸位置を利用して光学歪補正が行われるようにしてもよい。
　図11は，他の実施例による処理手順を示すもので，撮像装置における光学歪補正の処理手順を示すフローチャートである。図11において，図10に示す処理と同一の処理については同一符号を付して説明を省略する。
　図10に示す処理では，手振れ量に応じて撮像素子２がシフトされると，前回のシフト方向と比較して方向転換されているかどうかが確認されているが，図11に示す処理では，手振れ量に応じて撮像素子２がシフトされると，そのシフト量が，閾値以上かどうかが判断される（ステップ50）。シフト量が閾値以上の場合に（ステップ50でＹＥＳ），前回のシフト方向と比較して方向転換されているかどうか確認される（ステップ43，44）。
　ノイズなどにより手振れと誤検出されてしまうようなシフト量が少ない場合には，方向転換があったかどうかが確認されないので，そのような誤検出にもとづいて撮像素子２の位置情報が格納されてしまうことが未然に防止される。
　図12は，他の実施例による処理手順を示すもので，光学歪補正の処理手順を示すフローチャートである。図12において，図11に示す処理と同一の処理については同一符号を付して説明を省略する。
　図11等に示す処理においては，上述したように変化点の位置情報にもとづいて光軸中心から撮像素子２の中心までの距離が算出されているが（ステップ46），図12に示す処理においては光軸中心から撮像素子２までの距離の算出が省略されている。最初と最後などの任意の変化点が選択されて，選択された変化点が出力される（ステップ51）。選択された変化点から光軸位置が算出されて，光軸位置を用いて光学歪補正等が行われる（ステップ49）。光軸中心から撮像素子２の中心までの距離が算出されないので，比較的迅速に光学歪補正等が行われるようになる。
　図13は，さらに他の実施例による処理手順を示すもので，光学歪補正の処理手順を示すフローチャートである。図13において，図12に示す処理と同一の処理については同一符号を付して説明を省略する。
　図13に示す実施例では，撮像素子２がシフトされた場合，前回のシフトの方向と同じ場合には，方向転換なしでの連続したシフト回数がカウントされる（ステップ52）。方向転換なしでの連続したシフト回数のうちカウント数の多いシフト回数後に方向転換があった変化点の位置情報が出力され（ステップ53），その位置情報にもとづいて光学歪補正等が行われる（ステップ53）。方向転換が無い場合にシフト回数が多い場合には，そのシフト回数が多かった後に見つけられた変化点が光軸中心からもっとも遠いと判断することができる。そのような判断にもとづいて光学歪補正を実現できるようになる。
　図14から図21は，他の実施例を示すもので，被写体の領域に応じて異なる複数個所の基準点を基準として光学歪補正等を行うものである。
　図14から図16は，被写体像の上部の領域と下部の領域とで異なる基準点を基準として光学歪補正等が行われるものである。
　図14は撮像装置のタイム・チャート，図15は撮像によって得られる被写体像60の上部の領域61を示し，図16は被写体像60の下部の領域62を示している。
　図14を参照して，露光期間の中間である時刻ｔ７において，その時刻ｔ７までに手振れ補正が行われたことにより上述のように格納されたシフト位置を示すデータが，時刻ｔ７から時刻ｔ31までの間に読み取られる。時刻ｔ32から時刻ｔ33までの間に被写体像60の上部の領域61と光学歪補正に利用される光軸位置との位置関係が演算される。
　図15を参照して，被写体像60の中心は符号Ｃで示されている。時刻ｔ１から時刻ｔ８までに行われた手振れ補正にもとづいて上述のように演算された光軸位置は符号Ｂ１で示されている。符号Ｂ１で示されている光軸位置を基準として被写体像60の上部の領域61が光学歪補正される（図14時刻ｔ14から時刻ｔ41）。
　図14に戻って，時刻ｔ８から時刻ｔ14までのタイミングで手振れ補正が行われたことにより得られたシフト位置を示すデータが時刻ｔ14から時刻ｔ22までの間に読み取られる。時刻ｔ22から時刻ｔ23までの間に被写体像60の下部の領域71と光軸位置との位置関係が演算される。
　図16を参照して，被写体像60の中心は符号Ｃで示されている。時刻ｔ８から時刻ｔ14までに行われた手振れ補正にもとづいて上述のように決定された光軸位置は符号Ｂ２で示されている。符号Ｂ２で示されている光軸位置を基準として被写体像の下部の領域62が光学歪補正される（図14時刻ｔ41から時刻ｔ24）。
　上部の領域61については光軸位置Ｂ１を基準として光学歪補正された被写体像60と下部の領域62については光軸位置Ｂ２を基準として光学歪補正された被写体像60とが合成され１フレーム分の被写体像60が生成される。
　図17から図20は，被写体像の上部の領域と中央部の領域と下部の領域とで異なる基準点を基準として光学歪補正等が行われるものである。
　図17は，撮像装置のタイム・チャート，図18は撮像によって得られる被写体像80の上部の領域81を示し，図19は被写体像80の中央部の領域83を示し，図20は被写体像80の下部の領域86を示している。
　図17を参照して，露光期間中の時刻ｔ４において，その時刻ｔ４までに手振れ補正が行われたことにより得られたシフト位置を示すデータが，時刻ｔ４から時刻ｔ41までの間に読み取られる。時刻ｔ41から時刻ｔ42までの間に被写体像80の上部の領域81と光学歪補正に利用される基準との位置関係が演算される。
　図18を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ１から時刻ｔ４までに行われた手振れ補正にもとづいて決定された基準点は符号Ｂ11で示されている。符号Ｂ11で示されている光軸位置を基準として被写体像80の上部の領域81が光学歪補正される（時刻ｔ14から時刻ｔ51）。被写体像80の上部の領域81以外の領域82については，光軸位置Ｂ11を基準として光学歪補正は行われない。
　図17に戻って，時刻ｔ９において時刻ｔ５から時刻ｔ９までの間に行われた手振れ補正により得られたシフト位置を示すデータが時刻ｔ９から時刻ｔ43までの間に読み取られる。時刻ｔ43から時刻ｔ44までの間に被写体像80の中央部分の領域83と光軸位置との位置関係が演算される。
　図19を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ５から時刻ｔ９までに行われた手振れ補正にもとづいて決定された光軸位置は符号Ｂ12で示されている。符号Ｂ12で示されている光軸位置を基準として被写体像80の中央部分の領域83が光学歪補正される（図17時刻ｔ51から時刻ｔ52）。中央部分の領域83以外の上部の領域81および下部の領域84は光軸位置Ｂ12を基準として光学歪補正されない。
　図17に戻って，時刻ｔ10からｔ14までに手振れ補正が行われたことにより得られたシフト位置を示すデータが，時刻ｔ14からｔ22までの間に読み取られる。時刻ｔ22から時刻ｔ23までの間に被写体像80の下部の領域86と光学歪補正に利用される基準との位置関係が演算される。
　図20を参照して，被写体像80の中心は符号Ｃで示されている。時刻ｔ９から時刻ｔ14までに行われた手振れ補正にもとづいて決定された基準点は符号Ｂ13で示されている。符号Ｂ13で示されている光軸位置を基準として被写体像80の下部の領域86が光学歪補正される（時刻ｔ52から時刻ｔ26）。被写体像80の下部の領域86以外の領域85については，光軸位置Ｂ13を基準として光学歪み補正は行われない。
　図18に示す上部の領域81，図19に示す中央部分の領域83および図20に示す下部の領域86から光学歪補正された１フレームの被写体像80が生成される。
　図21は，撮像装置の光学歪補正の処理手順を示すフローチャートである。図21において，図10に示すものと同一の処理については同一符号を付して説明を省略する。
　図21に示す処理手順では，１フレーム中にＮ回基準点が演算される。このために，１／Ｎフレームが終了すると（ステップ47ＡでＹＥＳ），１／Ｎフレーム中において，変化点の位置情報のうち光軸中心からの距離が最も大きい位置情報が出力され，上述のように光学歪補正される（ステップ48，49）。
　図22は，撮像装置の処理手順を示すタイム・チャートである。
　図５等に示すタイム・チャートは，動画撮影のものであるが，図22に示すタイム・チャートは，静止画撮影のものである。
　時刻ｔ０から時刻ｔ14までの１／30秒間，機械シャッタが開放され，被写体が撮像される。シャッタ速度は１／30秒でなくともよいのはいうまでもない。機械シャッタが開放され，露光されている間に上述のように手振れ補正が行われ，算出された基準点にもとづいて静止画像の光学歪補正が行われるようになる。このように，動画に限らず静止画にもこの実施例による光学歪補正等を適用できる。
　図23から図25は，さらに他の実施例を示すもので，ズーム倍率に応じて上述した光学歪補正を行うものである。
　図23および図24は，ディストーションとズーム倍率との関係を示している。
　横軸はズーム倍率を示し，右方向となるほどワイド（Ｗ）となり左方向となるほどテレ（Ｔ）となる。縦軸はディストーションの量を示し，上方向（＋方向）ほど画像の周囲が内側に歪み（いわゆる糸巻き歪），下方向（－方向）ほど画像の周囲が外側に歪む（いわゆる樽型歪）。
　図23に示すものにおいては，ズーム倍率がテレからワイドになるほどディストーションが＋方向に増加する。図24に示すものにおいては，ズーム倍率がテレからワイドになる場合に徐々にディストーションが＋方向に増加するが，所定のズーム倍率となると徐々にディストーションは－方向に増加する。図23に示すディストーションとズーム倍率との関係と，図24に示すディストーションとズーム倍率との関係と，が異なっているように，ディストーションとズーム倍率との関係は，ズーム・レンズの特性によって変わる。
　図25は，撮像装置の処理手順を示すフローチャートである。
　設定されたズーム倍率が糸巻き型歪（ディストーション）となるようなズーム倍率に設定されていると（ステップ110でＹＥＳ），上述した手法での光学歪補正が行われる（ステップ111）。糸巻き型歪とならないようなズーム倍率に設定されていると（ステップ110でＮＯ），上述した手法での光学歪補正は行われない。
　図25に示す処理では，ズーム倍率が糸巻き型歪となるようなズーム倍率に設定されている場合に，上述した手法での光学歪補正が行われるが，ズーム倍率が樽型歪となるようなズーム倍率に設定されている場合に上述した手法での光学歪補正が行われるようにしてもよい。
　図26は，撮像素子123の受光面前方の第１の撮像レンズ121および第２の撮像レンズ122が配置されている様子を示すもので，側面図である。
　図26においては，第１の撮像レンズ121が光軸から径方向にシフトすることにより光学歪補正が行われるものである。
　上述した実施例では，撮像素子２が撮像レンズ１の光軸Ｌから径方向にシフトすることにより，上述した手法の光学歪補正が行われているが，撮像素子123ではなく撮像レンズ121が光軸Ｌから径方向にシフトすることにより上述した手法の光学歪補正が行われるようにしてもよい。
　撮像素子123がシフトせずに撮像素子123の中心を通る光軸Ｌから第１の撮像レンズ121が径方向にシフトする場合であっても手振れ補正により第１の撮像レンズ121の中心軸の移動位置を上述したように検出し，上述したのと同様にて光学歪補正を行うことができるようになる。
　以上，この実施例による光学歪補正を撮像装置に適用した場合に説明したが，例えば，内蔵型又は外付け型のPC用カメラ，または，以下に説明するような，撮影機能を有する携帯端末装置に適用することもできる。
　一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。
　図27は，本発明の撮影装置の一実施形態であるスマートフォン131の外観を示すものである。
　図27に示すスマートフォン171は，平板状の筐体132を有し，筐体132の一方の面に表示部としての表示パネル141と，入力部としての操作パネル142とが一体となった表示入力装置140を備えている。また，係る筐体132は，マイクロフォン151，スピーカ152，操作装置160およびカメラ装置161を備えている。なお，筐体132の構成はこれに限定されず，例えば，表示装置と入力装置とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図28は，図27に示すスマートフォン131の構成を示すブロック図である。
　図28に示すように，スマートフォンの主たる構成要素として，無線通信装置135と，表示入力装置140と，通話装置150と，操作装置160と，カメラ装置161と，記憶装置170と，外部入出力装置180と，ＧＰＳ(Global Positioning System)受信装置190と，モーション・センサ200と，電源装置210と，主制御装置220とを備える。また，スマートフォン131の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信装置135は，主制御装置220の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミング・データなどの受信を行う。
　表示入力装置140は，主制御装置220の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル141と，操作パネル142とを備える。
　表示パネル141，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル142は，表示パネル141の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御装置220に出力する。次いで，主制御装置220は，受信した検出信号に基づいて，表示パネル141上の操作位置（座標）を検出する。
　図27に示すように，撮像装置の一実施形態として例示しているスマートフォン131の表示パネル141と操作パネル142とは一体となって表示入力装置140を構成しているが，操作パネル142が表示パネル141を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル142は，表示パネル141外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル142は，表示パネル141に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル141に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。
　なお，表示領域の大きさと表示パネル141の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル142が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体132の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル142で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。
　通話装置150は，スピーカ151やマイクロフォン152を備え，マイクロフォン152を通じて入力されたユーザの音声を主制御装置220にて処理可能な音声データに変換して主制御装置220に出力したり，無線通信装置135または外部入出力装置180により受信された音声データを復号してスピーカ151から出力したりするものである。また，図27に示すように，例えば，スピーカ151を表示入力装置140が設けられた面と同じ面に搭載し，マイクロフォン152を筐体132の側面に搭載することができる。
　操作装置160は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図27に示すように，操作装置160は，スマートフォン131の筐体132の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶装置170は，主制御装置220の制御プログラムや制御データ，アプリケーション・ソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶装置170は，スマートフォン内蔵の内部記憶装置171と着脱自在な外部メモリスロットを有する外部記憶装置172により構成される。なお，記憶装置170を構成するそれぞれの内部記憶装置171と外部記憶装置172は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力装置180は，スマートフォン131に連結される全ての外部機器とのインターフェイスの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサル・シリアル・バス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ（Local Area Network），ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン131に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部190は，主制御装置220の指示にしたがって，GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン131の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信装置190は，無線通信装置13や外部入出力装置180（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。
　モーション・センサ200は，例えば，３軸の加速度センサなどを備え，主制御装置220の指示にしたがって，スマートフォン131の物理的な動きを検出する。スマートフォン131の物理的な動きを検出することにより，スマートフォン131の動く方向や加速度が検出される。係る検出結果は，主制御装置220に出力されるものである。
　電源装置210は，主制御装置220の指示にしたがって，スマートフォン131の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御装置220は，マイクロプロセッサを備え，記憶部装置170が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン131の各部を統括して制御するものである。また，主制御装置220は，無線通信装置135を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。
　アプリケーション処理機能は，記憶装置170が記憶するアプリケーション・ソフトウェアにしたがって主制御装置220が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力装置180を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。
　また，主制御装置220は，受信データやダウンロードしたストリーミング・データなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力装置140に表示する等の画像処理機能を備える。画像処理機能とは，主制御装置220が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力装置140に表示する機能のことをいう。
　更に，主制御装置220は，表示パネル141に対する表示制御と，操作装置160，操作パネル142を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により，主制御装置220は，アプリケーション・ソフトウェアを起動するためのアイコンや，スクロール・バーなどのソフトウェア・キーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロール・バーとは，表示パネル141の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェア・キーのことをいう。
　また，操作検出制御の実行により，主制御装置220は，操作装置160を通じたユーザ操作を検出したり，操作パネル142を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロール・バーを通じた表示画像のスクロール要求を受け付ける。
　更に，操作検出制御の実行により主制御装置220は，操作パネル142に対する操作位置が，表示パネル141に重なる重畳部分（表示領域）か，それ以外の表示パネル141に重ならない外縁部分（非表示領域）かを判定し，操作パネル142の感応領域や，ソフトウェア・キーの表示位置を制御するタッチパネル制御機能を備える。
　また，主制御装置220は，操作パネル142に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ装置161は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また，カメラ装置161は，主制御装置220の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶装置170に記録したり，入出力装置180や無線通信装置135を通じて出力することができる。図27に示すにスマートフォン131において，カメラ装置161は表示入力装置140と同じ面に搭載されているが，カメラ装置161の搭載位置はこれに限らず，表示入力装置140の背面に搭載されてもよいし，あるいは，複数のカメラ装置161が搭載されてもよい。なお，複数のカメラ装置161が搭載されている場合には，撮影に供するカメラ装置161を切り替えて単独にて撮影したり，あるいは，複数のカメラ装置161を同時に使用して撮影したりすることもできる。
　また，カメラ装置161はスマートフォン131の各種機能に利用することができる。例えば，表示パネル141にカメラ装置161で取得した画像を表示することや，操作パネル142の操作入力のひとつとして，カメラ装置161の画像を利用することができる。また，ＧＰＳ受信装置190が位置を検出する際に，カメラ装置161からの画像を参照して位置を検出することもできる。更には，カメラ装置161からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン131のカメラ装置161の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ装置161からの画像をアプリケーション・ソフトウェア内で利用することもできる。
　その他，静止画又は動画の画像データにＧＰＳ受信装置190により取得した位置情報，マイクロフォン152により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーション・センサ200により取得した姿勢情報等などを付加して記録装置170に記録したり，入出力装置180や無線通信装置135を通じて出力したりすることもできる。
　スマートフォン１にこの実施例による光学歪補正（シェーディング補正）を適用する場合，上述したカメラ装置161内に，手振れ補正駆動装置21，センサ位置検出装置15，光学歪／シェーディング補正装置27などが格納されることとなろう。
　上述の実施例において，撮像装置の製造時に調整した初期位置が撮像素子の中心と撮像レンズ（撮像光学系）の光軸中心であって，真の中心に限らない。また，撮像素子１の中心を基準とせずに四隅などを基準としてもよい。
１　撮像レンズ
２　撮像素子
10　ＣＰＵ（光軸位置算出手段）
14　手振れ検出装置
15　センサ位置検出／検出位置メモリ（位置検出手段）
21　手振れ補正駆動装置（手振れ補正機構）
27　光学歪／シェーディング補正装置（補正手段）

Claims (14)

  1. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，
    　上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，
    　上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を光軸位置として算出する光軸位置算出手段，ならびに
    　上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段，
    　を備えた撮像装置。
  2. 　上記光軸位置算出手段は，
    　上記位置検出手段によって複数回検出された位置のうち，上記撮像素子と上記撮像光学系とがもっともずれた位置から上記光軸位置を算出するものである，
    　請求項１に記載の撮像装置。
  3. 　上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段をさらに備え，
    　上記光軸位置算出手段は，
    　上記軌跡生成手段によって生成された軌跡から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸位置を算出するものである，
    　請求項１または２に記載の撮像装置。
  4. 　上記光軸位置算出手段は，
    　上記軌跡生成手段によって生成された軌跡によって示される上記撮像素子と上記撮像光学系とが相対的に動かされた位置のうち，垂直方向または水平方向において方向転換があった位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸位置を算出するものである，
    　請求項３に記載の撮像装置。
  5. 　上記光軸位置算出手段は，
    　上記軌跡生成手段によって生成された軌跡によって示される上記撮像素子と上記撮像光学系とが相対的に動かされた位置のうち，動き量がしきい値以上の場合に垂直方向または水平方向において方向転換があった位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸位置を算出するものである，
    　請求項３または４に記載の撮像装置。
  6. 　上記撮像素子は，
    　露光期間中に被写体像の一部を表わす部分画像データを複数回出力するものであり，
    　上記補正手段は，
    　上記撮像素子から前回の部分画像データ出力から今回の部分画像データ出力までの間に上記位置検出手段において検出された位置を用いて今回の部分画像データによって表される部分画像の光学歪補正またはシェーディング補正を行うものである，
    　請求項１から５のうちいずれか一項に記載の撮像装置。
  7. 　上記撮像素子は，
    　一定周期で被写体を撮像し，動画の被写体像を表わす画像データを出力する，あるいは所与のシャッタ時間の間露光して静止画の被写体像を表わす画像データを出力するものである，
    　請求項１から６のうち，いずれか一項に記載の撮像装置。
  8. 　上記撮像光学系の焦点距離を変えずに上記撮像素子の受光面上に結像する被写体像の大きさを変えるズーム・レンズをさらに備え，
    　上記補正手段は，
    　光学歪量が第１のしきい値以上または第２のしきい値以下となる上記ズーム・レンズ位置であるときに，上記位置検出手段において検出された位置を用いて上記撮像素子により撮像された被写体像の光学歪補正を行うものである，
    　請求項１から７のうち，いずれか一項に記載の撮像装置。
  9. 　上記光軸位置算出手段は，
    　上記位置検出手段によって複数回検出された位置の平均的位置を上記光軸位置として算出するものである，
    　請求項１に記載の撮像装置。
  10. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，
    　露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，ならびに
    　上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行う補正手段，
    　を備えた撮像装置。
  11. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置において，
    　上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出する位置検出手段，
    　上記位置検出手段によって複数回検出された位置の軌跡を生成する軌跡生成手段，ならびに
    　上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う補正手段，
    　を備えた撮像装置。
  12. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の値光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，
    　位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，
    　光軸位置算出手段が，上記位置検出手段により検出された位置から上記撮像素子によって撮像された被写体像における上記撮像光学系の光軸中心の位置を算出し，
    　補正手段が，上記光軸位置算出手段によって算出された光軸中心の位置を用いて上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくとも一方の補正を行う，
    　撮像装置の動作制御方法。
  13. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，
    　位置検出手段が，露光期間開始時における上記撮像素子の中心と上記撮像光学系の光軸中心との初期位置の検出を含み，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，
    　補正手段が，上記位置検出手段において検出された初期位置とその他の位置とから上記撮像素子により撮像された被写体像の光学歪補正またはシェーディング補正の少なくも一方を行う，
    　撮像装置の動作制御方法。
  14. 　被写体を撮像し，被写体像を表わす画像データを出力する撮像素子，上記撮像素子の受光面前方に設けられ，上記撮像素子の受光面上に被写体像を結像する撮像光学系，および手振れに応じて上記撮像素子の中心と上記撮像光学系の光軸中心との相対的位置を補正する手振れ補正機構を備えた撮像装置の動作制御方法において，
    　位置検出手段が，上記手振れ補正機構により上記撮像素子の中心と上記撮像光学系の光軸中心とが相対的に動かされた位置を，上記撮像素子の露光期間中に複数回検出し，
    　軌跡生成手段が，上記位置検出手段によって複数回検出された位置の軌跡を生成し，
    　補正手段が，上記軌跡生成手段によって生成された軌跡において，垂直方向または水平方向において方向転換されることなく，上記撮像素子と上記撮像光学系とが相対的に動かされた回数が所定回数以上となったあとに上記方向転換された位置を用いて光学歪補正またはシェーディング補正の少なくとも一方の補正を行う，
    　撮像装置の動作制御方法。
PCT/JP2013/064346 2012-06-22 2013-05-23 撮像装置およびその動作制御方法 Ceased WO2013190946A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014521237A JP5736512B2 (ja) 2012-06-22 2013-05-23 撮像装置およびその動作制御方法
CN201380032909.9A CN104380709B (zh) 2012-06-22 2013-05-23 摄像装置及其动作控制方法
US14/541,211 US9363437B2 (en) 2012-06-22 2014-11-14 Image sensing apparatus and method of controlling operation of same to reduce image distortion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012140513 2012-06-22
JP2012-140513 2012-06-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/541,211 Continuation US9363437B2 (en) 2012-06-22 2014-11-14 Image sensing apparatus and method of controlling operation of same to reduce image distortion

Publications (1)

Publication Number Publication Date
WO2013190946A1 true WO2013190946A1 (ja) 2013-12-27

Family

ID=49768551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064346 Ceased WO2013190946A1 (ja) 2012-06-22 2013-05-23 撮像装置およびその動作制御方法

Country Status (4)

Country Link
US (1) US9363437B2 (ja)
JP (1) JP5736512B2 (ja)
CN (1) CN104380709B (ja)
WO (1) WO2013190946A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194569A (ja) * 2016-04-20 2017-10-26 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
JP2020123897A (ja) * 2019-01-31 2020-08-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム
JP2024513002A (ja) * 2021-03-29 2024-03-21 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理方法及び関連デバイス

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
KR102388888B1 (ko) * 2015-08-12 2022-04-22 엘지전자 주식회사 카메라 및 그의 영상 왜곡 보정 방법
CN105430265A (zh) * 2015-11-27 2016-03-23 努比亚技术有限公司 一种增大摄像头成像范围的方法及装置
JP2017116840A (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 撮像装置
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP2019145956A (ja) 2018-02-19 2019-08-29 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
CN108614587A (zh) * 2018-06-14 2018-10-02 上海卫星工程研究所 卫星遥感仪器光轴指向在轨调整方法及系统
US10956782B2 (en) * 2018-11-16 2021-03-23 Qualcomm Incorporated Training for camera lens distortion
KR20210098760A (ko) * 2020-02-03 2021-08-11 삼성전기주식회사 카메라 모듈 및 이를 포함하는 휴대용 전자기기

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269130A (ja) * 2004-03-18 2005-09-29 Konica Minolta Photo Imaging Inc 手振れ補正機能を有する撮像装置
JP2006129175A (ja) * 2004-10-29 2006-05-18 Fuji Photo Film Co Ltd 撮像装置
JP2009017419A (ja) * 2007-07-09 2009-01-22 Canon Inc 撮像装置及び交換レンズ装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418317B2 (ja) 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
JP4642489B2 (ja) * 2005-01-24 2011-03-02 キヤノン株式会社 撮像装置及び撮像方法、並びに撮像プログラム及び記憶媒体
JP2007233166A (ja) 2006-03-02 2007-09-13 Olympus Imaging Corp ぶれ補正機能付きカメラ
JP4859625B2 (ja) * 2006-10-27 2012-01-25 Ｈｏｙａ株式会社 手ぶれ補正装置を備えたカメラ
JP2008157979A (ja) * 2006-12-20 2008-07-10 Olympus Imaging Corp デジタルカメラ
JP2009049810A (ja) * 2007-08-21 2009-03-05 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2009251491A (ja) * 2008-04-10 2009-10-29 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP4969508B2 (ja) * 2008-04-25 2012-07-04 オンセミコンダクター・トレーディング・リミテッド 振動補正制御回路およびそれを搭載する撮像装置
JP4868075B2 (ja) * 2009-10-09 2012-02-01 株式会社ニコン 撮像装置
WO2013156660A1 (en) * 2012-04-16 2013-10-24 Nokia Corporation Optimized image stabilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269130A (ja) * 2004-03-18 2005-09-29 Konica Minolta Photo Imaging Inc 手振れ補正機能を有する撮像装置
JP2006129175A (ja) * 2004-10-29 2006-05-18 Fuji Photo Film Co Ltd 撮像装置
JP2009017419A (ja) * 2007-07-09 2009-01-22 Canon Inc 撮像装置及び交換レンズ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194569A (ja) * 2016-04-20 2017-10-26 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
JP2020123897A (ja) * 2019-01-31 2020-08-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、無人航空機、画像処理方法、及びプログラム
JP2024513002A (ja) * 2021-03-29 2024-03-21 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理方法及び関連デバイス
JP7708206B2 (ja) 2021-03-29 2025-07-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理方法及び関連デバイス

Also Published As

Publication number Publication date
CN104380709A (zh) 2015-02-25
US9363437B2 (en) 2016-06-07
US20150070519A1 (en) 2015-03-12
CN104380709B (zh) 2018-05-29
JP5736512B2 (ja) 2015-06-17
JPWO2013190946A1 (ja) 2016-05-26

Similar Documents

Publication Publication Date Title
JP5736512B2 (ja) 撮像装置およびその動作制御方法
US9235916B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
JP5690974B2 (ja) 撮像装置及び合焦制御方法
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
CN104350735B (zh) 图像处理装置、摄像装置、图像处理方法
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
US9883108B2 (en) Imaging apparatus and image blur correction method
CN105190392B (zh) 摄像装置和对焦控制方法
JP5750550B2 (ja) 撮像装置及び合焦制御方法
US9924099B2 (en) Imaging apparatus and imaging method with a distance detector
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
JP6028112B2 (ja) 撮像装置及び合焦制御方法
JPWO2017110261A1 (ja) 撮像装置、合焦制御方法、及び合焦制御プログラム
WO2015076055A1 (ja) 撮像モジュール、電子機器及び撮像モジュールの駆動方法
JP7721389B2 (ja) ブレ補正装置、撮像装置、ブレ補正方法、及びブレ補正プログラム
CN113454706B (zh) 显示控制装置、摄像装置、显示控制方法
JP7027609B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
WO2014073441A1 (ja) 撮像装置およびその動作制御方法
JP2023098136A (ja) 制御装置、撮像装置、制御方法、制御プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807100

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014521237

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13807100

Country of ref document: EP

Kind code of ref document: A1