WO2011086728A1 - 撮像装置および画像振れ補正方法 - Google Patents

撮像装置および画像振れ補正方法 Download PDF

Info

Publication number
WO2011086728A1
WO2011086728A1 PCT/JP2010/066231 JP2010066231W WO2011086728A1 WO 2011086728 A1 WO2011086728 A1 WO 2011086728A1 JP 2010066231 W JP2010066231 W JP 2010066231W WO 2011086728 A1 WO2011086728 A1 WO 2011086728A1
Authority
WO
WIPO (PCT)
Prior art keywords
shake
shake correction
ratio
optical
correction unit
Prior art date
Application number
PCT/JP2010/066231
Other languages
English (en)
French (fr)
Inventor
浩孝 野中
加藤 秀弘
哲平 久保田
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to DE112010005151.8T priority Critical patent/DE112010005151B4/de
Priority to CN201080061667.2A priority patent/CN102754023B/zh
Priority to US13/522,447 priority patent/US8896714B2/en
Publication of WO2011086728A1 publication Critical patent/WO2011086728A1/ja
Priority to US14/524,474 priority patent/US9036034B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/003Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Definitions

  • the present invention relates to an imaging apparatus that captures a subject image and an image shake correction method used therefor.
  • an optical shake correction and an electronic shake correction are methods for correcting image shake caused by hand shake or the like.
  • Optical shake correction is a method that optically corrects the shake of the captured image by changing the optical axis angle of the incident light to the image sensor.
  • the electronic shake correction is the cut-out position of the captured image stored in the memory. This is a method for electronically correcting the shake of the photographed image by controlling.
  • Patent Document 1 discloses an imaging apparatus that expands a range in which image blur can be corrected by using both optical shake correction and electronic shake correction.
  • the correction by the electronic shake correction is larger than the correction by the optical shake correction
  • the correction by the optical shake correction is more than the correction by the electronic shake correction
  • the electronic shake correction tends to lower the image quality compared to the optical shake correction. Also, the greater the zoom magnification, the greater the image blur.
  • the ratio of electronic shake correction is increased as the magnification of the electronic zoom is increased, resulting in a reduction in image quality.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image pickup apparatus capable of expanding a correction range of image shake while suppressing deterioration in image quality, and an image shake correction method used therefor. .
  • an imaging element that photoelectrically converts incident light from a subject incident on the imaging apparatus to generate an electrical signal, and a captured image is generated based on the electrical signal.
  • a signal processing unit a shake detection unit that detects a shake angle of the imaging device; an optical zoom unit that optically scales the captured image; and an optical shake correction that optically corrects the shake of the captured image. Distributing the shake angle to each of the optical shake correction unit, the electronic shake correction unit that corrects the shake of the shot image by cutting out the shot image in a predetermined area, and the optical shake correction unit and the electronic shake correction unit.
  • a setting unit that sets a ratio to be performed according to an optical zoom magnification in the optical zoom unit, and the shake angle is distributed based on the set ratio, and the captured image is based on the distributed shake angle.
  • Imaging apparatus characterized by comprising a control unit for controlling the optical shake correction unit and the electronic blur correction unit to correct a shake is provided.
  • an imaging element that photoelectrically converts incident light from a subject incident on the imaging apparatus to generate an electrical signal, and a captured image is generated based on the electrical signal
  • a signal processing unit a shake detection unit that detects a shake angle of the imaging device, an optical shake correction unit that optically corrects a shake of the photographed image, and a shake by cutting out a predetermined region of the photographed image.
  • Imaging apparatus characterized in that it comprises a control unit for controlling the telescopic vibration correction unit.
  • an image is picked up by an imaging device using an optical shake correction unit that optically corrects a shot image and an electronic shake correction unit that corrects the shot image by cutting it out in a predetermined area.
  • the image blur correction method for correcting image blur a step of photoelectrically converting incident light from a subject incident on the imaging device to generate an electrical signal, and a step of generating a captured image based on the electrical signal
  • Image blur correction method characterized by comprising the step of controlling the shake correction unit and the electronic blur correction unit is provided.
  • an image is picked up by an imaging device using an optical shake correction unit that optically corrects a shot image and an electronic shake correction unit that corrects the shot image by cutting it out in a predetermined area.
  • the image blur correction method for correcting image blur a step of photoelectrically converting incident light from a subject incident on the imaging device to generate an electrical signal, and a step of generating a captured image based on the electrical signal And a step of detecting a shake angle of the imaging device, and a ratio of distributing the shake angle to each of the optical shake correction unit and the electronic shake correction unit, and the imaging device when photoelectrically converting the incident light
  • Cormorant said image blur correcting method characterized by comprising the step of controlling an optical shake correction unit and the electronic blur correction unit is provided.
  • an image is picked up by an imaging device using an optical shake correction unit that optically corrects a shot image and an electronic shake correction unit that corrects the shot image by cutting it out in a predetermined area.
  • the image blur correction method for correcting image blur a step of photoelectrically converting incident light from a subject incident on the imaging device to generate an electrical signal, and a step of generating a captured image based on the electrical signal
  • the step of setting according to the exposure time of the imaging device of the imaging device when photoelectrically converting the incident light, and distributing the deflection angle based on the set ratio And a step of controlling the optical shake correction unit and the electronic shake correction unit so as to correct the shake of the captured image based on the distributed shake angle of the image shake correction method.
  • FIG. 1 is a block diagram showing the configuration of the imaging apparatus according to the first embodiment of the present invention.
  • the imaging device 1 according to the first embodiment includes a prism 2, a lens unit 3, an imaging device 4, an A / D conversion unit 5, a signal processing unit 6, and a storage unit. 7, a prism driver 8, a zoom lens driver 9, a timing generator 10, a readout control unit 11, a monitor 12, a gyro sensor 13, an A / D conversion unit 14, and a system controller 15.
  • the prism 2 is provided on the light incident side with respect to the lens unit 3, and changes the optical axis angle of the incident light from the subject to enter the lens unit 3.
  • the lens unit 3 includes a focusing lens group (not shown) for performing focus adjustment, a zoom lens group 31 for optical zoom, and the like, and forms incident light incident through the prism 2 on the image sensor 4. .
  • the signal processing unit 6 processes the digital signal input from the A / D conversion unit 5 to generate a photographed image composed of the luminance signal Y and the color difference signals Cb and Cr, and this is used as a DRAM (Dynamic Random Access Memory) or the like. Is stored in the storage unit 7.
  • DRAM Dynamic Random Access Memory
  • the zoom lens driver 9 drives the zoom lens group 31 of the lens unit 3 to perform an optical zoom operation for changing the magnification of the captured image.
  • the zoom lens driver 9 and the zoom lens group 31 constitute an optical zoom unit.
  • the timing generator 10 supplies various timing signals to the image sensor 4 to drive the image sensor 4.
  • Read control unit 11 cuts out a captured image stored in storage unit 7 at a position instructed by system controller 15 and outputs the cut out image to monitor 12. In addition, the read control unit 11 outputs the cut image to a storage unit including a hard disk and an optical disk (not shown), and the storage unit including the hard disk and the optical disk stores an image including the input image.
  • the gyro sensor (shake detection unit) 13 detects the angular velocity of the imaging device 1 caused by hand shake and outputs a detection signal.
  • the A / D conversion unit 14 converts the analog detection signal input from the gyro sensor 13 into a digital signal and outputs the digital signal to the system controller 15.
  • the system controller (control unit) 15 is configured by a microcomputer or the like, and controls each unit provided in the imaging apparatus 1.
  • the system controller 15 integrates the angular velocity detected by the gyro sensor 13 to calculate the shake angle (angular displacement per predetermined time) of the image pickup apparatus 1, and this shake angle is optically shake corrected.
  • the prism driver 8 and the readout control unit 11 are controlled so as to correct the shake of the captured image by each method.
  • the A / D conversion unit 5 converts the analog electrical signal input from the image sensor 4 into a digital signal and outputs the digital signal.
  • the signal processing unit 6 processes the digital signal input from the A / D conversion unit 5. Then, a captured image is generated and stored in the storage unit 7.
  • the gyro sensor 13 detects the angular velocity of the image pickup apparatus 1 caused by camera shake.
  • the detection signal of the gyro sensor 13 is converted into a digital signal by the A / D converter 14 and then supplied to the system controller 15.
  • the system controller 15 integrates the angular velocity detected by the gyro sensor 13 and calculates the deflection angle ⁇ of the imaging device 1.
  • the system controller 15 sets the optical correction ratio R_ratio, controls the prism driver 8 so as to correct the angle obtained by multiplying the shake angle ⁇ of the imaging apparatus 1 by R_ratio by optical shake correction, and sets the shake angle ⁇ to D_ratio.
  • the system controller 15 controls the readout control unit 11 to display the image read from the storage unit 7 on the monitor 12.
  • the optical correction ratio R_ratio is set according to the optical zoom magnification. As shown in FIG. 3, the optical correction ratio R_ratio is set such that R_ratio increases as the zoom position moves from the WIDE end to the TELE end, that is, as the optical zoom magnification increases.
  • R_ratio 1, that is, correction is performed using only optical shake correction.
  • the ratio between R_ratio and D_ratio is equal to the ratio between the range that can be corrected by optical shake correction and the range that can be corrected by electronic shake correction.
  • the focal length of the zoom lens group 31 increases. For this reason, compared with the case where the optical zoom magnification is small, the shake width of the image is increased even if the shake angle of the imaging device 1 is the same.
  • FIG. 4A a hand-shake of a waveform as shown in FIG. 4A occurs at a normal shutter time of 1/60 seconds between fields and an exposure time of the image sensor 4 of 1/60 seconds.
  • FIG. 4B is a diagram showing the magnitude of the shake width for each field when electronic shake correction is performed in this case.
  • the shake between the fields can be corrected as shown in FIG. 4B because the shake of the image is corrected by controlling the cutout position of the captured image.
  • the field is formed in units of 1/60 second, shake within the field (within the exposure time) cannot be corrected. For this reason, depending on the field, the in-plane fluctuation is large and the image quality is low.
  • R_ratio When the optical zoom magnification is small, the degree of image quality degradation in electronic shake correction is smaller than that in high magnification. Therefore, R_ratio is reduced and the distribution ratio D_ratio for electronic shake correction is increased. 1 expands the correctable range that can be corrected.
  • the correctable range is determined by the movable range of the prism 2
  • the correctable range is determined by the size of the area B for electronic shake correction shown in FIG.
  • the most effective use of the two types of correctable ranges is the ratio between the size of the correctable range by optical shake correction and the size of the correctable range by electronic shake correction, and the ratio between R_ratio and D_ratio. Are equal.
  • the detected shake angle ⁇ of the imaging device 1 is 5 °.
  • R_ratio is set so that R_ratio: D_ratio and Rmax: Dmax are equal, and the correction range of both types is used to the maximum, so that the image shake in the imaging apparatus 1 is reduced.
  • the correction range is expanded.
  • image shake correction is performed using two methods of optical shake correction and electronic shake correction, and R_ratio is set to be larger as the optical zoom magnification is larger.
  • R_ratio and the zoom position is not limited to the linear relationship as shown in FIG. 3 as long as R_ratio increases as the optical zoom magnification increases.
  • the detected shake angle ⁇ is larger than the total angle that can be corrected by the two methods when the shake angle ⁇ is distributed to the optical shake correction unit and the electronic shake correction unit based on R_ratio, and 2
  • R_ratio may be changed so that the total angle that can be corrected by the two methods becomes large.
  • Rmax ⁇ 1 ° is the correctable range by optical shake correction
  • Dmax ⁇ 4 ° is the correctable range by electronic shake correction
  • a deflection angle ⁇ 5 ° is detected.
  • both the optical shake correction and the electronic shake correction are systems that operate independently in the horizontal direction and the vertical direction, and the shake angle ⁇ is also detected for each of the horizontal direction and the vertical direction by the gyro sensor 13. .
  • the R_ratio corresponding to the optical zoom magnification is set to a common value in the horizontal direction and the vertical direction, but when changing the R_ratio as described above, it is performed separately in the horizontal direction and the vertical direction.
  • the direction is not limited to the horizontal direction and the vertical direction, and may be a predetermined direction and a direction substantially orthogonal to the direction.
  • R_ratio corresponding to the optical zoom magnification may be set individually in the horizontal direction and the vertical direction.
  • a vertical shake is often caused by shooting while the user walks, and in the TELE end, a vertical shake is rare.
  • a horizontal shift is caused by taking a picture while moving in the horizontal direction.
  • Directional shake may occur.
  • the imaging apparatus according to the second embodiment has the same configuration as that of the imaging apparatus 1 according to the first embodiment, and will be described with reference to FIG.
  • the system controller 15 sets the optical correction ratio R_ratio according to the shutter speed (exposure time) of the electronic shutter in the image sensor 4.
  • R_ratio 1, that is, correction is set using only optical shake correction.
  • R_ratio is set so that R_ratio: D_ratio and Rmax: Dmax are equal.
  • the image quality is degraded by the electronic shake correction at the time of a normal shutter with an exposure time of 1/60 seconds.
  • the shutter speed is faster than that at the normal shutter, for example, at the fastest shutter with an exposure time of 1/250 seconds, the exposure time per field is short as shown in FIG. And the image quality is less likely to be lower than that during normal shutter.
  • R_ratio is set so that R_ratio: D_ratio and Rmax: Dmax are equal, as in the case of the WIDE end in the example of FIG. 3 described in the first embodiment.
  • the correction range of the image blur in the imaging apparatus 1 is expanded by setting and utilizing the correctable range of both types to the maximum.
  • the shutter speed of the image sensor 4 is set by the system controller 15 based on the brightness of the captured image generated by the signal processing unit 6.
  • the longer the exposure time the higher the brightness of the captured image. For example, when the brightness is too high, the brightness is adjusted by shortening the exposure time.
  • the system controller 15 supplies a timing control signal to the timing generator 10 so as to drive the image sensor 4 at the set shutter speed.
  • the system controller 15 sets R_ratio according to the shutter speed, controls the prism driver 8 to correct the angle obtained by multiplying the shake angle ⁇ of the imaging apparatus 1 by R_ratio by optical shake correction, and sets the shake angle ⁇ .
  • the readout control unit 11 is controlled to correct the angle obtained by multiplying D_ratio by electronic shake correction.
  • R_ratio according to the shutter speed is set to a common value in the horizontal direction and the vertical direction, but in the same way as in the first embodiment, when changing R_ratio as described above, Separately in the vertical direction.
  • R_ratio a value obtained by multiplying R_ratio1 and R_ratio2 may be set as R_ratio.
  • R_ratio can be varied more appropriately according to both the zoom position and the shutter speed.
  • the present invention provides an imaging apparatus and an image blur correction method that can expand the range in which image blur can be corrected while suppressing deterioration in image quality.

Abstract

 システムコントローラ15は、ジャイロセンサ13により検出された振れ角θの光学式振れ補正への分配比率である光学補正比率を光学ズーム倍率に応じて設定し、振れ角θに光学補正比率を乗じた角度を光学式振れ補正により補正するようプリズムドライバ8を制御するとともに、残りの角度を電子式振れ補正により補正するよう読み出し制御部11を制御する。

Description

撮像装置および画像振れ補正方法
 本発明は、被写体像を撮像する撮像装置、およびこれに用いる画像振れ補正方法に関する。
 従来、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いた撮像装置において、手振れ等に起因する画像の振れを補正する方式として、光学式振れ補正と電子式振れ補正とが知られている。光学式振れ補正は、撮像素子への入射光の光軸角を変更することにより撮影画像の振れを光学的に補正する方式であり、電子式振れ補正は、メモリに記憶した撮影画像の切り出し位置を制御することにより撮影画像の振れを電子的に補正する方式である。
 光学式振れ補正にも電子式振れ補正にも、その構成上、有限の補正可能範囲が存在する。光学式振れ補正で補正可能範囲を拡大する場合、装置構成の大型化を招く。また、電子式振れ補正では、撮像素子の露光時間内の画像振れは補正できないため、光学式振れ補正と比べて画質が低くなりやすい。
 そこで、特許文献1は、光学式振れ補正と電子式振れ補正とを併用して画像振れの補正可能範囲を拡大する撮像装置を開示している。
 この撮像装置では、電子ズームが大きくなると、電子式振れ補正による補正を光学式振れ補正による補正よりも大きくし、電子ズームが小さくなると、光学式振れ補正による補正を電子式振れ補正による補正よりも大きくすることで、効果的に画像振れを補正している。
特開2002-182260号公報
 上述のように、電子式振れ補正では、光学式振れ補正と比べて画質が低くなりやすい。また、ズームの倍率が大きいほど画像振れは大きくなる。上述の特許文献1では、電子ズームの倍率が大きいほど電子式振れ補正の比率を大きくするため、画質の低下を招いていた。
 本発明は上記に鑑みてなされたもので、画質の低下を抑えつつ、画像振れの補正可能範囲を拡大することができる撮像装置、およびこれに用いる画像振れ補正方法を提供することを目的とする。
 本発明の一態様によれば、撮像装置において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、前記電気信号に基づいて撮影画像を生成する信号処理部と、前記撮像装置の振れ角を検出する振れ検出部と、光学的に前記撮影画像の変倍を行う光学ズーム部と、前記撮影画像の振れを光学的に補正する光学式振れ補正部と、前記撮影画像の振れを、前記撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記光学ズーム部における光学ズーム倍率に応じて設定する設定部と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部とを備えることを特徴とする撮像装置が提供される。
 本発明の他の態様によれば、撮像装置において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、前記電気信号に基づいて撮影画像を生成する信号処理部と、前記撮像装置の振れ角を検出する振れ検出部と、前記撮影画像の振れを光学的に補正する光学式振れ補正部と、前記撮影画像の所定の領域を切り出すことによって振れを補正する電子式振れ補正部と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記入射光を光電変換する際の前記撮像素子の露光時間に応じて設定する設定部と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部とを備えることを特徴とする撮像装置が提供される。
 本発明の他の態様によれば、撮像装置において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、前記電気信号に基づいて撮影画像を生成する信号処理部と、前記撮像装置の振れ角を検出する振れ検出部と、光学的に前記撮影画像の変倍を行う光学ズーム部と、前記撮影画像の振れを光学的に補正する光学式振れ補正部と、前記撮影画像の所定の領域を切り出すことによって振れを補正する電子式振れ補正部と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記光学ズーム部における光学ズーム倍率、および、前記入射光を光電変換する際の前記撮像素子の露光時間に応じて設定する設定部と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部とを備えることを特徴とする撮像装置が提供される。
 本発明の他の態様によれば、撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、前記電気信号に基づいて撮影画像を生成する工程と、前記撮像装置の振れ角を検出する工程と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記撮像装置の光学ズーム部における光学ズーム倍率に応じて設定する工程と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程とを含むことを特徴とする画像振れ補正方法が提供される。
 本発明の他の態様によれば、撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、前記電気信号に基づいて撮影画像を生成する工程と、前記撮像装置の振れ角を検出する工程と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記入射光を光電変換する際の前記撮像装置の撮像素子の露光時間に応じて設定する工程と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程とを含むことを特徴とする画像振れ補正方法が提供される。
 本発明の他の態様によれば、撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、前記電気信号に基づいて撮影画像を生成する工程と、前記撮像装置の振れ角を検出する工程と、前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記撮像装置の光学ズーム部における光学ズーム倍率、および、前記入射光を光電変換する際の前記撮像装置の撮像素子の露光時間に応じて設定する工程と、設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程とを含むことを特徴とする画像振れ補正方法が提供される。
 本発明によれば、画質の低下を抑えつつ、画像振れの補正可能範囲を拡大することができる。
図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。 図2は、図1に示す撮像装置における撮像領域を示す図である。 図3は、第1の実施の形態における光学補正比率と光学ズームのズーム位置との関係を示す図である。 図4(A)-(C)は、電子式振れ補正を行った場合の各フィールドにおける振れ幅を説明するための図である。 図5は、第2の実施の形態における光学補正比率と撮像素子のシャッタ速度との関係を示す図である。
 以下、本発明の実施の形態について、図面を参照して説明する。
(第1の実施の形態)
 図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。図1に示すように、第1の実施の形態に係る撮像装置1は、プリズム2と、レンズユニット3と、撮像素子4と、A/D変換部5と、信号処理部6と、記憶部7と、プリズムドライバ8と、ズームレンズドライバ9と、タイミングジェネレータ10と、読み出し制御部11と、モニタ12と、ジャイロセンサ13と、A/D変換部14と、システムコントローラ15とを備える。
 プリズム2は、レンズユニット3に対して光の入射側に設けられ、被写体からの入射光の光軸角を変更してレンズユニット3に入射させる。
 レンズユニット3は、焦点調整を行うためのフォーカシングレンズ群(図示せず)、光学ズーム用のズームレンズ群31等を有し、プリズム2を介して入射する入射光を撮像素子4に結像させる。
 撮像素子4は、CCD,CMOS等からなり、レンズユニット3を通して入射した光を光電変換して電気信号を出力する。A/D変換部5は、撮像素子4から入力されるアナログの電気信号をデジタル信号に変換する。
 信号処理部6は、A/D変換部5から入力されるデジタル信号を処理して、輝度信号Yおよび色差信号Cb,Crからなる撮影画像を生成し、これをDRAM(Dynamic Random Access Memory)等からなる記憶部7に格納する。
 プリズムドライバ8は、プリズム2を駆動して、手振れ補正のために入射光の光軸角を変更する動作を行わせる。プリズムドライバ8とプリズム2とによって光学式振れ補正部が構成される。
 ズームレンズドライバ9は、レンズユニット3のズームレンズ群31を駆動して、撮影画像の変倍を行う光学ズーム動作を行わせる。ズームレンズドライバ9とズームレンズ群31とによって光学ズーム部が構成される。
 タイミングジェネレータ10は、撮像素子4に各種タイミング信号を供給して、撮像素子4を駆動する。
 読み出し制御部11は、記憶部7に記憶された撮影画像をシステムコントローラ15に指示された位置で切り出し、切り出した画像をモニタ12に出力する。また、読み出し制御部11は、図示しないハードディスク、光ディスク等からなる記憶部にも切り出した画像を出力し、ハードディスク、光ディスク等からなる記憶部は入力された画像からなる映像を記憶する。
 ここで、図2に示すように、記憶部7に記憶された撮影画像は、標準撮像領域である領域Aの周囲に電子式振れ補正用の領域Bを有している。このような領域Bがあることで、記憶部7に記憶した撮影画像の切り出し位置を調整して撮影画像の振れを補正することができる。読み出し制御部11は、撮像装置1の振れ角に応じて、撮影画像から標準撮像領域である領域Aを切り出す位置を調整する電子式振れ補正部としての機能を有する。読み出し制御部11は、撮像装置1の振れ角に応じて領域Aを切り出し、その切り出した画像を出力する。
 モニタ12は、液晶ディスプレイ等からなり、読み出し制御部11から入力される画像を表示する。
 ジャイロセンサ(振れ検出部)13は、手振れ等によって生じる撮像装置1の角速度を検出し、検出信号を出力する。A/D変換部14は、ジャイロセンサ13から入力されるアナログの検出信号をデジタル信号に変換し、これをシステムコントローラ15に出力する。
 システムコントローラ(制御部)15は、マイクロコンピュータ等によって構成され、撮像装置1に設けられた各部を制御する。
 手振れ補正に関する制御内容として、システムコントローラ15は、ジャイロセンサ13で検出された角速度を積分して撮像装置1の振れ角(所定時間あたりの角度変位)を算出し、この振れ角を光学式振れ補正と電子式振れ補正とに分配して、それぞれの方式で撮影画像の振れを補正するようプリズムドライバ8および読み出し制御部11を制御する。
 また、システムコントローラ15は、振れ角の光学式振れ補正への分配比率である光学補正比率R_ratioを設定し、この振れ角の電子式振れ補正への分配比率は残りの1-R_ratio(=D_ratio)と設定する設定部としての機能を有する。なお、振れ角から移動距離を求め、その移動距離に基づいてこのような分配を行ってもよい。
 次に、撮像装置1の動作について説明する。
 撮影時において、撮像素子4は、プリズム2およびレンズユニット3を通過して入射した光を電気信号に変換して出力する。撮像素子4における電子シャッタのシャッタ速度(露光時間)は、タイミングジェネレータ10を介してシステムコントローラ15により制御される。
 A/D変換部5は、撮像素子4から入力されたアナログの電気信号をデジタル信号に変換して出力し、信号処理部6は、A/D変換部5から入力されるデジタル信号を処理して撮影画像を生成し、これを記憶部7に格納する。
 撮影中、ジャイロセンサ13は、手振れによって生じる撮像装置1の角速度を検出する。ジャイロセンサ13の検出信号はA/D変換部14でデジタル信号に変換された後、システムコントローラ15に供給される。システムコントローラ15は、ジャイロセンサ13で検出された角速度を積分して撮像装置1の振れ角θを算出する。
 そして、システムコントローラ15は、光学補正比率R_ratioを設定し、撮像装置1の振れ角θにR_ratioを乗じた角度を光学式振れ補正により補正するようプリズムドライバ8を制御するとともに、振れ角θにD_ratio(=1-R_ratio)を乗じた角度を電子式振れ補正により補正するよう読み出し制御部11を制御する。
 そして、システムコントローラ15は、読み出し制御部11で記憶部7から読み出した画像をモニタ12に表示するよう制御する。
 光学補正比率R_ratioは、光学ズーム倍率に応じて設定され、図3に示すように、ズーム位置がWIDE端からTELE端に向かうほど、つまり光学ズーム倍率が大きいほど、R_ratioが大きくなるように設定される。
 また、TELE端(光学ズーム倍率が最大)においては、R_ratio=1、つまり光学式振れ補正のみを用いて補正するように設定される。
 一方、WIDE端(光学ズーム倍率が最小)においては、R_ratioとD_ratioとの比率が、光学式振れ補正によって補正可能な範囲の大きさと電子式振れ補正によって補正可能な範囲の大きさとの比率と等しくなるように、R_ratioが設定される。図3の例は、光学式振れ補正と電子式振れ補正との補正可能範囲の大きさの比率が1:4の場合を示し、WIDE端におけるR_ratio=0.2,D_ratio=0.8となっている。
 上記のようにR_ratioを設定する理由について説明する。
 光学ズーム倍率が大きくなると、ズームレンズ群31の焦点距離が大きくなる。このため、光学ズーム倍率が小さい場合に比べて、撮像装置1の振れ角が同じでも画像の振れ幅が大きくなる。
 前述のように、電子式振れ補正では、撮像素子4の露光時間内の画像振れは補正できないため、光学式振れ補正と比べて画質が低くなりやすい。光学ズーム倍率が大きい場合には、上記のように画像の振れ幅が大きくなるため、より画質の低下が目立つ。そこで、光学ズーム倍率が大きいほどR_ratioを大きくし、光学ズーム倍率が最大となるTELE端ではR_ratio=1として光学式振れ補正のみを用い、画質の低下を抑える。
 ここで、光学式振れ補正と比べて電子式振れ補正の画質が低い理由について説明する。フィールド間が1/60秒で、撮像素子4の露光時間が1/60秒の通常シャッタ時において、図4(A)に示すような波形の手振れが発生したとする。図4(B)は、この場合において電子式振れ補正を行ったときのフィールドごとの振れ幅の大きさを示す図である。
 電子式振れ補正では、撮影画像の切り出し位置を制御することで画像振れを補正するため、図4(B)に示すように、フィールド間での振れは補正できる。しかし、1/60秒単位でフィールドが形成されるため、フィールド内(露光時間内)での振れは補正できない。このため、フィールドによっては面内での振れ幅が大きく、画質が低くなる。
 R_ratioの説明に戻る。光学ズーム倍率が小さい場合は、電子式振れ補正での画質低下の度合いが高倍率のときに比べて小さいため、R_ratioを小さくし、電子式振れ補正への分配比率D_ratioを大きくして、撮像装置1で補正できる補正可能範囲を拡大する。
 前述のように、光学式振れ補正にも電子式振れ補正にも、有限の補正可能範囲が存在する。光学式振れ補正では、プリズム2の可動範囲等により補正可能範囲が決まり、電子式振れ補正では、図2に示した電子式振れ補正用の領域Bの大きさ等により補正可能範囲が決まる。
 2つの方式の補正可能範囲を最も効率的に利用できるのは、光学式振れ補正による補正可能範囲の大きさと電子式振れ補正による補正可能範囲の大きさとの比率と、R_ratioとD_ratioとの比率とが等しいときである。
 これについて説明する。例えば、光学式振れ補正による補正可能範囲をRmax=±1°、電子式振れ補正による補正可能範囲をDmax=±4°とし、検出された撮像装置1の振れ角θ=5°とする。
 このとき、R_ratio=0.2,D_ratio=0.8とすると、光学式振れ補正に分配される角度θr=5°×0.2=1°となり、電子式振れ補正に分配される角度θd=5°×0.8=4°となる。これより、θr=Rmax,θd=Dmaxであるため、θr,θdともに補正可能である。したがって、この場合、2つの方式で補正できる合計角度は、θr+θd=1°+4°=5°となり、振れ角θ=5°を補正できる。
 これに対し、例えばR_ratio=0.3,D_ratio=0.7の場合、θr=5°×0.3=1.5°、θd=5°×0.7=3.5°となる。これより、θd<Dmaxであるため、電子式振れ補正では分配される角度θd=3.5°は補正可能である。一方、θr>Rmaxであるため、光学式振れ補正では分配される角度θr=1.5°を補正できない。したがって、この場合、2つの方式で補正できる合計角度は、Rmax+θd=1°+3.5°=4.5°となり、振れ角θ=5°より小さくなる。
 また、例えばR_ratio=0.1,D_ratio=0.9の場合、θr=5°×0.1=0.5°となり、θd=5°×0.9=4.5°となる。これより、θr<Rmaxであるため、光学式振れ補正では分配される角度θr=0.5°は補正可能である。一方、θd>Dmaxであるため、電子式振れ補正では分配される角度θd=4.5°を補正できない。したがって、この場合、2つの方式で補正できる合計角度は、θr+Dmax=0.5°+4°=4.5°となり、振れ角θ=5°より小さくなる。
 上記のように、R_ratio:D_ratioとRmax:Dmaxとが同じでない場合、光学式振れ補正および電子式振れ補正のうちの一方では補正可能範囲を超えた角度が分配されるのに、他方ではその補正可能範囲の限界まで使用しない状態となることがある。この場合、2つの方式の補正可能範囲の合計よりも小さい角度しか補正できない。
 これに対し、R_ratio:D_ratioとRmax:Dmaxとが同じであれば、光学式振れ補正および電子式振れ補正のうちの一方が補正可能範囲の限界まで使用しているときは、他方もその補正可能範囲の限界まで使用している状態になる。このため、2つの方式の補正可能範囲を最も効率的に利用できる。
 そこで、ズーム位置がWIDE端の場合は、R_ratio:D_ratioとRmax:Dmaxとが等しくなるようにR_ratioを設定し、両方式の補正可能範囲を最大限活用することで、撮像装置1における画像振れの補正範囲の拡大を図っている。
 以上説明したように、第1の実施の形態によれば、光学式振れ補正および電子式振れ補正の2つの方式を用いて画像振れ補正を行い、光学ズーム倍率が大きいほどR_ratioを大きく設定することで、装置構成の大型化および画質の低下を抑えつつ、画像振れの補正可能範囲を拡大することができる。
 なお、R_ratioとズーム位置との関係は、光学ズーム倍率が大きいほどR_ratioが大きくなるような関係であればよく、図3のようなリニアな関係でなくてもよい。
 また、検出された振れ角θが、R_ratioに基づいて光学式振れ補正部と電子式振れ補正部とに振れ角θを分配したときに2つの方式で補正できる合計角度よりも大きく、かつ、2つの方式のいずれかにおいて、分配された角度に対して補正可能範囲に余裕がある場合、2つの方式で補正できる合計角度が大きくなるようにR_ratioを変更するようにしてもよい。
 例えば、光学式振れ補正による補正可能範囲がRmax=±1°、電子式振れ補正による補正可能範囲がDmax=±4°で、R_ratio=0.3,D_ratio=0.7と設定されているときに、振れ角θ=5°が検出されたとする。このとき2つの方式で補正できる合計角度は、前述の例と同様の計算により、Rmax+θd=4.5°となり、振れ角θ=5°よりも小さい。
 光学式振れ補正では、分配される角度θr=1.5°となりRmax=1°より大きいため、光学式振れ補正ではこれ以上補正できない。一方、電子式振れ補正では、分配される角度θd=3.5°となりDmax=4°よりも小さいため、電子式振れ補正では補正可能範囲に余裕がある。
 そこで、R_ratio=0.2,D_ratio=0.8に変更すれば、2つの方式で補正できる合計角度は、前述の例と同様の計算により、θr+θd=1°+4°=5°となり、R_ratio=0.3,D_ratio=0.7の場合よりも合計角度が大きくなる。
 このようなR_ratioの変更を行うことによって、2つの方式による合計の補正可能範囲を拡大することができる。
 また、設定されたR_ratioに基づいて分配する角度に対して、光学式振れ補正にも電子式振れ補正にも補正可能範囲に余裕がある場合、光学式振れ補正により大きな角度が分配されるように、R_ratioを変更してもよい。これにより、2つの方式での合計の補正可能範囲を維持しつつ画質の低下を抑えることができる。
 ここで、光学式振れ補正および電子式振れ補正は、ともに水平方向と垂直方向とで独立して動作するシステムであり、振れ角θもジャイロセンサ13により水平方向および垂直方向のそれぞれについて検出される。光学ズーム倍率に応じたR_ratioは水平方向と垂直方向とで共通した値を設定するが、上記のようにR_ratioの変更を行う場合は、水平方向と垂直方向とで個別に行う。なお、水平方向と垂直方向に限らず、所定の方向とその方向と略直交する方向であればよい。
 なお、光学ズーム倍率に応じたR_ratioを水平方向と垂直方向とで個別に設定するようにしてもよい。例えば、WIDE端においてはユーザが歩きながら撮影することにより垂直方向の振れが生じることが多く、TELE端においては垂直方向の振れが生じることは少ないが、水平方向に移動させながら撮影することにより水平方向の振れが生じることがある。水平方向と垂直方向とで個別にR_ratioを設定することで、このような光学ズーム倍率による振れ方向の傾向の違いに対応できる。
(第2の実施の形態)
 第2の実施の形態に係る撮像装置は、第1の実施の形態の撮像装置1と同様の構成であるため、図1を用いて説明する。
 第2の実施の形態では、システムコントローラ15は、撮像素子4における電子シャッタのシャッタ速度(露光時間)に応じて光学補正比率R_ratioを設定する。
 図5は、第2の実施の形態におけるシャッタ速度とR_ratioとの関係を示す図である。図5に示すように、シャッタ速度が速い(露光時間が短い)ほど、R_ratioが小さくなるように設定される。
 また、通常シャッタ時(露光時間1/60秒)においては、R_ratio=1、つまり光学式振れ補正のみを用いて補正するように設定される。
 一方、最速シャッタ時(例えば露光時間1/250秒)においては、R_ratio:D_ratioとRmax:Dmaxとが等しくなるように、R_ratioが設定される。図5の例は、Rmax:Dmax=1:4の場合を示し、最速シャッタ時におけるR_ratio=0.2,D_ratio=0.8となっている。
 図4(A),(B)を用いて説明したように、露光時間1/60秒の通常シャッタ時においては、電子式振れ補正では画質が低下する。これに対し、シャッタ速度が通常シャッタ時より速い場合、例えば露光時間1/250秒の最速シャッタ時は、図4(C)に示すように、1フィールド当りの露光時間が短いため、フィールド内での振れ幅が小さく、通常シャッタ時よりも画質が低下しにくい。
 そこで、シャッタ速度が遅いほどR_ratioを大きくし、露光時間1/60秒の通常シャッタ時ではR_ratio=1として光学式振れ補正のみを用い、画質の低下を抑える。
 一方、露光時間がもっとも短くなる最速シャッタ時は、第1の実施の形態で説明した図3の例におけるWIDE端の場合と同様に、R_ratio:D_ratioとRmax:Dmaxとが等しくなるようにR_ratioを設定し、両方式の補正可能範囲を最大限活用することで、撮像装置1における画像振れの補正範囲の拡大を図っている。
 撮像素子4のシャッタ速度は、信号処理部6で生成された撮影画像の輝度に基づいてシステムコントローラ15で設定される。露光時間が長いほど撮影画像の輝度が大きくなるため、例えば輝度が大きすぎる場合に露光時間を短くすることで輝度が調整される。
 システムコントローラ15は、設定したシャッタ速度で撮像素子4を駆動するようタイミングジェネレータ10にタイミング制御信号を供給する。また、システムコントローラ15は、シャッタ速度に応じてR_ratioを設定し、撮像装置1の振れ角θにR_ratioを乗じた角度を光学式振れ補正により補正するようプリズムドライバ8を制御するとともに、振れ角θにD_ratioを乗じた角度を電子式振れ補正により補正するよう読み出し制御部11を制御する。
 第2の実施の形態によれば、シャッタ速度が速いほどR_ratioを小さく設定することで、装置構成の大型化および画質の低下を抑えつつ、画像振れの補正可能範囲を拡大することができる。
 なお、R_ratioとシャッタ速度との関係は、シャッタ速度が速いほどR_ratioが小さくなるような関係であればよく、図5のようなリニアな関係でなくてもよい。
 また、第2の実施の形態においても第1の実施の形態と同様に、検出された振れ角θが、R_ratioに基づいて光学式振れ補正部と電子式振れ補正部とに振れ角θを分配したときに2つの方式で補正できる合計角度よりも大きく、かつ、2つの方式のいずれかにおいて、分配された角度に対して補正可能範囲に余裕がある場合、2つの方式で補正できる合計角度が大きくなるようにR_ratioを変更するようにしてもよい。
 また、第1の実施の形態と同様に、設定されたR_ratioに基づいて分配する角度に対して、光学式振れ補正にも電子式振れ補正にも補正可能範囲に余裕がある場合、光学式振れ補正により大きな角度が分配されるように、R_ratioを変更してもよい。
 ここで、シャッタ速度に応じたR_ratioは水平方向と垂直方向とで共通した値を設定するが、第1の実施の形態と同様に、上記のようにR_ratioの変更を行う場合は、水平方向と垂直方向とで個別に行う。
 また、第1の実施の形態で示した図3のように設定されるR_ratio1(第1の比率)と、第2の実施の形態で示した図5のように設定されるR_ratio2(第2の比率)とを併用してR_ratioを設定してもよい。
 例えば、上記R_ratio1とR_ratio2とを乗算した値を、R_ratioとして設定してもよい。このようにすれば、ズーム位置とシャッタ速度の両方に応じてより適切にR_ratioを可変することができる。
 また、例えば露光時間が1/60~1/100秒の範囲のシャッタ速度のときはWIDE端におけるR_ratio1を用い、それ以外のシャッタ速度のときはR_ratio1とR_ratio2とを乗算した値をR_ratioとして用いる等の場合分けを行ってもよい。
 また、シャッタ速度に応じたR_ratioを水平方向と垂直方向とで個別に設定するようにしてもよい。
 以上説明したように、本発明は、画質の低下を抑えつつ、画像振れの補正可能範囲を拡大することができる撮像装置および画像振れ補正方法を提供する。
 1 撮像装置
 2 プリズム
 3 レンズユニット
 4 撮像素子
 5 A/D変換部
 6 信号処理部
 7 記憶部
 8 プリズムドライバ
 9 ズームレンズドライバ
 10 タイミングジェネレータ
 11 読み出し制御部
 12 モニタ
 13 ジャイロセンサ
 14 A/D変換部
 15 システムコントローラ

Claims (14)

  1.  撮像装置において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、
     前記電気信号に基づいて撮影画像を生成する信号処理部と、
     前記撮像装置の振れ角を検出する振れ検出部と、
     光学的に前記撮影画像の変倍を行う光学ズーム部と、
     前記撮影画像の振れを光学的に補正する光学式振れ補正部と、
     前記撮影画像の振れを、前記撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記光学ズーム部における光学ズーム倍率に応じて設定する設定部と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部と
     を備えることを特徴とする撮像装置。
  2.  前記設定部は、前記光学ズーム部における光学ズーム倍率が大きいほど、前記振れ角を前記光学式振れ補正部へ分配する比率が大きくなるように、前記比率を設定することを特徴とする請求項1に記載の撮像装置。
  3.  前記設定部は、前記光学ズーム倍率が最小の場合、前記振れ角を分配する比率を、前記光学式振れ補正部の補正可能範囲の大きさと前記電子式振れ補正部の補正可能範囲の大きさとの比率に応じて設定することを特徴とする請求項1または2に記載の撮像装置。
  4.  撮像装置において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、
     前記電気信号に基づいて撮影画像を生成する信号処理部と、
     前記撮像装置の振れ角を検出する振れ検出部と、
     前記撮影画像の振れを光学的に補正する光学式振れ補正部と、
     前記撮影画像の所定の領域を切り出すことによって振れを補正する電子式振れ補正部と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記入射光を光電変換する際の前記撮像素子の露光時間に応じて設定する設定部と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部と
     を備えることを特徴とする撮像装置。
  5.  前記設定部は、前記露光時間が短いほど、前記振れ角を前記光学式振れ補正部へ分配する比率が大きくなるように、前記比率を設定することを特徴とする請求項4に記載の撮像装置。
  6.  前記設定部は、前記露光時間が前記撮像装置における最も短い露光時間に設定されている場合、前記振れ角を分配する比率を、前記光学式振れ補正部の補正可能範囲の大きさと前記電子式振れ補正部の補正可能範囲の大きさとの比率に応じて設定することを特徴とする請求項4または5に記載の撮像装置。
  7.  撮像装置において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する撮像素子と、
     前記電気信号に基づいて撮影画像を生成する信号処理部と、
     前記撮像装置の振れ角を検出する振れ検出部と、
     光学的に前記撮影画像の変倍を行う光学ズーム部と、
     前記撮影画像の振れを光学的に補正する光学式振れ補正部と、
     前記撮影画像の所定の領域を切り出すことによって振れを補正する電子式振れ補正部と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記光学ズーム部における光学ズーム倍率、および、前記入射光を光電変換する際の前記撮像素子の露光時間に応じて設定する設定部と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する制御部と
     を備えることを特徴とする撮像装置。
  8.  前記設定部は、前記光学ズーム倍率が大きいほど大きくなる第1の比率と、前記露光時間が短いほど小さくなる第2の比率とに基づいて、前記振れ角を前記光学式振れ補正部へ分配する比率を設定することを特徴とする請求項7に記載の撮像装置。
  9.  前記設定部は、前記光学式振れ補正部と前記電子式振れ補正部との補正可能範囲の大きさの比率に応じて、前記光学ズーム倍率が最小のときにおける前記第1の比率、および前記露光時間が前記撮像装置における最も長い露光時間に設定されているときにおける前記第2の比率を設定することを特徴とする請求項8に記載の撮像装置。
  10.  前記設定部は、前記振れ検出部で検出された振れ角が、前記光学式振れ補正部と前記電子式振れ補正部とで補正できる合計角度よりも大きく、かつ、前記光学式振れ補正部および前記電子式振れ補正部のいずれかにおいて、前記比率に基づいて分配された角度に対して補正可能範囲に余裕がある場合、前記合計角度が大きくなるように前記比率を変更することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11.  前記設定部は、前記比率を所定の方向と前記所定の方向と略直交する方向とで個別に設定することを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12.  撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、
     前記電気信号に基づいて撮影画像を生成する工程と、
     前記撮像装置の振れ角を検出する工程と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記撮像装置の光学ズーム部における光学ズーム倍率に応じて設定する工程と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程と
     を含むことを特徴とする画像振れ補正方法。
  13.  撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、
     前記電気信号に基づいて撮影画像を生成する工程と、
     前記撮像装置の振れ角を検出する工程と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記入射光を光電変換する際の前記撮像装置の撮像素子の露光時間に応じて設定する工程と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程と
     を含むことを特徴とする画像振れ補正方法。
  14.  撮影画像を光学的に補正する光学式振れ補正部および撮影画像を所定の領域で切り出すことによって補正する電子式振れ補正部を用いて、撮像装置によって撮像される画像の振れを補正する画像振れ補正方法において、
     前記撮像装置に入射される被写体からの入射光を光電変換して電気信号を生成する工程と、
     前記電気信号に基づいて撮影画像を生成する工程と、
     前記撮像装置の振れ角を検出する工程と、
     前記光学式振れ補正部および前記電子式振れ補正部それぞれへ前記振れ角を分配する比率を、前記撮像装置の光学ズーム部における光学ズーム倍率、および、前記入射光を光電変換する際の前記撮像装置の前記撮像素子の露光時間に応じて設定する工程と、
     設定された前記比率に基づいて前記振れ角を分配し、その分配された振れ角に基づいて前記撮影画像の振れを補正するよう前記光学式振れ補正部および前記電子式振れ補正部を制御する工程と
     を含むことを特徴とする画像振れ補正方法。
PCT/JP2010/066231 2010-01-18 2010-09-17 撮像装置および画像振れ補正方法 WO2011086728A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112010005151.8T DE112010005151B4 (de) 2010-01-18 2010-09-17 Bildaufnahmevorrichtung und bildverwacklungskorrekturverfahren
CN201080061667.2A CN102754023B (zh) 2010-01-18 2010-09-17 摄像装置以及图像抖动修正方法
US13/522,447 US8896714B2 (en) 2010-01-18 2010-09-17 Image pickup apparatus and image shake correction method
US14/524,474 US9036034B2 (en) 2010-01-18 2014-10-27 Image pickup apparatus and image shake correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010008167A JP5003769B2 (ja) 2010-01-18 2010-01-18 撮像装置および画像振れ補正方法
JP2010-008167 2010-01-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/522,447 A-371-Of-International US8896714B2 (en) 2010-01-18 2010-09-17 Image pickup apparatus and image shake correction method
US14/524,474 Division US9036034B2 (en) 2010-01-18 2014-10-27 Image pickup apparatus and image shake correction method

Publications (1)

Publication Number Publication Date
WO2011086728A1 true WO2011086728A1 (ja) 2011-07-21

Family

ID=44304026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/066231 WO2011086728A1 (ja) 2010-01-18 2010-09-17 撮像装置および画像振れ補正方法

Country Status (5)

Country Link
US (2) US8896714B2 (ja)
JP (1) JP5003769B2 (ja)
CN (1) CN102754023B (ja)
DE (1) DE112010005151B4 (ja)
WO (1) WO2011086728A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167237A (zh) * 2011-12-14 2013-06-19 Jvc建伍株式会社 摄像装置以及图像抖动修正方法
CN103533230A (zh) * 2012-06-29 2014-01-22 佳能株式会社 摄像设备、光学设备、摄像系统和控制方法
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP2013138413A (ja) * 2011-11-28 2013-07-11 Panasonic Corp 撮像装置
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6097521B2 (ja) 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP5786847B2 (ja) * 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6151930B2 (ja) 2013-02-19 2017-06-21 キヤノン株式会社 撮像装置およびその制御方法
JP6074298B2 (ja) * 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
JP6209002B2 (ja) 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
CN103414844B (zh) * 2013-08-27 2016-05-11 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
JP6170395B2 (ja) 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6210824B2 (ja) * 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
JP6214316B2 (ja) * 2013-10-09 2017-10-18 キヤノン株式会社 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
JP6472176B2 (ja) * 2014-06-10 2019-02-20 キヤノン株式会社 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
JP6478504B2 (ja) * 2014-07-16 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
JP6530602B2 (ja) * 2014-12-22 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法
CN104410134A (zh) * 2014-12-23 2015-03-11 深圳市保千里电子有限公司 一种带数码照相功能的充电宝
US20170041545A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
US20170331998A1 (en) * 2016-05-11 2017-11-16 Htc Corporation Camera device, method for camera device, and non-transitory computer readable storage medium
CN108111744A (zh) * 2016-11-25 2018-06-01 努比亚技术有限公司 一种拍摄装置和方法
CN106855419B (zh) * 2016-12-30 2020-05-19 西安航天精密机电研究所 基于加速度计坐标系的直角棱镜标定测试方法
CN107040722B (zh) 2017-04-27 2019-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
JP7071099B2 (ja) * 2017-11-22 2022-05-18 キヤノン株式会社 撮像装置
JP2019117977A (ja) 2017-12-26 2019-07-18 キヤノン株式会社 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム
CN113170039B (zh) * 2018-11-29 2022-12-16 富士胶片株式会社 抖动校正控制装置及摄像装置
TWI725836B (zh) * 2019-05-13 2021-04-21 香港商立景創新有限公司 影像擷取組件以及可攜式電子裝置
KR20220079179A (ko) * 2020-12-04 2022-06-13 삼성전자주식회사 카메라의 흔들림을 보정하는 방법 및 그 전자 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514801A (ja) * 1990-10-18 1993-01-22 Fuji Photo Film Co Ltd 手振れ補正装置
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
JPH07177418A (ja) * 1993-12-20 1995-07-14 Canon Inc 画像振れ防止装置
JPH0946575A (ja) * 1995-07-26 1997-02-14 Sony Corp 撮像装置
JPH1056592A (ja) * 1996-08-12 1998-02-24 Sony Corp 像振れ補正機構
JPH1115035A (ja) * 1997-06-27 1999-01-22 Nikon Corp カメラシステム、カメラボディ及び交換レンズ
JP2001197357A (ja) * 2000-01-12 2001-07-19 Hitachi Ltd 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0656725B1 (en) * 1993-12-02 2000-03-15 Canon Kabushiki Kaisha Image-shake correcting device
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP2002182260A (ja) 2000-12-11 2002-06-26 Hitachi Ltd 撮像装置
US8208017B2 (en) * 2003-12-26 2012-06-26 Panasonic Corporation Imaging device, product package, and semiconductor integrated circuit
JP2005215388A (ja) * 2004-01-30 2005-08-11 Canon Inc 交換レンズ及びそれを用いたカメラシステム
JP4022595B2 (ja) 2004-10-26 2007-12-19 コニカミノルタオプト株式会社 撮影装置
JP4766320B2 (ja) 2006-02-06 2011-09-07 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4400611B2 (ja) * 2006-10-26 2010-01-20 カシオ計算機株式会社 撮像装置、ブレ補正方法、およびプログラム
JP2009053226A (ja) 2007-08-23 2009-03-12 Hoya Corp 撮影システムおよびデジタルカメラ
JP5328307B2 (ja) * 2008-11-14 2013-10-30 キヤノン株式会社 振れ補正機能を有する撮影装置及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514801A (ja) * 1990-10-18 1993-01-22 Fuji Photo Film Co Ltd 手振れ補正装置
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
JPH07177418A (ja) * 1993-12-20 1995-07-14 Canon Inc 画像振れ防止装置
JPH0946575A (ja) * 1995-07-26 1997-02-14 Sony Corp 撮像装置
JPH1056592A (ja) * 1996-08-12 1998-02-24 Sony Corp 像振れ補正機構
JPH1115035A (ja) * 1997-06-27 1999-01-22 Nikon Corp カメラシステム、カメラボディ及び交換レンズ
JP2001197357A (ja) * 2000-01-12 2001-07-19 Hitachi Ltd 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167237A (zh) * 2011-12-14 2013-06-19 Jvc建伍株式会社 摄像装置以及图像抖动修正方法
CN103167237B (zh) * 2011-12-14 2016-01-20 Jvc建伍株式会社 摄像装置以及图像抖动修正方法
CN103533230A (zh) * 2012-06-29 2014-01-22 佳能株式会社 摄像设备、光学设备、摄像系统和控制方法
CN103533230B (zh) * 2012-06-29 2016-12-28 佳能株式会社 摄像设备、光学设备、摄像系统和控制方法
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备
US11057565B2 (en) 2016-10-17 2021-07-06 Huawei Technologies Co., Ltd. Image obtaining method and terminal device

Also Published As

Publication number Publication date
CN102754023A (zh) 2012-10-24
US9036034B2 (en) 2015-05-19
US20120293672A1 (en) 2012-11-22
DE112010005151B4 (de) 2019-05-09
US20150092068A1 (en) 2015-04-02
JP5003769B2 (ja) 2012-08-15
CN102754023B (zh) 2015-07-15
DE112010005151T5 (de) 2012-11-15
JP2011145604A (ja) 2011-07-28
US8896714B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
JP5003769B2 (ja) 撮像装置および画像振れ補正方法
JP4717748B2 (ja) カメラ本体及びそれを有するカメラシステム
JP6530602B2 (ja) 撮像装置及びその制御方法
US10136064B2 (en) Image processing apparatus and method of controlling image processing apparatus
US8279290B2 (en) Blur correcting image pickup apparatus and control method
JP6472176B2 (ja) 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
US20110157381A1 (en) Image capturing apparatus and control method thereof
WO2010004764A1 (ja) 撮像装置
JP2017152996A (ja) 撮像システムおよびその制御方法、撮像装置、レンズ装置
JP4508991B2 (ja) 撮像装置
JP2019128362A (ja) 撮像装置
JP2018056753A (ja) カメラコントローラ、画像処理モジュール、および半導体システム
JP2007140064A (ja) 像振れ補正機能付き光学機器
JP2015099216A (ja) 光学機器
JP5426952B2 (ja) 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP5886623B2 (ja) 撮像装置およびその制御方法
JPH1127573A (ja) 画像動き補正装置
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
JP2003101866A (ja) 光学装置
JP2016050973A (ja) 撮像装置及びその制御方法
JP4258383B2 (ja) 撮像装置
JP2021033015A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP7214424B2 (ja) 撮像装置およびその制御方法
JPH11266390A (ja) 撮像装置
JP2005130361A (ja) 光学機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080061667.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10843085

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13522447

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112010005151

Country of ref document: DE

Ref document number: 1120100051518

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10843085

Country of ref document: EP

Kind code of ref document: A1