WO2006030819A1 - 撮像画像の像ブレ修正機能を有する撮像装置 - Google Patents

撮像画像の像ブレ修正機能を有する撮像装置 Download PDF

Info

Publication number
WO2006030819A1
WO2006030819A1 PCT/JP2005/016921 JP2005016921W WO2006030819A1 WO 2006030819 A1 WO2006030819 A1 WO 2006030819A1 JP 2005016921 W JP2005016921 W JP 2005016921W WO 2006030819 A1 WO2006030819 A1 WO 2006030819A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image blur
unit
exposure period
image data
Prior art date
Application number
PCT/JP2005/016921
Other languages
English (en)
French (fr)
Inventor
Kazutoshi Usui
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/660,499 priority Critical patent/US7675546B2/en
Publication of WO2006030819A1 publication Critical patent/WO2006030819A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time

Definitions

  • Imaging device having image blur correction function of captured image
  • the present invention relates to an imaging apparatus having a function of correcting image blur of a captured image.
  • an inverse filter is obtained from a point image function obtained from the image blur locus force.
  • this blur correction method is referred to as “calculation correction method”.
  • image blurring of a captured image is corrected by performing a plurality of divided exposures and aligning and synthesizing a plurality of obtained images (hereinafter referred to as blur correction).
  • the method is “composite correction method” 1).
  • Patent Document 1 Japanese Patent Application Laid-Open No. 62-127976 (claims, etc.)
  • Patent Document 2 JP-A-5-323444 (Claim 1 etc.)
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2002-107787 (Claim 1 etc.)
  • an object of the present invention is to provide an imaging apparatus that selects and executes a plurality of types of image blur correction.
  • Another object of the present invention is to provide an imaging apparatus capable of appropriately switching between an "arithmetic correction method” and a “composite correction method”.
  • An imaging device of the present invention includes an imaging unit, a first image blur correction unit, a second image blur correction unit, and a selection control unit.
  • the imaging unit photoelectrically converts the subject image to generate image data.
  • the first image blur correction unit performs image blur correction on the image data.
  • the second image blur correction unit performs image blur correction different from the first image blur correction on the image data.
  • the selection control unit selects whether to use the first image blur correction unit or the second image blur correction unit for image blur correction of the image data based on an exposure period required for photoelectric conversion of the image data. .
  • the first image blur correcting unit corrects the image blur by applying an inverse filter of a point spread function representing the image blur during the exposure period to the image data.
  • the second image blur correcting unit causes the imaging unit to perform a plurality of imaging operations with divided exposure periods, and aligns and synthesizes the obtained divided image data of a plurality of frames, thereby Correct the image blur.
  • the image processing apparatus further includes a shake detection unit that detects a shake that causes image blur
  • the first image blur correction unit includes an inverse filter of a point spread function corresponding to the shake detected by the shake detection unit. Use to correct image blur in image data.
  • the shake detection unit includes an angular velocity sensor.
  • the second image blur correcting unit aligns and synthesizes the divided image data of a plurality of frames by pattern matching using a block matching method.
  • the selection control unit determines the exposure period based on a threshold value according to a transfer period for image reading of the imaging unit and the number of divided exposures by the second image blur correction unit, and the determination result
  • the first image blur correction unit and the second image blur correction unit are selected according to the above.
  • the selection control unit determines an exposure period based on a threshold value corresponding to a transfer period required for image reading of the imaging unit and a focal length when image data is captured, and according to the determination result.
  • the first image blur correction unit and the second image blur correction unit are selected.
  • the control method of the image pickup apparatus of the present invention is a method of performing selection of image blur correction similar to the above ⁇ 1 >>.
  • the above control method has the same image blur correction processing options as in the above ⁇ 2 >>.
  • ⁇ 10 The program of the present invention is a program for causing a computer to execute the control method described in the above ⁇ 8 >>.
  • a recording medium of the present invention is a machine-readable recording medium recording a program for causing a computer to execute the control method described in the above ⁇ 8 >>.
  • Another imaging device of the present invention includes an imaging unit, a calculation correction unit, a composition correction unit, an exposure period determination unit, and a selection control unit.
  • This imaging unit photoelectrically converts a subject image over a preset exposure period to generate image data.
  • the arithmetic correction unit corrects the image blur by applying an inverse filter of a point spread function representing the image blur during the exposure period to the image data.
  • the composition correction unit corrects the image blur of the image data by causing the imaging unit to perform a plurality of imaging operations with the exposure period divided and aligning and synthesizing the obtained divided image data of the plurality of frames. .
  • the exposure period determination unit determines the exposure period based on a predetermined threshold.
  • the selection control unit executes blur correction by the calculation correction unit when the exposure period is less than the threshold value, and executes blur correction by the synthesis correction unit when the exposure period is equal to or greater than the threshold value.
  • the exposure period determination unit determines a threshold based on a multiplication result obtained by multiplying the “transfer period for image reading of the imaging unit” by “the number of division exposures of the composite correction unit”, and The exposure period is determined.
  • Another imaging device of the present invention includes an imaging unit, a calculation correction unit, a composition correction unit, an exposure period determination unit, and a selection control unit.
  • the imaging unit photoelectrically converts the subject image over a preset exposure period to generate image data.
  • the arithmetic correction unit corrects the image blur by applying an inverse filter of a point spread function representing the image blur during the exposure period to the image data.
  • the composition correction unit corrects the image blur of the image data by causing the imaging unit to perform a plurality of imaging operations by dividing the exposure period and aligning and synthesizing the obtained divided image data of a plurality of frames. .
  • the exposure period determination unit determines whether the difference between the exposure period and the total shooting period required for multiple exposures by the composition correction unit is a threshold value.
  • the selection control unit executes blur correction by the calculation correction unit when the exposure period determination unit determines that the difference is large, and when the difference is determined to be small, the selection correction unit performs blur correction by the synthesis correction unit. Execute.
  • the imaging apparatus of the present invention selects image blur correction processing according to the exposure period of image data. Therefore, it is possible to perform an image blur correction process that provides a more appropriate effect according to the image blur that changes according to the exposure period.
  • FIG. 1 is a diagram showing a configuration of an imaging device 11 in the first embodiment.
  • FIG. 2 is a diagram for explaining the operation of the first embodiment.
  • FIG. 3 is a timing chart of the composite correction method.
  • FIG. 4 is a timing chart when the composite correction method is selected and executed when the exposure period is less than the threshold value thl.
  • FIG. 5 is a diagram for explaining the operation of the second embodiment.
  • FIG. 1 is a diagram illustrating a configuration of the imaging device 11 according to the first embodiment.
  • a photographing lens 12 is attached to the imaging device 11.
  • an image pickup surface of the shirter 13a and the image pickup device 13 is arranged.
  • the imaging element 13 outputs image data according to the driving noise of the CCD driving circuit 16.
  • the image data is processed through an analog signal processing unit 14 and a DSP (digital signal processing unit) 15 and then stored in a notch memory 17.
  • a synthesis correction unit 20 and a calculation correction unit 21 are provided in order to perform two types of blur correction on the image data in the buffer memory 17. These two types of correction units 20 and 21 are switched and controlled by a blur correction method selection unit 22.
  • These constituent requirements 20 to 22 are realized by the functions of the CPU 23.
  • the CPU 23 implements functions such as an AE calculation unit 24, an exposure period determination unit 25, and a point spread function calculation unit 28.
  • An angular velocity sensor 33 is connected to the point spread function calculation unit 28 via an HPF unit 32.
  • the camera 23 is connected to a camera shake correction mode switch 26, a release switch 27, a zoom encoder 30, a distance encoder 31, and the like.
  • FIG. 2 is a diagram for explaining the operation of the first embodiment.
  • Step S1 When the main power supply of the imaging device 11 is turned on, the CPU 23 executes an initial setting sequence. After completing this initial setting, the CPU 23 enters a state of waiting for a half-press operation of the release switch 27.
  • Step S2 The CPU 23 drives the image sensor 13 via the CCD drive circuit 16 and takes in control image data.
  • the AE calculation unit 24 obtains the image data force subject brightness for this control.
  • Step S3 In the case of the program exposure mode or the aperture priority exposure mode, the exposure period determining unit 25 determines an exposure period for obtaining an appropriate exposure based on the subject brightness that also obtains the image data power for control. In the manual exposure mode or the shotta priority mode, the exposure period determination unit 25 determines the exposure period based on user settings and the like.
  • Step S4 The shake correction method selection unit 22 determines the number of divided exposures and the divided exposure period from the exposure period, assuming selection of the composite correction method.
  • a 135 (35 mm imaging surface size) size camera can take a picture with less noticeable camera shake by setting it to less than one shot of the focal length.
  • the re-correction method selection unit 22 converts the focal length of the taking lens 12 acquired from the zoom encoder 30 into a focal length equivalent to a 135-format angle of view.
  • the shake correction method selection unit 22 determines the combination of the number of divided exposures and the divided exposure period so that the divided exposure period obtained by dividing the exposure period is sufficiently within the shake safety zone of 1Z (converted focal length) seconds or less.
  • the blur correction method selection unit 22 calculates a threshold thl based on the multiplication result of the determined number of division exposures and the transfer period of the image sensor 13. For example, when the number of divided exposures is 4 and the transfer period is 200 milliseconds, the threshold thl is 0.8 seconds. Alternatively, the threshold thl may be set to (0.8 1 second (0.8 + k) seconds. In this case, the value k is not suitable for the composite correction method Z calculation correction method. It is preferable to set so as to be the boundary.
  • Step S5 Here, the CPU 23 determines whether or not the release switch 27 is fully pressed.
  • Step S6 The CPU 23 determines the threshold for the exposure period set in step S3 using the threshold thl.
  • the CPU 23 selects the composite correction method as the shake correction method, and shifts the operation to step S7.
  • the CPU 23 selects the calculation correction method as the shake correction method, and shifts the operation to step S8.
  • Step S7 Here, the composite correction method photographing process is executed in the following steps A1 to A4.
  • the composition correction unit 20 opens the shirt 13a and starts exposure (charge accumulation) of the image sensor 13.
  • the image sensor 13 accumulates signal charges from the start of exposure until the divided exposure period elapses.
  • the composition correction unit 20 closes the shirt 13a and reads out image data from the image sensor 13 via the CCD drive circuit 16.
  • the composite correction unit 20 opens the shirt 13a during the transfer period of the image data, and transfers the next divided exposure. Start in parallel. In this case, if the idle time is not inserted because a plurality of divided exposure periods are continued, the opening / closing operation of the shirt 13a may be omitted.
  • the composition correction unit 20 obtains image data after blur correction by combining the divided image data of a plurality of frames after pattern alignment.
  • pattern matching a well-known block matching method or residual sequential test method can be used.
  • the divided image data may be aligned based on the blur locus obtained from the detection result force of the angular velocity sensor 33.
  • Step S8 Here, the calculation correction method photographing process is executed by the following procedures B1 to B5.
  • the calculation correction unit 21 opens the shirt 13a and starts exposure (charge accumulation) of the image sensor 13.
  • the image sensor 13 accumulates signal charges from the start of exposure until the exposure period elapses.
  • the point spread function calculation unit 28 samples the angular velocity data of the angular velocity sensor 33 via the HPF unit 32 in parallel with the exposure period.
  • the point spread function calculating unit 28 obtains a blur angle ⁇ (t) at time t during the exposure period by time-integrating the HPF output of the angular velocity data.
  • the point spread function calculation unit 28 calculates the shooting magnification
  • the point spread function calculation unit 28 substitutes these pieces of information into the following equation to obtain blur X (t) on the image plane.
  • Z (u, v), 0 (u, v), and P (u, v) in the above formula are z (x, y), o (x, y), and p (x, y), respectively. It is a spectrum obtained by frequency conversion.
  • P (u, v) obtained by frequency conversion of the point spread function p (x, y) is called the spatial frequency transfer function.
  • the point spread function calculation unit 28 approximates the inverse filter 1ZP of the equation (4) with a Wiener filter limited by a predetermined upper limit value c to obtain an inverse filter.
  • the point spread function calculation unit 28 obtains the spectrum of the original image by applying the obtained inverse filter (Wiener filter) to the blur vector S (u, v). By performing inverse frequency transformation on the original image vector, approximate reconstruction of the original image (blur correction by calculation) is performed.
  • a waveform correction function for correcting the blur waveform of the point spread function p (x, y) is obtained by performing inverse frequency conversion on the inverse filter (Wiener filter), and this waveform correction function and the blur image z are obtained.
  • the original image may be approximately restored by calculating a convolution integral with x, y).
  • Step S9 The imaging device 11 stores in the external memory 18 the image data for which blur correction has been completed in step S7 or step S8.
  • the composite correction method is selected and executed.
  • the divided exposure period is longer than the transfer period, so that multiple divided exposures are almost continuous. Therefore, the separation of the moving subject is not conspicuous in the combined image data, and good combined image data can be obtained.
  • the total shooting period in which the user maintains the shooting posture substantially matches the exposure period.
  • users do not feel uncomfortable due to inconsistent periods.
  • the calculation correction method is selected and executed.
  • the exposure period is relatively short, and the disappearance of the spatial frequency component due to camera shake is small.
  • FIG. 4 is a diagram showing a case where the composite correction method is temporarily implemented in the case where the exposure period is less than the threshold value thl.
  • the divided exposure period is shorter than the transfer period, it is necessary to insert idle time between the divided exposures. As a result, split exposure is performed intermittently, and the moving subject is separated from the combined image data.
  • the user is forced to maintain the shooting posture by an extra amount of free time X (number of division transfer times 1), there is a problem.
  • the imaging device of the second embodiment has the same configuration as the imaging device 11 (FIG. 1) of the first embodiment.
  • FIG. 5 is a diagram for explaining the operation of the second embodiment.
  • Steps S11 to S13 The same operation as steps S1 to S3 in the first embodiment.
  • Step S14 The blur correction method selection unit 22 determines the number of divided exposures and the divided exposure period used for the composite correction method from the set values of the exposure period.
  • the shake correction method selection unit 22 performs a total shooting period (that is, the user maintains the shooting posture) for division exposure for the number of times of division exposure. Period).
  • the total photographing period is substantially equal to the exposure period.
  • Step S15 Subsequently, the blur correction method selection unit 22 calculates the difference between the total shooting period and the exposure period.
  • Step S16 Here, the CPU 23 determines whether or not the release switch 27 is fully pressed.
  • step SI1 If the full-press operation is not detected, the CPU 23 returns the operation to step SI1.
  • Step S17 The CPU 23 judges the difference obtained in step S15 as a threshold value using a threshold value th2.
  • the threshold value th2 is set in advance to a value obtained by force such as subjective experiment such that the difference between the total shooting period and the exposure period does not give the user a sense of incongruity!
  • the CPU 23 selects the composite correction method as the shake correction method, and moves the operation to step S18.
  • the CPU 23 selects the calculation correction method as the blur correction method, and the operation proceeds to step S19.
  • Step S18 Perform the composite correction method. The details are the same as in step S7 of the first embodiment, so a duplicate description is omitted here. After this operation, the operation proceeds to step S20.
  • Step S19 The calculation correction method is performed. The details are the same as in step S8 of the first embodiment, and a duplicate description is omitted here.
  • Step S20 The imaging apparatus 11 stores the image data for which the blur correction has been completed in Step S18 or Step S19 in the external memory 18.
  • the difference between the total shooting period and the exposure period expected for the composite correction method is determined as a threshold value, and if the difference is equal to or greater than the threshold value, the calculation correction method is selected.
  • the divided exposure of the composite correction method becomes intermittent and the moving subject is separated in the combined image data. Can be avoided.
  • the shorter the exposure period the smaller the image blur and the smaller the disappearance of fine image information (high frequency components of the spatial frequency).
  • the calculation correction method is selected, the signal level and the spatial phase of the image information attenuated by the blur can be appropriately restored by applying an inverse filter to the remaining high frequency components. Therefore, the shorter the exposure period, the higher the success rate of blur correction using the calculation correction method.
  • the divided image data is transferred and read between the divided exposure periods.
  • the delivery must be completed.
  • the exposure period is shortened, the time for reading out the divided image data is insufficient, and it becomes necessary to insert a free time between the divided exposures. Since such intermittent exposure is performed by inserting the idle time, the motion of the moving subject is reflected in a jump.
  • the divided image data is combined in this state, the movements are separated and overlapped, resulting in an unnatural image. Therefore, the shorter the exposure period, the lower the success rate of blur correction using the composite correction method.
  • the total shooting period will be about 1.2 seconds.
  • the total shooting period is increased by about 1.2 seconds with respect to the setting of the exposure period of 1Z50 seconds, which makes the user feel uncomfortable. For this reason, if the exposure period is short !, blur correction with the composite correction method is appropriate.
  • the composite correction method even if the exposure period is long, by increasing the number of division exposures, the division exposure period per time can be kept short. Therefore, it is relatively easy to suppress the image blur of each of the divided image data to be within the allowable range, and the image blur after the synthesis can be suppressed to be small. Therefore, when the exposure period is long, the blur correction of the composite correction method has a high success rate.
  • the imaging apparatus of the present embodiment compares the exposure period and the threshold value. Based on the results, it is preferable to select the blur correction method as follows.
  • the threshold value it is preferable to determine the threshold value according to a multiplication result obtained by multiplying “the transfer period for image reading of the imaging unit” by “the number of division exposures of the composite correction unit”.
  • the composite correction method When the composite correction method is performed, it is necessary to read out images by the number of times of divided exposure.
  • the multiplication result described above corresponds to the total time of these read operations.
  • the composite correction method With the composite correction method, the total time of these readout operations cannot be shortened no matter how short the exposure period is.
  • the composite correction method must insert a free time between the divided exposure and the divided exposure in order to fill the time difference between the multiplication result and the exposure period.
  • the moving subject is skipped because the divided exposure is intermittently interrupted due to the free time.
  • the moving subject overlaps at the jump position, resulting in an unnatural image.
  • the exposure period is determined to be long or short with a threshold value based on the multiplication result.
  • the calculation correction method is selected. By this selection operation, it is possible to predict a situation where the movement of the subject is discretely shaken and appropriately switch to the calculation correction method. (Comparison of exposure period and total shooting period of composite correction method)
  • the calculation correction method is switched. By this switching operation, it is possible to reliably avoid the problem that the movement of the subject is scattered in a discrete manner.
  • a shake correction method is selected based on the comparison result between the exposure period and (transfer period * number of divided exposures).
  • the present invention is not limited to this. In general, it is possible to select a blur correction method based on the threshold determination of the exposure period.
  • a blur correction method may be selected based on a comparison result (difference or ratio) between the divided exposure period and the transfer period.
  • the blur correction method is set based on the comparison result between 1Z (135 format equivalent focal length) seconds and the transfer period. You may choose.
  • a threshold value indicating an appropriate / unsuitable boundary of the blur correction method may be determined based on the transfer period and the focal length, and the blur correction method may be selected based on the threshold determination of the exposure period.
  • the shake correction method is selected based on the difference between the total shooting period expected for the composite correction method (the period until all the divided exposures are completed) and the exposure period.
  • the present invention is not limited to this. Generally equivalent to this difference It is possible to select a shake correction method using a value indicating a tendency.
  • the blur correction method may be selected based on the value of the number of X divided exposures.
  • an amplification type imaging device such as a CMOS sensor can be used as the imaging device.
  • An angular velocity sensor or an acceleration sensor can be used for shake detection.
  • AD method Algorithm
  • image blur correction can be performed without using a physical sensor.
  • contour enhancement processing may be an option as pseudo image blur correction processing.
  • composition correction and calculation correction If the exposure time is sufficiently short, it may be determined that it is not necessary to perform composition correction and calculation correction! In this case, “synthetic correction”, “calculation correction”, and “do not perform any blur correction” can be selected as options.
  • imaging apparatus control method may be programmed and executed by a computer.
  • the program may be recorded on a machine-readable recording medium.
  • the present invention is a technique that can be used for an imaging apparatus or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の撮像装置は、被写体像を光電変換し、画像データを生成する。撮像装置は、この画像データに対して、２種類の像ブレ修正処理を選択的に実施する機能を有する。撮像装置は、画像データの撮影に要する露光期間の判定に従って、像ブレ修正処理の選択切り換えを行う。                                                                             

Description

明 細 書
撮像画像の像ブレ修正機能を有する撮像装置
技術分野
[0001] 本発明は、撮像画像の像ブレを修正する機能を有する撮像装置に関する。
背景技術
[0002] 従来、撮像後の画像処理によって像ブレを修正する技術が知られている。
例えば、特許文献 1, 2では、像ブレの軌跡力 得られる点像関数から、逆フィルタ を求める。この逆フィルタを撮像画像に施すことによって、撮像画像の像ブレを修正 する（以下、このブレ修正の方式を『演算修正方式』という）。
また例えば、特許文献 3では、複数回の分割露光を実施し、得られた複数の画像を 位置合わせして合成することによって、撮像画像の像ブレを修正している（以下、この ブレ修正の方式を『合成修正方式』と 1ヽぅ）。
特許文献 1 :特開昭 62— 127976号公報 (特許請求の範囲など）
特許文献 2：特開平 5— 323444号公報 (請求項 1など）
特許文献 3：特開 2002— 107787号公報 (請求項 1など）
発明の開示
発明が解決しょうとする課題
[0003] ところで、本発明者は、上述した『演算修正方式』と『合成修正方式』とを適切な条 件に従って切り換えることによって、両方式の長所を引き出しつつ、両方式の短所を ネ ΐえると考えた。
そこで、本発明の目的は、複数種類の像ブレ修正を選択して実施する撮像装置を 提供することである。
[0004] また、本発明の別の目的は、『演算修正方式』と『合成修正方式』を適切に切り換え る撮像装置を提供することである。
課題を解決するための手段
[0005] 《1》 本発明の撮像装置は、撮像部、第 1の像ブレ修正部、第 2の像ブレ修正部、お よび選択制御部を備える。 撮像部は、被写体像を光電変換し、画像データを生成する。
第 1の像ブレ修正部は、画像データに対して像ブレ修正を行う。
第 2の像ブレ修正部は、画像データに対して第 1の像ブレ修正とは異なる像ブレ修 正を行う。
選択制御部は、画像データの光電変換に要する露光期間に基づいて、画像デー タの像ブレ修正に、第 1の像ブレ修正部を用いるか第 2の像ブレ修正部を用いるかを 選択する。
《2》 なお好ましくは、第 1の像ブレ修正部は、露光期間中の像ブレを表す点像関数 の逆フィルタを画像データに施して像ブレを修正する。一方、第 2の像ブレ修正部は 、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得られた複数コマの 分割画像データを位置合わせして合成することにより、画像データの像ブレを修正す る。
《3》 また好ましくは、像ブレの原因となる振れを検出する振れ検出部をさらに備え、 第 1の像ブレ修正部は、振れ検出部で検出した振れに応じた点像関数の逆フィルタ を使用して、画像データの像ブレを修正する。
《4》 なお好ましくは、振れ検出部は、角速度センサを有することを特徴とする。
《5》 また好ましくは、第 2の像ブレ修正部は、ブロックマッチング法を用いたパターン マッチングにより複数コマの分割画像データを位置合わせして合成する。
《6》 なお好ましくは、選択制御部は、撮像部の画像読み出しにかかる転送期間と、 第 2の像ブレ修正部による分割露光回数とに応じた閾値により露光期間を判定し、そ の判定結果に応じて第 1の像ブレ修正部と第 2の像ブレ修正部との選択を行う。
《7》 また好ましくは、選択制御部は、撮像部の画像読み出しにかかる転送期間と、 画像データを撮影する際の焦点距離とに応じた閾値により露光期間を判定し、その 判定結果に応じて第 1の像ブレ修正部と第 2の像ブレ修正部との選択を行う。
《8》 本発明の撮像装置の制御方法は、上記《1》と同様の像ブレ修正の選択実施を 行う方法である。
《9》 なお好ましくは、上記の制御方法において、 上記《2》と同様の像ブレ修正処理 の選択肢を有する。 《10》 本発明のプログラムは、上記《8》に記載の制御方法を、コンピュータに実行さ せるためのプログラムである。
《11》 本発明の記録媒体は、上記《8》に記載の制御方法を、コンピュータに実行さ せるためのプログラムを記録した機械読み取り可能な記録媒体である。
《12》
本発明の別の撮像装置は、撮像部、演算修正部、合成修正部、露光期間判定部、 および選択制御部を備える。
[0007] この撮像部は、予め設定された露光期間にわたって被写体像を光電変換し、画像 データを生成する。
演算修正部は、露光期間中の像ブレを表す点像関数の逆フィルタを画像データに 施して、像ブレを修正する。
合成修正部は、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得ら れた複数コマの分割画像データを位置合わせして合成することにより、画像データの 像ブレを修正する。
[0008] 露光期間判定部は、露光期間を、予め定められた閾値によって判定する。
選択制御部は、露光期間が閾値未満の場合には演算修正部によるブレ修正を実 行し、露光期間が閾値以上の場合には合成修正部によるブレ修正を実行する。 《13》
なお好ましくは、露光期間判定部は、『撮像部の画像読み出しにかかる転送期間』 に『合成補正部の分割露光回数』を乗じた乗算結果に基づ 、て閾値を決定して、上 記の露光期間の判定を行う。
《14》
本発明の別の撮像装置は、撮像部、演算修正部、合成修正部、露光期間判定部、 および選択制御部を備える。
[0009] 撮像部は、予め設定された露光期間にわたって被写体像を光電変換し、画像デー タを生成する。
演算修正部は、露光期間中の像ブレを表す点像関数の逆フィルタを画像データに 施して、像ブレを修正する。 合成修正部は、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得ら れた複数コマの分割画像データを位置合わせして合成することにより、画像データの 像ブレを修正する。
[0010] 露光期間判定部は、合成修正部による複数回の分割露光に所要する総撮影期間 と、露光期間との差が大きいか否力を閾値判定する。
選択制御部は、露光期間判定部によって差が大きいと判定された場合には、演算 修正部によるブレ修正を実行し、差が小さいと判定された場合には、合成修正部によ るブレ修正を実行する。
発明の効果
[0011] 本発明の撮像装置は、画像データの露光期間に応じて、像ブレ修正処理を選択す る。したがって、露光期間に応じて変化する像ブレに合わせて、より適切な効果が得 られる像ブレ修正処理を実施することが可能になる。
図面の簡単な説明
[0012] [図 1]第 1実施形態における撮像装置 11の構成を示す図である。
[図 2]第 1実施形態の動作を説明する図である。
[図 3]合成修正方式のタイミングチャートである。
[図 4]露光期間が閾値 thl未満となった状態で、合成修正方式を選択実施した場合の タイミングチャートである。
[図 5]第 2実施形態の動作を説明する図である。
発明を実施するための最良の形態
[0013] 《第 1実施形態》
[第 1実施形態の構成説明]
図 1は、第 1実施形態における撮像装置 11の構成を示す図である。
図 1において、撮像装置 11には、撮影レンズ 12が装着される。この撮影レンズ 12 の像空間には、シャツタ 13aおよび撮像素子 13の撮像面が配置される。この撮像素 子 13は、 CCD駆動回路 16の駆動ノ ルスに従って、画像データを出力する。この画 像データは、アナログ信号処理部 14および DSP (デジタル信号処理部） 15を介して 処理された後、ノ ッファメモリ 17に蓄積される。 [0014] このバッファメモリ 17内の画像データに対して、 2種類のブレ修正を施すため、合成 修正部 20、および演算修正部 21が設けられる。これら 2種類の修正部 20, 21は、ブ レ補正方式選択部 22によって切り換え制御される。これらの構成要件 20〜22は、 C PU23の機能によって実現される。
その他、 CPU23によって、 AE演算部 24、露光期間決定部 25、および点像関数 演算部 28などの機能も実現される。この点像関数演算部 28には、 HPF部 32を介し て、角速度センサ 33が接続される。
[0015] さらに、 CPU23には、手ブレ補正モードスィッチ 26、レリーズスィッチ 27、ズームェ ンコーダ 30、および距離エンコーダ 31などが接続される。
[第 1実施形態の動作説明]
図 2は、第 1実施形態の動作を説明する図である。
以下、図 2に示すステップ番号に沿って、動作説明を行う。
ステップ S1： 撮像装置 11の主電源が投入されると、 CPU23は、初期設定のシーケ ンスを実行する。この初期設定の完了後、 CPU23は、レリーズスィッチ 27の半押し 操作を待機する状態に入る。
[0016] この状態で、ユーザーがレリーズスィッチ 27を半押し操作すると、 CPU23はステツ プ S2に動作を移行する。
ステップ S2 : CPU23は、 CCD駆動回路 16を介して撮像素子 13を駆動し、制御用 の画像データを取り込む。 AE演算部 24は、この制御用の画像データ力 被写体輝 度を求める。
ステップ S3 : プログラム露出モードや絞り優先露出モードの場合、露光期間決定部 25は、この制御用の画像データ力も得た被写体輝度に基づいて、適正露出を得るた めの露光期間を決定する。なお、マニュアル露出モードやシャツタ優先モードの場合 、露光期間決定部 25は、ユーザー設定などに基づいて露光期間を決定する。
ステップ S4 : ブレ補正方式選択部 22は、合成修正方式の選択を仮定して、分割露 光回数および分割露光期間を、露光期間から決定する。
[0017] 通常、 135 (35ミリ撮像面サイズ)判のカメラでは、焦点距離分の 1のシャツタ秒時以 下に設定することで、手ブレが目立たない写真が撮れると言われている。そこで、ブ レ補正方式選択部 22は、ズームエンコーダ 30から情報取得した撮影レンズ 12の焦 点距離を、 135判の画角相当の焦点距離に換算する。ブレ補正方式選択部 22は、 露光期間を分割した分割露光期間が、この 1Z (換算焦点距離)秒以下のブレ安全 圏に充分収まるよう、分割露光回数および分割露光期間の組み合わせを決定する。
[0018] 次に、ブレ補正方式選択部 22は、決定した分割露光回数と、撮像素子 13の転送 期間との乗算結果に基づいて、閾値 thlを算出する。例えば、分割露光回数が 4回で 、転送期間が 200m秒の場合、閾値 thlは 0. 8秒となる。あるいは、閾値 thlは（0. 8 1 秒ゃ(0. 8 +k)秒としてもよい。この場合の値 kは、画質評価やシミュレーション によって、閾値 thlが合成修正方式 Z演算修正方式の適不適の境界となるように設 定することが好ましい。
ステップ S5 : ここで、 CPU23は、レリーズスィッチ 27が全押しされたか否かを判定 する。
[0019] 全押し操作を検出しない場合、 CPU23はステップ S1に動作を戻す。
一方、全押し操作を検出した場合、 CPU23はステップ S6に動作を移行する。 ステップ S6 : CPU23は、ステップ S3で設定された露光期間を、閾値 thlで閾値判 定する。
露光期間が閾値 thl以上の場合、 CPU23は、ブレ補正方式として合成修正方式を 選択し、ステップ S7に動作を移行する。
[0020] 一方、露光期間が閾値 thl未満の場合、 CPU23は、ブレ補正方式として演算修正 方式を選択し、ステップ S8に動作を移行する。
ステップ S7 : ここでは、合成修正方式の撮影処理を以下の手順 A1〜A4で実行す る。
(A1)合成修正部 20は、シャツタ 13aを開いて、撮像素子 13の露光 (電荷蓄積)を開 始する。この露光開始から、分割露光期間を経過するまで、撮像素子 13は信号電荷 を蓄積する。
(A2)分割露光期間を経過すると、合成修正部 20はシャツタ 13aを閉じ、 CCD駆動 回路 16を介して撮像素子 13から画像データを読み出す。なお、合成修正部 20は、 この画像データの転送期間中にシャツタ 13aを開 、て、次回の分割露光を転送動作 に並行して開始する。なお、複数の分割露光期間が連続するために空き時間が挿入 されな 、場合には、シャツタ 13aの開閉動作を省略してもよ 、。
(A3)上述した (A2)の動作を分割露光回数だけ繰り返し、複数コマの分割画像デー タを得る。
(A4)合成修正部 20は、複数コマの分割画像データをパターンマッチングにより位 置合わせした上で合成することにより、ブレ修正済みの画像データを得る。このパタ ーンマッチングには、公知のブロックマッチング法や残差逐次検定法などが使用可 能である。
なお、角速度センサ 33の検出結果力も得たブレ軌跡に基づいて、分割画像データ を位置合わせしてもよい。
このような合成修正方式の撮影処理を完了した後、 CPU23はステップ S 9に動作を 移行する。
ステップ S8 : ここでは、演算修正方式の撮影処理を以下の手順 B 1〜B5で実行す る。
(B 1)演算修正部 21は、シャツタ 13aを開いて、撮像素子 13の露光 (電荷蓄積)を開 始する。この露光開始から、露光期間を経過するまで、撮像素子 13は信号電荷を蓄 積する。
(B2)露光期間を経過すると、演算修正部 21は、シャツタ 13aを閉じて、 CCD駆動回 路 16を介して撮像素子 13から画像データを読み出す。
(B3)点像関数演算部 28は、露光期間に並行して、角速度センサ 33の角速度デー タを HPF部 32を介してサンプリングする。点像関数演算部 28は、この角速度データ の HPF出力を時間積分することによって、露光期間中の時刻 tにおけるブレ角度 Θ ( t)を得る。
(B4)点像関数演算部 28は、ズームエンコーダ 30から得た焦点距離情報と、距離ェ ンコーダ 31から得た被写体距離情報 Rとに基づいて、撮影倍率 |8を算出する。点像 関数演算部 28は、これら情報を下式に代入して、像面上のブレ X (t)を求める。
X (t) = - R - 0 (t) · ' · ( 1)
この像面上のブレ X (t)を、点像の画素単位の露光量に換算することにより、画素座 標 (x,y)における点像関数 p(x,y)が得られる。
[0022] この点像関数 p(x,y)を用いて、元画像 o(x,y)とブレ画像 z(x,y)との関係を、次の畳み 込み積分の演算子 *で表すことができる。
z(x,y) = o(x,y) * p(x,y) …（2)
上式を周波数変換して、空間周波数 (u,v)の領域に変換すると、
Z(u,v) = 0(u,v)-P(u,v) · · · (3)
となる。なお、上式中の Z(u,v)、 0(u,v)、 P(u,v)は、 z(x,y)、 o(x,y)、 p(x,y)をそれぞれ周 波数変換して得たスペクトルである。ちなみに、点像関数 p(x,y)を周波数変換して得 た P(u,v)については、特に空間周波数伝達関数と呼ばれる。
[0023] この（3)式を変形することにより、元画像のスペクトル 0(u,v)は次のようになる。
0(u, V) = Z(u,v)/P(u,v) …（4)
すなわち、（4)式中の逆フィルタ lZP(u,v)を確定できれば、元画像 Oのスペクトル を復元することができる。
ところで、 P(u0,v0) = Oとなる空間周波数域 (u0,v0)が存在すると、
O(u0,v0)=Z(u0,v0)/P(u0,v0) = 0/0 =不定 · · ·（5)
となる。
[0024] これは、 P (u, V)によって伝達されな!、消失スペクトルにつ 、ては復元できず、かつ 、消失成分の周波数域 (u0,v0)については逆フィルタ 1ZPが無限大となって確定でき ないことを意味する。
そこで、点像関数演算部 28は、（4)式の逆フィルタ 1ZPを、予め定められた上限 値 cで制限したウィナーフィルタで近似し、逆フィルタとする。
ウィナーフィルタ： P(u,v)/[|P(u,v)|2+ l/c] · · (6)
(B5)点像関数演算部 28は、得られた逆フィルタ（ウィナーフィルタ）を、ブレ画像のス ベクトル Z(u,v)に作用させることにより、元画像のスペクトルを求める。この元画像のス ベクトルを逆周波数変換することにより、元画像の近似的な復元 (演算によるブレ修 正)を行う。
[0025] なお、逆フィルタ（ウィナーフィルタ）を逆周波数変換することにより、点像関数 p(x,y) のブレ波形を修正するための波形修正関数を求め、この波形修正関数とブレ画像 z( x,y)との畳み込み積分を算出することによって、元画像を近似的に復元してもよい。 このような演算修正方式の撮影処理を完了した後、 CPU23はステップ S 9に動作を 移行する。
ステップ S9 : 撮像装置 11は、ステップ S7またはステップ S8においてブレ修正を完 了した画像データを、外部メモリ 18に保存する。
[0026] [第 1実施形態の効果など]
第 1実施形態では、露光期間 (分割露光期間 X分割転送回数)が閾値 thl (=転送 期間 X分割転送回数)以上になると、合成修正方式が選択実施される。
この場合、図 3に示すように、分割露光期間は転送期間よりも長くなるため、複数回 の分割露光はほぼ連続するようになる。そのため、合成後の画像データにおいて、動 体被写体の分離は目立たず、良好な合成画像データを得ることができる。
[0027] また、図 3に示すように、ユーザーが撮影姿勢を維持する総撮影期間と、露光期間 とが実質的に一致する。そのため、期間不一致による違和感をユーザーに与えること がない。また、ユーザーに撮影姿勢の延長を無理に強いるといった不具合も生じな い。
一方、露光期間 (分割露光期間 X分割転送回数)が閾値 thl (=転送期間 X分割 転送回数)未満になると、演算修正方式が選択実施される。
[0028] この場合、露光期間は比較的短ぐ手ブレによる空間周波数成分の消失は少ない 。この状態では、空間周波数伝達関数がゼロとなる周波数域は少なぐ理想に近い 逆フィルタを確定することが可能になる。その結果、演算修正方式による良好なブレ 修正効果を得ることができる。
なお、図 4は、露光期間が閾値 thl未満となるケースにおいて、仮に合成修正方式 を実施した場合を示した図である。この図 4では、分割露光期間は転送期間よりも短 くなるため、分割露光の間に空き時間を挿入する必要が生じる。そのため、分割露光 が間歇的に実施されるようになり、合成後の画像データは動体被写体が分離してしま う。また、図 4に示すように、空き時間 X (分割転送回数 1)の分だけ余計に、ユー ザ一に撮影姿勢の維持を強 、ると 、つた不具合も生じる。
[0029] 第 1実施形態では、図 4に示すケースにおいて、合成修正方式に代えて、演算修 正方式を実施するため、これらの不具合を回避することができる。
次に、別の実施形態について説明する。
《第 2実施形態》
第 2実施形態の撮像装置は、第 1実施形態の撮像装置 11 (図 1)と同じ構成のため
、重複説明を省略する。
[0030] 図 5は、第 2実施形態の動作を説明する図である。
以下、図 5に示すステップ番号に沿って、動作説明を行う。
ステップ S 11〜S 13： 第 1実施形態のステップ S 1〜S 3と同じ動作。
ステップ S14：ブレ補正方式選択部 22は、合成修正方式に使用する分割露光回数 および分割露光期間を、露光期間の設定値から決定する。
[0031] 次に、ブレ補正方式選択部 22は、決定された分割露光回数および分割露光期間 に基づいて、分割露光回数分の分割露光にかかる総撮影期間 (すなわち、ユーザー が撮影姿勢を維持する期間)を見積もる。
例えば、図 3に示すように、決定された分割露光期間が撮像素子 13の転送期間よ りも長い場合、総撮影期間は露光期間とほぼ等しくなる。
[0032] 一方、図 4に示すように、分割露光期間が転送期間よりも短い場合、総撮影期間は
、分割露光期間 +転送期間 * (分割露光回数— 1)とほぼ等しくなる。
ステップ S15 :続いて、ブレ補正方式選択部 22は、総撮影期間と露光期間との差を 算出する。
ステップ S16 : ここで、 CPU23は、レリーズスィッチ 27が全押しされたか否かを判定 する。
[0033] 全押し操作を検出しな 、場合、 CPU23はステップ SI 1に動作を戻す。
一方、全押し操作を検出した場合、 CPU23はステップ S17に動作を移行する。 ステップ S17 : CPU23は、ステップ S15で求めた差を、閾値 th2で閾値判定する。こ の閾値 th2には、総撮影期間と露光期間との差がユーザーに違和感を与えな!/ヽ限界 値を主観実験など力 求めた値が予め設定される。
[0034] 総撮影期間と露光期間の差が閾値 th2未満の場合、 CPU23は、ブレ補正方式とし て合成修正方式を選択し、ステップ S 18に動作を移行する。 一方、総撮影期間と露光期間の差が閾値 th2以上の場合、 CPU23は、ブレ補正方 式として演算修正方式を選択し、ステップ S 19に動作を移行する。
ステップ S 18： 合成修正方式の撮影処理を実施する。詳細は第 1実施形態のステツ プ S7と同じため、ここでの重複説明を省略する。この動作の後、ステップ S20に動作 を移行する。
ステップ S19 : 演算修正方式の撮影処理を実施する。詳細は第 1実施形態のステツ プ S8と同じため、ここでの重複説明を省略する。
ステップ S20 : 撮像装置 11は、ステップ S 18またはステップ S 19においてブレ修正 を完了した画像データを、外部メモリ 18に保存する。
[0035] [第 2実施形態の効果など]
第 2実施形態では、合成修正方式に予想される総撮影期間と露光期間との差を閾 値判定し、差が閾値以上の場合に演算修正方式を選択する。その結果、合成修正 方式の総撮影期間が露光期間からかけ離れてユーザーに違和感を与えるといった 状況を予測して、演算修正方式に切り換えることができる。
[0036] さらに、差が閾値以上の場合に演算修正方式を選択することにより、合成修正方式 の分割露光が間歇的になって合成後の画像データにおいて動体被写体が分離する t 、つた不具合も確実に避けることができる。
《実施形態の原理説明》
他の実施形態への応用を簡単にするため、上述した実施形態について原理的な 説明を行う。
[0037] まず、『露光期間』と『ブレ修正の適不適』との関係について考察する。
(露光期間が明らかに短!、場合）
一般に、露光期間が短いほど像ブレは小さくなり、細かな画像情報 (空間周波数の 高域成分)の消失は少なくなる。この場合に演算修正方式を選択すれば、残存する 高域成分に逆フィルタを作用させることで、ブレによって減衰した画像情報の信号レ ベルや空間位相を適切に復元することができる。したがって、露光期間が短いほど、 演算修正方式のブレ修正は成功率が高くなる。
[0038] 一方、合成修正方式では、分割露光期間の合間に、分割画像データの転送読み 出しを完了しなければならない。そのため、露光期間が短くなると、分割画像データ の読み出し完了に時間が足りず、分割露光と分割露光の間の空き時間を挿入する 必要が生じる。このような空き時間の挿入によって間歇的な分割露光が行われるため 、動きのある被写体は、その動きが飛び飛びに写ってしまう。この状態で分割画像デ ータを合成すると、動きが飛び飛びに分離して重なった不自然な画像になる。したが つて、露光期間が短いほど、合成修正方式のブレ修正は成功率が低くなる。
[0039] さらに、合成修正方式では、露光期間が極端に短くなつても、複数回の転送期間が 依然必要となるため、撮像装置を被写体に向けて保持する総撮影期間はさほど短く ならない。
例えば、露光期間 1Z50秒を複数回に分けて露光する合間に、転送期間 400m秒 を 3回実施した場合、総撮影期間は 1. 2秒ほどかかる。この場合、露光期間 1Z50 秒の設定に対して総撮影期間が 1. 2秒ほど力かるなど、露光期間と総撮影期間とに 明らかな差異が生じ、ユーザーに違和感を与えてしまう。このような理由からも、露光 期間が短!、場合、合成修正方式のブレ修正は適さな 、。
(露光期間が明らかに長!、場合）
逆に、露光期間が長くなると、演算修正方式の像ブレが大きくなり、細力な画像情 報 (高域成分など）が大量に消滅してしまう。そのため、演算修正方式では、点像関 数の逆フィルタを作成することが難しくなる。また、無理に作成した逆フィルタを適用 しても、せいぜい中域成分までしか復元は出来ず、カゝえって高域成分のノイズを増幅 してしまうおそれが生じる。そのため、露光期間が長くなるほど、演算修正方式のブレ 修正は成功率が低くなる。
[0040] 一方、合成修正方式では、露光期間が長くなつても、分割露光回数を増やすことで 、 1回当たりの分割露光期間を短く抑えることができる。したがって、分割画像データ それぞれの像ブレを許容範囲以下に抑えることが比較的容易であり、合成後の像ブ レを小さく抑えることができる。したがって、露光期間が長い場合、合成修正方式のブ レ修正は成功率が高くなる。
(露光期間による像ブレ修正の切り換えについて）
上述した考察に基づいて、本実施形態の撮像装置では、露光期間と閾値との比較 結果に基づ 、てブレ修正の方式を次のように選択することが好まし 、。
[0041] まず、露光期間が閾値よりも短い場合、演算修正方式によるブレ修正を選択する。
この場合、露光期間が短いために画像情報の消失や波形の崩れが少なぐ演算修 正方式によって画像データの復元を適切に実施できる確率が高くなる。
一方、露光期間が閾値以上に長い場合、合成修正部によるブレ修正を実行する。 この場合、露光期間が長くなつても、一回当たりの分割露光期間が短くなるため、合 成後の像ブレは小さくなる。その結果、露光期間が長い場合に、ブレ修正の成功率 がー段と高くなる。
[0042] このように、露光期間の長短判定に基づいて両方式を切り換えることによって、ブレ 修正の成功率を総合的に高めることが可能になる。
(露光期間の閾値変更にっ 、て）
さらに、本実施形態の撮像装置では、『撮像部の画像読み出しにかかる転送期間』 に『合成補正部の分割露光回数』を乗じた乗算結果に応じて閾値を決定することが 好ましい。
[0043] 合成修正方式を実施する場合、分割露光の回数分だけ画像読み出しを実施する 必要がある。上記の乗算結果は、これら読み出し動作の合計時間に相当する。合成 修正方式では、露光期間がどんなに短くなつても、これら読み出し動作の合計時間 を短縮することはできない。
もしも露光期間がこの乗算結果よりも短い場合、合成修正方式では、乗算結果と露 光期間との時間差を埋めるために、分割露光と分割露光との間に空き時間を挿入し なければならない。この場合、動きのある被写体は、空き時間によって分割露光が間 歇的に寸断されるため、被写体の動きが飛び飛びになる。この状態で分割画像デー タを合成すると、動きのある被写体が飛び飛びの位置で重なるため、不自然な画像 になる。
[0044] そこで、乗算結果に基づく閾値で、露光期間を長短判定する。ここで、露光期間が 閾値よりも短い場合、演算修正方式を選択する。この選択動作によって、被写体の動 きが離散的にぶれるという状況を予測して、演算修正方式に適切に切り換えることが 可會 になる。 (露光期間と、合成修正方式の総撮影期間との比較について）
また、本実施形態では、合成修正方式に予想される総撮影期間と、露光期間との 差が大き!/ヽか否かを閾値判定してもよ！/ヽ。
[0045] この差が大きいほど、合成修正方式では、分割露光の空き時間が長くなる。そのた め、動きのある被写体は、長い空き時間によって露光が寸断され、被写体の動きの連 続性が失われる。この状態で分割画像データを合成すると、動きのある被写体が飛 び飛びの位置で重なるため、不自然な画像になる。
そこで、上記の差が閾値判定によって大きいと判断されると、演算修正方式に切り 換える。この切り換え動作によって、被写体の動きが離散的にぶれるという不具合を 確実に避けることができる。
[0046] また、この演算修正方式への切り換え動作により、合成修正方式において総撮影 期間と露光期間とがかけ離れてユーザーに違和感を与えるという状況を予測して、 演算修正方式に適切に切り換えることが可能になる。
《実施形態の補足事項》
なお、第 1実施形態では、露光期間と (転送期間 *分割露光回数)との比較結果に 基づいて、ブレ修正の方式を選択する。しかしながら、本発明はこれに限定されるも のではない。一般的には、露光期間の閾値判定に基づいて、ブレ修正の方式を選択 することが可能である。
[0047] 例えば、分割露光期間と転送期間との比較結果 (差や比率）に基づいて、ブレ修正 の方式を選択してもよい。
また例えば、分割露光期間が 1Z (135判換算焦点距離)秒程度に設定される場合 には、 1Z (135判換算焦点距離)秒と転送期間との比較結果に基づいて、ブレ修正 の方式を選択してもよい。
[0048] さらに、転送期間と焦点距離とに基づいて、ブレ修正方式の適不適の境界を示す 閾値を決定し、露光期間の閾値判定に基づいてブレ修正方式を選択してもよい。 一方、第 2実施形態では、合成修正方式に予想される総撮影期間 (分割露光が全 て完了するまでの期間）と、露光期間との差に基づいて、ブレ修正の方式を選択する
。し力しながら、本発明はこれに限定されるものではない。一般的には、この差と等価 な傾向を示す値を用いて、ブレ修正の方式を選択することが可能である。
[0049] 例えば、（転送期間と分割露光期間との差） X分割露光回数の値に基づいて、ブレ 修正の方式を選択してもよ 、。
なお、本実施形態では、撮像素子として CMOSセンサ等の増幅型撮像素子を用 いることができる。また、振れ検出には、角速度センサや加速度センサを用いることが できる。なお、 AD法 (Ayers- Dainty Algorithm)を用いれば、物理的なセンサを用い ることなく、画像のブレ修正を行うことができる。また、擬似的な画像のブレ修正処理 として、輪郭強調処理を選択肢にしてもよい。
[0050] また、露光時間が十分に短!、場合は、合成修正および演算修正の!/、ずれも行う必 要がないと判断してもよい。この場合、「合成修正」， 「演算修正」，および「いずれの ブレ修正も行わな 、」などを選択肢とすることができる。
なお、上述した撮像装置の制御方法を、プログラム化してコンピュータで実行しても よい。また、そのプログラムを機械読み取り可能な記録媒体に記録してもよい。
産業上の利用可能性
[0051] 以上説明したように、本発明は、撮像装置などに利用可能な技術である。

Claims

請求の範囲
[1] 被写体像を光電変換し、画像データを生成する撮像部と、
前記画像データに対して像ブレ修正を行う第 1の像ブレ修正部と、
前記画像データに対して第 1の像ブレ修正とは異なる像ブレ修正を行う第 2の像ブ レ修正部と、
前記画像データの光電変換に要する露光期間に基づいて、前記画像データの像 ブレ修正に、前記第 1の像ブレ修正部を用いるか前記第 2の像ブレ修正部を用いる かを選択する選択制御部と
を備えたことを特徴とする撮像装置。
[2] 請求項 1に記載の撮像装置にぉ 、て、
前記第 1の像ブレ修正部は、前記露光期間中の像ブレを表す点像関数の逆フィル タを前記画像データに施して前記像ブレを修正し、
前記第 2の像ブレ修正部は、前記露光期間を分割した複数回の撮像動作を前記 撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成する ことにより、前記画像データの像ブレを修正する
ことを特徴とする撮像装置。
[3] 請求項 2に記載の撮像装置において、
前記像ブレの原因となる振れを検出する振れ検出部をさらに備え、
前記第 1の像ブレ修正部は、前記振れ検出部で検出した振れに応じた点像関数の 逆フィルタを使用して、前記画像データの前記像ブレを修正する
ことを特徴とする撮像装置。
[4] 請求項 3に記載の撮像装置において、
前記振れ検出部は、角速度センサを有する
ことを特徴とする撮像装置。
[5] 請求項 2に記載の撮像装置において、
前記第 2の像ブレ修正部は、ブロックマッチング法を用いたパターンマッチングによ り複数コマの前記分割画像データを位置合わせして合成する
ことを特徴とする撮像装置。
[6] 請求項 2に記載の撮像装置において、
前記選択制御部は、
前記撮像部の画像読み出しにかかる転送期間と、前記第 2の像ブレ修正部による 分割露光回数とに応じた閾値により前記露光期間を判定し、その判定結果に応じて 前記第 1の像ブレ修正部と前記第 2の像ブレ修正部との選択を行う
ことを特徴とする撮像装置。
[7] 請求項 2に記載の撮像装置において、
前記選択制御部は、
前記撮像部の画像読み出しにかかる転送期間と、前記画像データを撮影する際の 焦点距離とに応じた閾値により前記露光期間を判定し、その判定結果に応じて前記 第 1の像ブレ修正部と前記第 2の像ブレ修正部との選択を行う
ことを特徴とする撮像装置。
[8] 少なくとも 2種類の像ブレ修正にっ 、て選択を行う選択工程と、
撮像装置を制御して、被写体像を光電変換し、画像データを生成する撮像工程と、 前記選択工程で選択される像ブレ修正に従って、前記画像データの像ブレ修正を 実施する像ブレ修正工程とを備え、
前記選択工程は、前記画像データの光電変換に要する露光期間に基づいて、 2種 類の前記像ブレ修正を選択する
ことを特徴とする撮像装置の制御方法。
[9] 請求項 8に記載の撮像装置の制御方法にお 、て、
前記 2種類の像ブレ修正は、
前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して 前記像ブレを修正する第 1の像ブレ修正処理と、
前記露光期間を分割した複数回の撮像動作を前記撮像装置に実施させ、得られ た複数コマの分割画像データを位置合わせして合成することにより、前記画像データ の像ブレを修正する第 2の像ブレ修正処理とである
ことを特徴とする撮像装置の制御方法。
[10] 請求項 8に記載の制御方法を、コンピュータに実行させるためのプログラム。
[11] 請求項 8に記載の制御方法を、コンピュータに実行させるためのプログラムを記録し た機械読み取り可能な記録媒体。
[12] 予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成す る撮像部と、
前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して 、前記像ブレを修正する演算修正部と、
前記露光期間を分割した複数回の撮像動作を前記撮像部に実施させ、得られた 複数コマの分割画像データを位置合わせして合成することにより、前記画像データ の像ブレを修正する合成修正部と、
前記露光期間を、予め定められた閾値によって判定する露光期間判定部と、 前記露光期間が前記閾値未満の場合には前記演算修正部による像ブレ修正を実 行し、前記露光期間が前記閾値以上の場合には前記合成修正部による像ブレ修正 を実行する選択制御部と
を備えたことを特徴とする撮像装置。
[13] 請求項 12に記載の撮像装置において、
前記露光期間判定部は、
前記撮像部の画像読み出しにかかる転送期間に前記合成補正部の分割露光回数 を乗じた乗算結果に基づ!/、て前記閾値を決定して、前記露光期間の判定を行う ことを特徴とする撮像装置。
[14] 予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成す る撮像部と、
前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して 、前記像ブレを修正する演算修正部と、
前記露光期間を分割した複数回の撮像動作を前記撮像部に実施させ、得られた 複数コマの分割画像データを位置合わせして合成することにより、前記画像データ の像ブレを修正する合成修正部と、
前記合成修正部による前記複数回の分割露光に所要する総撮影期間と、前記露 光期間との差が大きいか否力を閾値判定する露光期間判定部と、 前記露光期間判定部によって前記差が大きいと判定された場合には、前記演算修 正部による像ブレ修正を実行し、前記差が小さいと判定された場合には、前記合成 修正部による像ブレ修正を実行する選択制御部と
を備えたことを特徴とする撮像装置。
PCT/JP2005/016921 2004-09-15 2005-09-14 撮像画像の像ブレ修正機能を有する撮像装置 WO2006030819A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/660,499 US7675546B2 (en) 2004-09-15 2005-09-14 Imaging device having function for correcting image shake of acquired image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004268880A JP4677748B2 (ja) 2004-09-15 2004-09-15 撮像装置
JP2004-268880 2004-09-15

Publications (1)

Publication Number Publication Date
WO2006030819A1 true WO2006030819A1 (ja) 2006-03-23

Family

ID=36060070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016921 WO2006030819A1 (ja) 2004-09-15 2005-09-14 撮像画像の像ブレ修正機能を有する撮像装置

Country Status (3)

Country Link
US (1) US7675546B2 (ja)
JP (1) JP4677748B2 (ja)
WO (1) WO2006030819A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281546A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120658B2 (en) 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
JP4420906B2 (ja) * 2006-03-29 2010-02-24 三洋電機株式会社 撮像装置
JP2007336524A (ja) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理プログラム、および撮像装置
CN101518054B (zh) * 2006-09-25 2012-11-21 高通股份有限公司 用于相机的手抖动减少系统
JP4884207B2 (ja) * 2006-12-28 2012-02-29 三星電子株式会社 撮像装置、撮像方法およびコンピュータプログラム
JP5507865B2 (ja) * 2009-03-12 2014-05-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5300590B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5300591B2 (ja) 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
US8289400B2 (en) 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
US8508606B2 (en) * 2009-11-20 2013-08-13 Hon Hai Precision Industry Co., Ltd. System and method for deblurring motion blurred images
JP6097936B2 (ja) * 2013-03-22 2017-03-22 パナソニックＩｐマネジメント株式会社 ブレ補正装置、交換レンズ、カメラシステム
US11006044B1 (en) * 2020-03-03 2021-05-11 Qualcomm Incorporated Power-efficient dynamic electronic image stabilization
CN115330641B (zh) * 2022-10-12 2023-02-03 天津大学 基于mhd角速度传感器的图像复原方法、系统和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2005204185A (ja) * 2004-01-16 2005-07-28 Canon Inc 撮影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62127976A (ja) 1985-11-29 1987-06-10 Kyocera Corp 画像記録処理装置
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置
US5365303A (en) * 1992-05-21 1994-11-15 Olympus Optical Co., Ltd. Shake-free image restoration system
JP3096521B2 (ja) 1992-05-21 2000-10-10 オリンパス光学工業株式会社 ぶれ画像復元装置
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
DE69423430T2 (de) * 1993-12-02 2000-09-07 Canon Kk Vorrichtung zur Bildzitterkorrektur
JPH09261526A (ja) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP3424666B2 (ja) 2000-09-29 2003-07-07 ミノルタ株式会社 デジタルカメラのカメラボディ、および、デジタルカメラのカメラボディを制御するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
JP3940807B2 (ja) * 2002-02-19 2007-07-04 株式会社ニコン 振れ補正光学系のロック装置
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
AU2003296127A1 (en) * 2002-12-25 2004-07-22 Nikon Corporation Blur correction camera system
JP2005215388A (ja) * 2004-01-30 2005-08-11 Canon Inc 交換レンズ及びそれを用いたカメラシステム
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2005204185A (ja) * 2004-01-16 2005-07-28 Canon Inc 撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281546A (ja) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd 撮像装置，及び撮像方法

Also Published As

Publication number Publication date
US20070253732A1 (en) 2007-11-01
US7675546B2 (en) 2010-03-09
JP2006086762A (ja) 2006-03-30
JP4677748B2 (ja) 2011-04-27

Similar Documents

Publication Publication Date Title
WO2006030819A1 (ja) 撮像画像の像ブレ修正機能を有する撮像装置
JP4987355B2 (ja) 撮像装置および撮像方法
US20090303343A1 (en) Low-light video frame enhancement
TW201105118A (en) Imaging device, imaging method and computer-readable recording medium
JP2007201534A (ja) 撮像装置
JP2008236645A (ja) 撮影装置
JP2009251492A (ja) 撮像装置および撮像装置の制御方法
JP2007202098A (ja) 撮像装置および撮像方法
JP5434038B2 (ja) 撮像装置
WO2010035752A1 (ja) 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
KR101653272B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP5326809B2 (ja) 撮像装置
JP4468598B2 (ja) 画像処理装置及び画像処理プログラムを記録した記録媒体
JP2012080204A (ja) 画像処理装置及び方法、並びにプログラム
JP2006295238A (ja) 撮像装置
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2009017006A (ja) 撮影装置
JP2009171341A (ja) ぶれ補正装置及び撮像装置
JP2008236739A (ja) 撮像装置および撮像方法
JP6717354B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5321108B2 (ja) カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4758379B2 (ja) 撮影装置
JP2006262222A (ja) 撮像装置
JP2004247872A (ja) デジタル撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11660499

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 11660499

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 05783211

Country of ref document: EP

Kind code of ref document: A1