JP4666264B2 - Image blur correction apparatus and correction method thereof - Google Patents
Image blur correction apparatus and correction method thereof Download PDFInfo
- Publication number
- JP4666264B2 JP4666264B2 JP2006192688A JP2006192688A JP4666264B2 JP 4666264 B2 JP4666264 B2 JP 4666264B2 JP 2006192688 A JP2006192688 A JP 2006192688A JP 2006192688 A JP2006192688 A JP 2006192688A JP 4666264 B2 JP4666264 B2 JP 4666264B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- range
- images
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000012937 correction Methods 0.000 title claims description 73
- 238000012545 processing Methods 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 39
- 239000000203 mixture Substances 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000005520 cutting process Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 54
- 238000006243 chemical reaction Methods 0.000 description 43
- 239000002131 composite material Substances 0.000 description 20
- 238000001454 recorded image Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は像振れ補正装置及びその補正方法に係り、特にデジタルカメラでの画像(静止画像)の撮影のように1コマの画像撮影時に生じた手振れ等による像振れを補正する像振れ補正装置及びその補正方法に関する。 The present invention relates to an image shake correction apparatus and a correction method therefor, and more particularly to an image shake correction apparatus that corrects an image shake caused by a camera shake or the like that occurs at the time of taking an image of a single frame, such as taking an image (still image) with a digital camera. It relates to the correction method.
デジタルカメラでの撮影失敗の原因の一つである手振れに対し、さまざまな補正技術が提案されている。例えば、特許文献1、2では、1コマ分の画像の撮影時において、複数コマ分の画像の撮影が連続して行われる。そして、取得した複数コマ分の画像を像振れの分だけずらして合成(画素ずらし合成)することによって手振れ等による像振れを低減させることが提案されている。
ところで、引用文献1、2のように画素ずらし合成を行う場合、記憶メディアに記録する画像の画像サイズよりも撮像素子の撮像面全体により撮像される画像の画像サイズの方が大きく、撮像素子の撮像面全体により撮像される画像(全体画像)の一部の範囲から切り出した画像が記憶メディアに記録される。従って、画素ずらし合成は、各コマごとに、最終的に記録される画像の合成に実際に寄与する画像の切出し範囲の位置を変え、その切出し範囲から切り出した同一サイズの各コマの画像を中心を一致させて合成することに相当する。各コマの画像の切出し範囲は、1コマ目が全体画像の中央に設定され、2コマ目以降は、像振れに応じて1コマ目の切出し範囲の画像と同一画像(同一画角の画像)が得られる位置に移動する。
By the way, when performing pixel shift composition as in
しかしながら、各コマの画像を撮像する際の露光時間が長くなると(シャッタ速度が遅くなると)、像振れも大きくなるため、2コマ目以降の切出し範囲が全体画像の範囲からはみ出す場合がある。従来ではこのような場合を予期していないため、従来通りに画素ずらし合成を行うと、全体画像からはみ出した切出し範囲の部分の画像が黒色の背景と同等に扱われ、その部分が暗くなる等の問題があった。 However, if the exposure time when capturing an image of each frame becomes long (the shutter speed becomes slow), the image blur also increases, so that the cut-out range from the second frame may protrude from the entire image range. Conventionally, such a case is not anticipated, so when performing pixel-shifted composition as before, the image of the part of the cutout area that protrudes from the entire image is treated as equivalent to the black background, and that part becomes dark, etc. There was a problem.
本願発明はこのような事情に鑑みてなされたもので、長時間露光時等においても適切に像振れ補正された画像を生成することができる像振れ補正装置及びその補正方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide an image blur correction apparatus and a correction method thereof that can generate an image that is appropriately subjected to image blur correction even during long exposure. And
前記目的を達成するために請求項1に記載の像振れ補正装置は、撮影光学系により結像された像を撮像する撮像手段と、前記撮像手段により複数コマ分の画像を所定のシャッタ速度で連続して撮像させることにより複数コマ分の画像を取得する撮像制御手段と、前記撮影光学系により結像される像の像振れを検出する像振れ検出手段と、前記撮像制御手段により取得された各コマの画像を前記像振れ検出手段により検出された像振れに応じた量だけずらして合成することによって像振れを補正した1コマ分の画像を生成する画像合成手段と、を備えた像振れ補正装置において、前記画像合成手段により生成された1コマ分の画像のうち、記憶媒体に記録する画像を所定の切出し範囲から切り出す画像切出手段と、前記画像切出手段により画像を切り出す切出し範囲を設定する画像切出範囲設定手段であって、前記画像合成手段において各コマの画像をずらして1コマ分の画像を合成した際に、全てのコマの画像が重なり合った範囲に内包されるように前記切出し範囲の大きさを変更する画像切出範囲設定手段と、を備えたことを特徴としている。
In order to achieve the above object, an image shake correction apparatus according to
本発明によれば、複数コマの画像を画素ずらし合成した際に全てのコマの画像が重なり合う範囲に内包されるように記録媒体に記録する画像の切出し範囲の大きさが変更される。即ち、最終的に記憶媒体に記録する画像の合成に寄与する各コマの画像の範囲が、撮像手段により撮像される全体画像の範囲内となるような大きさ変更される。従って、長時間露光時等において、全体画像に対する1コマ目の画像の切出し範囲を一定の大きさに固定した場合に、2コマ目以降の画像の切出し範囲が全体画像の範囲からはみ出すような状況であっても、本願発明では1コマ目の画像も含めて各コマの画像の切出し範囲が全体画像の範囲内となるように変更されるため、適切に像振れ補正された画像を得ることができる。 According to the present invention, the size of the cutout range of the image to be recorded on the recording medium is changed so that all frame images are included in the overlapping range when a plurality of frame images are combined by shifting pixels. In other words, the size of the image of each frame that contributes to the composition of the image to be finally recorded on the storage medium is changed to be within the range of the entire image captured by the imaging unit. Accordingly, when the cutout range of the first frame for the entire image is fixed to a certain size during long exposure, etc., the cutout range of the second and subsequent frames protrudes from the entire image range. However, in the present invention, since the cutout range of the image of each frame including the image of the first frame is changed to be within the range of the entire image, it is possible to obtain an image with appropriately corrected image blurring. it can.
請求項2に記載の像振れ補正装置は、請求項1に記載の発明において、前記画像切出手段により切り出された画像の画像サイズが、前記記憶媒体に画像を記録する際の予定の画像サイズよりも小さい場合には、前記画像切出手段により切り出された画像を前記予定の画像サイズと一致するように画素補間によって拡大する画像処理手段を備えたことを特徴としている。 According to a second aspect of the present invention, in the image blur correction device according to the first aspect , the image size of the image cut out by the image cut-out means is a predetermined image size when the image is recorded on the storage medium. If smaller, the image processing means for enlarging the image cut out by the image cut-out means by pixel interpolation so as to coincide with the planned image size is provided.
本発明によれば、請求項1の発明において切出し範囲を小さくした場合に、記憶媒体に記録される画像の画像サイズがユーザが予期したものより小さくなるという欠点を補うことができる。
According to the present invention, when the cutout range is reduced in the invention of
請求項3に記載の像振れ補正方法は、撮影光学系により結像された像を撮像する撮像手段によって、複数コマ分の画像を所定のシャッタ速度で連続して撮像し、該撮像した各コマの画像を像振れ検出手段により検出された像振れに応じた量だけずらして合成することによって像振れを補正した1コマ分の画像を生成する像振れ補正方法において、前記各コマの画像をずらして1コマ分の画像を合成した際に、全てのコマの画像が重なり合った範囲に内包されるように記憶媒体に記録する画像の切出し範囲の大きさを変更することを特徴としている。
The image blur correction method according to
請求項4に記載の像振れ補正方法は、請求項3に記載の発明において、前記切出し範囲により切り出された画像の画像サイズが、前記記憶媒体に画像を記録する際の予定の画像サイズよりも小さい場合には、前記画像切出手段により切り出された画像を前記予定の画像サイズと一致するように画素補間によって拡大することを特徴としている。 According to a fourth aspect of the present invention, in the image blur correction method according to the third aspect , the image size of the image cut out by the cut-out range is larger than the planned image size when the image is recorded on the storage medium. If small, it is characterized by enlarging the pixel interpolation so that image extracted by the image extraction unit matches the image size of the planned.
請求項3、4に記載の像振れ補正方法は、各々、請求項1、2に記載の像振れ補正装置に対応する方法発明である。
The image blur correction methods described in
本発明によれば、長時間露光時等においても適切に像振れ補正された画像を生成することができる安価な装置により手振れ等による像振れを低減した鮮鋭度の高い画像を撮影できるようになる。 According to the present invention, an image with high sharpness in which image blur due to camera shake or the like is reduced can be captured by an inexpensive apparatus that can generate an image with an image blur corrected properly even during long exposure. .
以下、添付図面に従って本発明に係る像振れ補正装置及びその補正方法の好ましい実施の形態について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an image blur correction apparatus and a correction method thereof according to the present invention will be described below with reference to the accompanying drawings.
図1は本発明が適用された撮像装置(デジタルカメラ)10の内部構成の実施の形態を示すブロック図である。 FIG. 1 is a block diagram showing an embodiment of an internal configuration of an imaging apparatus (digital camera) 10 to which the present invention is applied.
同図に示すように、本実施の形態のデジタルカメラ10は、撮影光学系12、CCD等の固体撮像素子からなるメージセンサ14(以下「CCD」という)、タイミングジェネレータ(TG)16、アナログ信号処理部18、A/D変換器20、画像入力コントローラ22、デジタル信号処理部24、エンコーダ28、画像表示部30、圧縮・伸張処理部32、メディアコントローラ34、記憶メディア36、オートエクスポージャ(AE)検出部38、オートフォーカス(AF)検出部40、中央処理装置(CPU)42、ROM44、RAM46、フラッシュROM48、操作部50、フラッシュ装置52、及び角速度センサー70等から構成されている。
As shown in the figure, the digital camera 10 according to the present embodiment includes a photographing
尚、操作部50は、シャッタボタン、電源スイッチ、撮影/再生モード選択スイッチ、バックスイッチ、メニュー/OKスイッチ、及びマルチファンクションの十字キー等を含んで構成されており、シャッタボタンは、2段ストロークのボタンで、半押し時にONしてAF、AE等の撮影準備を行わせるスイッチS1と、全押し時にONして画像の取り込みを行わせるスイッチS2とを有している。
The
デジタルカメラ10の全体の動作は、CPU42によって統括制御されており、CPU42は操作部50からの入力に基づき所定のプログラムに従ってデジタルカメラ10の各部を制御する。
The overall operation of the digital camera 10 is comprehensively controlled by the
ROM44には、このCPU42が実行するプログラムの他、プログラム線図等の各種制御に必要なデータが格納されている。CPU42は、このROM44に格納されたプログラムをRAM46に展開し、RAM46を作業メモリとして使用しながら各種処理を実行する。また、フラッシュROM48には、ユーザ設定情報等のデジタルカメラ10の動作に関する各種設定情報等が格納されている。
In addition to the program executed by the
撮影光学系12は、ズームレンズ12z、フォーカスレンズ12f、絞り(例えば、虹彩絞り)12iを含み、それぞれズームモータ60z、フォーカスモータ60f、アイリスモータ60iに駆動されて作動する。即ち、ズームレンズ12zは、ズームモータ60zに駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。また、フォーカスレンズ12fは、フォーカスモータ60fに駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。また、絞り12iは、アイリスモータ60iに駆動されて開口量が連続的、又は段階的に変化し、これにより絞り値を変化させる。CPU42は、ズームモータドライバ62z、フォーカスモータドライバ62f、アイリスモータドライバ62iを介してズームモータ60z、フォーカスモータ60f、アイリスモータ60iの駆動を制御し、ズームレンズ12z、フォーカスレンズ12f、絞り12iの動作を制御する。
The photographic
CCD14は、所定のカラーフィルタ配列(例えば、ハニカム配列)のカラーCCDで構成されている。撮影光学系12を介してCCD14の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)16から加えられるタイミング信号に従って読み出され、電圧信号(画像信号)としてCCD14から順次出力される。
The
尚、このCCD14は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。CPU42は、TG16を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間(いわゆる電子シャッタによるシャッタ速度)を制御する。
The
アナログ信号処理部18は、CDS回路及びアナログアンプを含み、CDS回路は、TG16から加えられるCDSパルスに基づいてCCD出力信号を相関二重サンプリング処理し、アナログアンプは、CPU42から加えられる撮影感度に応じて設定されたゲインによってCDS回路から出力される画像信号を増幅する。A/D変換器20は、このアナログ信号処理部18から出力されたアナログの画像信号をデジタルの画像信号(画像データ)に変換する。
The analog
画像入力コントローラ22は、所定容量のバッファメモリを内蔵しており、A/D変換器20から出力された画像データを1コマ分蓄積して、RAM46に格納する。
The
デジタル信号処理部24は、ホワイトバランス補正回路、ガンマ補正回路、同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、CPU42からの指令に従ってRAM46に格納された画像データを処理し、輝度信号と色差信号とからなるYUV信号を生成する。
The digital
画像表示部30にスルー画像を表示させる場合は、CCD14で画像を連続的に撮像し、得られた画像データを連続的に処理してYUV信号を生成する。生成されたYUV信号は、RAM46を介してエンコーダ28に加えられ、表示用の信号形式に変換されて画像表示部30に出力される。これにより、画像表示部30にスルー画像が表示される。
When a through image is displayed on the
画像を記録する場合は、シャッタボタンからの撮影指令に応じてCCD14で画像を撮像し、得られた画像データを処理してYUV信号を生成する。生成されたYUV信号は、圧縮・伸張処理部32に加えられ、所定の圧縮画像データ(例えば、JPEG)とされたのち、メディアコントローラ34を介して記憶メディア36に格納される。
In the case of recording an image, the
尚、詳細を後述するように、画像を記録する場合において、像振れ補正機能がオンされている場合には、像振れ補正の処理が行われるようになっており、この場合、シャッタボタンからの撮影指令によって複数コマ分の画像が連続してCCD14で撮像され、それらの複数コマ分の画像データがRAM46に一時的に格納される。そして、それらの画像データがCPU42に読み込まれ後述の像振れ補正処理が施される。このとき、取得した複数コマの画像データの合成により1コマ分の画像データが生成され、RAM46に格納される。そして、RAM46に格納された画像データが上記のようにデジタル信号処理部24で処理されることによってYUV信号が生成され、圧縮・伸張処理部32によって所定の圧縮画像データとされたのち、メディアコントローラ34を介して記憶メディア36に格納されるようになっている。
As will be described in detail later, when recording an image, if the image blur correction function is turned on, an image blur correction process is performed. Images for a plurality of frames are continuously picked up by the
記憶メディア36に格納された圧縮画像データは、再生指令に応じて記憶メディア36から読み出され、圧縮・伸張処理部32で非圧縮のYUV信号とされたのち、エンコーダ28を介して画像表示部30に出力される。これにより、記憶メディア36に記録された画像が画像表示部30に再生表示される。
The compressed image data stored in the
AE検出部38は、シャッタボタンの半押し時においてCPU42から与えられる指令に従い、そのときCCD14により撮像されてRAM46に取り込まれた画像データからAE制御に必要な物理量を算出する。たとえば、AE制御に必要な物理量として、1画面を複数のエリア(例えば、8×8)に分割し、分割したエリアごとにR、G、Bの画像データの積算値を算出する。CPU42は、このAE検出部38から得た積算値、及び画像データ取得時の絞り値、シャッタ速度に基づいて被写体の明るさを検出して最適な露出が得られるEV値を求め、求めたEV値とプログラム線図等に基づいて、シャッタボタンが全押しされて画像を記録する際の適正な絞り値とシャッタ速度(CCD14における適正な露光時間)を決定する。
The
AF検出部40は、シャッタボタンの半押し時においてCPU42から与えられる指令に従い、そのときCCD14により撮像されたRAM46に取り込まれた画像データからAF制御に必要な物理量を算出する。本実施の形態のデジタルカメラ10では、画像のコントラストによりAF制御を行うものとし、AF検出部40は、画像データから画像の鮮鋭度を示すAF評価値を算出する。CPU42は、このAF検出部40で算出されるAF評価値が極大となるように、フォーカスモータドライバ62fを介してフォーカスモータ60fを駆動し、フォーカスレンズ12fの移動を制御する。
The
フラッシュ装置52は、キセノン管を含むフラッシュ発光部54と、CPU42からの発光指令及び発光停止指令によってフラッシュ発光部54から発光させるフラッシュの発光量(発光時間)の制御や、図示しないメインコンデンサの充電制御を行うフラッシュ制御部56とを有している。
The
このフラッシュ装置52は、低輝度時に自動的に発光させるオートフラッシュ、強制発光フラッシュ、赤目軽減フラッシュ、フラッシュ発光禁止、スローシンクロ等のフラッシュモードのうちの選択されたフラッシュモードに応じて動作する。
The
以下、上記デジタルカメラ10で適用される像振れ補正に関する処理について説明する。図2は、像振れ補正を行うための像振れ補正装置としての構成を機能ブロックで示した概略構成図であり、図1と共に適宜参照して以下説明を行う。 Hereinafter, processing relating to image blur correction applied in the digital camera 10 will be described. FIG. 2 is a schematic configuration diagram showing functional blocks of the configuration of the image blur correction apparatus for performing the image blur correction. The following description will be given with reference to FIG. 1 as appropriate.
本デジタルカメラ10では像振れ補正機能を所定のスイッチ操作によって有効(オン)/無効(オフ)にすることができるようになっている。像振れ補正機能がオンされている場合において、シャッタボタンが全押しされて撮影指令を受けると、CPU42は、AE検出部38により決定されたシャッタ速度(露光時間)となるように、TG16を介してCCD14における各フォトダイオードの電荷蓄積時間(露光時間)を制御して画像を撮像すると共に、同一の露光時間で複数コマ分の画像を連続して撮像する。
In the present digital camera 10, the image blur correction function can be enabled (ON) / disabled (OFF) by a predetermined switch operation. When the image blur correction function is turned on, when the shutter button is fully pressed and a shooting command is received, the
ここで、連続して撮像する画像のコマ数及び各画像の撮像時における露光時間は、特定の場合に限らない。例えば、上記のようにAE検出部38で決定された適正な露光時間での撮像処理を予め決められた回数分連続して繰り返すことによって、予め決められたコマ数分の画像を撮像する態様が考えられる。本実施の形態ではこの態様により1コマ分の画像の記録時において3コマ分の画像を撮像するものとして以下の説明を行う。但し、1コマ分の画像の記録時において3コマ分ではなく2コマ分又は4コマ分以上の画像を撮像するようにしてもよい。
Here, the number of frames of images to be continuously captured and the exposure time at the time of capturing each image are not limited to specific cases. For example, as described above, there is a mode in which an image corresponding to a predetermined number of frames is captured by continuously repeating the imaging process with an appropriate exposure time determined by the
また、他の実施の形態として、AE検出部38において得られた最適な露光時間(T)に対して、撮像する画像のコマ数(N)で露光時間Tを割ったときの値(T/N)を、各コマの画像の撮像時における露光時間としてもよい。撮像する画像のコマ数(N)は、例えば、最適な露光時間(T)を、所定のコマ数(自然数n)で等分割したときの露光時間の値(T/n)が、予め決められた最小露光時間(Tmin)よりも大きくなるという条件を満たすようなコマ数(n)のうち最大となる値(N)として決めることも可能である。
As another embodiment, a value (T / T) obtained by dividing the exposure time T by the number of frames (N) of the image to be captured with respect to the optimal exposure time (T) obtained in the
本実施の形態において、CCD14により順次撮像された3コマ分の画像データは、上記のようにアナログ信号処理部18、A/D変換器20、及び、画像入力コントローラ22を介してRAM46に一時的に格納される。本処理は、図2に示した構成図において撮影光学系12及びCCD14により撮像された3コマ分の画像の画像データが1次記憶手段100に記憶されることに相当し、1次記憶手段100は、図1のRAM46により具体化される手段である。
In the present embodiment, the image data for three frames sequentially captured by the
一方、CPU42は、上記のようにCCD14での撮像処理が行われている撮像期間中における手振れ等による像振れ量の検出を以下のようにして行っている。本デジタルカメラ10には角速度センサー70が設置されている。その角速度センサー70から出力された角速度信号はCPU42に読み込まれ、CPU42において、その角速度信号に対して積分等の処理が施される。これによってカメラの振れ量を示す振れ信号が生成される。尚、角速度センサー70は、左右方向の角速度と上下方向の角速度を検出する2つの角速度センサーからなり、それらの角速度信号によって、左右方向と上下方向の振れ信号が生成される。
On the other hand, the
また、本デジタルカメラ10においてズームレンズ12zにはその位置を検出するポテンショメータ(図示せず)が連結されている。そのポテンショメータから出力されたズーム位置信号はCPU42に読み込まれ、CPU42において、そのズーム位置信号と上記振れ信号とに基づいてCCD14の撮像面上における像振れ量(上下方向と左右方向の像振れの大きさ)が算出される。即ち、CCD14の撮像面上における像振れ量は、カメラの振れ量と、撮影光学系12の焦点距離とによって決まるため、撮影光学系12の焦点距離の情報としてズームレンズ12zの位置を示すズーム位置信号が取得され、そのズーム位置信号と振れ信号とから像振れ量が算出される。
In the digital camera 10, a potentiometer (not shown) for detecting the position is connected to the
図2の構成図において、ズーム位置の検出は、レンズ情報検出手段102によって行われる。像振れ量検出手段104には、そのレンズ情報検出手段102によって検出されたズーム位置信号と、角速度センサー70からの角速度信号とが与えられ、それらの情報に基づいて像振れ量検出手段104により像振れ量が検出(算出)される。像振れ量検出手段104は、図1のCPU42の演算処理によって具体化される手段である。
In the configuration diagram of FIG. 2, the zoom position is detected by the lens
尚、像振れ量の算出は角速度信号の読込みと同時に撮像期間中に逐次行っても良いが、撮像期間中に得られる角速度信号やズーム位置信号を記憶しておくことによって、角速度信号から振れ信号を生成する処理や、ズーム位置信号及び振れ信号から像振れ量を算出する処理を撮像期間後に行うようにしてもよい。また、角速度信号から振れ信号を生成する処理だけ、角速度信号の読込みと同時に撮像期間中に行うようにしてもよい。 The calculation of the image shake amount may be performed sequentially during the imaging period simultaneously with the reading of the angular velocity signal, but by storing the angular velocity signal and the zoom position signal obtained during the imaging period, the shake signal can be calculated from the angular velocity signal. The process of generating the image and the process of calculating the image shake amount from the zoom position signal and the shake signal may be performed after the imaging period. Further, only the process of generating the shake signal from the angular velocity signal may be performed during the imaging period simultaneously with the reading of the angular velocity signal.
また、像振れ量の検出は、角速度センサーを用いる場合に限らず、例えば画像撮影用と異なる別系統の撮像系を用いて撮像した画像から検出してもよいし、その他の手段を用いて検出してもよい。 In addition, the detection of the image shake amount is not limited to the case of using the angular velocity sensor. For example, the image shake amount may be detected from an image captured using an imaging system of a different system from that for image capturing, or may be detected using other means. May be.
CCD14による撮像処理が終了して、図1におけるRAM46に3コマ分の画像データが蓄積されると、それらの画像データがCPU42に読み込まれる。CPU42は、読み込んだ3コマ分の画像データに対して以下の像振れ補正処理を施す。図2の構成図において、像振れ補正演算手段106は、図1におけるCPU42により具体化される手段であり、その像振れ補正演算手段106が、1次記憶手段100に記憶されている3コマ分の画像データを読み込むと共に、像振れ量検出手段104により検出された像振れ量を読み込むことによって像振れ補正処理が行われる。
When the imaging processing by the
像振れ補正処理は、3コマ分の各画像データに対する重み付け変換処理と画素ずらし合成処理とからなり、最初に各コマの画像データに対して重み付け変換処理が施され、その後、重み付け変換処理が施された各コマの画像データを用いて画素ずらし合成処理が施されるようになっている。 The image blur correction process includes a weighting conversion process for each image data of three frames and a pixel shift composition process. First, the weight conversion process is performed on the image data of each frame, and then the weight conversion process is performed. Pixel shifted composition processing is performed using the image data of each frame.
まず、重み付け変換処理について図3、図4を用いて説明する。図3において、RAM46から読み込まれた1コマ分(例えば1コマ目)の画像が元画像150として例示されており、その元画像150において、今、着目している画素(着目画素)とその周辺部の8つの画素からなる3×3の画素群152が抽出して示されている。3×3の画素群152において、中央の画素が着目画素152Aである。
First, the weighting conversion process will be described with reference to FIGS. In FIG. 3, an image of one frame (for example, the first frame) read from the
重み付け変換処理では、その3×3の画素群152に対して3×3のフィルタ(重み付けテーブル154)が用意され、その重み付けテーブル154を用いた重み付け平均が求められる。例えば、画素群152の各画素値(輝度値)を同図に示すようにa1、a2、a3、b1、b2、b3、c1、c2、c3(着目画素の画素値はb2)とし、重み付けテーブル154の各要素の値をA1、A2、A3、B1、B2、B3、C1、C2、C3(An、Bn、Cn:n=1〜3)とすると、次式により重み付け平均Tが求められる。
In the weighting conversion process, a 3 × 3 filter (weighting table 154) is prepared for the 3 × 3
そして、これにより求められた重み付け平均Tが着目画素152Aの重み付け変換後の画素値b2′(=T)となる。
Then, the weighted average T obtained in this way becomes the pixel value b2 ′ (= T) after weight conversion of the pixel of
一方、重み付けテーブル154の各要素の値は、CCD14において元画像150を撮像した際の撮像期間(露光期間)中の像振れ量(像振れ量の変化)に基づいて設定される。即ち、元画像150の撮像開始時(露光開始時)において着目画素152Aに結像していた像点が撮像終了時(露光終了時)までに移動した軌跡及び各画素に存在していた時間の長さに基づいて設定される。例えば、その像点が各画素に存在している時間の割合いに比例して大きな値となるように各画素に掛け合わされる重み付けテーブル154の各要素の値が決定される。露光期間中の像振れ量は上記のように角速度センサー70からの角速度信号とズーム位置信号(撮影光学系12の焦点距離)とに基づいて算出される。
On the other hand, the value of each element of the weighting table 154 is set based on the image blur amount (change in image blur amount) during the imaging period (exposure period) when the
元画像150の露光期間中における像振れ量に基づいて着目画素152Aの像点が例えば図4(A)に示す軌跡のように移動した場合に、その像点が各画素に存在する時間の割合いに応じて重み付けテーブル154の各要素の値が同図(B)のような値に設定される。
When the image point of the pixel of
CPU42では、元画像150の周縁部1画素分以外の全ての画素を順に着目画素として上記の重み付け変換処理が順次行われ、元画像150の画像データが重み付け変換画像の画像データとして変換される。そして、同様の重み付け変換処理がRAM46に格納されている3コマ分の画像データの全てに対して行われる。このとき、重み付けテーブルの各要素の値は、各画像データの露光期間中に検出された像振れ量に基づいて各コマの画像データごとに設定される。
In the
続いて、画素ずらし合成処理について図5、図6を用いて説明する。上記のようにCCD14により撮像された3コマ分の画像データの重み付け変換処理が終了すると、CPU42は図5に示すようにそれらの3コマ分の重み付け変換画像150A〜150Cの画像データから画素ずらし合成処理により、記録用の1コマ分の合成画像160Aを生成する。
Next, the pixel shift composition process will be described with reference to FIGS. When the weight conversion processing of the image data for three frames imaged by the
そこで、CPU42は、図6(A)に示すように1コマ目の重み付け変換画像150Aに対して原点を設定する。原点は画像上の任意の点に設定することが可能であるが、本実施の形態では画像の中央位置を原点として設定する。
Therefore, the
そして、1コマ目の重み付け変換画像150Aに対して2コマ目の重み付け変換画像150B及び3コマ目の重み付け変換画像150Cの像振れによる横方向及び縦方向のずれ量(変位量)を検出する。このずれ量は、上記のように角速度センサー70からの角速度信号(及び撮影光学系12の焦点距離)により検出される像振れ量から得られる。例えば、1コマ目の画像の撮像(露光)開始時において検出された像振れ量を0とした場合に、それに対して、2コマ目の画像の撮像開始時において検出された像振れ量が2コマ目の重み付け変換画像150Bのずれ量となる。3コマ目の重み付け変換画像150Cのずれ量も同様である。このようにして1コマ目の重み付け変換画像150Aに対する2コマ目の重み付け変換画像150B及び3コマ目の重み付け変換画像150Cのずれ量が得られると、それらのずれ量分だけ画像を反対方向にずらして1コマ目から3コマ目までの重み付け変換画像150A〜150Cを合成する。
Then, the horizontal shift amount and the vertical shift amount (displacement amount) due to the image blur of the second frame
具体的には次のような処理を行う。図6(A)において、まず、1コマ目の重み付け変換画像150Aに対して、画像の中心位置を原点とする2次元座標(横方向をX、縦方向をY)を想定し、各画素に2次元座標を割り当てるものとする。一方、同図(B)の2コマ目の重み付け変換画像150B及び同図(C)の3コマ目の重み付け変換画像150Cに対しては、上記のように得られたずれ量(像振れ量)に従って原点の位置を画像の中心位置から変位させる。例えば、1コマ目の重み付け変換画像150Aに対して2コマ目の重み付け変換画像150Bが、X方向にΔX、Y方向にΔY分だけずれたとすると、原点の位置も同じように画像の中心位置からX方向にΔX、Y方向にΔYだけ変位させる。そして、その新たな原点の位置での座標系によって各画素に2次元座標を割り当てる。図6(B)、(C)において、2コマ目の重み付け変換画像150Bと3コマ目の重み付け変換画像150Cに対して破線で示した枠Fは、各画像のずれ量(像振れ量)に応じて変更された新たな原点での2次元座標において、1コマ目の重み付け変換画像150Aの各画素と同一座標値が割り当てられる画素の範囲を示し、1コマ目の画像と同一画角の画像が得られる範囲を示している。
Specifically, the following processing is performed. 6A, first, for the weighted
これによって、1コマ目から3コマ目までの重み付け変換画像150A〜150Cにおいて、同一物点に対する像点の位置(画素)は、同じ座標値となる。そこで、それらの1コマ目から3コマ目までの重み付け変換画像150A〜150Cにおいて、同一座標値の画素の画素値を加算平均する。これによって、同図(D)のように同一物点の像点が重なるようにして各コマの重み付け変換画像が重ね合わせられ、記憶メディア36に記録するための1コマ分の合成画像が生成される。
Thereby, in the weighted converted
ここで、同図(D)の太枠(補正可能範囲160)で示すように3コマ分の重み付け変換画像150A〜150Cが重なり合う画素範囲と、2コマ分又は他と画像と全く重ならない画素範囲とが生じる。本実施の形態では、例えば、3コマ分の重み付け変換画像が重なり合う補正可能範囲160の画像のみを像振れ補正された合成画像160Aとして扱うものとし、その補正可能範囲160の中から実際に記憶メディア36に記録する画像サイズの画像を切り出す。尚、この画像の切出しの処理については詳細を後述する。
Here, as shown by a thick frame (correctable range 160) in FIG. 4D, a pixel range in which the weighted converted
また、本実施の形態では、各コマの画像は、各々が適正な明るさとなる露光時間で撮像されたものであるため、重み付け変換画像150A〜150Cの各画素の画素値を加算平均(加算して3分の1)することによって適正露光の1コマ分の合成画像を得るようにしている。ただし、複数コマの画像から1コマ分の合成画像を生成する場合にどのような合成処理を行うかはこれに限らない。例えば、適正な明るさとなる露光時間を分割して複数コマの画像を撮像した場合には、各コマの画像の各画素の画素値を単に加算することによって合成画像が生成される。また、各コマの画像に信号増幅等の処理が施された場合には、各画素の画素値を加算平均又は加算して得られた合成画像に輝度調整の処理が施される。即ち、各コマの画像の合成は、各画素の画素値を加算する処理と、これによって得られた合成画像の輝度を適切にする処理とによって行われるが、輝度を適切にする処理は各コマの画像を取得する条件や各コマの画像に施された処理内容に応じて異なる。
In the present embodiment, since each frame image is captured with an exposure time at which each has an appropriate brightness, the pixel values of the pixels of the weighted converted
図7は、上記の画素ずらし合成処理の処理手順を示したフローチャートである。まず、CPU42は、1コマ目の重み付け変換画像(以下、単に画像という)の原点を設定する(ステップS10)。例えば上記のように1コマ目の画像の中心位置を原点とする。次に、2コマ目及び3コマ目の画像の露光開始時における像振れ量を角速度センサー70からの角速度信号(及び撮影光学系12の焦点距離)に基づいて算出する(ステップS12)。続いて、その像振れ量により2コマ目及び3コマ目の画像の原点を上記のように決定し、1コマ目から3コマ目までの画像の原点の位置合せを行う(ステップS14)。そして、1コマ目から3コマ目までの画像の加算平均を求めることによって1コマ分の合成画像を生成する(ステップS16)。
FIG. 7 is a flowchart showing a processing procedure of the above-described pixel shift composition processing. First, the
以上のようにして像振れ補正処理が施されて得られた1コマ分の合成画像の画像データは、CPU42からRAM46に出力される。そして、像振れ補正を行わない場合と同様に、その画像データがデジタル信号処理部24でYUV信号に変換され、続いて、圧縮・伸張処理部32によって所定の圧縮画像データとされたのち、メディアコントローラ34を介して記憶メディア36に格納される。図2においては像振れ補正演算手段106によって像振れ補正処理が施されて得られた1コマ分の合成画像の画像データは、記憶手段108に記録されるようになっており、記憶手段108は記憶メディア36によって具体化される手段を示している。
Image data of a composite image for one frame obtained by performing the image blur correction process as described above is output from the
次に、上記像振れ補正処理についてより詳細な実施の形態及び他の実施の形態について説明する。 Next, a more detailed embodiment and other embodiments of the image blur correction process will be described.
まず、像振れ補正処理における重み付け変換処理の実施の形態に関して説明する。上記実施の形態では、像振れ補正処理における重み付け変換処理は、図3のように3×3の画素群152に対して3×3の重み付けテーブル154を用いて着目画素の画素値を重み付け変換するようにしたが、任意の要素数n×m(n,mは自然数)の画素群と重み付けテーブルとで重み付け変換処理を行うことができる。
First, an embodiment of weight conversion processing in image blur correction processing will be described. In the above embodiment, the weighting conversion process in the image blur correction process weights and converts the pixel value of the pixel of interest using the 3 × 3 weighting table 154 for the 3 × 3
また、各コマの画像の撮像時におけるシャッタ速度が遅くなる程、即ち、露光時間が長くなる程、露光期間内での像振れ量が増大することを考慮して、重み付け変換処理に使用する画素群の範囲を大きくし、その画素群と重み付けテーブルの要素数を多くすると好適である。例えば、露光時間が所定のしきい値以上の場合には、5×5の画素群と重み付けテーブルとで重み付け変換処理を行い、露光時間がそのしきい値未満の場合には、上記実施の形態のように3×3の画素群と重み付けテーブルとで重み付け変換処理を行うことが考えられる。この場合の重み付け変換処理の例を図8に示すと、例えば、露光時間が1/60秒よりも短い場合には、同図(A)に示すように上記実施の形態で示したのと同様に3×3の画素群152及び重み付けテーブル154により重み付け平均を求めることによって、着目画素152Aの重み付け変換後の画素値b2′を算出する。
Considering that the amount of image blur within the exposure period increases as the shutter speed at the time of capturing an image of each frame becomes slower, that is, as the exposure time becomes longer, the pixels used for weight conversion processing It is preferable to increase the group range and increase the number of elements in the pixel group and the weighting table. For example, when the exposure time is equal to or greater than a predetermined threshold value, weight conversion processing is performed using a 5 × 5 pixel group and a weighting table. When the exposure time is less than the threshold value, the above embodiment is performed. As described above, it is conceivable to perform weight conversion processing using a 3 × 3 pixel group and a weighting table. FIG. 8 shows an example of the weighting conversion process in this case. For example, when the exposure time is shorter than 1/60 seconds, the same as that shown in the above embodiment as shown in FIG. In addition, by calculating a weighted average using the 3 × 3
一方、露光時間が1/60秒以上の場合には、同図(B)に示すように5×5の画素群152及び重み付けテーブル154により重み付け平均を求めることによって、着目画素152Aの重み付け変換後の画素値b2′を算出する。同図のように5×5の画素群152の各画素値をa1〜a5、b1〜b5、c1〜c5、d1〜d5、e1〜e5(着目画素の画素値はc3)とし、重み付けテーブル154の各要素の値をA1〜A5、B1〜B5、C1〜C5、D1〜D5、E1〜E5(An、Bn、Cn、Dn、En:n=1〜5)とすると、次式により重み付け平均Tが求められる。
On the other hand, when the exposure time is 1/60 second or more, as shown in FIG. 5B, the weighted average is obtained from the 5 × 5
そして、これにより求められた重み付け平均Tが着目画素152Aの重み付け変換後の画素値C3′となる。
Then, the weighted average T thus obtained becomes the pixel value C3 ′ after weight conversion of the pixel of
5×5の重み付けテーブル154においても各要素の値は、上記実施の形態で説明した3×3の重み付けテーブルの各要素の値と同様に設定される。即ち、着目画素152Aに結像していた像点が撮像終了時(露光終了時)までに各画素に存在している時間の割合いに比例して大きな値となるように、各画素に掛け合わされる重み付けテーブル154の各要素の値が決定される。
Also in the 5 × 5 weighting table 154, the value of each element is set similarly to the value of each element of the 3 × 3 weighting table described in the above embodiment. That is, each pixel is multiplied so that the image point imaged on the pixel of
尚、露光時間が極めて短い場合、例えば、露光時間が1/250秒未満の場合には、各コマの画像の露光期間中での像振れ量が極めて小さいため重み付け変換処理を行わずに画素ずらし合成を行うようにすると好適である。 When the exposure time is extremely short, for example, when the exposure time is less than 1/250 seconds, the image shift amount during the exposure period of each frame image is extremely small, so that the pixel shift is not performed without performing the weighting conversion process. It is preferable to perform the synthesis.
図9は、各コマの画像の露光時間に対して重み付け変換処理での画素群及び重み付けテーブルの要素数の選択手順を示したフローチャートである。CPU42は、AE検出部38の情報により各コマの画像を撮像するときの適正なシャッタ速度(露光時間)を設定すると(ステップS30)、その露光時間が1/60秒以上か否かを判定する(ステップS32)。YESと判定した場合には、重み付け変換処理における画素群及び重み付けテーブルの要素数を5×5とする(ステップS34)。一方、ステップS32においてNOと判定した場合には、続いて露光時間が1/250秒以上か否か判定する(ステップS36)。YESと判定した場合には、重み付け変換処理における画素群及び重み付けテーブルの要素数を3×3とする(ステップS38)。ステップS36においてNOと判定した場合には、重み付け変換処理を行わないものとする。
FIG. 9 is a flowchart showing a procedure for selecting a pixel group and the number of elements of the weighting table in the weighting conversion process for the exposure time of the image of each frame. When the
次に、像振れ補正処理における画素ずらし合成処理に関する実施の形態について説明する。 Next, an embodiment related to pixel shift composition processing in image blur correction processing will be described.
図6で示したように、画素ずらし合成の際に3コマ分の重み付け変換画像150A〜150Cをずらした場合に、それらの3コマ分の重み付け変換画像150A〜150Cが重なり合う画素範囲は、像振れが生じた分、各コマの重み付け変換画像の全画素範囲の一部(太線で示した補正可能範囲160)に縮小される。一方、各コマの重み付け変換画像150A〜150Cは、CCD14の撮像面全体によって撮像される画像と同サイズであり、記憶メディア36に実際に記録される画像(記録画像)よりも大きな画像サイズ(画素数)となっている。これによって、補正可能範囲160の合成画像160Aの画像サイズは、通常、記録画像の画像サイズよりも大きく、補正可能範囲160の合成画像160Aから記録画像が切り出される。
As shown in FIG. 6, when the weighted converted
尚、像振れ補正処理において、CCD14により連続して撮像された各コマの画像を重み付け変換することなく、画素ずらし合成する場合であっても像振れ補正として有効である。従って、本明細書における画素ずらし合成処理も、画素ずらし合成する各コマの画像が重み付け変換した重み付け変換画像であっても重み付け変換していない画像であっても適用可能であるものとし、以下において、画素ずらし合成する各コマの画像が重み付け変換画像であっても単に画像という。
In the image blur correction process, the image of each frame continuously picked up by the
記録画像の切出し範囲は、図10(A)に示すように1コマ目の画像150Aの中心位置を中心として四角形状の範囲170に設定される。即ち、CCD14の撮像面(受光面)全体から得られる1コマ目の画像150A全体に対して中央に記録画像の切出し範囲が設定される。尚、この切出し範囲170を記録予定範囲170というものとする。図6に示したように3コマ分の画像150A〜150Cを画素ずらし合成した場合に、図6(D)及び図10(B)のように3コマ分の画像150A〜150Cが重なり合う補正可能範囲160の合成画像160Aが生成される。このとき、図10(B)のように1コマ目の画像150Aに設定された記録予定範囲170がその補正可能範囲160に内包されている場合には、その記録予定範囲170の画像が記録画像として切り出される。
The cutout range of the recorded image is set to a
一方、各コマの画像の撮像時間(露光時間)が長くなると、コマ間での像振れ量が大きくなるため、補正可能範囲160が1コマ目の画像150Aの中心に対して大きく上下左右に変位し、又は、サイズが小さくなり、1コマ目の画像150Aの中心に設定された記録予定範囲170が補正可能範囲160に内包されなくなる場合がある。
On the other hand, if the image capturing time (exposure time) of each frame image becomes long, the amount of image shake between the frames increases. Therefore, the
図11はCCD14の撮像面180の全範囲を示しており、画素ずらし合成の際に、1コマ目の画像150Aの中央位置に設定された記録予定範囲170に対応する各コマの画素範囲をCCD14の撮像面180上で示したものである。1コマ目の画像150Aの記録予定範囲170に対応する画素範囲は、CCD14の撮像面180上においても中央位置の画素範囲170Aに設定される。尚、CCD14の撮像面180においても1コマ目の画像と同様に中心位置を原点とし、横方向をX、縦方向をYとする2次元座標を想定している。
FIG. 11 shows the entire range of the
一方、2コマ目と3コマ目の画像150B、150Cの記録予定範囲170に対応する画素範囲は、それらの画像のずれ量(像振れ量)に対応して上下左右に変位し、CCD14の撮像面180上において中心位置からずれてそれぞれ画素範囲170B、170Cとなる。尚、画素範囲170B、170Cは、画素範囲170Aと一致する画角範囲の画像を撮像する範囲を示す。このとき、同図の画素範囲170Bに示すように像振れ量が大きくなると、記録予定範囲170に対応する2コマ目又は3コマ目の画素範囲がCCD14の撮像面180の範囲からはみ出す場合が生じる。この場合に、上記のように記録予定範囲170が補正可能範囲160に内包されなくなる。また、記録予定範囲170に対応する2コマ目又は3コマ目の画素範囲がCCD14の撮像面180の範囲から大きくずれると、補正可能範囲160の大きさが記録予定範囲170よりも小さくなるという場合が生じる。
On the other hand, the pixel range corresponding to the scheduled
このような場合には、主として1コマ目の画像150Aにおいて中央に設定される記録予定範囲170の位置を変更する方法、記録予定範囲170の大きさを変更する方法、記録予定範囲170を3コマ分(全コマ分)の画像150A〜150Cが重ね合わせられる補正可能範囲160内に制限しない方法が考えられる。
In such a case, mainly the method of changing the position of the scheduled
まず、記録予定範囲170の位置を変更する方法について説明する。図12(A)に示すように画素ずらし合成によって3コマ分の画像が重ね合わせられる補正可能範囲160に対して、1コマ目の画像150Aの中央に設定された初期の記録予定範囲170が内包されていない場合において、同図(B)に示すように記録予定範囲170を補正可能範囲160に内包される位置に変更する。このとき例えば、X方向及びY方向に最小の変化量となるような位置に変位すると好適であり、同図の場合、補正可能範囲160の右下の角に記録予定範囲170の右下の角の位置が合わせられている。
First, a method for changing the position of the scheduled
図13は、記録予定範囲170の位置を変更するCPU42での手順を示したフローチャートである。図7のフローチャートで説明したように、像振れ量(画像のずれ量)に基づいて2コマ目と3コマ目の画像の原点位置を中心位置からずらし、1コマ目から3コマ目の原点位置が一致するようにして画素ずらし合成を行うと、続いて、CPU42は、3コマ分の画像が重ね合わされた補正可能範囲160の4隅の座標値を算定する(ステップS20)。図14(A)に示すように1コマ目の画像150Aに対して中心位置を原点とするX−Y座標を想定した場合に、補正可能範囲160の左上隅、右上隅、右下隅、左下隅の各々の座標値(XC0,YC0)、(XC1,YC0)、(XC1,YC1)、(XC0,YC1)を算定する。
FIG. 13 is a flowchart showing a procedure in the
続いてCPU42は、1コマ目の画像150Aの中央に設定された標準の記録予定範囲170の4隅の位置が補正可能範囲160内か否かを判定する(ステップS22)。即ち、図14(A)に示すように初期の記録予定範囲170の左上隅、右上隅、右下隅、左下隅の各々の座標値を(X0,Y0)、(X1,Y0)、(X1,Y1)、(X0,Y1)とすると、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすか否かを判定する。ここで、YESと判定した場合には記録予定範囲170が補正可能範囲160に内包されているため、記録予定範囲170の位置を変更することなく、その記録予定範囲170の画像を記録画像として切り出す(ステップS26)。
Subsequently, the
一方、ステップS22においてNOと判定した場合には、記録予定範囲170の4隅の位置が補正可能範囲160内となるように記録予定範囲170の位置を移動させる(ストップS24)。例えば、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすようになる方向に記録予定範囲170を徐々に移動させていった場合にそれらの全ての条件を満たすようになった位置に記録予定範囲170を移動させる。これによって図14(B)のように記録予定範囲170が補正可能範囲160に内包される。そして、CPU42は、その変更した記録予定範囲170の画像を記録画像として切り出す(ステップS26)。
On the other hand, if NO is determined in step S22, the position of the scheduled
次に、記録予定範囲170の大きさを変更する方法について説明する。図15(A)に示すように画素ずらし合成によって3コマ分の画像が重ね合わせられる補正可能範囲160に対して、1コマ目の画像150Aの中央に設定された初期の記録予定範囲170が内包されていない場合において、同図(B)に示すように記録予定範囲170を補正可能範囲160に内包される大きさに縮小する。例えば、記録予定範囲170から切り出す記録画像の画像サイズは1600×1200画素、1280×960画素のように予め複数のサイズのものが規定され、それらの画像サイズのうちからユーザが所望の画像サイズを選択できるようになっている。そして、ユーザが選択した画像サイズにおいて、その画像サイズの記録画像を切り出す記録予定範囲170の大きさも変更されるようになっている。ユーザが選択した画像サイズに対応した大きさの記録予定範囲170を初期の記録予定範囲とすると、その初期の記録予定範囲170が補正可能範囲160に内包されない場合には、それよりも画素サイズに対応した記録予定範囲であって、且つ、記録予定範囲の中心を1コマ目の画像150Aの中心位置を変えることなく補正可能範囲160に内包される大きさの記録予定範囲のうち最大のものを新たな記録予定範囲170として変更する。
Next, a method for changing the size of the scheduled
図16は、記録予定範囲170の大きさを変更するCPU42での手順を示したフローチャートである。図7のフローチャートで説明したように、像振れ量(画像のずれ量)に基づいて2コマ目と3コマ目の画像の原点位置を中心位置からずらし、1コマ目から3コマ目の原点位置が一致するようにして画素ずらし合成を行うと、続いて、CPU42は、3コマ分の画像が重ね合わされた補正可能範囲160の4隅の座標値を算定する(ステップS30)。図17(A)に示すように1コマ目の画像150Aに対して中心位置を原点とするX−Y座標を想定した場合に、補正可能範囲160の左上隅、右上隅、右下隅、左下隅の各々の座標値(XC0,YC0)、(XC1,YC0)、(XC1,YC1)、(XC0,YC1)を算定する。
FIG. 16 is a flowchart showing a procedure in the
続いてCPU42は、1コマ目の画像150Aの中央に設定された標準の記録予定範囲170の4隅の位置が補正可能範囲160内か否かを判定する(ステップS32)。即ち、図17(A)に示すように初期の記録予定範囲170の左上隅、右上隅、右下隅、左下隅の各々の座標値を(X0,Y0)、(X1,Y0)、(X1,Y1)、(X0,Y1)とすると、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たすか否かを判定する。ここで、YESと判定した場合には記録予定範囲170が補正可能範囲160に内包されているため、記録予定範囲170の大きさを変更することなく、その記録予定範囲170の画像を記録画像として切り出す(ステップS36)。
Subsequently, the
一方、ステップS32においてNOと判定した場合には、記録予定範囲170の4隅の位置が補正可能範囲160内となるように記録予定範囲170を規定の大きさに縮小する(ストップS34)。例えば、記録画像として記録可能な規定の画像サイズ1600×1200(画素)、1280×960(画素)、…が予め決まっており、それらの画像サイズを記録したテーブルが用意されている。CPU42はそのテーブルのデータを参照し、記録予定範囲170を規定の画像サイズに対応する大きさに変更する。そして、記録予定範囲170の大きさを中心位置を変えずに変更した場合に、X0≧XC0、Y0≧YC0、X1≦XC1、Y1≦YC1の全ての条件を満たす大きさのうち最も大きくなるものに記録予定範囲170を変更(縮小)する。これによって図17(B)のように記録予定範囲170が補正可能範囲160に内包される。そして、CPU42は、その変更した記録予定範囲170の画像を記録画像として切り出す(ステップS36)。
On the other hand, if NO is determined in step S32, the scheduled
尚、記録予定範囲170が補正可能範囲160に内包されない場合に、上記のように記録予定範囲170の位置と大きさの両方を変更するものとし、変更された記録予定範囲170の大きさが補正可能範囲160に内包されるもののうち最も大きいものとなるように記録予定範囲170の位置及び大きさの両方を変更してもよい。
When the scheduled
また、記録予定範囲170の大きさを上記のように初期に予定していた画像サイズに対応した大きさから変更(縮小)した場合、その縮小した記録予定範囲170から切り出した画像が初期に予定していた画像サイズと一致するように、切り出した画像を画素補間によって拡大するようにしてもよい。
Further, when the size of the scheduled
次に、記録予定範囲170を3コマ分の画像150A〜150Cが重ね合わせられる補正可能範囲160内に制限しない方法について説明する。図18に示すように画素ずらし合成によって3コマ分の画像が重ね合わせられる補正可能範囲160に対して、1コマ目の画像150Aの中央に設定された記録予定範囲170が内包されていない場合において、補正可能範囲160内に制限されることなく記録予定範囲170の合成画像を生成する。
Next, a method will be described in which the scheduled
同図に示すように記録予定範囲170は、3コマ分の画像150A〜150Cが重なり合う範囲(即ち、補正可能範囲160)と、1コマ目と2コマ目又は1コマ目と3コマ目の2コマ分の画像が重なり合う範囲162、164と、1コマ目の画像150Aのみの範囲166とに分けられる。
As shown in the figure, the scheduled
各コマの画像150A〜150Cを画素ずらし合成する場合に、上記実施の形態で説明したように各コマの重なり合う画素(同一座標値の画素)の画素値の加算平均を求めて合成画像を生成する。このとき、3コマ分の画像が重なり合う補正可能範囲160に限らず、記録予定範囲170内の全ての画素について、各コマの重なり合う画素同士で画素値を加算する。そして、その加算した値を3で割って各画素の画素値の加算平均を求める。もし、記録予定範囲170が補正可能範囲160に内包される場合には、求めた画素値がそのまま合成画像(記録画像)の各画素の画素値となる。一方、図18のように2コマ分の画像が重なり合う範囲162、164や、1コマ分の画像のみの範囲166が生じる場合、範囲162、164内の画素の画素値は、上記のようにして求めた画素値を3/2倍した値とし、範囲166内の画素の画素値は、上記のようにしても求めた画像値を3倍にした値とする。これによって、記録予定範囲170内の合成画像の画素値が、重なり合うコマ数に応じた各コマの画素値の加算平均値となる。そして、その記録予定範囲170の画像を記録画像として使用する。
When the
次に、フラッシュモードがスローシンクロモードに設定されている場合の像振れ補正処理(画素ずらし合成処理)について説明する。スローシンクロモードでは、フラッシュ装置52が点灯すると共に低速シャッタ(長時間露光)で撮影が行われる。この場合に1コマ分の画像を複数コマ分の画像に分けて撮像すると、フラッシュ点灯時に得られる画像と、フラッシュ消灯時に得られる画像とに分けられる。
Next, image blur correction processing (pixel shift composition processing) when the flash mode is set to the slow sync mode will be described. In the slow sync mode, the
また、撮像される画像(被写体)の中で、フラッシュの影響を受ける部分と受けない部分とがある。 Further, in the image (subject) to be picked up, there are a part affected by the flash and a part not.
たとえば、図19に示すように手前の人物Aと背景の夜景Bとをスローシンクロモードで撮影する場合、手前の人物Aは、フラッシュ消灯時に暗い画像として撮像されるのに対して、フラッシュ点灯時に明るい画像として撮影され、その輝度変化が大きいことからフラッシュ点灯の影響を受ける部分となる。一方、夜景Bは、フラッシュ点灯時とフラッシュ消灯時とで輝度変化が小さいためフラッシュ点灯の影響を受けない部分となる。 For example, as shown in FIG. 19, when a person A in the foreground and a night scene B in the background are photographed in the slow sync mode, the person A in the foreground is captured as a dark image when the flash is turned off, whereas the person A in the foreground is captured when the flash is turned on. Since it is taken as a bright image and its luminance change is large, it becomes a part affected by the lighting of the flash. On the other hand, the night view B is a portion that is not affected by the lighting of the flash because the luminance change is small between when the flash is turned on and when the flash is turned off.
スローシンクロモードでの撮影を実行する際に(1コマの画像を記録する際に)、図20のように3コマの画像を連続して撮像するものとすると、フラッシュ装置52が点灯しているとき(フラッシュ点灯時)に撮像されたコマの画像(例えば1コマ目の画像150A)と、フラッシュ装置52が点灯していないとき(フラッシュ消灯時)に撮像されたコマの画像(例えば、2コマ目と3コマ目の画像150B、150C)とに分けられる。フラッシュ点灯の影響を受ける部分(人物Aの部分)は、フラッシュ点灯時に撮像されたコマの画像150Aにおいて明るい領域となり、フラッシュ消灯時に撮像されたコマの画像150B、150Cにおいて暗い領域となる。
When performing shooting in the slow sync mode (when recording one frame image), assuming that three frames are continuously captured as shown in FIG. 20, the
フラッシュの影響を受ける領域において全てのコマの画像150A〜150Cを用いた画素ずらし合成を行った場合、フラッシュ消灯時における暗い画像の影響によってその領域が不要に暗くなるという不具合が生じる。
When pixel shift composition using all the
そこで、フラッシュ点灯時に撮像されたコマの画像と、フラッシュ消灯時に撮像されたコマの画像と比較し、所定値以上の輝度変化が生じている領域を検出することによって、フラッシュの影響を受ける領域を検出する。そして、そのフラッシュの影響を受ける領域については、フラッシュ点灯時に撮像されたコマの画像(1コマ目の画像)のみを使用し、フラッシュ発光の影響を受けない領域については、全てのコマの画像を使用して画素ずらし合成を行うものとする。 Therefore, by comparing the image of the frame captured when the flash is on and the image of the frame captured when the flash is off, the area affected by the flash is determined by detecting the area where the luminance change exceeds a predetermined value. To detect. For the area affected by the flash, only the frame image (first frame image) captured when the flash is turned on is used. For the area not affected by the flash emission, all frame images are used. It is assumed that the pixel shift composition is performed using.
即ち、像振れ補正処理において、フラッシュの影響を受けない領域については、上記実施の形態と同様に重み付け変換処理及び画素ずらし合成処理を行う。一方、フラッシュの影響を受ける領域については像振れ補正処理を行わず、フラッシュ点灯時に撮像されたコマの画像(1コマ目の画像)からその領域の画像を抽出する。そして、各々の領域の画像を合成して合成画像を生成し、その合成画像から記録予定範囲の画像を切り出して記録画像とする。 That is, in the image blur correction process, a weighting conversion process and a pixel shift composition process are performed on the area that is not affected by the flash as in the above embodiment. On the other hand, image blur correction processing is not performed on the area affected by the flash, and the image of the area is extracted from the frame image (first frame image) captured when the flash is turned on. Then, a combined image is generated by combining the images of the respective areas, and an image in the recording scheduled range is cut out from the combined image to be a recorded image.
図21は、スローシンクロモードでの撮影処理を示したフローチャートである。スローシンクロモードに設定されている場合に、シャッタボタンが全押しされて撮影指令を受けると、必要露光量により撮影コマ数を決定する(ステップS40)。そして、フラッシュ装置52を発光し、複数コマ分の画像を連続して撮影する(ステップS42)。続いて、各コマの画像のうち、フラッシュ点灯時に撮像された画像と、フラッシュ消灯時に撮像された画像の各々の輝度分布を検出し、それらを比較して所定値以上の輝度変化(輝度差)が生じている画素範囲をマスキング範囲として決定する(ステップS44)。即ち、フラッシュ点灯時とフラッシュ消灯時とで所定値以上の輝度差が生じている領域は、上記のようにフラッシュによって影響を受ける領域であり、その領域をマスキング範囲とする。
FIG. 21 is a flowchart showing a photographing process in the slow sync mode. When the slow sync mode is set and the shutter button is fully pressed and a shooting command is received, the number of shot frames is determined based on the required exposure amount (step S40). Then, the
続いて、CPU42は、マスキング範囲以外の画像範囲に関して像振れ補正処理を行う(ステップS46)。像振れ補正処理は上述のように重み付け変換処理と画素ずらし合成処理とによって行う。尚、画素ずらし合成処理において各コマの画像の重なり合う画素の画素値を加算平均した値を合成画像の画素値とするのではなく、単に加算した値(総和値)を合成画像の画素値とすることが望ましい。
Subsequently, the
そして、CPU42は、マスキング範囲の画像をフラッシュ点灯時に撮影されたコマの画像から抽出すると共に、その抽出したマスキング範囲の画像と、ステップS46により像振れ補正処理されたマスキング範囲以外の画像とを合成(加算)して1コマ分の合成画像を生成すると共に、最適な輝度となるように輝度調整を行う(ステップS48)。このようして生成された合成画像から記録予定範囲の画像を記録画像として切り出し、記憶メディア36に記録する(ステップS50)。
Then, the
尚、スローシンクロモードでの撮影時における本実施の形態の像振れ補正処理は、重み付け変換を行わずに画素ずらし合成処理のみを行う場合であっても有効である。 It should be noted that the image blur correction process of the present embodiment at the time of shooting in the slow sync mode is effective even when only the pixel shift composition process is performed without performing the weighting conversion.
10…撮像装置(デジタルカメラ)、12…撮影光学系、12f…フォーカスレンズ、12z…ズームレンズ、14…CCD、16…タイミングジェネレータ(TG)、18…アナログ信号処理部、20…A/D変換器、22…画像入力コントローラ、24…デジタル信号処理部、28…エンコーダ、30…画像表示部、32…圧縮・伸張処理部、34…メディアコントローラ、36…記憶メディア、38…AE検出部、40…AF検出部、42…中央処理装置(CPU)、44…ROM、46…RAM、48…フラッシュROM、50…操作部、52…フラッシュ装置、70…角速度センサー、100…1次記憶手段、102…レンズ情報検出手段、104…像振れ量検出手段、106…像振れ補正演算手段、108…記憶手段、150…元画像、152…画素群、160…補正可能範囲、170…記録予定範囲
DESCRIPTION OF SYMBOLS 10 ... Imaging device (digital camera), 12 ... Imaging optical system, 12f ... Focus lens, 12z ... Zoom lens, 14 ... CCD, 16 ... Timing generator (TG), 18 ... Analog signal processing part, 20 ... A /
Claims (4)
前記画像合成手段により生成された1コマ分の画像のうち、記憶媒体に記録する画像を所定の切出し範囲から切り出す画像切出手段と、
前記画像切出手段により画像を切り出す切出し範囲を設定する画像切出範囲設定手段であって、前記画像合成手段において各コマの画像をずらして1コマ分の画像を合成した際に、全てのコマの画像が重なり合った範囲に内包されるように前記切出し範囲の大きさを変更する画像切出範囲設定手段と、
を備えたことを特徴とする像振れ補正装置。 An image pickup means for picking up an image formed by the photographing optical system; and an image pickup control means for acquiring an image for a plurality of frames by causing the image pickup means to continuously pick up an image for a plurality of frames at a predetermined shutter speed. An image blur detecting unit for detecting an image blur of an image formed by the photographing optical system, and an image of each frame acquired by the imaging control unit according to the image blur detected by the image blur detecting unit. In an image blur correction apparatus comprising: an image synthesizing unit that generates an image for one frame in which image blur is corrected by synthesizing by shifting by an amount;
Image cutting means for cutting out an image to be recorded on a storage medium from a predetermined cutting range among images for one frame generated by the image combining means;
An image cutout range setting means for setting a cutout range for cutting out an image by the image cutout means, wherein when the image composition means shifts the images of each frame and composes an image for one frame, Image cutout range setting means for changing the size of the cutout range so as to be included in the overlapping range of images,
An image blur correction apparatus comprising:
前記各コマの画像をずらして1コマ分の画像を合成した際に、全てのコマの画像が重なり合った範囲に内包されるように記憶媒体に記録する画像の切出し範囲の大きさを変更することを特徴とする像振れ補正方法。 Images of a plurality of frames are continuously captured at a predetermined shutter speed by an imaging unit that captures an image formed by the imaging optical system, and images of the captured frames are detected by the image blur detection unit. In an image blur correction method for generating an image for one frame in which image blur is corrected by synthesizing by shifting by an amount corresponding to the shake,
Changing the size of the cutout range of the image to be recorded on the storage medium so that all the frames are included in the overlapped area when the images for each frame are shifted and the images for one frame are combined. An image blur correction method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192688A JP4666264B2 (en) | 2006-07-13 | 2006-07-13 | Image blur correction apparatus and correction method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192688A JP4666264B2 (en) | 2006-07-13 | 2006-07-13 | Image blur correction apparatus and correction method thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010267056A Division JP5043178B2 (en) | 2010-11-30 | 2010-11-30 | Image blur correction apparatus and correction method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008022320A JP2008022320A (en) | 2008-01-31 |
JP4666264B2 true JP4666264B2 (en) | 2011-04-06 |
Family
ID=39077951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006192688A Active JP4666264B2 (en) | 2006-07-13 | 2006-07-13 | Image blur correction apparatus and correction method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4666264B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005064921A1 (en) * | 2003-12-26 | 2005-07-14 | Matsushita Electric Industrial Co., Ltd. | Imaging device, product package, and semiconductor integrated circuit |
JP2006033123A (en) * | 2004-07-13 | 2006-02-02 | Konica Minolta Photo Imaging Inc | Image pickup device |
-
2006
- 2006-07-13 JP JP2006192688A patent/JP4666264B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005064921A1 (en) * | 2003-12-26 | 2005-07-14 | Matsushita Electric Industrial Co., Ltd. | Imaging device, product package, and semiconductor integrated circuit |
JP2006033123A (en) * | 2004-07-13 | 2006-02-02 | Konica Minolta Photo Imaging Inc | Image pickup device |
Also Published As
Publication number | Publication date |
---|---|
JP2008022320A (en) | 2008-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7995852B2 (en) | Imaging device and imaging method | |
TWI514847B (en) | Image processing device, image processing method, and recording medium | |
JP5643563B2 (en) | Image processing apparatus and control method thereof | |
JP5013954B2 (en) | Imaging device | |
US8294795B2 (en) | Image capturing apparatus and medium storing image processing program | |
US8237854B2 (en) | Flash emission method and flash emission apparatus | |
JP5343588B2 (en) | Imaging device | |
JP5180349B2 (en) | Imaging apparatus, method, and program | |
JP2010213220A (en) | Imaging apparatus, and imaging control method | |
JP2010147786A (en) | Imaging device and image processing method | |
JP4818999B2 (en) | Imaging apparatus, method, and program | |
JP2010093679A (en) | Imaging apparatus, and imaging control method | |
JP5027580B2 (en) | Imaging apparatus, method, and program | |
JP4666265B2 (en) | Image blur correction apparatus and correction method thereof | |
JP2009017427A (en) | Imaging device | |
JP4716182B2 (en) | Imaging apparatus and imaging control program | |
JP4942572B2 (en) | Image adding apparatus and method, and program | |
JP4717836B2 (en) | Imaging apparatus, method, and program | |
JP2004328606A (en) | Imaging device | |
JP5043178B2 (en) | Image blur correction apparatus and correction method thereof | |
JP4666264B2 (en) | Image blur correction apparatus and correction method thereof | |
JP2006217249A (en) | Electronic camera, electronic camera system and program | |
JP4621991B2 (en) | Image blur correction apparatus and correction method thereof | |
JP6294607B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2008283477A (en) | Image processor, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101230 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4666264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |