JP4834406B2 - 撮像装置 - Google Patents

Description

本発明は、像ぶれ補正機能を備えた撮像装置、特にデジタルカメラに関する。

デジタルカメラなどの撮像素子として、Ｃ−ＭＯＳセンサを使用することが知られており、Ｃ−ＭＯＳセンサにおいては、結像された被写体像が、ライン毎に順次走査されて、１フレームの撮影画像が生成される。したがって、Ｃ−ＭＯＳセンサでは、ライン毎の画像の露光タイミングが異なり、１フレームの画像が生成される間、デジタルカメラが手ぶれにより横方向にぶれると、そのぶれに合わせて、各ラインが横方向に歪む、いわゆるローリング歪みが発生する。

従来、手ぶれによる像ぶれを補正する方法としては、角速度センサで手ぶれ量を検知し、その手ぶれ量に応じて、画像をシフトさせることにより、像ぶれを補正する方法が知られており、この方法は例えば特許文献１に記載されている。

特許文献１では、撮影画像が複数フレーム連続的に撮影されるとともに、各撮影画像が撮像されたときの像ぶれ量が検出され、各撮影画像がその像ぶれ量に応じてシフトされた後加算され、１つの静止画像が生成される。この方法によれば、各撮影画像が撮影される時間（露光時間）を短くすることにより、１フレームの撮影画像が撮影される間に生じる像ぶれが最小限に抑えられるとともに、各フレーム間の位置ずれは各撮影画像がシフトされることにより打ち消され、これにより像ぶれ補正が適切に行われている。
特開２００３−３２５４０号公報

特許文献１の記載の方法を、Ｃ−ＭＯＳセンサを用いるデジタルカメラに適用すれば、複数の撮影画像を合成して１つの静止画像を得る場合、各撮影画像間の像ぶれを減少させることは可能である。しかし、この方法では、各撮影画像内における、ライン間に生じる位置ずれについては考慮されていないので、Ｃ−ＭＯＳセンサにおいて発生するローリング歪み補正を適切に補正することはできない。

そこで、本願発明は、このような問題点に鑑みて成されたものであり、Ｃ−ＭＯＳセンサ等において発生するローリング歪みを適切に補正することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、画素毎、またはライン毎に順次露光され、受光面に結像された被写体像に対応した１フレームの撮影画像を生成する撮像素子と、撮像装置本体の角速度を検出し、この検出された角速度から各ラインのライン方向の位置ずれを検出する第１ずれ検出手段と、検出された位置ずれに応じてライン毎の画像をライン方向に位置ずれが打ち消される方向にシフトさせるラインシフト手段と、そのシフトされた各ラインの画像を連結することにより、１フレームの補正画像を生成するライン連結手段とを備えることを特徴とする。

第１ずれ検出手段は、撮影画像における基準ラインが露光されるタイミングと、位置ずれの検出対象である検出ラインが露光されるタイミングとの間において検出された角速度を時間積分することにより、検出ラインのライン方向の位置ずれを検出し、ラインシフト手段は、基準ラインに対して、相対的に検出ラインの画像を位置ずれ量分シフトさせることが好ましい。このとき基準ラインは、例えば１ライン目、または検出ラインに隣接するラインである。

本発明においては、撮像装置は、同一の被写体像に関して、順次連続的に撮影された２フレーム以上の撮影画像を生成し、これら各撮影画像から補正画像を生成し、この各補正画像を多重化合成し、多重化画像を得るようにしても良い。この場合、撮像装置本体の角速度を検出し、この検出された角速度から、各撮影画像間のライン方向に直交する直交方向の相対的な位置ずれを検出する第２ずれ検出手段をさらに備え、直交方向の位置ずれに応じて、位置ずれを打ち消すように、２フレーム以上の補正画像のうち、１フレーム分以上の補正画像を、直交方向に相対的にシフトさせて、多重化合成することが好ましい。

第２ずれ検出手段は、１フレーム目の撮影画像の基準ラインが露光されるタイミングと、他のフレームの撮影画像における基準ラインと同一ラインが露光されるタイミングとの間において検出された角速度を時間積分することにより、撮影画像間の直交方向の位置ずれを検出することが好ましい。そして、さらに好ましくは、ラインシフト手段は、上述した他のフレームの撮影画像の各ラインの画像を、検出された直交方向の位置ずれが打ち消されるように、直交方向の位置ずれ量分、直交方向にシフトさせることが好ましい。この場合、基準ラインは、例えば１ライン目のラインである。

以上の構成によれば、画像のライン方向（横方向）のみならず、画像の縦方向についても、位置ずれが補正されるので、より適切な補正をすることができる。

ライン連結手段は、１フレーム分の画像の連結が終了すると、次のフレームに関する各ラインの画像を、１フレーム分のライン連結によって生成された補正画像の上に、順次重ねるように合成し、多重化画像を得ることが好ましい。このような構成によれば、２フレーム目以降の補正画像は、１フレーム目の補正画像に重ねて生成することができるので、２フレーム目以降の補正画像を生成するために特別なメモリを設ける必要がない。

さらにこのとき、同一フレームの撮影画像における各ラインの画像の直交方向のシフト量は同一であることが好ましい。これにより、同一フレームの各ラインの画像は、互いに重なることはなく、またライン間に隙間が生じることもない。撮像素子は、Ｃ−ＭＯＳセンサであることが好ましい。

本発明において得られる補正画像は、各ラインの画像それぞれがライン間の位置ずれが補正された後に連結された画像であるので、１フレームの撮影画像が露光される間に生じる像ぶれを有効に補正することができる。

以下、本発明に係る実施形態について、図面を参照して説明する。以下説明する実施形態では、撮像装置が、デジタルカメラである場合について説明するが、撮像装置はデジタルカメラに限定されるわけではない。

図１は、第１の実施形態に係るデジタルカメラのブロック図である。本実施形態に係るデジタルカメラ１０は、撮像素子２０を備え、撮像素子２０には、被写体像が撮像レンズ１９によって結像される。デジタルカメラ１０は、不図示のシャッターボタンが押され、撮像動作が実行されると、被写体像に対する撮影が行われ、撮像素子２０では、１フレームの撮影画像の画像信号が生成される。撮像素子２０で生成された画像信号は、後述するように、ライン毎に順次生成され、各ラインに関する画像信号は、ライン毎にラインバッファ２２に格納された後、ラインシフト装置２４に入力される。

デジタルカメラ１０は、そのカメラ本体に生じる手ぶれを検知するため角速度センサ４１を備える。角速度センサ４１は、一定時間（例えば１ｍｓ）毎に、垂直方向に延びるｙ軸を回転中心としたときの角速度ｖｙを検出する。なお、垂直方向とは、光軸方向に垂直でかつ通常の使用状態で水平になる水平方向に対して、直交する方向をいう。

角速度ｖｙは、角速度に関する信号を増幅した後、アナログ信号としてＡ／Ｄ変換器５１に入力される。Ａ／Ｄ変換器５１では、角速度ｖｙがＡ／Ｄ変換された後、角速度データとして、角速度−動きベクトル変換装置６１を介して、メモリ６２に一旦格納される。

角速度−動きベクトル変換装置６１では、メモリ６２に格納された角速度データｖｙが読み出され、手ぶれによって生じた、各ラインの基準ラインに対するライン方向の位置ずれが動きベクトルとして検出される。この算出された各ラインの位置ずれデータは、一旦メモリ６２に保存された後、ラインシフト装置２４に入力される。

露光タイミング発生装置７１では、露光タイミング信号Ｐｅが発生させられ、撮像素子２０では、その露光タイミング信号Ｐｅのタイミングに合わせて、露光が行われる。露光タイミング信号Ｐｅは、角速度−動きベクトル変換装置６１にも入力され、角速度−動きベクトル変換装置６１では、露光タイミング信号Ｐｅから各ラインの露光されるタイミングに応じて、角速度ｖｙの採用タイミングが決定される。

ラインシフト装置２４では、各ラインの画像（ライン画像）が、その位置ずれ量分だけ、位置ずれを打ち消すライン方向に、シフトされ、ライン連結装置２６に入力される。ライン連結装置２６では、ラインシフト装置２４でシフトされた各ライン画像が連結され、これにより各ラインの位置ずれが補正された像ぶれ補正撮影画像が得られる。像ぶれ補正撮影画像、記録装置２７に静止撮影画像として保存されるとともに、モニタ（不図示）に静止撮影画像として表示される。

図２は、撮像素子２０で行われる画像の取り込みタイミングを示すための図である。図３は、各ラインの露光期間と、露光タイミング信号Ｐｅの関係を示す図である。本実施形態では、撮像素子２０はＣ−ＭＯＳイメージセンサから成り、Ｃ−ＭＯＳイメージセンサの受光面には、撮像レンズ１９によって被写体像が結像される。撮像素子２０の受光面は、撮像レンズ１９の光軸に垂直であり、図２に示すようにその受光領域には水平方向に画素が並べられて形成される水平ラインＨが、垂直方向にｎライン設けられている。

Ｃ−ＭＯＳイメージセンサの各画素は、入射光を感知して入射光量に相当する信号電荷を生成するフォトダイオードと、生成したフォトダイオードから信号電荷を蓄積するキャパシタと、キャパシタから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。

図３に示すように、露光タイミング信号Ｐｅは、Ｃ−ＭＯＳイメージセンサのライン数と同数である複数のＯＮ信号（すなわち、第１〜第ｎのＯＮ信号）から成り、各ＯＮ信号は、所定期間ＯＮ状態が継続されるとともに、一定の間隔で発生する。

本実施形態におけるＣ−ＭＯＳイメージセンサでは、電子シャッターを用いて撮影が行われ、露光タイミング信号ＰｅのＯＮ信号の入力タイミングに合わせて露光が行われる。すなわち、例えば第１のＯＮ信号が入力されると、水平ラインＨのライン１が、選択されるとともに、選択された水平ラインＨにおいてはさらに各画素が左から右に順次選択される（図２参照）。

各画素は選択されている間のみ露光され、その露光により各画素では電荷がフォトダイオードにより生成され、キャパシタに蓄積される。蓄積された電荷は画素毎に画素信号として読み出され、ライン毎に読み出されラインバッファ２２に格納される。この露光動作は、ライン２から最終ライン（ラインｎ）の各ラインに関しても同様に行われ、これにより１フレーム分の撮影画像の露光が終了し、１フレーム分の撮影画像の画像信号が得られる。なお、１ライン目の露光開始タイミングａ１から最終ライン（ラインｎ）の露光タイミングOFFａ２までの期間、つまり１フレーム分の露光期間を以下の説明においては、フレーム露光期間Ｆという。そして、以下の説明においては、各ライン（ライン１、ライン２、…、ラインｎ）の露光が開始されるタイミングを、それぞれタイミングｂ１、ｂ２、…、ｂｎとする。なお、タイミングａ１は、タイミングｂ１と一致する。

図４は、撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。図４においては、縦軸が角速度ｖｙ、横軸が時間経過を表す。

以下、図４を用いて、角速度から各ラインの位置ずれ量が算出される方法について説明する。図４に示すように、撮影動作が開始されると、撮像素子２０では露光が開始され、１フレーム分の撮影画像を撮影するための露光が、フレーム露光期間Ｆにおいて行われる。

フレーム露光期間Ｆ内においては、前述したように、各ラインがライン毎に順次露光され、その露光タイミングを示す露光タイミング信号Ｐｅは角速度−動きベクトル変換装置６１に入力される。角速度−動きベクトル変換装置６１では、露光タイミング信号Ｐｅを用いて、各ライン（ライン２〜ラインｎ）のライン１に対する、ライン方向におけるライン位置ずれが検出される。具体的には、ライン１の露光開始タイミングｂ１からライン２の露光開始タイミングｂ２までの期間Ｐ２における角速度データが時間積分され、ライン１に対するライン２のライン方向の位置ずれ量、及びずれ方向（すなわち、動きベクトル）が算出される。ライン３についても、同様に、タイミングｂ１からタイミングｂ３までの期間Ｐ３の角速度が時間積分され、ライン３のライン１に対する位置ずれ量、及びずれ方向が算出される。ライン４〜ラインｎについても、同様に期間Ｐ４〜Ｐｎにおいて、角速度が時間積分され、位置ずれ量、及びずれ方向が算出される。

図５は、ラインシフト装置２４及びライン連結装置２６における動作を模式的に示した図である。図５に示すように、ライン連結装置２６においては、まずライン１のライン画像Ｍ１がライン連結装置２６に格納され、次に、ライン２のライン画像Ｍ２がライン連結装置２６に入力され、ライン２のライン画像Ｍ２がライン画像Ｍ１に連結される。ここで、ライン画像Ｍ２はラインシフト装置２４内において、位置ずれ方向とは逆方向に、位置ずれ量分、ライン画像Ｍ１に対して相対的に、ライン方向にシフトされた後、ライン画像Ｍ１の図中下方向に連結して合成される。同様に、ライン３のライン画像Ｍ３も、検出されたライン位置ずれのずれ方向とは逆方向に、位置ずれ量分、ライン画像Ｍ１に対して相対的に、ライン方向にシフトされた後、ライン画像Ｍ２の下方向に連結して合成される。ライン４〜ラインｎのライン画像についても同様に、連結され、これにより１フレーム分の補正画像ＣＩが得られる。なお、補正画像ＣＩは、各ラインがライン方向にシフトされることにより、その左右の両端の一部は、画像が有る部分と無い部分（空白画像Ｅ）が生じるが、例えばモニタに表示させる際に、その両端を表示させなければ良いか、あるいはモニタに表示するよりも大きな画像をシフトさせればよい。

以上のように、本実施形態では、補正画像は、各ラインそれぞれがライン間の位置ずれが補正された後に連結された画像であるので、１フレームの撮影画像が露光される間に生じる像ぶれを有効に補正することができる。

なお、本実施形態においては、ライン１を基準ラインとして、ライン１に対するライン２〜ラインｎの相対的な位置ずれが検出されたが、基準ラインはライン１に限定されない。例えば、基準ラインは、その位置ずれが検出されるライン（検出ライン）に、隣接するラインであっても良い。この場合、各ラインの画像は、検出された位置ずれ量に応じて、隣接するラインに対して相対的にシフトされる。

図６〜８を用いて第２の実施形態について説明する。第２の実施形態に係るデジタルカメラ１００では、以下説明するように、同一の被写体像に関して、順次連続的に撮影された第１乃至第３撮影画像が多重合成され、その多重化画像が撮影された静止画像として生成される。

図６は、第２の実施形態に係るデジタルカメラのブロック図である。本実施形態に係るデジタルカメラ１００では、被写体像が撮像レンズ１１９によって、撮像素子１２０に結像され、撮像動作が実行されると、撮像素子１２０では、第１乃至第３フレームの撮影画像の画像信号が順次生成される。撮像素子１２０で生成された画像信号は、ライン毎に順次生成され、各ラインに関する画像信号は、ライン毎にラインバッファ１２２に格納された後、ラインシフト装置１２４に入力される。

デジタルカメラ１００は、そのカメラ本体に生じる手ぶれを検知するため第１及び第２角速度センサ１４１、１４２を備える。第１及び第２角速度センサ１４１、１４２はそれぞれ、一定時間（例えば１ｍｓ）毎に、水平方向に延びるｘ軸、および垂直方向に延びるｙ軸を回転中心としたときの角速度ｖｘ、ｖｙを検出する。

角速度ｖｘ、ｖｙは、第１の実施形態と同様に、Ａ／Ｄ変換器１５１、１５２でＡ／Ｄ変換された後、角速度データとして、角速度−動きベクトル変換装置１６１を介して、メモリ１６２に一旦格納される。

角速度−動きベクトル変換装置１６１では、メモリ１６２に格納された角速度データｖｙが読み出され、手ぶれによって生じた、各ラインの基準ラインに対するライン方向の位置ずれ量が検出される。

同様に、角速度−動きベクトル変換装置１６１では、メモリ１６２に格納された角速度データｖｘが読み出され、手ぶれによって生じた、第１撮影画像に対する、第２または第３撮影画像のライン方向に直交する直交方向の位置ずれが検出される。

算出された各ラインの水平方向の位置ずれデータ、並びに第１撮影画像に対する、第２及び第３撮影画像の直交方向の位置ずれデータは、一旦メモリ１６２に保存された後、ラインシフト装置１２４に入力される。

露光タイミング発生装置１７１では、露光タイミング信号Ｐｅが発生させられ、撮像素子１２０では、その露光タイミング信号Ｐｅのタイミングに合わせて、露光が行われる。露光タイミング信号Ｐｅは、角速度−動きベクトル変換装置１６１にも入力され、角速度−動きベクトル変換装置１６１では、露光タイミング信号Ｐｅから各ラインの露光されるタイミングに応じて、角速度ｖｘ、ｖｙの採用タイミングが決定される。

ラインシフト装置１２４では、第１乃至第３撮影画像の各ライン画像が、ライン方向の位置ずれ量分だけ、位置ずれを打ち消すライン方向に、シフトされ、１フレーム取得判定装置１２５を介してライン連結装置１２６に入力される。また、第２及び第３撮影画像の各ライン画像は、ライン方向にシフトされるとともに、第１撮影画像に対する第２撮影画像及び第３撮影画像の直交方向の位置ずれ分だけ、位置ずれを打ち消すように直交方向にも、シフトされた上で１フレーム取得判定装置１２５を介してライン連結装置１２６に入力される。

露光タイミング発生装置１７１では、さらに１フレーム分の撮影画像の露光が開始されるタイミングで、フレーム露光開始タイミング信号Ｐｔを発生させ、１フレーム取得判定装置１２５に入力させる。１フレーム取得判定装置１２５では、このフレーム露光開始タイミング信号Ｐｔを用いて、入力されたライン画像が各撮影画像におけるライン１に相当する画像か否かが判定される。ライン１に相当する画像ならば、ライン連結装置１２６で次のフレームの画像を構成するように、ライン連結装置１２６にその情報を送る。

ライン連結装置１２６では、ラインシフト装置１２４でシフトされた第１撮影画像の各ライン（ライン１〜ラインｎ）のライン画像が連結され、１フレーム分の補正画像が生成される。次に、１フレーム取得判定装置１２５から送られた情報に基づき、第２撮影画像の各ライン画像が、第１撮影画像の補正画像の上に重ねられて合成される。第２撮影画像の各ライン画像の合成が終了すると、同様に、第３撮影画像の各ライン画像が、順次第２撮影画像の各ライン画像の上に重ねるように合成され、これにより多重化画像が得られる。多重化画像は、記録装置１２７に静止撮影画像として保存されるとともに、モニタ（不図示）に静止撮影画像として表示される。なお、第２の実施形態における撮像素子１２０は、第１の実施形態と同様にＣ−ＭＯＳセンサであり、各撮影画像の取り込み方法は、第１の実施形態と同様であり、図２、３に示すように行なわれる。

図７は、撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。図７においては、縦軸が角速度、横軸が時間経過を表す。ただし、角速度データは、ｖｙについて表し、ｖｘについてはその記載を省略する。

以下、図７を用いて、角速度から撮影画像同士の位置ずれが算出される方法について説明する。図７に示すように、撮影動作が開始されると、まず第１の撮影画像の撮影が開始される。すなわち、撮像素子１２０では露光が開始され、１フレーム分の撮影画像を撮影するための露光が、第１フレーム露光期間Ｆ１（すなわち、露光開始タイミングａ１から露光タイミングOFFａ２まで）において行われる。

第１フレーム露光期間Ｆ１が終了すると、撮影インターバルＩが経過した後、第２撮影画像が生成されるための露光が、第２フレーム露光期間Ｆ２（すなわち、露光開始タイミングａ１’から露光タイミングOFFａ２’まで）において行われる。第２フレーム露光期間Ｆ２が終了すると、撮影インターバルＩが経過した後、第３撮影画像が生成されるための露光が、第３フレーム露光期間Ｆ３（すなわち、露光開始タイミングａ１”から露光タイミングOFFａ２”まで）において行われる。なお、第１乃至第３撮影画像は、同じ露光条件で撮影されるため、第１乃至第３フレーム露光期間Ｆ１、Ｆ２、及びＦ３は、互いに同一であるとともに、撮影インターバルＩの期間も同一である。

第１フレーム露光期間Ｆ１においては、第１の実施形態と同様に、各ライン（ライン２〜ラインｎ）の第１撮影画像のライン１（基準ライン）に対する、ライン方向におけるライン位置ずれが検出される。

第２フレーム露光期間Ｆ２においては、第２撮影画像の各ライン（ライン１〜ラインｎ）の第１撮影画像のライン１（基準ライン）に対する、ライン方向におけるライン位置ずれが検出される。具体的には、基準ラインの露光開始タイミングｂ１から第２撮影画像のライン１の露光開始タイミングｂ１’までの期間Ｐ１’における角速度ｖｙが時間積分され、基準ラインに対する第２撮影画像のライン１のライン方向の位置ずれ量、及びずれ方向が算出される。第２撮影画像のライン２についても同様に、タイミングｂ１からタイミングｂ２’までの期間Ｐ２’の角速度ｖｙが時間積分され、基準ラインに対する、ライン方向の位置ずれ量、及びずれ方向が算出される。第２撮影画像のライン３〜ラインｎについても、同様に期間Ｐ３’〜Ｐｎ’で角速度Ｖｙが時間積分され、位置ずれ量、及びずれ方向が算出される。

同様に、第３フレーム露光期間においても、第３撮影画像の各ライン（ライン１〜ラインｎ）の、第１撮影画像のライン１（基準ライン）に対する、ライン方向における位置ずれが、期間Ｐ１”〜Ｐｎ”においてそれぞれ算出される。

本実施形態においては、さらに各撮影画像間の直交方向の位置ずれも検出される。すなわち、基準ライン（第１撮影画像の第１ライン）の露光開始タイミングｂ１から、第２撮影画像の第１ラインの露光開始タイミングｂ１’までの期間Ｐ１’の角速度ｖｘが時間積分され、第２撮影画像のライン１の基準ラインに対する位置ずれ量、及びずれ方向が算出される。ここで、角速度ｖｘは、ｘ軸を回転中心とした角速度であるので、算出される位置ずれは、ライン方向に直交する直交方向の直交位置ずれである。

第２撮影画像のライン１の、第１撮影画像のライン１に対する、直交位置ずれは、異なるフレーム間の同一ラインに関する位置ずれであり、すなわち、第２撮影画像の第１撮影画像に対する位置ずれに相当し、算出された位置ずれ量、及びずれ方向は、第２撮影画像の第１撮影画像に対する位置ずれ量、ずれ方向として検出される。同様に、期間Ｐ１”の間に検出された角速度ｖｘが時間積分され、第３撮影画像の第１撮影画像に対する直交位置ずれも、検出される。

図８は、ラインシフト装置１２４及びライン連結装置１２６における動作を模式的に示した図である。第１の実施形態と同様に、ライン連結装置１２６においては、第１撮影画像のライン１〜ラインｎまでのライン画像Ｍ１〜Ｍｎが合成され、１フレーム分の補正画像ＣＩが生成される。１フレーム取得判定装置１２５では、１フレーム分の補正画像ＣＩの生成が終了したタイミングで、その１フレーム分の補正画像が生成されたという情報を、ライン連結装置１２６に送り、ライン連結装置１２６では、第２撮影画像のライン１からラインｎのライン画像Ｍ１’〜Ｍｎ’が、補正画像ＣＩの各ライン画像Ｍ１〜Ｍｎの上に、重ねて合成される。

ここで、第２撮影画像のライン１のライン画像Ｍ１’は、ラインシフト装置１２４内において、ライン方向にライン位置ずれのずれ量分ずれ方向とは逆方向にシフトされるとともに、直交方向に、直交位置ずれのずれ量分ずれ方向とは逆方向にシフトされた上でライン画像Ｍ１に重ねて合成される。なお、直交位置ずれは、上述したように第２撮影画像の第１撮影画像に対する直交方向の位置ずれである。また、ライン位置ずれは、上述したように、ライン画像Ｍ１’の基準ライン（ライン画像Ｍ１）に対するライン方向の位置ずれである。

ライン２〜ラインｎのライン画像Ｍ２’〜Ｍｎ’についても、同様に、ライン方向にライン位置ずれのずれ量分だけずれ方向とは逆方向にシフトされるとともに、直交方向に、直交位置ずれのずれ量分だけずれ方向とは逆方向にシフトされた上で、第１撮影画像の各ライン画像（ライン２〜ラインｎ）の上に重ねて合成される。

第２撮影画像の各ライン画像の合成が終了すると、次に、第３撮影画像の各ライン画像Ｍ１”〜Ｍｎ”が、第２撮影画像の各ライン画像の上に、同様に重ねられて合成され、これにより多重化合成画像が得られる。

以上のように、本実施形態においては、第１乃至第３撮影画像の各ライン画像は、第１撮影画像のライン１のライン画像に対して、ライン方向に位置ずれした分だけ、補正するようにシフトされた後に合成される。したがって、本実施形態においては、各ライン画像は、水平方向の位置ずれが補正された上で合成されている。

また、第２及び第３撮影画像の各ライン画像は、第２及び第３撮影画像の第１撮影画像に対する直交方向に位置ずれした分だけ、直交方向にシフトされた後に、第１撮影画像の各ライン画像Ｍ１〜Ｍｎ上に多重化される。したがって、各ライン画像は、各撮影画像間に生じた直交方向の位置ずれが補正された上で多重化される。すなわち、本実施形態における多重化画像は、ライン方向及び直交方向の位置ずれが補正された上で合成された画像であるので、横方向の像ぶれのみならず、縦方向の像ぶれも補正された画像となる。

したがって、本実施形態では高速のシャッタースピードで撮影した複数の撮影画像を合成することにより、像ぶれを補正しつつも適正な明るさの画像を得ることができる。

また、本実施形態においては、第２及び第３撮影画像の各ライン画像の直交方向の位置ずれ量は、同一であるので、第２及び第３撮影画像の各ライン間は、隙間が生じることなく連結される。

さらに、本実施形態では、第１撮影画像のライン１に対する第２又は第３撮影画像のライン１の直交方向の位置ずれを、第１撮影画像に対する第２又は第３撮影画像の直交方向の位置ずれとして検出したが、他の同一ライン同士の位置ずれを、各撮影画像間の位置ずれとしても良い。例えば、各フレームの中心ライン同士の位置ずれを、各撮影画像間の位置ずれとしても良い。

なお、本実施形態では、３フレームの連続して撮影された撮影画像が合成されて１枚の多重化合成画像が得られるが、連続して撮影される撮影画像の数は複数フレームであれば、特に限定されるわけではない。

第１の実施形態に係るデジタルカメラのブロック図である。 撮像素子で行われる画像の取り込みタイミングを示すための図である。 撮像素子の各ラインの露光期間と、露光タイミング信号の関係を示す図である。 撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。 各ラインが連結される様子を模式的に示した図である。 第２の実施形態に係るデジタルカメラのブロック図である。 第２の実施形態の撮影動作における各動作が実施されるタイミングを時間経過とともに示すグラフである。 第２の実施形態において、各ラインが連結される様子を模式的に示した図である。

符号の説明

２０ 撮像素子
２４、１２４ ラインシフト装置
２６、１２６ ライン連結装置
６１、１６１ 角速度−動きベクトル変換装置
７１、１７１ 露光タイミング発生装置

Claims (9)

1. 同一の被写体像に関して順次撮影された、少なくとも第１及び第２撮像画像を含む２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する撮像装置であって、
   画素毎、またはライン毎に順次露光され、受光面に結像された被写体像に対応した１フレームの前記撮影画像を生成する撮像素子と、
   撮像装置本体の角速度を検出し、この検出された角速度から前記各ラインのライン方向の位置ずれを検出する第１ずれ検出手段と、
   前記撮像装置本体の角速度を検出し、この検出された角速度から、前記第１及び第２撮影画像間の前記ライン方向に直交する直交方向の相対的な位置ずれを検出する第２ずれ検出手段と、
   前記検出されたライン方向の位置ずれに応じて、各撮影画像のライン毎の画像を、前記ライン方向に前記位置ずれが打ち消されるようにシフトさせるラインシフト手段と、
   前記ラインシフト手段によってシフトされた各ラインの画像を連結することにより、各撮像画像についての補正画像を生成するライン連結手段とを備え、
   前記ラインシフト手段が、前記第２撮影画像の各ラインの画像を、前記ライン方向にシフトさせるとともに、検出された直交方向の位置ずれも打ち消されるように、前記直交方向にもシフトさせ、
   前記ライン連結手段が、前記第２撮像画像のライン毎の画像を、前記第１撮像画像についての補正画像の上に順次重ねつつ互いに連結させて、多重化合成することを特徴とする撮像装置。
2. 前記第１ずれ検出手段は、前記撮影画像における基準ラインが露光されるタイミングと、位置ずれの検出対象である検出ラインが露光されるタイミングとの間において検出された角速度を時間積分することにより、前記検出ラインのライン方向の位置ずれを検出し、
   前記ラインシフト手段は、前記基準ラインの画像に対して、相対的に前記検出ラインの画像を位置ずれ量分シフトさせることを特徴とする請求項１に記載の撮像装置。
3. 前記基準ラインは、１ライン目、または前記検出ラインに隣接するラインであることを特徴とする請求項２に記載の撮像装置。
4. 前記基準ラインは、前記第１撮像画像における１ライン目であることを特徴とする請求項２に記載の撮像装置。
5. 前記第２ずれ検出手段は、前記第１撮影画像の基準ラインが露光されるタイミングと、前記第２撮影画像における基準ラインと同一ラインが露光されるタイミングとの間において検出された角速度を時間積分することにより、前記撮影画像間の直交方向の位置ずれを検出することを特徴とする請求項１に記載の撮像装置。
6. 前記基準ラインは、１ライン目のラインであることを特徴とする請求項５に記載の撮像装置。
7. 前記第２撮影画像における前記各ラインの直交方向のシフト量は同一であることを特徴とする請求項１に記載の撮像装置。
8. 前記撮像素子は、Ｃ−ＭＯＳセンサであることを特徴とする請求項１に記載の撮像装置。
9. 同一の被写体像に関して順次撮影された、少なくとも第１及び第２撮像画像を含む２フレーム以上の撮影画像を多重化合成し、多重化画像を生成する多重化画像生成方法であって、
   撮像装置本体に設けられた撮像素子によって、画素毎、またはライン毎に順次露光され、受光面に結像された被写体像に対応した１フレームの前記撮影画像を生成する撮像ステップと、
   前記撮像装置本体の角速度を検出し、この検出された角速度から前記各ラインのライン方向の位置ずれを検出する第１ずれ検出ステップと、
   前記撮像装置本体の角速度を検出し、この検出された角速度から、前記第１及び第２撮影画像間の前記ライン方向に直交する直交方向の相対的な位置ずれを検出する第２ずれ検出ステップと、
   前記検出されたライン方向の位置ずれに応じて、各撮像画像のライン毎の画像を、前記ライン方向に前記位置ずれが打ち消されるようにシフトさせるラインシフトステップと、
   前記ラインシフトステップにおいてシフトされた各ラインの画像を連結することにより、各撮像画像についての補正画像を生成するライン連結ステップとを備え、
   前記ラインシフトステップにおいて、前記第２撮影画像の各ラインの画像を、前記ライン方向にシフトさせるとともに、検出された直交方向の位置ずれも打ち消されるように、前記直交方向にもシフトさせ、
   前記ライン連結ステップにおいて、前記第２撮像画像のライン毎の画像を、前記第１撮像画像についての補正画像の上に順次重ねつつ互いに連結させて、多重化合成することを特徴とする多重化画像生成方法。
   

Images