WO2006030819A1

WO2006030819A1 - 撮像画像の像ブレ修正機能を有する撮像装置

Info

Publication number: WO2006030819A1
Application number: PCT/JP2005/016921
Authority: WO
Inventors: Kazutoshi Usui
Original assignee: Nikon Corporation
Priority date: 2004-09-15
Filing date: 2005-09-14
Publication date: 2006-03-23
Also published as: JP4677748B2; US7675546B2; JP2006086762A; US20070253732A1

Abstract

　本発明の撮像装置は、被写体像を光電変換し、画像データを生成する。撮像装置は、この画像データに対して、２種類の像ブレ修正処理を選択的に実施する機能を有する。撮像装置は、画像データの撮影に要する露光期間の判定に従って、像ブレ修正処理の選択切り換えを行う。

Description

明細書

撮像画像の像ブレ修正機能を有する撮像装置

技術分野

[0001] 本発明は、撮像画像の像ブレを修正する機能を有する撮像装置に関する。

背景技術

[0002] 従来、撮像後の画像処理によって像ブレを修正する技術が知られている。

例えば、特許文献 1, 2では、像ブレの軌跡力得られる点像関数から、逆フィルタを求める。この逆フィルタを撮像画像に施すことによって、撮像画像の像ブレを修正する（以下、このブレ修正の方式を『演算修正方式』という）。

また例えば、特許文献 3では、複数回の分割露光を実施し、得られた複数の画像を位置合わせして合成することによって、撮像画像の像ブレを修正している（以下、このブレ修正の方式を『合成修正方式』と 1ヽぅ）。

特許文献 1 :特開昭 62— 127976号公報 (特許請求の範囲など）

特許文献 2：特開平 5— 323444号公報 (請求項 1など）

特許文献 3：特開 2002— 107787号公報 (請求項 1など）

発明の開示

発明が解決しょうとする課題

[0003] ところで、本発明者は、上述した『演算修正方式』と『合成修正方式』とを適切な条件に従って切り換えることによって、両方式の長所を引き出しつつ、両方式の短所をネ ΐえると考えた。

そこで、本発明の目的は、複数種類の像ブレ修正を選択して実施する撮像装置を提供することである。

[0004] また、本発明の別の目的は、『演算修正方式』と『合成修正方式』を適切に切り換える撮像装置を提供することである。

課題を解決するための手段

[0005] 《1》本発明の撮像装置は、撮像部、第 1の像ブレ修正部、第 2の像ブレ修正部、および選択制御部を備える。撮像部は、被写体像を光電変換し、画像データを生成する。

第 1の像ブレ修正部は、画像データに対して像ブレ修正を行う。

第 2の像ブレ修正部は、画像データに対して第 1の像ブレ修正とは異なる像ブレ修正を行う。

選択制御部は、画像データの光電変換に要する露光期間に基づいて、画像データの像ブレ修正に、第 1の像ブレ修正部を用いるか第 2の像ブレ修正部を用いるかを選択する。

《2》なお好ましくは、第 1の像ブレ修正部は、露光期間中の像ブレを表す点像関数の逆フィルタを画像データに施して像ブレを修正する。一方、第 2の像ブレ修正部は、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、画像データの像ブレを修正する。

《3》また好ましくは、像ブレの原因となる振れを検出する振れ検出部をさらに備え、第 1の像ブレ修正部は、振れ検出部で検出した振れに応じた点像関数の逆フィルタを使用して、画像データの像ブレを修正する。

《4》なお好ましくは、振れ検出部は、角速度センサを有することを特徴とする。

《5》また好ましくは、第 2の像ブレ修正部は、ブロックマッチング法を用いたパターンマッチングにより複数コマの分割画像データを位置合わせして合成する。

《6》なお好ましくは、選択制御部は、撮像部の画像読み出しにかかる転送期間と、第 2の像ブレ修正部による分割露光回数とに応じた閾値により露光期間を判定し、その判定結果に応じて第 1の像ブレ修正部と第 2の像ブレ修正部との選択を行う。

《7》また好ましくは、選択制御部は、撮像部の画像読み出しにかかる転送期間と、画像データを撮影する際の焦点距離とに応じた閾値により露光期間を判定し、その判定結果に応じて第 1の像ブレ修正部と第 2の像ブレ修正部との選択を行う。

《8》本発明の撮像装置の制御方法は、上記《1》と同様の像ブレ修正の選択実施を行う方法である。

《9》なお好ましくは、上記の制御方法において、上記《2》と同様の像ブレ修正処理の選択肢を有する。《10》本発明のプログラムは、上記《8》に記載の制御方法を、コンピュータに実行させるためのプログラムである。

《11》本発明の記録媒体は、上記《8》に記載の制御方法を、コンピュータに実行させるためのプログラムを記録した機械読み取り可能な記録媒体である。

《12》

本発明の別の撮像装置は、撮像部、演算修正部、合成修正部、露光期間判定部、および選択制御部を備える。

[0007] この撮像部は、予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成する。

演算修正部は、露光期間中の像ブレを表す点像関数の逆フィルタを画像データに施して、像ブレを修正する。

合成修正部は、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、画像データの像ブレを修正する。

[0008] 露光期間判定部は、露光期間を、予め定められた閾値によって判定する。

選択制御部は、露光期間が閾値未満の場合には演算修正部によるブレ修正を実行し、露光期間が閾値以上の場合には合成修正部によるブレ修正を実行する。《13》

なお好ましくは、露光期間判定部は、『撮像部の画像読み出しにかかる転送期間』に『合成補正部の分割露光回数』を乗じた乗算結果に基づ、て閾値を決定して、上記の露光期間の判定を行う。

《14》

[0009] 撮像部は、予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成する。

演算修正部は、露光期間中の像ブレを表す点像関数の逆フィルタを画像データに施して、像ブレを修正する。合成修正部は、露光期間を分割した複数回の撮像動作を撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、画像データの像ブレを修正する。

[0010] 露光期間判定部は、合成修正部による複数回の分割露光に所要する総撮影期間と、露光期間との差が大きいか否力を閾値判定する。

選択制御部は、露光期間判定部によって差が大きいと判定された場合には、演算修正部によるブレ修正を実行し、差が小さいと判定された場合には、合成修正部によるブレ修正を実行する。

発明の効果

[0011] 本発明の撮像装置は、画像データの露光期間に応じて、像ブレ修正処理を選択する。したがって、露光期間に応じて変化する像ブレに合わせて、より適切な効果が得られる像ブレ修正処理を実施することが可能になる。

図面の簡単な説明

[0012] [図 1]第 1実施形態における撮像装置 11の構成を示す図である。

[図 2]第 1実施形態の動作を説明する図である。

[図 3]合成修正方式のタイミングチャートである。

[図 4]露光期間が閾値 thl未満となった状態で、合成修正方式を選択実施した場合のタイミングチャートである。

[図 5]第 2実施形態の動作を説明する図である。

発明を実施するための最良の形態

[0013] 《第 1実施形態》

[第 1実施形態の構成説明]

図 1は、第 1実施形態における撮像装置 11の構成を示す図である。

図 1において、撮像装置 11には、撮影レンズ 12が装着される。この撮影レンズ 12 の像空間には、シャツタ 13aおよび撮像素子 13の撮像面が配置される。この撮像素子 13は、 CCD駆動回路 16の駆動ノルスに従って、画像データを出力する。この画像データは、アナログ信号処理部 14および DSP (デジタル信号処理部） 15を介して処理された後、ノッファメモリ 17に蓄積される。 [0014] このバッファメモリ 17内の画像データに対して、 2種類のブレ修正を施すため、合成修正部 20、および演算修正部 21が設けられる。これら 2種類の修正部 20, 21は、ブレ補正方式選択部 22によって切り換え制御される。これらの構成要件 20〜22は、 C PU23の機能によって実現される。

その他、 CPU23によって、 AE演算部 24、露光期間決定部 25、および点像関数演算部 28などの機能も実現される。この点像関数演算部 28には、 HPF部 32を介して、角速度センサ 33が接続される。

[0015] さらに、 CPU23には、手ブレ補正モードスィッチ 26、レリーズスィッチ 27、ズームェンコーダ 30、および距離エンコーダ 31などが接続される。

[第 1実施形態の動作説明]

図 2は、第 1実施形態の動作を説明する図である。

以下、図 2に示すステップ番号に沿って、動作説明を行う。

ステップ S1：撮像装置 11の主電源が投入されると、 CPU23は、初期設定のシーケンスを実行する。この初期設定の完了後、 CPU23は、レリーズスィッチ 27の半押し操作を待機する状態に入る。

[0016] この状態で、ユーザーがレリーズスィッチ 27を半押し操作すると、 CPU23はステツプ S2に動作を移行する。

ステップ S2 : CPU23は、 CCD駆動回路 16を介して撮像素子 13を駆動し、制御用の画像データを取り込む。 AE演算部 24は、この制御用の画像データ力被写体輝度を求める。

ステップ S3 : プログラム露出モードや絞り優先露出モードの場合、露光期間決定部 25は、この制御用の画像データ力も得た被写体輝度に基づいて、適正露出を得るための露光期間を決定する。なお、マニュアル露出モードやシャツタ優先モードの場合、露光期間決定部 25は、ユーザー設定などに基づいて露光期間を決定する。

ステップ S4 : ブレ補正方式選択部 22は、合成修正方式の選択を仮定して、分割露光回数および分割露光期間を、露光期間から決定する。

[0017] 通常、 135 (35ミリ撮像面サイズ)判のカメラでは、焦点距離分の 1のシャツタ秒時以下に設定することで、手ブレが目立たない写真が撮れると言われている。そこで、ブレ補正方式選択部 22は、ズームエンコーダ 30から情報取得した撮影レンズ 12の焦点距離を、 135判の画角相当の焦点距離に換算する。ブレ補正方式選択部 22は、露光期間を分割した分割露光期間が、この 1Z (換算焦点距離)秒以下のブレ安全圏に充分収まるよう、分割露光回数および分割露光期間の組み合わせを決定する。

[0018] 次に、ブレ補正方式選択部 22は、決定した分割露光回数と、撮像素子 13の転送期間との乗算結果に基づいて、閾値 thlを算出する。例えば、分割露光回数が 4回で、転送期間が 200m秒の場合、閾値 thlは 0. 8秒となる。あるいは、閾値 thlは（0. 8 1 秒ゃ(0. 8 +k)秒としてもよい。この場合の値 kは、画質評価やシミュレーションによって、閾値 thlが合成修正方式 Z演算修正方式の適不適の境界となるように設定することが好ましい。

ステップ S5 : ここで、 CPU23は、レリーズスィッチ 27が全押しされたか否かを判定する。

[0019] 全押し操作を検出しない場合、 CPU23はステップ S1に動作を戻す。

一方、全押し操作を検出した場合、 CPU23はステップ S6に動作を移行する。ステップ S6 : CPU23は、ステップ S3で設定された露光期間を、閾値 thlで閾値判定する。

露光期間が閾値 thl以上の場合、 CPU23は、ブレ補正方式として合成修正方式を選択し、ステップ S7に動作を移行する。

[0020] 一方、露光期間が閾値 thl未満の場合、 CPU23は、ブレ補正方式として演算修正方式を選択し、ステップ S8に動作を移行する。

ステップ S7 : ここでは、合成修正方式の撮影処理を以下の手順 A1〜A4で実行する。

(A1)合成修正部 20は、シャツタ 13aを開いて、撮像素子 13の露光 (電荷蓄積)を開始する。この露光開始から、分割露光期間を経過するまで、撮像素子 13は信号電荷を蓄積する。

(A2)分割露光期間を経過すると、合成修正部 20はシャツタ 13aを閉じ、 CCD駆動回路 16を介して撮像素子 13から画像データを読み出す。なお、合成修正部 20は、この画像データの転送期間中にシャツタ 13aを開、て、次回の分割露光を転送動作に並行して開始する。なお、複数の分割露光期間が連続するために空き時間が挿入されな、場合には、シャツタ 13aの開閉動作を省略してもよ、。

(A3)上述した (A2)の動作を分割露光回数だけ繰り返し、複数コマの分割画像データを得る。

(A4)合成修正部 20は、複数コマの分割画像データをパターンマッチングにより位置合わせした上で合成することにより、ブレ修正済みの画像データを得る。このパターンマッチングには、公知のブロックマッチング法や残差逐次検定法などが使用可能である。

なお、角速度センサ 33の検出結果力も得たブレ軌跡に基づいて、分割画像データを位置合わせしてもよい。

このような合成修正方式の撮影処理を完了した後、 CPU23はステップ S 9に動作を移行する。

ステップ S8 : ここでは、演算修正方式の撮影処理を以下の手順 B 1〜B5で実行する。

(B 1)演算修正部 21は、シャツタ 13aを開いて、撮像素子 13の露光 (電荷蓄積)を開始する。この露光開始から、露光期間を経過するまで、撮像素子 13は信号電荷を蓄積する。

(B2)露光期間を経過すると、演算修正部 21は、シャツタ 13aを閉じて、 CCD駆動回路 16を介して撮像素子 13から画像データを読み出す。

(B3)点像関数演算部 28は、露光期間に並行して、角速度センサ 33の角速度データを HPF部 32を介してサンプリングする。点像関数演算部 28は、この角速度データの HPF出力を時間積分することによって、露光期間中の時刻 tにおけるブレ角度 Θ ( t)を得る。

(B4)点像関数演算部 28は、ズームエンコーダ 30から得た焦点距離情報と、距離ェンコーダ 31から得た被写体距離情報 Rとに基づいて、撮影倍率 |8を算出する。点像関数演算部 28は、これら情報を下式に代入して、像面上のブレ X (t)を求める。

X (t) = - R - 0 (t) · ' · ( 1)

この像面上のブレ X (t)を、点像の画素単位の露光量に換算することにより、画素座標 (x,y)における点像関数 p(x,y)が得られる。

[0022] この点像関数 p(x,y)を用いて、元画像 o(x,y)とブレ画像 z(x,y)との関係を、次の畳み込み積分の演算子 *で表すことができる。

z(x,y) = o(x,y) * p(x,y) …（2)

上式を周波数変換して、空間周波数 (u,v)の領域に変換すると、

Z(u,v) = 0(u,v)-P(u,v) · · · (3)

となる。なお、上式中の Z(u,v)、 0(u,v)、 P(u,v)は、 z(x,y)、 o(x,y)、 p(x,y)をそれぞれ周波数変換して得たスペクトルである。ちなみに、点像関数 p(x,y)を周波数変換して得た P(u,v)については、特に空間周波数伝達関数と呼ばれる。

[0023] この（3)式を変形することにより、元画像のスペクトル 0(u,v)は次のようになる。

0(u, V) = Z(u,v)/P(u,v) …（4)

すなわち、（4)式中の逆フィルタ lZP(u,v)を確定できれば、元画像 Oのスペクトルを復元することができる。

ところで、 P(u0,v0) = Oとなる空間周波数域 (u0,v0)が存在すると、

O(u0,v0)=Z(u0,v0)/P(u0,v0) = 0/0 =不定 · · ·（5)

となる。

[0024] これは、 P (u, V)によって伝達されな!、消失スペクトルにつ、ては復元できず、かつ、消失成分の周波数域 (u0,v0)については逆フィルタ 1ZPが無限大となって確定できないことを意味する。

そこで、点像関数演算部 28は、（4)式の逆フィルタ 1ZPを、予め定められた上限値 cで制限したウィナーフィルタで近似し、逆フィルタとする。

ウィナーフィルタ： P(u,v)/[|P(u,v)|²+ l/c] · · (6)

(B5)点像関数演算部 28は、得られた逆フィルタ（ウィナーフィルタ）を、ブレ画像のスベクトル Z(u,v)に作用させることにより、元画像のスペクトルを求める。この元画像のスベクトルを逆周波数変換することにより、元画像の近似的な復元 (演算によるブレ修正)を行う。

[0025] なお、逆フィルタ（ウィナーフィルタ）を逆周波数変換することにより、点像関数 p(x,y) のブレ波形を修正するための波形修正関数を求め、この波形修正関数とブレ画像 z( x,y)との畳み込み積分を算出することによって、元画像を近似的に復元してもよい。このような演算修正方式の撮影処理を完了した後、 CPU23はステップ S 9に動作を移行する。

ステップ S9 : 撮像装置 11は、ステップ S7またはステップ S8においてブレ修正を完了した画像データを、外部メモリ 18に保存する。

[0026] [第 1実施形態の効果など]

第 1実施形態では、露光期間 (分割露光期間 X分割転送回数)が閾値 thl (=転送期間 X分割転送回数)以上になると、合成修正方式が選択実施される。

この場合、図 3に示すように、分割露光期間は転送期間よりも長くなるため、複数回の分割露光はほぼ連続するようになる。そのため、合成後の画像データにおいて、動体被写体の分離は目立たず、良好な合成画像データを得ることができる。

[0027] また、図 3に示すように、ユーザーが撮影姿勢を維持する総撮影期間と、露光期間とが実質的に一致する。そのため、期間不一致による違和感をユーザーに与えることがない。また、ユーザーに撮影姿勢の延長を無理に強いるといった不具合も生じない。

一方、露光期間 (分割露光期間 X分割転送回数)が閾値 thl (=転送期間 X分割転送回数)未満になると、演算修正方式が選択実施される。

[0028] この場合、露光期間は比較的短ぐ手ブレによる空間周波数成分の消失は少ない。この状態では、空間周波数伝達関数がゼロとなる周波数域は少なぐ理想に近い逆フィルタを確定することが可能になる。その結果、演算修正方式による良好なブレ修正効果を得ることができる。

なお、図 4は、露光期間が閾値 thl未満となるケースにおいて、仮に合成修正方式を実施した場合を示した図である。この図 4では、分割露光期間は転送期間よりも短くなるため、分割露光の間に空き時間を挿入する必要が生じる。そのため、分割露光が間歇的に実施されるようになり、合成後の画像データは動体被写体が分離してしまう。また、図 4に示すように、空き時間 X (分割転送回数 1)の分だけ余計に、ユーザ一に撮影姿勢の維持を強、ると、つた不具合も生じる。

[0029] 第 1実施形態では、図 4に示すケースにおいて、合成修正方式に代えて、演算修正方式を実施するため、これらの不具合を回避することができる。

次に、別の実施形態について説明する。

《第 2実施形態》

第 2実施形態の撮像装置は、第 1実施形態の撮像装置 11 (図 1)と同じ構成のため

、重複説明を省略する。

[0030] 図 5は、第 2実施形態の動作を説明する図である。

以下、図 5に示すステップ番号に沿って、動作説明を行う。

ステップ S 11〜S 13：第 1実施形態のステップ S 1〜S 3と同じ動作。

ステップ S14：ブレ補正方式選択部 22は、合成修正方式に使用する分割露光回数および分割露光期間を、露光期間の設定値から決定する。

[0031] 次に、ブレ補正方式選択部 22は、決定された分割露光回数および分割露光期間に基づいて、分割露光回数分の分割露光にかかる総撮影期間 (すなわち、ユーザーが撮影姿勢を維持する期間)を見積もる。

例えば、図 3に示すように、決定された分割露光期間が撮像素子 13の転送期間よりも長い場合、総撮影期間は露光期間とほぼ等しくなる。

[0032] 一方、図 4に示すように、分割露光期間が転送期間よりも短い場合、総撮影期間は

、分割露光期間 +転送期間 * (分割露光回数— 1)とほぼ等しくなる。

ステップ S15 :続いて、ブレ補正方式選択部 22は、総撮影期間と露光期間との差を算出する。

ステップ S16 : ここで、 CPU23は、レリーズスィッチ 27が全押しされたか否かを判定する。

[0033] 全押し操作を検出しな、場合、 CPU23はステップ SI 1に動作を戻す。

一方、全押し操作を検出した場合、 CPU23はステップ S17に動作を移行する。ステップ S17 : CPU23は、ステップ S15で求めた差を、閾値 th2で閾値判定する。この閾値 th2には、総撮影期間と露光期間との差がユーザーに違和感を与えな!/ヽ限界値を主観実験など力求めた値が予め設定される。

[0034] 総撮影期間と露光期間の差が閾値 th2未満の場合、 CPU23は、ブレ補正方式として合成修正方式を選択し、ステップ S 18に動作を移行する。一方、総撮影期間と露光期間の差が閾値 th2以上の場合、 CPU23は、ブレ補正方式として演算修正方式を選択し、ステップ S 19に動作を移行する。

ステップ S 18：合成修正方式の撮影処理を実施する。詳細は第 1実施形態のステツプ S7と同じため、ここでの重複説明を省略する。この動作の後、ステップ S20に動作を移行する。

ステップ S19 : 演算修正方式の撮影処理を実施する。詳細は第 1実施形態のステツプ S8と同じため、ここでの重複説明を省略する。

ステップ S20 : 撮像装置 11は、ステップ S 18またはステップ S 19においてブレ修正を完了した画像データを、外部メモリ 18に保存する。

[0035] [第 2実施形態の効果など]

第 2実施形態では、合成修正方式に予想される総撮影期間と露光期間との差を閾値判定し、差が閾値以上の場合に演算修正方式を選択する。その結果、合成修正方式の総撮影期間が露光期間からかけ離れてユーザーに違和感を与えるといった状況を予測して、演算修正方式に切り換えることができる。

[0036] さらに、差が閾値以上の場合に演算修正方式を選択することにより、合成修正方式の分割露光が間歇的になって合成後の画像データにおいて動体被写体が分離する t 、つた不具合も確実に避けることができる。

《実施形態の原理説明》

他の実施形態への応用を簡単にするため、上述した実施形態について原理的な説明を行う。

[0037] まず、『露光期間』と『ブレ修正の適不適』との関係について考察する。

(露光期間が明らかに短!、場合）

一般に、露光期間が短いほど像ブレは小さくなり、細かな画像情報 (空間周波数の高域成分)の消失は少なくなる。この場合に演算修正方式を選択すれば、残存する高域成分に逆フィルタを作用させることで、ブレによって減衰した画像情報の信号レベルや空間位相を適切に復元することができる。したがって、露光期間が短いほど、演算修正方式のブレ修正は成功率が高くなる。

[0038] 一方、合成修正方式では、分割露光期間の合間に、分割画像データの転送読み出しを完了しなければならない。そのため、露光期間が短くなると、分割画像データの読み出し完了に時間が足りず、分割露光と分割露光の間の空き時間を挿入する必要が生じる。このような空き時間の挿入によって間歇的な分割露光が行われるため、動きのある被写体は、その動きが飛び飛びに写ってしまう。この状態で分割画像データを合成すると、動きが飛び飛びに分離して重なった不自然な画像になる。したがつて、露光期間が短いほど、合成修正方式のブレ修正は成功率が低くなる。

[0039] さらに、合成修正方式では、露光期間が極端に短くなつても、複数回の転送期間が依然必要となるため、撮像装置を被写体に向けて保持する総撮影期間はさほど短くならない。

例えば、露光期間 1Z50秒を複数回に分けて露光する合間に、転送期間 400m秒を 3回実施した場合、総撮影期間は 1. 2秒ほどかかる。この場合、露光期間 1Z50 秒の設定に対して総撮影期間が 1. 2秒ほど力かるなど、露光期間と総撮影期間とに明らかな差異が生じ、ユーザーに違和感を与えてしまう。このような理由からも、露光期間が短!、場合、合成修正方式のブレ修正は適さな、。

(露光期間が明らかに長!、場合）

逆に、露光期間が長くなると、演算修正方式の像ブレが大きくなり、細力な画像情報 (高域成分など）が大量に消滅してしまう。そのため、演算修正方式では、点像関数の逆フィルタを作成することが難しくなる。また、無理に作成した逆フィルタを適用しても、せいぜい中域成分までしか復元は出来ず、カゝえって高域成分のノイズを増幅してしまうおそれが生じる。そのため、露光期間が長くなるほど、演算修正方式のブレ修正は成功率が低くなる。

[0040] 一方、合成修正方式では、露光期間が長くなつても、分割露光回数を増やすことで、 1回当たりの分割露光期間を短く抑えることができる。したがって、分割画像データそれぞれの像ブレを許容範囲以下に抑えることが比較的容易であり、合成後の像ブレを小さく抑えることができる。したがって、露光期間が長い場合、合成修正方式のブレ修正は成功率が高くなる。

(露光期間による像ブレ修正の切り換えについて）

上述した考察に基づいて、本実施形態の撮像装置では、露光期間と閾値との比較結果に基づ、てブレ修正の方式を次のように選択することが好まし、。

[0041] まず、露光期間が閾値よりも短い場合、演算修正方式によるブレ修正を選択する。

この場合、露光期間が短いために画像情報の消失や波形の崩れが少なぐ演算修正方式によって画像データの復元を適切に実施できる確率が高くなる。

一方、露光期間が閾値以上に長い場合、合成修正部によるブレ修正を実行する。この場合、露光期間が長くなつても、一回当たりの分割露光期間が短くなるため、合成後の像ブレは小さくなる。その結果、露光期間が長い場合に、ブレ修正の成功率がー段と高くなる。

[0042] このように、露光期間の長短判定に基づいて両方式を切り換えることによって、ブレ修正の成功率を総合的に高めることが可能になる。

(露光期間の閾値変更にっ、て）

さらに、本実施形態の撮像装置では、『撮像部の画像読み出しにかかる転送期間』に『合成補正部の分割露光回数』を乗じた乗算結果に応じて閾値を決定することが好ましい。

[0043] 合成修正方式を実施する場合、分割露光の回数分だけ画像読み出しを実施する必要がある。上記の乗算結果は、これら読み出し動作の合計時間に相当する。合成修正方式では、露光期間がどんなに短くなつても、これら読み出し動作の合計時間を短縮することはできない。

もしも露光期間がこの乗算結果よりも短い場合、合成修正方式では、乗算結果と露光期間との時間差を埋めるために、分割露光と分割露光との間に空き時間を挿入しなければならない。この場合、動きのある被写体は、空き時間によって分割露光が間歇的に寸断されるため、被写体の動きが飛び飛びになる。この状態で分割画像データを合成すると、動きのある被写体が飛び飛びの位置で重なるため、不自然な画像になる。

[0044] そこで、乗算結果に基づく閾値で、露光期間を長短判定する。ここで、露光期間が閾値よりも短い場合、演算修正方式を選択する。この選択動作によって、被写体の動きが離散的にぶれるという状況を予測して、演算修正方式に適切に切り換えることが可會になる。 (露光期間と、合成修正方式の総撮影期間との比較について）

また、本実施形態では、合成修正方式に予想される総撮影期間と、露光期間との差が大き!/ヽか否かを閾値判定してもよ！/ヽ。

[0045] この差が大きいほど、合成修正方式では、分割露光の空き時間が長くなる。そのため、動きのある被写体は、長い空き時間によって露光が寸断され、被写体の動きの連続性が失われる。この状態で分割画像データを合成すると、動きのある被写体が飛び飛びの位置で重なるため、不自然な画像になる。

そこで、上記の差が閾値判定によって大きいと判断されると、演算修正方式に切り換える。この切り換え動作によって、被写体の動きが離散的にぶれるという不具合を確実に避けることができる。

[0046] また、この演算修正方式への切り換え動作により、合成修正方式において総撮影期間と露光期間とがかけ離れてユーザーに違和感を与えるという状況を予測して、演算修正方式に適切に切り換えることが可能になる。

《実施形態の補足事項》

なお、第 1実施形態では、露光期間と (転送期間 *分割露光回数)との比較結果に基づいて、ブレ修正の方式を選択する。しかしながら、本発明はこれに限定されるものではない。一般的には、露光期間の閾値判定に基づいて、ブレ修正の方式を選択することが可能である。

[0047] 例えば、分割露光期間と転送期間との比較結果 (差や比率）に基づいて、ブレ修正の方式を選択してもよい。

また例えば、分割露光期間が 1Z (135判換算焦点距離)秒程度に設定される場合には、 1Z (135判換算焦点距離)秒と転送期間との比較結果に基づいて、ブレ修正の方式を選択してもよい。

[0048] さらに、転送期間と焦点距離とに基づいて、ブレ修正方式の適不適の境界を示す閾値を決定し、露光期間の閾値判定に基づいてブレ修正方式を選択してもよい。一方、第 2実施形態では、合成修正方式に予想される総撮影期間 (分割露光が全て完了するまでの期間）と、露光期間との差に基づいて、ブレ修正の方式を選択する

。し力しながら、本発明はこれに限定されるものではない。一般的には、この差と等価な傾向を示す値を用いて、ブレ修正の方式を選択することが可能である。

[0049] 例えば、（転送期間と分割露光期間との差） X分割露光回数の値に基づいて、ブレ修正の方式を選択してもよ、。

なお、本実施形態では、撮像素子として CMOSセンサ等の増幅型撮像素子を用いることができる。また、振れ検出には、角速度センサや加速度センサを用いることができる。なお、 AD法 (Ayers- Dainty Algorithm)を用いれば、物理的なセンサを用いることなく、画像のブレ修正を行うことができる。また、擬似的な画像のブレ修正処理として、輪郭強調処理を選択肢にしてもよい。

[0050] また、露光時間が十分に短!、場合は、合成修正および演算修正の!/、ずれも行う必要がないと判断してもよい。この場合、「合成修正」，「演算修正」，および「いずれのブレ修正も行わな、」などを選択肢とすることができる。

なお、上述した撮像装置の制御方法を、プログラム化してコンピュータで実行してもよい。また、そのプログラムを機械読み取り可能な記録媒体に記録してもよい。

産業上の利用可能性

[0051] 以上説明したように、本発明は、撮像装置などに利用可能な技術である。

Claims

請求の範囲

[1] 被写体像を光電変換し、画像データを生成する撮像部と、

前記画像データに対して像ブレ修正を行う第 1の像ブレ修正部と、

前記画像データに対して第 1の像ブレ修正とは異なる像ブレ修正を行う第 2の像ブレ修正部と、

前記画像データの光電変換に要する露光期間に基づいて、前記画像データの像ブレ修正に、前記第 1の像ブレ修正部を用いるか前記第 2の像ブレ修正部を用いるかを選択する選択制御部と

を備えたことを特徴とする撮像装置。

[2] 請求項 1に記載の撮像装置にぉ、て、

前記第 1の像ブレ修正部は、前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して前記像ブレを修正し、

前記第 2の像ブレ修正部は、前記露光期間を分割した複数回の撮像動作を前記撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、前記画像データの像ブレを修正する

ことを特徴とする撮像装置。

[3] 請求項 2に記載の撮像装置において、

前記像ブレの原因となる振れを検出する振れ検出部をさらに備え、

前記第 1の像ブレ修正部は、前記振れ検出部で検出した振れに応じた点像関数の逆フィルタを使用して、前記画像データの前記像ブレを修正する

ことを特徴とする撮像装置。

[4] 請求項 3に記載の撮像装置において、

前記振れ検出部は、角速度センサを有する

ことを特徴とする撮像装置。

[5] 請求項 2に記載の撮像装置において、

前記第 2の像ブレ修正部は、ブロックマッチング法を用いたパターンマッチングにより複数コマの前記分割画像データを位置合わせして合成する

ことを特徴とする撮像装置。

[6] 請求項 2に記載の撮像装置において、

前記選択制御部は、

前記撮像部の画像読み出しにかかる転送期間と、前記第 2の像ブレ修正部による分割露光回数とに応じた閾値により前記露光期間を判定し、その判定結果に応じて前記第 1の像ブレ修正部と前記第 2の像ブレ修正部との選択を行う

ことを特徴とする撮像装置。

[7] 請求項 2に記載の撮像装置において、

前記選択制御部は、

前記撮像部の画像読み出しにかかる転送期間と、前記画像データを撮影する際の焦点距離とに応じた閾値により前記露光期間を判定し、その判定結果に応じて前記第 1の像ブレ修正部と前記第 2の像ブレ修正部との選択を行う

ことを特徴とする撮像装置。

[8] 少なくとも 2種類の像ブレ修正にっ、て選択を行う選択工程と、

撮像装置を制御して、被写体像を光電変換し、画像データを生成する撮像工程と、前記選択工程で選択される像ブレ修正に従って、前記画像データの像ブレ修正を実施する像ブレ修正工程とを備え、

前記選択工程は、前記画像データの光電変換に要する露光期間に基づいて、 2種類の前記像ブレ修正を選択する

ことを特徴とする撮像装置の制御方法。

[9] 請求項 8に記載の撮像装置の制御方法にお、て、

前記 2種類の像ブレ修正は、

前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して前記像ブレを修正する第 1の像ブレ修正処理と、

前記露光期間を分割した複数回の撮像動作を前記撮像装置に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、前記画像データの像ブレを修正する第 2の像ブレ修正処理とである

ことを特徴とする撮像装置の制御方法。

[10] 請求項 8に記載の制御方法を、コンピュータに実行させるためのプログラム。

[11] 請求項 8に記載の制御方法を、コンピュータに実行させるためのプログラムを記録した機械読み取り可能な記録媒体。

[12] 予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成する撮像部と、

前記露光期間中の像ブレを表す点像関数の逆フィルタを前記画像データに施して、前記像ブレを修正する演算修正部と、

前記露光期間を分割した複数回の撮像動作を前記撮像部に実施させ、得られた複数コマの分割画像データを位置合わせして合成することにより、前記画像データの像ブレを修正する合成修正部と、

前記露光期間を、予め定められた閾値によって判定する露光期間判定部と、前記露光期間が前記閾値未満の場合には前記演算修正部による像ブレ修正を実行し、前記露光期間が前記閾値以上の場合には前記合成修正部による像ブレ修正を実行する選択制御部と

を備えたことを特徴とする撮像装置。

[13] 請求項 12に記載の撮像装置において、

前記露光期間判定部は、

前記撮像部の画像読み出しにかかる転送期間に前記合成補正部の分割露光回数を乗じた乗算結果に基づ!/、て前記閾値を決定して、前記露光期間の判定を行うことを特徴とする撮像装置。

[14] 予め設定された露光期間にわたって被写体像を光電変換し、画像データを生成する撮像部と、

前記合成修正部による前記複数回の分割露光に所要する総撮影期間と、前記露光期間との差が大きいか否力を閾値判定する露光期間判定部と、前記露光期間判定部によって前記差が大きいと判定された場合には、前記演算修正部による像ブレ修正を実行し、前記差が小さいと判定された場合には、前記合成修正部による像ブレ修正を実行する選択制御部と

を備えたことを特徴とする撮像装置。