JP4152398B2

JP4152398B2 - 手ぶれ補正装置

Info

Publication number: JP4152398B2
Application number: JP2005153759A
Authority: JP
Inventors: 晋平福本; 浩蚊野; 晴雄畑中; 裕川本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-05-26
Filing date: 2005-05-26
Publication date: 2008-09-17
Anticipated expiration: 2025-05-26
Also published as: US20060291841A1; US7574122B2; CN1870715A; CN1870715B; JP2006333061A

Description

この発明は、デジタルカメラ等に搭載される手ぶれ補正装置に関する。

静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。

手ぶれを検出する方法には、手ぶれセンサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。

手ぶれセンサのデータを、手ぶれによる画像の劣化を表すモデルであるPoint Spread Function(点広がり関数、PSF と呼ばれる) に変換し、PSF から画像復元フィルタを生成し、この画像復元フィルタを用いて画像を復元する技術が開発されている。

しかしながら、手ぶれ情報を正確にPSF で表現できたとしても、手ぶれの大きさ、手ぶれの軌跡の形状等により、手ぶれ補正効果は異なってくる。手ぶれの大きさ、手ぶれの軌跡の形状等によっては、手ぶれ補正効果が低い場合や、補正前に比べて逆に画質が劣化する場合もある。

一般に画像復元フィルタは２次元のＦＩＲフィルタで構成されるが、ハードウェアの制約により、そのサイズの上限値は固定されている。手ぶれの大きさがある一定値以上大きくなると、画像復元フィルタの成分がＦＩＲフィルタのタップ数内に収まりきれなくなるため、補正効果が劣化していく。逆に、手ぶれの大きさが非常に小さい場合には、PSF から生成される画像復元フィルタではなく、アンシャープマスキングフィルタを用いても十分な補正効果が得られる。

また、手ぶれの大きさが同じでも、手ぶれの速度変化状態が等速であるか不等速（加速、減速、加減速）であるかによって補正効果が異なってくる。等速の場合には、特定の周波数成分が完全に失われるため、画像復元フィルタにより復元できない周波数成分が存在する。また、画像復元フィルタのタップ数が不等速の場合に比べて大きくなる傾向がある。さらに、画像復元フィルタによって復元された画像にリンギングが大きく現れる。また、手ぶれの軌跡の形状が複雑になるほど、補正効果は低くなる。

特開平７−２２６９０５号公報この公報には、検出したぶれ情報を、セクタの開口曲線を考慮して点広がり関数（ＰＳＦ）に変換することが開示されている。特開平１０−２１５４０５号公報この公報には、マーカーにより画像上の２点を指定し、その傾き、長さを用いて畳み込み演算により、画像を復元することが開示されている。特開平１１−２４１２２号公報この公報には、次のような技術が開示されている。３つの角加速度センサにより得られる３軸周りの角加速度を積分することにより、角速度を求める。また、シャッターの開口経時変化を検出する。角速度およびシャッターの開口経時変化を用いて、撮影時のぼけ状態を表す伝達関数（PSF)を作成する。撮像した画像に対して、伝達関数の逆変換を行なうことにより、画像を補正する。特開平１１−２７５７４号公報この公報には、撮像した画像を２次元周波数空間へと変換し、手ぶれの方向と大きさのパラメータを自動検出することが開示されている。特開２０００−２９８３００号公報この公報には、対象画像上の角画素における手ぶれベクトルを推定し、推定した手ぶれベクトルに応じたぼけ補正を行なうことが開示されている。特開２００４−８８５６７号公報この公報には、画像データに撮像時の手ぶれ情報を付加しておき、画像データの再生時に付加されている手ぶれ情報に基づいて画像データを補正することが開示されている。

この発明は、手ぶれの大きさに応じて手ぶれ補正方式を制御することができ、手ぶれの大きさに応じた好適な手ぶれ補正を行なえる手ぶれ補正装置を提供することを目的とする。

また、この発明は、手ぶれの大きさおよび手ぶれの軌跡の形状に応じて手ぶれ補正方式を制御することができ、手ぶれの大きさおよび手ぶれの軌跡の形状に応じた好適な手ぶれ補正を行なえる手ぶれ補正装置を提供することを目的とする。

請求項１に記載の発明は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して手ぶれ補正を行なう第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする。

請求項２に記載の発明は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なった後にエッジ強調処理を行なうことにより、入力画像に対して手ぶれ補正を行う第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする。

請求項３に記載の発明は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して手ぶれ補正を行なう第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさと手ぶれの軌跡の形状とに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする。

請求項４に記載の発明は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なった後にエッジ強調処理を行なうことにより、入力画像に対して手ぶれ補正を行う第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさと手ぶれの軌跡の形状とに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする。

請求項５に記載の発明は、請求項１乃至４に記載の発明において、手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段の画像復元フィルタによる画像復元の強度を制御する手段を備えていることを特徴とする。

請求項６に記載の発明は、請求項１または３に記載の発明において、第１補正手段は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なう画像復元処理手段および画像復元処理手段によって得られた画像からリンギングを除去するためのリンギング除去手段を備えており、手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段内の画像復元処理手段における画像復元強度および第１補正手段内のリンギング除去手段におけるリンギング除去強度を制御する手段を備えていることを特徴とする。

請求項７に記載の発明は、請求項２または４に記載の発明において、第１補正手段は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なう画像復元処理手段、画像復元処理手段によって得られた画像からリンギングを除去するためのリンギング除去手段およびリンギング除去手段によって得られた画像に対してエッジ強調処理を行なうエッジ強調処理手段を備えており、手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段内の画像復元処理手段における画像復元強度および第１補正手段内のリンギング除去手段におけるリンギング除去強度を制御する手段を備えていることを特徴とする。

請求項８に記載の発明は、請求項１乃至４に記載の発明において、手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、補正モード決定手段でに用いられる、手ぶれの大きさを判定するための閾値を制御する手段を備えていることを特徴とする。

この発明によれば、手ぶれの大きさに応じて手ぶれ補正方式を制御することができ、手ぶれの大きさに応じた好適な手ぶれ補正を行なえるようになる。

また、この発明によれば、手ぶれの大きさおよび手ぶれの軌跡の形状に応じて手ぶれ補正方式を制御することができ、手ぶれの大きさおよび手ぶれの軌跡の形状に応じた好適な手ぶれ補正を行なえるようになる。

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。

〔１〕手ぶれ補正処理回路の構成

図１は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。

角速度センサ１１、１２は、カメラの角速度を検出するために設けられている。一方の角速度センサ１１はカメラのパン方向の角速度を、他方の角速度センサ１２はカメラのチルト方向の角速度をそれぞれ検出する。角速度センサ１１、１２の出力信号は、それぞれアンプ１３、１４によって増幅された後、Ａ／Ｄ変換器１５、１６によってデジタルデータに変換される。

手ぶれ補正処理回路は、画像復元フィルタ計算部３０、画像復元処理部４０、リンギング除去処理部５０、アンシャープマスキング処理部６０、手ぶれ補正モード判定部（手ぶれ補正モード決定部）７１およびセレクタ７２を備えている。

画像復元フィルタ計算部３０は、パン方向の角速度データおよびチルト方向の角速度データに基づいて、画像復元フィルタ（一般逆フィルタ）の係数を算出する。画像復元処理部４０は、画像復元フィルタ計算部３０によって算出された係数に基づいて、撮像画像（手ぶれ画像）v ＿tebre に対して画像復元処理を行う。リンギング除去処理部５０は、画像復元処理部４０によって得られた復元画像からリンギングを除去する。アンシャープマスキング処理部６０は、リンギング除去処理部５０によって得られた画像または撮像画像（手ぶれ画像）v ＿tebre に対してエッジ強調処理を行う。

手ぶれ補正モード判定部７１は、画像復元フィルタ計算部３０によって得られる動きベクトルとＰＳＦ(Point Spread Function) とに基づいて、手ぶれ補正モードを判定し、その判定結果に応じてセレクタ７２を制御する。手ぶれ補正モードには、第１モード、第２モードおよび第３モードがある。

手ぶれ補正モード判定部７１は、手ぶれ補正モードが第１モードであると判定した場合には、撮像画像v ＿tebre を、セレクタ７２を介して、画像復元処理部４０およびリンギング除去処理部５０に送るように、セレクタ７２を制御する。この場合には、手ぶれ画像v ＿tebre に対して画像復元処理部４０によって画像復元処理が行なわれた後、リンギング除去処理部５０によるリンギング除去処理およびアンシャープマスキング処理部６０によるエッジ強調処理が行なわれることにより、補正された画像が生成される。

手ぶれ補正モード判定部７１は、手ぶれ補正モードが第２モードであると判定した場合には、撮像画像v ＿tebre を、セレクタ７２を介して、アンシャープマスキング処理部６０に送るように、セレクタ７２を制御する。この場合には、手ぶれ画像v ＿tebre に対してアンシャープマスキング処理部６０によるエッジ強調処理が行なわれることにより、補正された画像が生成される。

手ぶれ補正モード判定部７１は、手ぶれ補正モードが第３モードであると判定した場合には、撮像画像v ＿tebre を、セレクタ７２を介してそのまま出力するように、セレクタ７２を制御する。つまり、この場合には、撮像画像v ＿tebre に対して何ら手ぶれ補正は行なわれない。

〔２〕画像復元フィルタ計算部３０の説明

画像復元フィルタ計算部３０は、角速度センサ１１、１２によって検出された角速度データ（手ぶれ信号）を動きベクトルに変換する手ぶれ信号／動きベクトル変換処理部３１、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルを、画像のボケを表す手ぶれ関数（画像劣化関数、ＰＳＦ：Point Spread Function)に変換する動きベクトル／手ぶれ関数変換処理部３２および動きベクトル／手ぶれ関数変換処理部３２によって得られた手ぶれ関数を一般逆フィルタ（画像復元フィルタ）に変換する手ぶれ関数／一般逆フィルタ変換処理部３３を備えている。

〔２−１〕手ぶれ信号／動きベクトル変換処理部３１についての説明

手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ１１、１２の出力データである。角速度センサ１１、１２を用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔ｄｔ[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔ｄｔ[sec] は、たとえば、１ｍｓｅｃである。

図２に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ１１によって電圧Ｖ_g[mV]に変換された後、アンプ１３によって増幅される。アンプ１３から出力される電圧Ｖ_a[mV]はＡ／Ｄ変換器１５によってデジタル値Ｄ_L[step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度Ｓ[mV/deg/sec]、アンプ倍率Ｋ[ 倍] 、Ａ／Ｄ変換係数Ｌ[mV/step] を用いて計算する。

角速度センサ１１によって得られる電圧値Ｖ_g[mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Ｖ_g[mV]は、次式（１）で表される。

Ｖ_g＝Ｓθ’…（１）

また、アンプ１３は電圧値を増幅するだけなので、増幅された電圧Ｖ_a[mV]は、次式（２）で表される。

Ｖ_a＝ＫＶ_g…（２）

アンプ１３で増幅された電圧値Ｖ_a[mV]はＡ／Ｄ変換され、ｎ[step]（例えば、−５１２〜５１２）のデジタル値Ｄ_L[step]を使って表現される。Ａ／Ｄ変換係数をＬ[mV/step] とすると、デジタル値Ｄ_L[step]は、次式（３）で表される。

Ｄ_L＝Ｖ_a／Ｌ…（３）

上記式（１）〜（３）を用いることで、次式（４）に示すように、センサデータから角速度を求めることができる。

θ’＝（Ｌ／ＫＳ）Ｄ_L…（４）

撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。

角速度データの１つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf ＝１／ｄｔ[Hz]とすると、θ[deg] は次式（５）で表される。

θ＝θ’／ｆ＝（Ｌ／ＫＳｆ）Ｄ_L…（５）

図３に示すように、ｒ[mm]を焦点距離（３５[mm]フィルム換算）とすると、カメラの回転量θ[deg] から画面上の移動量ｄ[mm]が次式（６）により求められる。

ｄ＝ｒｔａｎθ…（６）

ここで求められた移動量ｄ[mm]は、３５[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。

３５[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図４に示すように、３５[mm]フィルム換算時は画像サイズの横×縦が３６[mm]×２４[mm]と決まっている。デジタルカメラで撮影した画像の大きさをＸ[pixel] ×Ｙ[pixel] とし、水平方向（パン方向）のぶれをｘ[pixel] 、垂直方向（チルト方向）のぶれをｙ[pixel] とすると、変換式は次式（７）、（８）となる。

ｘ＝ｄ_x（Ｘ／３６）＝ｒｔａｎθ_x（Ｘ／３６）…（７）
ｙ＝ｄ_y（Ｙ／２４）＝ｒｔａｎθ_y（Ｙ／２４）…（８）

上記式（７）、（８）には、ｄとθに添字のｘとｙが使用されているが、添字ｘは水平方向の値であることを、添字ｙは垂直方向の値であることを示している。

上記式（１）〜（８）をまとめると、水平方向（パン方向）のぶれｘ[pixel] 、垂直方向（チルト方向）のぶれｙ[pixel] は、次式（９）、（１０）で表される。

ｘ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Lx｝Ｘ／３６…（９）
ｙ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Ly｝Ｙ／２４…（１０）

この変換式（９）、（１０）を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量（動きベクトル）を求めることができる。

撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。

〔２−２〕動きベクトル／手ぶれ関数変換処理部３２について
手ぶれを空間フィルタを使って表すことができる。図５の左側の図で示される手ぶれの軌跡（カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量）に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。

この軌跡に合わせて重み付けしたオペーレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。ＰＳＦの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が１になるように正規化された値となる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。

図５の中央の図は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図５の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。図５の右側の図においては、ＰＳＦの重みの低い（動きベクトルの大きさが大きい）要素を黒く表示し、重みの高い（動きベクトルの大きさが小さい）要素を白く表示している。

上記〔２−１〕で得られた動きベクトル（画像のぶれ量）は手ぶれの軌跡と、軌跡の速度をデータとして持つ。

ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素を決定する。そして、手ぶれの速度からＰＳＦの要素にかける重みを決定する。

上記〔２−１〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでＰＳＦにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてＰＳＦにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の２点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。

Bresenham の直線描画アルゴリズムを図６の例を用いて説明する。図６において矢印のついた直線は動きベクトルを示している。

（ａ）ドット位置の原点（０，０）から出発し、動きベクトルの水平方向の要素を１つ増やす。
（ｂ）動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて１より大きくなった場合にはドット位置の垂直方向を１つ増やす。
（ｃ）再び動きベクトルの水平方向の要素を１つ増やす。

このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。

ＰＳＦの要素にかける重みは、動きベトクル毎にベクトルの大きさ（速度成分）が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が１になるように、各要素の重みを正規化する。図７に図６の動きベクトルにより得られるＰＳＦを示す。速度の速いところ（動きベクトルの長いところ）は重みが小さくなり、速度の遅いところ（動きベクトルの短いところ）は重みが大きくなる。

〔２−３〕手ぶれ関数／一般逆フィルタ変換処理部３３について

〔２−３−１〕画像は水平方向にＮ_x画素、垂直方向にＮ_y画素の解像度でデジタル化されているものとする。水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の値をｐ（ｉ，ｊ）で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をｈ（ｌ，ｍ）とする。ここで、簡単のため、−ｎ＜ｌ，ｍ＜ｎとすると、注目画素の変換は次式（１１）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はｈ（ｌ，ｍ）の係数値によって決まる。

デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。

点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が１になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、ＰＳＦとして動きベクトル／手ぶれ関数変換処理部３２によって得られたＰＳＦを用いる。

ＰＳＦを縦横（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）、−ｎ＜ｌ，ｍ＜ｎでモデル化するとき、各画素について、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ’（ｉ，ｊ）とは、上記式（１１）の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値ｐ’（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は何らかの方法で計算する必要がある。

上記式（１１）を全ての画素について書き並べると、次式（１２）に示すようになる。

これらの式をまとめて行列表現することが可能であり、次式（１３）となる。ここで、Ｐは元画像をラスター走査順に一元化したものである。

Ｐ’＝Ｈ×Ｐ …（１３）

Ｈの逆行列Ｈ^-1が存在すれば、Ｐ＝Ｈ^-1×Ｐを計算することによって、劣化した画像Ｐ’から劣化の無い画像Ｐを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式（１４）に一般逆行列の例を示す。

Ｈ^*＝（Ｈ^t・Ｈ＋γ・Ｉ）^-1・Ｈ^t …（１４）

ここでＨ^*はＨの一般逆行列、Ｈ^tはＨの転置行列、γはスカラー、ＩはＨ^t・Ｈと同じサイズの単位行列である。Ｈ^*を用いて次式（１５）を計算することで、観察された手ぶれ画像Ｐ’から手ぶれが補正された画像Ｐを得ることができる。γは補正の強さ（画像復元強度）を調整するパラメータ（正則化係数）である。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。

Ｐ’＝Ｈ^*×Ｐ …（１５）

画像サイズを６４０×４８０とした場合、上記式（１５）のＰは３０７，２００×１の行列、Ｈ^*は３０７，２００×３０７，２００の行列となる。このような非常に大きな行列となるため、上記式（１４）、（１５）を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくすることが可能である。

まず、上記式（１５）において、Ｐの元になる画像のサイズを６３×６３など、比較小さなサイズにする。６３×６３の画像であれば、Ｐは３９６９×１の行列、Ｈ^*は３９６９×３９６９の行列となる。Ｈ^*はボケ画像全体を補正された画像全体に変換する行列であり、Ｈ^*の各行とＰの積は各画素の補正を行う演算に相当する。Ｈ^*の真ん中の行とＰの積は、６３×６３画素の元画像の、真ん中の画素に対する補正に該当する。Ｐは元画像をラスター走査順に一元化したものであったから、逆に、Ｈ^*の真ん中の行を逆ラスター走査により２次元化することで、６３×６３のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタと呼ぶ。このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。

〔３〕画像復元処理部４０について

画像復元処理部４０は、図１に示すように、ノイズ除去のためのフィルタ回路４１と、画像復元フィルタを用いて画像復元を行うためのフィルタ回路４２とを備えている。フィルタ回路４１はメディアンフィルタを用いてフィルタ処理を行う。

手ぶれ補正モードが第１モードである場合には、カメラによって撮影された画像v ＿tebre は、セレクタ７２を介してフィルタ回路４１に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ回路４１によって得られた画像は、画像復元フィルタ計算部３０によってフィルタ係数がセットされたフィルタ回路４２に送られる。フィルタ回路４２では、画像復元フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれのない画像が復元される。フィルタ回路４２によって得られた画像v ＿fukugen は、リンギング除去処理部５０内の加重平均処理部５３に送られる。

〔４〕リンギング除去処理部５０についての説明

リンギング除去処理部５０は、図１に示すように、エッジ強度算出部５１、加重平均係数算出部５２および加重平均処理部５３を備えている。

手ぶれ補正モードが第１モードである場合には、カメラによって撮影された画像v ＿tebre は、セレクタ７２を介してエッジ強度算出部５１および加重平均処理部５３にも送られる。エッジ強度算出部５１では、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。

図８に示すように、注目画素ｖ２２を中心とする３×３の領域を想定する。注目画素ｖ２２に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図９に示すPrewitt のエッジ抽出オペレータを用いる。図９（ａ）は水平エッジ抽出オペレータを示し、図９（ｂ）は垂直エッジ抽出オペレータを示している。

水平エッジ成分dhおよび垂直エッジ成分dvは、次式（１６）、（１７）によって求められる。

dh＝v11 ＋v12 ＋v13 −v31 −v32 −v33 …（１６）
dv＝v11 ＋v21 ＋v31 −v13 −v23 −v33 …（１７）

次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素ｖ２２のエッジ強度v ＿edgeを次式（１８）に基づいて算出する。

v ＿edge＝sqrt(dh ×dh＋dv×dv） …（１８）

なお、注目画素ｖ２２のエッジ強度v ＿edgeとして、abs(dh) ＋abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに３×３のノイズ除去フィルタをかけてもよい。

エッジ強度算出部５１によって算出された各画素のエッジ強度v ＿edgeは、加重平均係数算出部５２に与えられる。加重平均係数算出部５２は、次式（１９）に基づいて、各画素の加重平均係数ｋを算出する。

If v ＿edge＞Eth then k＝1
If v ＿edge≦ Eth then k ＝v ＿edge/Eth …（１９）

Ethは、リンギング除去強度を調整するためのパラメータである。v ＿edgeと加重平均係数ｋとの関係は、図１０に示すような関係となる。

加重平均係数算出部５２によって算出された各画素の加重平均係数ｋは、加重平均処理部５３に与えられる。画像復元処理部４０によって得られた復元画像の画素値をv ＿fukugen とし、カメラによって撮像された画像の画素値をv ＿tebre とすると、加重平均処理部５３は、次式（２０）で表される計算を行うことにより、復元画像の画素値v ＿fukugen と撮像画像の画素値v ＿tebre とを加重平均する。

v ＝k ×v ＿fukugen ＋（１−ｋ）×v ＿tebre …（２０）

つまり、エッジ強度v ＿edgeが閾値Eth より大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部４０によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。

閾値Eth を大きくすると、手ぶれ画像v ＿tebre の割合が多くなるので、手ぶれ補正効果は低くなるが、リンギング除去強度は高くなる。逆に、閾値Eth を小さくすると、復元画像v ＿fukugen の割合が多くなるので、手ぶれ補正効果は高くなるが、リンギング除去強度は低くなる。

〔５〕アンシャープマスキング処理部６０についての説明

アンシャープマスキングとは、エッジ強調を行う画像処理手法である。手ぶれ補正モードが第１モードである場合には、リンギング除去処理部５０によってリンギング除去処理が施された画像がアンシャープマスキング処理部６０に入力される。手ぶれ補正モードが第２モードである場合には、カメラによって撮影された画像v ＿tebre が、セレクタ７２を介してアンシャープマスキング処理部６０に入力される。

アンシャープマスキング処理部６０に入力される画像を元画像と呼ぶことにする。アンシャープマスキング処理部６０は、まず、ガウシアンフィルタを用いて元画像を平滑化することによって平滑化画像を生成し、元画像と平滑化画像の差分をとり、その差分に補正強度パラメータを乗算することによってエッジ強度画像を得る。そして、元画像にエッジ強度画像を足し合わせることにより、エッジが強調された画像を得る。

元画像をＩとし、アンシャープマスキング処理によって得られた画像をＩ’とすると、Ｉ’は次式（２１）で表される。

Ｉ’＝Ｉ＋Ｋ（Ｉ−Ｇ（Ｉ）） …（２１）

上記式（２１）において、Ｇ（Ｉ）は元画像の平滑化画像であり、Ｋは補正強度パラメータである。

ガウシアンフィルタを用いて平滑化を行った画像Ｇ（Ｉ）は、元画像Ｉ（ｘ，ｙ）に対して、平均を０、分散をσ²とする次式（２２）で示される二次元ガウス関数を畳み込むことによって求められる。

つまり、Ｇ（Ｉ）は、次式（２３）で表される。

上記式（２３）において、記号＊は畳み込みを表している。分散を表すパラメータσが調整パラメータとなる。

〔６〕手ぶれ補正モード判定部７１についての説明

図１１は、手ぶれ補正モード判定部７１によって行なわれる補正モード判定処理手順を示している。

手ぶれ補正モード判定部７１は、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルと、動きベクトル／手ぶれ関数変換処理部３２によって生成されたＰＳＦとに基づいて、手ぶれ補正モードを判定する。

まず、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルの大きさに基づいて、手ぶれの速度変化状態の判定処理を行なう（ステップＳ２１）。つまり、手ぶれの速度変化状態が等速であるか不等速（加減、減速または加減速）であるかを判定する。

上述したように、撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得られる。この実施例では、撮影中の動きベクトルの大きさの変動範囲Ｖａが所定の閾値Ｖｔｈより小さいか否かに基づいて、手ぶれの速度変化状態が等速であるか不等速であるかを判定する。

図１２に示すように、撮影中の動きベクトルの大きさの変動範囲Ｖａが、所定の閾値Ｖｔｈより小さい場合には、手ぶれの速度変化状態が等速であると判定する。図１３に示すように、撮影中の動きベクトルの大きさの変動範囲Ｖａが、所定の閾値Ｖｔｈ以上である場合には、手ぶれの速度変化状態が不等速であると判定する。

手ぶれの速度変化状態が等速であると判定された場合には、後述する手ぶれの大きさ判定で閾値として用いられる補正可能手ぶれサイズＳｔｈ２をＳｔｈｃに、手ぶれ関数／一般逆フィルタ変換処理部３３で用いられかつ手ぶれ補正強度（画像復元強度）を調整するパラメータ（正則化係数）γ（上記式（１４）参照）をγｃに、リンギング除去処理部５０で用いられるリンギング除去強度を調整するためのパラメータＥｔｈをＥｔｈｃに設定する（ステップＳ２２）。そして、ステップＳ２４に進む。

手ぶれの速度変化状態が不等速であると判定された場合には、補正可能手ぶれサイズＳｔｈ２をＳｔｈｃより大きなＳｔｈａに、手ぶれ補正強度（画像復元強度）を調整するパラメータγ（上記式（１４）参照）をγｃより小さなγａに、リンギング除去強度を調整するためのパラメータＥｔｈをＥｔｈｃより小さなＥｔｈａに設定する（ステップＳ２３）。

そして、ステップＳ２４に進む。これらのパラメータは、例えば、Ｓｔｈｃ＝１７[pixsel]、Ｓｔｈａ＝２５[pixsel]、γｃ＝０．０７、γａ＝０．０５、Ｅｔｈｃ＝６４、Ｅｔｈａ＝３２に設定される。

つまり、等速では手ぶれサイズが大きくなると、画像復元フィルタによる画像復元が困難になるため、補正可能手ぶれサイズＳｔｈ２を小さくする。また、等速では画像復元処理を行なうことによる悪影響が大きくなるので、手ぶれ補正強度を弱くするために、正則化係数γを大きくする。また、等速では画像復元処理を行なった場合にリンギングが大きくなるので、リンギング除去強度を強くするために、Ｅｔｈを大きくする。

ステップＳ２４では、手ぶれ信号／動きベクトル変換処理部３１によって得られた動きベクトルの方向に基づいて、手ぶれ軌跡の形状の判定処理を行なう。つまり、手ぶれの軌跡の形状が直線形状であるか複雑形状であるかを判定する。

この実施例では、撮影中における時間的に隣接する動きベクトルの方向の変化（動きベクトルの角度変化）を所定の閾値θｔｈと比較し、所定の閾値θｔｈ以上のものが存在するか否かに基づいて、手ぶれの軌跡の形状が直線形状であるか複雑形状であるかを判定する。

図１４に示すように、撮影中における時間的に隣接する動きベクトルの方向の変化（θ１〜θ４）の全てが、閾値θｔｈより小さい場合には、手ぶれの軌跡の形状が直線形状であると判定する。図１５に示すように、撮影中における時間的に隣接する動きベクトルの方向の変化（θ１〜θ４）のうち、θ２，θ３のように、閾値θｔｈ以上のものが１つ以上存在する場合には、手ぶれの軌跡の形状が複雑形状であると判定する。

手ぶれの軌跡の形状が直線形状であると判定した場合には、フラグＦをセット（Ｆ＝１）した後（ステップＳ２５）、ステップＳ２７に進む。手ぶれの軌跡の形状が複雑形状であると判定した場合には、フラグＦをリセット（Ｆ＝０）した後（ステップＳ２６）、ステップＳ２７に進む。

ステップＳ２７では、動きベクトル／手ぶれ関数変換処理部３２によって生成されたＰＳＦに基づいて、手ぶれの大きさ（手ぶれ量）をクラス分けする。

図１６を参照して、手ぶれの大きさ（手ぶれ量）の求め方について説明する。まず、ＰＳＦ画像の有効画素（画素値が０でない画素）を全て含む外接長方形を求める。次に、その外接長方形の高さｈ〔画素〕と幅ｗ〔画素〕とに基づいて、対角線の長さＳｚ〔画素〕を求め、手ぶれの大きさ（手ぶれ量）とする。

ステップＳ２７では、具体的には、ＰＳＦから手ぶれの大きさ（手ぶれ量）Ｓｚを求め、求めた手ぶれの大きさＳｚが、Ｓｚ≦Ｓｔｈ１、Ｓｔｈ１＜Ｓｚ≦Ｓｔｈ２、Ｓｚ＞Ｓｔｈ２のいずれの範囲にあるかを判定する。

ここで、Ｓｔｈ１は予め設定された閾値であり、Ｓｔｈ２は上記ステップＳ２２またはＳ２３によって設定された閾値ＳｔｈｃまたはＳｔｈａである。なお、Ｓｔｈ１は、Ｓｔｈ２より小さい値である。

手ぶれの大きさＳｚがＳｔｈ１＜Ｓｚ≦Ｓｔｈ２の範囲であると判定された場合には、フラグＦがセット（Ｆ＝１）されているか否かを判定する（ステップＳ２８）。フラグＦがセットされている場合、つまり、手ぶれの軌跡の形状が直線形状であると判定されている場合には、補正モードを第１モード（復元フィルタを用いた画像復元処理、リンギング除去処理およびアンシャープマスキング処理を行なうモード）に設定する（ステップＳ２９）。フラグＦがセットされていない場合、つまり、手ぶれの軌跡の形状が複雑形状であると判定されている場合には、補正モードを第３モード（何ら補正を行なわないモード）に設定する（ステップＳ３０）。

上記ステップＳ２７において、手ぶれの大きさＳｚがＳｚ≦Ｓｔｈ１と判定された場合には、補正モードを第２モード（アンシャープマスキング処理のみを行なうモード）に設定する（ステップＳ３１）。上記ステップＳ２７において、手ぶれの大きさＳｚがＳｚ＞Ｓｔｈ２と判定された場合には、補正モードを第３モード（何ら補正を行なわないモード）に設定する（ステップＳ３０）。

上記実施例によれば、手ぶれの大きさがＳｔｈ２より大きい場合には、手ぶれ補正は行なわれず、入力画像v ＿tebre がそのまま出力される。手ぶれの大きさがＳｔｈ１以下である場合には、入力画像v ＿tebre に対してアンシャープマスキング処理部６０によるエッジ強調処理が行なわれて、出力される。手ぶれの大きさがＳｔｈ１より大きくかつＳｔｈ２以下であり、手ぶれの軌跡の形状が複雑形状である場合には、手ぶれ補正は行なわれず、入力画像v ＿tebre がそのまま出力される。

手ぶれの大きさがＳｔｈ１より大きくかつＳｔｈ２以下であり、手ぶれの軌跡の形状が直線形状である場合には、入力画像v ＿tebre に対して画像復元処理部４０による画像復元処理、リンギング除去処理部５０によるリンギング除去処理およびアンシャープマスキング処理部６０によるエッジ強調処理が行なわれて、出力される。この際、動きベクトルの速度変化状態が等速である場合には、動きベクトルの速度変化状態が不等速である場合に比べて、画像復元処理部４０による補正強度が弱くされるとともにリンギング除去処理部５０によるリンギング除去強度が強められる。

このように、上記実施例によれば、動きベクトルの速度変化状態、手ぶれの軌跡の形状および手ぶれの大きさに応じて、それに適した手ぶれ補正が行なわれるようになる。

なお、図１１のステップＳ２４で行なわれる手ぶれの軌跡の形状判定を省略してもよい。この場合には、ステップＳ２５、Ｓ２６、Ｓ２８の処理も省略される。したがって、ステップＳ２７で、手ぶれ大きさＳｚがＳｔｈ１＜Ｓｚ≦Ｓｔｈ２の範囲であると判定された場合には、補正モードが第１モードに設定される。

また、図１１のステップＳ２４の処理を省略せずに、図１１のステップＳ２１の手ぶれの速度の変化状態の判定を省略してもよい。さらに、図１１のステップＳ２４の処理を省略するとともに、図１１のステップＳ２１の手ぶれの速度の変化状態の判定を省略してもよい。

また、補正モードが第１モードと判定された場合には、画像復元処理部４０による画像復元処理とリンギング除去処理部５０によるリンギング除去処理とを行ない、アンシャープマスキング処理部６０によるエッジ強調処理を行なわないようにしてもよい。

手ぶれ補正処理回路の構成を示すブロック図である。角速度センサ１１の出力を増幅するアンプ１３およびアンプ出力をデジタル値に変換するＡ／Ｄ変換器１５を示すブロック図である。カメラの回転量θ[deg] と画面上の移動量ｄ[mm]との関係を示す模式図である。３５[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。手ぶれを表現する空間フィルタ（ＰＳＦ）を示す模式図である。 Bresenham の直線描画アルゴリズムを説明するための模式図である。図６の動きベクトルにより得られるＰＳＦを示す模式図である。注目画素ｖ２２を中心とする３×３の領域を示す模式図である。 Prewitt のエッジ抽出オペレータを示す模式図である。エッジ強度v ＿edgeと加重平均係数ｋとの関係を示すグラフである。手ぶれ補正モード判定部７１によって行なわれる補正モード判定処理手順を示すフローチャートである。手ぶれの速度変化状態が等速であると判定される場合の例を示すグラフである。手ぶれの速度変化状態が不等速であると判定される場合の例を示すグラフである。手ぶれの軌跡の形状が直線形状であると判定される場合の例を示すグラフである。手ぶれの軌跡の形状が複雑形状であると判定される場合の例を示すグラフである。手ぶれ量〔画素〕の求め方を説明するための模式図である。

符号の説明

１１、１２角速度センサ
３０画像復元フィルタ計算部
３１手ぶれ信号／動きベクトル変換処理部
３２動きベクトル／手ぶれ関数変換処理部
３３手ぶれ関数／一般逆フィルタ変換処理部
４０画像復元処理部
５０リンギング除去処理部
６０アンシャープマスキング処理部
７１手ぶれ補正モード判定部
７２セレクタ

Claims

手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して手ぶれ補正を行なう第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、
補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする手ぶれ補正装置。
手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なった後にエッジ強調処理を行なうことにより、入力画像に対して手ぶれ補正を行う第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、
補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする手ぶれ補正装置。
手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して手ぶれ補正を行なう第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、
補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさと手ぶれの軌跡の形状とに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする手ぶれ補正装置。
手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なった後にエッジ強調処理を行なうことにより、入力画像に対して手ぶれ補正を行う第１補正手段および入力画像に対してエッジ強調処理を行なうことにより入力画像に対して手ぶれ補正を行なう第２補正手段を備えた手ぶれ補正装置において、
補正モードとして、第１補正手段による補正を行なう第１補正モード、第２補正手段による補正を行なう第２補正モードおよびいずれの補正をも行なわない第３モードがあり、手ぶれの大きさと手ぶれの軌跡の形状とに基づいて、補正モードを決定する補正モード決定手段を備えていることを特徴とする手ぶれ補正装置。
手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段の画像復元フィルタによる画像復元の強度を制御する手段を備えていることを特徴とする請求項１、２、３および４のいずれかに記載の手ぶれ補正装置。
第１補正手段は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なう画像復元処理手段および画像復元処理手段によって得られた画像からリンギングを除去するためのリンギング除去手段を備えており、
手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段内の画像復元処理手段における画像復元強度および第１補正手段内のリンギング除去手段におけるリンギング除去強度を制御する手段を備えていることを特徴とする請求項１および３のいずれかに記載の手ぶれ補正装置。
第１補正手段は、手ぶれ情報に基づいて生成した画像復元フィルタを用いて入力画像に対して画像復元処理を行なう画像復元処理手段、画像復元処理手段によって得られた画像からリンギングを除去するためのリンギング除去手段およびリンギング除去手段によって得られた画像に対してエッジ強調処理を行なうエッジ強調処理手段を備えており、
手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、第１補正手段内の画像復元処理手段における画像復元強度および第１補正手段内のリンギング除去手段におけるリンギング除去強度を制御する手段を備えていることを特徴とする請求項２および４のいずれかに記載の手ぶれ補正装置。
手ぶれの速度変化状態が等速であるか不等速であるかに基づいて、補正モード決定手段で用いられる、手ぶれの大きさを判定するための閾値を制御する手段を備えていることを特徴とする請求項１、２、３および４のいずれかに記載の手ぶれ補正装置。