JP4119818B2

JP4119818B2 - 信号処理装置、撮像装置、及び信号処理方法

Info

Publication number: JP4119818B2
Application number: JP2003375722A
Authority: JP
Inventors: 誠二田中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-11-05
Filing date: 2003-11-05
Publication date: 2008-07-16
Anticipated expiration: 2023-11-05
Also published as: JP2005142732A; US20050093993A1; US7436436B2

Description

本発明は、信号処理装置、撮像装置、及び信号処理方法に係り、特に、撮影によって撮影画像の画像データを得る撮像装置における撮影時の装置本体の振れを検出する信号処理装置、撮像装置、及び信号処理方法に関する。

従来より、撮影時の装置本体の手振れによる撮影画像の振れを補正する機能を備えたデジタルビデオカメラ、デジタルカメラ、及び銀塩カメラ等の装置が知られている。このような装置では、装置本体において手振れが発生した場合であっても像振れのない画像データを得るために、手振れによる装置本体の振れを検出して振れに応じた振れ信号を得ることが行われている。この振れを検出する方法には、加速度、角加速度、角速度等を検出するセンサを用い、センサの出力信号により振れ信号を得るものがある。

この場合、上記センサの出力信号には、振れによる信号以外の成分が含まれることが知られており、センサ出力をそのまま用いると、得られる振れ信号には誤差が含まれる可能性がある。この振れによる信号以外の成分には、センサへの振れによる入力がないときのバイアス電圧や、電源投入時のバイアス電圧を示すオフセット電圧などの直流成分が含まれる。そこで、ハイパスフィルタをセンサに接続し、センサの出力信号から振れによる信号以外の成分である直流成分を除去することが行われている。また、装置本体に加わる手振れによる振れ（１〜１０Ｈｚ程度の周波数）を補正するために、ハイパスフィルタの時定数を大きくすることが行われている。しかし、ハイパスフィルタを介することにより出力信号は減衰するため、パンニング終了時のように、直流成分が多く含まれる場合には、出力信号は、センサにより出力可能な信号出力範囲の中心値よりマイナス方向へ減衰し、その後中心値へと近づく。中心値は、すなわち、装置本体が安定状態にあるときのセンサの出力信号を示すものである。この中心値からのマイナス方向への減衰による信号（以下、残存直流成分という）は、実際の振れに対応する信号ではなく、残存直流成分を含めた信号を振れ信号とすると、実際の装置本体による振れの検出精度が低下する恐れがある。このため、残存直流成分を除去する処理が行われているが、この除去に要する時間が長いという問題があった。

そこで、ハイパスフィルタの時定数を可変にする技術が知られている（例えば、特許文献１及び特許文献２参照）。

この技術によれば、電源投入時やパンニング時には、時定数を小さくする。このため、パンニング終了後等のように直流成分が多く含まれる場合における出力信号は、マイナス方向へ減衰後、時定数が大きい場合に比べて短時間で中心値へと近づく。従って、残存直流成分を除去するに要する時間を短縮することができる。
特開平８−８２８２３（第７頁―８頁、第８図）特開２０００―１８７２５８（第１５頁―１６頁、第６図）

しかしながら、上記技術では、ハイパスフィルタの時定数を切替えることによって、残存直流成分の除去時間を短縮することはできるが、残存直流成分の影響を抑制することはできなかった。また、パンニング等の動作を検出する必要があり、その検出結果により切替える更なる構成が必要であった。

本発明は上記事実を考慮したものであり、容易に精度良く振れ信号を得ることができる信号処理装置、撮像装置、及び信号処理方法を提供すること目的とする。

上記目的を達成するために本発明の信号処理装置は、装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、前記直流除去手段により減衰される振れ信号の減衰特性を算出する算出手段と、前記直流成分除去信号に、前記算出手段により算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する生成手段と、を備えている。

本発明の信号処理装置は、検知手段を備えており、装置本体への電源投入後のパンニングや、揺れ、及び手振れ等による装置本体の振れによる振れ信号を出力する。振れ信号は、装置本体の安定状態を基準とし、この安定状態からの振れに応じた信号として出力される。安定状態とは、装置本体による定常状態を示すものであり、この定常状態からの振れ成分を表す信号として振れ信号が出力される。

検知手段により出力される振れ信号には、装置本体の振れを示す信号のみではなく、振れ以外の成分が含まれている。この振れ以外の成分には、検知手段における振れが検知されないときのバイアス電圧や、電源投入時のバイアス電圧を示すオフセット電圧などの直流成分が含まれる。そこで、直流除去手段は、振れ信号に含まれる予め定められた低周波数成分を除去する。直流除去手段により低周波数成分を除去することによって、結果的に振れ信号に含まれる直流成分が除去される。

直流除去手段により低周波数成分が除去されると、振れ信号は除々に減衰する。この減衰する振れ信号の特性を示す減衰特性は、算出手段によって算出される。減衰特性が算出されることにより、直流除去手段による振れ信号の減衰量が特定され、減衰量を示す減衰信号が得られる。生成手段は、直流成分除去信号に直流成分除去信号と減衰信号とを合成することにより、直流成分除去信号と減衰信号による合成信号を得る。例えば、合成信号には、直流成分除去信号に該直流成分除去信号に対応する減衰信号を加算する加算により得られる信号等がある。このため、直流成分除去信号に対応する振れ信号からの減衰量を示す減衰信号が、該直流成分除去信号に合成された合成信号が得られる。更に、生成手段は、合成信号を装置本体の振れを示す振れ信号として生成する。

このように、振れ信号の減衰特性に対応する減衰信号と、直流成分除去信号とを合成した合成信号を振れ信号として生成することができる。このため、振れ信号に含まれる低周波数成分を除去するとともに、低周波数成分の除去による振れ信号の減衰を抑制した振れ信号を得ることができる。

また、直流除去手段による振れ信号の減衰を抑制した振れ信号を得ることができるので、パンニング終了時における振れ信号の安定状態からマイナス方向への減衰を抑制することができ、マイナス方向への減衰による信号成分を示す残存直流成分による影響を抑制することができる。従って、精度の高い振れ信号を得ることができる。

他の信号処理装置では、装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、前記直流除去手段により減衰される振れ信号の減衰特性による信号を基準信号として導出する導出手段と、前記直流成分除去信号について、前記基準信号を基準とした信号を装置本体の振れを示す振れ信号として作成する作成手段と、を備えている。

検知手段から出力される振れ信号は、予め定められた安定状態を基準とする安定状態からの振れに応じた信号であるため、直流除去手段により減衰された振れ信号、すなわち直流成分除去信号もまた、上記安定状態を基準とした信号である。そこで、この安定状態を示す基準を、振れ信号の減衰量に応じて減衰した信号を基準とすれば、振れ信号の減衰を抑制することができる。

そこで、導出手段は、安定状態を示す基準を、直流除去手段によって減衰される振れ信号の減衰特性に応じて減衰させる。このため、安定状態を示す基準を振れ信号の減衰量に応じて減衰させた基準信号が、導出手段により導出される。作成手段は、減衰量分減衰した振れ信号である直流成分除去信号について、基準信号を基準とした直流成分除去信号の成分を表す信号を、装置本体の振れを示す振れ信号として作成する。すなわち、安定状態を示す基準からの振れを示す直流成分除去信号を、該安定状態を示す基準を減衰した基準信号からの振れに応じた信号として扱うことができる。更に、この基準信号を基準とした直流成分除去信号を、装置本体の振れ信号として作成することができる。従って、簡易な構成で、容易に振れ信号の減衰を抑制することができ、容易に高精度の振れ信号を得ることができる。

前記直流除去手段は、予め定めた時定数のフィルタにより、除去する周波数成分を定めることができる。

装置本体の振れによって検知される振れ信号には、振れの種類に応じて異なる周波数帯域の成分が含まれている。そこで、直流除去手段として予め定めた時定数のフィルタを採用し、該時定数を除去する周波数成分に応じて定めるようにすれば、容易に任意の周波数成分を除去することができ、除去対象となる周波数成分に応じた種類の振れによる成分を除去することができる。

装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、
前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、
前記直流除去手段により減衰される振れ信号の減衰特性を算出する算出手段と、
前記直流成分除去信号に、前記算出手段により算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する生成手段と、
入力された信号により被写体を撮像する撮像素子により撮像された撮像画像の一部を有効撮像領域として設定し、且つ該有効撮像領域内の撮影画像の画像データを撮影による画像データとして取得する設定手段と、
前記生成手段による振れ信号に応じて、装置本体の振れを相殺するように前記設定手段へ前記有効撮像領域を変更するための変更信号を出力する制御手段と、
を備えた撮像装置。

本発明の撮像装置は、検知手段を備えており、装置本体への電源投入後のパンニングや、揺れ、及び手振れ等による装置本体の振れによる振れ信号を出力する。検知手段により出力される振れ信号には、装置本体の振れを示す信号のみではなく、振れ以外の成分が含まれている。そこで、直流除去手段は、振れ信号に含まれる予め定められた低周波数成分を除去する。直流除去手段により低周波数成分を除去することによって、結果的に振れ信号に含まれる直流成分が除去される。直流除去手段により低周波数成分が除去されると、振れ信号は除々に減衰する。この減衰する振れ信号の特性を示す減衰特性は、算出手段によって算出される。減衰特性が算出されることにより、直流除去手段による振れ信号の減衰量が特定され、減衰量を示す減衰信号が得られる。生成手段は、直流成分除去信号に直流成分除去信号と減衰信号とを合成することにより、直流成分除去信号と減衰信号による合成信号を得る。更に、生成手段は、合成信号を装置本体の振れを示す振れ信号として生成する。生成手段によって装置本体の振れ信号が生成されると、制御手段は、撮像装置本体の振れを相殺するための変更信号を設定手段へ出力する。設定手段は、撮像素子によって、被写体を撮像することによって得られた撮像画像の一部を有効撮像領域として設定するためのものであり、制御手段から出力された変更信号に応じて、有効撮像領域を変更する。このため、撮像素子によって得られた撮影画像の有効撮像領域は、装置本体の振れを相殺するように変更される。更に設定手段は、有効撮像領域内の撮影画像の画像データを撮影による画像データとして取得するので、装置本体の振れによる影響を抑制した画像データを得ることができる。

なお、次の振れ補正方法によって、容易に精度の高い振れ信号を得ることができる。詳細には、装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する信号処理方法であって、前記振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力し、前記直流除去手段により減衰される振れ信号の減衰特性を算出し、前記直流成分除去信号に、前記算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する、ことができる。

以上説明したように、本発明の信号処理装置、撮像装置、及び信号処理方法によれば、装置本体の振れに応じた振れ信号に含まれる低域周波数成分を除去するとともに、低域周波数成分除去による振れ信号の減衰を抑制することができるので、容易に高精度の振れ信号を得ることができる、という効果を有する。

本発明の振れ補正装置を適用可能なデジタルカメラ１０の１の実施の形態を図面に基づいて説明する。

図１には、本実施の形態に係るデジタルカメラ１０の主要構成をブロック図として示した。

デジタルカメラ１０は、ＣＣＤ２０を備えている。ＣＣＤ２０は、レンズ２２により得られる被写体からの反射光を撮影画像を示すアナログ画像データに変換して出力するためのものである。また、デジタルカメラ１０は、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器という）２４、及び信号処理部２８を備えている。信号処理部２８は、データやコマンドの授受が可能となるようにバス２６に接続されている。

Ａ／Ｄ変換器２４は、図示を省略したＣＤＳによってＣＣＤ２０から出力された被写体像を示す出力信号を相関二重サンプリング処理すると共に、Ｒ、Ｇ、Ｂの各色信号に色分解処理して、各色信号の信号レベルの調整等の処理がなされたアナログ信号を、デジタル画像信号（以下、画像データという）に変換した後に、この画像データを信号処理部２８へ出力するためのものである。

Ａ／Ｄ変換器２４は、ＣＣＤ読出位置切替部２５を含んで構成されている。ＣＣＤ読出位置切替部２５は、ＣＣＤ２０の有効画素領域内における、撮影画像を示す画像データに変換して出力する範囲（以下、切出領域という）を後述するＣＰＵ３０の制御によって変更するためのものである。すなわち、ＣＣＤ読出位置切替部２５は、ＣＣＤ２０による撮像可能な有効画素領域（以下、有効領域という）から画像データとして出力する範囲として切出領域を設定するためのものである。

具体的には、図５に示すように、ＣＣＤ２０によって水平方向の有効信号９１が得られるとともに、垂直方向の有効信号９５が得られるものとすると、ＣＣＤ２０の撮像可能な有効領域は、有効領域９４内となる。

ここで、ＣＣＤ読出位置切替部２５では、例えば、初期設定において、水平方向切り出し有効信号として有効信号９３を得ると共に、垂直方向切り出し有効信号として有効信号９６を得るように設定されているものとすると、初期設定時に画像データとして切り出す切出領域は、切出領域９７に設定される。この切出領域９７は、後述するＣＰＵ３０の制御によって変更されて、例えば、切出領域９７から切出領域９８に変更される（詳細後述）。上記切出領域内の画像データは、Ａ／Ｄ変換器２４から出力されると、信号処理部２８へ入力される。

また、デジタルカメラ１０は、ＣＰＵ３０、ＥＥＰＲＯＭ３２、及びＲＡＭ３６からなるマイクロコンピュータを含んで構成される。これらのデバイスは、データやコマンドの授受が可能なようにバス２６で接続されている。ＣＰＵ３０は、デジタルカメラ１０を構成する各種デバイスを制御するためのものである。ＥＥＰＲＯＭ３２は、各種プログラムや所定データ等を記憶するためのものである。ＲＡＭ３６は、主として各種プログラムによって生成される情報を一時的に記憶するためのものである。

また、バス２６にはメモリ３８がデータの授受可能に接続されている。メモリ３８は、詳細を後述するセンサによる入力信号（詳細後述）や、信号処理部２８で処理された画像データ（詳細後述）、及び各種パラメータ等の情報を記憶するためのものである。また、バス２６には、Ｉ／Ｆ４０、Ｉ／Ｏ４８、及び表示制御部４４がデータやコマンドの授受可能に接続されている。Ｉ／Ｏ４８には、スイッチ４９が接続されている。スイッチ４９は、各種指示入力を行うためのものである。スイッチ４９は、撮影によって撮影画像の画像データを得る撮影指示を行うためのレリーズスイッチ（図示省略）や、デジタルカメラ１０の装置各部へ電源電力を供給するための指示を行う電源スイッチ（図示省略）等を含んで構成される。

Ｉ／Ｆ４０は、外部メモリ４２に対して画像データを含む各種データを読み書きするためのものである。外部メモリ４２は、デジタルカメラ１０に設けられた図示を省略したスロットに装填されることによってＩ／Ｆ４０に接続され、データの授受が可能となる。外部メモリ４２の一例には、ＩＣカードやビデオテープ等の記録メディアがある。信号処理部２８によって詳細を後述する振れに応じた補正処理によって得られた画像データは、Ｉ／Ｆ４０を介して外部メモリ４２へ記録される。表示制御部４４は、振れに応じた補正処理がなされた画像データの画像、及び各種メニュー項目等をＬＣＤ４６へ表示するためのものである。

また、デジタルカメラ１０には、デジタルカメラ１０の電源投入後の被写体に対する撮影光学系の振れを測定するためのセンサ５０、及びセンサ５２が設けられている。センサ５０及びセンサ５２は、レンズ２２及びＣＣＤ２０からなる撮影光学系の被写体に対する振れを検出するためのものであり、角速度、加速度、角加速度、角変位等を検出することにより振れを検出する。センサ５０及びセンサ５２の一例には、ジャイロセンサ等がある。本実施の形態では、センサ５０は、レンズ２２及びＣＣＤ２０からなる撮影光学系の光軸に直交する所定の方向（以下、垂直方向という）へのデジタルカメラ１０の回転運動の角速度を検出するものであり、垂直方向の角速度に応じた信号を出力する。また、センサ５２は、上記撮像光学系の光軸に直交し、且つ上記センサ５０の検知方向から略９０度回転した方向（以下、水平方向という）へのデジタルカメラ１０の回転運動の角速度を検出するものであり、水平方向の角速度に応じた信号を出力する。

具体的には、センサ５２及びセンサ５０は、デジタルカメラ１０の初期設定である切出領域９７から切出領域９７の外へ被写体が振れたことを検知する。例えば、図８（Ａ）に示すように、デジタルカメラ１０の振れによって切出領域９７が被写体８９に対して、切出領域９７Ａの位置に振れると、切出領域９７内の撮影画像は、図８（Ｂ）の画像８７から画像８５へ振れる。この振れた量が、垂直方向及び水平方向各々への移動量として、各々センサ５０及びセンサ５２によって検出され、これらのセンサによる出力信号として出力される。

しかしながら、センサ５０及びセンサ５２による出力信号は、非常に小さい信号であるために、図示を省略した回路を介して、センサ５０及びセンサ５２による出力信号を増幅させる必要がある。また、センサ５０及びセンサ５２による出力信号には、ヌル電圧や直流成分などのオフセット成分である直流成分が含まれる。このため、ハイパスフィルタ５４がセンサ５０及びセンサ５２各々に接続されている。

ハイパスフィルタ５４は、センサ５０及びセンサ５２による出力信号各々から直流成分を除去するためのものである。ハイパスフィルタ５４は、例えば、キャパシタンスと抵抗とから構成されるＣＲ直流カット回路がセンサ５０及びセンサ５２に接続されることによって、ハイパスフィルタとして機能する。このハイパスフィルタ５４を介する事により、センサ５０及びセンサ５２の出力信号が増幅されると共に、低域周波数成分がカットされる。この低域周波数成分がカットされることによって、結果的に直流成分がカットされる。直流成分がカットされることによるセンサ５０及びセンサ５２の出力信号各々は、Ａ／Ｄ変換器５６によりサンプリングされて出力データ（以下、入力値という）として信号処理部２８に入力される。

なお、本実施の形態では、このハイパスフィルタ５４は、例えば、０．１Ｈｚ以下の低周波数の信号をカットする時定数を有しており、デジタルカメラ１０に加わる例えば１〜１０Ｈｚの周波数帯域には影響が及ばないようになっている。

ここで、ハイパスフィルタ５４による低域周波数成分の除去について説明する。なお、説明を簡略化するために、センサ５０による出力信号のみを用いて説明するが、センサ５２による出力信号による入力値についても同様の処理が行われ、同様の結果が得られる。

デジタルカメラ１０による撮影時にパンニングが発生すると、センサ５０から、パンニング開始時（ｔ１）から終了時（ｔ２）までの間に、例えば、図２（Ａ）に示すような第１の基準値７２からの変動を示す略矩形波７０の信号が出力される。なお、この第１の基準値７２とは、センサ５０によって検知される振れに応じた出力信号の中心値である。すなわち、第１の基準値７２が示す状態は、センサ５０及びセンサ５２によって振れが検知されない状態に等しい。よって、センサ５０及びセンサ５２により出力される出力信号の、第１の基準値７２からの変動量の積算値は、パンニングによる切出領域９７の被写体に対する垂直方向への振れを示すものとなり、すなわち切出領域９７を移動するための移動量９２を示すものとなる。しかしながら、このセンサ５０による出力信号には、センサ５０による誤差（該センサによる入力加速度がないときの出力）が含まれるため、ハイパスフィルタ５４を介する必要がある。具体的には、図２（Ａ）に示す略矩形波７０の第1の基準値７２に平行なフラットな部分には、図示を省略した誤差を示す振幅を表す波形（低域周波数成分）が含まれている。

ハイパスフィルタ５４を介することによって低周波成分は、著しく減衰されるので、センサ５０による出力信号の波形は、矩形波７０がハイパスフィルタ５４に入力されることによって、例えば、図２（Ｂ）に示す波形７４となる。この波形７４に示されるように、パンニング開始時（ｔ１）からパンニング終了時（ｔ２）へ、センサ５０の出力信号は除々に減衰する曲線７６を示し、更に出力信号がＨからＬになったときに（時間ｔ２）減衰した分だけマイナス方向に振れて（曲線７８）、その後第１の基準値７２へと除々に近づく。なお、この曲線７６の減衰率は、ハイパスフィルタ５４の時定数に応じて決定される。

従来では、波形７４により示される低域周波数成分が除去された出力信号の入力値から、第１の基準値７２を減算した値の積算値に基づいて、各種演算処理等が行われることによって、振れによる垂直方向の移動量が求められていた。例えば、図８（Ａ）に示すように、撮影による切出領域９７が振れによって切出領域９７Ａへと移動したときの垂直方向の移動量９２が求められる。しかし、実際には、図２（Ｂ）の波形７４に応じて得られる移動量は、例えば、図２（Ｃ）に示す波形７５となる。すなわち、図２（Ｂ）に示す、パンニング終了時（時間ｔ２）のマイナス方向に振れた部分（曲線７８）の移動量は、図２（Ｃ）の波形７７に示すように、マイナス方向への移動量として算出される。このため、実際にはパンニングによるデジタルカメラ１０本体の移動（振れ）は停止しているにもかかわらず、図８（Ａ）に示すように、移動量９２とは逆方向への移動、例えば移動量９２Ａに応じた補正がなされてしまう恐れがある。このため、精度の良い振れ補正を行うことはできなかった。

また、ハイパスフィルタ５４の時定数を可変にする従来技術もあるが、このパンニング終了時のマイナス方向への振れ（曲線７８）を皆無とするに到るものではなかった。

そこで、本実施の形態のデジタルカメラ１０では、信号処理部２８は、基準値算出部５３、移動量演算部５７を含んで構成されている。信号処理部２８は、振れによる該デジタルカメラ１０の被写体に対する切出領域の本来の位置（初期設定の位置）からの移動量に応じて、該移動を抑制するような方向に切出領域を移動するための水平方向の移動量９０及び垂直方向への移動量９２を算出するとともに、算出された移動量に応じて切出領域を移動した後に、該切出領域内の画像データを得るためのものである（詳細後述）。なお、初期設定の位置とは、例えば、有効画素領域の中心位置と、切出領域の中心位置とが略同一となるように切出領域が位置する場合の位置である。

基準値算出部５３は、センサ５０及びセンサ５２各々による入力値の減衰に応じて、第１の基準値を減衰した第２の基準値を算出するためのものである。移動量演算部５７は、第２の基準値と、対応する入力値に基づいて、パンニング開始から終了までの移動量の積算値を１フレーム毎に算出するためのものである。基準値算出部５３では、入力値の減衰に応じて第１の基準値を変動させた第２の基準値を算出する。詳細には、基準値算出部５３は、下記式（１）によって、第２の基準値を算出する。

次の第２の基準値＝現在の第２の基準値―（入力値―第１の基準値）／時定数…（１）
上記式（１）によってＡ／Ｄ変換部５６によって順次サンプリングされて出力された入力値から、次の第２の基準値を順次算出する。これによって、センサ５０の出力信号のハイパスフィルタ５４を介することによる入力値の減衰に応じて第１の基準値を減衰させた第２の基準値を得ることができる。

例えば、基準値算出部５３によって入力値の減衰に応じて第２の基準値を順次算出することによって、図３（Ｂ）に示す第２の基準値を示す波形８０が得られる。詳細には、図３（Ａ）に示すセンサ５０の入力値を示す波形７４の減衰に応じて、上記式（１）による演算により、図３（Ｂ）の波形８０を得る。

基準値算出部５３によって入力値の減衰に応じて第２の基準値が順次算出されると、算出結果は、移動量演算部５７へ出力される。移動量演算部５７では、センサ５０の入力値と、上記第２の基準値との差の積算値を移動量９２として算出する。具体的には、図２（Ｄ）に示す波形７４により示されるセンサ５０の入力値と、波形８０により示される第２の基準値との差分が、垂直方向（センサ５０の場合）の移動量として算出される（図２（Ｅ）参照）。図２（Ｅ）に示すように、第２の基準値に基づいて入力値から移動量を算出することによって、センサ５０による出力信号による波形７０と略同一の波形７９が、垂直方向（センサ５０）による移動量９２を示す波形として得られる。詳細には、センサ５０による出力信号（波形７０）に含まれるヌル電圧等のオフセット成分を除去した信号に応じた移動量９２を示す波形７９が得られる。

同様に、基準値算出部５３、移動量演算部５７によって、センサ５２による波形７０が水平方向による移動量９０を示す波形として得られる。

従って、第１の基準値を用いた移動量算出時には不可能であったマイナス方向に振れている間（曲線７８）の補正も可能となる。

なお、上記センサ５０及びセンサ５２は、本発明の信号処理装置の検知手段に相当し、ハイパスフィルタ５４は、直流除去手段に相当し、基準値算出部２８は算出手段及び導出手段に相当する。また、移動演算部５６は、生成手段及び作成手段に相当する。

次に、上記実施の形態に係るデジタルカメラ１０の作用を説明する。

図４には、ＣＰＵ３０で実行される処理ルーチンを示した。なお、本実施の形態では、１フレーム分の画像について手ぶれ補正を実行する場合を説明する。また、本実施の形態では、センサ５０による出力信号に基づいて手ぶれ補正を実行する場合を説明する。また、本実施の形態では、撮影によって動画像データが撮影される場合を想定して説明するが、静止画像データが得られるようにしてもよい。

デジタルカメラ１０では、スイッチ４９に含まれる図示を省略した電源スイッチにより電源電圧が投入された後に、スイッチ４９に含まれる図示を省略したレリーズスイッチの押圧操作によって撮影が開始されると、所定時間毎に図４に示す処理ルーチンが実行されて、ステップ１００へ進む。

ステップ１００では、センサ５０による信号出力が検知されたか否かが判断される。ステップ１００の判断は、メモリ３８へセンサ５０による出力信号が記憶されているか否かを判別することによって判断可能である。このセンサ５０による出力信号は、デジタルカメラ１０の撮影時のパンニング等によってセンサ５０により信号が出力されると、出力信号はハイパスフィルタ５４及びＡ／Ｄ変換部５６を介して信号処理部２８へ信号が入力され、更にメモリ３８へＡ／Ｄ変換部５６のサンプリングレート毎に順次記憶されるようにすればよい。なお、本実施の形態では、センサ５０による出力信号をメモリ３８に記憶されるものとして説明するが、信号処理部２８内に図示を省略したメモリ部を設けて、順次記憶するようにしてもよい。

次にステップ１０２では、入力値把握処理が実行される。ステップ１０２の処理は、メモリ３８に記憶された入力値から時系列的に最初に出力された入力値を把握するものである。

次にステップ１０４では、移動量算出処理が実行される。ステップ１０４の処理は、上記ステップ１０２で把握した入力値から予めメモリ３８に記憶された第１の基準値を減算することによって移動量を得るものである。なお、ステップ１０４の処理時には、メモリ３８には第１の基準値と同一の値が、第２の基準値として記憶されており、この第２の基準値は、後述の処理によって順次更新されるものとする。

次にステップ１０６において、上記ステップ１０４で算出した移動量をメモリ３８に記憶した後にステップ１０８へ進む。

ステップ１０８では、１フレーム分経過したか否かが判別される。ステップ１０８の判断は、例えば、図示を省略したタイマによる１フレーム分経過を示す信号出力を判別することによって可能である。この１フレーム分の経過を示す信号の出力は、例えば、図示を省略したレリーズスイッチの押圧操作によって撮影が実行されると、図示を省略したタイマによるカウントをスタートし、予め定めた１フレーム分の撮影時間を経過したことがカウントされると、１フレーム分の経過を示す信号を出力した後に、タイマをリセットして再カウントを開始するようにすればよい。予め定めた１フレーム分の撮影時間は、例えば、該撮影のフレームレートから算出するようにすればよい。この図示を省略したタイマによる１フレーム分の経過を示す信号出力を判別することによって、１フレーム分経過したか否かを判断するようにすればよい。

ステップ１０８で否定されると、ステップ１１０へ進み、次の基準値の算出処理が実行される。ステップ１１０の処理は、上記ステップ１０２で把握した入力値、メモリ３８に記憶された第２の基準値、予めメモリ３８に記憶された第１の基準値、及びハイパスフィルタ５４の予め定められた時定数に応じて、上記式（１）に従って次の第２の基準値を算出するものである。ステップ１１０の処理によって、入力値の変動に応じた第２の基準値が算出される。算出された第２の基準値は、次のステップ１１２においてメモリ３８に記憶される。

次にステップ１１４では、上記ステップ１０２と略同様に入力値把握処理が実行される。ステップ１１４の処理は、メモリ３８に記憶されたセンサ５０による入力値の内の未処理で且つ時系列的に最も早い入力値を把握するものである。次のステップ１１６において、上記ステップ１０４と略同様に、上記ステップ１１４で把握した入力値と上記ステップ１１２でメモリ３８に記憶した第２の基準値との差分を求めることによって移動量を算出する。更に、次のステップ１１８の処理において、算出された移動量がメモリ３８へ記憶された後にステップ１０８へ戻る。

上記ステップ１０８乃至ステップ１１８の処理が繰り返されることによって、順次入力値に応じた第２の基準値が算出されてメモリ３８へ格納されるともに、算出された第２の基準値に応じて各入力値における移動量が算出されてメモリ３８へ格納される。

一方、上記ステップ１０８で肯定されると、ステップ１１９へ進み、メモリ３８へ格納された１フレーム分の移動量の積算値を算出し、算出結果を１フレームの撮影による画像における移動量９９としてメモリ３８へ格納する。

次にステップ１２０では、メモリ３８に記憶された第２の基準値を示す値を第１の基準値を示す値に更新した後にステップ１２２へ進む。

これによって、振れによる水平方向の移動量の積算値（すなわち移動量９０）及び垂直方向の移動量の積算値（すなわち移動量９２）各々の積算値が得られる。

なお、センサ５２においても上記処理ルーチンと同様の処理が実行されて、振れによる水平方向への移動量が順次メモリ３８に記憶されるとともに、１フレーム毎の移動量の積算値がメモリ３８に格納される。

ステップ１２２では、上記処理によって算出された水平方向及び垂直方向各々の移動量の積算値に応じて、画像データ補正処理が実行（詳細後述）された後に、本ルーチンを終了する。

以上説明したように、本発明のデジタルカメラ１０によれば、センサ５０の入力値に応じて順次第１の基準値を変動させた第２の基準値を算出し、この第２の基準値と前記入力値からデジタルカメラ１０の移動量を求める。このため、ハイパスフィルタ５４を介して出力されたセンサ５０による出力信号（入力値）による、出力信号の減衰の影響を除去することができるので、振れによる移動量を精度良く得ることができる。

また、入力値が第１の基準値に近づくにつれて、基準値算出部５３によって算出された第２の基準値も第１の基準値に近づくように第２の基準値を算出することができるので、常に補正精度を保つことができる。

また、基準値算出部５３によって、移動量を算出するための第１の基準値を入力値の変動に応じて変動することができるので、ハイパスフィルタ５４の時定数を可変に制御することなく精度良く振れによる移動量を算出することができる。従って、ハイパスフィルタ５４の時定数を可変にするための回路構成を設ける必要がなくなる。

また、ハイパスフィルタ５４によってセンサによる出力信号の低域周波数成分の除去によるマイナス方向への振れを抑制することができるので、ハイパスフィルタ５４の時定数を小さくしたままで、低周波領域の振れによる移動量を精度良く得ることができる。

なお、本実施の形態では、センサ５０及びセンサ５２の出力信号各々は、Ａ／Ｄ変換器５６によりサンプリングされて出力データ（以下、入力値という）として信号処理部２８に入力されるものとして説明したが、アナログ信号として信号処理部２８に入力されるものとしてもよい。この場合、移動量を示すデータは、移動量を示す移動信号として得られるものとすればよい。また、後段の処理によって、該移動信号に応じた切出範囲の移動が行われるようにすればよい。

次に上記ステップ１２２で実行される補正処理について説明する。

ＣＰＵ３０では、メモリ３８に１フレーム分の水平方向及び垂直方向各々の移動量の積算値を示す値が記憶される度に、図６に示す割り込み処理が実行されてステップ２００へ進む。ステップ２００では、メモリ３８に記憶された水平方向及び垂直方向各々の移動量の積算値を示す値を把握する。ステップ２００の処理によって、例えば、図８（Ａ）に示す、垂直方向の移動量９２及び水平方向の移動量９０が得られる。

次にステップ２０２では、上記ステップ２００で把握した移動量を示す値に応じて、水平方向及び垂直方向各々のデジタルカメラ１０の振れによる移動を抑制するような方向に、切出領域９７を移動するように、水平方向及び垂直方向各々の切り出し有効信号の移動量を演算する。ステップ２０２の処理は、図５に示すように、上記ステップ２００で把握した垂直方向の移動量９２及び水平方向の移動量９０各々に応じて、ＣＣＤ２０による水平方向の有効信号９３及び垂直方向の有効信号９６各々の移動量９０及び移動量９２を得るるためのものである。

次にステップ２０４において、上記ステップ２０２で演算した水平方向及び垂直方向各々の移動量に応じて、ＣＣＤ読出位置切替部２５による切出領域を変更した後に、本ルーチンを終了する。ステップ２０４の処理は、水平方向の移動量９０及び垂直方向の移動量９２に応じて、切出領域９７を移動させて、結果的に移動量９９移動した切出領域９８に変更するものである。ステップ２０４の処理によって、例えば、図５に示す初期設定で予め設定された本来の切出領域９７が、切出領域９８となるように切出領域が変更される。

このように、上記ステップ１１９で算出した垂直方向及び水平方向各々の移動量の積算値に基づいて、ＣＣＤ２０の有効画素領域９４内の本来の（初期設定の）切出領域９６を、パンニングによる移動に応じて９８へと移動することができるので、精度良く振れによる画像データの補正を行うことが可能となる。

また、ＣＣＤ２０によって得られた画像から画像データとして切り出す切出領域に相当する画像を画像データとして得ることができるので、移動量に応じて撮影光学系を駆動する場合に比較して、早い速度で振れによる補正がなされた画像データを得ることができる。

なお、上記ステップ１２２で実行される補正処理を更に精度良く行うことが可能である。

具体的には、ＣＰＵ３０では、メモリ３８に１フレーム分の移動量を示す値が記憶される度に、図７に示す割り込み処理が実行されてステップ３００へ進む。ステップ３００では、１画素単位の移動量の演算処理が実行される。ステップ３００の処理は、メモリ３８に記憶された水平方向及び垂直方向各々の移動量を示す値を把握するとともに、把握した移動量に応じて１画素単位の移動量を演算するものである。

次にステップ３０１では、上記ステップ２０２と略同様に、上記ステップ３００で演算した画素単位の移動量を示す値に応じて、水平方向及び垂直方向各々のデジタルカメラ１０の移動を抑制するような方向に、切出領域が移動するように、水平方向及び垂直方向各々の切り出し有効信号の移動量を演算する。

なお、この場合、切出領域としては、撮影画像として得られる範囲から１画素分拡大した領域が予め設定されるものとする。

次にステップ３０２では、上記ステップ２０４と同様に、上記ステップ３０１で演算した水平方向及び垂直方向各々の切り出し有効信号の移動に応じて、切出領域を変更する。ステップ３０２の処理によって、デジタルカメラ１０の移動量に応じた画素単位の補正処理が施された画像データが得られる。

ステップ３０４では、１画素以下の移動量、すなわち小数点以下の画素単位の移動量を算出する。次にステップ３０６において、上記ステップ３０２で得られた画素単位の移動における補正がなされた画像データについて、上記ステップ３０４で算出した小数点以下の画素単位の移動量に応じて画像データとして切り出す切出領域の修正処理が実行される。次にステップ３０８において、１画素毎及び少数点以下の画素の移動量に応じて、少数点以下の画素の移動を抑制するような小数点以下の画素補正がなされた画像データが得られる。

次にステップ３１０において、上記ステップ３０８で得られた画像データから、圧縮処理や間引き等の画像処理によって該画像データの少なくとも一部を含む縮小画像データを生成する縮小画像作成処理が実行される。次にステップ３１２において、上記ステップ３１０で作成した縮小画像をＬＣＤ４６に表示した後に、本ルーチンを終了する。

以上説明したように、画素単位に移動量を算出して補正するとともに、縮小画像表示時に更に小数点以下の画素の移動量に応じた補正を行うことができるので、より詳細な補正処理を行うことが可能となる。

なお、上記実施の形態では、補正処理された画像データを表示する場合を説明したが、補正処理された画像データは、順次外部メモリ４２に記録されるようにすればよい。

また、本実施の形態では、振れ補正装置としてデジタルカメラを採用する場合を説明したが、デジタルカメラに限られるものではなく、ビデオカメラ等の撮像装置であってもよい。また、撮像機能を備えたカメラ付携帯電話やカメラ付携帯端末等に適用することも可能である。

本実施の形態に係るデジタルカメラの主要構成を示すブロック図である。センサにより出力される出力信号の波形及び、出力信号に応じて算出する移動量を示す図であり、（Ａ）は、センサにより出力される出力信号の波形を示すものであり、（Ｂ）は、ハイパスフィルタを介して得られる入力値の波形を示すものであり、（Ｃ）は、上記（Ｂ）の入力値の波形及び基準値に応じて求められる移動量を示す線図であり、（Ｄ）は、ハイパスフィルタを介して得られる入力値に応じて基準値を変更させた場合の波形及び変更した基準値を示すものである。（Ｅ）上記（Ｄ）の入力値の波形及び基準値に応じて求められる移動量を示す線図である。基準値の変動を示す線図であり、（Ａ）は、ハイパスフィルタを介して得られたセンサの入力値を示す線図であり、（Ｂ）は、変動させた基準値を示す線図である。デジタルカメラにおける補正処理の流れを示すフローチャートである。ＣＣＤ読み出し位置切替えを示す模式図である。ＣＣＤ読み出し位置切替えによる補正処理を示すフローチャートである。画素単位の補正処理を示すフローチャートである。振れによる切出領域に対する被写体のずれを模式的に示したものである。

符号の説明

１０デジタルカメラ
２８信号処理部
５０センサ
５２センサ
５４ハイパスフィルタ
５３基準値算出部
５７移動量演算部

Claims

装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、
前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、
前記直流除去手段により減衰される振れ信号の減衰特性を算出する算出手段と、
前記直流成分除去信号に、前記算出手段により算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する生成手段と、
を備えた信号処理装置。
装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、
前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、
前記直流除去手段により減衰される振れ信号の減衰特性による信号を基準信号として導出する導出手段と、
前記直流成分除去信号について、前記基準信号を基準とした信号を装置本体の振れを示す振れ信号として作成する作成手段と、
を備えた信号処理装置。
前記直流除去手段は、予め定めた時定数のフィルタにより、除去する周波数成分を定めることを特徴とする請求項１または請求項２に記載の信号処理装置。
装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する検知手段と、
前記検知手段の振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力する直流除去手段と、
前記直流除去手段により減衰される振れ信号の減衰特性を算出する算出手段と、
前記直流成分除去信号に、前記算出手段により算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する生成手段と、
入力された信号により被写体を撮像する撮像素子により撮像された撮像画像の一部を有効撮像領域として設定し、且つ該有効撮像領域内の撮影画像の画像データを撮影による画像データとして取得する設定手段と、
前記生成手段による振れ信号に応じて、装置本体の振れを相殺するように前記設定手段へ前記有効撮像領域を変更するための変更信号を出力する制御手段と、
を備えた撮像装置。
装置本体の振れに対して、予め定めた安定状態を基準として、前記安定状態からの振れに応じた振れ信号を出力する信号処理方法であって、
前記振れ信号について予め定めた低周波数成分を除去した直流成分除去信号を出力し、
前記直流除去手段により減衰される振れ信号の減衰特性を算出し、
前記直流成分除去信号に、前記算出された減衰特性に対応する減衰信号を合成した合成信号を装置本体の振れを示す振れ信号として生成する、
ことを特徴とする信号処理方法。